Un nuevo preprint en arXiv titulado "Task Context Shapes Component Roles in Language Models" explora cómo los modelos de lenguaje reutilizan componentes de atención en diferentes tareas y cómo el contexto de la tarea afecta su funcionamiento. Los autores argumentan que, aunque los modelos de lenguaje grandes comparten cabezales de atención, esto no explica completamente las diferencias en su desempeño en diversas tareas. Para abordar esta cuestión, el estudio se inspira en interacciones dependientes de la tarea observadas en regiones del cerebro humano, proponiendo un enfoque de red para entender la computación en modelos de lenguaje.

El estudio compara componentes fijos del modelo a través de tareas utilizando hechos gráficos idénticos. Se mide cómo las intervenciones afectan tanto los cabezales de atención como el estado de activación en capas posteriores, analizando la influencia y la importancia de las respuestas generadas. Los resultados indican que los cambios en la tarea redistribuyen la influencia en modelos de pesos abiertos, mostrando que un cambio en la activación interna puede alterar qué hechos lee el modelo, incluso cuando la instrucción escrita permanece constante.

Los autores construyen mapas de respuesta lineales para predecir la respuesta de un cabezal posterior a partir de cambios en un cabezal anterior, encontrando que la intervención factual reduce el error cuadrático medio en las predicciones. Estos hallazgos sugieren que el contexto de la tarea no solo determina a qué hechos responden los componentes compartidos, sino también cómo sus salidas afectan el cálculo posterior. La investigación propone que un enfoque de red podría ayudar a explicar cómo los modelos utilizan parámetros compartidos para realizar diferentes cálculos, y que las mediciones de influencia dependientes de la tarea podrían guiar intervenciones destinadas a modificar un comportamiento específico mientras se preservan otros.

Este trabajo es un preprint y no ha sido revisado por pares, lo que implica que los resultados deben interpretarse con cautela. Las limitaciones del estudio incluyen la necesidad de más investigación para validar estos hallazgos y su aplicabilidad en diferentes contextos de uso.