Un estudio reciente publicado en la revista *Scientific Reports* el 20 de octubre de 2026, titulado "Benchmarking the responsiveness of LLM-based agentic systems under controlled mid-task perturbations", aborda la evaluación de la capacidad de respuesta de sistemas de agentes que utilizan modelos de lenguaje grande (LLMs) en situaciones donde las condiciones cambian durante la ejecución de tareas.
El trabajo destaca que los benchmarks actuales suelen centrarse en la precisión final de las tareas, lo que no refleja la adaptabilidad de los agentes cuando se enfrentan a cambios inesperados. Para abordar esta limitación, los autores proponen un marco de evaluación que combina tres arquitecturas de agentes (ReAct, Reflexion y Plan-and-Execute) con tres entornos sintéticos deterministas, donde se introducen perturbaciones como la negación de herramientas, modificación de objetivos o inyección de restricciones.
Los resultados del estudio indican que ReAct logra la mayor recompensa acumulada, mientras que Plan-and-Execute sobresale en planificación de herramientas, aunque su rendimiento se desploma en la planificación de restricciones. La severidad de las perturbaciones no muestra una respuesta monótona, y las notificaciones explícitas sobre perturbaciones no mejoran la recompensa media en ninguna arquitectura. El estudio también proporciona acceso a código, registros y pipelines de análisis para facilitar futuras extensiones.
Este trabajo es un preprint y no ha sido revisado por pares, lo que implica que los resultados deben interpretarse con cautela. Las limitaciones mencionadas incluyen la necesidad de más investigación para validar la aplicabilidad de los hallazgos en contextos del mundo real y su generalización a otros tipos de tareas y arquitecturas de agentes.