Un reciente preprint en arXiv titulado "Large Language Model Turnover Undermines Screening for Artificial Intelligence-Assisted Scientific Writing" examina cómo la constante evolución de los modelos de lenguaje (LLMs) afecta la capacidad de los sistemas de detección para identificar textos generados por IA en manuscritos científicos. El estudio destaca que los métodos de evaluación actuales dependen de benchmarks que utilizan versiones fijas de LLMs, lo que se vuelve problemático a medida que estos modelos se actualizan y cambian con frecuencia.

Los autores del estudio emparejaron 4,000 resúmenes de investigaciones previas a ChatGPT con reescrituras realizadas por 23 versiones de LLMs de tres proveedores, lanzadas entre junio de 2023 y agosto de 2026. A partir de estos datos, entrenaron detectores bajo diferentes escenarios de mantenimiento, desde aquellos que se actualizan con cada nueva versión hasta los que se entrenan una sola vez y nunca se actualizan.

Los resultados revelan que los detectores entrenados únicamente con versiones anteriores de un proveedor pueden fallar en las transiciones entre generaciones de modelos. Por ejemplo, un detector calibrado para identificar textos humanos puede marcar erróneamente hasta el 1% de los resúmenes escritos por humanos, mientras que puede detectar más del 99% de las reescrituras justo antes de un cambio de versión, pero solo el 3.8% justo después. Esto sugiere que la variabilidad en el vocabulario entre versiones de LLMs influye en la eficacia de la detección.

En los escenarios simulados, los detectores que abarcan todas las versiones disponibles pueden marcar uno de cada ocho resúmenes humanos o perder uno de cada tres reescrituras de la versión más reciente. Esto plantea serias preocupaciones sobre la fiabilidad de los sistemas de detección actuales y sugiere que las políticas de integridad en la investigación deberían considerar la precisión de los detectores como provisional, requiriendo revalidación con cada nueva versión de LLMs, incluyendo las anteriores.

Este trabajo es un preprint y no ha sido revisado por pares, lo que implica que los resultados deben interpretarse con cautela. Las limitaciones del estudio incluyen la necesidad de más investigación para validar estos hallazgos y su aplicabilidad en diferentes contextos de uso.