Un nuevo preprint en arXiv titulado "Can Language Models Play the Wikipedia Game?" examina la habilidad de los modelos de lenguaje para llevar a cabo tareas de recuperación de información utilizando un formato de juego. En este estudio, los autores utilizan el juego de Wikipedia, donde los jugadores deben llegar a un artículo objetivo a través de enlaces de otros artículos, como un marco para evaluar la capacidad de los modelos de lenguaje y modelos de incrustación de oraciones en varios idiomas y conjuntos de datos académicos.
Los investigadores construyeron grandes grafos locales de páginas de Wikipedia y citas de artículos utilizando OpenAlex, lo que les permitió estudiar las capacidades de navegación de los modelos sin depender de APIs de terceros. Compararon el rendimiento de los modelos con benchmarks humanos y TF-IDF, destacando que, aunque ningún modelo superó significativamente a los humanos, algunos de los mejores modelos, como GPT-o3 mini, GPT-4o, QwQ:32B y DeepSeek-R1:70B, lograron resultados comparables. Sin embargo, el rendimiento y los rankings variaron según el idioma y el tema, lo que tiene implicaciones para los profesionales que utilizan estas técnicas.
Este trabajo es un preprint y no ha sido revisado por pares, lo que significa que los resultados deben interpretarse con cautela. Los autores también discuten las limitaciones del estudio, incluyendo la variabilidad en el rendimiento de los modelos según el contexto y la complejidad de las tareas. La investigación sugiere que, aunque los modelos de lenguaje han avanzado, todavía enfrentan desafíos significativos en tareas que requieren un conocimiento especializado o un razonamiento más profundo.