Microsoft ha lanzado recientemente Guardian Agents, una nueva funcionalidad destinada a monitorear los agentes de inteligencia artificial (IA) utilizados por las empresas. Esta iniciativa surge en un contexto donde el CEO de Microsoft, Satya Nadella, ha expresado preocupaciones sobre los riesgos que representan estos agentes, comparándolos con amenazas internas, como empleados deshonestos. Nadella ha instado a las empresas a no confiar ciegamente en los modelos de IA, incluso aquellos que provienen de proveedores reconocidos.
Guardian Agents forma parte de Project Perception, un esfuerzo más amplio de Microsoft para abordar la seguridad en un entorno donde los modelos de IA pueden actuar de manera impredecible. Este nuevo sistema permite a las organizaciones implementar controles independientes que supervisen las acciones de los agentes de IA, asegurando que no se tomen decisiones críticas sin la debida autorización humana. La idea es separar la inteligencia proporcionada por los modelos de la autoridad para actuar, un enfoque que Nadella considera esencial para mantener la responsabilidad en el uso de la IA.
Además, Microsoft ha añadido características a su producto Microsoft Defender que permiten detectar hasta 60 tipos de agentes que los empleados pueden introducir en el entorno laboral, incluyendo modelos como Claude Code y Codex. Estas medidas son parte de un esfuerzo más amplio para mitigar los riesgos asociados con el uso de IA en las empresas, especialmente en un momento en que la confianza en estos sistemas es crucial.
Sin embargo, la propuesta de Microsoft también ha sido vista como una estrategia comercial, ya que la compañía busca que las empresas adquieran sus soluciones de seguridad en lugar de depender de las garantías de los proveedores de modelos de IA. A pesar de esto, la lógica detrás de la necesidad de una supervisión independiente es sólida, dado que los modelos de IA, aunque potentes, pueden comportarse de maneras inesperadas y potencialmente dañinas.
En resumen, la introducción de Guardian Agents por parte de Microsoft refleja una creciente preocupación por la seguridad y la ética en el uso de la inteligencia artificial, subrayando la importancia de mantener controles adecuados y la responsabilidad en la implementación de estas tecnologías.