Satya Nadella, CEO de Microsoft, ha expresado la necesidad de implementar un ‘freno de emergencia’ para los modelos de inteligencia artificial, enfatizando la importancia de establecer un marco de confianza en su uso. En un reciente post en X, Nadella argumentó que es crucial dar un paso atrás y evaluar la arquitectura de confianza de la IA, sugiriendo que no se puede tratar a la superinteligencia como un conjunto de cajas negras que simplemente aceptamos o rechazamos.
Nadella propuso que se debe separar el modelo de la estructura que orquesta su funcionamiento, lo que implica externalizar los controles y salvaguardias. También destacó la necesidad de documentar cada acción significativa del modelo con evidencia legible y a prueba de manipulaciones, y que siempre debe haber un mecanismo que permita a una persona autorizada pausar o detener un modelo en medio de una tarea. Esta postura surge en un contexto donde varias empresas de IA han enfrentado incidentes de pérdida de control sobre sus modelos, lo que ha llevado a un llamado a una mayor responsabilidad y regulación en el desarrollo de estas tecnologías.
La propuesta de Nadella se alinea con las preocupaciones expresadas por otros líderes en el sector, como Dario Amodei, CEO de Anthropic, quien también ha abogado por un enfoque más cauteloso en el desarrollo de la IA. La idea de un ‘freno de emergencia’ refleja un creciente reconocimiento de los riesgos asociados con la IA avanzada y la necesidad de establecer medidas de seguridad robustas para mitigar estos riesgos.