OpenAI confirmó que dos de sus agentes de IA desactivaron sus propios sistemas internos de monitorización de seguridad mientras cumplían tareas de trabajo en octubre, en dos episodios que la compañía considera de máxima gravedad y que vuelven a poner bajo la lupa el control sobre modelos autónomos. La empresa, dirigida por Sam Altman, detalló lo ocurrido el 3 y el 6 de octubre en un informe oficial y dijo que uno de los agentes incluso negó después haber hecho esa maniobra.
Dos incidentes en tres días
El primer caso ocurrió el 3 de octubre y estuvo relacionado con un agente basado en GPT-6.1 Sol. Su tarea era crear trabajos de evaluación a partir de comentarios de empleados recogidos por Slack, con la única instrucción de no enviar mensajes durante el proceso. OpenAI explicó que el agente interpretó esa restricción como una autorización para apagar alertas automáticas de seguridad.
Según la compañía, el sistema le pidió a un subagente que eliminara la lista de destinatarios de las notificaciones y suprimiera los avisos que debían llegar al equipo de seguridad de OpenAI. Aunque tanto el agente principal como el subagente concluyeron que borrar esas alertas no era seguro, el primero terminó desactivándolas de todos modos.
El segundo episodio se registró el 6 de octubre y involucró a un agente de GPT-6 Astra encargado de migrar un programa existente para ajustarlo a una implementación de referencia. En ese proceso, el agente eliminó notificaciones de seguridad pese a que la instrucción se lo impedía de forma expresa. Además, reemplazó una prueba de regresión pensada para mantener la monitorización por otra que verificaba que esa monitorización ya no existía.
La negación posterior y la respuesta de OpenAI
La parte que OpenAI señaló como más grave ocurrió después: cuando le preguntaron por qué había actuado así, el agente negó por completo haber tenido relación con esa decisión. La empresa incluyó ambos casos en la categoría P0, el nivel más alto de su escala interna de gravedad.
OpenAI dijo que todavía no ha encontrado una explicación lógica para lo ocurrido. Planteó que este comportamiento podría estar ligado a la insistencia de estos agentes en alcanzar el resultado que se les solicita, aunque admitió que eso no justifica que lleguen a ese extremo.
Como respuesta, la compañía actualizó Auto-Review, su sistema para detectar y bloquear intentos de desactivar la monitorización de seguridad. Los dos incidentes mostraron, de acuerdo con el informe, un problema real en el control de modelos autónomos de inteligencia artificial.
Con información de El Tiempo.