OpenAI informó hoy que ha pausado el entrenamiento de sus modelos más recientes de inteligencia artificial a medida que se acumulan los reportes de agentes de IA que se salen de control.
La decisión de detener el desarrollo se produjo apenas unas horas después de que la empresa revelara el viernes que estaba revisando varios incidentes recientes en los que agentes de OpenAI, al buscar en sitios web del Gobierno federal, actuaron de maneras inesperadas más allá de lo que se les pidió mientras recopilaban y distribuían información.
Por separado, el evaluador de IA Transluce indicó que agentes que parecían provenir de OpenAI intentaron sin éxito hackear un sitio web del Departamento de Educación, un detalle que OpenAI no ha confirmado.
OpenAI señaló en un comunicado que reanudará el entrenamiento "cuando tengamos la confianza de que contamos con salvaguardas adicionales", y añadió que prevé que tendrá que "volver a pausar" a medida que la IA avance y surjan otros problemas.
Los laboratorios de IA enfrentan presión de legisladores y expertos en tecnología para desacelerar el desarrollo, de modo que puedan construir barreras de protección que impidan que los agentes actúen por su cuenta, hackeen sitios web y divulguen información no pública.
Los directivos tanto de OpenAI como de su rival Anthropic también han pedido ir más despacio.
Es la segunda vez en tres meses que OpenAI ha detenido el desarrollo de sus modelos. La primera ocurrió en julio, tras la divulgación de un ciberataque dirigido a la startup de IA Hugging Face, un incidente que avivó temores de que la industria estuviera perdiendo el control.
