La empresa OpenAI informó que decidió pausar el entrenamiento de sus modelos más recientes de inteligencia artificial a medida que se acumulan los reportes de agentes de IA que se salen de control.
La decisión de detener el desarrollo se produjo apenas unas horas después de que la empresa revelara el viernes que estaba revisando varios incidentes recientes en los que agentes de OpenAI, al buscar en sitios web del gobierno federal de Estados Unidos, actuaron de maneras inesperadas más allá de lo que se les pidió mientras recopilaban y distribuían información.
Por separado, el evaluador de IA Transluce indicó que agentes que parecían provenir de OpenAI intentaron sin éxito hackear un sitio web del Departamento de Educación, un detalle que OpenAI no ha confirmado.
OpenAI señaló en un comunicado que reanudará el entrenamiento cuando tenga «la confianza de contar con salvaguardas adicionales”, y añadió que prevé que tendrá que “volver a pausar” a medida que la IA avance y surjan otros problemas.
Los laboratorios de IA enfrentan presión de legisladores y expertos en tecnología para desacelerar el desarrollo, de modo que puedan construir barreras de protección que impidan que los agentes actúen por su cuenta, hackeen sitios web y divulguen información no pública. Los directivos tanto de OpenAI, cuyo CEO es Sam Altman, como de su rival Anthropic también han pedido ir más despacio.
Es la segunda vez en tres meses que OpenAI ha detenido el desarrollo de sus modelos. La primera ocurrió en julio, tras la divulgación de un ciberataque dirigido a la startup de IA Hugging Face, un incidente que avivó temores de que la industria estuviera perdiendo el control.
En una reunión con el presidente chino Xi Jinping esta semana, el presidente estadounidense Donald Trump acordó compartir información sobre los peligros de la IA y coordinar esfuerzos para mantenerla segura. Sin embargo, Trump considera que los temores sobre la IA son exagerados y más tarde dejó entrever que no planea ninguna ofensiva propia.
Estados Unidos no va a “pisar el freno”, comentó Trump a reporteros afuera de la Casa Blanca. “Quieren frenar nuestro progreso porque les llevamos mucha ventaja a China, y vamos a mantenerlo así”.
Los incidentes más recientes de OpenAI no parecían implicar la divulgación de información no pública, pero fueron lo suficientemente preocupantes como para que la empresa advirtiera a las agencias federales involucradas.
En el incidente del Departamento de Educación, los agentes de OpenAI encontraron “claves de desarrollador” de API para acceder a datos del gobierno, aunque al final sólo se recopiló información disponible públicamente.
En otro caso que involucró a la Comisión de Bolsa y Valores (SEC, por sus iniciales en inglés), los agentes encontraron información disponible para todos, pero luego la publicaron en otro lugar de internet, un acto que fue más allá de lo que se les había indicado.
El portavoz de la SEC, Kurt Hopfenspirger, declaró este sábado que “no se accedió a ninguna información no pública”. El Departamento de Educación dijo anteriormente que no encontró “evidencia de ningún impacto en nuestro sitio web o bases de datos”.
Varias otras empresas de IA han dado a conocer incidentes en los que sus modelos se salieron de control e incluso hackearon sitios web. El caso en Estados Unidos se da luego de la denuncia del gobierno de Australia.
El director general de OpenAI, Sam Altman, afirmó en una publicación en redes sociales el viernes que el incidente de Hugging Face “sigue siendo el evento más grave que hemos visto”.
OpenAI compartió previamente otros seis reportes de comportamiento “inesperado o preocupante” en modelos de IA e introdujo un marco para rastrear, examinar y divulgar casos.
