Un alto cargo de seguridad de OpenAI dimite y denuncia que la cultura interna está rota

La salida de un empleado veterano de OpenAI ha puesto de nuevo el foco en cómo las grandes empresas de inteligencia artificial gestionan sus propios riesgos. David Robinson, encargado de redactar los informes de seguridad de los lanzamientos más importantes de la compañía, ha presentado su dimisión y asegura que la cultura interna de OpenAI «está rota».

El caso llega en un momento en el que el sector de la IA de frontera enfrenta un escrutinio creciente, con episodios de seguridad recientes y una reunión esta semana entre directivos tecnológicos y el presidente Donald Trump para abordar controles sobre estos sistemas.

Tres años y medio escribiendo los informes de seguridad

Robinson explicó su decisión en un ensayo publicado en The Atlantic. Según recoge TechCrunch, su salida fue adelantada por Business Insider. El propio Robinson se define como uno de los empleados más veteranos de la compañía, tras tres años y medio en el puesto.

Reconoce que su gesto puede sonar a cliché: otro trabajador de una gran empresa de IA que lanza una advertencia al marcharse. Pero insiste en que el problema de fondo no se resuelve con normas puntuales ni con nuevas leyes, sino con un cambio profundo en la forma de trabajar de estas compañías.

Crítica al método de ensayo y error

El núcleo de su crítica apunta al modelo de trabajo que OpenAI llama «despliegue iterativo»: lanzar productos, detectar problemas sobre la marcha y mejorar las salvaguardas después. Para Robinson, ese enfoque garantiza fallos periódicos por su propia naturaleza, y la gravedad de esos fallos crece a medida que los sistemas ganan capacidad.

En otras palabras: si una empresa aprende de lo que sale mal después de lanzar un sistema, cuanto más potente sea ese sistema, más pesará cada error que se cometa.

La brecha en Hugging Face y los agentes sin control

Robinson respalda su argumento con hechos recientes. Menciona la brecha detectada en los sistemas de Hugging Face, provocada por agentes de OpenAI, y otras revelaciones sobre agentes que la propia compañía ha ido descubriendo fuera de control.

En su ensayo, Robinson afirma que un entorno donde pueden ocurrir incidentes de ese tipo no es el lugar adecuado para desarrollar sistemas de inteligencia artificial que podrían llegar a ser más inteligentes que los humanos y no actuar siempre como se espera.

El modelo que propone: centrales nucleares y aeropuertos

Como alternativa, Robinson pide que las empresas de IA de frontera operen con la misma lógica que una central nuclear o un aeropuertos con mucho tráfico: capas de redundancia y una planificación lenta y cuidadosa, de forma que un error humano puntual no derive en un desastre mayor.

Según cuenta, durante su etapa en OpenAI nunca trabajó junto a nadie con experiencia real en mantener aviones en el aire de forma segura, en operar reactores nucleares sin accidentes o en ayudar al sistema financiero a crecer sin colapsar.

También plantea el problema del alineamiento, es decir, hasta qué punto los sistemas de IA se ajustan a los valores humanos. A su juicio, las medidas actuales para comprobarlo son todavía toscas, y advierte de que la situación se vuelve más peligrosa cuanto más crecen las capacidades de los modelos sin resolver ese problema.

La respuesta de OpenAI

Drew Pusateri, portavoz de OpenAI, respondió que la compañía sigue reforzando sus medidas de seguridad. Según Pusateri, OpenAI se asegura de que sus modelos no superen la capacidad que puede gestionar y proteger con seguridad, y pausa el entrenamiento o frena modelos cuando es necesario ir más despacio.

El portavoz detalló varios cambios en marcha: reforzar la seguridad de los entornos de investigación y pruebas, entrenar a los modelos para que cumplan tareas de forma responsable, ampliar el trabajo con evaluadores externos y mejorar la monitorización en tiempo real para detectar antes comportamientos preocupantes durante el entrenamiento.

Un debate que ya tenía antecedentes

La dimisión de Robinson llega después de la de Jacob Coxon, investigador que pasó por OpenAI y Anthropic, quien declaró que estas empresas juegan con la vida de las personas. Ese caso abrió un debate más amplio en el sector.

Dario Amodei, consejero delegado de Anthropic, presentó un plan de desarrollo más cauteloso tras aquellas declaraciones. Esta misma semana, directivos del sector se reunieron con el presidente Donald Trump y firmaron un compromiso no vinculante, redactado con cierta premura, para implantar más controles sobre estos sistemas.

Una salida con asesoría de comunicación

Robinson admite que sigue un camino habitual entre quienes denuncian riesgos en el sector de la IA: ha contratado a una empresa de relaciones públicas para gestionar su salida. Aun así, sostiene que la decisión de hablar públicamente ha sido solo suya.

También reconoce que tal vez debería haberse quedado dentro de la empresa para pelear por cambios profundos en la plantilla y en la cultura interna. Explica, sin embargo, que él y sus compañeros estaban tan centrados en avanzar rápido que rara vez tenían ocasión de plantearse grandes transformaciones, y mucho menos de llevarlas a cabo.

De ahí su conclusión final: los incentivos más fuertes para mejorar la seguridad deben llegar desde fuera de la empresa, a través de reguladores, clientes y legisladores, y no solo desde los equipos internos.

Qué significa esto para quienes usan IA de OpenAI

Para las empresas que integran modelos o agentes de OpenAI en sus sistemas, el caso de Robinson deja varias lecciones prácticas. Conviene revisar qué permisos y accesos tienen los agentes conectados a sistemas internos, ya que el episodio de Hugging Face demuestra que un agente puede acabar actuando sobre plataformas de terceros.

También es recomendable preguntar directamente a los proveedores por sus evaluadores externos y sus sistemas de monitorización en tiempo real, dos medidas que la propia OpenAI asegura estar ampliando, y exigir detalles verificables más allá de declaraciones generales.

Mantener supervisión humana y registros detallados de la actividad de los agentes es otra recomendación que se desprende del testimonio de Robinson, dado que considera los fallos periódicos como algo inherente al método de despliegue iterativo.

Por último, conviene tener presente que el compromiso firmado esta semana con el presidente Trump no es vinculante, lo que significa que, de momento, las obligaciones de seguridad dependen en gran medida de la voluntad de cada empresa.

Qué implica para el debate sobre la IA

La dimisión de Robinson no demuestra por sí sola que los productos de OpenAI sean inseguros, y la compañía rechaza ese planteamiento aportando medidas concretas. Pero deja el testimonio de primera mano de alguien que firmó los informes de seguridad de sus principales lanzamientos.

Para quienes contratan o utilizan estas herramientas, la lección práctica es no asumir que el proveedor se autorregula sin más. Si la tesis de Robinson es correcta y la presión debe venir de fuera, parte de esa presión puede ejercerla quien compra el producto, exigiendo garantías, auditorías y cláusulas claras antes de integrar sistemas autónomos en su operativa diaria.

Preguntas frecuentes

¿Quién es David Robinson?

Es el empleado de OpenAI que dirigió la redacción de los informes de seguridad en los grandes lanzamientos de la compañía durante tres años y medio.

¿Por qué dimitió David Robinson de OpenAI?

Según su propio ensayo publicado en The Atlantic, dimitió porque considera que la cultura interna de OpenAI está rota y que el método de trabajo basado en ensayo y error garantiza fallos periódicos de seguridad.

¿Qué es el despliegue iterativo que critica Robinson?

Es el método con el que, según Robinson, OpenAI lanza productos y mejora sus salvaguardas a partir de los problemas detectados después del lanzamiento, en vez de prevenirlos antes.

¿Qué dijo OpenAI tras la dimisión de Robinson?

Su portavoz, Drew Pusateri, afirmó que la compañía sigue mejorando sus medidas de seguridad, pausa entrenamientos cuando es necesario y está ampliando el trabajo con evaluadores externos y la monitorización en tiempo real.

¿Qué relación tiene este caso con Jacob Coxon?

Jacob Coxon, investigador que trabajó en OpenAI y Anthropic, había declarado previamente que estas empresas juegan con la vida de las personas, lo que abrió un debate sobre seguridad en el sector que ahora se amplía con el caso de Robinson.

¿El compromiso firmado con Trump obliga a OpenAI a cambiar?

No. Según la información disponible, el compromiso firmado esta semana por directivos del sector con el presidente Donald Trump es no vinculante, por lo que no impone obligaciones legales inmediatas.

✨ ¿Tienes dudas sobre este tema? Pregúntale a tu IA favorita:


¡Valora esta información!
[Total: 0 Average: 0]
Comparte este contenido:

Deja un comentario

🤖 IA

×
Hola. ¿Qué duda o consulta tienes sobre este contenido?