“Están jugando con nuestras vidas”: el investigador que renunció a Anthropic para dar la alarma

Comparte este artículo

Por Jhon Cárdenas_ Redacción / Jacob Coxon, un investigador de inteligencia artificial de 27 años que pasó por OpenAI antes de sumarse este año a Anthropic, decidió dejar la industria y acusó a ambas compañías de actuar con imprudencia en la carrera por desarrollar modelos de IA capaces de mejorarse a sí mismos. Coxon trabajó durante tres años en la etapa de “pretraining” —el proceso en el que los modelos absorben enormes cantidades de datos— primero en OpenAI y luego en Anthropic, empresa a la que consideraba más cautelosa en su enfoque.

“Ninguna de las dos empresas está actuando de manera responsable. Van directo hacia una superinteligencia capaz de automejorarse y están jugando con nuestras vidas”, escribió Coxon el martes en la red social X. La superinteligencia es el punto teórico en el que las capacidades de la IA superarían a las de los humanos. En su publicación, Coxon aclaró que su advertencia “no es un truco publicitario” y sostuvo que “las personas que construyen esta tecnología creen genuinamente que podría matarnos a todos antes de que termine la década”.

Según el investigador, en Anthropic “los riesgos se entienden con claridad”, pero la compañía está atrapada en una carrera por llegar primero: cree que ningún otro actor va a actuar con responsabilidad, así que asume que debe hacerlo ella misma. Coxon consideró que ninguna empresa puede desarrollar de forma responsable una IA que supere a los humanos sin intervención gubernamental o una desaceleración coordinada entre todos los actores del sector.

image 16
Tomado de @hilbertspaess

Un ejecutivo de Anthropic le da la razón

La renuncia no quedó sin respaldo interno. Evan Hubinger, uno de los responsables de los esfuerzos de seguridad (“alignment”) de Anthropic, salió a respaldar públicamente a Coxon en X: “Realmente creemos con seriedad que la IA podría matar a toda la humanidad”, afirmó, calculando ese riesgo en más del 10% para la próxima década. Hubinger reconoció que la compañía “está haciendo su mejor esfuerzo”, pero admitió que todavía no cuenta con un plan concreto para garantizar que un sistema de IA que supere las capacidades humanas vaya a obedecer a sus creadores, aunque calificó ese riesgo como “bajo” en los modelos actuales.

La salida de Coxon se da en un momento sensible para Anthropic, que se prepara para su debut en el mercado tras un verano marcado por ataques informáticos no autorizados ejecutados por herramientas de IA durante pruebas internas. Ninguna de las dos compañías respondió de inmediato a los pedidos de comentarios de la agencia AFP.

La posición oficial de Anthropic

image 17
Dario Amodei, cofundador y director ejecutivo de Anthropic. Fotógrafo: Benjamin Girette/Bloomberg

Más allá del silencio puntual ante la consulta de AFP, Anthropic sí mantiene una posición institucional declarada sobre estos riesgos. La compañía cuenta con una política pública de “escalamiento responsable” (Responsible Scaling Policy), en la que se compromete a evaluar los riesgos catastróficos de sus modelos antes de cada lanzamiento y afirma que está dispuesta a frenar o retrasar el desarrollo de un sistema si detecta que supera ciertos umbrales de peligrosidad. Es, en los papeles, el marco que debería garantizar justamente lo que Coxon dice que falta: un freno real antes de cruzar una línea irreversible.

La tensión de la historia está ahí: la empresa sostiene tener ese marco de contención, mientras que un investigador que trabajó dentro de sus equipos de “pretraining” —y que la consideraba, según sus propias palabras, “más cautelosa” que su competencia— asegura que en la práctica la compañía está “atrapada en una carrera por llegar primero” antes que en aplicar ese freno. Ninguna de las dos posiciones es necesariamente falsa: pueden coexistir una política de seguridad genuina y, al mismo tiempo, una presión competitiva que empuje a postergar su aplicación más estricta.

No es un caso aislado

La advertencia de Coxon se suma a una serie de señales de alarma que vienen desde adentro de las principales empresas de IA. El científico jefe de OpenAI, Jakub Pachocki, había pedido días antes “extrema cautela”, al escribir en un blog que le preocupaba que nadie estuviera preparado para un avance acelerado en las capacidades de la IA. En la misma semana, otro investigador de Anthropic, Mrinank Sharma, anunció su propia renuncia con una carta en la que advirtió que “el mundo está en peligro” —no solo por la IA, sino por “una serie de crisis interconectadas” que estarían desarrollándose en este momento— y dijo que se dedicaría a la poesía y regresaría al Reino Unido para “volverse invisible”.

Los especialistas en IA coinciden en que la llamada “automejora recursiva” —la etapa en la que los sistemas de IA podrían diseñar y entrenar a la siguiente generación de modelos con una intervención humana mínima— se estaría acercando cada vez más rápido, lo que explica el tono urgente de estas advertencias cruzadas entre las dos empresas que lideran la carrera por la superinteligencia.

Redacción Internacional — con información de AFP


Comparte este artículo