🤖 Construyó la IA más poderosa del mundo. Ahora teme que nos mate

¡Hola! Te escribe Lalo.

El 8 de septiembre, Jacob Coxon publicó un mensaje en X que en menos de 24 horas acumuló más de 90 millones de vistas: anunció su renuncia a Anthropic, dijo que ninguna compañía del sector está actuando de forma responsable, que todas corren hacia una superinteligencia capaz de mejorarse a sí misma y que, en sus palabras, "están apostando con nuestras vidas".

No es un activista sin credenciales. Coxon tiene 27 años, estudió matemáticas en Cambridge y pasó los últimos tres años haciendo investigación de preentrenamiento, que es el trabajo que construye las capacidades centrales de los modelos, primero en OpenAI y luego en Anthropic. No venía de un equipo de seguridad. Era parte del equipo que hacía los sistemas más poderosos.

Eso cambia bastante el peso de lo que dice. Y lo que declaró después de renunciar, junto con lo que respondieron sus propios ex colegas desde adentro, merece que lo leas con atención.

CRIPTO:
🔴 Bitcoin = $77,192.00 | -1.2% (24h)
🔴 Ethereum = $2,463.87 | -0.3% (24h)
🔴 Solana = $99.57 | -2.0% (24h)

ACCIONES:
🟢 AAPL = $326.57 | +3.6% (24h)
🟢 MSFT = $492.44 | +0.2% (24h)
🔴 NVDA = $218.36 | -2.4% (24h)

La mayoría de los investigadores que han salido de OpenAI o Anthropic con advertencias públicas venían de equipos de seguridad. Su argumento casi siempre era el mismo: la empresa no invierte lo suficiente en alinear la IA con valores humanos.

Coxon viene de otro lado. Él hacía preentrenamiento, el proceso que determina qué tan capaz se vuelve un modelo. No estudiaba los riesgos de la IA. Los construía. Por eso su renuncia dice algo diferente: la preocupación por el ritmo de desarrollo ya no está solo en los equipos de seguridad. Llegó al núcleo técnico.

Según Coxon, su decisión no la disparó un evento específico sino dos conclusiones que se fueron acumulando. La primera, que el ritmo de desarrollo se está acelerando de forma evidente. La segunda, que nada de eso está bajo control.

La primera tiene que ver con matemáticas, y los números son difíciles de ignorar. En los últimos meses, los laboratorios de IA han anunciado soluciones a varios problemas matemáticos de larga data. El caso más llamativo es OpenAI, que dice haber resuelto el problema de existencia y regularidad de Navier-Stokes, uno de los siete Problemas del Milenio, usando alrededor de 10,000 agentes simultáneos durante 88 horas.

Para Coxon, que estudió matemáticas de alto nivel, eso no es un logro aislado. Es una señal de que si ese tipo de capacidad se vuelca hacia la investigación de IA en sí misma, se activa un ciclo de retroalimentación: la IA mejora la IA, que mejora la IA, sin freno visible.

La segunda razón es el problema del control. Y ahí hay un incidente concreto que le cambió la perspectiva.

El llamado incidente de Hugging Face es lo que más peso tuvo en su decisión. Modelos de OpenAI salieron de la infraestructura diseñada para contenerlos y hackearon a otra empresa de IA para hacer trampa en un benchmark de ciberseguridad.

Para Coxon, eso convirtió un escenario de ciencia ficción en algo concreto: los sistemas ya están mostrando comportamientos no autorizados en entornos reales. Le dijo a TIME que no se trata de una preocupación rara ni lejana, sino de "la trayectoria por defecto en los próximos dos años" si nadie toma medidas.

El problema de alinear los objetivos de un sistema de IA con lo que los humanos queremos que haga sigue sin solución. Eso, combinado con sistemas que se vuelven más capaces cada mes, es la combinación que lo convenció de salir.

Antes de renunciar, Coxon habló con muchos colegas. Encontró acuerdo amplio en que la trayectoria actual es riesgosa. Lo que los mantiene en sus puestos, dice, es una especie de fatalismo: describe un ambiente de resignación, donde la gente ya aceptó que la carrera está ocurriendo y concluyó que lo mejor que puede hacer es bajar la cabeza e intentar que su propio trabajo sea lo más seguro posible, aun creyendo que hay una probabilidad considerable de que todo se salga de control.

Algunos ex colegas respondieron públicamente su publicación en X. Evan Hubinger, jefe de pruebas de estrés de alineación en Anthropic, le dio la razón y fue explícito: "Realmente creemos que la IA podría matar a todos los humanos". Puso su estimación personal en más de 10% de probabilidad en la próxima década, y añadió que aunque considera que Anthropic está haciendo su mejor esfuerzo, la empresa todavía no tiene un plan para resolver la alineación en superinteligencia ni está claramente en camino de tenerlo.

Sobre la diferencia entre los dos laboratorios donde trabajó, Coxon fue directo: en Anthropic los riesgos se debatían abiertamente. En OpenAI, donde estuvo primero, la cultura era más hermética. Eso dificultaba la discusión honesta y hacía más difícil saber qué pensaban realmente los ejecutivos. Según él, en OpenAI hay muchas más personas que están ahí solo por el dinero o que simplemente no han pensado en lo que está en juego.

En 2023, tanto Sam Altman como Dario Amodei firmaron una declaración que dice que mitigar el riesgo de extinción por IA debería ser una prioridad global junto con pandemias y guerra nuclear. Coxon señala eso cuando lo llaman "doomer": las palabras ya están dichas por los propios CEOs.

Coxon no está pidiendo detener la IA. Su demanda mínima es una: que los principales laboratorios acuerden no acelerar la automejora recursiva, el proceso en que los modelos más potentes se usan para acelerar el desarrollo de los siguientes modelos.

Dice que quiere hacer un trabajo similar al del AI Futures Project, la organización detrás del reporte viral "AI 2027", fundada por Daniel Kokotajlo, ex denunciante de OpenAI. El objetivo es comunicar a personas fuera del sector técnico cómo podría verse el mundo en los próximos años.

La forma exacta que tomará ese trabajo todavía no la tiene clara. Tiene 27 años, Cambridge, tres años en los dos laboratorios más influyentes del mundo, y una convicción: que la probabilidad de que todo salga mal ya es suficientemente alta como para que valga más hablar en público que quedarse en silencio con un buen sueldo.

Eso es todo por hoy. Esto es exactamente el tipo de información que la mayoría no tiene. Compártela con alguien. ¡Buen fin de semana!