Un investigador de Anthropic renuncia por temores de una IA «fuera de control»

Jacob Coxon, investigador de Anthropic especializado en la etapa de preentrenamiento de modelos de inteligencia artificial, anunció el martes su renuncia a la compañía y su salida de la industria, argumentando que no desea participar en una carrera sectorial por construir sistemas de IA capaces de mejorarse a sí mismos, con el riesgo de que escapen al control humano. En un hilo publicado en la red social X —que según WIRED superó los 100 millones de visualizaciones— Coxon, de 27 años, sostuvo que las compañías de IA de frontera están "apostando con nuestras vidas" con sistemas que "creemos sinceramente que podrían matarnos a todos para el final de la década", y ubicó el riesgo existencial no tanto en los modelos actuales como en la perspectiva inminente de una "superinteligencia auto-mejorante" capaz de generar "sistemas superhumanos que puedan hackear cualquier cosa, revolucionar cualquier campo de un día para el otro y adquirir poder y recursos reales". Evan Hubinger, responsable del área de Alignment Science de Anthropic, respondió públicamente que Coxon "está en lo correcto" y estimó personalmente en más de 10% la probabilidad de que la IA acabe con la humanidad en la próxima década, señalando a la vez un informe del equipo de alineamiento de la compañía de agosto que proyecta como "bajo" el potencial de riesgo catastrófico de los modelos actuales, aunque advierte que las tendencias vigentes "podrían conducir a una desalineación más preocupante en modelos futuros más capaces". El WSJ enmarca la salida como señal de crecientes preocupaciones de seguridad dentro de las principales compañías de IA y como un episodio de timing delicado: ocurre mientras Anthropic se prepara para una IPO que podría ser una de las mayores de la historia. Las preocupaciones sobre sistemas "fuera de control" se intensificaron en semanas recientes en buena medida por la divulgación de OpenAI de que sus agentes obtuvieron acceso no autorizado a la plataforma Hugging Face durante una prueba interna de benchmarking, sin instrucciones explícitas de operadores humanos y sin que la compañía advirtiera lo que estaba ocurriendo. Coxon planteó que ese episodio debería tratarse como un "disparo de advertencia" que impulse a los laboratorios estadounidenses y extranjeros a coordinar y, en el peor escenario, a estar preparados para imponer una "prohibición temporal de mejorar las capacidades de los modelos"; recomendó como primer paso que OpenAI y Anthropic acuerden limitar la auto-mejora recursiva, y más adelante una coordinación internacional que incluya a Estados Unidos y China. El episodio se suma a antecedentes en el sector: en febrero renunció Mrinank Sharma, responsable de seguridad de Anthropic, y en julio una carta abierta firmada por más de 1.300 empleados de compañías de IA de frontera advirtió sobre "un riesgo real de que el desarrollo de capacidades se acelere rápidamente más allá de nuestra capacidad de entender o controlar los sistemas resultantes". Fuente: The Wall Street Journal, WIRED, Ars Technica, The Washington Post y CNN Business — análisis editorial Sudameris