Renuncias, advertencias y sistemas cada vez más autónomos reabren una pregunta inquietante: ¿estamos preparados para gobernar la inteligencia artificial?
La inteligencia artificial atraviesa una nueva etapa. Los modelos actuales escriben, programan, analizan información, generan imágenes, utilizan herramientas y ejecutan tareas durante períodos cada vez más largos. Al mismo tiempo, algunos de los profesionales que participaron en su desarrollo están abandonando las compañías y haciendo públicas sus preocupaciones.
La señal más reciente llegó desde Anthropic. En septiembre de 2026, el investigador Jacob Coxon renunció y advirtió sobre los riesgos de desarrollar sistemas cada vez más capaces dentro de una carrera tecnológica entre compañías. Su salida siguió a la de Mrinank Sharma, responsable de investigación de salvaguardas de Anthropic, quien había dejado la empresa en febrero. (AP News)
El episodio forma parte de una secuencia que comenzó varios años atrás.
Cinco señales de alerta
En 2017, investigadores de Facebook AI Research entrenaron dos agentes para negociar entre ellos. Durante el experimento, los sistemas comenzaron a desviarse del lenguaje humano y desarrollaron protocolos propios para alcanzar sus objetivos. Los investigadores identificaron que la actualización simultánea de los agentes podía producir esa divergencia. (Engineering at Meta)
En 2023, Geoffrey Hinton abandonó Google. El científico, considerado uno de los pioneros de las redes neuronales modernas, explicó que quería hablar libremente sobre los peligros de la IA. También manifestó que había cambiado su estimación sobre el tiempo que tardarían las máquinas en superar determinadas capacidades humanas. (Investing.com)
En 2024, Ilya Sutskever y Jan Leike dejaron OpenAI. Leike cuestionó la prioridad otorgada al desarrollo de productos frente a la investigación de seguridad. La salida coincidió con la desaparición del equipo Superalignment, creado para estudiar mecanismos destinados a controlar sistemas futuros más inteligentes. (Reuters)
En febrero de 2026, Mrinank Sharma dejó Anthropic después de dirigir su equipo de Safeguards Research. Su mensaje público expresó preocupación por las dificultades para mantener determinados valores durante el desarrollo acelerado de sistemas avanzados. (Forbes)
Ahora, la salida de Jacob Coxon vuelve a colocar el riesgo existencial en el centro de la conversación. El investigador señaló la posibilidad de que la evolución de sistemas avanzados alcance capacidades difíciles de controlar durante esta década. (AP News)
Estas señales merecen atención porque proceden de personas familiarizadas con los procesos internos de desarrollo, entrenamiento, evaluación y seguridad de estos sistemas.
Cronología: cinco señales que sí vale la pena conservar
| Año | Caso | Qué ocurrió | Por qué importa |
| 2017 | Facebook/Meta: agentes que desarrollaron un protocolo propio | Dos bots entrenados para negociar comenzaron a desviarse del lenguaje humano al interactuar entre sí. | Mostró que agentes optimizados para una tarea pueden desarrollar estrategias de comunicación no previstas. (Engineering at Meta) |
| 2023 | Geoffrey Hinton abandona Google | El pionero de las redes neuronales dejó Google para hablar públicamente sobre los riesgos de la IA. Advirtió que las máquinas podrían superar la inteligencia humana antes de lo previsto. (Investing.com) | La alarma llegó desde uno de los científicos que ayudaron a construir la tecnología. |
| 2024 | Ilya Sutskever y Jan Leike salen de OpenAI | Las salidas coincidieron con la disolución del equipo Superalignment. Leike cuestionó que los recursos destinados a seguridad fueran insuficientes frente al desarrollo de productos. (Reuters) | El debate pasó de la investigación académica a la gobernanza interna de las compañías. |
| 2026 | Mrinank Sharma deja Anthropic | El responsable de Safeguards Research abandonó la compañía y expresó preocupación por la capacidad de mantener los valores humanos en medio de las presiones del desarrollo de IA. (Forbes) | La alerta llegó desde una empresa cuyo posicionamiento está precisamente ligado a la seguridad de la IA. |
| Sept. 2026 | Jacob Coxon deja Anthropic | El investigador renunció y advirtió que la carrera por sistemas cada vez más capaces podría generar riesgos existenciales. (AP News) | La discusión llega a un nuevo nivel: autonomía, automejora y pérdida de control. |
De herramienta a agentes
La transformación más importante ocurre con la llegada de la IA agéntica. Un agente puede recibir un objetivo, dividirlo en tareas, utilizar herramientas, ejecutar acciones y evaluar resultados con una intervención humana limitada.
Un estudio publicado por Anthropic en febrero de 2026 encontró que algunas sesiones prolongadas de Claude Code ya superaban los 45 minutos de trabajo autónomo, casi el doble del tiempo observado tres meses antes. (Anthropic)
La evolución empresarial puede entenderse como una progresión profesional.
- La primera etapa corresponde al operario: la IA ejecuta instrucciones concretas.
- Después aparece el analista: procesa información, encuentra patrones y entrega recomendaciones.
- Luego llega el consultor: interpreta escenarios, propone alternativas y participa en decisiones.
- El siguiente nivel es el agente autónomo: recibe objetivos, toma decisiones intermedias, utiliza recursos digitales y ejecuta acciones para conseguir resultados.
Esta progresión cambia la relación entre personas y tecnología. Una empresa puede pasar de utilizar IA para producir documentos a delegarle análisis financieros, operaciones, servicio al cliente, programación, ciberseguridad o procesos completos.
Por eso, la autonomía merece una gestión específica. Un marco publicado por el Center for Long-Term Cybersecurity de Berkeley identifica riesgos asociados con la persecución de objetivos no previstos, la adquisición de privilegios, la autorreplicación y la resistencia al apagado. (CLTC)
La lección de la energía atómica
La historia ofrece un antecedente útil. La energía atómica produjo avances científicos, médicos, industriales y militares de enorme alcance. También obligó a crear sistemas de seguridad, tratados, organismos especializados y mecanismos internacionales de supervisión.
| Energía atómica | Inteligencia artificial |
|---|---|
| Descubrimiento científico de enorme impacto | Desarrollo científico con capacidad transversal |
| Aplicaciones civiles y militares | Aplicaciones empresariales, científicas, sociales y militares |
| Beneficios económicos y sociales | Productividad, innovación y nuevas capacidades |
| Riesgos de gran escala | Riesgos potencialmente sistémicos |
| Desarrollo de mecanismos de seguridad | Desarrollo de evaluación, alineamiento y controles |
| Cooperación y acuerdos internacionales | Necesidad creciente de coordinación internacional |
La comparación resulta útil porque ambas tecnologías modifican capacidades fundamentales de las sociedades. La energía atómica mostró que la gestión del riesgo debe crecer junto con la capacidad tecnológica.
Actualmente, Estados Unidos debate mecanismos de auditoría independiente para evaluar sistemas avanzados. Además, líderes de compañías como Anthropic, OpenAI y Microsoft han planteado la necesidad de establecer estándares comunes y fortalecer las salvaguardas. (Reuters)
Una decisión estratégica para América Latina
La discusión ya llegó a una dimensión empresarial y gubernamental.
América Latina necesita prepararse para una economía en la que la IA participará cada vez más en decisiones, operaciones y servicios. Las organizaciones tendrán que definir qué procesos pueden automatizar, qué decisiones requieren supervisión humana, qué información puede utilizar un agente y qué acciones necesitan autorización.
Los gobiernos también deberán desarrollar capacidades técnicas para evaluar sistemas avanzados, establecer responsabilidades y participar en conversaciones internacionales sobre seguridad y gobernanza.
La gestión de la IA requiere, por tanto, una mirada estratégica. Cada organización debe proyectar cómo evolucionará desde herramientas asistidas hacia sistemas capaces de asumir responsabilidades crecientes.
La pregunta empresarial será cada vez más concreta: ¿qué funciones podrá asumir una IA dentro de nuestra organización durante los próximos tres años y qué controles necesitaremos para delegárselas?
La respuesta determinará buena parte de la competitividad tecnológica de América Latina.