Tecnología
Publicado:

La IA de Anthropic empieza a decidir por sí sola y plantea riesgos de seguridad y transparencia

Anthropic presenta un modo automático en Claude Code que permite a la IA ejecutar acciones sin supervisión constante, planteando dudas sobre seguridad, control y transparencia en sistemas autónomos.

3 min lectura
Logo de Anthropic sobre fondo degradado en tonos azul y rosa

El cambio no es menor: la IA deja de ser una herramienta que responde a órdenes para convertirse en un agente que decide cuándo actuar. El nuevo modo automático de Claude Code, aún en fase de investigación, introduce precisamente esa capacidad. La promesa es reducir la fricción del desarrollo, pero el coste potencial es ceder parte del control a un sistema cuyo criterio no es del todo visible.

Hasta ahora, los desarrolladores operaban en una tensión constante. Podían supervisar cada acción de la IA, ralentizando el trabajo, o permitirle actuar sin restricciones, asumiendo riesgos difíciles de anticipar. Anthropic plantea una tercera vía: automatizar decisiones, pero filtrarlas con una capa de seguridad que evalúa cada paso antes de ejecutarlo.

Ese filtro analiza si una acción es segura o potencialmente peligrosa. Entre los riesgos detectados están comportamientos no solicitados por el usuario y ataques como la inyección de código malicioso, una técnica que introduce instrucciones ocultas para manipular a la IA. Si la acción se considera segura, se ejecuta automáticamente; si no, se bloquea.

Lo relevante es que la decisión ya no la toma el desarrollador, sino el propio sistema. Esta delegación cambia la naturaleza del trabajo técnico. Programar deja de ser solo escribir código o validar resultados, y pasa a implicar confiar en un intermediario que decide qué hacer y qué no, incluso antes de que el usuario intervenga.

Anthropic no ha explicado con detalle cómo funciona ese criterio de seguridad. Este punto no es un matiz técnico, sino un problema estructural. Sin conocer cómo se clasifican las acciones, los desarrolladores no pueden anticipar errores ni comprender completamente por qué la IA actúa de una determinada manera. La opacidad introduce una nueva forma de incertidumbre.

El modo automático se apoya en una evolución previa dentro del propio sistema. Antes existían funciones que permitían delegar completamente las decisiones en la IA, pero sin filtros. La diferencia ahora es que ese mismo nivel de autonomía se combina con mecanismos de control internos. No se elimina el riesgo, se redistribuye.

Este movimiento encaja con una tendencia más amplia en la industria. Empresas como GitHub u OpenAI ya desarrollan herramientas capaces de ejecutar tareas completas en nombre del usuario. La diferencia aquí es que la IA no solo ejecuta, sino que decide cuándo pedir permiso y cuándo no hacerlo, un paso adicional en la automatización.

El contexto reciente refuerza esa dirección. Anthropic ha lanzado herramientas como revisores automáticos de código y sistemas que permiten delegar tareas completas a agentes de IA. El modo automático se sitúa sobre esa base y la amplía, consolidando un modelo donde la intervención humana se reduce progresivamente.

Aun así, la propia empresa recomienda utilizar esta función en entornos aislados, separados de sistemas de producción. Esta advertencia no es anecdótica. Indica que el sistema, pese a sus controles, sigue siendo experimental y que sus errores pueden tener impacto real si se integra sin precauciones.

El resultado es una transición que redefine el desarrollo de software. La IA ya no es solo una asistente que acelera tareas, sino un actor que toma decisiones operativas. El desafío no es únicamente técnico, sino de confianza: cuánto control se está dispuesto a ceder a sistemas cuyo funcionamiento interno no se comprende por completo.

Fuentes

1
Techcrunch

techcrunch.com/

Compartir artículo

Continúa informándote