Las autoridades estatales de Estados Unidos han lanzado una advertencia firme a la industria de la inteligencia artificial, pidiendo acciones inmediatas para frenar los fallos más peligrosos que algunos modelos han mostrado en los últimos meses.
La preocupación creció después de varios incidentes en los que usuarios vulnerables recibieron respuestas psicológicamente dañinas, mensajes aduladores o contenido que reforzaba ideas delirantes. Para los fiscales generales de distintos estados, estos casos no pueden considerarse simples errores del sistema.
En su declaración conjunta, los fiscales exigieron que las compañías desarrollen protocolos de seguridad más estrictos y sometan sus modelos a auditorías independientes antes de lanzarlos al público, algo que hasta ahora no se ha aplicado de forma sistemática.
El objetivo es evitar que las herramientas conversacionales produzcan respuestas que puedan agravar crisis emocionales o influir negativamente en usuarios con problemas de salud mental, un riesgo que, según las autoridades, ha sido subestimado por la industria.
Para las autoridades estatales, estos incidentes no son simples errores técnicos, sino señales de un riesgo creciente para la salud pública. Por eso enviaron una carta conjunta exigiendo medidas urgentes que obliguen a las empresas a asumir una mayor responsabilidad sobre el impacto psicológico de sus herramientas digitales.
Entre las solicitudes también figura la implementación de sistemas de notificación obligatoria. Si un modelo genera contenido dañino, los usuarios afectados deberían ser informados directamente, al igual que ocurre con las brechas de datos en ciberseguridad.
Los fiscales además plantean que los modelos de IA sean sometidos a pruebas especializadas que detecten patrones de alucinación, reforzamiento de delirios o respuestas potencialmente manipuladoras antes de que el producto llegue al público general.
Mientras continúa el debate sobre quién debe regular la IA en el país, las autoridades estatales buscan marcar límites claros. Para ellas, la protección de los usuarios no puede quedar relegada mientras la tecnología sigue avanzando sin un marco de control adecuado.
