China propone nuevas reglas para la IA “con rasgos humanos” y la interacción emocional con usuarios

Una cosa es un chatbot que responde preguntas y otra, un sistema diseñado para “caerte bien”, acompañarte y mantenerte dentro de la conversación. China acaba de poner el foco en ese segundo tipo: la IA que imita personalidad humana y busca una relación emocional con el usuario, justo la capa donde la línea entre producto y dependencia se vuelve borrosa.

El regulador cibernético chino publicó un borrador de normas para consulta pública que reforzaría la supervisión de servicios de IA orientados al consumidor capaces de simular rasgos de personalidad, patrones de pensamiento y estilos de comunicación “humanos”, e interactuar emocionalmente mediante texto, imagen, audio o video. El objetivo declarado es endurecer requisitos éticos y de seguridad en un mercado que está creciendo rápido.

El borrador plantea un enfoque que obliga a advertir contra el uso excesivo e intervenir cuando el sistema detecte señales de adicción. En la práctica, se pide a los proveedores que asuman responsabilidad de seguridad durante todo el ciclo de vida del producto y monten mecanismos de revisión de algoritmos, seguridad de datos y protección de información personal.

La parte más sensible es psicológica: se espera que estos servicios identifiquen estados de ánimo, evalúen emociones y midan el nivel de dependencia del usuario. Si aparecen “emociones extremas” o comportamientos adictivos, el proveedor debería tomar medidas para intervenir. Es un giro que convierte a la plataforma en algo más que un servicio: la empuja a vigilar el estado del usuario y a decidir cuándo debe frenar.

El texto también marca límites de contenido y conducta: los sistemas no deberían generar material que ponga en riesgo la seguridad nacional, difunda rumores o promueva violencia u obscenidad. Es decir, la regulación no se reduce a “bienestar digital”; mezcla prevención de dependencia, control de riesgos y control de discurso, todo en el mismo paquete.

Lo que queda por ver es cómo se aplicará y qué se considerará realmente “interacción emocional” o “uso excesivo”, porque ahí se juega la frontera entre protección y control. También queda la pregunta que muchos mercados están evitando: si una IA está diseñada para retener tu atención como parte del negocio, ¿puede regularse esa intención sin convertir a la propia plataforma en juez del estado mental del usuario?

Fuente: Reuters