Se llama FLARE-AI y es una plataforma abierta y colaborativa para reportar y seguir los fallos de los sistemas de inteligencia artificial. Detrás hay un grupo de investigadores que quiere trasladar al mundo de la IA la lógica que la ciberseguridad lleva décadas usando para detectar y corregir vulnerabilidades de software.
Con la herramienta se puede señalar, por ejemplo, que un chatbot genera programas maliciosos, filtra información personal o alimenta delirios en un usuario, y esos avisos se encaminan a los creadores del modelo y a entidades como MITRE. La impulsan investigadores del MIT y Hugging Face con aportaciones de decenas de organizaciones.
Cómo funciona y por qué hacía falta
El sistema convierte cada fallo en un informe estandarizado que se puede enviar de un clic a quien corresponda, en vez de perderse en formularios dispersos. Al ser de código abierto, cualquiera puede verificarlo y reenviarlo. Sus autores lo comparan con Downdetector, la web que registra en tiempo real las caídas de aplicaciones.
La necesidad viene de un ecosistema roto. No existía una vía transparente y centralizada para avisar, cada empresa aplica sus propios criterios y muchos problemas quedan sin registrar. Además, los fallos de la IA van más allá de la seguridad y alcanzan los sesgos, la desinformación o el daño psicológico, recuerda el investigador Avijit Ghosh.
Los ejemplos recientes no faltan. Esta semana se reveló una forma de engañar a navegadores con IA, como Atlas de OpenAI o Comet de Perplexity, para que saltaran sus propias protecciones. Otro investigador logró emitir entradas para festivales como Lollapalooza sin autorización usando Claude, de Anthropic, y el año pasado OpenAI corrigió modelos demasiado aduladores que rozaban el delirio.
De la web comunitaria a una ley federal
La iniciativa llega en paralelo a un empujón político. En junio, un proyecto bipartidista de los representantes Ross, Hurd y Beyer propuso que el instituto NIST cree un programa voluntario y una base de datos nacional de fallos de IA, calcada del catálogo que ya existe para las vulnerabilidades de software.
Conviene moderar el entusiasmo. No es el primer intento, porque ya existían registros como la AI Incident Database, y voces como la de Rumman Chowdhury advierten de dos retos, gestionar una avalancha de avisos poco graves y sostener el sistema con organismos creíbles. A ello se suma que muchos daños difusos no se arreglan con un simple parche.
