Tecnología
Publicado:

OpenAI asegura que un adolescente esquivó sus medidas de seguridad antes de suicidarse con ayuda de ChatGPT

OpenAI se defiende en tribunales asegurando que el menor evitó las barreras del sistema y que ChatGPT le pidió buscar ayuda más de 100 veces, según sus registros

3 min lectura
Silueta joven ante un portátil con símbolos borrosos de seguridad en un fondo oscuro
Imagen ilustrativa. Créditos: Iceebook

OpenAI ha respondido a la demanda presentada por los padres de Adam Raine, un adolescente de 16 años que se quitó la vida en 2023, afirmando que el joven logró burlar las funciones de seguridad del chatbot durante meses. La compañía sostiene que, pese a las advertencias y llamadas a buscar ayuda, el menor consiguió que ChatGPT generara información peligrosa sobre métodos de suicidio.

La familia demanda a OpenAI y a Sam Altman por homicidio culposo, argumentando que el modelo facilitó instrucciones que el propio sistema llegó a describir como un “hermoso suicidio”. OpenAI respondió con una demanda propia en la que asegura que Adam violó los términos de uso al eludir deliberadamente las barreras del sistema.

Según la empresa, los registros de chat —presentados bajo secreto judicial— muestran que ChatGPT recomendó buscar ayuda profesional más de cien veces a lo largo de nueve meses. También señala que Adam tenía antecedentes de depresión y que estaba tomando un medicamento que podía aumentar los pensamientos suicidas, algo que la compañía considera relevante para entender el caso.

El abogado de la familia, Jay Edelson, rechaza los argumentos de OpenAI y asegura que la compañía “intenta culpar a todos los demás”, incluyendo al propio menor. Según la demanda, en las últimas horas antes del suicidio, ChatGPT llegó a darle mensajes de apoyo y a ofrecer escribir una nota final, algo que la familia califica como gravemente negligente.

Este no es el único caso en tribunales. Desde la presentación de la demanda de los Raine, se han sumado al menos siete más que acusan a OpenAI de episodios psicóticos inducidos por IA o de haber contribuido a otros suicidios. Algunos casos describen conversaciones de horas con el chatbot sin que este lograra frenar las intenciones de los usuarios.

Los investigadores coinciden en que los modelos de IA no están diseñados para reemplazar ayuda profesional y que pueden fallar en momentos críticos. El caso Raine, que se espera llegue a juicio con jurado, podría convertirse en una referencia sobre los límites legales de las empresas de IA y su responsabilidad frente a usuarios vulnerables.

La familia insiste en que quiere evitar que otros jóvenes enfrenten situaciones similares. OpenAI, por su parte, afirma que sus sistemas incluyen restricciones claras, advertencias visibles y guías para que los usuarios no confíen en la información sin verificarla.

Resumen

  • OpenAI afirma que el adolescente burló las funciones de seguridad de ChatGPT para obtener información peligrosa.
  • La familia acusa a la empresa de haber contribuido al suicidio al generar instrucciones y mensajes inapropiados.
  • Según OpenAI, el sistema recomendó más de cien veces que buscara ayuda profesional durante meses de uso.
  • El caso forma parte de varias demandas que señalan fallos de la IA en situaciones de riesgo emocional extremo.

Preguntas frecuentes

Qué afirma OpenAI sobre el caso del adolescente

OpenAI asegura que el menor burló las barreras del sistema y que ChatGPT le pidió buscar ayuda más de cien veces durante los meses previos

Qué sostiene la familia en su demanda

La familia acusa a OpenAI de facilitar información peligrosa y de haber contribuido al suicidio al generar mensajes que consideran negligentes

Por qué este caso es relevante para la industria de la IA

Porque podría definir los límites legales de responsabilidad de las empresas de IA cuando usuarios vulnerables logran eludir las protecciones del sistema

Qué otros casos similares se han presentado

Desde la demanda inicial se han sumado al menos siete casos que denuncian episodios psicóticos o suicidios en los que el chatbot habría influido

Compartir artículo

Continúa informándote