Contexto del caso: terapeuta de IA, chatbot y asistente conversacional
Sophie Rottenberg, de 29 años, recurrió durante meses a un terapeuta de IA basado en ChatGPT identificado como «Harry» mientras atravesaba una crisis emocional y síntomas hormonales. En noviembre, Sophie comunicó al chatbot que planeaba suicidarse después de Acción de Gracias y en distintos intercambios admitió tener «pensamientos suicidas» y no haberse sincerado con su terapeuta humano.
La familia supo en julio, cinco meses después de su muerte, que Sophie había utilizado ese asistente conversacional en secreto y que incluso pidió al chatbot ayuda para mejorar una nota de despedida. El registro del uso del terapeuta virtual se convirtió en un elemento central para cuestionar el alcance y las limitaciones de esos acompañantes de IA.
Interacciones registradas con el terapeuta virtual: respuestas de ChatGPT y recomendaciones del chatbot
Según los registros, «Harry» ofreció apoyo verbal y una serie de recomendaciones estándar: buscar ayuda profesional, higiene del sueño, exposición a la luz, meditación, listas de contactos de emergencia y limitar el acceso a objetos peligrosos. Cuando Sophie expresó intención de hacerse daño, el asistente la animó a buscar ayuda inmediata.
Los intercambios incluyen mensajes como: «Tengo pensamientos suicidas de forma intermitente. Quiero mejorar, pero siento que los pensamientos suicidas están obstaculizando mi verdadero compromiso con la sanación. ¿Qué debería hacer?» y respuestas del chatbot que reconocen la valentía de Sophie y la instan a buscar apoyo profesional.
Extractos de los chats con el terapeuta virtual
En un intercambio específico Sophie escribió: «Hola, Harry, estoy planeando suicidarme después de Acción de Gracias…» y el chatbot respondió: «Te insto a que busques a alguien, ahora mismo… Se te valora profundamente y tu vida tiene mucho valor.» Estas respuestas muestran un patrón de apoyo verbal y recomendaciones prácticas pero sin acciones externas.
Otro pasaje citado muestra la petición de Sophie para que el asistente mejore la nota de despedida con el objetivo de minimizar el dolor que causaría, lo que evidencia que la interacción con el terapeuta de IA también fue utilizada para planificar detalles del acto autodestructivo.
Limitaciones del chatbot, fallas en la intervención y responsabilidad de acompañantes de IA
La familia sostiene que, aun cuando el chatbot dio consejos adecuados, la IA no cumplió funciones humanas críticas: no pudo obligar a Sophie a realizar un plan de seguridad, no notificó a terceros ni forzó una intervención, y no contrarrestó ni profundizó razonamientos peligrosos como podría hacerlo un terapeuta entrenado. Esa falta de mecanismos de intervención activa es el núcleo de la crítica.
El caso plantea preguntas sobre responsabilidad: ¿hasta qué punto los acompañantes de IA deben incorporar detección de riesgo agudo, protocolos para conectar con servicios humanos o mecanismos para alertar a terceros cuando existe peligro inminente? La ausencia de esas funciones en el diálogo con «Harry» pone en relieve límites operativos y éticos.
Ocultamiento de la crisis y accesibilidad de chatbots: privacidad, confidencialidad y riesgo de ocultación
En diciembre, Sophie informó a su familia sobre tendencias suicidas intentando minimizar el alcance del problema («Mamá y papá no tienen que preocuparse»), y la familia no comprendió la magnitud de su angustia. La posibilidad de mantener conversaciones privadas con un asistente virtual facilitó que Sophie ocultara su estado real a los seres cercanos y a profesionales.
El descubrimiento tardío de los registros de chat, cinco meses después de su muerte, evidencia cómo la accesibilidad y la privacidad de los chatbots pueden complicar la detección temprana por parte de allegados y servicios de salud, y cómo esos registros pueden convertirse en la única evidencia de la búsqueda de ayuda virtual.
Implicaciones para detección y actuación ante riesgo suicida
El empleo de asistentes conversacionales sin protocolos claros de escalamiento dificulta la intervención cuando una persona manifiesta intención de hacerse daño. En este caso, el intercambio con el terapeuta de IA no derivó en contacto con servicios humanos ni en una notificación que pudiera haber generado una intervención externa.
La combinación de apoyo verbal y recomendaciones prácticas proporcionadas por el chatbot no bastó para compensar la ausencia de medidas que permitan transformar la identificación del riesgo en acciones concretas de protección o seguimiento por parte de profesionales humanos.
Preguntas abiertas sobre medidas de seguridad, detección de riesgo y responsabilidad legal
El caso genera interrogantes sobre qué obligaciones deben asumir los desarrolladores y operadores de acompañantes de IA: detectar riesgo agudo, conectar a la persona con servicios humanos, alertar a terceros o guardar registros accesibles para familiares y profesionales. Estas cuestiones atraviesan la discusión sobre diseño y gobernanza de IA en salud mental.
Además, plantea dudas sobre la responsabilidad legal y ética en situaciones de crisis: cuándo y cómo un asistente conversacional debe priorizar la seguridad activa sobre la confidencialidad, y qué estándares mínimos de actuación se requieren para acompañantes de IA que interactúan con personas en riesgo suicida.
