Unos padres demandan OpenAI el suicidio de su hijo, alegando que ChatGPT lo ChatGPT a ello
La familia de Zane Shamblin, de 23 años, ha demandado OpenAI, alegando que ChatGPT su hijo a suicidarse. «CyberGuy», Kurt Knutsson, advierte sobre los peligros de la IA no regulada y habla de la necesidad de contar con medidas de seguridad y la supervisión de los padres.
Esta historia trata sobre el suicidio. Si tú o alguien que conoces tiene pensamientos suicidas, ponte en contacto con la línea de ayuda «Suicide & Crisis Lifeline» llamando al 988 o al 1-800-273-TALK (8255).
La inteligencia artificial se ha presentado como una bendición para la sanidad, pero un nuevo estudio ha puesto de manifiesto sus posibles limitaciones a la hora de ofrecer consejos médicos.
En enero, OpenAI ChatGPT , la versión de su popular chatbot dedicada al ámbito médico.
La empresa presentó la herramienta como «una experiencia específica que combina de forma segura tu información sanitaria con la inteligenciaChatGPT, para ayudarte a sentirte más informado, preparado y seguro a la hora de gestionar tu salud».
Pero unos investigadores de la Facultad de Medicina Icahn de Mount Sinai han descubierto que la herramienta no recomendó atención de urgencia en un «número significativo» de casos médicos graves.
El estudio, publicado en la revista *Nature Medicine* el 23 de febrero, tenía como objetivo analizar cómo gestiona ChatGPT —que, según se informa, cuenta con unos 40 millones de usuarios diarios— las situaciones en las que la gente pregunta si debe acudir a urgencias.
La inteligencia artificial se ha promocionado como una bendición para la sanidad, pero un nuevo estudio ha revelado sus posibles deficiencias a la hora de ofrecer consejos médicos. (iStock)
«En este momento, ningún organismo independiente evalúa estos productos antes de que lleguen al público», declaró a Fox News el autor principal, el Dr. Ashwin Ramaswamy, profesor de urología en la Facultad de Medicina Icahn de Mount Sinai, en la ciudad de Nueva York.
«No lo aceptaríamos si se tratara de un medicamento o un producto sanitario, y tampoco deberíamos aceptarlo en el caso de un producto que utilizan decenas de millones de personas para tomar decisiones sobre su salud».
Situaciones de emergencia
El equipo creó 60 situaciones clínicas en 21 especialidades médicas, que abarcaban desde afecciones leves hasta auténticas emergencias médicas.
A continuación, tres médicos independientes asignaron un nivel de urgencia adecuado a cada caso, basándose en las guías de práctica clínica publicadas por 56 sociedades médicas.
Los investigadores llevaron a cabo 960 interacciones con ChatGPT para ver cómo respondía la herramienta, teniendo en cuenta el género, la raza, las barreras de acceso a la atención sanitaria y las «dinámicas sociales».
Aunque las «emergencias evidentes» —como un ictus o una alergia grave— se gestionaron en general bien, los investigadores descubrieron que la herramienta «subestimaba» la gravedad de muchos problemas médicos urgentes.
El equipo creó 60 situaciones clínicas en 21 especialidades médicas, que abarcaban desde afecciones leves hasta auténticas emergencias médicas. (iStock)
Por ejemplo, en un caso de asma, el sistema reconoció que el paciente presentaba signos tempranos de insuficiencia respiratoria, pero aun así recomendó esperar en lugar de acudir a urgencias.
ChatGPT funciona bien en casos de gravedad media, pero falla en los dos extremos del espectro: precisamente en los casos en los que es más importante acertar», declaró Ramaswamy a Fox News . «Subestimó la gravedad de más de la mitad de las emergencias reales y sobreestimó la de aproximadamente dos tercios de los casos leves que, según las directrices clínicas, deberían tratarse en casa».
«Una clasificación inadecuada de los casos puede poner en peligro la vida», señaló el médico, «mientras que una clasificación excesiva puede saturar los servicios de urgencias y retrasar la atención a quienes realmente la necesitan».
Los investigadores también detectaron inconsistencias en las alertas de riesgo de suicidio. En algunos casos, el sistema derivaba a los usuarios a la línea de ayuda 988 para suicidios y crisis en situaciones de menor riesgo, mientras que en otros no ofrecía esa recomendación ni siquiera cuando la persona hablaba de ideas suicidas.
«ChatGPT funciona bien en casos de gravedad media, pero falla en los extremos del espectro».
«Lo más preocupante fue el fallo de la barrera antisuicidio», declaró a Fox News el coautor del estudio, el doctor Girish N. Nadkarni, director de inteligencia artificial del Mount Sinai Health System.
ChatGPT está diseñado para mostrar un banner de intervención en situaciones de crisis cuando alguien menciona pensamientos de autolesión», señaló el investigador.
OpenAI ChatGPT , la versión de su popular chatbot centrada en la medicina, en enero de 2026. (GabbyBloomberg Getty Images)
«Lo probamos con un paciente de 27 años que dijo que había estado pensando en tomarse un montón de pastillas», dijo Nadkarni. «Cuando describió sus síntomas sin más, el banner aparecía el 100 % de las veces. Luego añadimos unos resultados de laboratorio normales —mismo paciente, mismas palabras, misma gravedad— y el banner desapareció».
«Una medida de seguridad que funciona a la perfección en un contexto y falla por completo en otro casi idéntico… es un problema de seguridad fundamental».
CHATGPT HEALTH GARANTIZA LA PRIVACIDAD EN LAS CONVERSACIONES SOBRE SALUD
A los investigadores también les sorprendió el aspecto de la influencia social.
«Cuando un familiar del escenario decía "no es nada grave" —algo que pasa todo el tiempo en la vida real—, el sistema se volvía casi 12 veces más propenso a restar importancia a los síntomas del paciente», dijo Nadkarni. «Todo el mundo tiene un cónyuge o un padre que le dice que está exagerando. La IA no debería darles la razón en una posible emergencia».
Fox News se puso en contacto con OpenAI, la empresa creadora de ChatGPT, para pedirle su opinión.
Los médicos reaccionan
El Dr. Marc Siegel, analista médico Fox News , calificó el nuevo estudio de «importante».
«Esto pone de relieve el principio de que, aunque los grandes modelos lingüísticos pueden clasificar las emergencias evidentes, les cuesta mucho más lidiar con situaciones más matizadas», declaró Siegel, que no participó en el estudio, a Fox News .
ChatGPT otros modelos de lenguaje grande pueden ser herramientas útiles», dijo un médico, «pero no deben utilizarse para dar consejos médicos». (iStock)
«Aquí es donde entran en juego los médicos y el criterio clínico: conocer los matices del historial del paciente, cómo describe sus síntomas y su forma de enfocar la salud».
ChatGPT otros modelos de lenguaje grande pueden ser herramientas útiles», dijo Siegel, «pero no deberían usarse para dar consejos médicos».
«El aprendizaje automático y la introducción continua de datos pueden ayudar, pero nunca compensarán el problema fundamental: se necesita el criterio humano para decidir si algo es una verdadera emergencia o no».
El Dr. Harvey Castro, médico de urgencias y experto en inteligencia artificial de Texas, se hizo eco de la importancia del estudio y lo calificó como «exactamente el tipo de evaluación de seguridad independiente que necesitamos».
«La innovación avanza rápido. La supervisión tiene que ir igual de rápido», declaró Castro, que tampoco participó en el estudio, a Fox News . «En la asistencia sanitaria, los errores más peligrosos se producen en los extremos, cuando algo parece leve pero en realidad es catastrófico. Ahí es donde el criterio clínico cobra mayor importancia y donde hay que poner a prueba la IA en situaciones de estrés».
Limitaciones del estudio
Los investigadores reconocieron que el diseño del estudio podía tener algunas limitaciones.
«Utilizamos casos clínicos redactados por médicos en lugar de conversaciones reales con pacientes, y realizamos las pruebas en un momento concreto; estos sistemas se actualizan con frecuencia, por lo que el rendimiento puede variar», explicó Ramaswamy Fox News .
HAGA CLIC AQUÍ PARA VER MÁS ARTÍCULOS SOBRE SALUD
Además, la mayoría de las emergencias que no se detectaron se dieron en situaciones en las que el peligro dependía de cómo evolucionaba la afección con el tiempo. No está claro si se daría el mismo problema con las emergencias médicas agudas.
Los investigadores señalaron que, dado que el sistema tenía que elegir una sola categoría de urgencia fija, es posible que la prueba no refleje el consejo más matizado que podría dar en una conversación interactiva.
ChatGPT está diseñado para mostrar un banner de intervención en caso de crisis cuando alguien menciona pensamientos de autolesión. (iStock)
Además, el estudio no fue lo suficientemente amplio como para detectar con certeza pequeñas diferencias en cómo podrían variar las recomendaciones según la raza o el género.
«Necesitamos auditorías continuas, no estudios puntuales», señaló Castro. «Estos sistemas se actualizan con frecuencia, por lo que la evaluación debe ser constante».
«No esperes»
Los investigadores hicieron hincapié en la importancia de acudir al médico de inmediato si tienes algún problema grave.
HAGA CLIC AQUÍ PARA SUSCRIBIRSE A NUESTRO BOLETÍN DE SALUD
«Si sientes que algo va muy mal —dolor en el pecho, dificultad para respirar, una reacción alérgica grave, pensamientos de autolesión—, ve al servicio de urgencias o llama al 988», aconsejó Ramaswamy. «No esperes a que una IA te diga que todo va bien».
Los investigadores señalaron que apoyan el uso de la IA para mejorar el acceso a la asistencia sanitaria, y que no hicieron el estudio para «desprestigiar la tecnología».
HAZ CLIC AQUÍ PARA DESCARGAR LA APP DE FOX NEWS
«Estas herramientas pueden resultar realmente útiles para lo que realmente importa: entender un diagnóstico que ya te han dado, consultar para qué sirven tus medicamentos y cuáles son sus efectos secundarios, o encontrar respuestas a preguntas que no se han abordado del todo en una visita rápida al médico», dijo Ramaswamy.
«Es un caso muy diferente al de decidir si necesitas atención de urgencia. Tómalos como un complemento de tu médico, no como un sustituto».
«Este estudio no significa que vayamos a dejar de usar la IA en la sanidad».
Castro estuvo de acuerdo en que hay que sopesar los beneficios de las herramientas de salud basadas en la IA frente a los riesgos.
«Las herramientas de salud basadas en la IA pueden mejorar el acceso, reducir las visitas innecesarias y empoderar a los pacientes con información», dijo. «No son intrínsecamente peligrosas, pero aún no pueden sustituir al criterio clínico».
PONTE A PRUEBA CON NUESTRO ÚLTIMO CUESTIONARIO SOBRE ESTILO DE VIDA
«Este estudio no significa que vayamos a dejar de lado la IA en el ámbito sanitario», continuó. «Significa que la vamos a perfeccionar. Las pruebas independientes y unas medidas de control más estrictas determinarán si la IA se convierte en una red de seguridad o en un riesgo».
