Los consejos ChatGPT envían a un hombre al hospital con una peligrosa intoxicación química.
Los médicos advierten que la IA carece de criterio médico tras la hospitalización de un paciente por exposición al bromuro de sodio.
{{#rendered}} {{/rendered}}Un hombre que utilizó ChatGPT para obtener consejos sobre alimentación acabó intoxicándose y tuvo que ser hospitalizado.
El hombre de 60 años, que quería eliminar la sal de mesa de tu dieta por motivos de salud, utilizó el modelo de lenguaje grande (LLM) para obtener sugerencias sobre con qué sustituirla, según un estudio de caso publicado esta semana en la revista Annals of Internal Medicine.
Cuando ChatGPT sustituir el cloruro de sodio (sal de mesa) por bromuro de sodio, el hombre realizó el cambio durante un periodo de tres meses, aunque, según señalaba el artículo de la revista, es probable que la recomendación se refiriera a otros fines, como la limpieza.
{{#rendered}} {{/rendered}}El bromuro de sodio es un compuesto químico similar a la sal, pero tóxico para el consumo humano.
Según los Institutos Nacionales de Salud, antiguamente se utilizaba como anticonvulsivo y sedante, pero hoy en día se emplea principalmente con fines de limpieza, fabricación y agrícolas.
{{#rendered}} {{/rendered}}Un hombre que utilizó ChatGPT obtener consejos dietéticos terminó intoxicándose y acabó en el hospital. (Kurt «CyberGuy» Knutsson)
Cuando llegaste al hospital, informaste que padecías fatiga, insomnio, falta de coordinación, acné facial, angiomas cereza (protuberancias rojas en la piel) y sed excesiva, todos ellos síntomas de bromismo, una afección causada por la exposición prolongada al bromuro de sodio.
El hombre también mostraba signos de paranoia, según señalaba el estudio de caso, ya que afirmaba que tu vecino estaba intentando envenenarlo.
{{#rendered}} {{/rendered}}También se descubrió que sufrías alucinaciones auditivas y visuales, y finalmente fuiste internado en un centro psiquiátrico tras intentar escapar.
El hombre fue tratado con líquidos intravenosos y electrolitos, y también se le administraron medicamentos antipsicóticos. Fue dado de alta del hospital tras tres semanas de observación.
«Este caso también pone de relieve cómo el uso de la inteligencia artificial (IA) puede contribuir potencialmente al desarrollo de resultados adversos para la salud que se pueden prevenir», escribieron los investigadores en el estudio de caso.
{{#rendered}} {{/rendered}}«Se trata de herramientas de predicción lingüística, carecen de sentido común y pueden dar lugar a resultados terribles si el usuario humano no aplica su propio sentido común».
Desafortunadamente, no tenemos acceso al registro ChatGPT y nunca podremos saber con certeza cuál fue exactamente el resultado que obtuvieron, ya que las respuestas individuales son únicas y se basan en entradas anteriores.
Es «muy improbable» que un médico humano hubiera mencionado el bromuro de sodio al hablar con un paciente que buscaba un sustituto del cloruro de sodio, señalaron.
UNA NUEVA HERRAMIENTA DE IA ANALIZA FOTOS FACIALES PARA PREDECIR RESULTADOS DE SALUD
{{#rendered}} {{/rendered}}«Es importante tener en cuenta que ChatGPT otros sistemas de IA pueden generar inexactitudes científicas, carecen de la capacidad de discutir críticamente los resultados y, en última instancia, alimentan la difusión de información errónea», concluyeron los investigadores.
El Dr. Jacob Glanville, CEO Centivax, una empresa San Francisco , hizo hincapié en que no se debe utilizar ChatGPT sustituto de un médico.
Cuando ChatGPT sustituir el cloruro de sodio (sal de mesa) por bromuro de sodio, el hombre, que no aparece en la foto, realizó la sustitución durante un periodo de tres meses. (iStock)
«Se trata de herramientas de predicción lingüística, carecen de sentido común y pueden dar lugar a resultados terribles si el usuario humano no aplica su propio sentido común a la hora de decidir qué preguntar a estos sistemas y si seguir sus recomendaciones», explicó Glanville, que no participó en el estudio de caso, Fox News .
{{#rendered}} {{/rendered}}HAZ CLIC AQUÍ PARA OBTENER LA APLICACIÓN FOX NEWS
Este es un ejemplo clásico del problema: básicamente, el sistema dijo: «¿Quieres una alternativa a la sal? El bromuro de sodio suele aparecer como sustituto del cloruro de sodio en las reacciones químicas, por lo que es el sustituto con mejor puntuación en este caso».
Dr. Harvey Castro, médico certificado en médico de medicina de urgencias y conferenciante nacional sobre inteligencia artificial con sede en Dallas, confirmó que la IA es una herramienta y no un médico.
{{#rendered}} {{/rendered}}Es «muy improbable» que un médico humano hubiera mencionado el bromuro de sodio al hablar con un paciente que buscaba un sustituto del cloruro de sodio, afirmaron los investigadores. (iStock)
«Los grandes modelos lingüísticos generan texto prediciendo la secuencia de palabras más probable desde el punto de vista estadístico, no verificando los hechos», declaró a Fox News .
«El errorChatGPT demuestra por qué el contexto es fundamental en los consejos sobre salud», continuó Castro. «La IA no sustituye al criterio médico profesional, en consonancia con las advertencias OpenAI».
Castro también advirtió que existe un «vacío normativo» en lo que respecta al uso de los LLM para obtener información médica.
{{#rendered}} {{/rendered}}Nuestros términos establecen que ChatGPT no ChatGPT diseñado para utilizarse en el tratamiento de ninguna afección médica y no sustituye el asesoramiento profesional.
«Las prohibiciones de la FDA sobre el bromuro no se extienden a las recomendaciones sobre IA; la supervisión de la IA en materia de salud mundial sigue sin estar definida», afirmó.
También existe el riesgo de que los LLM puedan tener sesgos en los datos y una falta de verificación, lo que daría lugar a información alucinada.
HAGA CLIC AQUÍ PARA SUSCRIBIRTE A NUESTRO BOLETÍN INFORMATIVO SOBRE SALUD
{{#rendered}} {{/rendered}}«Si los datos de entrenamiento incluyen referencias obsoletas, poco comunes o centradas en la química, el modelo puede mostrarlas en contextos inadecuados, como el bromuro como sustituto de la sal», señaló Castro.
Además, los LLM actuales no tienen incorporada una función de verificación cruzada con bases de datos médicas actualizadas, a menos que se integren explícitamente.
Un experto advirtió que existe un «vacío normativo» en lo que respecta al uso de grandes modelos lingüísticos para obtener información médica. (Jakub Porzycki/NurPhoto)
Para evitar casos como este, Castro pidió más medidas de seguridad para los LLM, como bases de datos médicas integradas, alertas de riesgo automatizadas, indicaciones contextuales y una combinación de supervisión humana y de IA.
{{#rendered}} {{/rendered}}El experto añadió: «Con medidas de seguridad específicas, los LLM pueden pasar de ser herramientas generalistas y arriesgadas a herramientas especializadas y más seguras; sin embargo, sin regulación ni supervisión, es probable que se repitan casos excepcionales como este».
Para leer más artículos sobre salud, visita www.foxnews.com/health
OpenAI, el fabricante de ChatGPT San Francisco, proporcionó la siguiente declaración a Fox News .
{{#rendered}} {{/rendered}}Nuestros términos establecen que ChatGPT no ChatGPT diseñado para utilizarse en el tratamiento de ninguna afección médica y no sustituye el asesoramiento profesional. Contamos con equipos de seguridad que trabajan para reducir los riesgos y hemos entrenado nuestros sistemas de IA para animar a las personas a buscar orientación profesional.