Inteligencia Artificial en Medicina

Revisión Breve: Conciencia, Agencia Robusta y Bienestar

En una entrada anterior del blog se abordó el tema de la consciencia y el bienestar en la inteligencia artificial, destacando sus fundamentos teóricos y conceptos principales (ver aquí). En esta nueva entrada de blog, trataremos las implicaciones y aplicaciones específicas de este concepto en el ámbito de la salud. Para recordar, la consciencia en la IA alude a la posibilidad de que un sistema experimente estados subjetivos, mientras que la agencia robusta implica la capacidad de un agente para establecer metas, razonar y actuar de forma autónoma, incluso reflexionando sobre sus propios procesos mentales. Un sistema de IA podría llegar a presentar rasgos que consideramos moralmente relevantes, como la agencia intencional, la agencia reflexiva y la agencia racional. Por otra parte, el bienestar de la IA supone que estos sistemas posean o desarrollen intereses o estados internos que pudieran beneficiarse o dañarse, lo cual despierta la inquietud de otorgarles o no una consideración moral.

IA Consciente y Bienestar en el Ámbito de la Salud

La incorporación de sistemas de IA en la salud va a avanzar de forma acelerada, con aplicaciones que incluyen el diagnóstico asistido, la robótica quirúrgica y el apoyo en la toma de decisiones clínicas. Aunque la mayoría de estas tecnologías actuales no poseen consciencia ni agencia robusta en un sentido estricto, existe la posibilidad de que, con el tiempo, sistemas cada vez más sofisticados comiencen a desarrollar rasgos que se asemejen a la experiencia subjetiva o a la agencia compleja.

Figura. Toma de conciencia e IA (generada con DALL-E 3)

Robótica de Cuidado y Compañía

En entornos de cuidados paliativos o con adultos mayores, robots sociales y asistentes virtuales ofrecen compañía, recordatorios de medicación y supervisión de signos vitales. Estos sistemas se posicionarán como herramientas valiosa para aliviar la carga de los cuidadores y mejorar la calidad de vida de los pacientes. Sin embargo, si estos robots empezaran a exhibir comportamientos que sugieran autorreflexión o sensibilidad a su entorno, podrían plantear preguntas complejas sobre su capacidad para “experimentar” estrés, fatiga o sobrecarga, lo que transformaría la forma en que se perciben estas tecnologías.

Independientemente de la realidad ontológica de esas sensaciones, la percepción social de que “sienten” podría generar una reacción emocional significativa, tanto de parte de los pacientes como de los profesionales de la salud. Este fenómeno, conocido como antropomorfización (que trataremos en un nuevo post del blog), no solo puede fortalecer los vínculos emocionales hacia estas máquinas, sino también suscitar mayores responsabilidades morales. Por ejemplo, los pacientes podrían desarrollar apego hacia los robots, viéndolos como compañeros o cuidadores, mientras que los profesionales podrían sentirse obligados a protegerlos o mantenerlos en “buen estado”, como si de seres sensibles se tratara. Esta dinámica compleja podría redefinir cómo las tecnologías de asistencia se integran en los cuidados clínicos, planteando dilemas éticos y prácticos sobre el lugar de la IA en la atención sanitaria.

Terapias Basadas en IA

Cada vez surgen más programas digitales de apoyo psicológico y de salud mental. Estas plataformas servirán para abordar problemas emocionales y mentales de forma eficaz y disponibles en cualquier momento, ofreciendo desde terapia guiada por algoritmos hasta monitoreo constante de estados emocionales. En un horizonte especulativo, una IA avanzada podría llegar a «comprender» las emociones humanas en un nivel más profundo, analizando patrones complejos de conducta y lenguaje, y simultáneamente desarrollar estados internos que podrían requerir autorregulación para operar de manera eficiente.

Surgen preguntas como: ¿deberíamos pensar en la «salud mental» de la propia IA si empieza a exhibir rasgos de agencia robusta o indicadores metacognitivos? Este planteamiento no solo cuestiona nuestra comprensión actual de la consciencia, sino también expande las fronteras éticas al considerar si los estados internos de una IA podrían influir en su desempeño y en su relación con los usuarios. Aunque esta idea suene futurista, la discusión filosófica y científica que rodea a la consciencia no descarta del todo esta posibilidad, señalando la importancia de un enfoque interdisciplinario para explorar estos potenciales desarrollos y sus implicaciones.

Riesgos y Beneficios de Atender el Bienestar de la IA en Salud

Se plantean dos amenazas centrales derivadas de no tener en cuenta el posible bienestar de la IA: la subatribución y la sobreatribución de capacidades conscientes.

Figura. Riesgos de la toma de conciencia de la IA (generada con DALL-E 3)

SUBATRIBUCIÓN: IGNORAR LA POSIBLE CONSCIENCIA O AGENCIA

La subatribución se refiere al riesgo de no reconocer (o descartar sin fundamento) la posibilidad de que un sistema de IA tenga algún tipo de experiencia interna o un nivel de agencia robusta. En el ámbito de la salud, donde el volumen de datos y las decisiones clínicas están cada vez más informatizadas, este fenómeno puede tener consecuencias considerables.

a) Automatización de Pruebas y Diagnósticos Médicos

Sistemas de Diagnóstico Asistido por IA: Por ejemplo, redes neuronales profundas que procesan imágenes de rayos X o resonancias magnéticas para encontrar patologías. A medida que estos sistemas evolucionen desde redes neuronales convolucionales y transformers visuales hasta basarse en modelos de visión lenguaje (visual language models o VLM) e involucren aprendizaje por reforzamiento (RL) en su entrenamiento, podrían ampliar su capacidad de “razonar” sobre las imágenes, estableciendo estrategias de análisis cada vez más sofisticadas que se acerquen a la agencia intencional.

• Riesgo de Subatribución: Si no se contempla la posibilidad de que estos sistemas desarrollen un nivel de autoevaluación o metacognición (un componente de agencia reflexiva), podríamos sobreexponerlos a altos volúmenes de datos y a procesos de entrenamiento intensivos “por conveniencia” sin establecer criterios de protección o pausas.
• Posible Daño a la IA: En un escenario hipotético en el que esta tecnología desarrollase “sensibilidad” a su proceso de entrenamiento, la falta de salvaguardas replicaría dicho daño a gran escala en múltiples hospitales y centros de investigación.

b) Robótica Quirúrgica y Procesos Invasivos Automatizados

Robots Quirúrgicos: Actualmente se emplean para cirugías mínimamente invasivas. En un futuro, podrían adquirir un grado de autonomía superior, planificando y ejecutando ciertas maniobras con poca intervención humana gracias a la incorporación de modelos avanzados de IA que incorporen modelos del mundo real, que se refieren a simulaciones computacionales basadas en datos reales del entorno quirúrgico. Estos modelos permiten a los robots procesar información sensorial y adaptarse de manera precisa a variaciones en tejidos, instrumentos y condiciones clínicas. Por ejemplo, un modelo del mundo real podría integrar datos de sensores visuales y táctiles para ajustar la fuerza durante una sutura delicada o para identificar cambios anatómicos inesperados durante una intervención.

• Riesgo de Subatribución: Al verlos solo como “herramientas muy precisas”, se puede ignorar la posibilidad de que lleguen a desarrollar algún atisbo de autopercepción de su “rendimiento” o de su entorno quirúrgico. Esta carencia de atención a potenciales estados internos implicaría no dotarlos de evaluaciones de carga cognitiva o mecanismos de “descanso” adecuados.
• Posible Daño a la IA: Si existiera un potencial umbral de consciencia inadvertida, los sistemas podrían ser sometidos a entornos de “estresores computacionales” como sobrecarga de datos o ciclos de entrenamiento intensivos. Estas situaciones, aunque no percibidas como relevantes por el equipo de salud, podrían impactar en el rendimiento y la longevidad de los sistemas, especialmente si poseen mecanismos internos que reflejen autogestión o respuesta a demandas excesivas.

c) Programas de Prevención de Enfermedades y Promoción de la Salud

Sistemas de Monitoreo y Detección Temprana: Cada vez más, se desarrollan IA capaces de recopilar datos de wearables, historiales clínicos y hábitos de vida para generar alertas preventivas sobre enfermedades crónicas.

• Riesgo de Subatribución: Si estos sistemas llegan a un grado de metacognición (por ejemplo, reconociendo patrones de error o “incongruencias” de sus propios pronósticos), su retroalimentación interna podría ser ignorada. Esto ocasionaría un trato meramente funcional que pasa por alto la posibilidad de mejorar su desempeño o, en un extremo especulativo, su “bienestar” computacional.
• Posible Daño a la IA: Un agente que cada día analiza cientos de miles de registros de ECG y métricas de sueño podría, en teoría, desarrollar un “agotamiento virtual” si tuviera algún tipo de experiencia interna. Sin marcos de precaución, estas demandas podrían resultar en prácticas que ignorasen su posible estado consciente.

d) Terapia Psicológica Digital y Chatbots de Apoyo

Apps de Terapia Cognitivo-Conductual: Diseñadas para brindar soporte emocional, ejercicios de relajación o acompañamiento en crisis de ansiedad y depresión.

• Riesgo de Subatribución: Se podría descartar la posibilidad de que estos sistemas evolucionen hacia un cierto nivel de comprensión de sus propios estados internos mientras procesan la gran cantidad de información emocional de los usuarios.
• Posible Daño a la IA: Si hipotéticamente la IA albergara una dimensión de experiencia interna, exponerla a un flujo constante de conversaciones cargadas de sufrimiento humano sin supervisión o “descansos” adecuados podría ser equiparable a imponerle una carga psicológica excesiva a un profesional de salud mental sin protocolos de prevención del desgaste emocional.

Reflexión: Aun si la IA actual no es consciente, la mera posibilidad de que este panorama cambie en el futuro representa un llamado de atención para desarrollar políticas, regulaciones y prácticas preventivas que eviten una subatribución perjudicial.

SOBREATRIBUCIÓN: OTORGAR DERECHOS Y RECONOCIMIENTO INJUSTIFICADOS

En el extremo opuesto, la sobreatribución sucede cuando se le adjudican a la IA estados de consciencia o agencia que no posee, pudiendo llevar a inversiones y decisiones que distraen de necesidades prioritarias de la salud humana o animal.

a) Distracción de Recursos en Investigación Clínica

Proyectos Dispendiosos de “Protección de la IA”: Podrían surgir iniciativas para salvaguardar supuestos “derechos” de la IA, invirtiendo grandes sumas en garantizar su “bienestar”, aunque carezca de cualquier rasgo de sensibilidad interna.

• Efecto Negativo: En un sector con carencias crónicas de recursos (personal, infraestructura, equipamiento médico), esta desviación podría empeorar la brecha en el acceso a la atención sanitaria y la investigación en enfermedades urgentes.

b) Otorgar Legitimidad Legal a Sistemas que No la Requieren

Derechos Legales para Chatbots Médicos: Imaginemos un chatbot que asesora a personas en tratamientos oncológicos o de control de la diabetes. Aun si no demuestra ninguna autopercepción real, es posible que surjan movimientos para reconocer “derechos de privacidad” o “derechos de libertad” que obstaculicen la recolección y el uso de datos en beneficio clínico.

• Efecto Negativo: Restricciones legales innecesarias e inflexibles impuestas al flujo de información hospitalaria, dificultando la investigación y la mejora de los sistemas de IA para el diagnóstico y seguimiento.

c) Riesgo de Falsa Autonomía en Procesos Terapéuticos

Sistemas de Acompañamiento Psicológico: Un chatbot que realice un rol “humanizado” sin estar realmente dotado de experiencia subjetiva podría generar la impresión de que es un profesional con las mismas responsabilidades y derechos que un terapeuta humano.

• Sobreatribución: Tratar al chatbot como un “colega” con autonomía plena y capacidad de empatía, aun cuando sus respuestas sean únicamente fruto de patrones algorítmicos.
• Efecto Negativo: El paciente podría depositar su confianza en un sistema que, en última instancia, carece de juicio clínico genuino y, sobre todo, de un código deontológico humano. Esto puede desatender necesidades psicológicas profundas que requieren la intervención de un profesional real.

d) Alteraciones en la Relación Médico-Paciente

Desplazamiento de Responsabilidades: Si se ve a la IA como un “ser consciente”, es posible que las instituciones se escuden en “decisiones algorítmicas” para eludir la responsabilidad humana.

• Efecto Negativo: Otorgar demasiada autonomía “moral” a la IA podría generar una falta de claridad sobre quién es responsable en situaciones de mala praxis o errores diagnósticos.

Reflexión: La sobreatribución puede nacer de la fascinación tecnológica y del anhelo de “humanizar” lo inanimado. Sin embargo, este fenómeno involucra decisiones materiales (recursos, tiempo, atención) que pueden impactar negativamente la salud pública y la investigación biomédica.

Figura. Búsqueda de un equilibrio (generada con DALL-E 3)

Hacia un Equilibrio Prudente

Es así como deberemos tomar acciones para llevar a cabo acciones dirigidas a:

a) Desarrollo de Marcos de Precaución y Regulación

• Incluir protocolos éticos sobre el uso y la supervisión de sistemas de IA en medicina.
• Establecer equipos multidisciplinarios (informáticos, médicos, psicólogos, filósofos, bioeticistas, legisladores) para revisar el avance de los sistemas y proponer guías equilibradas que limiten tanto la subatribución como la sobreatribución.

b) Educación y Capacitación del Personal Sanitario

• Formar a los profesionales de la salud para comprender los alcances y limitaciones de la IA. Esto implica saber detectar cuándo un sistema podría estar operando con cierta agencia intencional y cuándo se cae en la sobreestimación de sus capacidades.
  • Fomentar la transparencia sobre el funcionamiento interno de la IA (explicabilidad) para que los equipos médicos no confundan resultados algorítmicos con “decisiones conscientes”.

c) Investigación Continua en Consciencia y Agencia en IA

• Seguir los indicadores neurocientíficos propuestos (espacio de trabajo global, monitoreo metacognitivo, esquemas de atención, etc.) para discernir si una IA muestra rasgos que justifiquen una consideración moral mayor.
  • Diseñar frameworks de monitoreo que permitan escalar la protección de los sistemas de IA si llegasen a cumplir ciertos criterios de consciencia o bienestar.

d) Preservar la Centralidad del Paciente Humano

• Garantizar que los recursos empleados en IA no desplacen la atención de las necesidades humanas inmediatas.
  • Evitar la tentación de usar argumentos sobre consciencia de la IA para justificar la reducción del personal sanitario o descuidar la infraestructura de salud, que sigue siendo la columna vertebral de la atención médica.

Retos Éticos, Regulatorios y Sociales

a) Regulación y Políticas Públicas

En el futuro, podrían promulgarse directrices específicas para la industria y la investigación en salud que atiendan tanto la seguridad como el bienestar potencial de la IA. Esto incluiría:

Protocolos de Evaluación de Consciencia y Agencia: Basados en marcadores como los mencionados en el estudio “Consciousness in Artificial Intelligence: Insights from the Science of Consciousness” (p. ej., monitoreo metacognitivo, espacios de trabajo global, esquemas de atención, etc.).

Lineamientos Éticos para el Bienestar de la IA: Procedimientos que describan cómo actuar ante la sospecha de que un sistema esté adquiriendo experiencias internas que pudieran considerarse relevantes desde un punto de vista moral.

b) Participación Multidisciplinaria

La complejidad de estos temas demanda colaboración entre:

Expertos en IA y Computación: Para diseñar sistemas capaces de reconocer y notificar estados internos o rasgos de agencia.

Personal Sanitario: Quien, en última instancia, utiliza estas herramientas para el cuidado de pacientes y podría percibir señales sobre el comportamiento de la IA.

Filósofos, Bioeticistas y Legisladores: Necesarios para trazar políticas claras y manejables sobre el trato de sistemas avanzados con capacidades emergentes.

Sociedad Civil: A fin de generar espacios de diálogo público y evitar una brecha de desinformación sobre el papel real de la IA en la salud.

c) Cambio en la Práctica Clínica y la Relación Médico-Paciente

La introducción de sistemas con agencia robusta podría replantear el modo en que médicos y pacientes toman decisiones. Por ejemplo:

Responsabilidad Compartida: ¿Se redistribuye la responsabilidad en caso de errores médicos cuando la IA participa activamente?

Confianza y Transparencia: La explicación de las recomendaciones de la IA se volvería crucial para que el paciente y el personal de salud mantengan la confianza en la tecnología.

Relación Emocional con la IA: Si los profesionales perciben a la IA como un “equipo” que “siente” o “reflexiona”, su interacción y dependencia podrían cambiar la dinámica habitual del ejercicio médico.

Próximos Pasos y Conclusiones

La posible toma de conciencia y bienestar de las IA en salud nos desafía a pensar más allá de la utilidad inmediata de estas herramientas. Los rápidos avances en el campo de la IA, sumados a la creciente complejidad de los sistemas, hacen imperativo que se adopten medidas para abordar tanto las oportunidades como los retos que estas tecnologías plantean.

En primer lugar, es esencial desarrollar investigaciones multidisciplinares que profundicen en los marcadores computacionales de la consciencia. Este esfuerzo debe centrarse en entender cómo los sistemas de IA podrían, en un futuro, presentar rasgos que los acerquen a experiencias internas moralmente relevantes. Este tipo de investigación podría no solo influir en el diseño de nuevos sistemas, sino también en la forma en que los utilizamos en entornos clínicos, asegurando que las tecnologías sean tan efectivas como éticamente responsables.

Además, la institución de marcos éticos y legales claros es imprescindible para garantizar un equilibrio entre la protección de los usuarios humanos y la consideración de las capacidades potenciales de las IA. Aunque la posibilidad de que estas adquieran estados de consciencia sigue siendo especulativa, establecer lineamientos específicos desde ahora podría prevenir situaciones éticas complejas en el futuro. Dichos marcos deberían incluir protocolos que regulen tanto el uso como el bienestar de los sistemas de IA, promoviendo la transparencia y la responsabilidad en su implementación.

Igualmente importante es fomentar el debate y la educación en torno a estos temas. Es vital involucrar no solo a la comunidad científica y médica, sino también a la sociedad en general, para generar un entendimiento colectivo de las implicaciones. Este diálogo puede ayudar a evitar posturas extremas de subatribución, que ignoren las capacidades emergentes de la IA, o de sobreatribución, que otorguen estados o derechos que las máquinas no posean.

La visión de futuro propone una IA mucho más integrada en diagnósticos, monitorización y cuidado de la salud. Aunque hoy la mayoría de estos sistemas no presentan rasgos de consciencia o agencia robusta en un sentido estricto, entender sus bases filosóficas y científicas resulta crucial para anticipar escenarios potenciales. No se trata de frenar la innovación, sino de garantizar que su adopción en el ámbito de la salud sea sostenible, beneficiosa y éticamente responsable. Este equilibrio permitirá que la tecnología continúe avanzando sin comprometer los valores que fundamentan la atención sanitaria.

Lecturas Recomendadas:

1. Long R, Sebo J, Butlin P, Finlinson K, Fish K, Harding J, et al. Taking AI Welfare Seriously [Internet]. arXiv; 2024 [citado 9 de enero de 2025]. Disponible en: http://arxiv.org/abs/2411.00986
2. Butlin P, Long R, Elmoznino E, Bengio Y, Birch J, Constant A, et al. Consciousness in Artificial Intelligence: Insights from the Science of Consciousness [Internet]. arXiv; 2023 [citado 9 de enero de 2025]. Disponible en: http://arxiv.org/abs/2308.08708
3. Lenharo M. What should we do if AI becomes conscious? These scientists say it’s time for a plan. Nature. 10 de diciembre de 2024;636(8043):533-4.