Inteligencia Artificial en Medicina

La Inteligencia Artificial (IA) está transformando el panorama del diagnóstico médico, mejorando la precisión, la eficiencia y la detección temprana de enfermedades. Sin embargo, estos avances también presentan retos significativos relacionados con la explicabilidad y el sesgo en los modelos de IA. Los profesionales de la salud necesitan confiar en estas herramientas para tomar decisiones críticas, y esa confianza depende en gran medida de la capacidad de los sistemas para proporcionar explicaciones claras y comprensibles.

En este artículo, exploraremos en profundidad qué es la explicabilidad (XAI), por qué es crucial para el éxito de la IA en el ámbito clínico, los diferentes tipos de explicaciones, técnicas comunes de interpretabilidad y los desafíos que persisten en este campo. También analizaremos el impacto del sesgo en los datos, cómo afecta la generalización y las estrategias para mitigar estos problemas.

EXPLICABILIDAD (XAI) EN LA IA MÉDICA

¿Qué es la Explicabilidad?

La Explicabilidad (XAI, por sus siglas en inglés) se refiere a la capacidad de un modelo de IA para proporcionar razones claras y comprensibles sobre cómo llega a sus decisiones o recomendaciones. En términos simples, busca responder al «por qué» y al «cómo» de las predicciones del modelo. Esto es particularmente importante en el contexto médico, donde los profesionales deben comprender la lógica subyacente para poder validar las recomendaciones de la IA.

Figura. Explicabilidad IA (generada automáticamente con DALL-E 3)

Muchos modelos avanzados, especialmente aquellos basados en aprendizaje profundo, son considerados «cajas negras» debido a su complejidad. Este funcionamiento opaco puede generar desconfianza y dificultar su aceptación en la práctica clínica. La explicabilidad busca resolver este problema al ofrecer herramientas que permitan interpretar las decisiones del modelo.

Tipos de Explicaciones

Las explicaciones generadas por sistemas de XAI pueden presentarse en diferentes formatos:

• Explicaciones visuales: Utilizan mapas de calor que resaltan las regiones más relevantes en una imagen diagnóstica, como una radiografía o resonancia magnética. Estas áreas destacadas indican qué elementos influyeron en el resultado del modelo, facilitando la identificación de patrones específicos en la imagen que podrían haber sido pasados por alto. Los mapas de calor también pueden ser interactivos, permitiendo a los profesionales explorar diferentes niveles de relevancia en función de las configuraciones del modelo. [Fuente: «Explainable AI in Diagnostic Radiology for Neurological Disorders»]
• Explicaciones textuales: Proporcionan descripciones en lenguaje natural que resumen las razones de una predicción. Estas explicaciones permiten a los médicos interpretar cómo ciertos factores clínicos influyeron en el resultado, facilitando la comunicación de hallazgos entre colegas o con los pacientes. Pueden incluir detalles como la relevancia de síntomas específicos o la interacción entre variables clave en el modelo.
• Explicaciones basadas en ejemplos: Comparan el caso actual con ejemplos similares previamente analizados por el modelo, ayudando a contextualizar la predicción. Estos ejemplos permiten a los profesionales visualizar cómo casos análogos fueron procesados y diagnosticados, promoviendo una comprensión más profunda del comportamiento del sistema de IA en situaciones similares.

Las explicaciones también se pueden categorizar según su alcance:

• Explicaciones locales: Se centran en casos específicos, explicando por qué se tomó una decisión particular. Por ejemplo, una explicación local podría mostrar cómo un hallazgo inusual en una radiografía contribuyó a una alerta de posible fractura.
• Explicaciones globales: Describen el comportamiento general del modelo en base a todo el conjunto de datos. Estas explicaciones son útiles para comprender patrones generales y tendencias, como la sensibilidad del modelo a ciertos tipos de datos o condiciones clínicas. Los profesionales pueden utilizar esta información para mejorar el entrenamiento del modelo o identificar limitaciones potenciales.

Por otro lado, los métodos XAI pueden ser ante-hoc (integrados durante el entrenamiento del modelo), lo que permite que las explicaciones se generen de forma intrínseca a medida que el modelo aprende, o post-hoc (generados después del entrenamiento), donde las explicaciones se crean mediante herramientas externas que analizan el modelo ya entrenado. Los enfoques ante-hoc suelen estar diseñados para mantener una estructura interpretativa desde el principio, aunque esto puede limitar la complejidad del modelo. Por su parte, los enfoques post-hoc son más flexibles, pero a menudo presentan retos en la precisión y coherencia de las explicaciones.

Además, algunos enfoques son independientes del modelo («model-agnostic»), lo que los hace aplicables a una amplia variedad de algoritmos sin importar su estructura interna. Esto es particularmente útil en entornos clínicos, donde los modelos pueden variar considerablemente entre instituciones, pero se requiere una interpretabilidad consistente para garantizar la confianza en las herramientas diagnósticas.

Técnicas Comunes en XAI

Existen diversas técnicas para mejorar la explicabilidad en los modelos de IA. Algunas de las más utilizadas en el ámbito del diagnóstico médico incluyen:

• Mapas de saliencia: Resaltan las áreas más relevantes de una imagen diagnóstica que influyeron en la decisión del modelo.
• LIME (Local Interpretable Model-Agnostic Explanations): Aproxima el comportamiento del modelo alrededor de una predicción específica utilizando un modelo más simple e interpretable.
• LRP (Layer-wise Relevance Propagation): Asigna puntajes de relevancia a todas las neuronas de la capa de salida de una red neuronal y luego propaga la información de vuelta a la capa de entrada para generar un mapa de calor.
• SHAP (Shapley Additive Explanations): Asigna valores de importancia a cada variable en la predicción, proporcionando una interpretación detallada de cómo cada factor contribuyó al resultado.
• Análisis de sensibilidad por oclusión: Analiza cómo cambia la predicción del modelo al eliminar partes de los datos de entrada.

Figura. Anotación como XAI (generada automáticamente con DALL-E 3)

Importancia de la Transparencia

La transparencia es otro concepto fundamental en la IA aplicada a la medicina, ya que permite a los usuarios y profesionales de la salud acceder a una visión clara del funcionamiento interno del modelo. Esto incluye desde la forma en que los datos de entrada son procesados hasta la manera en que se generan las inferencias y las decisiones finales. Sin esta transparencia, los usuarios podrían tener dificultades para interpretar o confiar en los resultados generados, lo que afectaría negativamente la adopción de estas tecnologías en entornos clínicos.

Esta capacidad de comprender el proceso interno del modelo es crucial para construir una base de confianza sólida. Al proporcionar detalles sobre cómo y por qué se toman ciertas decisiones, los sistemas transparentes permiten a los profesionales validar las recomendaciones, compararlas con su propio criterio clínico y tomar decisiones más informadas. Además, la transparencia también es clave para identificar patrones de funcionamiento problemáticos, como errores o desviaciones no esperadas en los resultados.

Otro beneficio importante es la detección temprana de sesgos en el modelo. Al inspeccionar el flujo de datos y las lógicas internas, los desarrolladores y expertos médicos pueden descubrir dependencias que conduzcan a resultados injustos o inexactos. Esto no solo mejora la eficacia del modelo, sino que también ayuda a garantizar una mejora continua del sistema, ajustando los algoritmos y corrigiendo errores conforme se implementa en diferentes entornos y poblaciones.

Desafíos en la Explicabilidad y Transparencia:

• Compromiso entre precisión y explicabilidad: A menudo existe una compensación entre la precisión de un modelo de IA y su capacidad para proporcionar explicaciones claras. Los modelos más complejos pueden ser más precisos, pero también más difíciles de interpretar.
  • La falta de datos de referencia para la explicabilidad: Existe una carencia de conjuntos de datos de referencia que validen las explicaciones generadas por los algoritmos XAI. Esto hace que la evaluación del rendimiento de los sistemas XAI sea un desafío.
  • Limitaciones de las explicaciones visuales: Si bien las explicaciones visuales son útiles en el contexto del diagnóstico médico, pueden no ser suficientes en algunos casos. Algunas explicaciones más detalladas y similares a las de un profesor podrían ser más útiles.
  • La necesidad de métricas de evaluación: Es necesario desarrollar métricas estandarizadas para evaluar el rendimiento de los sistemas XAI, tanto cuantitativa como cualitativamente. Se necesita involucrar a los expertos médicos en la evaluación para asegurar que las explicaciones sean relevantes y útiles en el contexto clínico.
  • La complejidad de los modelos: Las redes neuronales profundas son complejas y el intentar simplificarlas para ofrecer explicaciones podría generar una visión incompleta del funcionamiento del modelo.
  • El riesgo de la sobreconfianza: Explicaciones claras podrían llevar a un exceso de confianza en las herramientas de IA por parte de los médicos, lo que podría reducir su capacidad de análisis crítico.

El Futuro de la XAI en el Diagnóstico Médico:

• La XAI es una área en desarrollo, y se están explorando nuevas técnicas para hacer que los modelos de IA sean más comprensibles. Se busca desarrollar métodos que proporcionen explicaciones más detalladas y personalizadas, que imiten la forma en que los médicos explican los diagnósticos a sus colegas y estudiantes.

• Se están desarrollando enfoques multimodales que combinan diferentes tipos de datos (imágenes, texto, datos clínicos) para generar explicaciones más completas.

• La colaboración entre ingenieros, científicos de datos y médicos es esencial para desarrollar modelos de IA que sean no solo precisos, sino también comprensibles y confiables en la práctica clínica.

SESGOS EN LOS DATOS Y GENERALIZACIÓN

¿Qué es el Sesgo en los Datos?

Los sesgos se refieren a desviaciones sistemáticas o errores en los datos o procesos de un modelo de IA que pueden afectar negativamente la precisión, la equidad y la generalización de sus predicciones. Estos sesgos suelen manifestarse cuando ciertos grupos poblacionales o condiciones clínicas están insuficientemente representados en los datos de entrenamiento. La presencia de sesgos puede llevar a resultados inexactos o injustos, perjudicando a pacientes cuya diversidad no está reflejada en los datos que el modelo ha aprendido. Por ello, identificar, medir y mitigar estos sesgos es crucial para garantizar un rendimiento ético y efectivo de la IA en la atención médica. Los sesgos en los datos pueden afectar negativamente la precisión y equidad de un modelo de IA.

Fuentes de los Sesgos

Los sesgos pueden surgir de diversas fuentes, incluyendo:

• Datos de entrenamiento no representativos: Si los datos utilizados para entrenar un modelo no representan adecuadamente la diversidad de la población real, el modelo puede no funcionar correctamente en subgrupos específicos. Esto significa que un algoritmo entrenado en un conjunto de datos que no incluya pacientes de diversos orígenes étnicos o socioeconómicos, por ejemplo, puede tener un rendimiento deficiente cuando se aplica a pacientes de esos grupos.
• Subrepresentación de ciertas enfermedades o grupos poblacionales: La falta de datos sobre ciertas enfermedades o poblaciones puede llevar a que el modelo no las identifique correctamente, lo que genera un rendimiento deficiente en esos subgrupos y aumenta el riesgo de errores.
• Errores de etiquetado: Errores en las etiquetas o anotaciones de los datos de entrenamiento pueden confundir al modelo y llevar a predicciones incorrectas. Es importante que los datos estén etiquetados por profesionales capacitados y que se busque un consenso cuando sea necesario.
• Datos faltantes: La ausencia de información puede generar sesgos y estratificación oculta, donde el modelo puede parecer que funciona bien en toda la población, pero en realidad tiene un rendimiento deficiente en subconjuntos no identificados.

Sesgos inherentes a los datos del mundo real: Estos sesgos pueden reflejar las desigualdades existentes en la atención médica, que se pueden trasladar al modelo de diversas maneras. Por ejemplo, en entornos con acceso desigual a servicios de salud, los datos recopilados podrían estar sesgados hacia una representación excesiva de ciertos perfiles demográficos, como pacientes de mayores recursos o de regiones urbanas. Esto provoca que el modelo aprenda patrones que no son aplicables a poblaciones marginadas o de menor acceso.

Los sesgos también pueden surgir por factores estructurales, como la disponibilidad de pruebas diagnósticas y tratamientos en determinadas regiones, lo que genera diferencias en la manera en que las enfermedades son documentadas. Además, los registros clínicos pueden tener variaciones significativas en la forma de anotar los datos, lo que lleva a inconsistencias que impactan en la capacidad del modelo para generalizar.

Otro aspecto crítico es el sesgo implícito en los criterios clínicos empleados. Por ejemplo, algunos protocolos de diagnóstico pueden estar basados en estudios realizados predominantemente en ciertos grupos étnicos o de edad, dejando fuera a otros. Esto puede causar que la IA subestime o sobreestime el riesgo en pacientes que no se ajustan a esos perfiles, aumentando el riesgo de errores diagnósticos. Para mitigar estos problemas, es fundamental realizar un análisis continuo del sesgo a medida que se implementan los modelos en entornos médicos diversos.

Figura. Representación del sesgo (generada automáticamente con DALL-E 3)

Generalización:

La generalización se refiere a la capacidad de un modelo de IA para adaptarse y mantener un rendimiento satisfactorio cuando se enfrenta a datos nuevos y no vistos, es decir, datos que no se utilizaron durante su entrenamiento. Este concepto es crucial en el contexto clínico, donde los modelos deben ser capaces de ofrecer resultados consistentes a pesar de las variaciones en los datos de pacientes, entornos o protocolos de atención. Un modelo que generaliza de manera efectiva puede identificar patrones relevantes y realizar predicciones precisas en diferentes contextos, evitando errores que podrían surgir por dependencia excesiva de datos específicos.

La generalización también implica que el modelo sea robusto ante posibles cambios en la calidad o formato de los datos, como imágenes médicas capturadas con distintos equipos o historias clínicas provenientes de diferentes instituciones. Este aspecto es fundamental para garantizar que la IA no pierda rendimiento al ser implementada en nuevas ubicaciones o poblaciones, un reto que puede mitigarse mediante estrategias de validación cruzada y el uso de datos representativos y diversificados durante el proceso de entrenamiento.

Varios factores pueden afectar la capacidad de un modelo para generalizar correctamente:

• Sobreajuste (overfitting): Un modelo sobreajustado aprende los datos de entrenamiento demasiado bien, incluyendo el ruido y las peculiaridades de ese conjunto específico. Esto lleva a que funcione muy bien con los datos de entrenamiento, pero mal con datos nuevos.
• Datos de entrenamiento homogéneos: Si los datos de entrenamiento provienen de una sola fuente o son demasiado similares, el modelo puede tener dificultades para generalizar a conjuntos de datos más diversos.
• Falta de diversidad en los datos de entrenamiento: La falta de diversidad puede llevar a que el modelo no sea capaz de reconocer patrones relevantes en poblaciones o contextos no representados en los datos de entrenamiento.
• Limitaciones en el etiquetado/anotaciones: Los conjuntos de datos con etiquetado o anotaciones limitadas generan problemas para la generalización.
• Uso de datos de una sola fuente: El uso de datos de entrenamiento y prueba de una sola fuente, también resulta en problemas de generalización, donde el modelo puede fallar al presentarse con datos de fuentes no vistas.

Estrategias para Mitigar los Sesgos y Mejorar la Generalización:

• Recopilación de datos diversos y representativos: Es fundamental utilizar datos de entrenamiento que reflejen la diversidad de la población real en términos de género, raza, edad, ubicación geográfica, nivel socioeconómico y otras variables relevantes. Una mayor diversidad en los datos ayuda a que los modelos sean capaces de reconocer patrones relevantes en diferentes contextos clínicos y tipos de pacientes. Esto también contribuye a minimizar el riesgo de sesgos al garantizar que las predicciones no se vean afectadas negativamente por la falta de representación de ciertos grupos. La recopilación de datos debe llevarse a cabo de manera sistemática y transparente, asegurándose de que los datos estén debidamente etiquetados y verificados para evitar errores.
• Aumento de datos (data augmentation): Esta técnica consiste en modificar los datos existentes para crear nuevas muestras sintéticas, lo que ayuda a ampliar la diversidad del conjunto de entrenamiento. Por ejemplo, en el caso de imágenes médicas, esto podría incluir transformaciones como rotación, escalado o ajustes en el brillo y contraste. El aumento de datos es especialmente valioso en situaciones donde los datos reales son limitados o costosos de obtener, permitiendo que el modelo se exponga a una mayor variabilidad y, por lo tanto, mejore su capacidad de generalización.
• Técnicas de aprendizaje por transferencia: Utilizar modelos previamente entrenados en grandes conjuntos de datos y luego adaptarlos a tareas específicas en el campo médico puede ayudar a mejorar la generalización. Este enfoque permite que el modelo aproveche patrones y representaciones generales ya aprendidos, lo que acelera el proceso de entrenamiento y mejora su eficacia en nuevos contextos. Sin embargo, es crucial realizar un ajuste adecuado utilizando datos específicos del entorno clínico para garantizar que el modelo sea relevante y preciso en ese contexto particular.
• Validación rigurosa: Se debe evaluar el rendimiento del modelo utilizando diferentes conjuntos de datos y métricas relevantes, para asegurar que el modelo generalice bien y no tenga sesgos no detectados. Esto incluye la aplicación de pruebas cruzadas, donde se dividen los datos en múltiples subconjuntos para probar el rendimiento en datos no utilizados durante el entrenamiento. La validación rigurosa también debe contemplar escenarios clínicos diversos, asegurando que el modelo mantenga su eficacia en diferentes tipos de poblaciones y situaciones.
• Monitoreo continuo: Es necesario monitorizar el modelo en su uso en el mundo real para detectar posibles sesgos que puedan surgir con el tiempo y aplicar las correcciones necesarias. Este proceso implica la revisión periódica del rendimiento del modelo, así como la recopilación de datos adicionales que permitan actualizarlo de manera dinámica. El monitoreo continuo también puede ayudar a identificar cambios en los patrones de los datos que podrían afectar negativamente las predicciones.
• Transparencia en el diseño y desarrollo: La documentación exhaustiva de cómo se recopilaron, procesaron y utilizaron los datos puede ayudar a identificar y mitigar posibles sesgos. Esta transparencia es fundamental para que los usuarios y desarrolladores comprendan las limitaciones y fortalezas del modelo. Además, permite realizar auditorías independientes que refuercen la confianza en la herramienta.
• Colaboración interdisciplinaria: La colaboración entre científicos de datos, profesionales de la salud y expertos en ética es esencial para asegurar que los modelos de IA sean justos, precisos y beneficiosos para todos los pacientes. Este enfoque multidisciplinario permite integrar diferentes perspectivas y conocimientos, mejorando el diseño y la implementación de los sistemas de IA. Además, fomenta la creación de soluciones que se alineen con las necesidades reales del entorno clínico, evitando decisiones tecnológicas que puedan ser inadecuadas o perjudiciales.

Ejemplos de cómo se manifiestan estos problemas:

• Un sistema de IA entrenado principalmente con imágenes de pacientes de piel clara podría tener dificultades para diagnosticar correctamente enfermedades de la piel en pacientes de piel oscura.
• Un modelo de IA que evalúa mamografías podría tener un rendimiento deficiente en mujeres más jóvenes o en mujeres con senos densos, si los datos de entrenamiento no incluyen suficientes ejemplos de estos casos.
• Un algoritmo de diagnóstico de enfermedades pulmonares podría tener un rendimiento inferior si se entrena con datos de pacientes que provienen en su mayoría de un solo hospital, ya que las características de los pacientes y los protocolos de diagnóstico pueden variar entre diferentes instituciones.
• Un modelo entrenado con datos de una sola institución puede fallar al presentarse con datos de otras instituciones.

Conclusión

La explicabilidad y la transparencia son pilares esenciales para la adopción segura y efectiva de la IA en el diagnóstico médico. Abordar los desafíos relacionados con el sesgo en los datos y la generalización es fundamental para evitar desigualdades en la atención sanitaria. Mediante una combinación de técnicas avanzadas, colaboración interdisciplinaria y evaluaciones constantes, es posible desarrollar sistemas de IA confiables que mejoren la calidad de vida de los pacientes y respalden el trabajo de los profesionales de la salud.

Lecturas recomendadas:

1. Hafeez Y, Memon K, AL-Quraishi MS, Yahya N, Elferik S, Ali SSA. Explainable AI in Diagnostic Radiology for Neurological Disorders: A Systematic Review, and What Doctors Think About It. Diagnostics (Basel). enero de 2025;15(2):168.

2. Tjoa E, Guan C. A Survey on Explainable Artificial Intelligence (XAI): Toward Medical XAI. IEEE Trans Neural Netw Learn Syst. noviembre de 2021;32(11):4793-813.

3. Tosun AB, Pullara F, Becich MJ, Taylor DL, Fine JL, Chennubhotla SC. Explainable AI (xAI) for Anatomic Pathology. Adv Anat Pathol. julio de 2020;27(4):241.

4. Jabbour S, Fouhey D, Shepard S, Valley TS, Kazerooni EA, Banovic N, et al. Measuring the Impact of AI in the Diagnosis of Hospitalized Patients: A Randomized Clinical Vignette Survey Study. JAMA. 19 de diciembre de 2023;330(23):2275-84.

5. Evans H, Snead D. Why do errors arise in artificial intelligence diagnostic tools in histopathology and how can we minimize them? Histopathology. 2024;84(2):279-87.