Son las 22:05. Hiciste la misma pregunta que un compañero y la respuesta no se parece. La tuya pide “vigilar”. La de él, “pedir una prueba”. No cambió la enfermedad. Cambió el perfil que el chat dio por hecho. Ese desvío tiene nombre: sesgo algorítmico. No es un fallo suelto. Es lo que el sistema aprendió de datos que ya venían desiguales.
Cómo una balanza sale torcida y sigue “funcionando"
El modelo aprende de millones de casos viejos. Si en esos casos un grupo llegó menos al médico, el sistema lee menos gasto como menos necesidad. La balanza pesa bien: las pesas ya estaban mal. En hospitales de Estados Unidos, un algoritmo de riesgo hacía eso con pacientes negros igual de enfermos. Al predecir enfermedad y no gasto, los elegidos para atención extra pasaron del 17,7 % al 46,5 %. El aparato no se rompió. Se cambió la pregunta.
Tres hallazgos que ya están publicados
- Atención extra. Con el mismo nivel de enfermedad, el algoritmo dejaba fuera a más pacientes negros. Corregir el criterio casi triplicó su inclusión.
- Ideas ya descartadas. Varios chatbots repitieron diferencias raciales viejas, por ejemplo en riñón y en pulmón, como si siguieran vigentes.
- Lo que no se ve. Modelos de imagen reconocieron la raza declarada en radiografías, algo que un médico no puede hacer a simple vista. Procesan señal que el informe no nombra.
Que sea un cálculo no lo hace neutral. Repite los datos, los huecos y las decisiones con las que se armó.
Cómo no dejar que el desvío cierre la noche
[BLOQUE 8: Párrafo]
Pide la misma respuesta para otro perfil y mira qué cambia. Si aparecen raza, sexo o un estudio sin enlace, no es un dato: es un límite de la IA. La supervisión humana es abrir la fuente y no usar esa frase para una dosis ni para dejar de consultar. Si algo no encaja con tu caso, se comenta en RedSana. Eso es Medicina Integrativa: la máquina propone, la persona y el médico deciden.
[BLOQUE 9: Separador]
Referencias científicas:
1. Obermeyer Z, Powers B, Vogeli C, Mullainathan S. Dissecting racial bias in an algorithm used to manage the health of populations. Science. 2019;366(6464):447-453. doi:10.1126/science.aax2342. PMID: 31649194.
2. Omiye JA, Lester JC, Spichak S, Rotemberg V, Daneshjou R. Large language models propagate race-based medicine. npj Digit Med. 2023;6:195. doi:10.1038/s41746-023-00939-z. PMID: 37880366.
3. Gichoya JW, Banerjee I, Bhimireddy AR, et al. AI recognition of patient race in medical imaging: a modelling study. Lancet Digit Health. 2022;4(6):e406-e414. doi:10.1016/S2589-7500(22)00063-2. PMID: 35568690.
4. Char DS, Shah NH, Magnus D. Implementing machine learning in health care — addressing ethical challenges. N Engl J Med. 2018;378(11):981-983. doi:10.1056/NEJMp1714229. PMID: 29539284.