El informe marca una zona y la pregunta es si eso reemplaza al médico. A veces es un puntaje de riesgo. A veces es una frase del chat sobre una imagen o un síntoma. El alivio de tener un número se entiende. El error es tomarlo como destino. Eso es determinismo clínico: creer que el cálculo ya contiene a la persona.
De dónde sale el sesgo, sin misterio
El modelo aprende de lo que se le dio como verdad. Si esa verdad era el gasto y no la enfermedad, el cálculo se desvía. Obermeyer y colaboradores lo midieron en un algoritmo usado en millones de personas: con el mismo puntaje, los pacientes negros estaban más enfermos que los blancos. Corregir el criterio subió del 17,7 % al 46,5 % la proporción de pacientes negros que recibían ayuda extra. Aceptar la marca sin revisarla es sesgo de automatización: se deja de comprobar porque el sistema “ya lo vio”.
Tres comprobaciones antes de obedecer un puntaje
- Qué predice de verdad: enfermedad, costo, clic o texto probable. Si no está claro, no decide un tratamiento.
- Qué campo faltó: edad, embarazo, riñón, medicación, acceso a cuidados. Un vacío cambia el resultado.
- Quién lo contrasta. La supervisión humana es el paso, no un extra. En RedSana el informe se lee junto con el examen.
El mismo puntaje no era la misma enfermedad. El cálculo predecía gasto. Quien más necesitaba cuidado quedaba fuera.
Usar la herramienta sin entregarle el criterio
Sirve para traducir un informe, listar preguntas y preparar la visita. No sirve para firmar una conducta. Un prompt útil: “explica este hallazgo en lenguaje claro, di qué no confirma y qué debe revisar un clínico”. Esa lista entra a la consulta junto con sueño, tensión, digestión y el contexto de vida. La Medicina Integrativa usa la marca para preguntar mejor, no para obedecerla.
Referencias científicas:
1. Obermeyer Z, Powers B, Vogeli C, Mullainathan S. Dissecting racial bias in an algorithm used to manage the health of populations. Science. 2019;366(6464):447-453. doi:10.1126/science.aax2342. PMID: 31649194.
2. Goddard K, Roudsari A, Wyatt JC. Automation bias: a systematic review of frequency, effect mediators, and mitigators. J Am Med Inform Assoc. 2012;19(1):121-127. doi:10.1136/amiajnl-2011-000089. PMID: 21685142.
3. Parasuraman R, Manzey DH. Complacency and bias in human use of automation: an attentional integration. Hum Factors. 2010;52(3):381-410. doi:10.1177/0018720810376055. PMID: 21077562.
4. Lee P, Bubeck S, Petro J. Benefits, limits, and risks of GPT-4 as an AI chatbot for medicine. N Engl J Med. 2023;388(13):1233-1239. doi:10.1056/NEJMsr2214184. PMID: 36988602.
5. Thirunavukarasu AJ, Ting DSJ, Elangovan K, Gutierrez L, Tan TF, Ting DSW. Large language models in medicine. Nat Med. 2023;29(8):1930-1940. doi:10.1038/s41591-023-02448-8. PMID: 37460753.