Kernel Creativo
Sesgos en la inteligencia artificial: cuando los algoritmos heredan prejuicios

Sesgos en la inteligencia artificial: cuando los algoritmos heredan prejuicios

Se suele pensar que una máquina es objetiva porque solo calcula. Sin embargo, los sistemas de inteligencia artificial aprenden de datos generados por personas, en sociedades con desigualdades históricas. El resultado es que pueden reproducir, e incluso amplificar, los prejuicios presentes en esa información.

Qué es el sesgo algorítmico

Hablamos de sesgo cuando un sistema produce resultados sistemáticamente desfavorables para ciertos grupos de personas o poco precisos para ellos. No siempre es intencional; casi nunca lo es. Surge como consecuencia de decisiones de diseño, de los datos empleados o del contexto en que se usa el sistema.

De dónde provienen los sesgos

El origen más común son los datos de entrenamiento. Si un conjunto de imágenes contiene mayoritariamente rostros de un tipo de piel, el modelo reconocerá peor los demás. Si un sistema de selección de personal aprende de contrataciones pasadas dominadas por un perfil, tenderá a favorecer ese perfil. A esto se suma el sesgo de medición, cuando se usa un indicador inadecuado como sustituto de lo que realmente se quiere medir, y el sesgo de representación, cuando ciertos grupos están ausentes en los datos.

Casos que lo demostraron

Se han documentado sistemas de reconocimiento facial con tasas de error mucho mayores en mujeres de piel oscura que en hombres de piel clara, herramientas de traducción que asignan género según estereotipos profesionales y algoritmos de evaluación de riesgo cuya precisión variaba según el grupo. Estos ejemplos llevaron a replantear cómo se prueban y auditan los modelos.

Por qué es difícil de resolver

Eliminar los sesgos no es solo un problema técnico. Existen distintas definiciones matemáticas de equidad y, en muchos casos, no se pueden cumplir todas a la vez. Elegir cuál priorizar implica decisiones éticas y sociales que no deben dejarse solo a los ingenieros. Además, quitar una variable sensible como el género no basta, porque otras variables correlacionadas pueden actuar como sustitutos.

Cómo se reduce el problema

Las estrategias incluyen reunir datos más diversos y representativos, evaluar el rendimiento por subgrupos y no solo en promedio, documentar cómo se construyó cada conjunto de datos y cada modelo, y realizar auditorías independientes. También ayuda mantener a una persona responsable en decisiones de alto impacto y ofrecer vías para impugnar un resultado automatizado.

El papel de los equipos diversos

Los equipos con perspectivas variadas detectan problemas que otros pasarían por alto. Incluir a las comunidades afectadas en el diseño y la evaluación de un sistema es una de las prácticas más efectivas para anticipar daños.

Sesgo en los modelos de lenguaje

Los modelos de lenguaje aprenden de enormes cantidades de texto de internet, donde abundan estereotipos y desequilibrios. Por eso pueden asociar ciertas profesiones o rasgos con determinados géneros u orígenes. Las empresas aplican técnicas de alineación y filtrado para reducir estas respuestas, pero ningún método las elimina por completo, de modo que la revisión humana sigue siendo necesaria.

Transparencia y regulación

Cada vez más países discuten normas que exigen evaluar el riesgo de los sistemas automatizados que afectan empleo, crédito, salud o justicia. La idea central es que las personas tengan derecho a conocer cuándo una decisión fue automatizada y a recibir una explicación comprensible.

La inteligencia artificial es un espejo de los datos que le damos. Reconocer sus sesgos no significa rechazar la tecnología, sino exigir que se desarrolle con transparencia, responsabilidad y respeto hacia todas las personas a las que afecta.

Kernel Creativo
Kernel Creativo
En línea