Un análisis del dataset IJB-A encontró que más del 80% de los rostros eran de piel clara. El modelo aprende a reconocer con mucho más detalle las variaciones del grupo mayoritario. Un rostro oscuro es estadísticamente "raro" para él.
En piel oscura, el menor contraste relativo entre rasgos y piel confunde al algoritmo al detectar bordes, especialmente con iluminación subóptima. El modelo no aprendió a compensar esto porque sus datos tampoco lo hacían.
"El sistema no me reconocía hasta que me puse una máscara blanca."
Joy Buolamwini · MIT Media Lab · Investigadora de Gender Shades① El sistema falla más con piel oscura
→ Esas personas lo usan menos o confían menos en él
→ Se generan menos datos de ese grupo
→ El modelo se reentrena con aún menos diversidad
→ El sesgo se profundiza en cada ciclo
Esto lo demostró el estudio de la UCL (2024): la IA no solo reproduce sesgos, los exacerba en cada generación de reentrenamiento.
Los datasets históricos también subrepresentan a mujeres, y los algoritmos aprendieron que el "rostro canónico" era masculino y de piel clara. La intersección de ambas variables produce el error máximo de 34,7%, frente al 0,8% en hombres de piel clara.
Esto es lo que se llama "precisión promedio engañosa": las métricas agregadas enmascaran discriminación sistemática. Es por eso que las auditorías deben desagregar los resultados por subgrupos.
Gratuito
| Principio ético | Lo que debería ocurrir | Lo que ocurrió con Windows 11 |
|---|---|---|
| Consentimiento informado | El usuario elige instalar cada función de IA con información clara | Copilot y Recall se instalan por defecto; desactivarlos requiere conocimientos técnicos avanzados |
| Transparencia | Los criterios de compatibilidad de hardware son públicos y justificados técnicamente | La exclusión de Intel 8ª–10ª generación no tiene justificación técnica publicada |
| No maleficencia | Las decisiones corporativas no deben dejar usuarios vulnerables sin alternativa | 240 millones de PCs funcionales sin actualizaciones de seguridad por fin de soporte |
| Justicia distributiva | Los cambios tecnológicos no deben afectar desproporcionadamente a los de menor poder adquisitivo | Los más afectados son mercados emergentes y usuarios de gama media con equipos funcionales |
| Responsabilidad | La empresa reconoce y corrige los errores de forma oportuna y pública | Microsoft reconoció en 2026 que Copilot fue intrusivo — dos años después del lanzamiento |
| Privacidad por diseño | La recopilación de datos es mínima, opcional y claramente comunicada | Recall captura pantallazos permanentes; Copilot evade permisos; OneDrive activa reconocimiento facial por defecto |