El sesgo en screening con AI es la sobre- o sub-selección sistemática de candidatos de grupos demográficos particulares por tools de hiring AI-driven — cuando el comportamiento del tool produce outcomes dispares que no están justificados por diferencias job-relevant. A medida que el screening con AI ha escalado a través del stack de recruiting (screening de resumes, scoring de entrevistas, assessment de comportamiento), los frameworks regulatorios se han endurecido: NYC Local Law 144 (efectiva 2023) requiere bias audits para herramientas automatizadas de decisión de empleo; el AI Video Interview Act de Illinois y AVDA agregan más requisitos; el EU AI Act impondrá obligaciones de conformity-assessment sobre AI de hiring high-risk en 2026.
Por dónde entra el sesgo de AI en hiring
Tres puntos de entrada primarios:
- Sesgo en data de training. Las tools de AI entrenadas en decisiones históricas de hiring heredan el sesgo de esas decisiones. Si el pasado favoreció ciertos backgrounds, el modelo aprende a favorecerlos — y reproduce el patrón a escala.
- Sesgo en features. Incluso cuando el modelo no está entrenado en características protegidas, puede usar proxies. El código postal correlaciona con raza; las características de voz correlacionan con género; el nombre del college correlaciona con background socioeconómico.
- Sesgo de deployment. La forma en que el tool se usa en el workflow puede amplificar o mitigar el sesgo subyacente del modelo. Tools que filtran candidatos por debajo de un threshold de score duro producen outcomes diferentes que tools que superficializan candidatos como sugerencias para review humano.
Los casos bien conocidos
Ejemplos públicos que dieron forma a la respuesta regulatoria:
- Tool de screening de resumes de Amazon (2018). Entrenado en una década de resumes históricos; aprendió a penalizar resumes mencionando “women’s” (ej. “captain del women’s chess club”) porque los hires históricos sesgaban masculino. Amazon scrapeó el tool.
- Features de análisis facial de HireVue (múltiples críticas 2019-2021). Research mostró accuracy diferencial a través de grupos demográficos; HireVue removió las features de análisis facial de su producto en 2021.
- Bias audits de assessment basado en juegos de Pymetrics (ahora Harver). Múltiples estudios académicos encontraron outcomes diferenciales; la empresa invirtió fuertemente en metodología de bias-mitigation en respuesta.
El patrón a través de los casos: el sesgo a menudo va sin detectar sin audit explícito, y el audit solo pasa cuando presión externa lo fuerza.
NYC Local Law 144 (el template regulatorio)
La Local Law 144 de NYC (en efecto julio 2023) requiere:
- Bias audit anual. Cualquier tool de decisión de empleo AI-driven usado para decisiones de hiring de residentes de NYC debe ser auditado anualmente por impacto dispar a través de raza y género.
- Resumen público de resultados de audit. El resumen del audit debe ser publicado en el website public-facing de la empresa.
- Notificación al candidato. Los candidatos deben ser notificados de que un tool de AI será usado en su proceso de hiring.
La metodología de audit está estandarizada: computar la tasa de selección (tasa de outcome positivo) para cada grupo demográfico y reportar las ratios. Tools produciendo ratios de selection-rate fuera de la “regla de cuatro-quintos” del EEOC (80%) atraen scrutiny.
El modelo se está copiando: Illinois, California, guidance federal de EEOC, y el EU AI Act todos imponen requisitos relacionados.
Cómo auditar screening con AI por sesgo
Un approach pragmático para equipos de legal-and-recruiting-ops:
- Inventaría las tools de AI en uso. Cada tool que influencia decisiones de hiring — AI de sourcing, AI de screening, AI de assessment, AI de scoring de entrevistas, AI de scheduling (algunas tools de scheduling introducen sesgo sutil también).
- Clasifica por impacto. Tools que toman decisiones (auto-reject) vs tools que superficializan decisiones (recomiendan para review) vs tools que solo rankean. Obligaciones de audit diferentes.
- Extrae data demográfica éticamente. Demográficos voluntarios self-reported de candidatos; análisis agregado solamente; nunca decisiones per-candidato.
- Computa tasas de selección por grupo. Qué fracción de candidatos de cada grupo demográfico alcanza el próximo stage. Compara ratios.
- Investiga disparidades. Cuando las ratios de selection-rate caen por debajo del threshold de cuatro-quintos, indaga por qué. ¿La disparidad es job-relevant o es sesgo?
- Documenta el audit. Audit log con metodología, data, resultados, y acciones de remediación tomadas. Requerido para compliance de NYC; útil para defensa regulatoria independientemente.
- Re-audit anual. Los modelos derivan; los patrones de uso cambian; las poblaciones subyacentes cambian. Cadencia anual pesca issues nuevos antes de que compongan.
Cómo mitigar sesgo en deployment
Más allá del audit, mitigaciones operacionales:
- El AI superficializa, los humanos deciden. Tools que recomiendan candidatos para review humano producen patrones de outcome diferentes que tools que auto-rechazan. Defaultea a recomendación en lugar de decisión donde sea posible.
- Data de training diversa. Donde el cliente puede influenciar la data de training, asegurar que refleja la población de la que el equipo quiere hirear, no solo la población de la que ha hireado en el pasado.
- Constraints de fairness demographic-aware. Algunos vendors de AI ofrecen modelos fairness-constrained que explícitamente igualan outcomes a través de grupos demográficos; trade-offs existen pero vale la pena evaluar.
- Transparencia a los candidatos. Comunicar que el AI se usa en el proceso y qué role juega construye confianza y cumple con requisitos regulatorios emergentes.
- Mecanismos de recurso. Los candidatos deberían poder solicitar review humano de decisiones AI-driven; provee tanto un piso ético como un escudo regulatorio.
Pitfalls comunes
- Tratar “sin data demográfica en el set de training” como bias-free. Los modelos infieren información demográfica desde proxies. Training demographic-blind no produce outcomes demographic-neutral.
- Audit theater. Pasar por los movimientos de audit sin actuar sobre los findings. Los frameworks regulatorios esperan remediación, no solo reporting.
- Reassurances del vendor sin verificación independiente. Los vendors tienen incentivo de claim que sus tools son unbiased; el audit independiente (third-party o in-house) es lo que los frameworks regulatorios requieren.
- Compliance de jurisdicción única ignorando otras. Un tool que cumple con NYC puede no cumplir con Illinois o el EU AI Act. Operaciones multi-jurisdicción requieren postura de audit multi-jurisdicción.
Relacionado
- AI sourcing — capacidad adyacente con consideraciones de sesgo superpuestas
- EU AI Act para equipos legales — framework regulatorio que aplica a AI de hiring high-risk
- Política de AI para equipos legales — framework de política interna que debería cubrir explícitamente AI de hiring
- Diversity recruiting — disciplina adyacente que las tools de AI pueden soportar o socavar