Imagine la siguiente escena. Un trabajador con veinte años en la compañía recibe la noticia de su desvinculación por correo electrónico. El mensaje es impersonal pero técnicamente correcto. Cuando solicita una reunión para entender las razones, le explican que la decisión fue tomada por un sistema de evaluación de desempeño asistido por IA, que su puntaje cayó por debajo del umbral establecido, y que la determinación no admite revisión humana. El trabajador pregunta lo que cualquiera preguntaría: ¿quién es responsable de esta decisión?
La empresa no tiene una buena respuesta. El directorio, si lo supiera, tampoco.
El vacío de accountability
Esta no es una hipótesis. En 2023, la Equal Employment Opportunity Commission de Estados Unidos llegó al primer acuerdo público por discriminación algorítmica en contratación. iTutorGroup, una empresa de tutorías en línea, había configurado su sistema de IA para rechazar automáticamente a mujeres mayores de 55 años y hombres mayores de 60. Más de doscientos solicitantes calificados fueron eliminados antes de cualquier revisión humana. El acuerdo fue por 365 mil dólares. La doctrina que se asentó es más cara.
Amazon vivió una versión anterior del mismo problema. En 2018, la compañía abandonó silenciosamente un sistema de IA para reclutamiento que había desarrollado durante años. El modelo, entrenado con currículos históricos de la compañía, había aprendido —correctamente, dentro de su lógica estadística— que Amazon contrataba predominantemente hombres en posiciones técnicas. El sistema replicó ese patrón con eficiencia. Amazon, con buen criterio, lo desechó. La pregunta incómoda es cuánto tiempo lo utilizó antes de notarlo.
Workday enfrenta hoy una demanda colectiva en cortes federales de Estados Unidos por discriminación algorítmica en su plataforma de gestión de talento, una de las más usadas globalmente. Si la demanda prospera, sentará el precedente que falta: los proveedores de plataformas de IA pueden ser corresponsables, junto con sus clientes corporativos, de las decisiones que sus algoritmos toman.
La carta que nadie quiere firmar
Cuando un algoritmo despide, hay tres candidatos a firmar la carta de desvinculación. El primero es el área de Recursos Humanos, que ejecuta operativamente la decisión sin haberla tomado en sustancia. El segundo es el proveedor del software, que provee la plataforma pero no decide a quién despedir. El tercero es el directorio, que aprobó, o más comúnmente no objetó, la adopción del sistema. Los tres se miran. Ninguno quiere firmar.
Esa difusión de responsabilidad es exactamente lo que la ley empieza a corregir. La ley local 144 de la ciudad de Nueva York, en vigor desde julio de 2023, exige que cualquier empleador que use herramientas automatizadas de decisión en empleo realice una auditoría de sesgo anual y notifique a los candidatos cuando una decisión está siendo asistida por IA. El EU AI Act, aprobado en 2024, clasifica los sistemas de IA usados en empleo como de alto riesgo, lo que activa obligaciones específicas de transparencia, documentación y supervisión humana significativa.
Latinoamérica y el vacío regulatorio activo
En la región, el marco regulatorio sobre decisiones algorítmicas en empleo es heterogéneo y, en la mayoría de los países, incipiente. La LGPD brasileña de 2018 estableció el derecho a la revisión humana de decisiones automatizadas. La ley chilena 21.719 sobre protección de datos personales, promulgada en 2024, incluye principios análogos. Colombia, México y Perú avanzan en sus propios marcos. Pero el enforcement es débil, y la mayoría de las empresas operan en una zona gris.
Esa zona gris no protege al directorio. Lo expone. En jurisdicciones como las latinoamericanas, la responsabilidad del directorio por decisiones que delegó sin supervisión es un terreno fértil para litigio futuro. La ausencia de regulación específica no es ausencia de responsabilidad. Es solo demora en su materialización.
Lo que el directorio debe exigir antes del próximo despliegue
Hay cinco preguntas que un directorio debe poder responder antes de aprobar, o tolerar, el uso de IA en decisiones que afecten a personas: empleados, clientes, proveedores, candidatos.
- Primero: ¿quién, con nombre y apellido, es el ser humano responsable de cada decisión asistida por IA? Si la respuesta es “el sistema”, el sistema no debería estar tomando esa decisión.
- Segundo: ¿existe un mecanismo de revisión humana significativa, no nominal? Significativa quiere decir que un humano puede revertir la decisión del algoritmo y tiene la información, el tiempo y la autoridad para hacerlo.
- Tercero: ¿se audita el sesgo del sistema con frecuencia y rigor, y por una parte independiente del proveedor?
- Cuarto: ¿se notifica a los afectados cuando una decisión que los involucra fue asistida por IA?
- Quinto: ¿qué contrato tiene la empresa con el proveedor sobre responsabilidad por daños derivados de decisiones algorítmicas?
La gobernanza de la IA, en su forma más simple, se reduce a una pregunta: quién firma la carta.
P.D. El directorio que no puede nombrar a la persona responsable de cada decisión algorítmica en su empresa está, por defecto, firmando todas.