La incorporación de la Inteligencia Artificial (IA) en la toma de decisiones se ha convertido en una pieza central en la administración pública y el sector privado. Su promesa es clara: mayor eficiencia, reducción de errores humanos, estandarización de procesos y capacidad para gestionar altos volúmenes de información. Sin embargo, las experiencias recientes en distintos países muestran que, cuando estos sistemas se despliegan sin suficientes garantías de control, transparencia y supervisión, pueden generar efectos problemáticos: opacidad en la toma de decisiones, reproducción de sesgos, así como daños masivos difíciles de detectar y corregir a tiempo. Ejemplos de estos inconvenientes son los siguientes:
·
Decisiones automatizadas en ayudas sociales (BOSCO, 2017
a 2025)
Un primer caso es el uso del
sistema BOSCO, en España. Se utilizaba para gestionar las ayudas sociales del
bono social eléctrico, verificando requisitos y cruzando datos procedentes de
distintas administraciones. Su propósito era agilizar la concesión de ayudas y
reducir la carga burocrática. Sin embargo, el problema emergió cuando las
personas afectadas comenzaron a recibir denegaciones sin poder entender con
claridad el motivo concreto de los rechazos, ni disponer de una explicación
accesible sobre la lógica aplicada.
La falta de explicaciones
del sistema y las dificultades para acceder a su funcionamiento interno
generaron un debate sobre la transparencia de los algoritmos públicos y el
derecho de los ciudadanos a comprender decisiones administrativas
automatizadas. Este conflicto escaló hasta los tribunales, culminando en una
decisión del Tribunal Supremo en 2025, que reconoció la necesidad de garantizar
el acceso y la auditabilidad de este tipo de sistemas cuando afectan a derechos
de los ciudadanos. La implicación de fondo fue clara: la automatización no
puede convertirse en una zona de opacidad institucional, especialmente cuando
sustituye decisiones administrativas tradicionales.
·
Automatización del control de fraude (Toeslagenaffaire, Ayudas infantiles, 2005 al 2025)
Un segundo caso ocurrió en
Países Bajos, con la automatización de la detección de fraude en ayudas
familiares. En este sistema, modelos algorítmicos identificaban posibles casos
de fraude y activaban procesos donde se exigían devoluciones de prestaciones ya
recibidas. El resultado fue la aparición de un número muy elevado de falsos
positivos que afectaron a miles de familias, muchas de ellas sin capacidad real
de defensa ante un sistema altamente automatizado, rígido y poco sensible a
contextos individuales.
Las consecuencias fueron
graves: endeudamiento masivo, pérdida de viviendas, deterioro de la estabilidad
familiar y exclusión social en numerosos casos. La magnitud del problema llevó
a una crisis institucional de gran escala. Tras la revelación del alcance del
escándalo y la confirmación de fallos estructurales en el sistema de control y
supervisión, el gobierno neerlandés terminó dimitiendo en bloque en 2021.
Además, el sistema de detección de fraude fue progresivamente desmantelado y
reformulado tras la constatación de su impacto desproporcionado y
discriminatorio.
Este caso evidenció el
riesgo de aplicar modelos de control automatizado excesivamente agresivos sin
mecanismos robustos de revisión humana, proporcionalidad en las sanciones y
evaluación del impacto social. La automatización no solo no evitó errores, sino
que los amplificó hasta convertirlos en una crisis política e institucional.
·
Sesgos en contratación (Amazon Recruiting AI, 2014 a 2018)
El tercer caso procede del
ámbito privado, en el que un sistema automatizado de selección de candidatos
fue diseñado para filtrar currículums en procesos de contratación. El modelo
fue entrenado con datos históricos de contrataciones previas, con el objetivo
de identificar patrones asociados al éxito laboral dentro de la empresa.
Sin embargo, estos datos
reflejaban una realidad previa ya sesgada, en la que determinados perfiles
estaban sobrerrepresentados. Como resultado, el sistema acabó reproduciendo y
amplificando esos sesgos, penalizando indirectamente a candidatas mujeres y favoreciendo
perfiles masculinos. Incluso, tras intentos de corrección, el sistema seguía
utilizando variables indirectas que perpetuaban la discriminación.
Ante la imposibilidad de
garantizar un comportamiento justo y controlable del modelo, el proyecto fue
finalmente abandonado y no llegó a desplegarse como sistema oficial de
contratación. La cancelación del sistema evidenció una lección clave: en
determinados contextos, corregir un modelo sesgado no siempre es suficiente, y
puede ser necesario renunciar a su uso cuando no se puede garantizar equidad y
explicaciones.
Conclusión:
cuando la automatización supera la capacidad de control
Estos tres
casos muestran un patrón común que trasciende contextos y sectores: la
automatización de decisiones sensibles sin transparencia suficiente, sin
auditoría independiente y sin supervisión humana efectiva tiende a transformar
errores puntuales en problemas sistémicos.
En BOSCO, el conflicto
derivó en una intervención judicial que reforzó la exigencia de transparencia
en sistemas públicos automatizados. En la Toeslagenaffaire, el impacto fue tan
profundo que desencadenó la dimisión del gobierno y la desarticulación del
modelo de control automatizado. En el caso de Amazon, el sistema fue finalmente
cancelado al no poder garantizar un comportamiento justo y libre de sesgos.
La lección que se desprende
es clara: la IA no puede sustituir la gobernanza institucional, sino que
debe estar subordinada a ella. Esto implica reforzar la transparencia,
garantizar las explicaciones, establecer auditorías independientes continuas,
asegurar mecanismos efectivos de apelación y definir responsabilidades claras
sobre las decisiones automatizadas.
Bajo estas condiciones,
entre otras, la IA puede consolidarse como una herramienta de mejora real. Sin
ellas, puede ser un medio para masificar errores, opacidad y desigualdad a una
velocidad que puede resultarnos difícil de gestionar.
(*) Inspirado por la ponencia de Benito Rodríguez Bouza, durante la
presentación de los Embajadores del IIBA España, 5 de marzo de 2026.
