El Impacto Oculto de los Algoritmos: Sesgos y Consecuencias del Big Data

El Lado Oscuro de los Algoritmos: Cuando los Modelos Matemáticos se Convierten en Armas

La autora de este libro ofrece un enfoque más claro y explica cómo funcionan distintos modelos estadístico-matemáticos que, a simple vista, no percibimos. Ejemplos de ello son el ranking de las universidades y las variables que se utilizan, o cómo operan las redes sociales con fines electorales, tal como se detalla en el último capítulo del libro.

Cathy O’Neil y las Armas de Destrucción Matemática

Como menciona en la introducción, la autora era una enamorada de las matemáticas; incluso de niña, se dedicaba a factorizar los números de las matrículas de los coches. Esta pasión la llevó a obtener un doctorado en Matemáticas en Harvard y a trabajar como analista en el fondo de inversión Shaw. El libro narra cómo el uso inadecuado de las matemáticas puede convertirse en un **Arma de Destrucción Matemática** (Weapons of Math Destruction).

La obra repasa el lado oscuro del Big Data en ámbitos como la educación universitaria, la publicidad, la justicia, el mercado laboral, los mercados financieros, los mercados de seguros y la política.

Características de las Armas de Destrucción Matemática

O’Neil describe tres características distintivas de las **Armas de Destrucción Matemática**:

1. Opacidad

En el libro, se relata el caso de una profesora de la que todos tenían una gran impresión, pero el algoritmo utilizado por la empresa decidió que no era válida. Cuando ella preguntó la razón real, nadie supo contestarle. Los modelos matemáticos son capaces de determinar qué personas son mejores o peores para un puesto basándose en millones de datos (importantes o no), pero no pueden explicar el porqué de sus decisiones ni detectar sus propios errores. Por este motivo, resulta muy difícil para los analistas optimizar estos modelos.

2. Escala

La magnitud es un fenómeno que puede provocar que un conjunto de datos, perfectamente inocuo a escala reducida, se convierta en muy dañino cuando aumentamos su dimensión. O’Neil lo explica con el ejemplo de las dietas: si todo el mundo adoptase la misma dieta, el precio de esos productos aumentaría enormemente, y los productos que no apareciesen en ella acabarían desapareciendo.

3. Inequidad y Concentración del Daño

La tercera y última propiedad es que estos modelos no solo provocan daños, sino que estos tienden a concentrarse desproporcionadamente en los sectores más vulnerables de la población. Dicho de otra forma, la distribución de los daños es profundamente inequitativa.

Conclusión: El Desafío de los Modelos Matemáticos en Nuestra Sociedad

En conclusión, vivimos en una época en la que muchas decisiones que afectan nuestras vidas no son tomadas por humanos, sino por modelos matemáticos. Intuitivamente, esto debería garantizar que todos fuéramos tratados de igual manera, con las mismas reglas. Sin embargo, la realidad demuestra que ocurre todo lo contrario.