Como trabajan con datos y realizan operaciones matemáticas, existe la idea de que los algoritmos son objetivos y neutrales, pero pueden reproducir sesgos y prejuicios humanos: a veces sus resultados están impregnados de machismo, racismo o información no veraz.

Servicios de imágenes que etiquetan como gorilas a personas de raza negra, anuncios de puestos de trabajo de alta cualificación que se muestran más a hombres que a mujeres, predicciones de reincidencia criminal que castigan el doble a la población afroamericana, propagación de noticias falsas o posicionamiento de páginas antisemitas son algunos ejemplos de estos sesgos.

Un algoritmo es un programa de software que funciona a partir de unos datos y sigue unas instrucciones determinadas para hacer algo.

Así trabajan el buscador de Google -que destaca unos resultados de búsqueda sobre otros-, el muro de Facebook -que determina el orden en que aparecen las publicaciones- o las recomendaciones de compra de Amazon.

Los algoritmos se utilizan en medicina, procesos penales, investigaciones policiales, concesiones de hipotecas o en procesos de selección de personal. La industria tecnológica defiende que la actividad algorítmica está libre de desviaciones, pero es una afirmación incorrecta, ya que estos son programados por seres humanos subjetivos y funcionan con datos que no siempre son veraces ni representativos de la realidad.

"Pueden generar resultados sesgados en función de distintos factores tales como su diseño e implementación y los datos que utilizan. La información con la que funcionan puede contener prejuicios o sesgos", explica a Efe la investigadora de la Universidad de Nueva York y de Microsoft Research Kate Crawford.

La élite de Silicon Valley está integrada en su mayoría por hombres jóvenes de raza blanca y eso afecta a la creación de estas herramientas.

Además un algoritmo puede ofrecer resultados sesgados por trabajar con conjuntos de datos imprecisos o no representativos por no tener en cuenta a determinados colectivos.

Google ha tenido que dar explicaciones por la actividad de sus algoritmos. La última, la semana pasada, cuando el diario The Guardian alertó de que sus recomendaciones de autocompletado de la caja de búsqueda, que pretenden predecir las frases buscadas a partir de la primera palabra tecleada, asociaban a mujeres, judíos y musulmanes con el adjetivo "malos".

Google insiste en que la función de autocompletar es automática y refleja la actividad de búsqueda de otros usuarios y del contenido de la web.

La automatización ha dado otros disgustos a esta tecnológica: en 2015, el etiquetado de Google Photos clasificó a personas de raza negra como primates.

"El algoritmo aprende a partir de las imágenes con las que trabaja, que suelen elegir los ingenieros, y el sistema construye una representación del mundo a partir de esas imágenes. Si se le entrena con fotos de gente mayoritariamente blanca, le costará mas identificar los rostros de personas que no lo sean", apunta Crawford.

Investigadores de la universidad Carnegie Mellon detectaron que mostraba anuncios de empleos altamente cualificados más a hombres que a mujeres.

También que las búsquedas de nombres más asociados a la comunidad afroamericana devolvían con más frecuencia publicidad sobre servicios de registros criminales que las de nombres típicos de la población blanca.

Ambas investigadoras piden mayor diversidad en los equipos de desarrollo para contribuir a detectar las desviaciones y "minimizar los potenciales puntos ciegos culturales".

"Propublica" descubrió que el algoritmo judicial estadounidense Compas, que predice la tasa de reincidencia de los criminales, atribuía a los negros el doble de probabilidad de delinquir que a los blancos.

Es difícil detectar la falta de objetividad de los algoritmos porque poco se sabe de su funcionamiento: ¿cómo puede un usuario ser consciente de que el algoritmo lo está tratando peor que a otro?.

Crawford señala que el primer paso ha de ser estudiar cómo el distinto acceso a la información, la riqueza y los servicios básicos de comunidades diferentes modela los datos que sirven de entrenamiento a los sistemas de inteligencia artificial.