Los algoritmos de toma de decisiones ofrecen la posibilidad de tomar decisiones sin los inconvenientes que implica el sesgo humano. Sin embargo, en realidad los datos que se introducen en estos sistemas ya están contaminados, y por ende los resultados de estos modelos de aprendizaje automático también son discriminatorios. En lugar de evitar la discriminación, se discrimina aún más a los grupos sociales marginados.

Existen dos tipos de algoritmos de toma de decisiones: unos que tienen la capacidad de aprender y otros que no. Aprender en este caso significa que el algoritmo va cambiando a través de la experiencia. Ambos sistemas entrañan diversos problemas, pero en este artículo nos centraremos únicamente en los primeros, los sistemas algorítmicos de toma de decisiones que "aprenden".

¿Cuál es el objetivo de los algoritmos de toma de decisiones?

La justificación del uso de la toma de decisiones algorítmica es aumentar la eficiencia y eliminar los sesgos humanos. A primera vista, suena genial. Si solicitamos un préstamo, por ejemplo, queremos que la consulta se procese de forma rápida y justa. Por desgracia, esta promesa rara vez se cumple. A pesar de que se promueve el uso de estos algoritmos sobre la base de la mejora de la objetividad, a menudo la razón principal es ahorrar dinero y recursos, y al final, la sociedad acaba pagando un precio muy alto.

¿Cómo funcionan los algoritmos de toma de decisiones?

La toma de decisiones algorítmica consiste en delegar en máquinas la toma de decisiones y su ejecución. Para lograrlo, un modelo de aprendizaje automático extrae conclusiones a partir de lo que aprendió identificando patrones en un conjunto de datos inicial. La gran ventaja de los algoritmos en comparación con los humanos es que son capaces de detectar correlaciones -y por tanto patrones y causalidades- en conjuntos de datos enormes.

¿Para qué se utiliza la toma de decisiones algorítmica?

Los algoritmos ya forman parte de nuestra vida cotidiana. Desde la gestión de las redes sociales hasta la detección del cáncer en radiografías, nuestra realidad en el siglo XXI está construida por algoritmos. Estos son algunos de los casos más destacados, pero los algoritmos también se encuentran cada vez más en lugares inesperados. La policía utiliza algoritmos para establecer la probabilidad de que cometas un delito, la empresa a la que te presentas para un puesto de trabajo los utiliza para decidir si te contratan o no, y las autoridades públicas permiten que los propios algoritmos decidan si te asignan programas de asistencia social.

En algunos casos, el uso de algoritmos puede suponer un apoyo para los humanos y aumentar la calidad de nuestras vidas, como por ejemplo, cuando sirven para ayudar al personal médico a detectar enfermedades después de trabajar turnos de 12 horas. Pero, por desgracia, con demasiada frecuencia ocurre lo contrario. La objetividad es primordial en cualquier toma de decisiones que repercuta en la vida de una persona, y los algoritmos han sido responsables de decisiones claramente erróneas y/o que reproducían discriminaciones existentes.

¿Cuáles son los peligros de que los algoritmos tomen decisiones?

Algunas personas creen que la toma de decisiones mediante algoritmos puede ser más objetiva que la toma de decisiones humana, pero esto no es necesariamente así. Aunque es menos probable que se puedan manipular sus sesgos, pueden ser incluso más discriminatorios que la toma de decisiones humana.

A pesar de que estos errores podrían parecer fáciles de solucionar mediante un control adecuado -técnicas de reducción de sesgos cognitivos o "debiasing"-, por la propia naturaleza de la IA, sigue siendo difícil encontrar un remedio eficaz. Debido a su funcionamiento interno velado y poco comprensible, la toma de decisiones de la IA sigue siendo poco transparente y por ello, los algoritmos de aprendizaje automático se han ganado el apodo de "IA de caja negra". Por tanto, un nuevo e importante reto en estos sistemas de aprendizaje automático es determinar cuándo y cómo introducen algún sesgo en el proceso de toma de decisiones.

Los algoritmos son fiables en el sentido de que siempre producen el mismo resultado para la misma entrada (al menos los sistemas que no aprenden "sobre la marcha"). Se espera que produzcan decisiones objetivas, no tienen días malos, ni tampoco le tienen manía a nadie.

Hasta aquí todo bien. Pero esto significa que si las conclusiones a las que llegan son falsas o perjudiciales, además, se están emitiendo de forma constante. Y esto es precisamente el problema. Como los agoritmos aprenden del pasado, esto conlleva dos problemas: en primer lugar, no se actualizan en base a las alteraciones de la realidad a no ser que se les vuelva a entrenar y, en segundo lugar, solo perciben a un individuo en comparación con otros, y por lo tanto reproducen o magnifican inadvertidamente los patrones históricos de sesgo. Esto sucede porque los datos de entrada utilizados para entrenar los sistemas casi siempre contienen un sesgo debido a prácticas discriminatorias arraigadas o a la escasa representación de miembros de grupos marginados. Es verdad que tampoco a los seres humanos se nos da muy bien cambiar nuestro comportamiento o valores, pero a diferencia de los algoritmos, tampoco se nos conoce por nuestra objetividad en la toma de decisiones.

Vivimos en una sociedad en donde algunas personas para llegar a lo alto, simplemente toman el ascensor, mientras que otras tienen que subir muchas escaleras. Imaginemos que hay un puesto de trabajo, y está Joe, cuyos padres pudieron llevarle a un buen colegio y tienen buenos contactos, pero no es la persona adecuada para el puesto. Luego está Jessica, madre sola con algunas lagunas en su CV, pero que es la persona perfecta para el puesto. Mientras que un humano sería capaz, al menos en teoría, de evaluar individualmente en las entrevistas de trabajo, un algoritmo aprendería a contratar solo a los candidatos que lleguen por el ascensor. Esto priva a las personas de la posibilidad de controlar su propio destino.

En un mundo en constante cambio, en el que vamos tratando de acabar colectivamente con los distintos estereotipos dañinos, la lógica de la toma de decisiones algorítmica es contraproducente. Todos queremos que se nos juzgue por nuestras acciones y no por el "grupo" al que pertenecemos..

¿Cómo funciona el aprendizaje automático en la práctica?

Pongamos que quieres que tu modelo de aprendizaje automático encuentre la persona que mejor encaja para un trabajo determinado. Al algoritmo no le dices cómo sería la candidatura perfecta, pues quizá ni siquiera tú lo sabes. En su lugar, alimentas el modelo con los currículos de otras personas que has contratado anteriormente y marcas algunos CV como excelentes (aquellos que cumplieron muy bien con el trabajo) mientras que otros los marcas con menor puntuación.

¿Juzgará a todas las personas candidatas de forma justa?

Una herramienta de contratación basada en algoritmos de Amazon utilizó esta estrategia, y los resultados fueron todo menos deseables. En 2015, se reveló que el modelo de contratación de Amazon discriminaba a las mujeres. La herramienta experimental de IA de contratación de la empresa clasificaba a los candidatos a un puesto de trabajo en función de si sus currículos se parecían a los presentados por los solicitantes que habían tenido éxito durannte un periodo de 10 años. No resulta sorprendente, que la mayoría de ellos fueran hombres: el dominio masculino en la industria tecnológica está bien documentado. Como consecuencia, el sistema de IA de Amazon identificó un patrón en el que los candidatos que Amazon consideraba deseables eran hombres. La herramienta penalizó los currículos que incluían la palabra "mujer", como por ejemplo "capitana del club de ajedrez de mujeres".

La pregunta importante que debemos hacernos es: ¿entonces, las herramientas de contratación basadas en algoritmos son peores que los empleadores habituales? Después de todo, también los empleadores toman decisiones basadas en prejuicios personales. La respuesta es: sí, pues además existe el llamado "problema de control". Los psicólogos e ingenieros industriales que estudian a los operadores humanos de máquinas complejas han identificado desde hace tiempo un peligro concreto que deriva de la cesión de la responsabilidad a las máquinas: los algoritmos generan una falsa impresión de objetividad, lo que hace difícil cuestionar sus conclusiones.

¿Cómo afectan los algoritmos a la sociedad?

En una democracia, esperamos que autoridades como los tribunales o los bancos puedan explicar las decisiones que toman. Si nos deniegan un préstamo o nos meten en la cárcel, tenemos derecho a saber por qué. En comparación, los algoritmos y su uso no son compatibles con las normas democráticas.

Otra señal de alarma es que los modelos de aprendizaje automático complejos facilitan enormemente la vigilancia de los seres humanos. Hace 30 años era muy difícil rastrear los movimientos de una persona, pero ahora sus teléfonos móviles pueden proporcionar toda la información necesaria para predecir dónde se le puede encontrar en el futuro. Lo que cada vez es más preocupante es la vigilancia masiva biométrica, que facilita la identificación de personas y que resulta especialmente peligroso para las comunidades marginadas (personas LGBTI o indocumentadas, por ejemplo) que en ciertos lugares tienen buenas razones para temer ser identificadas. Ninguna persona debería temer ser perseguida y perder el derecho a la intimidad. Estas tecnologías en manos de gobiernos autoritarios podrían suponer un gran riesgo para las personas, además de impedir cualquier expresión de desacuerdo, por ejemplo, la asistencia a una protesta.

Conclusión

Si la toma de decisiones algorítmica cumple sus promesas: ser más objetiva y menos discriminatoria que las personas, podría tener un gran potencial. Desgraciadamente, los sistemas que utilizan el aprendizaje automático tienden a potenciar los prejuicios humanos, pero pasan más fácilmente desapercibidos. Las consecuencias son preocupantes, tanto para lograr acabar con la discriminación de las minorías, como para la creación de una sociedad más igualitaria. Con la proliferación de los sistemas que emplean algoritmos, resulta crucial una regulación minuciosa de estas tecnologías. La tecnología debe utilizarse para aumentar la libertad e independencia de todas las personas, no para que retrocedan.

Créditos de las imágenes:

Christina@wocintechchat.com / Unsplash