La prise de décision algorithmique offre la possibilité de prendre des décisions sans les inconvénients des préjugés humains et de la partialité. Cependant, en réalité, les données alimentant ces systèmes sont déjà entachées, ce qui, en retour, conduit à des résultats discriminatoires des modèles d'apprentissage automatique. Plutôt que d'empêcher la discrimination, elle la renforce à l'encontre des groupes sociaux marginalisés.

Il existe deux types de prise décision algorithmique qui prennent des décisions nous concernant : les machines qui ont la capacité d'apprendre, et celles qui ne l'ont pas. L'apprentissage signifie ici que l'algorithme change grâce à l'expérience. Les deux systèmes peuvent causer divers problèmes, mais dans cet article, nous nous concentrons uniquement sur les premiers, les systèmes de décision algorithmiques qui "apprennent".

Quel est l’objectif de la prise de décision algorithmique ?

Le recours à la prise de décision algorithmique vise à renforcer l'efficacité et à éliminer les préjugés humains. À première vue, cela semble vraiment intéressant et équitable. Si nous demandons un prêt par exemple, nous voulons que la requête soit traitée rapidement et équitablement. Malheureusement, cette promesse n’est tenue que rarement. Alors que l'utilisation des prises de décision algorithmiques est promue sous prétexte qu’elle améliore l'objectivité, l'économie d'argent et de ressources constitue souvent la principale raison - mais la société doit payer un prix élevé.

Comment la prise de décision algorithmique fonctionne-t-elle ?

La prise de décision algorithmique consiste à déléguer la prise de décision et la mise en œuvre à des machines. Pour que cela soit possible, un modèle d'apprentissage automatique tire des conclusions qu'il a apprises en identifiant des modèles dans un ensemble de données d'apprentissage. Le grand avantage des algorithmes par rapport aux humains est qu'ils sont capables de détecter des corrélations - et donc des modèles et des causalités - pour d’immenses ensembles de données.

Dans quels domaines avons-nous recours à la prise de décision algorithmique ?

Les algorithmes font déjà partie de notre vie quotidienne. De la gestion des flux de réseaux sociaux à la détection du cancer dans les rayons X, notre réalité au XXIe siècle est construite par des algorithmes. Bien que ces cas d'utilisation soient parmi les plus importants, les algorithmes sont aussi de plus en plus présents là où on ne les attend pas. La police s'appuie sur des algorithmes pour décider de la probabilité que vous commettiez un crime. L'entreprise à laquelle vous postulez les utilise pour décider si elle doit vous embaucher ou non. Les autorités publiques y ont recours pour déterminer votre éligibilité à des programmes d'aide sociale. [Donate title={Soutenir notre travail pour que la technologie ne nuise pas à vos droits}].

Dans certains cas, le recours aux algorithmes peut aider les humains et améliorer notre qualité de vie. Par exemple, cela peut aider les médecins à détecter des maladies après une journée où ils ont travaillé 12 heures d’affilée. Malheureusement, c'est trop souvent le contraire qui se produit. L'objectivité est primordiale dans toute prise de décision ayant un impact sur la vie d'une personne, mais les algorithmes sont responsables de décisions clairement erronées et/ou reproduisant des discriminations existantes.

Quels sont les dangers que représentent les prises de décisions algorithmiques ?

Certains pensent que la PDA pourrait être plus objective que la prise de décision humaine, mais cela n'est pas nécessairement vrai. Bien que leurs préjugés soient moins susceptibles d'être corrigés, les PDA pourraient être encore plus discriminatoires que les décisions humaines.

Bien que de telles erreurs puissent sembler faciles à corriger par une surveillance appropriée - appelée débiaisage ou «debiasing» en anglais) - en raison de la nature même de l'IA, un remède efficace reste illusoire. Les mécanismes internes de l'IA étant cachés et difficiles à comprendre, le processus décisionnel de l'IA reste obscur. Le manque de transparence qui en résulte a valu aux algorithmes d'auto-apprentissage le surnom de "boîte noire de l'IA". Ces systèmes d'apprentissage automatique posent donc un nouveau défi de taille : déterminer quand et comment ils introduisent certains biais dans le processus décisionnel.

Les algorithmes sont fiables dans le sens où ils produisent toujours le même résultat pour exactement la même entrée (du moins dans le cas des systèmes qui n'apprennent pas "en cours de route"). Ils sont censés produire des décisions objectives, et ne peuvent pas avoir une mauvaise journée ou prendre quelqu'un en grippe.

Jusqu'ici, tout va bien. Mais cela signifie que s'ils parviennent à des conclusions fausses ou nuisibles, celles-ci sont également produites de manière constante. Et c'est justement là que le bât blesse. Puisqu'ils doivent apprendre du passé, cela entraîne deux problèmes : premièrement, ils ne sont pas sensibles aux changements de la réalité tant qu'ils n'ont pas été à nouveau formés, et, deuxièmement, ils ne voient un individu que par rapport aux autres. Ils reproduisent donc ou amplifient par inadvertance des modèles historiques de préjugés. Cela se produit parce que les données d'entrée utilisées pour former les systèmes sont presque toujours faussées par des pratiques discriminatoires passées ou par la sous-représentation de membres de groupes marginalisés. Bien sûr, les êtres humains ne sont souvent pas non plus champions de la modification de leur comportement ou de leurs valeurs, mais contrairement aux algorithmes, nous ne sommes pas non plus connus pour nos prises de décision objectives.

Dans notre société, certaines personnes peuvent prendre l'ascenseur pour arriver au sommet, tandis que d'autres doivent prendre l'escalier. Imaginez Joe, dont les parents ont pu le placer dans une bonne école et qui a les bonnes relations, mais qui n'est pas la personne idéale pour le poste. Imaginez maintenant Jessica, une mère célibataire dont le CV présente quelques lacunes, mais qui est la personne idéale pour le poste. Alors qu'un humain serait, au moins théoriquement, capable d'évaluer individuellement les candidats lors d'un entretien d'embauche, un algorithme apprendrait à n'embaucher que les candidats arrivant par l'ascenseur. Cela prive les gens de la possibilité d’être maître de leur propre destin.

Dans un monde qui évolue constamment et dans lequel nous essayons collectivement de briser les stéréotypes nuisibles, la logique de la prise de décision algorithmique est contre-productive. Nous voulons tous être jugés sur nos propres actions, et non sur celles que notre "groupe d'appartenance" a faites avant nous.

Comment l’apprentissage de l’IA fonctionne-t-il dans la pratique ?

Vous voulez que votre modèle d'apprentissage automatique trouve pour vous le ou la meilleur.e candidat.e pour un poste donné. Vous ne dites pas à votre algorithme ce qui fait le candidat parfait, car vous n'en êtes peut-être pas sûr vous-même. Au lieu de cela, vous alimentez le modèle avec les CV d'anciens candidats que vous avez embauchés et vous marquez certains CV comme excellents (ceux que vous avez embauchés et dont les performances sont très bonnes), et d'autres avec des notes plus basses.

L’algorithme est-il susceptible de juger tous les candidats de manière équitable ?

Un outil de recrutement basé sur un algorithme chez Amazon a utilisé cette stratégie, et les résultats étaient moins que souhaitables. En 2015, des experts ont découvert que le nouveau moteur de recrutement d'Amazon était biaisé contre les femmes. L'outil expérimental d'IA d'embauche de l'entreprise classait les candidats à un emploi, en se basant sur le fait que leur CV ressemblait ou non à ceux soumis par les candidats retenus sur une période de 10 ans. Sans surprise, la plupart de ces CV provenaient d'hommes : la domination masculine dans le secteur de la technologie est bien documentée. En conséquence, le système d'IA d'Amazon a identifié une tendance selon laquelle les candidats jugés souhaitables par Amazon étaient des hommes. L'outil pénalisait les CV qui comprenaient le mot « femme » ou « féminin », comme dans « capitaine du club d'échecs féminin ».

La question importante à poser ici est la suivante : les outils d'embauche basés sur des algorithmes sont-ils pour autant pires que les employeurs ordinaires ? Après tout, il n'est pas rare que les employeurs prennent des décisions fondées sur des préjugés personnels. La réponse est oui, notamment en raison de ce que l'on appelle le "problème du contrôle". Les psychologues industriels et les ingénieurs qui étudient les opérateurs humains de machines complexes ont depuis longtemps identifié un danger particulier de la délégation de la responsabilité aux machines : les algorithmes génèrent une fausse impression d'objectivité, ce qui rend difficile la remise en question de leurs résultats.

Comment les algorithmes affectent-ils la société ?

Dans une démocratie, nous attendons des autorités telles que les tribunaux ou les banques qu'elles soient en mesure d'expliquer les décisions qu'elles ont prises. Si on nous refuse un prêt ou si on nous condamne à laa prison, nous avons le droit de savoir pourquoi. En comparaison, les PDA et la manière dont elles sont utilisés ne sont pas compatibles avec les normes démocratiques.

Un autre signal d'alarme est que les modèles complexes d'apprentissage automatique facilitent grandement la surveillance des humains. Il y a 30 ans, il était très difficile de suivre les mouvements d'une personne, mais aujourd'hui, ses smartphones peuvent donner toutes les informations nécessaires pour prédire où vous la trouverez à l'avenir. La surveillance de masse biométrique, qui rend possible l'identification des personnes dans la vie réelle, est de plus en plus inquiétante. C'est particulièrement dangereux pour les communautés marginalisées (pensez aux membres de la communauté LGBTI ou aux sans-papiers, par exemple) qui ont de bonnes raisons de craindre d'être identifiés dans certains endroits. Personne ne devrait avoir à craindre d'être poursuivi et de perdre son droit à la vie privée. Des gouvernements autoritaires ont été et sont toujours au pouvoir - de telles technologies entre leurs mains pourraient faire courir un grand risque aux gens et les empêcher d'exprimer leur désaccord, par exemple en participant à une manifestation.

Si la prise de décision algorithmique tient ses promesses - être plus objective et moins discriminatoire que les humains - elle pourrait avoir un grand potentiel. Malheureusement, les systèmes utilisant l'apprentissage automatique ont tendance à renforcer les préjugés humains, tout en passant plus facilement inaperçus. Les répercussions pour la discrimination des minorités, ainsi que pour la création d'une société plus égalitaire, sont troublantes. Avec la prolifération des systèmes de PDA, il est crucial de porter notre attention sur une réglementation prudente de ces technologies. Les technologies devraient être utilisées pour accroître la liberté et l'indépendance de chacun d'entre nous, et non pour les faire reculer.

Image credits:

Christina@wocintechchat.com / Unsplash