Systemy ADM oferują możliwość podejmowania decyzji niezależnych od ludzkiej stronniczości. Jednak w rzeczywistości dane wprowadzane do tych systemów są od początku zmanipulowane, co w efekcie prowadzi do dyskryminacyjnych tendencji w procesie uczenia się algorytmów. Więc zamiast zapobiegać dyskryminacji, prowadzą do jej pogłębiania w przypadku marginalizowanych już grup społecznych.

Istnieją dwa rodzaje algorytmów ADM podejmujących decyzje na nasz temat: maszyny z umiejętnością uczenia się i takie, które nie mają takich możliwości. Proces uczenia się w tym przypadku oznacza, że dany algorytm zmienia się w miarę nabierania doświadczenia. Oba te systemy mogą powodować różne problemy, ale w tym artykule skupimy się na systemach podejmujących decyzje w oparciu o "uczące się" algorytmy.

Jaki jest cel algorytmów podejmujących decyzje?

Stosowanie automatycznych systemów podejmowania decyzji uzasadniane jest zwiększeniem wydajności i wyeliminowanie czynnika ludzkich uprzedzeń. Na pierwszy rzut oka - brzmi świetnie. Wyobraźmy sobie, że ubiegamy się o kredyt - zależy nam, żeby nasz wniosek został rozpatrzony szybko i uczciwie. Niestety w praktyce rzadko jest tak kolorowo. Mimo że podaje się, że stosowanie ADM ma służyć bardziej obiektywnym procesom decyzyjnym, często głównym uzasadnieniem do ich stosowania jest oszczędność w kosztach i zasobach - za które to społeczeństwo płaci wysoką cenę.

Jak działają algorytmy podejmujące decyzje?

Podejmowanie decyzji przy wykorzystaniu algorytmów to w praktyce oddelegowanie obowiązku decydowania i implementowania decyzji maszynom. Aby było to możliwe, maszyny uczą się i wyciągają wnioski, rozpoznając pewne wzorce w zestawach dostarczonych do nich danych. Algorytmy mają sporą przewagą nad ludźmi, jeśli weźmiemy pod uwagę ich zdolność wykrywania korelacji - powtarzalnych wzorców czy związków przyczynowo-skutkowych - w ogromnych zbiorach danych.

Gdzie stosowane są algorytmy podejmowania decyzji?

Algorytmy stanowią już część naszej codzienności. Otaczająca nas rzeczywistość XXI wieku budowana jest przy wykorzystaniu algorytmów - od zarządzania mediami społecznościowymi po wykrywanie raka przy użyciu promieni rentgenowskich. Jednak to jedynie bardziej znane przykłady stosowania algorytmów - coraz częściej używane są w miejscach i kontekstach, w których się tego nie spodziewamy. Policja polega na algorytmach, aby decydować o prawdopodobieństwie popełnienia przestępstwa; firma, do której aplikujesz, wykorzystuje je do podjęcia decyzji, czy powinna cię zatrudnić, czy nie, a władze publiczne na ich podstawie podejmują decyzję, czy przydzielić cię do programów pomocy społecznej.

W pewnych przypadkach stosowanie algorytmów wspiera ludzi i poprawia jakość naszego życia, np. pomagając przepracowanym lekarzom po odbyciu 12-godzinnej zmiany diagnozować i wykrywać choroby. Niestety zbyt często algorytmy wcale nam nie służą. Najważniejszy w procesie podejmowania decyzji, które mają znaczący wpływ na życie danej osoby, jest obiektywizm. Jednak algorytmy bywają niestety odpowiedzialne za podejmowanie decyzji ewidentnie błędnych i/lub pogłębiających istniejące dyskryminacje.

Jakie niebezpieczeństwa niosą alogorytmy podejmujące decyzje?

Niektórzy uważają, że algorytmy są bardziej obiektywne niż ludzie, jeśli chodzi o podejmowanie decyzji, jednak niekoniecznie jest to prawda. Mimo że ich uprzedzenia są prawdopodobnie mniej utrwalone, systemy ADM mogą być nawet bardziej dyskryminujące niż ludzkie decyzje.

Chociaż takie błędy wydają się łatwe do naprawienia poprzez odpowiednie monitorowanie - zwane redukowanie stronniczości (debiasing) – ze względu na naturę sztucznej inteligencji skuteczne rozwiązania pozostają nieuchwytne. Ze względu na swoją trudną do zrozumienia naturę i ukryte mechanizmy, proces decyzyjny w wykonaniu sztucznej inteligencji (AI) pozostaje niejasny. W konsekwencji tego braku przejrzystości, samouczące się algorytmy zyskały przydomek „czarnych skrzynek AI”. Znaczącym nowym wyzwaniem spowodowanym przez te samouczące się mechanizmy jest więc ustalenie, kiedy i jak do ich procesów decyzyjnych wkrada się uprzedzenie.

W pewnym rozumieniu algorytmy są niezawodne - zawsze dają ten sam wynik dla dokładnie tego samego sygnału wejściowego (przynajmniej w przypadku tych systemów, które nie uczą się „na bieżąco”). Oczekuje się od nich, że będą zawsze podejmować obiektywne decyzje i nie mogą mieć złego dnia albo uprzedzeń.

Jak dotąd brzmi nie najgorzej. Jednak w praktyce oznacza to, że jeśli algorytmy dochodzą do fałszywych lub szkodliwych wniosków, to są one stale powielane. I właśnie to jest największym problemem. Skoro uczą się na przeszłych przypadkach, pojawiają się dwa problemy: po pierwsze, nie reagują na zmiany w rzeczywistości, dopóki ponownie się nie przeszkolą, a po drugie, są w stanie traktować jednostkę tylko w odniesieniu do innych, przez co nieumyślnie powielają lub wręcz pogłębiają istniejące stronnicze wzorce. Nic dziwnego - dane wykorzystywane do szkolenia systemów są prawie zawsze wypaczone ze względu na wcześniejsze praktyki dyskryminacyjne lub niedostateczną reprezentację członków grup zmarginalizowanych. Oczywiście, ludzie często mają problemy ze zmianami swojego zachowania lub podejścia, ale w przeciwieństwie do algorytmów, nikt nie spodziewa się po nas obiektywnych decyzji.

Żyjemy w społeczeństwach, w których niektórzy wjeżdżają na najwyższe piętro windą, podczas gdy inni muszą wchodzić schodami. Wyobraź sobie Janka, którego rodzice mogli wysłać go do dobrej szkoły i ma odpowiednie znajomości, ale nie nadaje się do pracy. A z drugiej strony mamy Małgosię, samotną matkę z kilkoma lukami w CV, która byłaby fantastyczna na tym stanowisku. Podczas gdy człowiek, przynajmniej teoretycznie, byłby w stanie ocenić kandydatów w trakcie rozmów kwalifikacyjnych, algorytm nauczyłby się zatrudniać jedynie osoby "przyjeżdżające windą". A to odbiera ludziom możliwość panowania nad własnym losem.

W świecie, który nieustannie się zmienia, a my wciąż staramy się przełamać szkodliwe stereotypy, logika podejmowania decyzji przez algorytm przynosi efekty przeciwne do zamierzonego. Wszyscy chcemy być oceniani na podstawie naszych własnych działań, a nie tych, które popełnili przedstawiciele grupy społecznej, do której zostaliśmy zaklasyfikowani.

Jak w praktyce działa sztuczna inteligencja?

Chcesz, aby twój algorytm zautomatyzowanego podejmowania decyzji znalazł dla ciebie najlepszego kandydata na dane stanowisko. Nie podajesz jednak, co czyni kandydata idealnym, bo sam nie masz co do tego pewności. Zamiast tego, wprowadzasz do systemu życiorysy byłych kandydatów, których zatrudniłeś, dodatkowo niektóre CV oznaczasz, jako doskonałe (pracowników, którzy osiągają dobre wyniki), a innym dajesz niższe oceny.

Czy wszyscy kandydaci zostaną faktycznie sprawiedliwie ocenieni?

Zbudowane na algorytmie narzędzie rekrutacyjne Amazona wykorzystało tę strategię i okazało się, że rezultaty były gorsze od oczekiwanych. W 2015 roku eksperci odkryli, że narzędzie to było stronnicze wobec kobiet. Eksperymentalny algorytm AI oceniał kandydatów porównując ich CV do życiorysów najlepszych pracowników z okresu ostatnich 10 lat. Męska dominacja w branży technologicznej jest szeroko znana: nie powinno nas więc dziwić, że większość z nich należała do mężczyzn. W efekcie system Amazona stworzył wzorzec, według którego najbardziej pożądanymi kandydatami byli mężczyźni. Narzędzie niżej oceniało CV, które zawierało słowo "kobiecy", jak np. "kapitan kobiecego klubu szachowego".

Nasuwa się ważne pytanie: czy oznacza to, że zautomatyzowane narzędzie rekrutacyjne jest gorsze od ludzkiego rekrutera? W końcu pracodawcy często podejmują decyzje w oparcie o osobiste uprzedzenia. Odpowiedź brzmi "tak, są gorsze", choćby ze względu na tzw. "problem kontroli." Psychologowie przemysłowi i inżynierowie badający operatorów skomplikowanych maszyn od dawna już szczególnie wskazywali na ryzyko związane z oddelegowaniem odpowiedzialności na maszyny: algorytmy tworzą fałszywe wrażenie nieomylności i obiektywności, co utrudnia kwestionowanie ich decyzji.

Jak algorytmy wpływają na społeczeństwo?

W demokracji oczekujemy od urzędów takich jak sądy czy banki zdolności wyjaśnienia podejmowanych decyzji. Jeśli odmówiono nam udzielenia kredytu lub wysłano do więzienia, mamy prawo wiedzieć dlaczego. Dla porównania, automatyczne systemy ADM i ich wykorzystanie nie jest zgodne z demokratycznymi standardami.

Kolejnym sygnałem ostrzegawczym jest fakt, że złożone systemy uczenia się maszyn znacznie ułatwiają nadzór nad ludźmi. 30 lat temu o wiele trudniej było śledzić czyjeś ruchy, a teraz na podstawie informacji z ich smartfonów możemy przewidzieć ich przyszłe posunięcia. Coraz bardziej niepokojący jest biometryczny nadzór masowy umożliwiający identyfikację ludzi w prawdziwym życiu. Jest to szczególnie niebezpieczne dla społeczności zmarginalizowanych (pomyśl na przykład o członkach społeczności LGBTI lub osobach nieposiadających dokumentów), które mają uzasadnione powody obaw przed identyfikacją w pewnych miejscach. Nikt nie powinien musieć bać się prześladowania czy utraty prywatności. Rządy autorytarne były i nadal są u władzy – takie technologie w ich rękach mogą stanowić ogromne zagrożenie dla ludzi i uniemożliwić im wyrażanie sprzeciwu, np. poprzez udział w proteście.

Wnioski

Gdyby algorytmiczne systemy podejmowania decyzji były w stanie wywiązać się ze swoich obietnic - byłyby bardziej obiektywne i mniej dyskryminujące niż ludzie - miałyby ogromny potencjał. Niestety, systemy te mają tendencje do wzmacniania ludzkich uprzedzeń, a jednocześnie ciężej je wykryć. Niepokój budzą konsekwencje, jakie mogą mieć na dyskryminację mniejszości oraz tworzenie bardziej równego społeczeństwa. Podczas gdy systemy ADM się rozrastają, kluczowe jest, abyśmy skupili naszą uwagę na stworzenie starannych przepisów regulujących je. Technologie powinny być wykorzystywane do zwiększania wolności i niezależności każdego z nas, a nie do ograniczania ich.

Photo:

Christina@wocintechchat.com / Unsplash