Hannah Fry: „Hello World…” – poznaj świat algorytmów
Kiedy myślisz o sztucznej inteligencji, co widzisz? Wizje jak z gry „Cyberpunk 2077”, postapokaliptycznego „Fallouta”, a może obrazy z kultowego filmu „Łowca androidów”. W rzeczywistości sztuczna inteligencja jest tu i teraz – w Twoim smartfonie, nawigacji, pralce i lodówce.
Kiedy przeglądasz pozycje na Netflixie, algorytm podsuwa Ci te, które potencjalnie mogą Ci się spodobać. Gdy sprzedawca wysyła Ci ankietę z prośbą o informację zwrotną dotyczącą zakupionych rzeczy, bot analizuje Twoje odpowiedzi. Sztuczna inteligencja wykorzystywana jest w tak wielu dziedzinach życia – od rozrywki przez medycynę, a nawet sądownictwo – że warto wiedzieć jak, przez kogo i w jakim celu jest używana.
Może to przybliżyć książka Hannah Fry „Hello world. Jak być człowiekiem w epoce maszyn”. Autorka jest naukowcem, matematyczką i popularyzatorką nauki. Potrafi kodować, a jednocześnie zręcznie analizuje zachodzące zmiany społeczne pod wpływem użycia SI. Krytycznie patrzy na sztuczną inteligencję, ale opisuje też budujące i pozytywne sposoby jej użycia. Książka jest wręcz naszpikowana przykładami zastosowania algorytmów w życiu codziennym. Czyta się to jak dobry kryminał.
Poniżej kilka fragmentów książki, które przybliżą Ci świat algorytmów. Pierwszy dotyczy odzwierciedlania przez algorytmy naszej rzeczywistości i odtwarzania historycznych nierówności.
Mam nadzieję, że fragmenty książki zachęcą Cię do sięgnięcia po tę pozycję, która jest dobrym wprowadzeniem w świat sztucznej inteligencji.
Marta Stępniak
Wydawnictwu Literackiemu dziękujemy za udostępnienie fragmentu do publikacji. Zachęcamy do lektury całej książki.
[…]
Wrzuć do wyszukiwarki Google’a wyrażenie „profesor matematyki”. Nie zdziwi cię zapewne, że ogromna większość zdjęć dla tego hasła będzie pokazywać panów w średnim wieku stojących przy zapisanej tablicy. Kiedy ja przeprowadziłam ten test, znalazłam w pierwszej dwudziestce obrazów tylko jedną kobietę, co — przyznaję ze smutkiem — stanowi dokładne odzwierciedlenie naszej rzeczywistości: około 94 procent profesorów matematyki to mężczyźni[40].
Jednak bez względu na to, jak trafne będą wyniki internetowych wyszukiwań, można by się spierać, czy tworzenie z algorytmów luster wiernie ukazujących nasz dzisiejszy świat jest takie dobre — zwłaszcza gdy lustro odzwierciedla stan rzeczy będący wyłącznie rezultatem stuleci uprzedzeń.
Google mógłby więc pójść inną drogą i subtelnie podkręcić swój algorytm, żeby pokazując zdjęcia profesorów matematyki, dawać pierwszeństwo zdjęciom kobiet i osób o kolorze skóry innym niż biały — żeby bardziej zrównoważyć szale i pokazywać nam raczej takie społeczeństwo, do jakiego dążymy, niż to, w którym obecnie żyjemy.
[…]
Sztuczna inteligencja kontra naturalna głupota
W 2012 roku pewna liczba osób niepełnosprawnych z Idaho otrzymała informację o planowanych ograniczeniach dostępu do programu Medicaid[22]. Mimo że wszyscy zostali zakwalifikowani do otrzymania federalnej pomocy medycznej, władze stanu — bez ostrzeżenia — zdecydowały się na ograniczenie ich świadczeń aż o 30 procent[23], zmuszając pacjentów do samodzielnego szukania środków na pokrycie kosztów leczenia. Nie była to decyzja polityczna; był to efekt wdrożenia przez Departament Zdrowia i Pomocy Socjalnej stanu Idaho nowego „instrumentu budżetowego” — programu komputerowego do obliczania wysokości świadczeń dla beneficjentów programu Medicaid[24].
Problem z „instrumentem budżetowym” był taki, że jego decyzje okazały się zupełnie bezsensowne. Zdaniem postronnych obserwatorów wyliczane przez niego kwoty wyglądały na wzięte z sufitu.
Niektórym świadczeniobiorcom przyznano więcej środków niż w poprzednich latach, inni znów stwierdzali, że ich roczny budżet został obcięty o dziesiątki tysięcy dolarów, co groziło eksmisją i koniecznością szukania sobie miejsca w domu pomocy społecznej[25].
Mieszkańcy Idaho nie mogli zrozumieć, dlaczego niektóre ich świadczenia zostały cofnięte, i nie chcąc się pogodzić z taką decyzją, zwrócili się o pomoc do Amerykańskiej Unii Wolności Obywatelskich (ACLU). Ich sprawą zajął się Richard Eppink, dyrektor prawny wydziału Unii w Idaho[26], który napisał o tym w swoim blogu w 2017 roku: „Sądziłem, że sprawa zakończy się wysłaniem prostego zapytania do władz stanowych: «Dobra, powiedzcie nam, dlaczego te kwoty tak bardzo spadły?»[27]. W rzeczywistości potrzeba było aż czterech lat i pozwu zbiorowego podpisanego przez cztery tysiące osób, żeby w końcu ustalić, co się wydarzyło”[28].
Eppink ze swoim zespołem zaczął od pytań o szczegóły działania algorytmu, lecz strona Medicaid odmówiła wyjaśnień na temat metody wyliczania świadczeń, argumentując, że służący do tego program stanowi tajemnicę handlową i dlatego nie może zostać poddany analizie[29]. Na szczęście sędzia prowadzący rozprawę oddalił sprzeciw i strona stanowa przekazała do analizy swój instrument budżetowy, któremu dała taką władzę nad obywatelami. Okazało się, że nie był to wcale bardzo skomplikowany, inteligentny program bazujący na dogłębnie przemyślanym modelu matematycznym, lecz zwykły arkusz kalkulacyjny Excela[30].
Obliczenia arkusza opierały się podobno na precedensach, program był jednak obarczony tak poważnymi wadami i błędami, że uznano go niemal w całości za kompletnie bezużyteczny[31]. Co gorsza, kiedy zespół ACLU przeanalizował formuły arkusza, stwierdził „fundamentalne błędy statystyczne w samej strukturze programu”. Instrument budżetowy na podstawie ogromnej bazy danych świadczeniobiorców generował najzupełniej przypadkowe wyniki. Algorytm — jeżeli można to coś w ogóle nazwać tym słowem — okazał się tak kiepski, że sąd ostatecznie uznał jego użycie za niekonstytucyjne[32].
Biegną tutaj równolegle dwa wątki ludzkiej omylności. Po pierwsze, ktoś musiał stworzyć ten beznadziejny arkusz kalkulacyjny, i po drugie — musieli znaleźć się naiwni, którzy uwierzyli w jego możliwości.
„Algorytm” był w istocie spartaczoną robotą człowieka opakowaną w kod komputerowy. Dlaczego więc władze stanu Idaho tak zaciekle broniły czegoś tak beznadziejnego?
Oto fragment przemyśleń Eppinka: „Wszystko przez to, że nie kwestionujemy wyników przepuszczonych przez komputer. Kiedy maszyna coś generuje (…) po prostu wierzymy na ślepo formule i nie pytamy: Ale zaraz, jak to faktycznie działa?”[33].
Wiem, że branie pod lupę formuł matematycznych, żeby sprawdzić, jak działają, jest bardzo rzadkim hobby (wiem, bo to akurat mój konik), niemniej Eppink podnosi nadzwyczaj ważną kwestię: zwraca uwagę na naszą gotowość do brania algorytmów na wiarę, bez żadnego zainteresowania tym, co się dzieje za kulisami.
[…]
Kiedy zawetować decyzję komputera
Rosyjski oficer Stanisław Pietrow odpowiadał za monitorowanie systemu wczesnego ostrzegania dla radzieckiej strefy powietrznej. W razie gdyby komputer zarejestrował cokolwiek mogącego wskazywać na atak ze strony Amerykanów, Pietrow miał natychmiast zaalarmować swoich przełożonych[34].
Pietrow był na służbie 26 września 1983 roku, kiedy tuż po północy zawyły syreny alarmowe. Tego sygnału bali się wszyscy. Radzieckie satelity wykryły nieprzyjacielski pocisk zmierzający w stronę terytorium ZSRR. Na ówczesnym, mrocznym etapie zimnej wojny uderzenie Amerykanów było jak najbardziej prawdopodobne, Pietrow jednak się zawahał; nie miał pewności, czy może zaufać algorytmowi. Komputery wykryły zaledwie pięć pocisków — irracjonalnie skromną salwę, jak na amerykański atak atomowy[35].
Pietrow zamarł w fotelu. Wszystko było teraz w jego rękach: zgłosić alarm i niemal na pewno rozpętać światową wojnę nuklearną albo zignorować protokół i czekać ze świadomością, że z każdą upływającą sekundą ZSRR ma coraz mniejsze szanse na skuteczny kontratak.
Na szczęście dla nas wszystkich Pietrow wybrał to drugie. Nie mógł wiedzieć na pewno, że alarm jest fałszywy, lecz po dwudziestu trzech minutach — musiały być dla niego prawdziwą wiecznością — kiedy stało się jasne, że na rosyjską ziemię nie spadła żadna rakieta z głowicą jądrową, mógł odetchnąć z ulgą, że postąpił słusznie. Algorytm się pomylił. Gdyby system działał całkowicie autonomicznie, bez nadzoru człowieka, nasza historia bez wątpienia potoczyłaby się inaczej. ZSRR z pewnością wystrzeliłby rakiety i wierząc, że odpowiada na amerykańską agresję, rozpętałby totalną wojnę nuklearną. Jeśli można z tej historii wyciągnąć jakąś naukę, to brzmi ona tak: element ludzki musi stanowić integralną część całego procesu; ustanowienie kontrolera z prawem weta, władnego oceniać sugestie algorytmu przed podjęciem ostatecznej decyzji, to jedyny sensowny sposób na uniknięcie katastrofalnych błędów.
Ostatecznie tylko człowiek będzie odczuwał ciężar odpowiedzialności za własne decyzje. Algorytm obarczony zadaniem zaalarmowania Kremla o zbliżającym się ataku nuklearnym nie pomyślałby nawet przez sekundę o potencjalnych skutkach swojej decyzji.
A Pietrow? „Doskonale wiedziałem, że jeśli się pomylę, już nikt nie będzie w stanie naprawić mojego błędu”[36].
Z tą konkluzją jest jednak pewien mały problem — ludziom także nie zawsze można zaufać. Czasami, tak jak Pietrow, słusznie postąpią, ignorując algorytm. Częściej jednak najlepiej jest dla nas, kiedy ignorujemy podszepty intuicji.
Posłużę się innym przykładem ze świata zabezpieczeń. To na szczęście bardzo rzadka historia — człowieka, który zdecydował się nie posłuchać algorytmu, bo takie właśnie było podłoże słynnej tragedii kolejki górskiej Smiler w Alton Towers, największym parku rozrywki w Wielkiej Brytanii[37].
W czerwcu 2015 roku do parku wezwano z powodu awarii kolejki dwóch mechaników, którzy po naprawieniu usterki wysłali pusty skład na próbną jazdę — nie zorientowali się jednak, że wagoniki nie wróciły do punktu startu. Z niewyjaśnionych przyczyn pusty skład stoczył się po pochyłości i zatrzymał na trasie kolejki.
W tym czasie, o czym mechanicy nie wiedzieli, rosnące kolejki spowodowały, że obsługa Smilera podstawiła dodatkowy skład. I kiedy dostała ze sterowni zgodę na start, zaczęła wpuszczać rozradowanych pasażerów do wagoników i zapinać im pasy — zupełnie nieświadoma tego, że nieco dalej na torze stoi zapomniany pusty skład wysłany na próbną jazdę przez mechaników.
Na szczęście projektanci toru przewidzieli podobną sytuację i algorytmy bezpieczeństwa zadziałały dokładnie tak, jak zostały zaprogramowane. Aby uniknąć nieuchronnej kolizji, komputer zatrzymał skład z pasażerami przed szczytem pierwszego podjazdu i uruchomił alarm w sterowni. Mechanicy jednak — przekonani, że naprawili usterkę — uznali ów automatyczny alarm za wynik błędu w systemie.
Obejście zabezpieczeń rollercoastera nie jest łatwe: dwie osoby muszą jednocześnie wcisnąć przycisk restartu. Wypełniony do ostatniego miejsca skład ruszył więc w dół toru, by po chwili zderzyć się ze stojącą na drodze przeszkodą. Skutki były tragiczne. Kilkanaście osób odniosło ciężkie obrażenia, a dwóm nastolatkom amputowano nogę.
Oba scenariusze balansowania na granicy życia i śmierci — Alton Towers i alarm Pietrowa — dobitnie ilustrują dylemat o znacznie głębszym znaczeniu. Do kogo — czy może: czego? — powinno należeć ostatnie słowo w tym sporze człowieka i algorytmu o kompetencje?
[…]
Dziecko firmy
Wśród pilotów Air France Pierre-Cédric Bonin był znany jako„dziecko firmy”[40]. Zaczął pracować jako pilot ze skromniutkim nalotem kilkuset godzin, w wieku zaledwie 26 lat, i dorastał razem z francuskimi Airbusami. Kiedy sześć lat później wchodził na pokład samolotu obsługującego feralny lot AF447, miał już wylataną imponującą liczbę 2936 godzin, ale nadal był najmniej doświadczonym z trzech pilotów załogi[41].
Niemniej to właśnie Bonin siedział za sterami, kiedy 31 maja 2009 roku samolot oderwał się od pasa startowego międzynarodowego lotniska Rio de Janeiro-Galeão i wziął kurs na Paryż[42].
Był to Airbus A330, jeden z najbardziej zaawansowanych technicznie samolotów, jakie kiedykolwiek wyprodukowano dla lotnictwa cywilnego. Autopilot w tych maszynach jest praktycznie bezobsługowy i może sterować samolotem przez cały czas z wyjątkiem startu i lądowania. I nawet wówczas kiedy za sterami siedzi człowiek, szereg zabezpieczeń minimalizuje ryzyko popełnienia błędu.
Skonstruowanie zautomatyzowanego systemu zdolnego bezpiecznie rozwiązać dosłownie każdy problem, który potrafią przewidzieć jego projektanci, tworzy jednak niejawne zagrożenie. Jeśli rola pilota ogranicza się do przejmowania sterów wyłącznie w sytuacjach wyjątkowych, człowiek przestaje ćwiczyć umiejętności i nawyki niezbędne do bezpiecznego pilotowania samolotu bez pomocy komputerów. Nie nabywa więc doświadczenia, z którego mógłby skorzystać w razie wystąpienia nieoczekiwanego zagrożenia.
Taki był właśnie przypadek lotu AF447. Mimo że Bonin nalatał tysiące godzin w kokpicie Airbusa, jego realne doświadczenie w samodzielnym pilotowaniu A330 było znikome. Jego praca sprowadzała się zasadniczo do monitorowania systemu automatycznego. Kiedy więc akurat tego dnia autopilot się wyłączył, Bonin po prostu nie umiał bezpiecznie sterować maszyną[43].
Kłopoty zaczęły się od tego, że czujniki prędkości zaczęły zamarzać; autopilot przestał odbierać informacje o prędkości lotu, włączył więc alarm w kokpicie i przekazał stery człowiekowi. To jeszcze nie było powodem do zmartwienia, kiedy jednak później samolot wpadł w strefę niewielkich turbulencji, niedoświadczony Bonin zareagował zbyt gwałtownie: przy nieznacznym przechyle maszyny w prawo chwycił drążek sterowy i odchylił go w lewo. Najgorsze jednak, że jednocześnie pociągnął go do siebie, rozpoczynając gwałtowny manewr wznoszenia[44].
Bonin dalej kurczowo trzymał drążek, samolot wzbijał się w rzednącej atmosferze, aż w końcu dziób maszyny znalazł się tak wysoko, że skrzydła zamiast ciąć powietrze, zaczęły działać jak hamulce; siła nośna drastycznie zmalała i wychylony w górę samolot zaczął spadać z nieba jak kamień.
W kokpicie rozległ się kolejny alarm. Wybudzony z drzemki kapitan wybiegł z kabiny odpoczynku. AF447 spadał do oceanu, tracąc wysokość w tempie 3200 metrów na minutę.
Czujniki prędkości tymczasem odmarzły, nie było żadnej usterki mechanicznej, do oceanu było jeszcze daleko i sytuację można było opanować. Bonin i drugi pilot w kokpicie mogli bez trudu uratować wszystkich pasażerów i całą załogę w 10–15 sekund — wystarczyło wychylić drążek sterowy w przód, żeby opuścić nos maszyny i przywrócić swobodny przepływ powietrza nad i pod skrzydłami[45].
Spanikowany Bonin nadal jednak ciągnął drążek do siebie — ani on, ani jego kolega w kokpicie nie zdawał sobie sprawy, że to właśnie jest powodem spadania samolotu. Uciekały cenne sekundy. Kapitan zasugerował wyrównanie skrzydeł. Po krótkiej wymianie opinii, czy już się wznoszą, czy jeszcze spadają, na wysokości 2560 metrów nad poziomem morza stery przejął drugi pilot[46].
„W górę! W górę! W górę!”, słychać krzyk drugiego pilota.
„Przecież cały czas ciągnąłem drążek do siebie!”, odkrzyknął Bonin.
Dopiero wtedy kapitan zrozumiał, co się dzieje — że od trzech minut spadają w stanie przeciągnięcia — i kazał im natychmiast opuścić dziób samolotu. Na to było już jednak za późno, znajdowali się tragicznie nisko. Bonin krzyknął: „Kurwa, rozbijemy się! To niemożliwe!”[47]. Kilka chwil później samolot zderzył się z wodą. Zginęli wszyscy, 228 osób.
[…]
Paradoksy automatyki
W 1983 roku, dwadzieścia sześć lat przed katastrofą samolotu Air France, psycholożka Lisanne Bainbridge napisała głośny esej o niejawnych zagrożeniach wynikających z zbytniego polegania na systemach zautomatyzowanych[48].
Skonstruuj maszynę poprawiającą sprawność człowieka — dowodziła autorka — a paradoksalnie skończy się na tym, że ograniczysz ludzkie możliwości.
[…]
Profilowanie a etyka
Kiedy Heidi Waterhouse straciła długo oczekiwaną ciążę[11], anulowała subskrypcje wszystkich cotygodniowych e-maili, które informowały ją o tym, jak się rozwija jej dziecko i jaki owoc odpowiada teraz wielkości płodu. Wypisała się ze wszystkich list mailingowych i prezentowych, na które się zapisała, nie mogąc się już doczekać daty rozwiązania. Niemniej — jak powiedziała na konferencji deweloperów w 2018 roku — nie było na Ziemi takiej siły, która zdołałaby uwolnić ją od reklam ciążowych atakujących ją w sieci dosłownie wszędzie. Jej cyfrowy cień żył w internecie własnym życiem, bez matki i dziecka. „Ludzie, którzy stworzyli ten system, nie wzięli takiej ewentualności w ogóle pod uwagę”, powiedziała.
Czy to przez ludzką nieuwagę, czy wskutek celowego działania system rzeczywiście nader chętnie wyzyskuje luki w zabezpieczeniach. Firmy udzielające krótkoterminowych pożyczek mogą go wykorzystywać do identyfikowania klientów ze złą historią kredytową; reklamy zakładów sportowych mogą być kierowane bezpośrednio do regularnych użytkowników portali hazardowych. Istnieją też obawy, że tego rodzaju profilowanie można wykorzystywać przeciw obywatelom, bo przecież na przykład entuzjaści sportów motocyklowych mogą zostać uznani za osoby mające bardzo niebezpieczne hobby, a miłośnicy bezcukrowych słodyczy zostaną zaszufladkowani jako diabetycy i w rezultacie towarzystwa ubezpieczeniowe odmówią im polisy. Analiza z 2015 roku wykazała, że Google podsuwa kobietom znacznie mniej reklam ofert pracy najwyżej opłacanych na stanowiskach dyrektorskich niż mężczyznom[12]. Kiedy pewnego razu afroamerykańska profesor Harvardu zauważyła, że wpisanie jej nazwiska do okienka przeglądarki skutkuje tym, iż Google zaczyna jej serwować reklamy skierowane do osób z przeszłością kryminalną (co doprowadziło do tego, że profesor Harvardu musiała udowodnić swojemu potencjalnemu pracodawcy, iż nigdy nie miała do czynienia z policją), postanowiła przeanalizować zawartość reklam kierowanych w sieci do przedstawicieli różnych grup etnicznych. I wyszło jej, że prawdopodobieństwo powiązania wyników wyszukiwania z ogłoszeniami zawierającymi słowa z rdzeniem „areszt” (na przykład „Czy byłeś kiedyś aresztowany?”) jest nieproporcjonalnie wyższe dla nazwisk „czarnych” niż dla nazwisk „białych”[13].
Stosowanie tych metod nie ogranicza się do brokerów danych. Nie ma prawie różnicy między sposobem ich działania a funkcjonowaniem Google’a, Facebooka, Instagramu i Twittera; te internetowe mocarstwa nie zarabiają na kontach swoich użytkowników — ich modele biznesowe są rozwinięciem idei mikrotargetingu. Firmy te to w rzeczywistości gigantyczne silniki dystrybucji reklam, które zarabiają ogromne pieniądze na tym, że użytkownicy stworzonych przez nie portali społecznościowych aktywnie z nich korzystają, co chwila w coś klikając, żeby przeczytać sponsorowany post albo obejrzeć sponsorowany film czy sponsorowane zdjęcie. Bez względu na to, gdzie się w internecie obracasz, masz pewność, że w głębokim cieniu czają się dyskretne algorytmy, które bez twojej wiedzy i zgody operują informacjami o tobie. Algorytmy, dla których twoje najbardziej osobiste, intymne sekrety są wyłącznie towarem na sprzedaż.
