M. Suleyman, M. Bhaskar: Nadchodząca fala…
Nadchodząca fala to fascynująca, znakomicie napisana i ważna książka. Rozpatruje egzystencjalne zagrożenia, jakie sztuczna inteligencja i biotechnologia stwarzają dla ludzkości, a zarazem proponuje praktyczne rozwiązania na rzecz zażegnania niebezpieczeństwa. Nadchodząca fala technologiczna niesie obietnicę obdarzenia ludzkości boską mocą kreacji, ale jeśli nie będziemy nią mądrze dysponować, może nas zniszczyć – Yuval Noah Harari (z materiałów wydawcy).
Wydawnictwu Otwarte dziękujemy za udostępnienie fragmentu do publikacji. Zachęcamy do lektury całej książki.
Rozdział 1
Powstrzymanie technologii jest niemożliwe
Fala
W niemal każdej kulturze spotykamy mit o potopie.
W starożytnych tekstach hinduskich protoplasta ludzkiego rodu Manu zostaje ostrzeżony przed nadciągającym potopem i dzięki temu jako jedyny uchodzi z życiem. W Eposie o Gilgameszu jest mowa o bogu Enlilu, który zniszczył świat, zsyłając katastrofalną powódź, a historia ta przemówi do wyobraźni każdego, kto zna starotestamentową opowieść o arce Noego. Platon opowiadał o zaginionej Atlantydzie, zatopionej przez masy rwącej wody. W przekazach ustnych ludzkości i w starożytnych tekstach przewija się wspomnienie gigantycznej fali, która zmiata wszystko na swojej drodze, przynosząc przeobrażenie i odrodzenie świata.
Powodzie są częścią historii także w sposób odczuwalny fizycznie – weźmy sezonowe wylewy wielkich rzek świata, podnoszenie się poziomu oceanów u kresu epoki lodowcowej, straszliwe tsunami pojawiające się bez ostrzeżenia na horyzoncie. Asteroida, która spowodowała wyginięcie dinozaurów, Nadchodząca fala wywołała wysoką na półtora kilometra falę, co zmieniło bieg ewolucji. Niszczycielski ogrom tych potopów odcisnął w naszej zbiorowej świadomości wizje gigantycznych ścian rozszalałej, dzikiej, niepowstrzymanej wody. To jedna z najpotężniejszych sił na naszej planecie – kształtuje kontynenty, podtrzymuje uprawy, napędza rozwój cywilizacji.
Nie mniejszą moc transformowania świata miały fale innego rodzaju. Przyjrzyjmy się raz jeszcze biegowi dziejów, a przekonamy się, że wyznacza go seria fal metaforycznych: wzrosty i upadki imperiów i religii czy też obserwowany w różnych miejscach rozkwit handlu. Pomyślmy o chrześcijaństwie lub islamie, religiach, które z początku były drobnymi zmarszczkami na tafli wody, ale z czasem urosły do ogromnych rozmiarów i rozlały się do odległych zakątków Ziemi. Takie fale są stale powtarzającym się motywem, ilustrującym zmienne koleje historii, przełomowe walki o władzę oraz okresy gospodarczego ożywienia bądź regresu.
Rozwój i ekspansja technologii również następowały falami, które przekształcały świat. Jeden zasadniczy trend nie zmienił się od chwili, kiedy nasz gatunek opanował ogień i wynalazł narzędzia kamienne, czyli pierwsze technologie.
Niemal każda przełomowa technologia, jaką kiedykolwiek wynaleziono – odczekana, pługa i garncarstwa po fotografię, telefony i samoloty – podlega jednemu, na pozór niezmiennemu prawu: z czasem staje się coraz tańsza i łatwiejsza w użyciu i ostatecznie ogarnia swoim zasięgiem ogromny obszar.
To skokowe, następujące falami, rozprzestrzenianie się technologii jest opowieścią o homo technologicus – zwierzęciu technologicznym. Dążenie ludzkości do postępu – ulepszania siebie samej i poprawy swojego losu, poszerzania swoich umiejętności i wpływu na środowisko – napędza ustawiczny rozwój idei i nowatorstwa. Wynalazczość to nieustający, szeroko zakrojony, oddolny i spontaniczny proces podtrzymywany przez samoorganizujących się i rywalizujących ze sobą wynalazców, naukowców, przedsiębiorców i liderów, z których każdy śmiało próbuje urzeczywistnić własne cele. Ten ekosystem wynalazczości jest z zasady ukierunkowany na ekspansję – to tkwi w samej naturze technologii.
Pytanie brzmi: co dalej? W kolejnych rozdziałach przedstawię opowieść o następnej wielkiej fali historii.
Rozejrzyjcie się wokół siebie.
Co widzicie? Meble? Budynki? Telefony? Jedzenie? Park w stylu angielskim? Niemal każdy obiekt znajdujący się w zasięgu naszego wzroku najprawdopodobniej został stworzony lub przetworzony za sprawą ludzkiej inteligencji. Kolejnym wytworem, a zarazem siłą napędową, naszej inteligencji jest język – fundament naszych interakcji społecznych, naszych kultur, naszych organizacji politycznych i być może też istota naszego człowieczeństwa. Każda zasada i pojęcie abstrakcyjne, najmniejszy nawet twórczy wysiłek lub przedsięwzięcie, każde spotkanie w naszym życiu – wszystko to jest zapośredniczone przez właściwą naszemu gatunkowi niepowtarzalną i nieskończenie złożoną zdolność do używania wyobraźni, kreatywności i rozumowania. Ludzka pomysłowość jest czymś zdumiewającym.
Tylko jedna siła występuje równie powszechnie: życie biologiczne. Przed epoką nowożytną, z wyjątkiem niektórych kamieni i minerałów, większość wytworów ludzkich rąk – od drewnianych domów przez bawełniany przyodziewek po węglowe paleniska – wzięła się z surowców, które wcześniej były częściami żywych organizmów. Wszystko, co od tamtego czasu pojawiło się na świecie, wypływa z nas, wypływa z faktu, że jesteśmy istotami biologicznymi.
Nie będzie przesadą stwierdzenie, że cały ludzki świat jest zależny czy to od systemów żywych, czy też od naszej inteligencji. Dziś jednak i owe systemy, i nasza inteligencja znajdują się w bezprecedensowym momencie gwałtownych innowacji i wstrząsów, niespotykanego wcześniej wzrostu, który odmieni niemal wszystko, co znamy.
Wokół nas wznosi się z impetem nowa fala technologii, uwalniająca moc tworzenia tych dwóch uniwersalnych fundamentów: inteligencji i życia.
Tę nadciągającą falę określają dwie zasadnicze technologie: sztuczna inteligencja (AI) i biologia syntetyczna. Przyniosą one ludzkości nowy początek, tworząc niespotykane wcześniej bogactwo i nadwyżki. Ich błyskawiczne rozpowszechnianie się może jednak wyzwolić potężne moce i dać je do ręki wszelkiej maści aktorom o niekoniecznie dobrych intencjach, którzy mogą wywołać zamęt, niestabilność, a nawet katastrofę na niewyobrażalną skalę. Owa fala stanowi niebagatelne wyzwanie, które zaważy na biegu XXI wieku: nasza przyszłość w takim samym stopniu zależy od tych technologii, w jakim jest przez nie zagrożona.
Z dzisiejszego punktu widzenia wydaje się, że zahamowanie tej fali, czyli wzięcie jej w ryzy, opanowanie, a nawet powstrzymanie, jest niemożliwe. W książce tej spróbuję wyjaśnić, dlaczego powyższe stwierdzenie może być prawdziwe i co za sobą pociąga. Implikacje tych pytań prędzej czy później będą miały wpływ na wszystkich mieszkańców Ziemi i na każde następne pokolenie.
Uważam, że nadchodząca fala technologii prowadzi historię ludzkości do punktu zwrotnego. Jeśli jej powstrzymanie okaże się niemożliwe, konsekwencje dla naszego gatunku będą dramatyczne, a nawet być może tragiczne. Zarazem jednak bez jej dobrodziejstw jesteśmy słabi i bezbronni.
W ciągu ostatniej dekady argument ten wysuwałem po wielekroć przy drzwiach zamkniętych, ale że potencjalne skutki tej zmiany coraz trudniej ignorować, nadszedł czas, abym wyłożył sprawę na forum publicznym.
[…]
Dylemat
[…]
Lecz obok wszystkich tych korzyści sztuczna inteligencja, biologia syntetyczna i inne postacie zaawansowanej technologii stwarzają pewne wysoce niepokojące ryzyka.
Mogą stanowić egzystencjalne zagrożenie dla państw narodowych – tak poważne, że istnieje niebezpieczeństwo zachwiania, a nawet zburzenia ustalonego ładu geopolitycznego.
Uchylają furtkę potężnym, wspomaganym AI cyberatakom, zautomatyzowanym wojnom, które mogą obracać w ruinę całe państwa, sztucznie wywoływanym pandemiom, torując drogę światu podlegającemu niewytłumaczalnym, acz pozornie wszechmocnym siłom. Choć prawdopodobieństwo wystąpienia każdego z tych scenariuszy jest niewielkie, potencjalne konsekwencje są ogromne. Nawet znikome ryzyko ziszczenia się takiego czy innego scenariusza domaga się pilnej uwagi.
Niektóre kraje zareagują na możliwość wystąpienia takich katastrofalnych zagrożeń, sięgając po wspomagany technologią autorytaryzm i usiłując spowolnić rozprzestrzenianie się tych nowych sił. Będzie to wymagało szeroko zakrojonego nadzoru oraz masowej ingerencji w nasze życie prywatne. Trzymanie w ryzach technologii może stać się częścią bardziej ogólnego dążenia do permanentnej inwigilacji wszystkiego i wszystkich w dystopijnym globalnym systemie nadzoru, uzasadnianym potrzebą ochrony państw przed jej potencjalnie najbardziej katastrofalnymi skutkami.
Równie prawdopodobna jest reakcja w duchu luddystów*. Pojawią się zakazy, bojkoty i moratoria. Czy powstrzymanie się od rozwijania nowych technologii i wprowadzenie szeregu moratoriów jest w ogóle możliwe? Perspektywa ta wydaje się mało prawdopodobna. Wobec ogromnej wartości geostrategicznej i handlowej przełomów technologicznych trudno sobie wyobrazić, w jaki sposób państwa narodowe bądź korporacje dałyby się namówić na jednostronną rezygnację ze stwarzanych przez nie potężnych możliwości przeobrażania świata. Mało tego – próba zakazania rozwoju nowych technologii sama w sobie niesie ryzyko: historia pokazuje, że społeczeństwa pogrążone w technologicznej stagnacji są niestabilne i narażone na upadek i ostatecznie stają się niezdolne do postępu i rozwiązywania problemów.
Od teraz zarówno rozwijanie nowych technologii, jak i zaniechanie takiego działania jest obarczone ogromnym ryzykiem. Szanse na dreptanie „trzecią drogą”, lawirowanie między jednym a drugim scenariuszem – między technoautorytarną dystopią a katastrofą wywołaną otwartością na te nowe przełomy – maleją, w miarę jak technologia staje się tańsza, potężniejsza i powszechniejsza, a ryzyka się kumulują. A jednak zaniechanie też nie wchodzi w grę.
Choć martwimy się zagrożeniami stwarzanymi przez technologie nadchodzącej fali, to niesamowitych korzyści, jakie oferują, potrzebujemy bardziej niż kiedykolwiek.
Oto zasadniczy dylemat: prędzej czy później potężna technologia nowej generacji narazi ludzkość na katastrofalne lub dystopijne konsekwencje. To wielki metaproblem XXI wieku.
Na kartach tej książki staram się wyjaśnić, dlaczego ten straszliwy dylemat staje się nieunikniony, a zarazem badam, jak możemy się z nim zmierzyć. W taki czy inny sposób musimy wyciągać z technologii to, co w niej najlepsze, a przy tym niezbędne do tego, byśmy mogli podołać ogromowi globalnych wyzwań i rozwiązać wspomniany dylemat.
Tocząca się dziś dyskusja nad etyką i bezpieczeństwem technologii pozostawia wiele do życzenia.
Pomimo wysypu poświęconych tematyce technologii książek, debat, wpisów na blogach i dyskusji na Twitterze rzadko mówi się cokolwiek o powstrzymywaniu jej niekontrolowanego rozwoju. Rozumiem przez to zestaw wzajemnie uzupełniających się technicznych, społecznych i prawnych mechanizmów ograniczających i kontrolujących technologię na każdym możliwym poziomie, czyli hipotetyczny sposób na uniknięcie powyższego dylematu. Mimo to nawet najzagorzalsi krytycy technologii uchylają się od retoryki „twardego” powstrzymywania technologii.
Mam nadzieję, że ta książka pokaże, dlaczego ten stan rzeczy musi ulec zmianie, i podpowie, jak to spowodować.
Pułapka
Kilka lat po założeniu DeepMind skompilowałem zestaw slajdów obrazujących potencjalne długofalowe skutki gospodarcze i społeczne wynikające z rozwoju sztucznej inteligencji. Podczas prezentacji dla grona kilkunastu założycieli najbardziej wpływowych przedsiębiorstw, prezesów zarządów i speców od technologii zgromadzonych w eleganckiej sali konferencyjnej na Zachodnim Wybrzeżu przekonywałem, że AI niesie wiele zagrożeń wymagających działań wyprzedzających. Wskazywałem, że technologia ta może doprowadzić do masowych naruszeń prywatności bądź też wywołać apokaliptyczną lawinę dezinformacji oraz posłużyć do niecnych celów, zamieniając się w śmiercionośną nową cyberbroń, źródło kolejnych luk w bezpieczeństwie naszego usieciowionego świata.
Zwracałem też uwagę na to, że sztuczna inteligencja może pozbawić pracy ogromne rzesze ludzi. Poprosiłem słuchaczy o przyjrzenie się licznym znanym z historii przypadkom znikania miejsc pracy z powodu automatyzacji i mechanizacji. Na początku pojawiają się wydajniejsze sposoby wykonywania określonych zadań, następnie rację bytu tracą konkretne stanowiska, a wkrótce potem całe sektory gospodarki redukują zatrudnienie o całe rzędy wielkości. Argumentowałem, że systemy AI w podobny sposób zastąpią „umysłową pracę fizyczną” w ciągu następnych kilku dekad, a już na pewno na długo przed tym, zanim roboty w całości zastąpią pracę fizyczną. W przeszłości nowe miejsca pracy powstawały w tym samym czasie, gdy stare odchodziły do lamusa, ale co by było, gdyby AI była w stanie po prostu zastąpić większość z nich? Wskazywałem, że Nadchodząca fala nowe formy koncentracji władzy, jakie pojawią się w najbliższej przyszłości, w zasadzie będą bez precedensu. Choć potencjalnie poważne zagrożenia wydawały się odległe, w istocie wielkimi krokami zbliżają się do naszych społeczeństw.
Na końcowym slajdzie pokazałem kadr z Simpsonów. W prezentowanej scence mieszkańcy Springfield wzniecili bunt i czereda uzbrojonych w pałki i pochodnie znajomych postaci wszczyna rozruchy. Mimo że przekaz nie wymagał komentarza, oznajmiłem: „Nadchodzą ludzie z widłami”. A idą po nas, twórców technologii. To my musimy sprawić, by w przyszłości nie trzeba było oglądać takich obrazków.
Moi słuchacze przyjęli te wywody z kamiennymi twarzami. Byli niewzruszeni, moje argumenty do nich nie przemówiły. Posypały się kontrargumenty. Dlaczego wskaźniki ekonomiczne nie potwierdzają tego, o czym mówiłem? Sztuczna inteligencja wywoła nowy popyt, który stworzy nowe miejsca pracy, wyposaży ludzi w nowe kompetencje i pozwoli im być jeszcze bardziej produktywnymi. Być może istnieje pewne ryzyko, przyznawali, ale nie takie znowu straszne. Ludzie są inteligentni. Zawsze znajdowało się jakieś rozwiązanie. „Bez obaw – zdawali się myśleć. – Przejdźmy do następnej prezentacji”.
Kilka lat później, niedługo przed wybuchem pandemii COVID-19, wziąłem udział w poświęconym zagrożeniom technologicznym seminarium zorganizowanym na znanym uniwersytecie. Scenariusz był podobny: kolejny wielki stół, kolejna górnolotna dyskusja, dzień wypełniony rozmowami o budzących trwogę zagrożeniach, prowadzonymi przy kawie, ciastkach i prezentacjach w PowerPoincie.
Jedno z tych zagrożeń rzucało się w oczy. Prelegent pokazywał gwałtowny spadek cen aparatury do syntezy DNA, dzięki której można „drukować” na zamówienie łańcuchy DNA.
Sprzęt ten kosztuje kilkadziesiąt tysięcy dolarów i jest na tyle mały, że można go postawić na ławce w garażu i wynająć ludzi do syntetyzowania – czyli produkowania – DNA. A wszystko to jest teraz w zasięgu ręki każdego magistra biologii lub internetowego pasjonata wiedzy.
Zwracając uwagę na rosnącą dostępność takich narzędzi, prelegent roztoczył przed słuchaczami przerażającą wizję: za niedługo ktoś będzie w stanie tworzyć patogeny o wiele bardziej zakaźne i śmiercionośne niż wszystko, co występuje w naturze. Takie syntetyczne patogeny mogą wymykać się znanym nauce środkom zaradczym, rozprzestrzeniać się bezobjawowo lub mieć wbudowaną odporność na terapie. W razie potrzeby taki chałupniczy eksperymentator mógłby posłużyć się zamówionym online i samodzielnie zmodyfikowanym DNA. Apokalipsa w sprzedaży wysyłkowej.
To nie science fiction, przekonywał prelegent, uznany profesor z ponaddwudziestoletnim doświadczeniem – to realne i aktualne zagrożenie.
Na końcu wybrzmiała niepokojąca myśl: wszystko wskazuje na to, że w dzisiejszych czasach jedna osoba jest w stanie zabić miliard ludzi. Potrzebuje do tego jedynie odpowiedniej motywacji.
Wśród słuchaczy zapanowało niespokojne poruszenie. Zaczęli się wiercić i pokasływać. Potem rozległy się wykręty i powątpiewania. Nikt nie chciał uwierzyć, że to możliwe. Na pewno nie jest tak źle, przecież muszą istnieć jakieś skuteczne mechanizmy kontroli, tworzenie nowych chorób nie może być tak łatwe, musi istnieć sposób na zablokowanie dostępu do baz danych i specjalistycznego sprzętu. I tak dalej, i tak dalej.
W reakcji słuchaczy na to wystąpienie było coś więcej niż tylko lekceważenie – po prostu nie przyjęli do wiadomości wizji zaprezentowanej przez prelegenta. Nikt nie chciał mierzyć się z implikacjami twardych faktów i realnych zagrożeń, o których była mowa. Zaniemówiłem, byłem autentycznie wstrząśnięty. Wkrótce seminarium dobiegło końca. Tamtego wieczoru poszliśmy wszyscy na kolację i jak gdyby nigdy nic wdaliśmy się w pogaduszki. Dopiero co spędziliśmy cały dzień na rozważaniach o końcu świata, ale to nie znaczyło, że nie można zjeść pizzy, przerzucać się dowcipami czy uciec myślami do swojego biura albo gabinetu… Udzielił mi się ogólny nastrój. Gdzieś z tyłu głowy wmawialiśmy sobie, że na wszystko w końcu znajdzie się jakaś rada albo jakiś człon tej argumentacji jest chybiony.
Jednak przez kolejne miesiące tamta prelekcja nie dawała mi spokoju. Dlaczego ja i reszta uczestników seminarium nie potraktowaliśmy tego poważniej? Dlaczego z zakłopotaniem unikamy głębszej dyskusji? Dlaczego niektórzy uderzają w sarkastyczne tony i oskarżają osoby stawiające takie pytania o katastrofizm czy też niedostrzeganie niezwykłych dobrodziejstw technologii? Tę powszechną reakcję emocjonalną, którą wtedy obserwowałem, nazwałem pułapką niechęci do pesymizmu – to błąd poznawczy pojawiający się wtedy, gdy ogarnia nas lęk przed konfrontacją z potencjalnie nieprzyjemnymi faktami, wywołujący w nas skłonność do odwracania od nich wzroku.
Odruch ten w mniejszym lub większym natężeniu występuje u niemal każdego – jego skutek jest taki, że ignorujemy wiele istotnych tendencji rysujących się na naszych oczach. To niemal wrodzona reakcja fizjologiczna. Nasz gatunek nie jest genetycznie zaprogramowany do radzenia sobie z przemianami o takiej skali ani tym bardziej z zagrożeniem, że technologia zawiedzie nas w ten sposób. Odczucie to towarzyszy mi przez całą moją karierę zawodową, a podobną instynktowną reakcję widziałem u wielu innych ludzi. Zmierzenie się z tym odczuciem – chłodne, trzeźwe spojrzenie na fakty, jakkolwiek niewygodne – to jeden z celów tej książki.
Właściwa reakcja na tę falę, wzięcie w ryzy technologii i sprawienie, by zawsze służyła ludzkości, wymaga przezwyciężenia niechęci do pesymizmu. A to oznacza, że należy stanąć twarzą w twarz z rzeczywistością, jaką niesie dzień jutrzejszy.
* Luddyści – członkowie ruchu robotników brytyjskich o nazwie „luddyzm”, pochodzącej od nazwiska jego przywódcy (zapewne legendarnego), który był znany jako King Lud (prawdopodobnie od nazwiska mitycznego Neda Ludda). Ruch związany był z akcją niszczenia maszyn fabrycznych (zwłaszcza warsztatów tkackich) w odpowiedzi na przemiany zachodzące w wyniku rewolucji przemysłowej (przyp. tłum.)
