Bill Joy: Dlaczego przyszłość nas nie potrzebuje?

Zachęcamy do lektury eseju Billa Joya – „Dlaczego przyszłość nas nie potrzebuje”, który ukazał się w książce „Wybierz czerwoną pigułkę”, wydanej przez Wydawnictwo Helion. Wydawnictwu Helion dziękujemy za udostępnienie fragmentu do publikacji.

Dlaczego przyszłość nas nie potrzebuje?

W poprzednim eseju Kurzweil maluje optymistyczny obraz technologii, która zmienia świat. Bill Joy, szef działu badawczego Sun Microsystems i jeden z przywódców rewolucji internetowej, jest bardziej sceptyczny. Podzielając pogląd Kurzweila co do trajektorii, na której jesteśmy, Joy widzi znacznie więcej powodów do obaw. Okropności Matriksa to tylko jeden z wielu możliwych koszmarów..

Najważniejsze technologie XXI wieku — robotyka, inżynieria genetyczna i nanotechnologia — mogą uczynić z ludzi gatunek zagrożony.

Odkąd zacząłem brać udział w tworzeniu nowych technologii, obchodził mnie ich wymiar etyczny, ale dopiero od jesieni 1998 z niepokojem uświadamiam sobie, jak wielkie zagrożenia czekają nas w XXI wieku. Ten niepokój zaczął się w dniu, gdy spotkałem Raya Kurzweila, cieszącego się zasłużoną sławą wynalazcę pierwszej maszyny do czytania dla niewidomych oraz wielu innych zadziwiających rzeczy.

Ray i ja występowaliśmy na telekomunikacyjnej konferencji George’a Gildera i Raya spotkałem przypadkiem w hotelowym barze po zakończeniu obu naszych sesji. Siedziałem z Johnem Searle, filozofem z Berkeley, który studiuje świadomość. Gdy rozmawialiśmy, podszedł do nas Ray i zaczęliśmy mówić o sprawach, które niepokoją mnie po dziś dzień.

Nie uczestniczyłem w wykładzie Raya i późniejszym panelu, na którym był John; obaj z miejsca wrócili do tego, na czym skończył się ten panel i Ray twierdził, że tempo rozwoju technologii będzie wzrastać, w związku z czym staniemy się robotami lub zrośniemy się z robotami albo coś w tym rodzaju, zaś John odpowiadał, że do tego nie dojdzie, bo roboty nie mogą być świadome.

Mimo że coś podobnego słyszałem nie pierwszy raz, sądziłem zawsze, że świadome roboty należą do science fiction. Teraz jednak od kogoś, kogo darzyłem szacunkiem, usłyszałem przekonujący wywód, że stanowią niezbyt odległą możliwość. Na to nie byłem przygotowany, zwłaszcza że Ray dowiódł, iż potrafi wyobrazić sobie przyszłość i tworzyć ją.

Wiedziałem, że nowe technologie, takie jak inżynieria genetyczna lub nanotechnologia, dawały moc przetworzenia świata, ale zaskoczył mnie realistyczny i tak bliski scenariusz powstania inteligentnych robotów.

Rewelacje tego rodzaju szybko wywołują przesyt. Niemal codziennie słyszymy w wiadomościach o jakimś technologicznym lub naukowym osiągnięciu. Jednak teraz nie chodziło o zwykłe przewidywanie. W tym hotelowym barze Ray wręczył mi częściowy wydruk swojej książki, The Age of Spiritual Machines, która dopiero miała się ukazać, gdzie opisywał przewidywaną przez siebie utopię — utopię, w której ludzie osiągnęli stan bliski nieśmiertelności, dzięki temu, że stali się jednością z technologią robotyki. Czytanie o tym wzmogło mój niepokój. Miałem pewność, że Ray musiał umniejszyć zagrożenia, pomniejszyć prawdopodobieństwo, że po drodze dojdzie do porażki.

Najbardziej zaniepokoił mnie fragment, który przedstawia scenariusz antyutopijny.

Wezwanie do nowego luddyzmu

Załóżmy na początek, że naukowcy komputerowi zdołali stworzyć inteligentne maszyny, które potrafią robić wszystko lepiej niż ludzie. Wtedy zapewne całą pracę będą wykonywać rozbudowane, wysoce zorganizowane systemy maszyn i żaden ludzki wysiłek nie będzie konieczny. Pozwoli się maszynom na podejmowanie własnych decyzji bez nadzoru ludzi bądź ludzka kontrola nad maszynami zostanie zachowana.

Jeżeli maszynom wolno podejmować własne decyzje, nie możemy wysuwać żadnych przypuszczeń co do wyników tych decyzji, gdyż nie można odgadnąć, jak takie maszyny będą się zachowywać. Zwracamy tylko uwagę, że rodzaj ludzki znajdzie się wtedy na łasce maszyn. Można sądzić, że rodzaj ludzki nigdy nie będzie aż tak głupi, żeby oddać całą władzę maszynom. Jednak nie twierdzimy, ani że ludzie przekażą władzę maszynom z własnej woli, ani że maszyny z własnej woli przejmą władzę. Twierdzimy, że sam rodzaj ludzki może skłaniać się ku stanowi takiej zależności od maszyn, że praktycznie nie będzie mieć innego wyboru, jak tylko uznawanie wszystkich decyzji maszyn. Skoro społeczeństwo i problemy, przed jakimi staje, są coraz bardziej złożone, zaś maszyny są coraz bardziej inteligentne, ludzie pozwolą, by maszyny podejmowały za nich coraz więcej decyzji, gdyż po prostu decyzje maszyn będą przynosić lepsze wyniki niż decyzje ludzi. Kiedyś może dojść do stanu, w którym wszystkie decyzje niezbędne do utrzymania całego systemu w ruchu będą tak złożone, że ludzka istota nie będzie zdolna ich podejmować inteligentnie. Wtedy maszyny uzyskają faktyczną władzę. Ludzie nie będą mogli po prostu ich wyłączyć, gdyż tak bardzo się od nich uzależnią, że wyłączenie ich będzie równe samobójstwu.

Jednak niewykluczone, że ludzka kontrola nad maszynami zostanie zachowana. Wtedy przeciętny człowiek będzie mógł kontrolować swoje prywatne maszyny, takie jak własny samochód lub osobisty komputer, lecz nadzór nad wielkimi systemami będzie należeć do wąskiej elity — podobnie jak dziś, ale z dwiema różnicami. Dzięki lepszym technikom elita będzie bardziej kontrolować masy; ponadto skoro ludzka praca przestanie być konieczna, masy staną się bezużyteczne jako zbędny ciężar dla systemu. Jeżeli elita będzie pozbawiona skrupułów, może podjąć decyzję o masowej eksterminacji ludzkości. Jeżeli chce być humanitarna, może stosować propagandę bądź inne psychologiczne lub biologiczne techniki, aby obniżać przyrost naturalny, aż masy ludzkości wymrą, pozostawiając świat w rękach elity. Jeżeli elitę będą stanowić liberałowie o miękkich sercach, mogą wziąć na siebie rolę dobrych pasterzy dla reszty ludzkiej rasy. Zadbają, żeby fizyczne potrzeby każdego były zaspokojone, by dzieci wychowywały się w higienicznych psychologicznie warunkach, każdy miał hobby, którym będzie mógł się zająć oraz każdy, kto jest niezadowolony, przeszedł „kurację” dla uleczenia tego „problemu”. Oczywiście, życie stanie się tak bezcelowe, że trzeba będzie biologicznie i psychologicznie modyfikować ludzi po to, żeby pozbawić ich chęci uczestnictwa w procesie władzy albo po to, by sami „sublimowali” żądzę władzy w jakimś nieszkodliwym hobby. Po takich modyfikacjach ludzie mogą być szczęśliwi w społeczeństwie tego rodzaju, ale na pewno nie będą wolni. Zostaną sprowadzeni do roli zwierząt domowych.[1]

Dopiero po odwróceniu strony w książce Raya widzimy, że autorem tego fragmentu jest Theodore Kaczynski — Unabomber. Nie usprawiedliwiam Kaczynskiego. Jego bomby w ciągu 17 lat kampanii terroru zabiły trzy osoby i raniły wiele innych. Mój przyjaciel David Gelernter, jeden z najbardziej błyskotliwych i twórczych naukowców komputerowych naszego czasu, został ciężko ranny w wybuchu jednej z tych bomb. Jak wielu moich kolegów, czułem, że mogę być następnym celem Unabombera.

Postępowanie Kaczynskiego było zbrodnicze i moim zdaniem szaleńcze. Oczywiście był luddystą, ale nie wystarczy tak powiedzieć, by oddalić jego argumenty; mimo że niełatwo mi to przyznać, widziałem pewną trafność rozumowania w tym fragmencie. Musiałem się z tym zmierzyć.

Antyutopia Kaczynskiego opisuje niezamierzone konsekwencje, problem dobrze znany w projektowaniu i stosowaniu technologii, jeden z tych, które mają oczywisty związek z prawem Maurphy’ego — „wszystko, co może pójść źle, nie uda się”. (Faktycznie jest to prawo Finagle’a, co samo w sobie dowodzi, że Finagle miał rację.) Nadużywanie antybiotyków doprowadziło do, jak dotąd, najbardziej poważnego z takich problemów: powstania odpornych na antybiotyki i znacznie groźniejszych bakterii. Podobnie próby zwalczania za pomocą DDT komarów przenoszących malarię spowodowały, że komary te uodporniły się na DDT; ponadto same malaryczne pasożyty wykształciły geny, które dają im odporność na wiele leków.[2]

Przyczyna takich niespodzianek wydaje się jasna: systemy, które wchodzą w grę, są złożone i obejmują oddziaływania i sprzężenia pomiędzy wieloma częściami. Wszelkie zmiany w takim systemie przebiegają[3] torami trudnymi do przewidzenia; jest to prawdą, zwłaszcza gdy w grę wchodzą zachowania ludzi.

Zacząłem pokazywać znajomym cytat z Kaczynskiego w The Age of Spiritual Machines; podawałem im książkę Kurzweila, pozwalałem przeczytać ten fragment, po czym obserwowałem ich reakcję, gdy orientowali się, kto jest jego autorem. Mniej więcej w tym samym czasie znalazłem książkę Hansa Moraveca, Robot: Mere Machine to Transcendent Mind. Moravec jest jedną z największych postaci w robotyce i założycielem największego na świecie programu badawczego w dziedzinie robotyki na uniwersytecie Carnegie Mellon. Robot zawiera materiał, który nadawał się do wypróbowania na moich znajomych — materiał zaskakująco zgodny z argumentacją Kaczynskiego.

Oto przykład.

Krótki dystans (wczesne lata 2000)

Biologiczny gatunek na ogół nie potrafi przetrwać spotkań z silniejszymi konkurentami. Dziesięć milionów lat temu zatopiony Przesmyk Panamski rozdzielał Amerykę Południową i Północną. Amerykę Południową, podobnie jak dziś Australię, zamieszkiwały torbacze, łącznie z workowatymi odpowiednikami szczurów, jeleni i tygrysów. Po wypiętrzeniu przesmyku pomiędzy obu Amerykami wystarczyło zaledwie kilka tysięcy lat, by północne ssaki łożyskowe z nieco bardziej efektywnymi układami metabolicznymi, rozrodczymi i nerwowymi wyparły i zastąpiły niemal wszystkie południowoamerykańskie torbacze.

Na całkowicie wolnym rynku roboty na pewno wywrą presję na ludzi, podobnie jak ssaki łożyskowe z Ameryki Północnej na torbacze z Ameryki Południowej (albo ludzie na niezliczone gatunki). Zrobotyzowane przemysły będą zaciekle konkurować ze sobą o energię, materię i przestrzeń, tak że ceny znajdą się poza zasięgiem ludzi. Niezdolni do ponoszenia kosztów utrzymania ludzie zostaną wyparci.

Prawdopodobnie wciąż możemy złapać oddech, ponieważ nie żyjemy na całkowicie wolnym rynku. Rząd ma instrumenty pozarynkowe, zwłaszcza w postaci podatków. Rozważnie stosowane instrumenty rządowe mogą zapewne przez dłuższy czas utrzymać ludzkie populacje na wysokim poziomie życia z pracy robotów.

Podręcznikowa antyutopia — a Moravec dopiero się rozkręca. Potem omawia nasze główne zadanie w XXI wieku, które będzie polegać na „zapewnieniu sobie ciągłej współpracy ze strony zrobotyzowanych przemysłów” przez uchwalanie praw stanowiących, że mają być „grzeczne”,[4] po czym opisuje, jak bardzo niebezpieczny może być człowiek „gdy przekształci się w superinteligentnego robota obdarzonego swobodą działania”. Zda­niem Moraveca, kiedyś zastąpią nas roboty — ludzie bez wątpienia są skazani na wymarcie.

Uznałem wreszcie, że pora posłuchać, co ma do powiedzenia mój przyjaciel Danny Hillis. Danny stał się sławny jako współzałożyciel Thinking Machines Corporation, gdzie powstał potężny równoległy superkomputer. Mimo że pracuję jako szef działu badawczego Sun Microsystems, jestem bardziej komputerowym architektem niż naukowcem, zaś wiedzę Danny’ego w dziedzinie nauk fizycznych i informacyjnych szanuję bardziej niż każdej innej osoby, jaką znam. Danny jest także wysoko cenionym futurystą, który myśli długoterminowo — cztery lata temu założył Long Now Foundation, fundację dla budowy zegara, który ma działać przez 10000 lat, czym pragnie zwrócić uwagę, że spojrzenie naszego społeczeństwa sięga w przyszłość na żałośnie niewielką odległość.[5]

Poleciałem do Los Angeles, żeby spotkać się przy kolacji z Dannym i jego żoną Pati. Odbyłem znajomą rutynę, przytaczając myśli i cytaty, które mnie niepokoiły. Odpowiedź Danny’ego — dotycząca szczególnie scenariusza Kurzweila, gdzie ludzie zrastają się z robotami — była szybka i dość zaskakująca. Danny powiedział po prostu, że zmiany będą następować stopniowo i przyzwyczaimy się do nich.

Nie myślę jednak, żebym był zaskoczony całkowicie. W książce Kurzweila widziałem cytat z Danny’ego: „Polubiłem swoje ciało, jak wszyscy, ale jeśli mogę mieć 200 lat i ciało z silikonu, kupuję to”. Wydawało się, że, mimo ryzyka, nie przeszkadzał mu ten proces, inaczej niż mnie.

Kiedy myślałem o tym, co pisali Kurzweil, Kaczynski i Moravec, przypomniała mi się powieść, którą czytałem 20 lat wcześniej — The White Plague Franka Herberta — Białą Plagę, gdzie molekularny biolog popada w obłęd, gdy bezsensownie zamordowano jego rodzinę. Szukając zemsty, opracowuje i rozsiewa nową, niezwykle groźną zarazę, która zabija masowo, ale selektywnie. (Mamy szczęście, że Kaczynski był matematykiem, a nie biologiem molekularnym.) Przypomniałem sobie również Borgów z serialu Star Trek, mrowisko częściowo biologicznych, częściowo zrobotyzowanych istot[6] z silnym popędem do niszczenia. Klęski, takie jak Borgowie, są wątkiem, który przewija się w całej science fiction, więc dlaczego wcześniej nie martwiły mnie te antyutopie robotyki? Dlaczego inni nie przejmowali się tymi koszmarnymi scenariuszami?

Odpowiedź leży po części w naszej postawie względem nowości — przyswajamy je szybko, nie zadając pytań. Przyzwyczajani prawie codziennie do przełomowych postępów nauki wciąż jeszcze nie doceniamy faktu, że najbardziej fascynujące technologie XXI wieku — robotyka, inżynieria genetyczna i nanotechnologia — stanowią zagrożenie innego rodzaju niż technologie, które powstały wcześniej. Mówiąc ściślej, roboty, projektowane organizmy i nanoroboty wprowadzają do sytuacji nowy, niebezpieczny czynnik: są zdolne do samoreplikacji. Bomba może wybuchnąć tylko jeden raz — lecz jeden robot to już wielość i może szybko wymknąć się spod kontroli.

Duża część mojej pracy w ciągu minionych 25 lat dotyczyła sieci komputerowych, gdzie wysyłanie i odbieranie komunikatów stwarza okazję do niekontrolowanej replikacji. Chociaż w komputerze lub w sieci komputerowej replikacja może być uciążliwa, to najwyżej zatrzyma maszynę bądź odetnie sieć czy usługę. W nowych technologiach samoreplikacja poza kontrolą niesie ze sobą znacznie większe ryzyko poważnych szkód w świecie fizycznym.

Każda z tych technologii przynosi także niebywałą obietnicę. Ożywia nas wizja nieśmiertelności, którą Kurzweil roztacza w swoich snach robotów; inżynieria genetyczna może niebawem dostarczyć środków, jeżeli nie lekarstw, na większość chorób; nanotechnologia i nanomedycyna mogą leczyć jeszcze więcej schorzeń. Wspólnie mogą znacznie zwiększyć średnią długość i poprawić jakość naszego życia. Jednak drobne i sensowne z osobna kroki każdej z tych technologii prowadzą do powstania wielkiego potencjału i zarazem ogromnego zagrożenia.

Czy inaczej było w XX wieku? Istotnie, technologie leżące u podstaw broni masowego rażenia (WMD) — nuklearnej, biologicznej i chemicznej (NBC) — były potężne, a sama broń stanowiła ogromne zagrożenie. Jednak budowa broni nuklearnej przynajmniej przez jakiś czas wymagała dostępu zarówno do rzadkich — właściwie nieosiągalnych — surowców, jak i ściśle strzeżonych informacji; programy w dziedzinie broni biologicznej i chemicznej z reguły również wymagały działań na dużą skalę.

Technologie XXI wieku — genetyka, nanotechnologia i robotyka (GNR) — są tak potężne, że mogą stwarzać całkowicie nowe rodzaje wypadków i nadużyć. Co gorsza, po raz pierwszy wywołanie takich wypadków lub nadużyć będzie w zasięgu pojedynczych osób czy małych grup. Technologie te nie będą wymagać wielkich fabryk albo rzadkich surowców. Sama wiedza będzie umożliwiać ich użycie.

Stąd wynika możliwość nie tylko broni [GNR] masowego rażenia, ale masowego rażenia z wiedzy (KMD, knowledge-enabled mass destruction) o sile niszczącej ogromnie zwiększonej przez potęgę samoreplikacji.

Sądzę, że nie ma żadnej przesady w stwierdzeniu, iż stoimy u progu udoskonalenia zła, którego możliwość wykracza znacznie poza tę, jaką państwa narodowe odziedziczyły wraz z bronią masowego rażenia, aż ku niespodziewanemu i przerażającemu uzbrojeniu indywidualnych ekstremistów.

Gdy zaczynałem swoją pracę z komputerami, nic nie zapowiadało, że będę kiedyś rozważać takie zagadnienia.

Moim życiem kierowała głęboka potrzeba zadawania pytań i znajdowania odpowiedzi. Mając 3 lata, umiałem już czytać, więc ojciec zabrał mnie do szkoły, gdzie usiadłem na kolanach dyrektora i przeczytałem mu jakieś opowiadanie. Rozpocząłem szkołę wcześnie, przeskoczyłem klasę, a później uciekłem do książek — miałem niewiarygodnie silną motywację, żeby się uczyć. Zadawałem mnóstwo pytań i często wprawiałem dorosłych w zakłopotanie.

Jako nastolatek bardzo interesowałem się nauką i techniką. Chciałem być krótkofalowcem, ale nie miałem pieniędzy na zakup sprzętu. Radio krótkofalowe[7] było Internetem tamtych czasów jako równie wciągające zajęcie w podobnym odosobnieniu. Pomijając sprawę pieniędzy, moja matka nie chciała na to pozwolić — nie mogłem być krótkofalowcem; byłem już wystarczająco aspołeczny.

Może nie miałem wielu przyjaciół, ale przepełniały mnie idee. W szkole średniej odkryłem wielkich pisarzy science fiction. Pamiętam zwłaszcza Heinleina Have Spacesuit — Will Travel i Asimova I, Robot z Trzema Prawami Robotyki. Zachwycałem się opisami podróży kosmicznych i chciałem mieć teleskop, żeby patrzeć w gwiazdy; ponieważ nie miałem pieniędzy, żeby go kupić, zamiast tego wypożyczałem książki o teleskopach z biblioteki i czytałem o tym, jak się je robi. Latałem w wyobraźni.

Moi rodzice chodzili w czwartki na kręgle i zostawaliśmy w domu sami. To był wieczór pierwszej serii Star Trek Gene’a Roddenberry’ego, która zrobiła na mnie ogromne wrażenie. Przyswoiłem sobie myśl, że ludzi czeka przyszłość w kosmosie. W zachodnim stylu, z wielkimi bohaterami i przygodami. Wizję nadchodzących stuleci u Roddenberry’ego cechowały wartości moralne, wyrażane przez takie prawa, jak Pierwotna Dyrektywa: nie mieszać się do rozwoju cywilizacji mniej zaawansowanych technologicznie. To przemówiło do mnie z niewiarygodną siłą; przyszłość należała do ludzi o wysokiej etyce, nie do robotów, i marzenia Roddenberry’ego stały się częścią moich własnych.

W szkole średniej byłem dobrym matematykiem i kiedy poszedłem na studia magisterskie w University of Michigan jako student inżynierii zaliczyłem przedmioty, na które chodzili magistranci z matematyki. Rozwiązywanie problemów matematycznych było fascynującym wyzwaniem, ale kiedy odkryłem komputery, znalazłem coś znacznie ciekawszego: maszynę, do której można było włożyć program i ten program próbował rozwiązać problem, po czym maszyna szybko sprawdzała rozwiązanie. Komputer miał jasny pogląd na to, co jest poprawne i niepoprawne, prawdziwe i fałszywe. Czy moje idee były poprawne? Maszyna mogła dać odpowiedź. To było bardzo pociągające.

Miałem dużo szczęścia, bo dostałem pracę przy programowaniu wczesnych superkomputerów i odkryłem zadziwiającą zdolność dużej maszyny do symulacji skomplikowanych układów. Kiedy poszedłem na studia podyplomowe do UC Berkeley w połowie lat 70., zostawałem w szkole do późna, często przez całą noc i tworzyłem w maszynach nowe światy. Rozwiązywałem problemy. Pisałem kod, który tak bardzo domagał się napisania.

W Udręce i ekstazie, biograficznej powieści, której bohaterem jest Michał Anioł, Irving Stone żywo opisuje, jak wydobywał on posągi „zaklęte w marmurze”, rzeźbiąc obrazy widziane w umyśle.[8] W chwilach największej ekstazy oprogramowanie w komputerze wyłaniało się w ten sam sposób. Widząc je w swoim umyśle, czułem, że jest już w maszynie, czeka na wyzwolenie. Wydawało się, że praca przez całą noc to niewiele, jeśli można je uwolnić — nadać idei konkretną postać.

Po kilku latach w Berkeley zacząłem rozsyłać oprogramowanie, które napisałem — system do ćwiczeń w Pascalu, narzędzia dla systemów UNIX i edytor tekstowy vi (który  w dwadzieścia lat później wciąż jest w użyciu ku mojemu zaskoczeniu) — do innych posiadaczy niewielkich minikomputerów PDP-11 i VAX. Ta przygoda z oprogramowaniem w końcu przybrała postać systemu operacyjnego UNIX w wersji Berkeley, co stało się moim osobistym „pyrrusowym zwycięstwem” — tylu ludzi chciało mieć ten system, że nigdy nie skończyłem pracy doktorskiej. Zamiast tego zacząłem pracować dla Darpy,[9] by przestawić UNIX Berkeley na Internet i poprawić go tak, aby był niezawodny i mógł też obsługiwać duże aplikacje badawcze. Wszystko to było świetną zabawą i dawało wiele zadowolenia.

Jednak na początku lat 80. zacząłem się dusić. UNIX w kolejnych wydaniach odnosił spore sukcesy i mój mały jednoosobowy projekt wkrótce otrzymał pieniądze i własnych pracowników, ale problem w Berkeley zawsze polegał bardziej na znalezieniu miejsca do pracy niż pieniędzy — nie było gdzie pomieścić ludzi, których potrzebował projekt, więc gdy pojawili się pozostali założyciele Sun Microsystems, skorzystałem z okazji, żeby się do nich przyłączyć. Praca do późna, teraz w Sunie, przedłużała się do czasów pierwszych stacji roboczych i komputerów osobistych, bo naprawdę cieszyło mnie, że mogę brać udział w tworzeniu zaawansowanych technologii mikroprocesorowych i technologii dla Internetu, takich jak Java i Jini.

Z tego, mam nadzieję, widać, że nie jestem luddystą. Przeciwnie, zawsze mocno wierzyłem w wartość naukowego poszukiwania prawdy i materialny postęp, jaki potrafi przynieść świetna inżynieria. Rewolucja przemysłowa zdołała w ciągu ostatnich kilkuset lat poprawić życie każdego człowieka i zawsze oczekiwałem, że moja praca będzie polegać na budowie skutecznych rozwiązań dotyczących rzeczywistych problemów, po jednym problemie na raz.

Nie jestem rozczarowany. Moja praca wywarła większy wpływ, niż mogłem przypuszczać, i wykorzystywano ją szerzej, niż mogłem oczekiwać. Ostatnie 20 lat spędziłem, próbując wymyślić, co zrobić, aby komputery były tak niezawodne, jak tego chcę (do czego im bardzo daleko) oraz łatwe w użyciu (cel, który jest jeszcze bardziej odległy). Mimo pewnego postępu, problemy, jakie jeszcze pozostały, są dużo bardziej zniechęcające.

Jednak, chociaż wiedziałem, że z konsekwencjami technologii wiążą się moralne dylematy w takich dziedzinach, jak badania zbrojeniowe, nie spodziewałem się, że stanę wobec takich zagadnień w swojej dziedzinie, a jeżeli, to nie tak szybko.

Zapewne trudniej ogarnąć horyzont skutków, kiedy stoimy w samym zenicie zmiany. To, że nie rozumiemy konsekwencji postępu, upajając się swoim odkryciem lub wynalazkiem, wydaje się wspólną słabością naukowców i inżynierów; gnani silnym pragnieniem wiedzy, które leży w naturze nauki, nie przystajemy, żeby zobaczyć, że [ten oto] postęp ku nowym i bardziej potężnym technologiom zacznie żyć własnym życiem.

Wiem od dawna, że wielkich postępów w technologii informacyjnej nie powodują prace naukowców komputerowych, architektów komputerowych i elektryków, lecz prace fizyków. We wczesnych latach 80. fizycy Stephen Wolfram i Brosl Hasslacher wprowadzili mnie w teorię chaosu i systemy nieliniowe. W latach 90. uczyłem się o złożonych systemach od Danny’ego Hillisa, biologa Stuarta Kauffmana, fizyka-noblisty Murraya Gell-Manna i innych. Ostatnio Hasslacher i elektryk, a zarazem fizyk aparaturowy Mark Reed objaśniają mi niewiarygodne możliwości elektroniki molekularnej.

Sam, jako współtwórca trzech architektur mikroprocesorowych — SPARC, picoJava i MAJC — oraz projektant kilkunastu implementacji tychże, mogłem poznać dogłębnie i z pierwszej ręki prawo Moore’a. Przez dziesięciolecia prawo Moore’a prawidłowo przewidywało wykładniczy rozwój technologii półprzewodnikowej. Jeszcze przed rokiem sądziłem, że prawo to będzie obowiązywać najwyżej do roku około 2010, gdy zaczniemy dochodzić do pewnych fizycznych granic. Nie było dla mnie jasne, czy na czas pojawi się nowa technologia, która gładko podtrzyma wzrost wydajności.

Jednak ostatnio dzięki szybkiemu i radykalnemu postępowi elektroniki molekularnej — gdzie pojedyncze atomy i molekuły zastępują litografowane tranzystory — oraz pokrewnych technologii nanoskali powinniśmy  w ciągu następnych 30 lat utrzymać lub przekroczyć tempo wzrostu według prawa Moore’a. Około roku 2030 będziemy zapewne masowo budować maszyny milion razy mocniejsze od dzisiejszych komputerów osobistych — wystarczające, by urzeczywistnić marzenia Kurzweila i Moraveca.

Gdy ta ogromna moc obliczeniowa łączy się z narzędziowym postępem w naukach fizycznych i nowym, głębszym zrozumieniem w genetyce, wyzwalana jest ogromna moc transformacji. Połączenia tego rodzaju tworzą możliwość przekształcenia świata na lepsze lub na gorsze: procesy replikacji i ewolucji, które należały dotychczas do świata przyrody, stają się dziedziną ludzkich dokonań.

Projektując programy i mikroprocesory, nigdy nie miałem uczucia, że projektuję inteligentną maszynę. Oprogramowanie i sprzęt są tak kruche, a zdolności maszyny do tego, by „myśleć”, tak oczywiście nieobecne, że nawet jako możliwość zawsze wydawało mi się to odległą przyszłością.

Jednak teraz perspektywa przetwarzania na poziomie ludzkim przed upływem około 30 lat nasuwa mi nową myśl — niewykluczone, że pracuję nad rozwojem narzędzi dla technologii, która może zastąpić nasz gatunek. I jak się z tym czuję? Bardzo źle. Poświęciwszy całą karierę próbom budowy systemów niezawodnego oprogramowania, sądzę, iż jest więcej niż możliwe, że ta przyszłość nie okaże się tak udana, jak wielu ludzi sobie wyobraża. Moje doświadczenie mówi, że mamy skłonność do przeceniania swoich zdolności projektowych.

Biorąc pod uwagę niewiarygodną siłę tych nowych technologii, czy nie powinniśmy pytać, jak najlepiej z nimi współistnieć? A skoro nasze własne wyginięcie jest niemal pewnym lub choćby możliwym wynikiem naszego technologicznego rozwoju, czy nie powinniśmy postępować z wielką ostrożnością?

Marzeniem robotyki jest przede wszystkim to, że inteligentne maszyny będą mogły za nas pracować, pozwolą nam żyć bez pracy i zwrócą nam Eden. Ale w swojej historii takich idei, Darvin Among the Machines, George Dyson ostrzega: „W grze życia i ewolucji są przy stole trzej gracze: ludzie, natura i maszyny. Jestem stanowczo po stronie natury. Lecz podejrzewam, że natura jest po stronie maszyn”. Jak wiemy, Moravec zgadza się z tym, sądząc, że możemy nie przetrwać spotkania z wyższym gatunkiem robotów.

Kiedy najwcześniej taki robot może powstać? Nadchodzące przyrosty mocy obliczeniowej wydają się to umożliwiać około roku 2030. Gdy zaś istnieje inteligentny robot, to do gatunku robotów jest tylko mały krok — krok do inteligentnego robota, który może wytwarzać równie doskonałe własne kopie.

Drugim marzeniem robotyki jest to, że sami będziemy zamieniać się w swoją zrobotyzowaną technologię, osiągając stan bliski nieśmiertelności dzięki wczytywaniu swojej świadomości; chodzi o ten proces, do którego będziemy przyzwyczajać się stopniowo, jak sądzi Danny Hillis, i którego szczegóły Ray Kurzweil opisał w Age of Spiritual Machines.[10]

Lecz jeżeli zostaniemy wczytani do wnętrza naszej technologii, to jaka jest szansa, że potem będziemy sobą lub nawet ludźmi? Wydaje mi się, że egzystencja robotów będzie niepodobna do ludzkiej w żadnym sensie, jaki możemy zrozumieć, że roboty nie będą naszymi dziećmi, że równie łatwo możemy na tej drodze utracić swoje człowieczeństwo.

Inżynieria genetyczna obiecuje rewolucję w rolnictwie, zwiększając plony i zmniejszając użycie pestycydów; stworzenie tysięcy nowych gatunków bakterii, roślin, wirusów i zwierząt; zastąpienie lub uzupełnienie rozmnażania klonowaniem; uzyskanie leków na wiele chorób; zwiększenie długości i jakości naszego życia oraz znacznie, znacznie więcej. Wiemy z pewnością, że te głębokie zmiany są już bliskie i podważą wszystkie nasze pojęcia dotyczące tego, czym jest życie.

Technologie, takie jak klonowanie ludzi, szczególnie zaostrzyły naszą świadomość głębokich etycznych i moralnych zagadnień, jakie przed nami stoją. Jeżeli na przykład używając inżynierii genetycznej, przekształcimy się w kilka osobnych i nierównych sobie gatunków, podważymy równość, która jest kamieniem węgielnym naszej demokracji.

Zważywszy niewiarygodną siłę inżynierii genetycznej, nie jest niespodzianką, że z użyciem tej technologii są związane istotne zagadnienia bezpieczeństwa. Mój przyjaciel Amory Lovins jest współautorem, wraz z Hunterem Lovinsem, wstępnego artykułu, który przedstawia ekologiczny pogląd na niektóre z tych zagrożeń. Wśród nich jest to, że „nowa botanika łączy rozwój roślin z ich sukcesem ekonomicznym, a nie ewolucyjnym”.[11] Długa kariera Amory’ego była związana z problemami wykorzystania energii i zasobów ujmowanymi z holistycznego punktu widzenia na systemy budowane przez ludzi; takie holistyczne ujęcie często znajduje proste i odkrywcze rozwiązania zadań, które z innych punktów widzenia wydają się trudne, i stosowane jest również tutaj.

Po przeczytaniu artykułu Lovinsów zobaczyłem w The New York Times artykuł wstępny pióra Gregga Easterbrooka o genetycznie modyfikowanych roślinach uprawnych z nagłówkiem: „Żywność dla przyszłości: pewnego dnia ryż będzie mieć wbudowaną witaminę A. Chyba że wygrają luddyści”.

Czy Amory i Hunter Lovins są luddystami? Na pewno nie. Sądzę, że wszyscy zgodzimy się zapewne, że złoty ryż o wbudowanej witaminie A jest rzeczą dobrą, jeżeli zostanie opracowany z właściwą ostrożnością i szacunkiem dla nieuchronnych niebezpieczeństw związanych z przenoszeniem genów pomiędzy gatunkami.

Świadomość niebezpieczeństw tkwiących w inżynierii genetycznej zaczyna wzrastać, co odzwierciedla artykuł Lovinsów. Żywność modyfikowana genetycznie jest zjawiskiem znanym i niepokojącym opinię publiczną, która wyraźnie nie zgadza się na sprzedaż takiej żywności bez odpowiednich etykiet na opakowaniach.

Jednak inżynieria genetyczna zaszła już bardzo daleko. Jak piszą Lovinsowie, już około 50 genetycznie modyfikowanych roślin dopuszczono do ogólnego obrotu za zgodą USDA; więcej niż połowa ziarna sojowego na świecie i jedna trzecia fasoli sojowej zawiera obecnie geny pobrane od innych form życia.

Chociaż w tej dziedzinie jest wiele poważnych zagadnień, moje obawy co do inżynierii genetycznej są węższe i dotyczą głównie tego, że pozwala ona — przez zastosowanie wojskowe, przypadek lub rozmyślny akt terrorystyczny — stworzyć Białą Plagę.

Pierwsze wyobrażenia wielu cudów nanotechnologii zawiera przemówienie fizyka i laureata magrody Nobla Richarda Feynmana z 1959 roku, opublikowane później pod tytułem „There’s Plenty of Room at the Bottom”. Książka Erica Drexlera Engines of Creation, która w połowie lat 80. wywarła na mnie wielkie wrażenie, jest pięknym opisem tego, jak manipulacja materią na poziomie atomowym mogłaby stworzyć utopijną przyszłość obfitości, gdzie prawie wszystko można wytwarzać za bezcen i leczyć niemal każdą wyobrażalną chorobę lub kalectwo, stosując nanotechnologię i sztuczną inteligencję.

Kolejna książka, której Drexler był współautorem, Unbounding the Future: The Nanotechnology Revolution przedstawia zmiany, do jakich może dojść w świecie, jeżeli będziemy mieć „asemblery” na poziomie molekularnym. Asemblery umożliwią uzyskiwanie energii słonecznej niewiarygodnie niskim kosztem, leczenie raka i zwykłego przeziębienia dzięki uzupełnieniu ludzkiego systemu immunologicznego, oczyszczenie środowiska naturalnego, niewiarygodnie tanie kieszonkowe superkomputery — faktycznie dowolny produkt można będzie wytwarzać za cenę drewna — loty kosmiczne dostępne bardziej powszechnie niż podróże oceaniczne dzisiaj oraz odtworzenie wymarłych gatunków.

Pamiętam, że po przeczytaniu Engines of Creation poczułem zaufanie do nanotechnologii. Książka uspokoiła mnie jako technologa — nanotechnologia była dowodem, że niewiarygodny postęp jest możliwy, a w samej rzeczy zapewne nieuchronny. Jeżeli nanotechnologia będzie naszą przyszłością, to nie muszę rozwiązywać tak wielu problemów od razu. We właściwym czasie nadejdzie utopijna przyszłość Drexlera; równie dobrze mógłbym bardziej cieszyć się życiem tu i teraz. W świetle tego, co mówił Drexler, praca po nocach przez cały czas nie miała sensu.

Wizja Drexlera stwarzała też okazję do dobrej zabawy. Zdarzało się, że opisywałem cuda nanotechnologii ludziom, którzy o niej nie słyszeli. Gdy kończyłem droczyć się z nimi, tym co opisywał Drexler, zadawałem im pracę domową od siebie: „Za pomocą nanotechnologii stworzyć wampira; za stworzenie antidotum jest ocena dodatkowa”.

Za tymi cudami kryły się zagrożenia, z czego zdawałem sobie sprawę. Jak mówiłem w 1989 roku na konferencji nanotechnologicznej: „Nie możemy po prostu zajmować się nauką i nie dbać o te zagadnienia etyczne”.[12]  Ale rozmowy z fizykami przekonały mnie wtedy, że nanotechnologia może się wręcz nie sprawdzić, a jeżeli nawet, to nie tak prędko. Wkrótce potem przeniosłem się do [stanu] Colorado, do pracowni, jakie tam założyłem, i całą uwagę w mojej pracy skupiłem na oprogramowaniu dla Internetu, zwłaszcza na ideach, które przerodziły się w Javę i Jini.

Potem, ostatniego lata, Brosl Hasslacher powiedział mi, że nanoskalowa elektronika molekularna przeszła do praktyki. To było coś nowego przynajmniej dla mnie, a sądzę, że również dla innych — wtedy całkowicie zmieniłem zdanie na temat nanotechnologii. Przeczytałem ponownie Engines of Creation Drexlera. Czytając tę pracę po z górą dziesięciu latach, byłem skonsternowany, że tak mało zapamiętałem z długiej części pod tytułem „Niebezpieczeństwa i nadzieje”, która mówi, jak nanotechnologie mogą się stać „motorami destrukcji”. W istocie, czytając o tych zagrożeniach dziś, jestem zdumiony tym, jak bardzo naiwne wydają się niektóre zabezpieczenia proponowane przez Drexlera i tym, o ile wyżej oceniam te zagrożenia teraz niż nawet Drexler w swoim czasie. (Przewidziawszy i opisawszy wiele technicznych i politycznych problemów w nanotechnologii, Drexler założył pod koniec lat 80. Foresight Institute, „by przygotować społeczeństwo na oczekiwane zaawansowane technologie” — a wśród nich przede wszystkim nanotechnologię.)

Przełom prowadzący do asemblerów jest zupełnie możliwy przed upływem następnych 20 lat. Elektronika molekularna — nowe pole nanotechnologii, gdzie pojedyncze molekuły są elementami układów — powinna dojrzeć i przynieść ogromne zyski w ciągu obecnej dekady, powodując kolejno poważne inwestycje we wszystkie nanotechnologie.

Niestety, podobnie jak w technologii nuklearnej, znacznie łatwiej o destruktywne niż konstruktywne zastosowania nanotechnologii. Nanotechnologia nadaje się oczywiście do celów militarnych i terrorystycznych, a nie trzeba być samobójcą, żeby wyzwolić moc nanotechnologicznego masowo niszczącego urządzenia — takie urządzenia mogą być selektywnie niszczące, działać przykładowo tylko na pewien obszar geograficzny bądź na ludzi wyróżniających się pod względem genetycznym.

Bezpośrednim następstwem Faustowskiego układu, w którym chcemy uzyskać wielką moc nanotechnologii, jest to, że ponosimy ogromne ryzyko — ryzyko, że zniszczymy biosferę, od której zależy wszelkie życie.

Drexler wyjaśnia:

„Rośliny” z „liśćmi” o sprawności nie większej od dzisiejszych ogniw słonecznych mogą wyeliminować prawdziwe rośliny, zapełniając biosferę niejadalną roślinnością. Twarde wszystkożerne „bakterie” mogą wyeliminować prawdziwe: mogą unosić się z wiatrem jak pyłek roślin, replikować się szybko i obrócić biosferę w perzynę w ciągu paru dni. Groźne replikatory mogą być zbyt wytrzymałe, zbyt małe i rozprzestrzeniać się zbyt szybko, by dało się je powstrzymać — zwłaszcza jeżeli nie poczynimy żadnych przygotowań. Wystarczą nam kłopoty z opanowaniem wirusów i muszek owocowych.

Wśród znawców nanotechnologii to zagrożenie znane jest jako „problem szarego szlamu”.[13] Mimo że masy niekontrolowanych replikatorów nie muszą być szare ani lepkie, w terminie „szary szlam” położono nacisk na to, że w replikatorach zdolnych unicestwić życie może być mniej uroku niż w jednym gatunku trawy. Mogą mieć przewagę w ewolucyjnym sensie, ale to nie musi sprawiać, że są wartościowe.

Groźba szarego szlamu oznacza dla nas jedno: nie możemy sobie pozwolić na pewien rodzaj wypadków z asemblerami zdolnymi do replikacji.

Szary szlam byłby z pewnością smutnym końcem naszej przygody na Ziemi, znacznie gorszym od ognia czy lodu, a jednak może być skutkiem zwyczajnego wypadku w laboratorium.[14] Ups.

Przede wszystkim ta destruktywna moc samoreplikacji w genetyce, nanotechnologii i robotyce (GNR) powinna spowodować nasze wahanie. Samoreplikacja stanowi modus operandi inżynierii genetycznej, która wykorzystuje mechanizmy komórki do powielania swoich projektów, oraz jest głównym zagrożeniem, jakie leży u podłoża szarego szlamu w nanotechnologii. Historie o szalonych robotach, takich jak Borg, które drogą replikacji i mutacji próbują uciec od etycznych nakazów i zakazów nałożonych na nie przez ich twórców, zapełniają nasze książki i filmy science fiction. Niewykluczone, że samoreplikacja jest zjawiskiem bardziej fundamentalnym niż sądzimy, a stąd trudniejszym bądź nawet niemożliwym do kontrolowania. Niedawny artykuł Stuarta Kauffmana w Nature zatytułowany „Self-Replication: Even Peptides Do It” omawia odkrycie, że peptydy 32-aminokwasu mogą „autokatalizować swoją własną syntezę”. Nie wiemy, jak powszechna jest to zdolność, ale Kauffman stwierdza, że może ona wskazywać „drogę do systemów molekularnych powielających się samoczynnie w zakresie znacznie szerszym od replikacji Watsona-Cricka”.[15]

Oczywiste ostrzeżenia przed groźbą kryjącą się w powszechnej znajomości technologii GNR — wiedzy, która może wystarczyć do masowego rażenia — naprawdę są pod ręką od wielu lat. Jednak te ostrzeżenia nie były szerzej publikowane; publiczne dyskusje są jawnie niedostateczne. Nie ma żadnego zysku w opisywaniu zagrożeń.

Nuklearne, biologiczne i chemiczne (NBC) technologie używane w dwudziestowiecznej broni masowego rażenia były i są przeznaczone dla wojska, i rozwijane w rządowych laboratoriach. W odróżnieniu od nich, technologie GNR w wieku XXI mają jawnie komercyjne zastosowania, a rozwija się je niemal wyłącznie w przedsiębiorstwach korporacji. W wieku triumfującego komercjalizmu technologia — wraz z nauką jako jej niewolnicą — dostarcza serii prawie magicznych innowacji, które jak dotychczas są wprost fenomenalnie lukratywne. Otoczeni już teraz niekwestionowanym systemem globalnego kapitalizmu z rozmaitymi bodźcami finansowymi i konkurencyjnymi naciskami, dążymy agresywnie do spełnienia obietnic nowych technologii.

Po raz pierwszy w dziejach naszej planety któryś z żyjących na niej gatunków w wyniku swych własnych dobrowolnych działań stał się zagrożeniem dla samego siebie, jak również dla olbrzymiej rzeszy pozostałych gatunków.

[ … ]

Typowy przebieg wydarzeń, obowiązujący dla wielu światów, mógłby wyglądać następująco: nowo powstała planeta okrąża spokojnie swoją gwiazdę; stopniowo na planecie rodzi się życie; w procesie ewolucji przewijają się jak w kalejdoskopie różnorodne, coraz bardziej rozwinięte stworzenia; pojawiają się istoty rozumne, dzięki inteligencji ich zdolność przetrwania, przynajmniej do czasu, znacznie się zwiększa; istoty te wynajdują technikę i przychodzi im do głowy, że jest coś takiego jak prawa przyrody, które można poznać na drodze eksperymentalnej, a których znajomość może być wykorzystana na niespotykaną dotychczas skalę zarówno dla ratowania życia, jak i zabijania. Istoty te poznają, że nauka daje ogromną władzę. W okamgnieniu tworzą środki techniczne zdolne zmienić świat. Niektóre z planetarnych cywilizacji uświadamiają sobie zagrożenie, nakładają ograniczenia, które wyznaczyłyby, co jest dopuszczalne, a co nie, i udaje im się pomyślnie przetrwać niebezpieczny okres — inne zaś, czyli te, którym zabrakło rozwagi lub szczęścia, po prostu giną.[16]

To słowa Carla Sagana w książce Błękitna kropka z 1994 roku, w której opisuje swoją wizję przyszłości ludzi w kosmosie. Dopiero teraz zaczynam rozumieć, jak bardzo głębokie było jego spojrzenie i jak bolesny jest i będzie dla mnie brak jego głosu. Mimo całej swady, wystąpienia Sagana nie były pozbawione zdrowego rozsądku — przymiotu, którego wraz pokorą, wydaje się brakować wielu orędownikom technologii XXI wieku.

Pamiętam z dzieciństwa, że moja babka była bardzo przeciwna antybiotykom w dużych dawkach. Pracowała od czasu sprzed pierwszej wojny światowej jako pielęgniarka i miała zdroworozsądkowy pogląd, że zażywanie antybiotyków, kiedy nie są absolutnie konieczne, jest szkodliwe.

Nie to, żeby była wrogiem postępu. Widziała wiele postępu w czasie 70 lat swojej pracy pielęgniarki; mój dziadek, który był cukrzykiem, bardzo skorzystał na nowych środkach leczenia, które stały się dostępne za jego życia. Jednak jak wiele rozważnych osób, moja babka uważałaby zapewne, że jest bezczelnością z naszej strony projektować teraz „nowe gatunki”, gdy wyraźnie nie dajemy sobie rady z tym, by działały rzeczy stosunkowo proste, nie potrafimy sobą kierować ani nawet siebie zrozumieć.

Teraz wiem, że czuła, na czym polega porządek życia, szacunek dla tego porządku i życie w zgodzie z nim. Z tego szacunku płynie niezbędna pokora, której my, ze swą hucpą z początku XXI wieku, nie mamy na swoją zgubę. Pogląd zdrowego rozsądku ugruntowany na poszanowaniu bywa często trafny i uprzedza naukowe dowody. Oczywista kruchość i wady systemów budowanych przez człowieka powinny spowodować chwilę wahania i zastanowienia; kruchość systemów, nad którymi sam pracuję, z pewnością uczy mnie pokory.

Powinniśmy byli wyciągnąć lekcję z tworzenia pierwszej bomby atomowej i późniejszego wyścigu zbrojeń. Nie wypadliśmy wtedy dobrze, a podobieństwa do naszej obecnej sytuacji są niepokojące.

Pracom nad pierwszą bombą atomową przewodził świetny fizyk J. Robert Oppenheimer. Nie interesowała go polityka, ale zaczął mieć bolesną świadomość czegoś, co uznał za ogromne zagrożenie dla cywilizacji zachodniej ze strony Trzeciej Rzeszy, zagrożenie z pewnością ogromne ze względu na to, że Hitler mógł uzyskać broń nuklearną.[17] Powodowany tym niepokojem Oppenheimer wniósł swój wybitny intelekt, pasję dla fizyki i charyzmatyczne zdolności przywódcze do Los Alamos i stanął na czele ogromnego i uwieńczonego powodzeniem wysiłku niebywałego zgromadzenia wielkich umysłów, by jak najszybciej wynaleźć bombę.

Uderzające, w jak naturalny sposób prace te toczyły się nadal po ustaniu pierwotnej przyczyny. Niedługo po dniu zwycięstwa w Europie, podczas spotkania z fizykami, którzy sądzili, że być może należy zaprzestać prac, Oppenheimer nalegał, żeby ich nie przerywać. Racja jaką wtedy podał, wydaje się nieco dziwna; nalegał nie z powodu obawy przed wielką liczbą ofiar w razie inwazji na Japonię, ale dlatego, że Narody Zjednoczone, które miały wkrótce powstać, powinny się dowiedzieć o [istnieniu] broni atomowej. Projekt toczył się raczej z powodu rozpędu, jakiego nabrał — pierwsza próba atomowa, Trinity, była bardzo blisko.[18]

Wiemy, że, przygotowując ten pierwszy test atomowy, fizycy prowadzili prace mimo wielu możliwych zagrożeń. Na podstawie obliczeń, które wykonał Edward Teller, obawiali się początkowo, że atomowa eksplozja może wywołać zapłon atmosfery.[19] Poprawione obliczenia obniżyły szansę unicestwienia świata do trzech na milion. (Teller mówi, że mógł później wykluczyć przewidywania zapłonu atmosfery całkowicie.) Jednak Oppenheimer tak bardzo niepokoił się o wynik testu Trinity, że postarał się zapewnić ewakuację południowo-zachodniej części stanu Nowy Meksyk. Poza tym istniało oczywiście niebezpieczeństwo rozpoczęcia wyścigu zbrojeń nuklearnych.

Przed upływem miesiąca od tego pierwszego udanego testu dwie bomby atomowe zniszczyły Hiroszimę i Nagasaki. Niektórzy uczeni proponowali, żeby bomba została raczej zademonstrowana niż zrzucona na japońskie miasta — twierdzili, że to by bardzo poprawiło szanse kontroli zbrojeń po wojnie — jednak bezskutecznie. Kiedy w umysłach Amerykanów żyła pamięć tragedii Perl Harbor, niezwykle trudno byłoby prezydentowi Trumanowi wydać rozkaz demonstracji zamiast użycia tej broni — pragnienie, żeby szybko zakończyć wojnę i uniknąć ofiar, jakie przyniosłaby inwazja na Japonię, było bardzo silne. Ale zapewne rozstrzygnęło coś bardzo prostego. Jak powiedział później fizyk Freeman Dyson: „Zrzucono ją, bo po prostu nikt nie miał odwagi powiedzieć — nie”.

Ważne, by zdać sobie sprawę, że gdy 6 sierpnia 1945 roku zrzucono bombę na Hiroszimę, fizycy przeżyli szok. Opisują emocje nadchodzące falami: najpierw poczucie spełnienia, bo bomba działa, potem grozę ogromnej liczby ofiar, a potem uczucie, że pod żadnym pozorem nie wolno zrzucać drugiej bomby. Jednak, oczywiście, druga bomba została zrzucona na Nagasaki, już w trzy dni po zbombardowaniu Hiroszimy.

Oppenheimer w listopadzie 1945 roku po trzech miesiącach od bombardowań atomowych opowiedział się stanowczo za postawą naukową: „Nie można być uczonym, jeżeli nie sądzi się, że wiedza o świecie i władza, jaką ona daje, ma dla ludzkości wartość samoistną, a używa się jej, by poszerzyć wiedzę i jest się gotowym ponieść konsekwencje”.

Oppenheimer wraz z innymi zaczął pracę nad raportem Achesona-Lilienthala, który, jak mówi Richard Rhodes w swojej nowej książce Visions of Technology, „znalazł sposób, by zapobiec wyścigowi tajnych zbrojeń nuklearnych bez uciekania się do zbrojnego rządu światowego”; ich plan przewidywał zrzeczenie się prac nad bronią nuklearną przez państwa narodowe na rzecz agencji międzynarodowej.

Propozycja ta doprowadziła do planu Barucha, przedstawionego w czerwcu 1946 roku Narodom Zjednoczonym, który jednak nigdy nie został przyjęty (zapewne dlatego, że, jak przypuszcza Rhodes, Bernard Baruch „nalegał na obłożenie planu sankcjami konwencjonalnymi”, czym przesądził o jego losie, jakkolwiek ten plan „tak czy inaczej prawie na pewno odrzuciłaby stalinowska Rosja”). Inne wysiłki, żeby poddać energię nuklearną międzynarodowej kontroli i zapobiec wyścigowi zbrojeń, spełzły na niczym bądź ze względu na politykę U.S.A. i brak wewnętrznego poparcia, bądź z powodu nieufności Sowietów. Możliwość uniknięcia wyścigu zbrojeń została stracona i to bardzo szybko.

Dwa lata później, w roku 1948, Oppenheimer musiał myśleć inaczej, gdy powiedział: „W jakimś surowym sensie, którego nie da się pokryć żadnym grubiaństwem, dowcipem ani przesadą, fizycy poznali, co to grzech; a to jest wiedza, której nie mogą tracić”.

Sowieci w 1949 roku dokonali eksplozji bomby atomowej. Do 1955 roku U.S.A. i Związek Sowiecki miały za sobą testy bomb wodorowych przenoszonych przez samoloty. I tak rozpoczął się wyścig zbrojeń nuklearnych.

Prawie 20 lat temu, w dokumentalnym programie The Day After Trinity Freeman Dyson podał podsumowanie naukowych postaw, które doprowadziły nas nad skraj nuklearnej przepaści.

„Ja też to poczułem. Olśnienie bronią nuklearną. Dla naukowca jest nieodparta. Czuć ją w ręku, wyzwolić tę energię, która rozpala gwiazdy, pozwolić jej spełniać nasze rozkazy. Dokonywać cudów, unosić w niebo miliony ton skały. Jest to coś, co daje ludziom złudzenie bezgranicznej mocy, coś, co w pewien sposób odpowiada za wszystkie trudności — ta, jeżeli można tak powiedzieć, techniczna arogancja, która ogarnia ludzi, kiedy widzą, co potrafią zrobić dzięki swoim umysłom.”[20]

Jak wtedy, tak i teraz jesteśmy twórcami nowych technologii i gwiazd wyobrażonej przyszłości, pędzimy — kierowani tym razem przez wielką finansową korzyść oraz konkurencję — mimo niebezpieczeństw, bez zastanowienia, co z nami będzie, gdy spróbujemy żyć w świecie, jaki zapewne stanowi realistyczny wynik tego, co sobie wyobrażamy i tworzymy.

————

Od 1947 roku The Bulletin of the Atomic Scientists zamieszcza na okładce zegar dnia Sądu Ostatecznego. Przez ponad 50 lat zegar ten wskazywał ocenę względnego zagrożenia nuklearnego zależnie od zmiennych warunków międzynarodowych. Wskazówki przesuwane dotychczas 15 razy pokazują dziś za 9 dwunastą, co jest odbiciem nieprzerwanego i rzeczywistego zagrożenia, jakie stanowi broń nuklearna. Lista państw uzbrojonych w broń nuklearną powiększyła się ostatnio o Indie i Pakistan, więc groźba, że nieproliferacja zakończy się fiaskiem, wzrosła, co znalazło odbicie w przesunięciu wskazówek ku dwunastej w roku 1998.

Jak wielkie jest obecnie zagrożenie w postaci nie tylko broni nuklearnej, lecz także wszystkich tych technologii? Jak wysokie jest ryzyko wyginięcia?

Filozof John Leslie badał to zagadnienie i według niego ryzyko wyginięcia człowieka wynosi przynajmniej 30 procent,[21] tymczasem Ray Kurzweil uważa, że mamy teraz „więcej niż połowę szans, że nam się uda” z zastrzeżeniem, że „zawsze był uważany za optymistę”. Oceny te są nie tylko mało zachęcające, ale nie biorą pod uwagę wielu pełnych grozy wyników, równych niemal wyginięciu człowieka.

Wobec takich przewidywań wielu poważnych ludzi powiada, że trzeba możliwie szybko przenieść się poza Ziemię. Skolonizujmy galaktykę, stosując sondy von Neumanna, które przeskakują pomiędzy układami słonecznymi i replikują się po drodze. Ten krok prawie na pewno będzie konieczny za 5 miliardów lat (bądź wcześniej, jeżeli nasz układ słoneczny zderzy się z Wielką Mgławicą Andromedy, co czeka nas przed upływem następnych 3 miliardów lat), ale —jeżeli wierzyć Kurzweilowi i Moravecowi — może okazać się konieczny już w połowie tego stulecia.

Co stąd wynika w sensie moralnym? Jeżeli już niebawem trzeba będzie przenieść się poza Ziemię dla zachowania gatunku, kto weźmie odpowiedzialność za tych (a będzie to większość z nas), którzy pozostaną na miejscu? A jeżeli nawet uda się nam uciec do gwiazd, czy nie wydaje się, że weźmiemy ze sobą nasze problemy lub odkryjemy, że przybyły za nami?

Inny sposób to wznieść szereg osłon przed groźnymi technologiami. Inicjatywa obrony strategicznej, wysunięta przez administrację Reagana, była projektem takiej tarczy przeciwko groźbie nuklearnego ataku ze strony Związku Sowieckiego. Jednak Arthur C. Clarke, wtajemniczony w dyskusje wokół tego projektu, powiedział, że: „Chociaż można by było, wielkim kosztem, zbudować systemy obrony lokalnej, które by przepuszczały `tylko´ kilka procent pocisków balistycznych, to gwałtownie forsowana idea narodowego parasola była nonsensem. Luis Alvarez, bodaj największy fizyk doświadczalny tego stulecia, zauważył w rozmowie ze mną, że zwolennicy takich planów są `bardzo bystrymi facetami bez krzty zdrowego rozsądku´”.

Clark mówił dalej: „Patrząc w swoją często zamgloną kryształową kulę, przypuszczam, że totalna obrona mogłaby być w rzeczy samej możliwa za około sto lat. Ale wymagana w niej technologia wytworzyłaby jako dodatkowy produkt tak straszną broń, że nikt by się nie przejmował czymś równie prymitywnym jak pociski balistyczne”.[22]

Eric Drexler w Engines of Creation proponował budowę aktywnej tarczy nanotechnologicznej — formy systemu immunologicznego dla biosfery — do obrony przed wszelkiego rodzaju replikatorami, które mogą uciec z laboratoriów lub zostać stworzone ze złym zamiarem. Ale tarcza, którą zaproponował, sama jest skrajnie niebezpieczna — nic by nas nie chroniło przed tym, że sama mogłaby zapaść na autoimmunologiczne schorzenie i zaatakować biosferę.[23]

Podobne trudności są związane z budową osłon przeciw robotyce i inżynierii genetycznej. Technologie te mają zbyt dużą moc, aby bronić się przed nimi przez czas godny uwagi; gdyby nawet było możliwe zbudowanie tarcz ochronnych, uboczne skutki ich opracowania okazałyby się co najmniej tak groźne, jak technologie, przed którymi chcielibyśmy się chronić.

Możliwości te zatem są niepożądane albo nieosiągalne, albo jedno i drugie. Jedyną realistyczną alternatywą jest, według mnie, zrzeczenie się prac: ograniczenie rozwoju technologii, które są zbyt niebezpieczne, przez ograniczenie naszych badań w pewnych dziedzinach wiedzy.[24]

Wiem, wiedza jest cenna, jak cenne jest poszukiwanie nowych prawd. Wiedzy szukamy od czasów starożytnych. Arystoteles otworzył swoją Metafizykę prostym zdaniem: „Wszyscy ludzie z natury dążą do poznania”.[25] Za nienaruszalną wartość uznajemy w naszym społeczeństwie od dawna swobodę dostępu do informacji i doceniamy problemy, jakie powstają, gdy próbuje się ograniczać dostęp do wiedzy lub jej rozwój. W czasach najnowszych darzymy szacunkiem wiedzę naukową.

Ale jeżeli, mimo tak mocnego oparcia w przeszłości, otwarty dostęp do wiedzy i jej rozwój bez ograniczeń grozi nam unicestwieniem, to zdrowy rozsądek nakazuje rozważyć na nowo nawet te podstawowe i obowiązujące od dawna zasady.

Pod koniec XIX wieku Nietzsche ostrzega nie tylko, że Bóg umarł, ale że „wiara w naukę, której istnieniu niepodobna zaprzeczyć, nie może zawdzięczać swego powstania rachubie korzyści; musiała powstać wbrew temu, że bezużyteczność i niebezpieczeństwa `woli prawdy´, `prawdy za wszelką cenę´ są jej dowodzone nieustannie”. Oto niebezpieczeństwo, przed którym teraz stajemy — konsekwencje naszych poszukiwań prawdy. Prawdę, jakiej szuka nauka, z pewnością można uznać za groźny substytut Boga, jeżeli zapewne prawda ta doprowadzi do naszej zagłady.

Gdybyśmy jako gatunek potrafili uzgodnić, czego chcemy, dokąd zmierzamy i dlaczego, nasza przyszłość stałaby się mniej niebezpieczna — wtedy udałoby się nam zrozumieć, czego można i należy się wyrzec. W przeciwnym razie możemy z łatwością wyobrazić sobie wyścig zbrojeń wszczęty wokół nowych technologii GNR, jak wcześniej wokół technologii NBC w XX wieku. Zapewne jest to największe ryzyko, gdyż kiedy taki wyścig się rozpocznie, trudno go zakończyć. Obecnie — inaczej niż podczas projektu Manhattan — nie jesteśmy w stanie wojny i nie stoimy wobec nieubłaganego wroga, który zagraża naszej cywilizacji; kierują nami natomiast nasze nawyki, pragnienia, system gospodarczy oraz konkurencyjna potrzeba, by wiedzieć.

Wierzę że wszyscy chcemy, aby naszą drogę wyznaczały zbiorowe wartości, etyka i moralność. Gdybyśmy w ciągu ostatnich kilku tysięcy lat nabyli więcej zbiorowej mądrości, dialog w takim celu byłby bardziej praktyczny, zaś niewiarygodne siły, które właśnie mamy obudzić, znacznie mniej niepokojące.

Można by sądzić, że do takiego dialogu powinien nas skłonić instynkt samozachowawczy. Niewątpliwie czują go jednostki, ale jako gatunek zachowujemy się w sposób, który nie wydaje się działać na naszą korzyść. Mając do czynienia z nuklearnym zagrożeniem, mówiliśmy często rzeczy nieuczciwe sobie oraz innym, zwiększając przez to ogromnie niebezpieczeństwo. Czy stały za tym racje polityczne, czy nie chcieliśmy myśleć w dłuższej perspektywie, czy też wobec tak poważnych zagrożeń działaliśmy irracjonalnie ze strachu, nie wiem, ale to nie wróży dobrze.

Może tego nie widzimy, ale nowa puszka Pandory z genetyką, nanotechnologią i robotyką jest prawie otwarta. Do niej nie da się już z powrotem włożyć idei; idee inaczej niż uran czy pluton nie wymagają wydobycia w kopalniach ani wzbogacania w rafineriach i dają się dowolnie powielać. Kiedy raz staną się wolne, są wolne na zawsze. Sławny jest dwuznaczny komplement Churchilla, że Amerykanie i ich przywódcy „zawsze robią właściwą rzecz, po zapoznaniu się z każdą inną alternatywą”. Jednak w tym przypadku musimy działać bardziej przewidująco, gdyż, robiąc właściwą rzecz dopiero na koniec, mamy szansę nie zrobić jej wcale.

Jak powiedział Thoreau: „Nie przejedziemy się koleją; kolej przejedzie się po nas”;[26] i otóż z tym walczymy teraz, w naszych czasach. Pytanie brzmi naprawdę: Co weźmie górę? Czy przetrwamy własne technologie?

Podążamy w nowe stulecie bez planu, sterowania i hamulców. Czy jesteśmy za daleko, żeby zmienić drogę?  Nie sądzę, ale nawet nie próbujemy, a ostatnia szansa, by zacząć kierować — ten punkt, skąd można się cofnąć — zbliża się szybko. Mamy  pierwsze roboty w roli domowych zwierzątek i pierwsze komercyjne techniki inżynierii genetycznej, zaś nasze techniki nanoskalowe rozwijają się w szybkim tempie. Chociaż rozwój tych technologii jest wielostopniowy, ostateczny krok do sprawdzenia pewnej technologii niekoniecznie musi być — jak w przypadku projektu Manhattan i testu Trinity — wielki i trudny. Skok do gwałtownej samoreplikacji w robotyce, inżynierii genetycznej lub nanotechnologii może nastąpić nagle i wywołać takie zaskoczenie, jak wtedy, gdy usłyszeliśmy o klonowaniu ssaka.

A jednak wierzę, że jest mocna podstawa, by nie tracić nadziei. Nasze starania, aby rozwiązać sprawę broni masowego rażenia w minionym wieku, dostarczają dobrego przykładu zrzeczenia się, jakie warto rozważyć: chodzi o dobrowolne, jednostronne i bezwarunkowe zaprzestanie prac nad bronią biologiczną przez Stany Zjednoczone.[27] Wynikło ono ze zrozumienia, że gdy trzeba ogromnych nakładów, by tworzyć te straszliwe rodzaje broni, są to rodzaje broni, które potem z łatwością mogą być duplikowane i wpadną w ręce zbrodniczych państw lub grup terrorystycznych. Wniosek był jasny: pracując nad rozwojem tych broni, stworzymy dodatkowe zagrożenia dla siebie i znacznie bezpieczniej będzie ich nie rozwijać. Nasze zrzeczenie się broni biologicznej i chemicznej zawarliśmy w konwencji z roku 1972 w sprawie broni biologicznej, Biological Weapons Convention (BWC) oraz broni chemicznej z roku 1993, Chemical Weapons Convention (CWC).[28]

Co się tyczy nieustannego zagrożenia nuklearnego, w jakim żyjemy od przeszło pięćdziesięciu lat, odrzucenie ostatnio przez Senat U.S.A. traktatu o całkowitym zakazie prób jądrowych świadczy, że zrzeczenie się broni nuklearnej będzie niełatwe politycznie. Mamy jednak wyjątkową okazję z końcem zimnej wojny, żeby odsunąć groźbę wielostronnego wyścigu zbrojeń. Wzorowany na konwencjach BWC i CWC, skuteczny zakaz w sprawie broni nuklearnej, mógłby wytworzyć obyczaj zrzekania się niebezpiecznych technologii. (W istocie, pozbywając się całej broni nuklearnej na świecie z wyjątkiem 100 sztuk, czyli całej siły rażenia jaka została wyzwolona w czasie II wojny światowej, lecz w znacznie prostszej postaci, możemy usunąć tę groźbę unicestwienia gatunku.[29])

Sprawdzanie, czy zakazy są przestrzegane, jest zadaniem, co prawda, trudnym, ale możliwym do rozwiązania. W związku z BWC i innymi traktatami mieliśmy szczęście wykonać już wiele odpowiedniej pracy tego rodzaju. Naszym głównym zadaniem będzie zastosowanie jej do technologii, które z natury są znacznie bardziej komercyjne niż technologia militarna. Nieodzowna do tego będzie jawność, gdyż trudności ze sprawdzaniem są wprost proporcjonalne do trudności z odróżnieniem działań zakazanych od uprawnionych.

Naprawdę wierzę, że sytuacja w 1945 roku była prostsza niż teraz: technologie nuklearne dawały się wtedy podzielić na komercyjne i militarne, zaś monitoring ułatwiała sama natura prób atomowych i prostota pomiarów promieniowania. Badania nad zastosowaniami wojskowymi mogły przebiegać w państwowych laboratoriach, takich jak Los Alamos, gdzie wyniki miały pozostawać w tajemnicy jak najdłużej.

Technologie GNR nie dzielą się jasno na komercyjne i militarne; biorąc pod uwagę ich potencjał rynkowy, trudno sobie wyobrazić, że będą rozwijane tylko w państwowych laboratoriach. Powszechnie prowadzone badania komercyjne będą wymagać nadzoru, podobnie jak bronie biologiczne, ale na niespotykaną skalę. To nieuchronnie wzbudzi napięcia między dobrami osobistymi i tajemnicą handlową, a potrzebą kontroli dla ochrony nas wszystkich. Bez wątpienia pojawi się silny opór przeciw ograniczaniu prywatności i wolności działania.

Kontrola dotycząca niektórych technologii GNR będzie musiała obejmować zarówno fizyczne urządzenia, jak i cyberprzestrzeń. Najtrudniej będzie sprawić, żeby niezbędna jawność była do przyjęcia dla świata handlowych tajemnic  —  wprowadzając zapewne nowe formy ochrony własności intelektualnej.

Kontrola będzie wymagać także, aby uczeni i inżynierowie przyjęli w swoim postępowaniu surowy kodeks etyczny na wzór przysięgi Hipokratesa i mieli odwagę uderzyć na alarm w razie konieczności, nawet za cenę wysokich osobistych kosztów. Odpowiedzą tym na apel — w 50 lat po Hiroszimie — Hansa Bethego, laureata nagrody Nobla i najstarszego z żyjących uczestników projektu Manhattan, by uczeni „wstrzymali i odstąpili od prac nad tworzeniem, rozwijaniem, ulepszaniem oraz wytwarzaniem broni jądrowej i innych broni potencjalnie masowego rażenia”.[30] Aby w XXI wieku uniknąć rozwijania broni masowego rażenia i broni masowego rażenia z wiedzy, będzie to wymagać czujności i osobistej odpowiedzialności ze strony zarówno tych, którzy pracują nad technologiami NBC, jak i GNR.

Thoreau powiedział jeszcze, że będziemy „bogatsi o wiele rzeczy, bez których możemy się obejść”. Wszyscy pragniemy być szczęśliwi, ale trzeba się chyba zastanowić, czy warto podjąć tak wielkie ryzyko całkowitego zniszczenia, żeby zdobyć jeszcze większą wiedzę i jeszcze więcej rzeczy; zdrowy rozsądek podpowiada, że muszą być jakieś granice potrzeb materialnych — oraz, że pewna wiedza jest zbyt groźna i lepiej jej sobie odmówić.

Nie powinniśmy dążyć do stanu bliskiego nieśmiertelności bez rozpatrzenia kosztów, bez rozważenia współmiernego wzrostu ryzyka zagłady. Nieśmiertelność nie jest jedynym możliwym, chociaż zapewne pierwotnym, utopijnym marzeniem.

Ostatnio miałem szczęście poznać wybitnego pisarza i uczonego Jacquesa Attalię, którego książka, Lignes d’horizons (Millenium w angielskim przekładzie), była jedną z inspiracji dla podejścia Javy i Jini do powszechnego przetwarzania danych w nadchodzącym okresie, o czym mowa w innym miejscu w tym magazynie. W nowej książkce, Fraternités, Attali opisuje jak zmieniały się w czasie nasze utopijne marzenia.

„Na początku człowiek widział swoje życie na Ziemi jako labirynt bólu, z którego wyjście wiodło, poprzez śmierć, do bogów i Wieczności. Pośród Żydów, później Greków znaleźli się tacy, którzy, uwolniwszy się od teologii, marzyli o mieście idealnym, w którym kwitłaby Wolność. Widząc, że w społeczeństwie rynkowym wolność jednych powoduje alienację innych, zaczęliśmy myśleć o Równości”.[31]

Jacques pomógł mi zrozumieć, że w naszym współczesnym społeczeństwie te trzy utopijne cele istnieją we wzajemnym napięciu. Opisuje on dalej czwartą utopię, Braterstwo, której podstawą jest altruizm. Braterstwo łączy szczęście osobiste ze szczęściem innych i składa obietnicę materialnej samowystarczalności.[32]

Tak skrystalizowała się moja wątpliwość co do utopii Kurzweila. Technologiczne podejście do wieczności — do stanu bliskiego nieśmiertelności poprzez robotykę — nie musi być dążeniem do najbardziej pożądanej utopii, a niesie z sobą oczywiste zagrożenia. Być może powinniśmy przemyśleć wybór utopii raz jeszcze.

Gdzie mamy szukać nowej podstawy etycznej, która pomoże nam obrać kurs? Mnie pomogła książka Ethics for the New Millenium pióra Dalaj Lamy. Jak zapewne każdy dobrze wie, chociaż rzadko kto na to zważa, Dalaj Lama głosi, że najważniejszą rzeczą dla nas jest kierowanie się w życiu miłością i współczuciem dla innych oraz że nasze społeczeństwa muszą wykształcić w sobie większe poczucie powszechnej odpowiedzialności i naszej współzależności; Dalaj Lama podaje zasadę etycznego postępowania dla jednostek i społeczeństw, która wydaje się współgrać z utopią Braterstwa u Attalego.

Potem Dalaj Lama mówi, że musimy zrozumieć, co sprawia, że ludzie są szczęśliwi i uznać poważne świadectwa, że ani materialny postęp, ani pogoń za władzą, która leży w wiedzy, nie jest kluczem — istnieją granice tego, co nauka i poszukiwania naukowe mogą zrobić same dla szczęścia.

Nasze zachodnie pojęcie szczęścia pochodzi od Greków, którzy określali je jako „działanie duszy zgodne z wymogami najwyższego i najlepszego rodzaju w życiu, które osiągnęło pewną długość”.[33]

W takim razie potrzebne są nam w życiu prawdziwe pytania i dostateczny cel, jeżeli mamy być szczęśliwi w przyszłości, jaka by ona nie była. Jednak sądzę, że musimy znaleźć ujście dla naszych twórczych sił poza kulturą ciągłego ekonomicznego wzrostu; ten wzrost przez ostatnie kilkaset lat był przeważnie błogosławieństwem, lecz nie przyniósł nam niezmąconego szczęścia i musimy teraz wybierać pomiędzy dążeniem do nieograniczonego wzrostu poprzez naukę i technologię oraz jawnymi zagrożeniami, które mu towarzyszą.

————

Od pierwszego spotkania z Rayem Kurzweilem i Johnem Searle minął przeszło rok. Dziś źródłem nadziei są dla mnie głosy wzywające do ostrożności i zaniechania oraz wszyscy ci ludzie, którzy, jak odkryłem, są przejęci naszym obecnym położeniem nie mniej niż ja. Czuję także głębszą odpowiedzialność — nie za pracę, którą już wykonałem, ale pracę, którą mogę jeszcze wykonać na zbiegu dyscyplin.

Jednak inni, którzy są świadomi zagrożeń, wciąż zachowują niezrozumiałe milczenie. Naciskani rzucają odpowiedź: „To nic nowego” — jakby dość było wiedzieć, co może się stać. Mówią mi, że uniwersytety są pełne bioetyków badających tę sprawę bez przerwy. Mówią, że wszystko to już zostało opisane i to przez ekspertów. Dla nich moje obawy i rozważania nie są żadnym odkryciem.

Nie mam pojęcia, gdzie podział się strach tych ludzi. Jako architekt złożonych systemów mogę mówić o tych sprawach z ogólnego punku widzenia. Ale czy przez to moje obawy mają być mniejsze? Wiem, że wiele pisano, mówiono i wykładano bardzo autorytatywnie. Ale czy to dociera do ogółu? Czy mamy prawo pomniejszać zagrożenie?

Wiedząc, nie mamy wymówki dla braku działania. Czy można wątpić, że wiedza stała się bronią, którą zwracamy przeciw sobie?

To, co przeżyli uczeni atomowi, jasno wskazuje potrzebę, by wziąć osobistą odpowiedzialność, zagrożenie, że sprawy zajdą za daleko, i sposób, w jaki przedsięwzięcie zaczyna żyć własnym życiem. Podobnie jak oni, możemy niemal od razu wywołać problemy nie do rozwiązania. Musimy więcej myśleć zawczasu, jeżeli nie mamy być równie zaskoczeni i wstrząśnięci skutkami swoich odkryć.

W swoim zawodzie ciągle pracuję nad podwyższaniem niezawodności oprogramowania. Oprogramowanie jest narzędziem i jako twórca narzędzi muszę stale borykać się z tym, jak moje narzędzia bywają używane. Zawsze wierzyłem, że dzięki bardziej niezawodnemu oprogramowaniu, zważywszy tak wiele różnych zastosowań dla oprogramowania, świat będzie miejscem bezpieczniejszym i lepszym; gdybym miał kiedyś uwierzyć, że jest przeciwnie, byłbym moralnie zobowiązany do przerwania tej pracy. Potrafię teraz wyobrazić sobie, że taki dzień może nadejść.

Nie robię się od tego zły, ale nieco melancholijny. Odtąd, dla mnie, postęp będzie mieć smak trochę gorzki.

————

Czy pamiętacie uroczą scenę pod koniec Manhattanu, gdy Woody Allen leży na kanapie i nagrywa na taśmie pomysł na opowiadanie? Chce opisać ludzi, którzy stwarzają sobie zbędne, neurotyczne problemy, bo mogą dzięki temu nie zajmować się dużo bardziej nierozwiązalnymi i zastraszającymi problemami wszechświata.

To go doprowadza do pytania: „Czy warto żyć?” i rozważań o tym, co sprawia, że jego zdaniem warto: Groucho Marx, Willie Mays, druga część Symfonii Jowiszowej, Potato Head Blues w wykonaniu Louisa Armstronga, szwedzkie filmy, Edukacja Sentymantalna Flauberta, Marlon Brando, Frank Sinatra, jabłka i gruszki Cézannne’a, kraby u Sama Wo, a wreszcie, pointa tej sceny, twarz ukochanej Tracy.

Każdy z nas ma rzeczy, które uważa za cenne, a gdy troszczymy się o nie, poświęcamy im cząstkę swojego człowieczeństwa. W tej naszej ogromnie pojemnej trosce widzę ostatnią nadzieję, że stawimy czoła groźnym problemom, jakie stoją przed nami.

Na razie chciałbym wziąć udział w znacznie szerszej dyskusji o poruszonych tu sprawach, z ludźmi z wielu różnych dziedzin, którzy nie będą zwolennikami albo przeciwnikami technologii jako takiej.

O wielu tych sprawach zdążyłem już wspomnieć dwukrotnie na spotkaniach sponsorowanych przez Aspen Institute i osobno zwróciłem się do American Academy of Arts and Science, by zajęła się nimi w ramach przygotowań do konferencji ruchu Pugwash. (Te konferencje organizuje się od 1957 roku, by dyskutować o kontroli zbrojeń, w tym zwłaszcza broni nuklearnej, i opracować skuteczne procedury.)

Niestety, spotkania Pugwash rozpoczęły się na długo po tym, jak nuklearny dżinn wydostał się z butelki — czyli około 15 lat za późno. Spóźniamy się również z podjęciem zagadnień dotyczących technologii XXI wieku — z prewencją dotyczącą masowego rażenia z wiedzy — więc dłużej nie można czekać.

Trzeba nauczyć się wielu rzeczy; zatem nadal szukam. Jeszcze nie jest jasne, czy wygramy, czy przegramy, przetrwamy, czy zginiemy przez te technologie. Znów siedzę do późna — jest prawie szósta rano. Próbuję zobaczyć pełniejsze odpowiedzi, rozproszyć czar i wydobyć je z kamienia.

Glenn Yeffeth (redakcja): Wybierz czerwoną pigułkę, Wydawnictwo Helion, 2003

---

Przypisy

[1]   Fragment cytowany przez Kurzweila jest częścią dokumentu, który Kaczynski nazwał Unabomber Manifesto, wydrukowanego pod przymusem wspólnie przez The New York Times i The Washington Post, co było próbą położenia kresu terrorystycznej kampanii Kaczynskiego. Zgadzam się z tym, co David Gelernter powiedział na temat decyzji obu gazet:

„Sprawa była trudna dla obu gazet. Zgoda oznaczała ustępstwo wobec terroryzmu, a z tego, co wiedzieli, facet i tak kłamał. Z drugiej strony zgoda mogła oznaczać koniec zabijania. Była też szansa, że ktoś przeczyta ten traktat i wpadnie na to, kto może być autorem; i właśnie tak się stało. Brat podejrzanego przeczytał tekst i to włączyło dzwonek alarmowy.

Ja bym im powiedział, żeby nie drukowali. Dobrze, że nie pytali mnie o zdanie. Tak sądzę.”

(Gelernter, str. 120.)

[2]   Garrett, str. 47-52, 414, 419, 152.

[3]   Tu: will cascade in ways…, atraktory?  — przyp. tłum.

[4]   To, co później stało się najbardziej znanym poglądem co do reguł etycznych postępowania robotów, Isaac Asimov opisał w swojej książce I, Robot z roku 1950 pod postacią Trzech Praw Robotyki: 1. Robotowi zakazuje się ranić człowieka lub przez zaniechanie działania pozwalać, by człowiek doznał ran. 2. Robotowi nakazuje się wykonywać rozkazy otrzymane od ludzi z wyłączeniem skuteczności, gdy takie rozkazy są sprzeczne z Pierwszym Prawem. 3. Robotowi nakazuje się chronić własne istnienie, o ile taka ochrona nie jest sprzeczna z Pierwszym lub Drugim Prawem.

[5]   Hillis, str. 78.

[6]   Androidalnych — przyp. tłum

[7]   Coś w rodzaju Citizen Band (CB), tyle że bez samochodów; radiostacje były lampowe, por Kontakt Jodie Foster — przyp. tłum.

[8]   Michał Anioł napisał sonet, który zaczyna się od:
Non ha l’ottimo artista alcun concetto
Ch’un marmo solo in sè non circonscriva
Col suo soverchio; e solo a quello arriva
La man che ubbidisce all’ intelleto.

Stone tłumaczy to tak:
The best of artists hath no thought to show
which the rough stone in its superfluous shell
doth not include; to break the marble spell
is all the hand that serves the brain can do.

[Sonet Michała Anioła tak tłumaczył Leopold Staff:
Nic mistrz najlepszy pomyśleć nie zdole
Poza tym, co już w marmurze spoczywa
W pełnym zarysie i co wydobywa
Jeno dłoń, ducha spełniająca wolę.

Irving Stone, Udręka i ekstaza. Tłum. Aldona Szpakowska, Czytelnik, Warszawa 1965, wydanie IV 1990, str. 4-5.]

Według opisu Stone’a, Michał Anioł: „Nie opierał się w pracy na rysunkach czy modelach glinianych, odsunął je wszystkie. W duszy miał obraz swej rzeźby. Oczy i dłonie wiedziały, gdzie się wynurza każda linia, zgięcie czy wypukłość i na jakiej głębi w sercu kamienia musi stworzyć płaski relief…” [Tamże, str. 160].

[9]   Dosłownie; Joy pisze „for Darpa”, nie „for DARPA”, por. http://www.wired.com/ wired/archive/8.04/joy.html („str.” 4.) — przyp. tłum.

[10] (Zaczynamy widzieć zwiastuny tego procesu w postaci inplantacji w ciele człowieka komputerowych układów pokazanych na okładce magazynu Wired 8.02 w numerze lutowym.)

[11] Lovins, str. 247.

[12] Foresight Conference on Nanotechnology, październik 1989, wystąpienie pod tytułem The future of computation. Wydanie Crandall, B. C. i James Lewis, wyd. Nanotechnology: Research and Perspectives, MIT Press, 1992: 269. Patrz też: www.foresight.org/Conferences/MNT01/Nano1.html

[13] Cóż, „gray goo problem” — przyp. tłum.

[14] Kurt Vonnegut w powieści Kocia kołyska z roku 1963 opisał wypadek w tym rodzaju: forma lodu nazwana lód 9, która zamarza w znacznie wyższej temperaturze, ścina wody oceanów.

[15] Kauffman, str. 496 [ a route to self-reproducing molecular systems on a basis much wider than Watson-Crick base-pairing ]

[16] Carl Sagan, Błękitna kropka. Tłum. Marek Krośniak, Prószyński i S-ka, Warszawa 1996, str. 474-476, 477 — przyp. tłum.

[17] Joy pisze: nuclear weapons — przyp. tłum.

[18] Przemysław Grudziński, Uczeni i Barbarzyńcy. Polityka nuklearna Stanów Zjednoczonych 1939-1945, Państwowe Wydawnictwo Naukowe, Warszawa 1987, str. 291 nn., 323, 350, 436 nn. — przyp. tłum.

[19] Stanisław M. Ulam, Przygody matematyka. Tłum. Agnieszka Górnicka, Prószyński i Ska, Warszawa 1996, str. 179-180; por. William G. Mathhews, Daniel O. Hirsh, tamże, str. 10-13, 16-17 — przyp. tłum.

[20] Else.

[21] Ocenę tę zawiera książka Lesliego The End of the World:The Science and Ethics of Human Extinction, w której stwierdza on, że prawdopodobieństwo wyginięcia znacznie wzrasta, gdy uznać argument dnia Sądu Ostatecznego u Brandona Cartera, czyli, w skrócie, że „wypada raczej odrzucić przekonanie, iż jesteśmy bardzo wcześnie, przykładowo wśród pierwszej 0.001 procenta wszystkich ludzi, jacy będą kiedykolwiek żyli. To byłby powód, by myśleć, że rodzaj ludzki nie przetrwa o wiele więcej stuleci, a tym mniej, że skolonizuje galaktykę. Argument dnia Sądu Ostatecznego Cartera nie daje żadnej oceny ryzyka sam przez się. Może jednak służyć do rewidowania ocen uzyskanych w rozważaniach różnych możliwych zagrożeń”.

[22] Clarke, str. 526.

[23] Oraz, jak pisze David Forrest w artykule „Regulating Nanotechnology Development”, dostępnym z www.foresight.org/NanoRev/Forrest1989.html: „Gdybyśmy przyjęli zasadę odszkodowania do wysokości straty w miejsce powszechnej regulacji prawnej, żaden wytwórca nie byłby w stanie ponieść kosztów ryzyka działalności (zniszczenia biosfery), zatem teoretycznie działalność związana z rozwojem nanotechnologii nie powinna być podejmowana nigdy”. Według Forresta pozostają nam wyłącznie regulacje rządowe — myśl niezbyt uspokajająca.

[24] Sir Martin Rees powiedział BBC World w lipcu 2003 roku, że Joy ma na myśli uczonych, którzy będą opóźniać (go slow) swoje badania; por. Martin Rees Our Final Hour: A Scientist’s Warning: How Terror, Error, and Environmental Disaster Threaten Humankind’s Future in this Century — on Earth and Beyond, Basic Books U.S (marzec 2003) lub pod innym tytułem: tenże, Our Final Century: The 50/50 Threat to Humanity’s Survival, Random House U.K. (maj 2003)
— przyp. tłum.

[25] Arystoteles, Metafizyka. Tłum. Kazimierz Leśniak, PWN, Warszawa 1983, 980a str. 3. — przyp. tłum.

[26] „Naród żyje zbyt szybko. Ludzie uważają za konieczne, ażeby Naród prowadził handel i eksportował lód, porozumiewał się za pomocą telegrafu i podróżował trzydzieści mil na godzinę, i nie zastanawiają się, w jakim stopniu to ich dotyczy; dotychczas jednak nie ustalili, czy mamy żyć jak pawiany, czy jak ludzie. Jeżeli nie poderwiemy śpiących podkładów kolejowych i nie wykujemy szyn, jeżeli nie poświęcimy dni i nocy na pracę nad nimi, lecz oddamy się partaczeniu swojego życia, chcąc je ulepszyć, kto zbuduje kolej żelazną? A skoro nie zbuduje się kolei, jak w porę dotrzemy do nieba? Jeżeli natomiast będziemy siedzieć w domu i pilnować własnego nosa, komu będą potrzebne koleje? To nie my jeździmy koleją, to ona jeździ nam po głowie. Czy zastanawialiśmy się kiedyś, kim są te śpiochy, które służą za podkłady kolejowe? Każdy z nich to człowiek, Irlandczyk albo Jankes. Na nich układa się szyny, zasypuje piaskiem, a potem gładko mkną nad nimi wagony. Zapewniam wszystkich, że ludzie owi mają dobry sen. Co roku kładzie się całe mnóstwo szyn, po których biegną pociągi. Tedy jedni zaznają jazdy koleją, drudzy zaś mają nieszczęście służyć za podkłady.” H. D. Thoreau, Walden, czyli życie w lesie. Tłum. Halina Cieplińska, PIW, Warszawa 1991, str. 123-124.

Rozdział, skąd pochodzi ten cytat, ma w przekładzie 19 stron, do których Tłumaczka dała 24 przypisy. Nie zaszkodziłby jeszcze jeden, któryby tłumaczył po prostu, że w języku angielskim podkład kolejowy to sleeper, śpioch.

Co znaczy zdanie: „Jeżeli nie poderwiemy śpiących podkładów kolejowych i nie wykujemy szyn, jeżeli nie poświęcimy dni i nocy na pracę nad nimi, lecz oddamy się partaczeniu swojego życia, chcąc je ulepszyć, kto zbuduje kolej żelazną?”. Chodzi o przekład zdania: „If we do not get out sleepers, and forge rails, and devote days and nights to the work, but go to tinkering upon our lives to improve them, who will build railroads?”. W tym zdaniu mowa wprost o układaniu podkładów kolejowych; dlaczego „podrywać [budzić?] śpiące podkłady kolejowe” już teraz? O tym Thoreau chce powiedzieć pod koniec, czego nie cytuję (por. http://www.eserver.org/ thoreau/walden02.html). Ale o partaczeniu sobie życia nie ma mowy. Wprost przeciwnie: „go to tinkering upon our lives to improve them” znaczy, że mamy zająć się swoim życiem, żeby je naprawić.

Wreszcie, dlaczego „[ kolej ] jeździ nam po głowie”; jak w takich warunkach spać? Czy trzeba wtedy kogoś budzić? Nonsens. Mimo że w Polsce pewnie mało kto o tym wie, ta myśl Thoreau jest jedną z najczęściej cytowanych. Nie może być aż tak nieuchwytna — przyp. tłum.

[27] Por. Freeman J. Dyson „The Future Needs Us!” [ recenzja, Michael Crichton, Pray, HarperCollins, New York, 2002 ] The New York Review of Books, Volume 50, Number 2 – February 13, 2003, http://www.nybooks.com/articles/16053
— przyp. tłum.

[28] Meselson.

[29] Doty, str. 583.

[30] Patrz też Hans Bethe do prezydenta Clintona, list z 1997 roku: www.fas.org/ bethecr.htm

[31] Tłum. Ewa Mikina, „Czy jesteśmy potrzebni przyszłości? Skrócona wersja eseju Bila Joy’a opublikowanego w całości w kwietniowym, 8 nr `Wired´ z 2000 roku”, http://www.magazynsztuki.home.pl/n_technologia/Joy.htm — przyp. tłum.

[32] Tu: self-sustainment; por. Helena Syrkusowa, Społeczne cele urbanizacji, PWN, Warszawa 1984, str. 62 nn, — przyp. tłum.

[33] Hamilton, str. 35. [Por. Arystoteles, Etyka nikomachejska. Tłum. Daniela Gromska, PWN, Warszawa 1982, 1098a 15 str. 22 — przyp. tłum.]

Źródła

Książki

Drexler, Eric, Engines of Creation (Anchor, 1987).
—, Chris Peterson, Gayle Pergamit, Unbounding the Future: The Nanotechnology Revolution (Quill, 1993).
Dyson, George, Darwin Among the Machines (Perseus Publishing, 1998).
Garret, Laurie, The Coming Plague: Newly Emerging Diseases in a World Out of Balance (Penguin, 1994: 47-52, 414, 419, 452).
Gelernter, David, Drawing Life: Surviving the Unabomber (Free Press, 1997: 120).
Hamilton, Edith, The Greek Way (W. W. Norton & Co., 1942: 35).
Leslie, John, The End of the World: The Science and Ethics of Human Extinction (Routledge, 1996: 1, 3, 145).
Stone, Irving, The Agony and the Extasy (Doubleday, 1961: 6, 144).

Artykuły

Clarke, Arthur C., „Presidents, Experts and Asteroids”, Science, June 5, 1998.
Doty, Paul, „The Forgotten Menace: Nuclear Weapons Stockpiles Still Represent the Biggest Threat to Civilization”, Nature, 402, December 9, 1999: 583.
Easterbrook, Gregg, „Food for the Future: Someday, rice will have built-in vitamin A. Unless Luddites win”, The New York Times (November 19, 1999).
Hillis, Danny „Test of Time”, Wired 8.03 (March 2000).
Kauffman, Stuart, „Sel-replication: Even Peptides Do It”, Nature, 382, August 8, 1996: 496, www.santafe.edu/sfi/People/kauffman/ sak-peptides.html.
Lovins, Amory, „A Tale of Two Botanies”, Wired 8.04 (April 2000).
Meselson, Matthew, „The Problem of Biological Weapons”. Presen­tation to the 1,818th Stated Meeting of the American Academy of Arts and Sciences, January 13, 1999. (minerva.amacad.org/ archive/bulletin4.htm).

Witryny

Bethe, Hans, www.fas.org/bethecr.htm (1997).
Else, Jon, „The Day After Trinity: J. Robert Oppenheimer and The Atomic Bomb” (www.pyramiddirect.com).
Forrest, David, „Regulating Nanotechnology Development”(www.foresight.org/NanoRev/Forrest1989.html).