Między Star Trek a dronami Kamikaze: od serialowej utopii do realnych zagrożeń

Jako dziecko wychowane w latach 90. w Polsce, szczególnie wyczekiwałam niedzielnego popołudnia. Ograniczony dostęp do mediów sprawiał, że polowanie na jeden konkretny program zamieniało się w cotygodniowy rytuał. W moim domu było nim oglądanie „Star Treka”. Gwoli wyjaśnienia: to serial science fiction o przygodach Gwiezdnej Floty (Zjednoczonej Federacji Planet), która w nieco utopijnej przyszłości ludzkości przemierza galaktykę, by badać nieznane i nawiązywać kontakt z nowymi formami życia. Przygody kapitan Janeway, Picarda i ich załóg wyryły mi się w pamięci, kształtując mój stosunek do nauki i technologii.

Wydawało mi się wówczas, że w trakcie mojego życia nie zobaczę żadnej z futurystycznych technologii Enterprise czy Voyagera (nazwy statków): replikatorów, czyli pokładowych drukarek materii, które z surowych atomów potrafią stworzyć filiżankę kawy albo klucz do silnika, czy transporterów – urządzeń dematerializujących ludzi na poziomie kwantowym, które przesyłają uzyskaną wiązkę energii i rematerializują osoby w docelowej lokalizacji.

Tymczasem najszybciej urzeczywistnionym elementem star trekowej wizji przyszłości okazały się autonomiczne systemy broni – Autonomous Weapon Systems (AWS).

Od science fiction do rzeczywistości

Nie ma jednej definicji tej broni, ale można stwierdzić, że to ogólna kategoria uzbrojenia, która korzysta z różnego stopnia autonomii. Działa w ramach zaprogramowanych parametrów i może samodzielnie wykonywać zadania wspierające operatorów – np. rozpoznanie czy patrol. Jest też wykorzystywana do zadań bojowych – bez ciągłej kontroli człowieka kieruje się algorytmami umożliwiającymi podejmowanie decyzji na podstawie analizy środowiska.

Po aktywacji systemy te opierają się na oprogramowaniu danych z czujników (np. kamer, sygnałów radarowych, sygnatur termicznych), aby zidentyfikować cel.

Gdy system znajdzie cel, strzela lub uwalnia ładunek, często bez zatwierdzenia lub weryfikacji przez ludzkiego operatora.

W praktyce oznacza to, że to maszyna, a nie człowiek, decyduje, gdzie, kiedy i z jaką siłą zostanie użyta broń. 

Terminy takie jak „slaughterbots” czy „killer robots” często kojarzą się z filmami science fiction, takimi jak „Terminator”, co tworzy błędne przekonanie, że AWS należą do jakiejś dalekiej przyszłości. W Raporcie Panelu Ekspertów ONZ w sprawie Libii z 2021 r. stwierdzono, że AWS, takie jak dron STM Kargu-2 i inne bezzałogowce typu kamikaze z amunicją krążącą, były zaprogramowane do atakowania celów bez wymagania łączności danych między operatorem a bronią – w efekcie osiągając prawdziwą zdolność „fire, forget, and find”, czyli „odpal, zapomnij i znajdź”. Oznacza to, że system samodzielnie podejmował decyzję o wyborze i zaangażowaniu celów po początkowym uruchomieniu, bez dalszej interwencji człowieka. 

W 2025 roku obserwujemy przyspieszone tempo rozwoju i wdrażania AWS, zarówno w kontekście użycia bojowego, jak i zaawansowanego rozwoju i zatwierdzania do produkcji.

Zgodnie z doniesieniami „The Guardian” na początku czerwca 2025 roku ukraińscy żołnierze uruchomili Gogol-M, latającego „drona-matkę”. Urządzenie przeleciało 200 km w głąb Rosji i wystrzeliło dwa mniejsze drony uderzeniowe. Te mniejsze drony autonomicznie skanowały teren w poszukiwaniu odpowiedniego celu, namierzyły go, a następnie wleciały w niego, detonując swój ładunek wybuchowy przy uderzeniu. Udział człowieka ograniczał się do nauczenia drona typu celu i ogólnego obszaru poszukiwań. Koszt tej misji wyniósł 10 000 dolarów, podczas gdy wcześniej wymagałaby ona systemów rakietowych kosztujących od 3 do 5 milionów dolarów. 

Rosyjska wersja ukraińskiego drona Gogol-M, V2U, jest odpalana nawet 50 razy dziennie, by uderzać w cele w pobliżu linii frontu w Ukrainie.

Podobnie jak jej ukraiński pierwowzór, V2U potrafi wtargnąć w wyznaczony obszar, korzystając wyłącznie z nawigacji wizyjnej, a następnie samodzielnie wykrywać, wybierać i atakować obiekty bez łączności z operatorem. Zaobserwowano również, że drony te działają w rojach i zakłócanie ich jest nieskuteczne.

Wyścig o militarną dominację

Wyścig zbrojeń trwa.

Chiny poczyniły znaczne postępy w rozwoju i produkcji AWS. Dron szturmowy X5, zaprezentowany na targach lotniczych w Zhuhai pod koniec 2024 roku, został zatwierdzony do produkcji. Dostępne są ograniczone informacje, ale raporty wskazują, że jest on zdolny do autonomicznego śledzenia, rozpoznawania i angażowania celów, czyli decyzji co do zastosowania siły. Z kolei Amerykanie realizują program Pentagonu Replicator 1, który ma na celu dostarczenie wielu tysięcy autonomicznych systemów, działających we wszystkich możliwych obszarach, w II kwartale 2025 roku. 

Skoro coraz więcej państw korzysta z tych rozwiązań, o co tyle szumu?

Systemy te budzą poważne obawy etyczne i prawne ze względu na brak ludzkiej kontroli i odpowiedzialności oraz ryzyko błędów w ocenie sytuacji na polu walki, które mogą, chociażby prowadzić do ataków na cywilów.

AWS brakuje zdolności do zrozumienia kontekstu, przeprowadzenia zniuansowanych analiz i złożonego rozumowania, które pozwala ludziom ocenić powagę zagrożenia i konieczność reakcji. Przykładem jest program DARPA Air Combat Evolution (ACE) w USA, gdzie testowano autonomiczny pilotaż myśliwców F-16. Piloci pełniący rolę „bezpieczników” na pokładzie wielokrotnie podczas testów wyłączali system AI, ponieważ stosował on nieprzewidywalne i budzące wątpliwości, choć skuteczne, manewry.

W efekcie inżynierowie musieli przeprojektować system, aby był bardziej przewidywalny i ludzki, nawet kosztem skuteczności.

To podkreśla wagę „wyjaśnialności” AI – ludzie muszą rozumieć działanie systemu i jego decyzje, a przy AWS nie jest to możliwe. Złożone interakcje algorytmów z dynamicznym środowiskiem operacyjnym sprawiają, że zachowanie tej broni w rzeczywistych warunkach jest mało przewidywalne.

Ponadto w działaniu AWS mogą ujawniać się tzw. biasy, czyli stronnicze tendencje, mogące pojawić się w algorytmach, kiedy zabraknie akceptowania decyzji AI przez ludzi.

Wybór celów na podstawie samych danych z czujników, zwłaszcza poprzez rozpoznawanie twarzy lub inne informacje biometryczne, wprowadza ryzyko selektywnego celowania w grupy na podstawie postrzeganego wieku, płci, rasy, pochodzenia etnicznego lub ubioru religijnego.

Mogłabym długo wymieniać negatywne skutki użycia autonomicznych systemów broni – od cyfrowej dehumanizacji po sprowadzanie ludzi do punktów danych. Zamiast jednak zagłębiać się w te mroczne wizje, spójrzmy na to, jak „Star Trek” – pomimo swojej z zasady optymistycznej wizji przyszłości – już dekady temu doskonale ilustrował wyzwania związane z autonomicznymi systemami broni.

Moim zdaniem jeden z odcinków, który najlepiej ilustruje problemy z AWS, to epizod „Dreadnought” z serii „Star Trek: Voyager”.W tym odcinku załoga statku kosmicznego Voyager natrafia na potężną rakietę dalekiego zasięgu stworzoną przez Kardasian – fikcyjną, silnie zmilitaryzowaną rasę obcych. Lata wcześniej główna mechanik Voyagera, B’Elanna Torres, przejęła tę broń, gdy działała w partyzanckim ruchu Maquis, i wyposażyła ją w zaawansowaną sztuczną inteligencję częściowo opartą na jej osobowości oraz wiedzy.

Po dekadzie rakieta – nieświadoma, że wojna już się skończyła i jest w zupełnie innym kwadrancie kosmosu – obiera kurs na gęsto zaludnioną, pokojowo nastawioną planetę. Gdy Torres próbuje ją dezaktywować, system ignoruje jej komendy, samodzielnie podejmuje decyzje i celowo wprowadza załogę w błąd.

Odcinek ukazuje, jak niebezpieczne może być powierzenie broni decyzyjności i samodzielności, nawet gdy intencje programisty były dobre.

Torres musi zmierzyć się z własną odpowiedzialnością za stworzenie broni, która teraz stanowi zagrożenie dla niewinnych. Z kolei kapitan Kathryn Janeway jest zmuszona rozważyć poświęcenie własnego statku i załogi, by powstrzymać autonomiczną broń przed zniszczeniem planety, co podkreśla dramatyzm sytuacji oraz brak skutecznej kontroli nad takim systemem.

Traktat na stole a etyka pod stołem

W szerszym kontekście temat autonomicznych systemów broni wiąże się z poważnymi wyzwaniami moralnymi i legislacyjnymi, które są obecnie przedmiotem międzynarodowej debaty. Kluczowe kwestie to m.in. kto powinien podejmować decyzję o użyciu śmiercionośnej siły, czy da się zniwelować ryzyko błędów i nieprzewidywalności algorytmów, które mogą prowadzić do śmierci niewinnych osób.

Eksperci podkreślają, że ostateczna decyzja o użyciu siły powinna należeć do człowieka, a oddanie jej w ręce AI niesie poważne konsekwencje etyczne.

Obecnie w Organizacji Narodów Zjednoczonych (ONZ) trwają intensywne prace nad traktatem regulującym autonomiczne systemy broni. Mimo pewnego postępu w wypracowywaniu wspólnego stanowiska na temat „znaczącej kontroli człowieka” w autonomicznych systemach broni, forum Konwencji o zakazach lub ograniczeniach stosowania niektórych rodzajów broni konwencjonalnej (CCW) znalazło się w impasie. Ten zastój wynika z zasady konsensusu, która pozwala pojedynczym państwom, takim jak Rosja, Stany Zjednoczone, Indie i Izrael, blokować negocjacje nad prawnie wiążącym instrumentem. Dlatego Zgromadzenie Ogólne ONZ stało się bardziej otwartym forum dla dyskusji o AWS, ponieważ w jego obradach nie obowiązuje zasada konsensusu.

Oprócz drogi legislacyjnej kolejnym krokiem powinno być zbadanie, jak sektor technologiczny i przemysł obronny reagują na rosnącą presję regulacyjną ze strony społeczności międzynarodowej. Szybko zmieniające się normy branży technologicznej niestety sprzyjają dziś nieodpowiedzialnemu rozwojowi sztucznej inteligencji.

Obserwujemy powstawanie nowych sojuszy, gdzie czołowe firmy AI łączą siły z takimi graczami jak Anduril i Palantir – firmami wyspecjalizowanymi w broni autonomicznej i technologiach masowej inwigilacji.

Ich działalność jest niezwykle lukratywna: Anduril i Palantir zdobywają ogromne kontrakty od Pentagonu. Palantir realizuje kontrakt wart ponad pół miliarda dolarów (projekt Maven), z którego Google wycofał się po protestach pracowników. Paradoksalnie, dziś to właśnie Google, obok Anthropic i Amazona, współpracuje z Palantirem przy dostarczaniu amerykańskiej armii tzw. frontier AI , czyli najbardziej zaawansowanych i najnowocześniejszych modeli sztucznej inteligencji. Co do misji firmy warto przytoczyć słowa współzałożyciela Anduril, Palmer’a Luckeya, który nie krył swojego podejścia: „Społeczeństwa zawsze potrzebowały klasy wojowników, która entuzjastycznie stosuje przemoc wobec innych w pogoni za dobrymi celami”. Tego rodzaju wypowiedzi czołowych graczy przyspieszają militaryzację AI.

Widoczna jest również zmiana narracji w Dolinie Krzemowej. Po latach, w których praca nad wojskowymi zastosowaniami sztucznej inteligencji była stygmatyzowana, obecnie rośnie przyzwolenie, by inżynierowie AI angażowali się w projekty militarne.

Rosnące wydatki na obronność i rozwój technologii, o których mowa w europejskiej, ale też i polskiej strategii obronnej, powinny iść w parze z rygorystycznymi ramami prawnymi i etycznymi, aby zapobiec erozji praw człowieka wspieranej przez AI. Zwłaszcza że nie chodzi wyłącznie o wykorzystanie AWS na polu bitwy. Jak to zwykle bywa w przypadku takich systemów, mają one charakter „dual use” (podwójnego zastosowania) — mogą być stosowane zarówno w działaniach wojennych, jak i w kontroli granic, utrzymaniu porządku publicznego czy masowym nadzorze.

Biometryka ‒ zwłaszcza rozpoznawanie twarzy ‒ już dziś tworzy efekt mrożący: ludzie obawiają się uczestniczyć w protestach, wiedząc, że kamery mogą ich zidentyfikować, a władza odpowie w stosunku do nich represjami.

Podobne systemy działają na terenach okupowanych, gdzie drony i stałe punkty kontrolne odcinają całe społeczności od opieki zdrowotnej, pracy czy życia rodzinnego.

Rozwój AWS wymaga ogromnych zbiorów danych, najczęściej gromadzonych bez wiedzy i zgody obywateli.

Dane z mediów społecznościowych i monitoringu trafiają do baz danych na zawsze, a osoby, których dotyczą, tracą możliwość sprzeciwu. Takie praktyki naruszają nie tylko prawo do prywatności, lecz także wolność słowa, zgromadzeń i zasadę niedyskryminacji.

Wizja „Star Trek’a” z mojego dzieciństwa zakładała, że technologie chronią godność i wolność. Gwiezdna Flota nie budowała kamer do śledzenia obywateli lecz statki do eksploracji nowych światów.

Jeśli chcemy uniknąć dystopijnego scenariusza, potrzebujemy jasnych granic prawnych i etycznych, zanim autonomiczne systemy broni oraz nadzoru staną się naszą codziennością.

Zrealizowano ze środków koalicji Stop Killer Robots