Czy Chiny mogą być dla nas inspiracją w zakresie rozwoju i regulowania sztucznej inteligencji?

Sztuczna inteligencja. Chat GPT na ekranie laptopa
fot. z Pixabay

Jan Kinal

Tygodnik Spraw Obywatelskich – logo

Nr 191 / (35) 2023

Termin „sztuczna inteligencja” (SI) został po raz pierwszy użyty w 1956 roku na konferencji w Dartmouth. Jednak to 30 listopada 2022 ma szansę przejść do historii jako dzień, w którym rozpoczęła się nowa epoka, czy też jak to wolą niektórzy, kolejna rewolucja przemysłowa.

To właśnie tego dnia światło dzienne ujrzał ChatGPT, chatbot oparty o model GPT-3, należący do OpenAI, na tamten czas organizacji non-profit, który umożliwił korzystanie w przystępny sposób z dobrodziejstw sztucznej inteligencji szerokim masom.

Bardzo szybko staliśmy się świadkami wielkiego zamieszania, zwłaszcza w branżach dotkniętych w pierwszej kolejności tą przyspieszoną rewolucją, takich jak chociażby marketingowa, której jestem przedstawicielem. Narzędzia bazujące na SI stały się nieodzownym wsparciem przy tworzeniu wszelkiego rodzaju treści oraz grafik.

Programy, takie jak wspomniany ChatGPT, pomagają nam przy pisaniu tekstów, tworzeniu planów contentowych, a nawet przy korekcie. Z kolei Midjourney gwałtownie odłożyło do lamusa nudne zdjęcia stockowe. Wszystko to stanowi rewolucję mimo tego, że sztuczna inteligencja pozwalająca na szersze zastosowanie w biznesie była z nami obecna co najmniej od lutego 2019 roku, kiedy to miejsce miała premiera modelu GPT-2.

Jednak to właśnie ChatGPT wprowadził tyle zamętu, wywołując skrajnie różne reakcje, niczym w modelu pięciu etapów żałoby autorstwa Kübler-Rossa. Wszystko to za sprawą prostoty w obsłudze i łatwego dostępu. Każdy za darmo mógł korzystać z chatbota, dowolnie testując jego możliwości. Doprowadziło to do błyskawicznego przyrostu użytkowników, których już w styczniu 2023 roku ChatGPT miał ponad 100 milionów na całym świecie.

Dziś, kiedy piszę te słowa, w maju 2023 roku, sztuczna inteligencja w postaci narzędzi takich jak wspomniany wielokrotnie powyżej ChatGPT, ale też Midjourney (pozwalający na generowanie realistycznych grafik i zdjęć) i wiele, wiele innych aplikacji, stała się nieodzownym pomocnikiem marketerów kreujących przekaz w Internecie.

Mówimy więc o rewolucji, która dokonała się w ciągu pół roku, praktycznie bez żadnych regulacji prawnych wokół niej. Jednak tempo rozwoju i silna konkurencja nie pozwala biznesom na odłożenie w czasie wdrożenia dobrodziejstw oferowanych przez SI.

Na horyzoncie majaczy nam widmo AI ACT, który planuje wprowadzić Unia Europejska. Są również pierwsze sprawy sądowe (jeszcze nierozstrzygnięte) w Stanach Zjednoczonych oraz orzeczenia U.S. Copyright Office, który odmawia wytworom sztucznej inteligencji ochrony praw majątkowych. Ponadto 16 maja 2023 roku miało miejsce przesłuchanie przed Senacką Komisją Sądownictwa Kongresu Stanów Zjednoczonych, która również rzuciła nam pewne światło na kształt potencjalnych regulacji w przyszłości.

Ja jednak chciałbym zajrzeć za Wielki Mur, aby przybliżyć polskiemu czytelnikowi stan rozwoju SI w Chinach oraz regulacje, jakie wprowadza chiński organ nadzorczy. Wszystko po to, by odpowiedzieć sobie na pytanie, czy mogą one stanowić dla nas inspirację.

Sztuczna inteligencja, czyli co?

Na wstępie muszę zaznaczyć jedną rzecz. W moich rozważaniach na temat SI zawężę horyzont do LLM, czyli Large Language Models – dużych modeli językowych. Są to modele oparte na sieciach neuronowych, które są specjalnie trenowane do przetwarzania i generowania języka naturalnego. LLM są jednym z wielu rodzajów modeli, które mogą być tworzone za pomocą technik uczenia maszynowego.

Duży model językowy, taki jak GPT-4, trenowany jest na ogromnych zestawach danych: tekstach z książek, artykułach, stronach internetowych, itp. Celem treningu jest nauczenie modelu, jak generować tekst, który jest jak najbardziej zrozumiały i sensowny dla ludzi oraz jak najbardziej naturalny i poprawny pod względem gramatycznym. 

Zachodnie LLM to wspomniany już przeze mnie GPT-4 należący do OpenAI. Na uwagę zasługuje również PaLM 2 od Google oraz LLaMA firmy Meta i NVIDIA NeMo.

LLM są formą sztucznej inteligencji zwanej uczeniem maszynowym (ML), które jest dziedziną SI. Ważne jest zrozumienie, że chociaż LLM są formą SI, nie mają one świadomości ani prawdziwego zrozumienia treści, którą generują. Nadmienię także, że LLM mogą być również trenowane w jednej, określonej dziedzinie, np. w medycynie, gdzie za przykład można przywołać Med-PaLM2 od Google (chat medyczny testowany przez Google – przyp. red.).

Pominę kompletnie robotykę, czyli zastosowanie SI do nauki robotów jak mają się poruszać, wykonywać zadania i wchodzić w interakcje ze środowiskiem czy też zastosowania sztucznej inteligencji w wizji komputerowej, dziedzinie SI, która skupia się na umożliwieniu komputerom rozpoznawania i interpretowania obrazów i filmów.

Jeśli więc, drogi Czytelniku, liczyłeś na opowieść o androidach niczym u Philipa K. Dicka, będę musiał Cię zawieść.

Wróćmy jednak do Chin.

SI za Wielkim Murem

Począwszy od premiery ChatGPT pod koniec listopada 2022 roku, mogliśmy obserwować w Stanach Zjednoczonych istny wyścig o to, kto następny wypuści swoje narzędzie oparte o SI. Firmy prezentowały rozwiązania w wersjach alpha (czyli na bardzo wczesnym etapie rozwoju), byle tylko pokazać, że też pracują nad sztuczną inteligencją. Mam tutaj na myśli przede wszystkim pamiętną prezentację Google z lutego 2023 roku, na której ich chatbot o imieniu Bard popełniał błędy w trakcie prezentacji na żywo.

Wszyscy z wypiekami na twarzy obserwowaliśmy to, co działo się za oceanem, nie dostrzegając, że w Chinach korporacje również zaczynają coraz szybciej „zbroić się” w sztuczną inteligencję.

Kto zatem pracuje nad SI à la ChatGPT w Chinach?

Baidu

Baidu, chiński odpowiednik Google,  od 2019 roku rozwija swojego Ernie Bota, nazywanego również po chińsku – Weixin Yiyan (文心一言). Jest to LLM oraz produkt podobny do ChatGPT, który posiada zdolności do rozumienia języka chińskiego, generowania treści, wykonywania obliczeń matematycznych oraz przetwarzania mowy na tekst lub obraz.

Wielokrotnie przekładana premiera Ernie Bota miała miejsce 16 marca 2023 roku. W jej trakcie prezes firmy, Robin Li, zaprezentował możliwości Erniego, jednak nie na żywo, a z wcześniej przygotowanych pięciu nagrań. W dodatku, prezes Li wielokrotnie podczas wystąpienia powtarzał, że Ernie jest wciąż niedoskonały i zostanie ulepszony, gdy dotrze do większej liczby odbiorców, co nie zrobiło zbyt dobrego wrażenia na mediach śledzących premierę.

Chiński gigant nie zdradza dokładnych parametrów swojego dużego modelu językowego. W oficjalnej notatce prasowej możemy przeczytać jedynie, że Ernie Bot jest szkolony na bilionach stron internetowych, dziesiątkach miliardów danych wyszukiwania i obrazów, setkach miliardów codziennych danych głosowych i grafie wiedzy zawierającym 550 miliardów faktów.”

W maju 2023 roku Baidu ogłosiło implementację Ernie Bota w swoim flagowym produkcie, czyli wyszukiwarce. Podobnie jak Microsoft zrobił z ChatGPT implementując go do wyszukiwarki Bing pod postacią Bing Chatu. Ernie, w swojej wersji wyszukiwarkowej, został ochrzczony jako AI Mate.

Mimo oczywistego podobieństwa do wspomnianej przeze mnie analogii z Microsoftem istnieją kluczowe różnice. Baidu polega bardzo mocno na chińskich źródłach, co może prowadzić do niedokładnych odpowiedzi na wiele tematów.

Jak podaje Tech Times, AI Mate odpowiadając, cytuje przestarzałe i niewiarygodne materiały, w przeciwieństwie do amerykańskiego konkurenta, który uwiarygadnia swoje odpowiedzi aktualnymi i mocno zróżnicowanymi źródłami. W dodatku, co wydaje się oczywiste, sztuczna inteligencja Baidu kategorycznie unika tematów politycznych, o czym w dalszej części artykułu.

Na koniec ciekawostka. Zastanawiasz się, dlaczego Baidu nazwało swój LLM imieniem Ernie, a nie na przykład Robert? Ernie to skrót od „Enhanced Representation through Knowledge Integration” (co w wolnym tłumaczeniu znaczy: „Wzmocniona reprezentacja poprzez integrację wiedzy”).

Huawei

Huawei pracuje nad dużym modelem językowym o nazwie PanGu-Alpha. Jest to model o wielkości 750 gigabajtów, który został zaprojektowany na podstawie 1,1 terabajta chińskich materiałów, takich jak książki, encyklopedie, itp. Jak możemy przeczytać w „Asia Times”: „Założyciel i dyrektor generalny Huawei Technologies, Ren Zhengfei, zapowiada, że w nadchodzących latach firma skupi się na przemysłowym wykorzystaniu technologii sztucznej inteligencji (SI), zamiast podążać śladami Baidu i Alibaby i inwestować w chatboty. W przyszłości 98% aplikacji SI na rynku będzie służyć potrzebom przemysłowym i rolniczym, a tylko 2% będzie służyć bezpośrednio konsumentom. Z tego powodu Huawei nie będzie wkładał dużego wysiłku w rozwój aplikacji podobnych do ChatGPT.”

Alibaba

Alibaba Group, korporacja zarządzająca między innymi znanym polskiemu czytelnikowi marketplace’em Aliexpress, ogłosiła premierę swojego dużego modelu językowego dosłownie kilka dni po prezentacji Huawei.

Firma od 2021 roku rozwijała model chatbota o nazwie Tongyi Qianwen (通义千问), który reklamowany jest jako chińska odpowiedź na ChatGPT. LLM Alibaby zawiera 10 miliardów parametrów i został wytrenowany na zbiorze danych składającym się z 1,9 TB obrazów i 292 GB tekstu w języku chińskim.

Jak możemy przeczytać w nocie prasowej firmy, Tongyi Qianwen zostanie zintegrowany ze wszystkimi rozwiązaniami biznesowymi w ekosystemie Alibaby, począwszy od komunikacji korporacyjnej, pomocy głosowej, wyszukiwania, po nawigację i rozrywkę. Model zostanie najpierw wdrożony w DingTalk, platformie komunikacyjnej dla firm oraz Tmall Genie, dostawcy inteligentnych urządzeń domowych.

Ciekawą informację może stanowić fakt, że Alibaba zamierza oferować swoim klientom dostęp do Tongyi Qianwen w chmurze i pomagać im w tworzeniu dużych modeli językowych na własne potrzeby. Bez konieczności budowania swoich modeli od podstaw.

Tencent

Tencent, kolejny chiński gigant technologiczny, który w Polsce kojarzy się przede wszystkim z grami oraz komunikatorem WeChat, pokazał światu duży model językowy Hunyuan. Chatbot, bazujący na tym LLM, zyskał nazwę HunyuanAide.

Z oficjalnych komunikatów firmy wynika, że sztuczna inteligencja będzie kluczowym elementem rozwoju korporacji, w ramach której utworzono specjalny zespół pod przewodnictwem Zhang Zhengyou, który kieruje firmowym laboratorium AI Lab i Robotics X Lab.

SenseTime

SenseTime to chiński startup założony w 2014 roku, który specjalizuje się w rozwoju sztucznej inteligencji w obszarach związanych z rozpoznawaniem twarzy, wykrywania obiektów, optycznym rozpoznawaniu znaków oraz autonomicznych pojazdów. Firma od 2019 roku objęta jest sankcjami USA w związku z podejrzeniami, że jej technologia jest wykorzystywana do prześladowania Ujgurów.

Na początku kwietnia 2023 roku CEO (Prezes Zarządu) firmy, Xu Li, zaprezentował model SenseNova oraz chatbot napędzany tym modelem – SenseChat. Tym samym dołączając do grona globalnych liderów w rozwoju dużych modeli językowych.

Xu w trakcie premiery pokazał, jak SenseChat opowiada historię o kocie łowiącym ryby. Następnie zademonstrował, w jaki sposób chatbot może pomóc przy pisaniu kodu, przyjmując pytania na poziomie laika w języku angielskim lub chińskim i przetwarzając je na działający produkt.

Jednak chatbot to nie wszystko, co zaprezentował prezes Xu. Firma wywodząca się z SI skupionej wokół wizji cyfrowej wypuściła także narzędzie o wdzięcznej nazwie Miaohua służące do przetwarzania obrazów oraz Ruying, pomagające przy modelowaniu ruchów człowieka oraz tworzeniu modeli 3D budynków.

iFlyTek

iFlyTek to założona w 1999 roku firma specjalizująca się w inteligentnym przetwarzaniu mowy na bazie sztucznej inteligencji. iFlyTek zajmuje się m.in. rozwojem urządzeń do elektronicznego tłumaczenia języka oraz oprogramowania do rozpoznawania i konwersji mowy.

Na początku maja 2023 roku prezes firmy, Liu Qingfeng, zaprezentował chatbota SparkDesk. W trakcie demonstracji możliwości SparkDeska został on poproszony o ocenę esejów studentów i wygenerowanie hipotetycznych relacji na temat obecności Konfucjusza na Igrzyskach Olimpijskich w Pekinie w 2008 roku, zarówno w języku chińskim, jak i angielskim. Co istotne, publiczność w trakcie prezentacji miała możliwość zadawania pytań chatbotowi, wszystko dzięki temu, że rozwiązanie firmy iFlyTek ma możliwość przyjmowania promptów w formie dźwiękowej.

Umożliwienie testowania na żywo SparkDeska i to przez uczestników, to najlepsze świadectwo wysokiego zaawansowania technologii oferowanej przez iFlyTek. Jednak prezes Qingfeng w swoich wypowiedziach stroni od pychy, mówiąc, że „musimy zrobić wszystko, co w naszej mocy, aby uczyć się od ChatGPT, a nawet starać się go przewyższyć”.

Chińscy czempioni sztucznej inteligencji

Musisz mieć, drogi Czytelniku, świadomość, że wymienione przeze mnie firmy to tylko wierzchołek góry lodowej. Starałem się przytoczyć przykłady przedsiębiorstw, które pracują nad rozwiązaniami najbliższymi moim rozważaniom, czyli dużym modelom językowym. Pominąłem gigantów takich, jak chociażby Xiaomi, które w kwietniu 2023 roku sformowało zespół 1200 specjalistów pracujących nad sztuczną inteligencją.

Partia a sztuczna inteligencja

Wiemy już, że rozwój sztucznej inteligencji w Chinach nie ustępuje temu, co dzieje się w Stanach Zjednoczonych. Jeśli wręcz spojrzeć na ilość firm, która pracuje nad SI w Państwie Środka oraz na ilość patentów, jaka się tam pojawia, to można się pokusić o postawienie tezy głoszącej prymat Chińskiej Republiki Ludowej w zakresie rozwoju SI.

Przyjrzyjmy się bliżej temu, jak Komunistyczna Partia Chin (KPCh) zapatruje się na rozwój SI.

Pierwsze wzmianki dotyczące sztucznej inteligencji w dokumentach rządu chińskiego sięgają 2013 roku. Jednak to rok 2016 był przełomem, kiedy odbyła się słynna gra w Go pomiędzy najlepszym na świecie graczem, Lee Sedolem (południowokoreańczykiem), a sztuczną inteligencją, którą to człowiek przegrał.

Go to gra, która często określana jest mianem chińskich szachów, aczkolwiek to porównanie nie oddaje istoty tej gry. Grając w Go, poruszamy się po liniach tak, aby ograniczyć ruchy przeciwnikowi, zajmując jak największą przestrzeń. W Go mamy znacznie więcej możliwości ruchów, a poziom trudności jest zawieszony znacznie wyżej niż w szachach. Przegrana Lee Sedola, która była śledzona w Chinach na żywo przez 280 milionów ludzi, została określona mianem „momentu sputnika” – czyli wydarzenia przełomowego.

W marcu 2016 roku Komitet Centralny KPCh opublikował trzynasty plan pięcioletni, który wprost wymienił sztuczną inteligencję jak jedną z sześciu krytycznych obszarów rozwoju Chin oraz jako istotny element stymulowania rozwoju gospodarczego.

Natomiast rok 2017 to moment powołania strategii rozwoju sztucznej inteligencji „New Generation Artificial Intelligence Development Plan” (新一代人工智能发展规划), w której to Chiny zakładają stanie się globalnym liderem rozwoju SI do 2030 roku.

Wniosek jest zatem bardzo prosty: Chiny od co najmniej kilku lat poważnie traktują rozwój SI. Nie jest to chwilowa moda czy też nagła reakcja na wydarzenia zza oceanu. Nie jest również tajemnicą, że Chińska Republika Ludowa widzi w SI asymetryczne narzędzie w militarnej rywalizacji z USA, w której to Państwo Środka wciąż jest daleko jeśli chodzi o wydatki na zbrojenia, które są trzy razy mniejsze niż w Stanach Zjednoczonych.

Przełom, jakim była premiera GPT-3 i ChatGPT, przyspieszył rozwój LLM w Chinach. Jak już wspominałem, od marca do maja 2023 roku byliśmy świadkami szeregu premier różnych rozwiązań opartych o duże modele językowe przez liczne chińskie firmy.

Jednak dalszy postęp prac nad SI w Chinach nie jest pozbawiony zagrożeń. Możemy wymienić przynajmniej dwa znaczące: ograniczenia wynikające z cenzury oraz wojnę handlową z USA.

Kwestie cenzury zgłębimy za chwilę, jednak już teraz możemy sobie wyobrazić, jak trudne musi być omawianie spraw związanych, chociażby z historią czy ekonomią bez przekroczenia cienkich granic stawianych przez Partię. O szkoleniu LLM w takich warunkach nawet nie wspominając.

Kolejnym zagrożeniem, wynikającym z wojny handlowej, jest amerykański zakaz eksportu do Chin chipów oraz maszyn do ich produkcji. Alibaba, Baidu oraz Tencent polegają na producentach chipów, takich jak Nvidia.

Jak Chiny chcą kontrolować sztuczną inteligencję?

Chińska Administracja ds. Cyberprzestrzeni opublikowała 10 kwietnia 2023 roku dokument zatytułowany „Środki administracyjne dla usług generowania sztucznej inteligencji”. Zawiera on 21 propozycji regulacji dotyczących sztucznej inteligencji. Z pełną treścią obwieszczenia można zapoznać się na ich oficjalnej stronie.

Przyjrzymy się kluczowym zaleceniom. Najciekawszy polskiemu czytelnikowi wydać się może punkt pierwszy artykułu czwartego: „Treści generowane przy użyciu generatywnej sztucznej inteligencji powinny ucieleśniać podstawowe wartości socjalistyczne i nie mogą zawierać obalenia władzy państwowej, obalenia systemu socjalistycznego, podżegania do separatyzmu, podważania jedności narodowej, propagowania terroryzmu i ekstremizmu, propagowania nienawiści etnicznej, dyskryminacji etnicznej, przemocy, obscenicznych informacji pornograficznych, fałszywych informacji i treści, które mogą zakłócać porządek gospodarczy i społeczny”.

Jak zatem możemy przeczytać, z chińską SI nie porozmawiamy na tematy takie jak sytuacja Tajwanu, Ujgurów, o Tybecie nawet nie wspominając. Równie ciekawy wydaje się także nakaz przestrzegania przez duże modele językowe wartości socjalistycznych w kraju, w którym nie ma systemu emerytalnego.

Kwestię fake newsów adresuje konkretny zapis: „Treści generowane przy użyciu sztucznej inteligencji generatywnej muszą być zgodne z prawdą i dokładne, a także należy podjąć środki zapobiegające generowaniu fałszywych informacji”.

Nie będę kopiował całości dokumentu, polecam samodzielne zgłębienie wszystkich 21 propozycji regulacyjnych. Wniosek jest jednak następujący: chińskie duże modele językowe nie mogą w żaden sposób podważać nadrzędnej roli państwa, socjalistycznego ustroju, promować ekstremizmów i separatyzmów oraz być zgodne z prawdą.

Co jeśli te zakazy zostaną złamane? To również zostało sprecyzowane.

„Gdy dostawcy odkryją, że użytkownicy naruszają przepisy ustawowe i wykonawcze lub naruszają etykę biznesową lub moralność społeczną w trakcie korzystania z generatywnych produktów SI, w tym angażując się w szum online, złośliwe publikowanie i komentowanie, tworząc spam, pisząc złośliwe oprogramowanie i prowadząc niewłaściwy marketing komercyjny, zawieszają lub kończą świadczenie usług. W przypadku gdy dostawcy naruszają przepisy tych środków, internetowe wydziały informacyjne i odpowiednie właściwe departamenty nakładają kary zgodnie z „Ustawą o cyberbezpieczeństwie Chińskiej Republiki Ludowej”, „Ustawą o bezpieczeństwie danych Chińskiej Republiki Ludowej”, „Ustawą o ochronie danych osobowych Chińskiej Republiki Ludowej” oraz innymi przepisami ustawowymi i administracyjnymi”.

Użytkownicy korzystający z chatbotów muszą zarejestrować się swoim prawdziwym imieniem i nazwiskiem. Nikt, kto korzysta z SI, nie jest więc anonimowy. Co akurat w przypadku Chin dziwić nie powinno.

Faktem jest, że regulacje zaproponowane przez rząd w Pekinie w formie, takiej jak powyżej zaprezentowałem, mogą mieć negatywny wpływ na rozwój dużych modeli językowych w Chinach. Na Zachodzie SI weryfikuje się pod kątem dokładności zwracanych odpowiedzi, w Chinach dodatkowo dochodzi element przestrzegania linii Partii w zakresie różnorakich tematów, od Tajwanu, po Tiananmen, na Tybecie skończywszy.

W tym kontekście warto przywołać słowa prezesa Baidu, który powiedział, że „życzy wszystkim powodzenia, którzy mają nadzieję na wykorzystanie niechińskiej sztucznej inteligencji w aplikacjach do obsługi użytkowników w Chinach.”.  Co było, rzecz jasna, stwierdzeniem ironicznym. Aczkolwiek, niektóre zachodnie firmy starają się przypodobać zawczasu chińskiemu regulatorowi. Za przykład służy chociażby Midjourney, które zablokowało generowanie obrazów przedstawiających Xi Jinpinga.

Czego możemy nauczyć się od Chin?

W Polsce wciąż mamy tendencję do bagatelizowania Chin. Uważam jednak, że w przypadku sztucznej inteligencji (i nie tylko) powinniśmy się od Chińczyków uczyć. Nie tylko jako obywatele Polski, ale przede wszystkim jako cała Europa.

Fakty są następujące: Chiny dostrzegły sztuczną inteligencję już dawno temu, nie jest to nagły błysk czy chwilowa moda. W dodatku, nad rozwojem dużych modeli językowych pracuje w Chinach co najmniej kilkanaście firm, spośród których wymieniłem te będące w czołówce i już po premierze swoich dużych modeli językowych. W Europie nie jesteśmy w stanie się pochwalić sukcesami, które byłyby chociażby w małym stopniu zbliżone do osiągnięć chińskich.

Chińskie regulacje mogą nam się wydawać absurdalne z naszej perspektywy. Musimy jednak pamiętać o tym, jak wygląda charakterystyka chińskiego ustroju i kontraktu społecznego za Wielkim Murem. Nie skopiujemy ich rozwiązań z racji na różnice, jakie występują między naszymi cywilizacjami. Musimy wypracować własne, które będą odzwierciedlały wolność jednostki, zapewniając rozwój SI.

Sztuczna inteligencja to przyszłość czy się nam to podoba, czy nie.

Ministerstwo Kultury i Dziedzictwa Narodowego – logo

Zadanie „Wydawanie internetowego Tygodnika Spraw Obywatelskich” dofinansowano ze środków Ministra Kultury i Dziedzictwa Narodowego pochodzących z Funduszu Promocji Kultury – państwowego funduszu celowego.

Sprawdź inne artykuły z tego wydania tygodnika:

Nr 191 / (35) 2023

Przejdź do archiwum tekstów na temat:

# Nowe technologie # Świat

Być może zainteresują Cię również: