Zobacz innych Facet贸w i Facetki od nauki z Uniwersytetu 艁贸dzkiego.
Pars pro toto: ChatGPT jako twarz sztucznej inteligencji
Mniej wi臋cej od ko艅ca 2022 roku, czyli od momentu upublicznienia ChatGPT z terminem 鈥瀞ztuczna inteligencja鈥� (SI) spotykamy si臋 wielokrotnie cz臋艣ciej ni偶 kiedykolwiek wcze艣niej. Na kartonie telewizora sprzedawanego w 2026 roku mo偶na znale藕膰 informacj臋, 偶e nap臋dzaj膮 go cztery rodzaje 鈥濧I鈥�. Tempo rozwoju tej technologii utrudnia przeci臋tnemu u偶ytkownikowi zrozumienie, z czym ma aktualnie do czynienia i z czego wynikaj膮 jej ograniczenia.
Gdy precyzyjne zrozumienie z艂o偶onego poj臋cia 艣pi, rodz膮 si臋 wszelkiej ma艣ci figury retoryczne. W przypadku sztucznej inteligencji szczeg贸lnie cz臋sto pos艂ugujemy si臋 synekdoch膮: cz臋艣ci膮 nazywamy ca艂o艣膰 albo ca艂o艣ci膮 jej cz臋艣膰. Poproszeni o wyja艣nienie, czym jest sztuczna inteligencja, odpowiadamy wi臋c, 偶e to ten ChatGPT, kt贸rym piszemy e-maile w obcym j臋zyku. Do jednego worka wk艂adamy rozwi膮zania do generowania tekst贸w, obraz贸w, film贸w i muzyki, a tak偶e do przetwarzania i syntetyzowania mowy. Jeszcze kilka lat temu by艂by to b艂膮d, poniewa偶 do generowania obrazu czy d藕wi臋ku stosowano osobne modele. Dzi艣 istniej膮 sieci neuronowe, kt贸re potrafi膮 analizowa膰 i generowa膰 r贸偶ne rodzaje tre艣ci. Ich rdzeniem pozostaje jednak generatywny model j臋zykowy (ang. Large Language Model, LLM), ze wszystkimi zaletami i wadami tej odmiany sztucznej inteligencji.
Chaos poj臋ciowy jest w tym przypadku nieunikniony.
Generatywna SI dotyka naszej aktywno艣ci j臋zykowej, komunikacyjnej i poznawczej, a niski pr贸g u偶ycia pozwala ka偶demu 鈥瀦bada膰 sztuczn膮 inteligencj臋鈥� poprzez zadawanie jej pyta艅. Tw贸rcy najwi臋kszych LLM-贸w przedstawiaj膮 za艣 ich rozw贸j jako szybk膮 艣cie偶k臋 do AGI, czyli uog贸lnionej sztucznej inteligencji, a mo偶e nawet ASI, czyli sztucznej superinteligencji. Modele oparte na architekturze transformera to jednak jeszcze nie ca艂a sztuczna inteligencja. P贸ki co nie jest to r贸wnie偶 AGI, a z pewno艣ci膮 nie ASI. Ich ograniczenia mog膮 by膰 coraz lepiej maskowane, ale cz臋艣膰 z nich jest wpisana w teoretyczne podstawy modeli j臋zykowych.
- wprowadza w problematyk臋 du偶ych modeli j臋zykowych dr hab. Piotr P臋zik, prof. U艁.
Od statystycznego modelowania j臋zyka do transformera
Statystyczne modelowanie j臋zyka si臋ga przynajmniej pocz膮tku ubieg艂ego wieku. Przesz艂o 110 lat temu Andriej Markow zbudowa艂 model wywiedziony z rozk艂adu sp贸艂g艂osek i samog艂osek w puszkinowskim poemacie Eugeniusz Oniegin. Pod koniec lat czterdziestych Claude Shannon wykaza艂 z kolei, 偶e modeluj膮c kr贸tkie sekwencje wyraz贸w, mo偶na generowa膰 d艂u偶sze, sk艂adniowo poprawne frazy. Wyszed艂 przy tym z za艂o偶enia, 偶e semantyczne aspekty komunikacji s膮 nieistotne dla jej informatycznej implementacji.
Stosunkowo niedawnym prze艂omem by艂y neuronowe osadzenia s艂贸w (word embeddings), kt贸re oko艂o 2013 roku wstrz膮sn臋艂y 艣wiatem lingwistyki komputerowej. Sie膰 trenowana na przewidywaniu s艂owa w kontek艣cie 鈥� na przyk艂ad wyrazu pasuj膮cego do zdania 鈥濧la ma鈥� kota鈥� 鈥� zakodowa艂a w swoich wagach 鈥瀙o艂o偶enie鈥� s艂贸w w gramatyczno-leksykalnej hiperprzestrzeni. Takie wektorowe reprezentacje pozwoli艂y wykonywa膰 dzia艂ania na znaczeniach s艂贸w, a p贸藕niej tak偶e ca艂ych zda艅.
Panorama Barcelony z lotu ptaka. Poszczeg贸lne budynki symbolizuj膮 s艂owa, ulice s膮 relacjami mi臋dzy nimi, a dzielnice skupiaj膮 podobne znaczenia. Niekt贸re dzielnice s膮 blisko siebie, inne daleko. G艂贸wne arterie 艂膮cz膮 odleg艂e obszary. W centrum pojawia si臋 wielki w臋ze艂 komunikacyjny, w kt贸rym przecinaj膮 si臋 setki po艂膮cze艅.
Opublikowana przez badaczy pracuj膮cych dla Google鈥檃 w 2017 roku praca Attention Is All You Need ukierunkowa艂a g艂贸wny nurt bada艅 nad u偶yciem g艂臋bokich sieci neuronowych do modelowania j臋zyka naturalnego. Opisano w niej sie膰 typu transformer, kt贸rej tytu艂owym elementem s膮 bloki atencji. Pozwalaj膮 one wa偶y膰 znaczenie fragment贸w tekstu zale偶nie od pozycji i otoczenia tworz膮cych je s艂贸w. Wynik dzia艂ania kolejnych warstw s艂u偶y do przewidzenia nast臋pnego tokenu, czyli s艂owa lub jego fragmentu. Znaczenie i gramatyka wy艂aniaj膮 si臋 wi臋c podczas treningu z surowej informacji o kontekstach, w kt贸rych wyst臋puj膮 s艂owa. Jako j臋zykoznawca pokusz臋 si臋 o stwierdzenie, 偶e jest to praktyczna realizacja dystrybucyjnej teorii znaczenia, najzwi臋藕lej uj臋tej przez j臋zykoznawc臋 Johna Firtha: 鈥濸oznasz s艂owo po towarzystwie, w kt贸rym si臋 obraca鈥�. W pewnym daj膮cym si臋 formalnie opisa膰 sensie pos艂ugiwanie si臋 j臋zykiem polega zatem na przewidywaniu i generowaniu kolejnego s艂owa.
Wiedza, p艂ynno艣膰 i halucynacje
Transformer autoregresyjny pobudza si臋 nie tylko wej艣ciowym poleceniem, ale te偶 ka偶dym s艂owem generowanym w odpowiedzi. To, co napisz臋 na ko艅cu tego tekstu, zale偶y wi臋c nie tylko od wcze艣niejszych zda艅, lecz tak偶e od s艂贸w, kt贸re dopiero pojawi膮 si臋 鈥瀙o drodze鈥�. Mechanizm ten pozwala modelom tworzy膰 zaskakuj膮co sp贸jne wypowiedzi, ale jest r贸wnie偶 藕r贸d艂em ich immanentnej sk艂onno艣ci do halucynacji, czyli generowania informacji brzmi膮cych wiarygodnie, cho膰 niezgodnych z faktami.
Po nakarmieniu tekstami zawieraj膮cymi biliony s艂贸w najwi臋ksze modele skompresowa艂y w swoich wagach znaczn膮 cz臋艣膰 konwencjonalnej wiedzy o 艣wiecie. To jednak nie oznacza, 偶e s膮 bazami zweryfikowanych fakt贸w z jawnie opisanym modelem danych. Ich podstawowym zadaniem pozostaje przewidzenie najbardziej prawdopodobnego kolejnego tokenu. Poprawno艣膰 faktograficzna pojawia si臋 przy okazji: model wielokrotnie napotyka prawdziw膮 informacj臋 w r贸偶nych kontekstach i uczy si臋 j膮 odtwarza膰, cz臋sto dopiero w fazach tzw. post-treningu, czyli dodatkowego etapu uczenia.
Z艂o艣liwie mo偶na zatem powiedzie膰, 偶e podstawowym celem pretreningu transformera jest krasom贸wstwo. P艂ynno艣膰 wypowiedzi optymalizuje si臋 w nim bardziej bezpo艣rednio ni偶 jej zgodno艣膰 z faktami. P贸藕niejsze dostrajanie na przyk艂adach pyta艅 i odpowiedzi oraz preferencjach u偶ytkownik贸w ogranicza liczb臋 oczywistych zmy艣le艅, ale nie usuwa mechanizmu, kt贸ry le偶y pod kolejnymi warstwami treningu. Co wi臋cej, ludzie cz臋sto wol膮 odpowiedzi d艂u偶sze, pewne siebie i 艂adnie sformatowane od zwi臋z艂ych, ostro偶nych i mniej efektownych. Model uczy si臋 wi臋c pomocno艣ci, przekonuj膮cego stylu i sprawno艣ci retorycznej. D膮偶enie do szczero艣ci, bezstronno艣ci i prawdom贸wno艣ci nadal nie jest jego jedynym celem. W architektur臋 LLM-贸w pozostaje wpisana pewna swoboda poetycka. Ich doskona艂ym literackim pierwowzorem jest lemowski Elektryba艂t.
Inteligencja j臋zykowa: memoryzacja, interpolacja i ekstrapolacja
Nie jestem hejterem LLM-贸w. Przez ca艂e naukowe 偶ycie fascynowa艂a mnie mo偶liwo艣膰 komputerowego modelowania j臋zyka, zw艂aszcza na podstawie wielkich zbior贸w naturalnie wyst臋puj膮cych tekst贸w. Mimo zawrotnego tempa rozwoju nadal traktuj臋 modele j臋zykowe przede wszystkim jako asocjacyjne bazy danych ze stochastyczn膮 implementacj膮 j臋zykowych mechanizm贸w rozumowania.
Najwi臋ksze transformery maj膮 niesamowit膮 rozdzielczo艣膰: potrafi膮 zapami臋ta膰 miliardy fakt贸w i 艣wietnie interpolowa膰 mi臋dzy pokrewnymi zadaniami. Model trenowany na przyk艂adach pisania przepis贸w kulinarnych oraz zmiany stylu z potocznego na podnios艂y potrafi napisa膰 przepis na bigos w stylu biblijnym, mimo 偶e nikt go tego wprost nie uczy艂. Jedni nazw膮 to transferem wyuczonych wzorc贸w, inni 鈥瀢y艂anianiem si臋 zdolno艣ci鈥� albo 鈥瀒skrami AGI鈥�.
Od takiej interpolacji daleko jednak do pe艂nej ekstrapolacji, czyli wykonywania autentycznie nowych zada艅. Ludzka inteligencja prze艂膮cza si臋 cz臋sto w tryb symboliczny. Potrafimy przemno偶y膰 w s艂upku kilkucyfrowe liczby, a nawet najwi臋ksze LLM-y, kt贸re podobno osi膮gn臋艂y poziom AGI i rozwi膮zuj膮 problemy milenijne, jeszcze tego nie potrafi膮 zrobi膰 w podobnym re偶mie symbolicznym. W ich hiperprzestrzeni semantycznej nie ma stan贸w absolutnych, s膮 jedynie odpowiedzi skrajnie prawdopodobne lub nieprawdopodobne.
Wsp贸艂czesne systemy obchodz膮 te ograniczenia, ucz膮c modele si臋gania po kalkulator, interpreter kodu, wyszukiwark臋 i inne narz臋dzia. Dzi臋ki nim z wnioskowania asocjacyjnego mo偶na przej艣膰 do stabilnego re偶imu symbolicznego. Trzeba wi臋c odr贸偶nia膰 mo偶liwo艣ci samego modelu j臋zykowego od mo偶liwo艣ci ca艂ego systemu agentowego, w kt贸rym zosta艂 osadzony.
Jednorazowa kreatywno艣膰 i nie艣wiadomy plagiat
Pojawienie si臋 generatywnej SI z pewno艣ci膮 wywo艂a d艂ugofalowe zmiany spo艂eczne. Jeste艣my z natury sk艂onni do optymalizacji wysi艂ku, dlatego ch臋tnie delegujemy wszelk膮 prac臋, w tym wysi艂ek poznawczy, do system贸w AI. Piszemy modelami maile do klient贸w, kt贸rzy streszczaj膮 je za pomoc膮 tych samych modeli. Trudno przewidzie膰 konsekwencje takiego masowego przenoszenia wysi艂ku na maszyny. Ju偶 teraz generatywna SI przypomina Uroborosa, mitycznego w臋偶a zjadaj膮cego w艂asny ogon. Modele karmi膮 si臋 danymi syntetycznymi, czyli tre艣ciami wytworzonymi przez te same lub podobne modele. Ich odpowiedzi przenikaj膮 do Internetu, mieszaj膮 si臋 z tre艣ciami tworzonymi przez ludzi, a nast臋pnie zasilaj膮 trening kolejnych system贸w. Prowadzi to do zalewu 鈥濧I slopu鈥� i globalnej konwergencji, czyli ujednolicania tre艣ci wytwarzanych przez pozornie niezale偶ne modele.
Po艂膮czenie stochastycznej natury LLM-贸w z takim obiegiem danych skutkuje pozorn膮, jednorazow膮 kreatywno艣ci膮. Je偶eli zapytamy r贸偶ne modele o ulubion膮 planet臋 albo kszta艂t, z du偶ym prawdopodobie艅stwem wska偶膮 Saturna lub sze艣ciok膮t foremny. Dla unikatowego promptu model mo偶e wygenerowa膰 oryginaln膮 odpowied藕, ale dla podobnych polece艅 rozk艂ad odpowiedzi okazuje si臋 bardzo ograniczony. To po偶膮dane w pytaniach wiedzowych, ale fatalne w zadaniach tw贸rczych. Mo偶na ratowa膰 si臋 in偶ynieri膮 prompt贸w i dostarcza膰 modelowi coraz wi臋cej w艂asnego materia艂u, lecz prowadzi to do 鈥瀦艂udzenia wr贸偶ki鈥�: im wi臋cej powiemy wr贸偶ce o sobie, tym wi臋cej ona powie nam o nas. Je艣li promptem jest w艂asnor臋cznie napisany artyku艂, a zadaniem modelu jego skr贸cenie, mo偶emy oczekiwa膰 tw贸rczego efektu. Gorzej, gdy jest odwrotnie. Niska 艣wiadomo艣膰 determinizmu LLM-贸w grozi nie艣wiadomym plagiatem: r贸偶ne osoby w tym samym czasie 鈥瀢padaj膮鈥� na te same pomys艂y podsuni臋te przez modele.
Czy to droga do ASI?
Multimodalne modele j臋zykowe sta艂y si臋 najbardziej znan膮 twarz膮 sztucznej inteligencji. Rdzeniem tych system贸w pozostaje inteligencja modelowana j臋zykowo. Pocz膮tkowo LLM-y by艂y generatorami tekstu, ale po nakarmieniu ogromem danych skompresowa艂y znaczn膮 cz臋艣膰 konwencjonalnej wiedzy o 艣wiecie. Ucz膮c si臋 j臋zyka, znakomicie zapami臋tuj膮 i 艂膮cz膮 informacje, przenosz膮 wzorce mi臋dzy pokrewnymi zadaniami oraz pos艂uguj膮 si臋 narz臋dziami. Osadzone w narz臋dziowym ekosystemie mog膮 s艂u偶y膰 jako kognitywny egzoszkielet cz艂owieka: podpowiada膰, porz膮dkowa膰 wiedz臋, pisa膰 oprogramowanie i zarz膮dza膰 jego uruchamianiem, a tak偶e masowo generowa膰 i testowa膰 hipotezy, co otwiera nowe perspektywy prowadzenia bada艅 naukowych. Im bardziej wielomodalne i 鈥瀉gentowe鈥� staj膮 si臋 LLM-y, tym 艂atwiej uzna膰 t臋 cz臋艣膰 SI za jej ca艂o艣膰. Nie wpadajmy w t臋 pu艂apk臋 poznawcz膮. ChatGPT i podobne systemy to tylko jedna z mo偶liwych metod modelowania inteligencji. P贸ki co, nie zast臋puje ona inteligencji naturalnej w ca艂ym jej spektrum. Z drugiej strony, nawet je偶eli modele j臋zykowe ostatecznie nie oka偶膮 si臋 w艂a艣ciw膮 drog膮 do stworzenia ASI, to z pewno艣ci膮 poka偶膮 nam, jak wielk膮 cz臋艣膰 ludzkiej inteligencji mo偶na odtworzy膰 z tekstu.
窜诲箩臋肠颈补: dr Bartosz Ka艂u偶ny, materia艂 藕r贸d艂owy: dr hab. Piotr P臋zik, prof. U艁, opracowanie: Centrum Wsp贸艂pracy z Otoczeniem i Spo艂ecznej Odpowiedzialno艣ci Uczelni
Zobacz innych Facet贸w i Facetki od nauki z Uniwersytetu 艁贸dzkiego
