Umesto uvoda
Veštačka inteligencija. Savremena tehnologija koja donosi mnogobrojne izazove. Jedno od najvećih dostignuća 21. veka. Tehnologija koja nam može doneti mnogo toga dobrog, zameniti čoveka u mnogim sferama delatnosti i rešiti nerešive probleme. Sve su ovo fraze koje se mogu čuti u tekstovima i vestima koje govore o veštačkoj intelicenciji (u daljem tekstu VI). Postavlja se pitanje – šta je od svega ovog tačno? Koliko je zapravo savremena VI napredna? Kako se ona razvija? Da li postoje neki drugi pravci razvoja? Ovaj tekst će pokušati da odgovori na ova pitanja. Pokušaćemo da iznesemo stav da trendove razvoja VI diktiraju velike kompanije u koje spadaju: Google, Meta, Microsoft, OpenAI, NVIDIA, te da one zanemaraju alternativne pravce razvoja VI i fokusiraju se na one koje njima donose najveći profit.
Kratka istorija razvoja VI – ključna otkrića
Za početak ćemo se osvrnuti na to koja su to bila ključna otkrića koja su omogućila savremenu VI. Pre svega treba se osvrnuti na činjenicu da se današnji modeli VI uglavnom razvijaju primenom tehnika mašinskog učenja. One vuku svoje korene u radu Rozenblata iz 1958. godine, kada su konceptualno osmišljene. Tada je osmišljen model koji će predstavljati prototip današnjih neuronskih mreža, modela koji se nalazi u osnovi savremenih jezičkih modela. No, suština rada jednog modela VI ogleda se u njegovom učenju, odnosno obučavanju. Taj proces nam omogućava da mi nešto „naučimo“ model VI, bez eksplicitnog programiranja istog (kako bismo radili u tradicionalnom pristupu razvoja softvera).
Ključni algoritam za obučavanje modela VI (eng. Backpropagation) osmišljen je daleke 1970. godine. Treba napomenuti da je on do dan danas ostao suštinski isti, uz neka poboljšanja u oblasti optimizacije samog algoritma. Dakle, algoritam koji nam govori o tome kako naučiti VI nešto je osmišljen pre više od 50 godina. Ova činjenica nam ukazuje na to da od tada nije bilo nekog suštinskog napretka u tome kako mi obučavamo same modele VI.
Osvrnimo se sada na veliki „bum“ VI (odnosno njene oblasti dubokog učenja) koji se desio otprilike 2012. godine. Tada je u okviru jednog takmičenja u prepoznavanju slika ostvaren veliki napredak primenom postojećih modela. Treba napomenuti da smo do tada imali uglavnom razvoj nekih novih arhitektura neuronskih mreža (modela VI), ali da sama oblast mašinskog učenja (danas itekako dominantna) nije postala tako perspektivna. Otprilike te godine stekli su se uslovi za početak epohe u kojoj se danas nalazimo – epohe koju će karakterisati fokus na razvoj tehnika mašinskog učenja (nadalje MU), odnosno njene oblasti dubokog učenja. Taj „bum“ uslovila su tri faktora:
- Pojava novih, odnosno većih arhitektura neuronskih mreža
- Pojava novih procesora (eng. GPU)
- Dostupnost velikih količina podataka
Primetimo da na prethodnoj listi nema nekog revolucionarnog razvoja koji bi se ticao samog načina na koji ovi modeli uče. Kao što smo pomenuli on je osmišljen davnih dana. Zapravo u tom periodu nije bilo ničega novog u akademskoj zajednici, već su se stekli uslovi, mahom ekonomsko-socijalne prirode, da se dogodi pravi procvat u razvoju VI.
Sledeći bitan napredak desio se 2017. godine, otkrićem transformera. Transformer predstavlja poseban tip, odnosno model neuronske mreže koji ima tu osobinu da dobro „razume“ kontekst u kom se određena reč pojavljuje. To otkriće će biti osnova razvoja velikih jezičkih modela. Sledeći veliki napredak, možda najbitniji sveukupno (objasnićemo zašto), desio se 2020. godine kada su otkriveni „zakoni skaliranja“. Suštinski rečeno, ovo otkriće nam govori sledeće – ako imamo više podataka na raspolaganju, više hardverskih resursa (procesora) i veće modele (one sa više slojeve) mi ćemo nužno imati bolje rezultate modela. Štaviše, empirijski je utvrđeno da ti bolje rezultate možemo predvideti matematičkom funkcijom. Ovaj rezultat, zajedno sa otkrićem transformera i algoritmom za obučavanje predstavlja osnovu za razvoj velikih jezičkih modela.
Zakon skaliranja i velike kompanije – duet snova
Sada ćemo pokušati da ukažemo na to koliki je značaj paradigme skaliranja za velike kompanije koje razvijaju modele VI (mahom iz SAD). U osnovi zakona skaliranja nalaze se dve stvari:
- Mogućnost predviđanja performansi većih modela
- Potreba za konstantnim investicijama (primarno zbog infrastrukture)
Ako se sada osvrnemo na prethodne konstatacije uočavamo da je to savršen pristup u razvoju jednog proizvoda. Sa jedne strane u mogućnosti smo da potencijalnim investitorima kažemo nešto poput:“Znate, naš model trenutno možda nije najbolji, ali ako uložite u nas, zasigurno ćemo imati bolje rešenje“. To, zasigurno, kao što smo već napomenuli, prati određenu matematičku funkciju (empirijski utvrđeno). Sa druge strane se javlja potreba za konstatnim proširivanjem infrastrukture velikih kompanija, što se uglavnom ogleda u izgradnji novih centara za analizu podataka (eng. Data centers).
Čovek bi pomislio da je ovakav pristup razvoja VI nešto što je osmišljeno po meri velikih igrača koji postaju sve veći vremenom. Dodatan „šlag na tortu“ predstavlja činjenica da su najveći akcionari kompanija koje smo naveli (Meta, Google, Microsoft, OpenAI, NVIDIA) – isti. Uglavnom se tu spominju dobro poznata imena poput Vanguard-a, BlackRock-a, Fidelity-a. Još je zanimljivija sledeća činjenica. NVIDIA predstavlja kompaniju koja je zadužena za isporučivanje procesora (infrastrukture) svim ovim kompanijama. Dakle kada se javi potražnja za boljim modelom, NVIDIA je ta koja profitira. Zbog toga i ne čudi činjenica da je u septembru ove godine NVIDIA investirala 100 milijardi dolara u OpenAI kompaniju. Dakle, NVIDIA investira u OpenAI kompaniju koja je pionir u primeni paradigme skaliranja, tako da kada OpenAI odluči da napravi novi model – NVIDIA profitira, a zatim i OpenAI profitira. Zapravo rečeno profitiraju njihovi akcionari koju su, kao što smo rekli – isti. I tako ulazimo u začarani krug novih investicija i sve većih profita… Jasno je da ovakav način poslovanja predstavlja san snova svakog investitora – ulaganje u proizvod koji će se nužno, ne možda mnogo, ali svakako pokazati boljim (bar u teoriji koja je očigledno prihvaćena) predstavlja idealan model poslovanja. Naravno da je diskutabilna činjenica da je jedino što nam treba da imamo bolji model da on bude veći, ali to već zahteva razmatranja o tome koliko je trenutan pristup u razvoju VI zapravo efikasan (na šta ćemo se osvrnuti kasnije u tekstu).
Postoje li alternativni pristupi?
Pokušajmo da sada odgovorimo na pitanje vezano za alternativne pristupe u razvoju VI. Jedan on ključnih bi mogao biti „neurosimbolički“ pristup. Koje su njegove odlike? Da bismo na to pitanje odgovorili moramo se vratiti na same početke razvoja VI. Istorijat VI možemo grubo podeliti na dve faze:
- Period simboličkog (logičkog) pristupa
- Period statističkog pristupa
Iz navedenog je jasno da se mi nalazimo u drugoj fazi razvoja VI, koja je karakterisana primenom tehnika MU. Prva faza razvoja VI bila je dominanta u toku 20. veka i nju je karakterisala primena egzaktnih, mahom logički zasnovanih tehnika, dok su glavne oblasti istraživanja bile predstavljanje znanja i automatsko rasuđivanje. Jedan od glavnih „izuma“ove faze VI su bili ekspertski sistemi koji predstavljaju programe koji odgovaraju na pitanja, odnosno rešavaju probleme iz određene oblasti, primenom pravila logičkog zaključivanja. Bitna stvar koju treba napomenuti ovde jeste da su se ti programi oslanjali na znanje eksperata (dakle ljudi) iz te oblasti, koji su preneli sve relevatne informacije na računar. Ovakvi sistemi doprineli su dokazivanju matematičkih teorema 1976. i 1996. godine Još jedan značajan uspeh u ovoj fazi razvoja VI predstavlja računar (eng. Deep Blue) koji je 1997. godine pobedio Garija Kasparova u šahovskom duelu.
Sa druge strane, drugu fazu istorijata VI, kao što znamo, karakteriše primena statistički-zasnovanih tehnika (onih neegzaktnih tehnika). Logičan zaključak koji se ovde nameće jeste da bi najbolji pristup bilo kombinovati ova dva pristupa, kako bi se oni međusobno dopunjavali. To i jeste zamisao „neurosimboličkog pristupa“ u razvoju VI. Glavni istraživači na ovom bolju jesu MIT kao predstavnik akademskog sveta, odnosno IBM kao predstavnik industrije. Treba napomenuti da oni zajedno sarađuju na razvoju ove oblasti poslednjih par godina, te da svakako imaju određene rezultate iz iste. Ovakav pristup mogao bi da reši neke od ključnih problema velikih jezičkih modela kao što su: pouzdanost, proverljivost i objašnjivost odluka samih modela. Ovakav pristup zahteva znatno manje količine podataka za obučavanje, što samim tim zahteva manje modele i manju infrastrukturu za rad. Ovaj pristup je svakako nešto što mi smatramo najperspektivnijom oblašću razvoja VI, pre svega zbog toga što bismo bili u stanju da uspešno kombinujemo ekspertsko (ljudsko znanje) sa složenim tehnikama MU koje su u stanju da uoče korelacije između raznih tipova podataka.
Drugi pristup na koji ćemo se osvrnuti jeste učenje potkrepljivanjem (eng. Reinforcement learning). Ovaj pristup predstavlja primenu biheviorističke teorije učenja na VI. U ovom pristupu nema korišćenja nikakvog skupa podataka za obučavanje, već se agenti, odnosno modeli, obučavaju tako što uče na osnovu sopstvenog iskustva, u dodiru sa njihovim okruženjem (koje može biti virtuelno ili stvarno). Na ovaj način pokušavamo da „simuliramo“ proces učenja kroz pokušaje dajući modelima cilj koji oni moraju da dostignu tokom obučavanja. Ovaj pristup je omogućio uspeh AlphaGo projekta – model koji je pobedio svetskog šampiona u drevnoj kineskoj igri Go.
Ovde ćemo spomenuti ukratko još samo pristup zasnovan na uzročnom rasuđivanju (eng. Causal machine learning). Ova oblast koja se intezivno razvija poslednjih decenija, proučava matematički aparat koji pokušava da otkrije uzroke određenih pojava. Ovde se, naravno, misli na situacije kada potencijalno postoji veliki broj uzročnika određene pojave, te je potrebno odrediti one najznačnije. Jasno je da je samo rasuđivanje o uzročnostima određenih pojava itekako utkano u naše svakodnevno poimanje sveta, te da bi primena ovih metoda itekako mogla da poboljša postojeće sisteme VI.
Uticaj velikih kompanija na akademski svet
U nastavku ćemo se osvrnuti na uticaj koji velike kompanije imaju na akademsku zajednicu (mahom u SAD) kako bismo pokušali da ukažemo na to koliki je njihov značaj u određivanju pravca razvoja VI. Pre svega treba ukazati na činjenicu da je sama arhitektura za razvoj složenih modela VI izuzetno skupa, te da se ni najpoznatiji američki univerziteti (koji svakako imaju veliki budžet) ne mogu porediti sa tehnološkim gigantima.
Pre svega se osvrnimo na veličinu i finansijsku moć pomenutih kompanija. Procenjuje se da su u 2024. godini Microsoft, Meta, Google i Amazon zajedno potrošili 125 milijardi dolara na infrastrukturu za razvoj VI. Što se tekuće godine tiče – procenjuje se da će ta brojka preći 300 milijardi dolara ulaganja, dakle skoro trostruko više nego godinu ranije.
Prema istraživanju iz 2021. godine 65% mladih doktoranata radije izabere rad u industriji nasuprot rada na fakultetu, što predstavlja porast od 21% u odnosu na istraživanje iz 2010. godine. Naročito treba napomenuti vrlo ilustrativan slučaj Timnit Gebru. Ona je, kao izuzetan stručnjak u svojoj oblasti, te visoko pozicionirani istraživač u okviru Google-a, morala da da otkaz u svojoj kompaniji nakon objavljivanja istraživačkog rada na temu pristrasnosti modela VI te rizika koji se povezuju sa njima. Ovaj slučaj jasno ukazuje na to koliko kompanije ne interesuje ozbiljan istraživački rad u oblasti VI. Čak i pre pojave potrebe za razvojem infrastrukture za VI, univerziteti su makom koristili infrastrukturu računarstva u oblaku (eng. Cloud computing) koju, takođe, poseduju veliki tehnološki giganti.
Pored same infrastrukture koja je izuzetno skupa, velike tehnološke kompanije direktno finansiraju pojedine univerzitete. Tu se pre svega misli na programe stipendiranja mladih istraživača, odnosno projekata u okviru univerziteta. Još jedan ilustrativan primer predstavlja otvoreno pismo koje su 2025. godine potpisali istraživači sa univerziteta u Groningenu. Potpisnici u njemu izražavaju strepnju zbog sve veće zavisnosti u odnosu na kompanije poput Microsoft-a i Google-a, odnosno zbog toga što „digitalni servisi koje oni koriste umnogome oblikuju profesionalnu praksu“. Na samom kraju pisma ukazuju na to kako velike tehnološke kompanije oblikuju i određuju pravac istraživanja koje se baziraju na njihovoj infrastrukturi. Ovo pismo je potpisalo preko 500 istraživača sa pomenutog univerziteta. Pomenuti primeri jasno ukazuju na činjenicu da univerziteti širom Evrope i Amerike polako postaju sve zavisniji od velikih tehnoloških kompanija, koje će neminovno diktirati, u većoj ili manjoj meri, uslove te saradnje.
Kuda vodi ovakav razvoj VI?
Na samom kraju pokušajmo da se osvrnemo na to koje su posledica ovakvog razvoja modela VI. Pre svega one su ekonomske prirode. Karen Hao je svoju izvrsnu knjigu o velikim tehnološkim kompanijama nazvala „Empire of AI“, pri čemu se ona fokusirala na istraživanje OpenAI kompanije. Ova sintagma govori dosta o tome kuda vodi ovakav razvoj VI. To je neverovatna količina kapitala koje ove kompanije svake godine povećavaju. Kao što smo već spomenuli u tekstu, pomenute kompanije troše stotine milijardi dolara godišnje na unapređivanje infrastrukture za razvoj VI. U oktobru ove godine OpenAI je postao startap kompanija koja vredi 500 milijardi dolara pretekavši SpaceX, te postavši najvredniji startap na svetu. Ovaj podatak dodatno ilustruje činjenicu o kolikom kapitalu se radi kada govorimo o ovim kompanijama. Jasno je da im sve veći kapital omogućuje da ostvare sve veće političke interese koje se ogledaju u već pomenutom uticaju na akademsku zajednicu, lobiranje povodom eventualnog donošenja regulativa koje bi nekako usporile razvoj VI, izgradnjom centara za analitiku širom SAD (bez obzira na eventualnu štetu po lokalno stanovništvo o čemu Karen Hao detaljno govori u svojoj knjizi).
Na kraju, osvrnimo se na to kakve će posledice imati pristup zasnovan na primeni paradigme skaliranja modela. Pre svega jasno je da će modeli postajati sve složeniji. Samim tim i njihove odluke će biti sve teže za razumevanje. To na neki način otežava mogućnost primene VI u tandemu sa ekspertima iz određene oblasti, na primer lekarima. Pored toga možemo očekivati sve veću potražnju za novim izvorima podataka koje bi modeli mogli da koriste. Konačno, kako nismo primenili negi „genijalan“ način obučavanja ovih modela, zaključujemo da će oni proširivati svoje znanje na identičan način kao i do sada – ovaj metod možemo opisati sintagmom „učenje napamet na velikoj skali“. Dodatno treba se osvrnuti i na mišljenje koje apriori smatra ovaj pristup pogrešnim, odnosno nedovoljnim za razvijanje bilo kakve ozbiljne inteligencije. Pre svega zbog previše uprošćenog posmatranja ljudskog znanja kao „korelacija“ između određenih pojmova. Valja napomenuti da postoje istraživači koji smatraju da smo mi suštinski već dostigli maksimum sa primenom ovakvih modela, te da se dalje može napredovati isključivo primenom nekih drugih paradigmi (Geri Markus, Ričard Saton).
Imajući u vidu sve navedeno možemo zaključiti da će, ukoliko se nastavi po sadašnjem principu, razvoj VI ići postepeno, pri čemu očekivano je značajno uvećanje kapitala velikih tehnoloških kompanija. Čak i u slučaju da dođe do nekog značajnog otkrića koje bi moglo da nam omogući da pravimo mnogo bezbednije i bolje modele, pitanje je koliko bi velike kompanije primenile takav pristup, ukoliko bi morale da potpuno iznova prave svoje modele. Za njih je svakako interesantniji pristup koji im garantuje upliv dodatnog kapitala, bez obzira na moguće rizike od modela VI koje koristi stotine miliona ljudi širom sveta…
Izvor: Iskra
