Naletio sam na par interviewa sa Yann LeCun (Chief AI Scientist, Meta)
AI Hype Exposed: Meta VP on Why “Intelligent” Machines Stay Dumb | Yann LeCun -
https://www.youtube.com/watch?v=ogMaVI7-A40
Yann LeCun:
We Won't Reach AGI By Scaling Up LLMS -
https://www.youtube.com/watch?v=4__gg83s_Do
Why Can't AI Make Its Own Discoveries? — With Yann LeCun -
https://youtu.be/qvNCVYkHKfg
U principu, problematika se svodi na to da LLM barata sa rijecima sto je relativno jednostavno jer postoji odredjen (diskretan) broj predvidjanja koja ce rijec biti sljedeca u recenici... U principu, primjenjen pattern recognition...
Ono gdje se AI totalno gubi je vizualni input... Jednostavno, radi se o ogromnoj kolicini informacija koju postojeci AI sustavi nisu u mogucnosti 'shvatiti' i raditi predvidjanja (jer to rade po definiciji)... Recimo, nesto sto je ljudima intuitivno jasno da ce se desiti - npr. da ce casa pasti na pod i razbiti se ako ju pustimo iz ruke, AI uopce ne moze pokopcati... Usporedimo to sa tekstom koji se sastoji od simbola (slova i brojeva), i mislim da postaje kristalno jasno o kakvoj se tu problematici radi - vizualni input nema simbole niti diskretan skup kombinacija tih simbola sa kojim treba baratati...
Sve u svemu, preporucam pogledati ta tri videa... Ima toga jos, ali ova dva su jako dobra jer Yann LeCun jako dobro objasnjava problematiku LLMova i AI opcenito... Yann LeCun je dao lijepu analogiju sto je to LLM - to bi bilo Brocino podrucje u mozgu, koje je velicine malo vece pikule, a zaduzeno je za govor...
Malo sam razmisljao o tome kako ljudi razmisljaju i zakljucio sam da ljudi koriste ideje kao osnovne blokove prilikom razmisljanja, nakon cega ide vizualizacija ili pretvaranje u zvukove i tek onda se mozak fokusira na jezgrovito objasnjavanje tih procesiranih ideja rijecima... Rijeci su zapravo prilicno zeznute jer postoji diskretan broj rijeci kojima se mora objasniti ideja, sto je nekad doslovo nemoguce pa je onda lakse nesto napraviti - to moze biti umjetnicko djelo (slika, glazba, kip) ili neki uredjaj... Vec dugo vremena smatram da je koncept jezika, rijeci i govora izrazito ogranicavajuci faktor u razvoju ljudse rase... Kada bi postojao nacin komunikacije koji ne bi koristio jezik, rijeci i govor, bio bi puno efikasniji i bogtepitaj gdje bi vec bili kao rasa, pritom ne mislim na znakovni jezik koji koriste gluhi i nagluhi ljudi... Zapravo me vise zanima razvoj neverbalne komunikacije u smislu telepatije (jel tko citao knjige od Ursule Le Guin?)...