Forumi


Povratak   PC Ekspert Forum > Računala > Software > Web dizajn, programiranje i ostalo
Ime
Lozinka

Odgovori
 
Uređivanje
Staro 16.05.2019., 16:58   #1
Eye of Truth
Registered User
 
Eye of Truth's Avatar
 
Datum registracije: May 2019
Lokacija: Slavonski Brod
Postovi: 58
AI, Deep learning

Pošto nigdje na forumu nisam vidio thread vezan uz AI i Deep Learning zanima me ima li na forumu ljudi koji se bave s tim, planiraju baviti s tim, zanima ih to i sl. da razmjenjujemo malo iskustva.

Ja sam krenuo nešto konkretno raditi ove godine i to sa Deep learningom, odnosno neuronskim mrežama.

Krenuo sam s pytorch+fast.ai frameworkom(python) - https://course.fast.ai/ (na konkretnom linku se nalazi 7 predavanja koja pokrivaju područje od uvoda u taj sav svijet pa do implementacije rješenja za različite probleme)

Osim fast.ai napravio sam par modela na Darknet arhitekturi(YoloV2 i YoloV3) za object detection - https://pjreddie.com/darknet/yolo/

Sad trenutno smo se u firmi okrenuli Tensorflow frameworku - https://www.tensorflow.org/ tako da se u zadnje vrijeme igram s njim.
Eye of Truth je offline   Reply With Quote
Staro 17.07.2019., 12:59   #2
dada-as
Bot Maker
Moj komp
 
dada-as's Avatar
 
Datum registracije: Dec 2005
Lokacija: medjimurje, mala subotica
Postovi: 2,726
Hey. Evo ja krenuo runat par tih umjetnih inteligencija. mene trenutno zanima text i pisanje textova. Igram se sa GPT-2 kojhi radi na tensorflow.

E sad ja sam svasta isprobao i trenutno sve radim na clouderizer i google colab. najeftinije i izgleda najbolje.

Pokusao sam runat od doma na ubuntu koristeci 1060 nvidiju i tensorflow mi je papo memoriju i nije to bas islo, e sad mozda sam nesto pogrijesio, mozda sam morao smanjiti nekako koristenje memroije, ako tko zna ili je runao tensorflow na nekim stolnim racunalima neka javi kako to radi, jel stabilno i kako ga ustabiliti?

Inace sam duze vrijeme bavim robotikom i automatizmom, ali ovo machinelearning je daleko novi nivo.

Sto ti radis i sto pokusavas napraviti?
__________________
dada-as je offline   Reply With Quote
Oglasni prostor
Oglas
 
Oglas
Staro 18.07.2019., 11:21   #3
Eye of Truth
Registered User
 
Eye of Truth's Avatar
 
Datum registracije: May 2019
Lokacija: Slavonski Brod
Postovi: 58
Citiraj:
Autor dada-as Pregled postova
Hey. Evo ja krenuo runat par tih umjetnih inteligencija. mene trenutno zanima text i pisanje textova. Igram se sa GPT-2 kojhi radi na tensorflow.

E sad ja sam svasta isprobao i trenutno sve radim na clouderizer i google colab. najeftinije i izgleda najbolje.

Pokusao sam runat od doma na ubuntu koristeci 1060 nvidiju i tensorflow mi je papo memoriju i nije to bas islo, e sad mozda sam nesto pogrijesio, mozda sam morao smanjiti nekako koristenje memroije, ako tko zna ili je runao tensorflow na nekim stolnim racunalima neka javi kako to radi, jel stabilno i kako ga ustabiliti?

Inace sam duze vrijeme bavim robotikom i automatizmom, ali ovo machinelearning je daleko novi nivo.

Sto ti radis i sto pokusavas napraviti?
Ja ti radim sa image i video processingom za sad. Odnosno u konačnici detekcija objekata sa slike i videa. Za sad sam radio modele za licence plate detection koji nam je kao nekakav prezentacijski primjer, te prepoznavanje stanja brojila(plinska, elekt. i sl.) sa slike(to nam je nedavno krenulo u produkciju).

Koristimo u pozadini konvolucijske neuronske mreže(CNN) i to implementacije u Darknet(YoloV3) ili Tensorflow(SSD).

Što se tiče text processinga nisam do sad ništa radio oko toga, al u uvodnom postu sam stavio link na fast.ai video tutoriale(u pozadini nije Tensorflow, već fast.ai + pytorch).
U 4. videu(Part 1) ti lik radi sa NLP(natural language processingom) i koliko se sjećam radio je primjer sa komentarima sa IMDB-a. Odnosno napravio je model koji mu je prepoznavao koji od komentara su pozitivni, koji negativni na temelju text-a pa ako te zanima tako nešto pogledaj.

Što se tiče memorije moguće da ti 1060 grafa nije dovoljna(pogotovo ako je verzija sa 3GB memorije). Meni za nekakav normalan rad sa image i video processingom treba min grafa sa 6GB memorije. E sad, kakva je situacija sa obradom texta nemam pojma.

Ono na što sam ja mogao utjecat što se tiče memorije(da mi training/detekcija ne puca) je smanjivanje batch size-a u konfiguracijskim file-ovima kod treninga/detekcije. Batch size u mom slučaju označava broj frame-ova/slika koji se obrađuju u jednoj iteraciji. Tako da si pogledaj jel imaš kakvu alternativu za batch size kod text processinga. Moguće da isto tako možeš smanjiti nekakvu vrijednost prilikom traininga, a da ti grafa to onda istrpi. Training/detekcija će biti malo duži u tom slučaju, al barem radi.

Rentanje na cloudu je super, al cijene su jebene barem dok sam ja gledao prošle godine. Sad u firmi imamo 2 1070Ti grafe sa 8GB i s tim se već može normalno radit.
Eye of Truth je offline   Reply With Quote
Staro 18.07.2019., 13:43   #4
dada-as
Bot Maker
Moj komp
 
dada-as's Avatar
 
Datum registracije: Dec 2005
Lokacija: medjimurje, mala subotica
Postovi: 2,726
Da, skuzio sam za taj batch da sam trebao smanjiti, ali dobro ja sam ga onako opalio zestoko, napravio mi je sad fileova sa treningom velicine 10GBta. Koristio sam google colab koji ej besplatan oni koriste one neke tesla grafe namjenjene bas za ovo.

1060 mi je 6Gb ali ocito sam pretjerao sa treningom. Recimo na colabu mi je 10gb treninga napravilo za 2 dana. Rezultati su ajmo rec prihvatljivi.

Ja sam teski pocetnik, tek sam nedavno cuo za fast.ai, nisam se jos bacio na to istrazivanje.

Znaci ti radis da Ai prepozna po slici koliko je brojilo? Z/naci ovi koji ocitavaju brojila bi trebali samo slikat brojilo?

Nekako po logici image i video processing bi zahtjevalo puno energije odnosno resursa. No onaj GPT-2 software je navodno nesto sto voli konzumaciju dobara.
__________________
dada-as je offline   Reply With Quote
Staro 18.07.2019., 15:44   #5
Eye of Truth
Registered User
 
Eye of Truth's Avatar
 
Datum registracije: May 2019
Lokacija: Slavonski Brod
Postovi: 58
Citiraj:
Autor dada-as Pregled postova
Znaci ti radis da Ai prepozna po slici koliko je brojilo? Z/naci ovi koji ocitavaju brojila bi trebali samo slikat brojilo?

Nekako po logici image i video processing bi zahtjevalo puno energije odnosno resursa. No onaj GPT-2 software je navodno nesto sto voli konzumaciju dobara.
Da, model mi prepoznaje sa slike tvornički broj(serijski broj) i stanje.
Sad opcija je ili da model/detekciju vrtiš na serveru pa u tom slučaju slika ide na server -> vrši se detekcija -> vraća rezultat ili da model deployaš na mobitel pa izbjegavaš slanje na server.

Općenito je kod image/video procesinga najzajebaniji taj dio optimizacije modela. Slike ne toliko jer mi nije presudno hoće li detekcija bit 50/100/200 ms al kad je video u pitanju većinom ti se traži onda real-time detekcija. I onda tu nastaje kirvaj jer radiš detekciju za svaki frame. Znači ako kao konačan rezultat želiš dobit video od 30fpsa ti moraš skršit detekciju za svaki frame na 30 ms. I onda gledaš arhitekture(Yolo, SSD, nešto treće) i omjer preciznosti/brzine detekcije, zajebavaš se sa rezolucijama slika, smanjuješ koliko možeš da dobiješ što brže a da u isto vrijeme ne sjebeš accuracy. Uglavnom zna bit zanimljivo.

GPT-2 nisam probao, al imaš od intela recimo neural compute stick koji primjerice možeš koristit s raspberrijem i na kojem možeš vrtit modele. Training odradiš na nekom jačem serveru i dobiješ model, a ovako neku pizdariju koristiš onda za detekciju.

Uglavnom samo piči po tom ako imaš volje, to je sad trend i kod nas će bit sve više poslova s tim, a trenutno nema baš puno ljudi/firmi koji se tim bave.

Zadnje izmijenjeno od: Eye of Truth. 18.07.2019. u 16:03.
Eye of Truth je offline   Reply With Quote
Staro 18.07.2019., 18:03   #6
dada-as
Bot Maker
Moj komp
 
dada-as's Avatar
 
Datum registracije: Dec 2005
Lokacija: medjimurje, mala subotica
Postovi: 2,726
Da, ovo ce definitivno postat trend. usudio bi se reci da je ovo kao Bitcoin prije 10 godina, generalna populacija nema pojma da tako sto postoji, a kada nabasas na to onda vidis strasnu moc.

GPT-2 sam naletio da zdere memorije i da treba 16GB GPU
https://www.nvidia.com/en-gb/data-center/tesla-k80/
Ovakvo nesto...

Cjena prava sitnica, solidan auto:
https://www.scan.co.uk/products/pny-...-e-30-x16-pass
__________________
dada-as je offline   Reply With Quote
Oglasni prostor
Oglas
 
Oglas
Odgovori


Uređivanje

Pravila postanja
Vi ne možete otvarati nove teme
Vi ne možete pisati odgovore
Vi ne možete uploadati priloge
Vi ne možete uređivati svoje poruke

BB code je Uključeno
Smajlići su Uključeno
[IMG] kod je Uključeno
HTML je Isključeno

Idi na