Citiraj:
Autor mkey
Load je i tako vjerojatno raspoređen između jezgri. Dodatno, pretpostavljam da moderni procesori nemaju previše problema s rješavanjem takvih zadataka, čemu jamačno u prilog ide relativno veliki cache.
Što se tiče LLMa, isti i tako ide u VRAM, što bi ga trpao u RAM disk?
|
Ne znam, zato pitam... U slucaju da brlja po disku sa nekim temp glupostima, to bi moglo ici u RAM... Uostalom, prenio sam sto mi je DeepSeek rekao, ako on laze, lazem i ja...
A i ovo za VRAM, mislim da to funkcionira jedino ako imas nVidiju... Integrirke ionako koriste DRAM...
A uvijek se nadje netko tko zeli korisiti lokalni AI na svojoj masini, pa makar za probu, pa eto, nema nVidiju, ima samo integrirku i... Ma nek se igra i veseli...