RAMDisk - Ubrzavanje kompa uz pomoc prebacivanja cache/temp foldera na RAM Disk

[Deamon101]

Autor medo

Mislim da nas bar nekoliko s ovog foruma ima više-manje dobro plaćen posao jer znamo optimizirati stvari…

Optimiziram samo sebi sa rješenjima koje vrijede, odnedavno...jer shvatio sam da nitko nikad ne nagrađuje dobre radnike. Tu uključujem i prenošenje znanja.

Imati proizvod koji skraćuje vrijeme rada...to bi se trebalo cijeniti.

[mkey]

Autor Deamon101

Imati proizvod koji skraćuje vrijeme rada...to bi se trebalo cijeniti.

Kakve gluposti. Cijeniti rad i znanje, puj. Rad je sam sebi nagrada. Što brže odradiš dobiješ više posla i sam time si nagrađen.

[calypso]

Autor medo

Mislim da nas bar nekoliko s ovog foruma ima više-manje dobro plaćen posao jer znamo optimizirati stvari…

So true...

[Bubba]

Autor tomek@vz

Jedino na taj nacin mozemo zakljuciti koliki je svarni dobitak.

Autor Deamon101

Ne želim napisati bezvezan komentar, ali jače je od mene,

Generalno, "RAMdisk" kao pojam je umro kada su OS-evi prije 15ak godina postali dovoljno pametni da ga rade sami, a pisci iole ozbiljnijeg softvera poceli implementirati dostupno.

Nu:

 ~ df -h
Filesystem      Size  Used Avail Use% Mounted on
tmpfs            38G  3,5M   38G   1% /run
efivarfs        512K  118K  390K  24% /sys/firmware/efi/efivars
/dev/nvme1n1p2  1,8T  754G  917G  46% /
tmpfs           189G  1,4G  187G   1% /dev/shm
tmpfs           5,0M   20K  5,0M   1% /run/lock
tmpfs           189G     0  189G   0% /run/qemu
/dev/nvme1n1p1  511M  6,2M  505M   2% /boot/efi
tmpfs            38G  8,3G   30G  22% /run/user/1000
/dev/nvme0n1p2  1,8T  1,2T  506G  70% /media/bubba/ed8cf559-821a-42e7-bbb9-6174496a7805
 ~ free -h
               total        used        free      shared  buff/cache   available
Mem:           376Gi        37Gi        41Gi       9,8Gi       311Gi       338Gi
Swap:          2,0Gi       1,2Mi       2,0Gi

Cik pogodi za ove "placene jer optimiziraju" - Windowsi to imaju vec 30+ godina -> https://learn.microsoft.com/en-us/pr...ectedfrom=MSDN

Uz to, Windowsi vec godinama podrzavaju, ako je to bas prijeko potrebno, nativni "RAMdisk" i to kao iSCSI target -> https://learn.microsoft.com/en-us/ar...windows-server

Sve u svemu, bojim se da ce Tomekova stoperica razbiti taj san u 2025.

[The Exiled]

Imali smo sličnu temu prije više od desetljeća i ja se dan-danas držim toga da se swap/page file ne (treba) gasi(ti).

[calypso]

Bubba, zaboli mene jel mi komp radi 5% ili 50% brze trenutno... Meni ovo bio fora mini projektic da se malo poigram i prebacim TEMP i Cache foldere na RAMdisk (jer to Windowsi ne rade nativno, a niti programeri browsera nisu bas najinteligentnija bica), tako da, so far so good...

[calypso]

Autor The Exiled

Imali smo sličnu temu prije više od desetljeća i ja se dan-danas držim toga da se swap/page file ne (treba) gasi(ti).

Gle, pa to je bila moja tempa pred 11 godina...

Otada mi je swap file bio iskljucen na svim kompovima, a kompovi su radili brze... Nikada do sada nisam dozivio da mi je neki app javio problem jer nema swap filea...

Sve u svemu, zaboli me, ko hoce nek se poigra, uputstva sam napisao kako to postici, ko nece, nek se bavi necim drugim...

[Nikky]

Bravo kolega calypso, umjesto pohvale šta si im pokazao šta i kako, oni se uhvate "šta će ti to ...".
Tko prepozna / treba mu neka koristi a ostali neka preskoče i idemo dalje.

'bem ti taj novi vrli svijet

[The Exiled]

Kaj je sad bilo, pa još za vrijeme Windows XP-a smo (od)vrtjeli sve te page file/RAM disk eksperimente i nikom ništ, nemojte se odmah srditi.

[calypso]

Autor The Exiled

Kaj je sad bilo, pa još za vrijeme Windows XP-a smo (od)vrtjeli sve te page file/RAMdisk ekspiremente i nikom ništ, nemojte se odmah srditi.

Tada nismo imali puno RAMa u kompu, onako reda velicine 2GB je bilo sve sto smo imali jer XP nisu vidjeli preko 3.5GB ili kolko vec, a i diskovi su bili kudikamo sporiji... Windowsi su radili brzo kolko su radili, a u nekim slucajevima su radili stvarno pristojno ugodno... Cak i aplikacije su radile dost brzo...

Danas imamo 30-50x brze diskove, 10x brzi RAM... Windowsi rade sporije, koriste 50x vise RAMa... Aplikacije se vuku u 3 materine... Nikome jasno zasto...

Zato i trazim bilokoji nacin da ih barem malo ubrzam... Tu lijepo podijelim upute kako to izvesti... Odma drvljem i kamenjem po meni (ko i obicno) da kako se usudjujem... Vi po svom, ja cu po svom... Bilo je tako i 90ih, i 2000tih na hr.comp.hardver grupi, eno i pred 10 godina kada sam objasnjavao da se moze swap file ugasiti... Pa ima toga i sada... To je jednostavno tako... A ono, sta da velim, bmk...

[The Exiled]

OK, može se page file ugasiti i u jednom trenu smo svi to isprobali, daleko od toga da te ljudi napadaju, samo kaj je tim s uvijek bilo zajebancije.

[Bubba]

Autor calypso

Zato i trazim bilokoji nacin da ih barem malo ubrzam...

Osim sto... nismo nikada dobili bilo kakav dokaz da si ista ubrzao tako.

[medo]

Swap file sam ugasio početkom 2001. godine kada sam stavio 1GB RAMa u piceka. Tada je prosječni PC imao 128MB RAMa i morao sam ići na Win2000 jer sam na teži način saznao sa se Win98SE zblesira kod bootanja ako imaš više od 640MB RAMa.

Ali svake prijestupne se dogodilo da bi neki software zahtjevao swap file iako mu ne treba.

Bilo je i PCI kartica sa DDR RAM modulima koje se se koristilo kao file cache preko SATA interfacea: https://en.m.wikipedia.org/wiki/I-RAM

[The Exiled]

3D XPoint + Optane, CXL PCI-E RAM, EPYC 3D cache, Xeon MAX HBM - nema čega nema po pitanju ubrzanja i cacheiranja.

Isprobavanje gašenja swap / page filea smo svi prošli s kalvarijom kad se sve razleti.

[calypso]

Autor Bubba

Osim sto... nismo nikada dobili bilo kakav dokaz da si ista ubrzao tako.

Bitno da mene to veseli... Mr. Smartass...

[Mladenxy]

Rapid mode na samsung diskovima upaljen od kad znam za sebe...to bi valjda trebalo biti slično kao ovo...

[Bubba]

Autor calypso

Bitno da mene to veseli... Mr. Smartass...

Ne, to je zapravo jedino totalno nebitno, jer se tema zove “ RAMDisk - Ubrzavanje kompa uz pomoc prebacivanja cache/temp foldera na RAM Disk” (ne ubrzava), a ne “RAMDisk - Calypsove kucne carolije”.

Cak nije ni problem u tebi, nego onda napalis polupismene forumske analfabete koji ionako vjeruju da je Zemlja ravna ploca…

[medo]

I privuče nekulturne trolove

[OuttaControl]

Ja sam koristio ramdisk na rpiju 4 8gb dok nije dosa pi5 i podrska za nvme.
High fps capture sa picamom je mogao samo na ramdisk pa onda prebacis na storage, al sad kako rpi podrzava nvme ne koristim vise

[mkey]

Autor calypso

Aplikacije se vuku u 3 materine... Nikome jasno zasto...

Ja krivim loš memory management i tendencije bacanju novih featura na hrpu bez procjene kako to sve skupa bude utjecalo na performanse odnosno koliki bude dugoročni trošak održavanja.

Ja svakako cijenim tvoj napor ovdje, guide je lijepo napisan, ali ono što očito i objektivno fali je side by side usporedba u par tipičnih use caseova. Kojeg bih, u krajnjoj liniji, i ja mogao napraviti ali, bokte, lijen sam windowse instalirati

[tomek@vz]

Poanta je u tome da je OP-ov post pun kufer drljanja za 0,000000001% poboljšanja performansi. Možda. Postoji razlog zašto RAMdisk kao takav nije nikad zaživio i zašto je obsolete.

[medo]

Autor OuttaControl

Ja sam koristio ramdisk na rpiju 4 8gb dok nije dosa pi5 i podrska za nvme.

Meni je /tmp i /var/tmp na lz4 komprimiranom zramu da ne ubijam uSD. Logovi također pa s logrotateom na karticu kada se dovoljno napuni ili kada je reboot/shutdown.

[d0X]

Pustite čovjeka da se igra. Netko rješava sudoku, netko slaže ramdisk. Svi imamo svoje veselje, taman bilo snake oil.

[calypso]

Prebacio sam MS Teams cache na RAMdisk... Ovo sam morao rucno prebacivati, ali nije tesko... Jedan symlink i to je to...

Prvo treba iz systraya ugasiti Teams klijent...

1. Kreirati sam folder na RAMDisku - D:\Teams
2. Otvoriti CMD sa admin ovlastima
3. mklink /d "C:\Users\%username%\AppData\Local\Packages\MSTeams_8wekyb3d8bbwe\LocalCache\Microsoft\MSTeams\EBWebView\WV2Profile_tfw\Cache" "D:\Teams"

I to je to... Testirao sam sto se desi nakon reboota i nista, unutar symlinkanog foldera se rekreira "Cache_Data" folder i Teamsi se normalno podignu... S obzirom da se radi o cache folderu, ne bi trebalo biti problema, s obzirom da je Teams ionako desktop verzija web-aplikacije, tako da se sve zapravo desava u Teams cloudu, a lokalno samo citam/pisem poruke...

Opet hrpa malih fajlica... Prije ovog zahvata mi je taj folder imao nekih 800MB i sve je bilo puno tih nekih mini fajlica koji bogtepitaj cemu sluze... Kada sam radio backup tog foldera, dobio sam nekih 60MB/s brzinu kopiranja sa NVME na NVME, dakle katastrofa sporo, no to i je problem sa malim fajlicima...

Primjetio sam da jednom kada ucitam chat, sljedeci put kada kliknem na chat, trenutno ga ucitava... No, prilikom generiranja cachea, kod prvog ucitavanja, traje par sekundi da se chat history ucita...

[BinaryJesus]

Zato što su MS teams kao i hrpetina drugih programa danas kao discord, spotify, steam zapravo samo prepakirani web browseri. Zato sve to radi kako radi sporo i tromo i puno toga kešira na disku da ne bi zauzimalo gigabajte RAMa.

[calypso]

Napravio sam direktnu usporedbu koliko sam mogao na ovom starijem laptopicu... Za test koristim Teams cache folder od 800MB, 6344 fajla male velicine... Koristio sam Directory Opus za testove kopiranja...

1. Kopiranje sa NVME Gen3 x4 diska (NTFS) na RAMdisk (DDR4-2400, FAT32)... 57.4MB/s



2. Kopiranje sa RAMdiska na ISTI RAMdisk (DDR4-2400, FAT32)... 105MB/s, Trajanje [min:sec]: 00:31



3. Kopiranje sa RAMdiska (DDR4-2400, FAT32) na NVME Gen3 x4 disk (NTFS)... 108MB/s, Trajanje [min:sec]: 00:26



4. Kopiranje sa RAMdiska (DDR4-2400, FAT32) na DRUGI RAMdisk (DDR4-2400, FAT32)... 144MB/s, Trajanje [min:sec]: 02:13




Kako tumacim ove rezultate? Molio bih pametnjakovica Bubbu da detaljizira ako mu se ide u dubinu... Meni se neda ici objasnjavati detaljno sto i kako, nemam ni vremena ni volje, a i dugo nisam izucavao filesysteme... Rezultati govore sami za sebe, ja cu pokusati razjasniti moje vidjenje (koje moze biti i krivo u nekim sitnicama, no u globalu je to tako)...

1. U slucaju kopiranja sa NVME na RAMdisk je vidljivo da kopiranje hrpe malih fajlica jedva dostize 60MB/s, sto je totalno nevjerojatno s obzirom da se radi o kopiranju sa NVME diska koji bi trebao biti suludo brz (3000MB/s) na RAMdisk (koji je dosta brzi, pogotovo u DDR5 obliku)... No, i dalje dobijam 60MB/s, kako sad pak to? E pa lijepo, radi se o hrpi malih fajlica koje OS treba dohvatiti i preseliti na drugi disk... Ovo je problem dohvacanja random fajlova, to nije sekvencijalni prijenos podataka, tako da su i brzine katastrofa iako se radi o NVME disku...

2. U slucaju kopiranja sa RAMdiska na ISTI taj RAMdisk, rekao bih da imam problem dohvata i pisanja podataka na istom disku... Pretpostavljam da su neki locking mehanizmi (lock prilikom reada i lock prilikom writea) u igri, vjerojatno na razini filesystema... To pametnjakovic Bubba moze objasniti sto zasto i kako kad se vec voli praviti pametan... A i cinjenicu da je sve odradjeno za 00:31... Odokativno - nekakav cache je u igri...

3. U slucaju kopiranja sa RAMdiska na NVME, imamo slucaj izrazito brzog dohvata malih fajlica sa RAMdiska te neometanog pisanja na NVME disk... Razlika u odnosu na 1. slucaj je sto ovdje male fajlice dohvacamo sa izrazito brzog diska (RAMdisk), a ne sa NVME diska. Pisanje je manji problem u ovom slucaju jer se pisanje moze odraditi i sekvencijalno ukoliko Windowsi znaju posteno upravljati sa write cache memorijom, a izgleda da znaju... Cinjenica je da je ovaj posao vremenski odradjen izrazito brzo, no ovdje mozda u igru treba uvesti write cache na samom NVME disku koji je bas maloprije odradio kopiranje istih ovih fajlova...

4. U ovom slucaju imamo kopiranje sa jednog RAMdiska na drugi RAMdisk gdje imamo potpuno neometano dohvacanje malih fajlica te potpuno neometanog pisanja na drugi medij izrazito visokih performansi... Znaci, lock diska da bi se procitao fajl se odvija na prvom disku, dok se lock diska za pisanje na njega odvija na drugom disku, cime si ne smetaju medjusobno... No, ovdje me buni zasto mi daje tako visoku brzinu kopiranja, iako mu vremenski treba puno vise nego u slucaju 1 ili 2...


Znaci, slucajevi 2 i 3 su, IMHO, nepouzdani jer se dohvacaju cachea negdje (odokativno, na NVME disku?)... Meni su relevantni slucajevi 1 i 4 jer je tu direktno vidljivo citanje random podataka (read cache skoro pa beskoristan u oba slucaja)... Iz prikazanog, vidljivo je da je povecanje performansi u odnosu na 1. slucaj nekih 2.5x... Ovo bih okarakterizirao kao tipicno ponasanje aplikacije koja koristi RAMdisk za dohvat podataka - i temp/cache podaci i sama aplikacija su u RAMu, jedino sto ih smeta je filesystem, tako da treba odabrati najbrzi filesystem (FAT32 je uvijek bio brzi od NTFS)...


Nadam se da sam sada odgovorio na pitanje svima koji su bili skepticni...

[calypso]

U utorak cu probati ponoviti test na kompu u uredu koji ima DDR5-5200, nisam bas zadovoljan sa Avg transfer vrijednostima Directory Opusa, previse to luduje okolo... No, s obzirom da je sada 3:30 ujutro, fakat nemam volje se sa ovime sada baviti...

[calypso]

Testirao sam jos jednom NVME->RAMDisk i RAMDisk1->RAMDisk2 i dobijam vrlo slicna vremena potrebna za kopiranje, iako se Avg transfer speed razliku onako, uduplo... Ovdje bih okrivio StarRAM storage controller...

Probam u utorak napraviti test NVME1->RAMDisk, reboot i onda RAMDisk->NVME2...

[tomek@vz]

Calypso...pa dobro jel ti upao šraf u guzicu.... il je moguce da mu je netko preuzeo Account?

[calypso]

Autor tomek@vz

Calypso...pa dobro jel ti upao šraf u guzicu.... il je moguce da mu je netko preuzeo Account?

U cemu je problem?