RAMDisk - Ubrzavanje kompa uz pomoc prebacivanja cache/temp foldera na RAM Disk

[calypso]

Autor The Exiled

Iskreno, nemam pojma da li bude ovo od ikakve koristi, ali kreiral sam RAMdisk od 32GB na sveukupno 128GB DDR5-5200, prije toga pogasil sve virtualne mašine, naknadno kopiral i smjestil EndeavourOS VM od 25GB u prethodno kreirani 32GB RAMdisk i provjeril kakve su brzine pisanja i čitanja u odnosu na NVMe SSD. Swap file i ostala čuda tehnike su uključena po defaultu, a nekih konkretnih razlika na relaciji RAMdisk - NVMe SSD, u ovom mojem slučaju - baš i nema. #umount

root@fedora-ws:/# sudo dd if=/dev/zero of=/tmp/ramdisk/zero bs=4k count=100000
100000+0 records in
100000+0 records out
409600000 bytes (410 MB, 391 MiB) copied, 0.0846253 s, 4.8 GB/s
root@fedora-ws:/# sudo dd if=/tmp/ramdisk/zero of=/dev/null bs=4k count=100000
100000+0 records in
100000+0 records out
409600000 bytes (410 MB, 391 MiB) copied, 0.0452527 s, 9.1 GB/s
root@fedora-ws:/# sudo dd if=/dev/zero of=/tmp/zero bs=4k count=100000
100000+0 records in
100000+0 records out
409600000 bytes (410 MB, 391 MiB) copied, 0.0805062 s, 5.1 GB/s
root@fedora-ws:/# sudo dd if=/tmp/zero of=/dev/null bs=4k count=100000
100000+0 records in
100000+0 records out
409600000 bytes (410 MB, 391 MiB) copied, 0.0423088 s, 9.7 GB/s
root@fedora-ws:/#

Meni ovo nema nikakvog smisla... Da imas vecer performanse sa NVME, nego u samoj virtualki koja je u RAMu... Odokativno, nesto je do virtualization layera... Koji hypervisor koristis?

[The Exiled]

VirtualBox je u pogonu, ali lako za te brojke, kad ionak nisu neke pretjerane razlike, a VM se isto ponaša po pitanju tzv. responzivnosti, bilo na NVMe SSD-u ili u RAMdisku.

[calypso]

Autor The Exiled

VirtualBox je u pogonu, ali lako za te brojke, kad ionak nisu neke pretjerane razlike, a VM se isto ponaša po pitanju tzv. responzivnosti, bilo na NVMe SSD-u ili u RAMdisku.

Blesavo pitanje, ali zasto koristis Virtualbox koji opcenito nije bas poznat kao high performance VM hypervisor? Koristio sam ga u par navrata i brzo maknuo da dignem VMware...


Fedora podrzava KVM, koji bi trebao biti puno bolja platforma za virtualizaciju od Virtualboxa... Pa mozda da to probas?

https://docs.fedoraproject.org/en-US...tting-started/

Nasao sam neki plugin koji poslozi Virtualbox da koristi KVM kao hypervisor, pa mozes i njega isprobati ako ti se da... To bi trebalo imati nesto bolje performanse nego Virtualboxov hypervisor...

https://github.com/cyberus-technology/virtualbox-kvm


Dodatno, VMware Workstation je free for personal use odnedavno, pa mozes i to staviti... Mozda zapravo najbolje da to stavis jer je nemjerljivo bolji od svega ostalog, od UI pa do performansi i funkcionalnosti...

https://blogs.vmware.com/workstation...sonal-use.html


Jednostavno mi je totalno besmisleno da imas iste rezultate sa virtualkom na RAMDisku kao sto imas sa NVME diskom... Prilicno sam uvjeren da je virtualizacijski layer usko grlo, pogotovo ako imas Virtulbox... No, bez testa sa KVM ili VMWare, ne znam sto ocekivati...

Zapravo, sad sam se sjetio necega... Davno (pred nekih 15ak godina) sam imao situaciju gdje smo nesto kopirali izmedju on-prem servera i servera u cloudu i sve se vuklo u 3PM... I onda sam pitao ekipu (neke Indijce) kako oni to kopiraju... Kad su mi objasnili mi je pao mrak na oci... Znaci, umjesto da se ulogiraju na storage (Nexenta), i sa FTP klijentom prebace podatke na FTP server u cloudu, oni su to nesto kopirali preko neke intermediate masine koja je bila slozena na onom besplatnom prastarom VMware Server (on je po performansama bio ko Virtualbox) pa su onda od tamo nesto opet FTPom dizali u cloud... Ma uglavnom, oni nisu mogli preci 1MB/s... Kad sam preuzeo to cudo sam uredno dobijao preko 20-30MB/s jer sam kopirao sa jednog servera na drugi direktno... Poanta price - VMware Server je bio usko grlo... Pa tako je ovdje mozda Virtualbox usko grlo (ne bi me cudilo)...



Htio bih isprobati dalje performanse (mogo bi i ja strpati virtualku u RAMDisk), no sutra idem na odmor na par dana i ne zelim se bakcati sa tim glupostima... Plus u firmi su mi uvalili brdo posla pa se i tome moram posvetit...

[The Exiled]

VMware/ESXi ionak imam svakodnevno na poslu, a i godinama je bil u pogonu na ovim kućnim mašinama, dok se Broadcom nije odlučil posvađati sam sa sobom i cijelim svijetom, pa sam lijepo doma sve vratil natrag na VirtualBox. Za tih 20 virtualnih mašina, bilo VMware, bilo VirtualBox, oba rade podjednako dobro za moje potrebe, do te mjere da mi je čak svejedno da li imam i konkretnije stvari poput Proxmox ili XCP-ng rješenja, pošto se i to svojevremeno koristilo. Na ovaj način sam samo iskoristil virtualnu mašinu u RAMdisku čisto da provjerim kakvo je stanje i nadovežem se na ono kaj smo već komentirali.

[calypso]

Autor The Exiled

VMware/ESXi ionak imam svakodnevno na poslu, a i godinama je bil u pogonu na ovim kućnim mašinama, dok se Broadcom nije odlučil posvađati sam sa sobom i cijelim svijetom, pa sam lijepo sve vratil natrag na VirtualBox. Za tih 20 virtualnih mašina, bilo VMware, bilo VirtualBox, oba rade podjednako dobro za moje potrebe, do te mjere da mi je čak svejedno da li imam i konkretnije stvari poput Proxmox ili XCP-ng rješenja, pošto se i to svojevremeno koristilo. Na ovaj način sam samo iskoristil virtualnu mašinu u RAMdisku čisto da provjerim kakvo je stanje i nadovežem se na ono kaj smo već komentirali.

Slazem se za ovo sa Broadcomom, uopce ne znam sta im je to trebalo... No ko im je kriv kad kupuju vruci krumpir... Dell presretan sto se toga rijesio...

U svakom slucaju, hvala na testiranju... Sad znamo jos manje... Meni se cini da je Virtualbox tu usko grlo, no na tim brzinama to neces primjetiti...

[tomek@vz]

Vmware Workstation je Type 2 Hypervisor bas kao i Virtualbox. ESXi je Type 1 Hypervisor. Baš kao i npr. KVM. Vmware Workstation j meni bolji proizvod ali u ovakvim scenarijima se nije baš pokazao toliko brži iako se slažem da u određenim scenarijima bolje barata sistemskim resursima od Virtualboxa. Naravno puno toga ovisi i o OS-u ispod haube. Esxi na barebone instalaciji - da, definitivno. Ono što na kraju dana treba razlučiti jest: kolko RAM-a ima u računalu/serveru (te kolko je brz) - ako korisnik u računalu ima ispod 64GB meme - OS i ostale aplikacije koje će ovakav konstrukt koristiti bude malo "žedan". Za brzi nvme disk više ne moraš prodat bubreg. Zato kažem - praktičnih benefita na modernoj arhitekturi osim većih brojki u be nchmarku nema ili su vrlo male. Ono gdje tmpfs/ramfs još uvijek imaju smisla je u starim kantama bez SSD-a (vidi Acer u mom sigu) gdje je razlika u prvom pokretanju aplikacije sa diska i svaka nakon toga poprilično brža. Samo opet - Linux OS je optimiran da sav cache i tmp trpa u tmpfs/ramfs i za Linux je 8GB RAM-a za takvo korištenje uvrh glave. A ja kolko znam većina normalnih korisnika ima neki SSD i vrti Windows. Implementacija takvog sustava na Windows OS-u na toj razini jednostavno nije moguća što si i sam pokazao.

Evo da ne budem lijen...

Stroj: HP ProLiant DL360 Gen9
CPU: 2x Intel(R) Xeon(R) CPU E5-2620 v3 @ 2.40GHz
RAM: ECC DDR3 1866MHz 80GB
RAMFS: 20G
OS: Proxmox 8.4.1

dd if=/dev/zero of=/mnt/ramfs/zero bs=4k count=100000
100000+0 records in
100000+0 records out
409600000 bytes (410 MB, 391 MiB) copied, 0.353378 s, 1.2 GB/s

Stroj: Dell PowerEdge R350
CPU: 2x Intel(R) Xeon(R) E-2334 CPU @ 3.40GHz
RAM: ECC DDR4 3200MHz 128GB
RAMFS: 20G
OS: SLES 15 SP6

dd if=/dev/zero of=/mnt/ramfs/zero bs=4k count=100000
100000+0 records in
100000+0 records out
409600000 bytes (410 MB, 391 MiB) copied, 0.106516 s, 3.8 GB/s

Ovo je mizerija u odnosu na brojke koje je Exiled dobio na svojoj DESKTOP kanti.

I za kraj od mene - moderni OS-evi hendlaju RAM drukcije nego prije 20 godina. Zato kazem - nije sve u RAW brojkama. I jos par korisnih linkova:

https://www.thegeekstuff.com/2008/11...mpfs-on-linux/
https://www.geeksforgeeks.org/windows-memory-managment/
https://docs.kernel.org/admin-guide/mm/index.html

[medo]

Linux fio random write na lz4-komprimiranom zram driveu: single i/o depth, 4kb page, Ryzen 9600X

Single process = 665MB/s, 163k IOPSa
12 procesa = 5.2GB/s, 1266k IOPSa

Isto samo na Samsung 990 Pro SSDu:

Single process = 288MB/s, 70k IOPSa
12 procesa = 3GB/s, 741k IOPSa


Znači komprimirani RAM drive je ~2x brži od Samsunga 990 Pro bar u ovom testu.

[mkey]

Ja sam koristio KDiskMark (koji koristi fio) i kada sam ga stavio na RAM drive srao je da ne želi.

[calypso]

Autor Ivo_Strojnica

Mali offtopic @Bubba - di naiđeš na ove Tech talks?
Uvik bi tija ići na te stvari, čisto da vidim čega nova ima u svijetu, da ne gledam stalno fakin YT.

Evo ti snimka...

https://www.opencompute.org/events/p...rage-tech-talk

[calypso]

Samo da se javim... Dakle, proslo je vec mjesec dana otkad sam slozio RAMDiskove na desktopu i laptopu... Nisam jos primjetio da mi nesto ne radi ili da mi se nesto skrsilo... Kompovi rade kako rade, meni to sve prilicno responzivno, ne znam vise kako je bilo bez RAMDiska...

Ono sto sam zelio istaknuti je da nema nikakvog utjecaja na stabilnost stroja... Dakle, iskljucen mi je swap file na oba stroja (desktop ima 64GB, laptop 32GB), i imam RAMDisk na oba stroja na koja sam natrpao cache i temp foldere raznorazne... So far so good, ja zadovoljan...