|
07.11.2022., 10:17 | #1 |
Premium
Datum registracije: Feb 2007
Lokacija: Dalmacija
Postovi: 5,498
|
Performanse i cross platform file systemi
Prvo, nezz koji podforum je pravi ako sam falio može u drugi. Razvijam neku aplikacijicu na RPi sa što bržim captureom raw slika sa kamere i spremanjem na disk. Slike se kasnije obrađuju na Windows PC-u (Python, OpenCV, Cuda i kasnije neke Windows specific aplikacije). Prebacivanje preko mreže stotine gb podataka traje i traje. Windows ne podržava ext4 nativno, instalirao sam neki driver ext2nešto koji mi je masakrira windows jedva sam ga maka iz safe modea, tako da taj nije opcija. Prednost je što mi treba samo read, ali read pristojnih performansi. Probao sam sa nekoliko formata na RPi-u - fat32, exfat i NTFS, ali svima njima su performanse upola od EXT4. Jeli neko zna ili je isprobao, kvalitetan i performansama prihvatljiv nacin mountanja EXT4 particije na Windows, srecom samo za read? Capture se radi na Raspberryu, i tu dolazimo do jos jedne neobične situacije. Imam kingston A400 120gb SSD i WD Scorpio black 750GB. Maksimalna teoretska brzina capturea je 90FPS, jedan F je 1.1mb,dakle teoretski max 99mb/s writea. Što rezultira maksimumom od 5400 sličica u minuti. Capture ide 1 minuta spremanja, 5 minuta pauze. Na SSDu imam konstantnih ~4300 sličica u minuti u svakom ciklusu što je nekih 80mb/s writea. Iznenađenje mi je bio HDD, koji krene sa cca 5300+ sličica u minuti dakle gotovo blizu maksimuma od 99mb/s, i onda svaki ciklus pada po 100 sličica, dok se ne zadrži na oko 2500-3500 sličica u minuti, dakle 45mb/s. Nije mi jasno što se tu događa, pogotovo jer ima 5 minuta pauze između svakog ciklusa. Disk je ukljucen u USB3 port preko relativno jeftinog sata adaptera, bez dodatnog napajanja. Ali mislim da bi trebalo biti dovoljno. Jer je rpi napajanje 5.1v 3A SSD trebao gurati 300mb/s writea. Pokušao sam pokreniti DD za write speed test, ali rezultati spada 19mb/s i na HDD i na SSD što nije istina, mislim da DD kreira file na SD kartici pa čita sa nje, tako da nije realan test, a ništa bolje nisam našao od DDa za testirat performanse na raspberry pi OS-u, svi koriste daj nesritni DD. Za performanse imam i programatsko rjesenje, posto imam Rpi4b sa 8GB mogu zapisivat u ram jer je ovo cca 5.5gb podataka, pa u ovih 5 minuta pauze iz rama prebacit na disk, ali to mi je nepotrebna komplikacija, pogotovo jer bi te osnovne performanse morale biti ispunjene, a želim da radi sve i na rpiju od 1gb. Processor od RPI-a nije bottleneck, jer je jedva do pola opterecen, i na ram disk sprema punom brzinom. Zadnje izmijenjeno od: OuttaControl. 07.11.2022. u 10:24. |
07.11.2022., 10:37 | #2 |
Premium
Datum registracije: Oct 2008
Lokacija: Dbk
Postovi: 1,099
|
To što disku padaju performanse je vjerojatno jer se radi o SMR disku, CMR bi tu bio dosta bolji. Za Windowse možeš probati TotalCommander sa DiskInternals Reader pluginom, on može mountati ext4. |
|
|
Oglas
|
|
07.11.2022., 10:52 | #3 |
Premium
Datum registracije: May 2006
Lokacija: München/Varaždin
Postovi: 3,799
|
Ak hoces na Win citat to cudo - drzi se MS formata. Postoje EXT4 "driveri" za Windows al sve je to skrpano i dolazi sa hrpom upozorenja tipa "ak to koristis mozda ti prdnu svi poidaci....tek tak"...tak da-ne. NTFS i bok. Za Linux je tak svejedno kaj mu das. Jedino neznam kakva je situacija na MAC OS-u (NTFS bi kolko vidim trebao radit al nemam prakse s tim cudom).
__________________
|
07.11.2022., 11:10 | #4 |
Premium
Datum registracije: Nov 2004
Lokacija: Velika Gorica
Postovi: 1,497
|
NTFS na Linuxu je bolno spor, jos vise ako je RPi u igri koji bas i nije najjaci CPU. Sto se dd-a tice, da... to ti je realna brojka ako nisi naveo veci block size. Za cisti seq test mozes navesti 1MB block size (default je 512 bytes!). ... imas i opciju da dignes virtualku na PC-u (Linux), pa onda share-as taj folder na Windowse (samba).
__________________
Idiocracy. Kad satira postaje stvarnost. |
07.11.2022., 11:53 | #5 | |||
Premium
Datum registracije: Feb 2007
Lokacija: Dalmacija
Postovi: 5,498
|
Citiraj:
Tek sad vidim ovo za TC, to cu probat isto, zanimljiva opcija. Citiraj:
Citiraj:
Code:
sudo dd if=/dev/sda1 of=test.tst bs=4096 count=1000000 sudo dd if=/dev/sda1 of=/tmp/sample.bin bs=8k count=128k Bio se spominja i WSL2 mount ext4 particije u nekom windows previewu, ali to je nestalo negdi izgleda, iako nemam latest win10, ne nalazim ni podatke o tome. Zadnje izmijenjeno od: OuttaControl. 07.11.2022. u 12:28. |
|||
07.11.2022., 12:20 | #6 |
Premium
Datum registracije: Nov 2004
Lokacija: Velika Gorica
Postovi: 1,497
|
WSL2 ti je u biti Hyper-V virtualka. Ono sto ces morati sloziti ako koristis virtualku je SMB share tog diska, ali kako je to sve lokalno na istom PC-u, mreza ti vise nije usko grlo. Za dd probaj: dd if=/dev/sda1 of=/dev/null bs=1M count=1024 Dakle.. citas 1GB s diska, i pises u prazno (da ti to ne bi usporavalo).
__________________
Idiocracy. Kad satira postaje stvarnost. |
07.11.2022., 13:07 | #7 |
Premium
Datum registracije: Feb 2007
Lokacija: Dalmacija
Postovi: 5,498
|
Evo uspio sam osposobit WSL2, ali moram priznat da je neocekivano sporo, 15-20MB/s sa SSD-a na m.2 NVME, duplo bolje nego mreža, ali nije sad nešto revolucionarno EDIT: I am an idiot, usteka sam SSD u USB2 ne u USB3, ide odlicnih 65 mb/s , ali to je sve na wins 11, moram to natirat na wins 10 da radi. probat cu jos TC i probat cu taj DD kad ustekam ssd nazad, jeli to za read ili write test? Zadnje izmijenjeno od: OuttaControl. 07.11.2022. u 13:58. |
07.11.2022., 14:52 | #8 |
Premium
Datum registracije: Nov 2004
Lokacija: Velika Gorica
Postovi: 1,497
|
To je read test... write bi bio: dd if=/dev/zero of=<ime fajla> bs=1M count=1024 ... ako bi za of koristio /dev/sda1 - pobio bi cijelu particiju. Za Output file mozes koristiti particiju, ime fajla...
__________________
Idiocracy. Kad satira postaje stvarnost. |
07.11.2022., 15:00 | #9 |
Premium
Datum registracije: Oct 2008
Lokacija: Dbk
Postovi: 1,099
|
Za speedtest umjesto dd probaj : https://linuxconfig.org/hard-drive-s...ine-and-hdparm |
08.11.2022., 10:45 | #10 |
Premium
Datum registracije: Feb 2007
Lokacija: Dalmacija
Postovi: 5,498
|
@Night HD param je mislim samo read Evo mog iskustva WSL2 --mount daleko najbolje radi, ali nazalost radi samo na W11... VirutalBox mount raw drivea - Nikako ne uspjevam, dodao sam virtual link, kad ga idem mountati error i iz windowsa se izbaci, vjerojatno ima veze sto je spojen sa USB-om a ne satom DiskInternals Linux Reader - Euforican pocetak na startu sa120mb/s, i onda uspori sa not responding svakih par sekundi, vjerojatno ga muči preko 100k fileova. Prosjecna brzina ~10mb/s TotalCommander Ext4 plugin - 5mb/s brzina Ext2Explore - skine 50 fileova u sekund i crkne DiskGenious, - Treba mu 5 minuta da pocme, pa izbaci prompt da za velike fileove treba kupiti licencu pa nakon jos 5 min izbaci poruku da je prebacio 11 fileova i faila 100k Dakle što se toga tiče izgleda da se nameću 2 rješenja, ili upgreadea na Windows11 ili upgradeam mrezu na 1gbps i sve pospojim kabelima (long shot) Što se tiče DD testa to probam kad prebacim sve podatke, stavit cu ih sad prebacivati sa DiskInternals, ali nakon toga nastavljam mrežom i to wifi 5ghz verzija Nazalost kako sam updateao Windowse da mi se omoguci WSL2, tako su oni instalirali driver za wifi karticu, koji se ne moze spojiti na 5ghz mrežu, tako da treba i to sad popravljati EDIT: Nezz sta se desilo sa DiskInternalsom i WSLom ali izgleda da su se udruzili nekako, DiskInternals nakon svih ovih karafeka cita disk kao mnt/wsl/ i brzine su izvrsne cca 350mb/s dakle ne treba upgrade nicega, iako mi nije jasno zasto je phisicaldisk1 kad je zapravo 4.... Zadnje izmijenjeno od: OuttaControl. 08.11.2022. u 11:03. |
|
|
Oglas
|
|
08.11.2022., 11:47 | #11 |
Premium
Datum registracije: Feb 2007
Lokacija: Dalmacija
Postovi: 5,498
|
Evo me sa write performansama za A400SSD dakle to odgovara onome što sam i ja više manje vidio, sve u svemu puno lošije nego što sam očekivao: Da je malo veći file, je bolje ali opet ne dovoljno bolje... Code:
pi@raspberrypi:~ $ dd if=/dev/zero of=/mnt/ext4/test.tst bs=1M count=1024 1024+0 records in 1024+0 records out 1073741824 bytes (1.1 GB, 1.0 GiB) copied, 11.1344 s, 96.4 MB/s pi@raspberrypi:~ $ dd if=/dev/zero of=/mnt/ext4/test.tst bs=10M count=1024 1024+0 records in 1024+0 records out 10737418240 bytes (11 GB, 10 GiB) copied, 88.0741 s, 122 MB/s pi@raspberrypi:~ $ dd if=/dev/zero of=/mnt/ext4/test.tst bs=100M count=102 102+0 records in 102+0 records out 10695475200 bytes (11 GB, 10 GiB) copied, 56.9721 s, 188 MB/s Code:
pi@raspberrypi:~ $ dd if=/dev/zero of=/mnt/ext4/test.tst bs=1M count=1024 1024+0 records in 1024+0 records out 1073741824 bytes (1.1 GB, 1.0 GiB) copied, 9.0627 s, 118 MB/s pi@raspberrypi:~ $ dd if=/dev/zero of=/mnt/ext4/test.tst bs=10M count=1024 1024+0 records in 1024+0 records out 10737418240 bytes (11 GB, 10 GiB) copied, 88.663 s, 121 MB/s pi@raspberrypi:~ $ dd if=/dev/zero of=/mnt/ext4/test.tst bs=100M count=102 102+0 records in 102+0 records out 10695475200 bytes (11 GB, 10 GiB) copied, 87.6379 s, 122 MB/s Code:
pi@raspberrypi:~ $ sudo dd if=/dev/sda1 of=/dev/null bs=1M count=1024 1024+0 records in 1024+0 records out 1073741824 bytes (1.1 GB, 1.0 GiB) copied, 3.71376 s, 289 MB/s pi@raspberrypi:~ $ sudo dd if=/dev/sda1 of=/dev/null bs=10M count=1024 1024+0 records in 1024+0 records out 10737418240 bytes (11 GB, 10 GiB) copied, 39.9774 s, 269 MB/s |
08.11.2022., 12:43 | #15 | |
Premium
Datum registracije: Feb 2007
Lokacija: Istra
Postovi: 3,167
|
Citiraj:
Vjerojatno te zeza USB i da pi ne može brže preko toga. Probaj mrežni share ako imaš kamo. Ajde daj output od hdparm -T /dev/sda ili kako već pi vidi taj device. |
|
08.11.2022., 13:01 | #16 |
Premium
Datum registracije: Feb 2007
Lokacija: Dalmacija
Postovi: 5,498
|
Gparted mi neda više da formatiram u exfat... zanimljivo... prije je dao... Vjerojatno ima nesto sa tim sto sam instalirao exfat-fuse, a vidio sam da je deinstalirao exfatpnešto kad je stavlja taj exfat-fuse(pratio sam neki tutorial online) pa sam deinstalirao taj exfat-fuse sad triba nac koji je to exfat bio u originalu Evo za HDD: Code:
sudo hdparm -T /dev/sda /dev/sda: Timing cached reads: 2010 MB in 2.00 seconds = 1005.74 MB/sec Code:
astroberry@raspberrypi:~ $ sudo hdparm -T /dev/sda /dev/sda: Timing cached reads: 2026 MB in 2.00 seconds = 1013.31 MB/sec |
08.11.2022., 13:33 | #17 |
Premium
Datum registracije: Feb 2007
Lokacija: Istra
Postovi: 3,167
|
OK, USB interface te izgleda ne koči Onda ne znam dalje, to je rpi, uvijek sam bježao od toga... vidi exfat-utils ili kako se već zove paket u toj distri koju vrtiš na rpi. Piše ti u gpartedu pod view-->file system support što podržava i koji program mu treba za to. |
08.11.2022., 13:43 | #18 |
Premium
Datum registracije: Feb 2007
Lokacija: Dalmacija
Postovi: 5,498
|
Opala, thanks c-shadow izgleda da je ovo riješenje svih mojih muka program koji je bio u pitanju i koji je uklonjen se zove exfatprogs, i sa njim exfat ima odlicne performanse: Code:
pi@raspberrypi:~ $ dd if=/dev/zero of=/mnt/ext4/test.tst bs=1M count=1024 1024+0 records in 1024+0 records out 1073741824 bytes (1.1 GB, 1.0 GiB) copied, 7.21421 s, 149 MB/s pi@raspberrypi:~ $ dd if=/dev/zero of=/mnt/ext4/test.tst bs=10M count=1024 1024+0 records in 1024+0 records out 10737418240 bytes (11 GB, 10 GiB) copied, 64.201 s, 167 MB/s |
08.11.2022., 14:04 | #19 |
Premium
Datum registracije: Feb 2007
Lokacija: Istra
Postovi: 3,167
|
Moguće da je tvoj problem ako koristiš neki od filesystema koji ima driver u userspaceu, dakle ovi "fuse" nešto. To obično radi dosta sporo. Pitanje je sam samo što rpi distra ima upakirano u taj "exfatprogs" i da li je to baš driver ili samo pomoćni programi za formatiranje, chkdsk i sl. Izbjegavam kad god mogu takvu kombinaciju gdje linux piše na neki od windows FSa, naročito je loše radio neki tamo ntfs-fuse koliko se sjećam. Provjeri, čini mi se da je odnedavno neki bolji NTFS driver ubačen baš u kernel i da bi to trebalo raditi osjetno bolje. Našao, trebao bi biti od kernela 5.15: https://www.phoronix.com/news/NTFS3-For-Linux-5.15 Vidi koji kernel ima rpi, da li je taj driver unutra pa probaj. |
08.11.2022., 15:37 | #20 | |
Premium
Datum registracije: Nov 2004
Lokacija: Velika Gorica
Postovi: 1,497
|
Citiraj:
Zasto samo 10mb/s? Ingterface ti je 100mbit? Uzmi onda neki 1Gb/s USB mrezni stick... pa bi trebao imati OK brzinu ... ili 2.5Gb/s USB stick za jos brze
__________________
Idiocracy. Kad satira postaje stvarnost. |
|
09.11.2022., 13:44 | #21 | |
Premium
Datum registracije: Feb 2007
Lokacija: Dalmacija
Postovi: 5,498
|
Citiraj:
e sad što se tiče testiranja, po DD-u exfat je daleko najbrzi i SSD i HDD imaju najbolje performanse, ali samo po DD-u. Libcamera_raw je i dalje upola sporija kad pise na exfat iz nekog razloga, HDD je u exfatu sporiji od SSD-a ali oboje je puno sporije nego ext4, gdje je HDD brzi od ssd-a. Moram pocistit jos jedan SSD da vidim jeli do njega slucajno samo to cu kad stigne. Ma to ni zena nebi approvala, vec joj je previse kablova po kuci hahahmene najvise cude te lose performanse, a nebi smjele bit loše.... |
|
|
|
Oglas
|
|
|
|