Performanse i cross platform file systemi

OuttaControl · 07.11.2022., 10:17

Prvo, nezz koji podforum je pravi ako sam falio može u drugi.
Razvijam neku aplikacijicu na RPi sa što bržim captureom raw slika sa kamere i spremanjem na disk. Slike se kasnije obrađuju na Windows PC-u (Python, OpenCV, Cuda i kasnije neke Windows specific aplikacije).

Prebacivanje preko mreže stotine gb podataka traje i traje. Windows ne podržava ext4 nativno, instalirao sam neki driver ext2nešto koji mi je masakrira windows jedva sam ga maka iz safe modea, tako da taj nije opcija. Prednost je što mi treba samo read, ali read pristojnih performansi. Probao sam sa nekoliko formata na RPi-u - fat32, exfat i NTFS, ali svima njima su performanse upola od EXT4.
Jeli neko zna ili je isprobao, kvalitetan i performansama prihvatljiv nacin mountanja EXT4 particije na Windows, srecom samo za read?

Capture se radi na Raspberryu, i tu dolazimo do jos jedne neobične situacije. Imam kingston A400 120gb SSD i WD Scorpio black 750GB. Maksimalna teoretska brzina capturea je 90FPS, jedan F je 1.1mb,dakle teoretski max 99mb/s writea. Što rezultira maksimumom od 5400 sličica u minuti. Capture ide 1 minuta spremanja, 5 minuta pauze. Na SSDu imam konstantnih ~4300 sličica u minuti u svakom ciklusu što je nekih 80mb/s writea.
Iznenađenje mi je bio HDD, koji krene sa cca 5300+ sličica u minuti dakle gotovo blizu maksimuma od 99mb/s, i onda svaki ciklus pada po 100 sličica, dok se ne zadrži na oko 2500-3500 sličica u minuti, dakle 45mb/s. Nije mi jasno što se tu događa, pogotovo jer ima 5 minuta pauze između svakog ciklusa. Disk je ukljucen u USB3 port preko relativno jeftinog sata adaptera, bez dodatnog napajanja. Ali mislim da bi trebalo biti dovoljno. Jer je rpi napajanje 5.1v 3A

SSD trebao gurati 300mb/s writea. Pokušao sam pokreniti DD za write speed test, ali rezultati spada 19mb/s i na HDD i na SSD što nije istina, mislim da DD kreira file na SD kartici pa čita sa nje, tako da nije realan test, a ništa bolje nisam našao od DDa za testirat performanse na raspberry pi OS-u, svi koriste daj nesritni DD.

Za performanse imam i programatsko rjesenje, posto imam Rpi4b sa 8GB mogu zapisivat u ram jer je ovo cca 5.5gb podataka, pa u ovih 5 minuta pauze iz rama prebacit na disk, ali to mi je nepotrebna komplikacija, pogotovo jer bi te osnovne performanse morale biti ispunjene, a želim da radi sve i na rpiju od 1gb. Processor od RPI-a nije bottleneck, jer je jedva do pola opterecen, i na ram disk sprema punom brzinom.

Night · 07.11.2022., 10:37

To što disku padaju performanse je vjerojatno jer se radi o SMR disku, CMR bi tu bio dosta bolji.
Za Windowse možeš probati TotalCommander sa DiskInternals Reader pluginom, on može mountati ext4.

tomek@vz · 07.11.2022., 10:52

Ak hoces na Win citat to cudo - drzi se MS formata. Postoje EXT4 "driveri" za Windows al sve je to skrpano i dolazi sa hrpom upozorenja tipa "ak to koristis mozda ti prdnu svi poidaci....tek tak"...tak da-ne. NTFS i bok. Za Linux je tak svejedno kaj mu das. Jedino neznam kakva je situacija na MAC OS-u (NTFS bi kolko vidim trebao radit al nemam prakse s tim cudom).

Nick7 · 07.11.2022., 11:10

NTFS na Linuxu je bolno spor, jos vise ako je RPi u igri koji bas i nije najjaci CPU.

Sto se dd-a tice, da... to ti je realna brojka ako nisi naveo veci block size. Za cisti seq test mozes navesti 1MB block size (default je 512 bytes!).

... imas i opciju da dignes virtualku na PC-u (Linux), pa onda share-as taj folder na Windowse (samba).

OuttaControl · 07.11.2022., 11:53

Citiraj:

Autor Night

To što disku padaju performanse je vjerojatno jer se radi o SMR disku, CMR bi tu bio dosta bolji.
Za Windowse možeš probati TotalCommander sa DiskInternals Reader pluginom, on može mountati ext4.

Da vidiš stvarno je SMR, googla sam sad, iz 2014 je disk ali amazon kaže SMR. WD750BPKX-00HPJT0...

Tek sad vidim ovo za TC, to cu probat isto, zanimljiva opcija.

Citiraj:

Autor tomek@vz

Ak hoces na Win citat to cudo - drzi se MS formata. Postoje EXT4 "driveri" za Windows al sve je to skrpano i dolazi sa hrpom upozorenja tipa "ak to koristis mozda ti prdnu svi poidaci....tek tak"...tak da-ne. NTFS i bok. Za Linux je tak svejedno kaj mu das. Jedino neznam kakva je situacija na MAC OS-u (NTFS bi kolko vidim trebao radit al nemam prakse s tim cudom).

Ne mogu koristit NTFS nikako jer su performanse očajno loše kako kolega dole kaže, exfat mi je bila najveća nada i bolji je od NTFS-a ali niti blizu ext4

Citiraj:

Autor Nick7

NTFS na Linuxu je bolno spor, jos vise ako je RPi u igri koji bas i nije najjaci CPU.

Sto se dd-a tice, da... to ti je realna brojka ako nisi naveo veci block size. Za cisti seq test mozes navesti 1MB block size (default je 512 bytes!).

... imas i opciju da dignes virtualku na PC-u (Linux), pa onda share-as taj folder na Windowse (samba).

Ovako sam probao, oboje mali block size, moga bi probat sa 1mb jer je to rekreacija filea koji imam.:

Code:

sudo dd if=/dev/sda1 of=test.tst bs=4096 count=1000000
sudo dd if=/dev/sda1 of=/tmp/sample.bin bs=8k count=128k

E vidiš to nije loša fora, sa virtualkom, nije mi palo napamet da ce "passthrough" radit, a tribalo bi radit brže od networka, moga bi to probat

Bio se spominja i WSL2 mount ext4 particije u nekom windows previewu, ali to je nestalo negdi izgleda, iako nemam latest win10, ne nalazim ni podatke o tome.

Nick7 · 07.11.2022., 12:20

WSL2 ti je u biti Hyper-V virtualka.
Ono sto ces morati sloziti ako koristis virtualku je SMB share tog diska, ali kako je to sve lokalno na istom PC-u, mreza ti vise nije usko grlo.

Za dd probaj: dd if=/dev/sda1 of=/dev/null bs=1M count=1024
Dakle.. citas 1GB s diska, i pises u prazno (da ti to ne bi usporavalo).

OuttaControl · 07.11.2022., 13:07

Evo uspio sam osposobit WSL2, ali moram priznat da je neocekivano sporo, 15-20MB/s sa SSD-a na m.2 NVME, duplo bolje nego mreža, ali nije sad nešto revolucionarno

EDIT: I am an idiot, usteka sam SSD u USB2 ne u USB3, ide odlicnih 65 mb/s , ali to je sve na wins 11, moram to natirat na wins 10 da radi.

probat cu jos TC i probat cu taj DD kad ustekam ssd nazad, jeli to za read ili write test?

Nick7 · 07.11.2022., 14:52

To je read test... write bi bio: dd if=/dev/zero of=<ime fajla> bs=1M count=1024
... ako bi za of koristio /dev/sda1 - pobio bi cijelu particiju.
Za Output file mozes koristiti particiju, ime fajla...

Night · 07.11.2022., 15:00

Za speedtest umjesto dd probaj :
https://linuxconfig.org/hard-drive-s...ine-and-hdparm

OuttaControl · 08.11.2022., 10:45

@Night HD param je mislim samo read

Evo mog iskustva

WSL2 --mount daleko najbolje radi, ali nazalost radi samo na W11...
VirutalBox mount raw drivea - Nikako ne uspjevam, dodao sam virtual link, kad ga idem mountati error i iz windowsa se izbaci, vjerojatno ima veze sto je spojen sa USB-om a ne satom
DiskInternals Linux Reader - Euforican pocetak na startu sa120mb/s, i onda uspori sa not responding svakih par sekundi, vjerojatno ga muči preko 100k fileova. Prosjecna brzina ~10mb/s
TotalCommander Ext4 plugin - 5mb/s brzina
Ext2Explore - skine 50 fileova u sekund i crkne
DiskGenious, - Treba mu 5 minuta da pocme, pa izbaci prompt da za velike fileove treba kupiti licencu pa nakon jos 5 min izbaci poruku da je prebacio 11 fileova i faila 100k

Dakle što se toga tiče izgleda da se nameću 2 rješenja, ili upgreadea na Windows11 ili upgradeam mrezu na 1gbps i sve pospojim kabelima (long shot)

Što se tiče DD testa to probam kad prebacim sve podatke, stavit cu ih sad prebacivati sa DiskInternals, ali nakon toga nastavljam mrežom i to wifi 5ghz verzija

Nazalost kako sam updateao Windowse da mi se omoguci WSL2, tako su oni instalirali driver za wifi karticu, koji se ne moze spojiti na 5ghz mrežu, tako da treba i to sad popravljati

EDIT:
Nezz sta se desilo sa DiskInternalsom i WSLom ali izgleda da su se udruzili nekako, DiskInternals nakon svih ovih karafeka cita disk kao mnt/wsl/ i brzine su izvrsne cca 350mb/s dakle ne treba upgrade nicega, iako mi nije jasno zasto je phisicaldisk1 kad je zapravo 4....

OuttaControl · 08.11.2022., 11:47

Evo me sa write performansama za A400SSD dakle to odgovara onome što sam i ja više manje vidio, sve u svemu puno lošije nego što sam očekivao:

Da je malo veći file, je bolje ali opet ne dovoljno bolje...

Code:

pi@raspberrypi:~ $ dd if=/dev/zero of=/mnt/ext4/test.tst bs=1M count=1024
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB, 1.0 GiB) copied, 11.1344 s, 96.4 MB/s
pi@raspberrypi:~ $ dd if=/dev/zero of=/mnt/ext4/test.tst bs=10M count=1024
1024+0 records in
1024+0 records out
10737418240 bytes (11 GB, 10 GiB) copied, 88.0741 s, 122 MB/s
pi@raspberrypi:~ $ dd if=/dev/zero of=/mnt/ext4/test.tst bs=100M count=102
102+0 records in
102+0 records out
10695475200 bytes (11 GB, 10 GiB) copied, 56.9721 s, 188 MB/s

A ovo su brzine HDDa na prazan disk, dakle HDD, i to SMA, je stvarno brzi od SSD-a za male fajlove

Code:

pi@raspberrypi:~ $ dd if=/dev/zero of=/mnt/ext4/test.tst bs=1M count=1024
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB, 1.0 GiB) copied, 9.0627 s, 118 MB/s
pi@raspberrypi:~ $ dd if=/dev/zero of=/mnt/ext4/test.tst bs=10M count=1024
1024+0 records in
1024+0 records out
10737418240 bytes (11 GB, 10 GiB) copied, 88.663 s, 121 MB/s
pi@raspberrypi:~ $ dd if=/dev/zero of=/mnt/ext4/test.tst bs=100M count=102
102+0 records in
102+0 records out
10695475200 bytes (11 GB, 10 GiB) copied, 87.6379 s, 122 MB/s

a read performanse SSD-a, opet losije nego na windozama, no vise nego dovoljno

Code:

pi@raspberrypi:~ $ sudo dd if=/dev/sda1 of=/dev/null bs=1M count=1024
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB, 1.0 GiB) copied, 3.71376 s, 289 MB/s
pi@raspberrypi:~ $ sudo dd if=/dev/sda1 of=/dev/null bs=10M count=1024
1024+0 records in
1024+0 records out
10737418240 bytes (11 GB, 10 GiB) copied, 39.9774 s, 269 MB/s

c-shadow · 08.11.2022., 12:10

Na koji si to na kraju stavio filesystem?
Spojeno na USB na rpi?
Koliki ti je CPU usage dok rpi čita/piše nešto?

OuttaControl · 08.11.2022., 12:13

EXT4 na kraju, ostali nisu niti blizu al evo probat cu i exfat... cpu usage oko 30% sa DD testom, sa kamerom kad frejmam bude oko 60%

Nick7 · 08.11.2022., 12:41

A zasto ne stavis taj disk di su Windozee, pa mountas CIFS-om/NFS-om share sa Windowsa i tako direkt pises?

c-shadow · 08.11.2022., 12:43

Citiraj:

Autor OuttaControl

EXT4 na kraju, ostali nisu niti blizu al evo probat cu i exfat... cpu usage oko 30% sa DD testom, sa kamerom kad frejmam bude oko 60%

Vjerojatno te zeza USB i da pi ne može brže preko toga.
Probaj mrežni share ako imaš kamo.
Ajde daj output od hdparm -T /dev/sda ili kako već pi vidi taj device.

OuttaControl · 08.11.2022., 13:01

Gparted mi neda više da formatiram u exfat... zanimljivo... prije je dao... Vjerojatno ima nesto sa tim sto sam instalirao exfat-fuse, a vidio sam da je deinstalirao exfatpnešto kad je stavlja taj exfat-fuse(pratio sam neki tutorial online) pa sam deinstalirao taj exfat-fuse sad triba nac koji je to exfat bio u originalu

Evo za HDD:

Code:

sudo hdparm -T /dev/sda

/dev/sda:
 Timing cached reads:   2010 MB in  2.00 seconds = 1005.74 MB/sec

Evo za SSD izgleda isto:

Code:

astroberry@raspberrypi:~ $ sudo hdparm -T /dev/sda

/dev/sda:
 Timing cached reads:   2026 MB in  2.00 seconds = 1013.31 MB/sec

@Nick7 ne kuzim bas? da direktno pisem preko LAN veze na mrežni disk? Ako to mislis presporo je to, 10mb/s ide samo meni treba sto

c-shadow · 08.11.2022., 13:33

OK, USB interface te izgleda ne koči

Onda ne znam dalje, to je rpi, uvijek sam bježao od toga...

vidi exfat-utils ili kako se već zove paket u toj distri koju vrtiš na rpi.
Piše ti u gpartedu pod view-->file system support što podržava i koji program mu treba za to.

OuttaControl · 08.11.2022., 13:43

Opala, thanks c-shadow izgleda da je ovo riješenje svih mojih muka

program koji je bio u pitanju i koji je uklonjen se zove exfatprogs,

i sa njim exfat ima odlicne performanse:

Code:

pi@raspberrypi:~ $ dd if=/dev/zero of=/mnt/ext4/test.tst bs=1M count=1024
1024+0 records in
1024+0 records out
1073741824 bytes (1.1 GB, 1.0 GiB) copied, 7.21421 s, 149 MB/s
pi@raspberrypi:~ $ dd if=/dev/zero of=/mnt/ext4/test.tst bs=10M count=1024
1024+0 records in
1024+0 records out
10737418240 bytes (11 GB, 10 GiB) copied, 64.201 s, 167 MB/s

Kasnije cu probati jos sa HDDom, ali vec ovo mi je taman i sa ovim mogu radit a i mogu prebacitvati na windows bez nekih problema.

c-shadow · 08.11.2022., 14:04

Moguće da je tvoj problem ako koristiš neki od filesystema koji ima driver u userspaceu, dakle ovi "fuse" nešto. To obično radi dosta sporo.
Pitanje je sam samo što rpi distra ima upakirano u taj "exfatprogs" i da li je to baš driver ili samo pomoćni programi za formatiranje, chkdsk i sl.
Izbjegavam kad god mogu takvu kombinaciju gdje linux piše na neki od windows FSa, naročito je loše radio neki tamo ntfs-fuse koliko se sjećam. Provjeri, čini mi se da je odnedavno neki bolji NTFS driver ubačen baš u kernel i da bi to trebalo raditi osjetno bolje.

Našao, trebao bi biti od kernela 5.15:
https://www.phoronix.com/news/NTFS3-For-Linux-5.15
Vidi koji kernel ima rpi, da li je taj driver unutra pa probaj.

Nick7 · 08.11.2022., 15:37

Citiraj:

Autor OuttaControl

@Nick7 ne kuzim bas? da direktno pisem preko LAN veze na mrežni disk? Ako to mislis presporo je to, 10mb/s ide samo meni treba sto

Da, mislio na mrezni disk.
Zasto samo 10mb/s? Ingterface ti je 100mbit?
Uzmi onda neki 1Gb/s USB mrezni stick... pa bi trebao imati OK brzinu

... ili 2.5Gb/s USB stick za jos brze

OuttaControl · 09.11.2022., 13:44

Citiraj:

Autor c-shadow

Moguće da je tvoj problem ako koristiš neki od filesystema koji ima driver u userspaceu, dakle ovi "fuse" nešto. To obično radi dosta sporo.
Pitanje je sam samo što rpi distra ima upakirano u taj "exfatprogs" i da li je to baš driver ili samo pomoćni programi za formatiranje, chkdsk i sl.
Izbjegavam kad god mogu takvu kombinaciju gdje linux piše na neki od windows FSa, naročito je loše radio neki tamo ntfs-fuse koliko se sjećam. Provjeri, čini mi se da je odnedavno neki bolji NTFS driver ubačen baš u kernel i da bi to trebalo raditi osjetno bolje.

Našao, trebao bi biti od kernela 5.15:
https://www.phoronix.com/news/NTFS3-For-Linux-5.15
Vidi koji kernel ima rpi, da li je taj driver unutra pa probaj.

Aha, probat cu i sa tim NTFSom, šta sad sve sam proba

. Imao sam problem sto sam napravio kernel update pa su mi sprčkali driver za kameru pa sam i to morao vraćati nazad. Kernel je 5.15.72 tako da bi trebao imati driver.

e sad što se tiče testiranja, po DD-u exfat je daleko najbrzi i SSD i HDD imaju najbolje performanse, ali samo po DD-u. Libcamera_raw je i dalje upola sporija kad pise na exfat iz nekog razloga, HDD je u exfatu sporiji od SSD-a ali oboje je puno sporije nego ext4, gdje je HDD brzi od ssd-a. Moram pocistit jos jedan SSD da vidim jeli do njega slucajno samo to cu kad stigne.

Citiraj:

Autor Nick7

Da, mislio na mrezni disk.
Zasto samo 10mb/s? Ingterface ti je 100mbit?
Uzmi onda neki 1Gb/s USB mrezni stick... pa bi trebao imati OK brzinu

... ili 2.5Gb/s USB stick za jos brze

Ma to ni zena nebi approvala, vec joj je previse kablova po kuci hahahmene najvise cude te lose performanse, a nebi smjele bit loše....

07.11.2022., 10:17	#1
OuttaControl Premium Moj komp Datum registracije: Feb 2007 Lokacija: Dalmacija Postovi: 5,207	Performanse i cross platform file systemi Prvo, nezz koji podforum je pravi ako sam falio može u drugi. Razvijam neku aplikacijicu na RPi sa što bržim captureom raw slika sa kamere i spremanjem na disk. Slike se kasnije obrađuju na Windows PC-u (Python, OpenCV, Cuda i kasnije neke Windows specific aplikacije). Prebacivanje preko mreže stotine gb podataka traje i traje. Windows ne podržava ext4 nativno, instalirao sam neki driver ext2nešto koji mi je masakrira windows jedva sam ga maka iz safe modea, tako da taj nije opcija. Prednost je što mi treba samo read, ali read pristojnih performansi. Probao sam sa nekoliko formata na RPi-u - fat32, exfat i NTFS, ali svima njima su performanse upola od EXT4. Jeli neko zna ili je isprobao, kvalitetan i performansama prihvatljiv nacin mountanja EXT4 particije na Windows, srecom samo za read? Capture se radi na Raspberryu, i tu dolazimo do jos jedne neobične situacije. Imam kingston A400 120gb SSD i WD Scorpio black 750GB. Maksimalna teoretska brzina capturea je 90FPS, jedan F je 1.1mb,dakle teoretski max 99mb/s writea. Što rezultira maksimumom od 5400 sličica u minuti. Capture ide 1 minuta spremanja, 5 minuta pauze. Na SSDu imam konstantnih ~4300 sličica u minuti u svakom ciklusu što je nekih 80mb/s writea. Iznenađenje mi je bio HDD, koji krene sa cca 5300+ sličica u minuti dakle gotovo blizu maksimuma od 99mb/s, i onda svaki ciklus pada po 100 sličica, dok se ne zadrži na oko 2500-3500 sličica u minuti, dakle 45mb/s. Nije mi jasno što se tu događa, pogotovo jer ima 5 minuta pauze između svakog ciklusa. Disk je ukljucen u USB3 port preko relativno jeftinog sata adaptera, bez dodatnog napajanja. Ali mislim da bi trebalo biti dovoljno. Jer je rpi napajanje 5.1v 3A SSD trebao gurati 300mb/s writea. Pokušao sam pokreniti DD za write speed test, ali rezultati spada 19mb/s i na HDD i na SSD što nije istina, mislim da DD kreira file na SD kartici pa čita sa nje, tako da nije realan test, a ništa bolje nisam našao od DDa za testirat performanse na raspberry pi OS-u, svi koriste daj nesritni DD. Za performanse imam i programatsko rjesenje, posto imam Rpi4b sa 8GB mogu zapisivat u ram jer je ovo cca 5.5gb podataka, pa u ovih 5 minuta pauze iz rama prebacit na disk, ali to mi je nepotrebna komplikacija, pogotovo jer bi te osnovne performanse morale biti ispunjene, a želim da radi sve i na rpiju od 1gb. Processor od RPI-a nije bottleneck, jer je jedva do pola opterecen, i na ram disk sprema punom brzinom. Zadnje izmijenjeno od: OuttaControl. 07.11.2022. u 10:24.

07.11.2022., 11:10	#4
Nick7 Premium Moj komp Datum registracije: Nov 2004 Lokacija: Velika Gorica Postovi: 1,466	NTFS na Linuxu je bolno spor, jos vise ako je RPi u igri koji bas i nije najjaci CPU. Sto se dd-a tice, da... to ti je realna brojka ako nisi naveo veci block size. Za cisti seq test mozes navesti 1MB block size (default je 512 bytes!). ... imas i opciju da dignes virtualku na PC-u (Linux), pa onda share-as taj folder na Windowse (samba). __________________ Idiocracy. Kad satira postaje stvarnost.

07.11.2022., 12:20	#6
Nick7 Premium Moj komp Datum registracije: Nov 2004 Lokacija: Velika Gorica Postovi: 1,466	WSL2 ti je u biti Hyper-V virtualka. Ono sto ces morati sloziti ako koristis virtualku je SMB share tog diska, ali kako je to sve lokalno na istom PC-u, mreza ti vise nije usko grlo. Za dd probaj: dd if=/dev/sda1 of=/dev/null bs=1M count=1024 Dakle.. citas 1GB s diska, i pises u prazno (da ti to ne bi usporavalo). __________________ Idiocracy. Kad satira postaje stvarnost.

07.11.2022., 13:07	#7
OuttaControl Premium Moj komp Datum registracije: Feb 2007 Lokacija: Dalmacija Postovi: 5,207	Evo uspio sam osposobit WSL2, ali moram priznat da je neocekivano sporo, 15-20MB/s sa SSD-a na m.2 NVME, duplo bolje nego mreža, ali nije sad nešto revolucionarno EDIT: I am an idiot, usteka sam SSD u USB2 ne u USB3, ide odlicnih 65 mb/s , ali to je sve na wins 11, moram to natirat na wins 10 da radi. probat cu jos TC i probat cu taj DD kad ustekam ssd nazad, jeli to za read ili write test? Zadnje izmijenjeno od: OuttaControl. 07.11.2022. u 13:58.

07.11.2022., 14:52	#8
Nick7 Premium Moj komp Datum registracije: Nov 2004 Lokacija: Velika Gorica Postovi: 1,466	To je read test... write bi bio: dd if=/dev/zero of=<ime fajla> bs=1M count=1024 ... ako bi za of koristio /dev/sda1 - pobio bi cijelu particiju. Za Output file mozes koristiti particiju, ime fajla... __________________ Idiocracy. Kad satira postaje stvarnost.

07.11.2022., 10:37	#2
Night Premium Datum registracije: Oct 2008 Lokacija: Dbk Postovi: 987	To što disku padaju performanse je vjerojatno jer se radi o SMR disku, CMR bi tu bio dosta bolji. Za Windowse možeš probati TotalCommander sa DiskInternals Reader pluginom, on može mountati ext4.

07.11.2022., 10:52	#3
tomek@vz Premium Moj komp Datum registracije: May 2006 Lokacija: München/Varaždin Postovi: 3,341	Ak hoces na Win citat to cudo - drzi se MS formata. Postoje EXT4 "driveri" za Windows al sve je to skrpano i dolazi sa hrpom upozorenja tipa "ak to koristis mozda ti prdnu svi poidaci....tek tak"...tak da-ne. NTFS i bok. Za Linux je tak svejedno kaj mu das. Jedino neznam kakva je situacija na MAC OS-u (NTFS bi kolko vidim trebao radit al nemam prakse s tim cudom).

07.11.2022., 15:00	#9
Night Premium Datum registracije: Oct 2008 Lokacija: Dbk Postovi: 987	Za speedtest umjesto dd probaj : https://linuxconfig.org/hard-drive-s...ine-and-hdparm

08.11.2022., 10:45	#10
OuttaControl Premium Moj komp Datum registracije: Feb 2007 Lokacija: Dalmacija Postovi: 5,207	@Night HD param je mislim samo read Evo mog iskustva WSL2 --mount daleko najbolje radi, ali nazalost radi samo na W11... VirutalBox mount raw drivea - Nikako ne uspjevam, dodao sam virtual link, kad ga idem mountati error i iz windowsa se izbaci, vjerojatno ima veze sto je spojen sa USB-om a ne satom DiskInternals Linux Reader - Euforican pocetak na startu sa120mb/s, i onda uspori sa not responding svakih par sekundi, vjerojatno ga muči preko 100k fileova. Prosjecna brzina ~10mb/s TotalCommander Ext4 plugin - 5mb/s brzina Ext2Explore - skine 50 fileova u sekund i crkne DiskGenious, - Treba mu 5 minuta da pocme, pa izbaci prompt da za velike fileove treba kupiti licencu pa nakon jos 5 min izbaci poruku da je prebacio 11 fileova i faila 100k Dakle što se toga tiče izgleda da se nameću 2 rješenja, ili upgreadea na Windows11 ili upgradeam mrezu na 1gbps i sve pospojim kabelima (long shot) Što se tiče DD testa to probam kad prebacim sve podatke, stavit cu ih sad prebacivati sa DiskInternals, ali nakon toga nastavljam mrežom i to wifi 5ghz verzija Nazalost kako sam updateao Windowse da mi se omoguci WSL2, tako su oni instalirali driver za wifi karticu, koji se ne moze spojiti na 5ghz mrežu, tako da treba i to sad popravljati EDIT: Nezz sta se desilo sa DiskInternalsom i WSLom ali izgleda da su se udruzili nekako, DiskInternals nakon svih ovih karafeka cita disk kao mnt/wsl/ i brzine su izvrsne cca 350mb/s dakle ne treba upgrade nicega, iako mi nije jasno zasto je phisicaldisk1 kad je zapravo 4.... Zadnje izmijenjeno od: OuttaControl. 08.11.2022. u 11:03.

08.11.2022., 12:10	#12
c-shadow Premium Moj komp Datum registracije: Feb 2007 Lokacija: Istra Postovi: 3,002	Na koji si to na kraju stavio filesystem? Spojeno na USB na rpi? Koliki ti je CPU usage dok rpi čita/piše nešto?

08.11.2022., 12:13	#13
OuttaControl Premium Moj komp Datum registracije: Feb 2007 Lokacija: Dalmacija Postovi: 5,207	EXT4 na kraju, ostali nisu niti blizu al evo probat cu i exfat... cpu usage oko 30% sa DD testom, sa kamerom kad frejmam bude oko 60%

08.11.2022., 12:41	#14
Nick7 Premium Moj komp Datum registracije: Nov 2004 Lokacija: Velika Gorica Postovi: 1,466	A zasto ne stavis taj disk di su Windozee, pa mountas CIFS-om/NFS-om share sa Windowsa i tako direkt pises? __________________ Idiocracy. Kad satira postaje stvarnost.

08.11.2022., 13:01	#16
OuttaControl Premium Moj komp Datum registracije: Feb 2007 Lokacija: Dalmacija Postovi: 5,207	Gparted mi neda više da formatiram u exfat... zanimljivo... prije je dao... Vjerojatno ima nesto sa tim sto sam instalirao exfat-fuse, a vidio sam da je deinstalirao exfatpnešto kad je stavlja taj exfat-fuse(pratio sam neki tutorial online) pa sam deinstalirao taj exfat-fuse sad triba nac koji je to exfat bio u originalu Evo za HDD: Code: sudo hdparm -T /dev/sda /dev/sda: Timing cached reads: 2010 MB in 2.00 seconds = 1005.74 MB/sec Evo za SSD izgleda isto: Code: astroberry@raspberrypi:~ $ sudo hdparm -T /dev/sda /dev/sda: Timing cached reads: 2026 MB in 2.00 seconds = 1013.31 MB/sec @Nick7 ne kuzim bas? da direktno pisem preko LAN veze na mrežni disk? Ako to mislis presporo je to, 10mb/s ide samo meni treba sto

08.11.2022., 13:33	#17
c-shadow Premium Moj komp Datum registracije: Feb 2007 Lokacija: Istra Postovi: 3,002	OK, USB interface te izgleda ne koči Onda ne znam dalje, to je rpi, uvijek sam bježao od toga... vidi exfat-utils ili kako se već zove paket u toj distri koju vrtiš na rpi. Piše ti u gpartedu pod view-->file system support što podržava i koji program mu treba za to.

08.11.2022., 13:43	#18
OuttaControl Premium Moj komp Datum registracije: Feb 2007 Lokacija: Dalmacija Postovi: 5,207	Opala, thanks c-shadow izgleda da je ovo riješenje svih mojih muka program koji je bio u pitanju i koji je uklonjen se zove exfatprogs, i sa njim exfat ima odlicne performanse: Code: pi@raspberrypi:~ $ dd if=/dev/zero of=/mnt/ext4/test.tst bs=1M count=1024 1024+0 records in 1024+0 records out 1073741824 bytes (1.1 GB, 1.0 GiB) copied, 7.21421 s, 149 MB/s pi@raspberrypi:~ $ dd if=/dev/zero of=/mnt/ext4/test.tst bs=10M count=1024 1024+0 records in 1024+0 records out 10737418240 bytes (11 GB, 10 GiB) copied, 64.201 s, 167 MB/s Kasnije cu probati jos sa HDDom, ali vec ovo mi je taman i sa ovim mogu radit a i mogu prebacitvati na windows bez nekih problema.

Oglasni prostor
PC Ekspert Forum Oglas

08.11.2022., 14:04	#19
c-shadow Premium Moj komp Datum registracije: Feb 2007 Lokacija: Istra Postovi: 3,002	Moguće da je tvoj problem ako koristiš neki od filesystema koji ima driver u userspaceu, dakle ovi "fuse" nešto. To obično radi dosta sporo. Pitanje je sam samo što rpi distra ima upakirano u taj "exfatprogs" i da li je to baš driver ili samo pomoćni programi za formatiranje, chkdsk i sl. Izbjegavam kad god mogu takvu kombinaciju gdje linux piše na neki od windows FSa, naročito je loše radio neki tamo ntfs-fuse koliko se sjećam. Provjeri, čini mi se da je odnedavno neki bolji NTFS driver ubačen baš u kernel i da bi to trebalo raditi osjetno bolje. Našao, trebao bi biti od kernela 5.15: https://www.phoronix.com/news/NTFS3-For-Linux-5.15 Vidi koji kernel ima rpi, da li je taj driver unutra pa probaj.