|
09.07.2020., 08:48 | #62 |
Master Of Disaster
Datum registracije: Nov 2002
Lokacija: Rijeka
Postovi: 1,253
|
treba mi preporuka za upgrade SSD diskova jer je problem slijedeci. LSI raid kartica na koju su spojena 4 x 840 Evo 1TB u RAID5, kod kopiranja vece kolicine fileova - brzina bude oko 100MB/s write ali onda nakon odredjenog vremena padne na 21MB/s sto je vjerujem zbog nafilanog cachea od SSDa i jednostavno se ne moze izbjeci na toj generaciji diskova. S kojim novijim diskovima bi to mogao izbjeci ili bi morao ici na Intel Optane opciju koja bi onda bila znatno skuplja? Trenutno nemam vremena istrazivati ovo zato postam na forum, bilo kakav prijedlog koji bi mi skratio vrijeme guglanja je dobrodosao. Stroj se koristi za video editing, ali video editing vise razlicitih izvora - od 360 stupnjeva (VR) materijala, RED kamera, Sonya, Zenmuse kamera do GoProa. Tako da je kopiranje materijala na sam stroj i onda exportiranje materijala na taj isti disk glavni bottleneck stroja. Kopiranje sa stroja na server ili vanjski TB disk nije problem uopce.
__________________
|
|
|
Oglas
|
|
09.07.2020., 11:53 | #64 |
Master Of Disaster
Datum registracije: Nov 2002
Lokacija: Rijeka
Postovi: 1,253
|
SS kartice u prilogu, trenutno se renderira na stroju pa sam ovako na brzinu pogledao info. https://docs.broadcom.com/doc/12351921
__________________
|
10.07.2020., 08:51 | #65 |
Premium
Datum registracije: Aug 2009
Lokacija: Dugo Selo
Postovi: 1,459
|
Ne znam baš da bi s drugim SSD diskovima riješio, možda bi bilo bolje, ali mi je malo sumnjivo ponašanje. Čudno mi je da s vanjskog storage-a uredno radi kopiranje. Jesi probao podesiti cache na kontroleru da bude više podešen na write, ili se igrao s ostalim postavkama ? |
10.07.2020., 11:36 | #66 |
Moderator
Datum registracije: Sep 2006
Lokacija: St
Postovi: 22,858
|
Kako sam ga ja shvatio, brzina prema vanjskom storage sada "nije bitna" / ide koliko ide ... Njega "brine" prema 4 x 840 Evo 1TB u RAID5 spojenih preko LSI 9270-8i. Za početak evo neki info > https://ranker.sisoftware.co.uk/show...695a899af&l=en ali tu se ne spominje koji je raud mod ni write brzina. Interesantan info: https://forum.hardwareheaven.com/thr...r-card.215214/ https://forums.tomshardware.com/thre...-card.3084003/ mada je stariji post, uglavnom su konfiguracije sa hdd a ne ssd - ovima, izgleda da je kod RAID 5 polja baš problematičan bandwith, provjeri temp LSI kontrolera i ako treba zakelji neki vent na njega, možda nešto dobiješ sa drugačijim parametrima, npr. 64K stripe, ... EDIT: Malo naknadne pameti, a da reorganiziraš RAID polje ? Jasno kad ne bude posla + da imaš gdje skloniti podatke. Rekreirati RAID 0 polje za "radne podatke" a backup / copy riješiti drugačije ili na sad neiskorištenom kanalu slagati drugo polje ... Zadnje izmijenjeno od: Nikky. 10.07.2020. u 12:34. Razlog: Nadopuna |
10.07.2020., 13:11 | #67 | ||
Master Of Disaster
Datum registracije: Nov 2002
Lokacija: Rijeka
Postovi: 1,253
|
Citiraj:
Nazalost nikako se nisam stigao poigrati s raid kontrolerom ni icim drugim. Skuzio sam da nesto ne valja i moram napraviti analizu stanja obje radne stanice koje su konfigurirane isto osim sto jedna ima i Red Rocket X na njoj. Ovi problemi su mi ukazani nakon sto je frajer koji to inace radi sporadicno poceo raditi intenzivno dva tjedna na tim radnim stanicama. Procitat cu ove linkove koje si mi dao, tnx. Uz to kopiranje na radnu stanicu, brzina diskova i utjece na render/exportiranje snimki. Znaci jedan klip od 30 sekundi na najnovijem X1 Extreme i7/16GB RAM/500GB nvme disku eksportira/renderira u 7min, a na ovim zvjerima od radnih stanica 45min.. P.S. poceo citati linkove: Citiraj:
__________________
Zadnje izmijenjeno od: Psycho. 10.07.2020. u 16:49. |
||
10.07.2020., 21:28 | #68 |
Moderator
Datum registracije: Sep 2006
Lokacija: St
Postovi: 22,858
|
Pa zato i predlažem RAID 0 sa kojim dobiješ nX ubrzanje i read i write. |
10.07.2020., 21:40 | #69 |
N0teb00k n00b
Datum registracije: Jan 2005
Lokacija: Zagreb/Koprivnica
Postovi: 2,096
|
Ili, ako ti strojevi imaju neki integrirani raid kontroler mimo tog lsi, podjeliš ih u dva raid1 polja i sukladno tome podesiš workflow. Imat ćeš dva odvojena storage subsystema na dva odvojena raid kontrolera. Onda i exporti i kopiranja neće ubijat toliko, jer ako sad imaš sva 4 ssda u istom polju kad god oni nešto raspakiravaju sami na sebe sva 4 čitaju i pišu istovremeno. Em ubiješ pamet kontrolera em ubiješ kontroler na samom ssd-u. Ako odvojiš polja i workflow prilagodiš, svako polje će kod takvih intenzivnih radnji raditi samo 1 posao - jedan čita drugi piše. P.s. sličnu situaciju sam imao sa dell h310, nakon rastepanja dva diska na kontroler na ploči, a druga dva ostali na tom dellu h310 sve propjevalo. Prebacivanje smo odradili klonom na neki sasvim deseti 500gb disk i za svaki slučaj sam i image sa Acronisom napravio. Sve u svemu najviše vremena je uzelo šarafljenje kućišta. Sent from my ANE-LX1 using Tapatalk
__________________
Zadnje izmijenjeno od: darkydark. 10.07.2020. u 21:52. |
11.07.2020., 09:32 | #70 |
Premium
Datum registracije: Aug 2009
Lokacija: Dugo Selo
Postovi: 1,459
|
Psycho: koje su to radne stanice, neki brand name ili slaganac? Nikky: pa i RAID 0 bude ubio taj kontroler, šta ne, jedino da radi razdvajanje jer sigurno ima i kontroler na matičnoj |
|
|
Oglas
|
|
11.07.2020., 10:12 | #71 |
Moderator
Datum registracije: Sep 2006
Lokacija: St
Postovi: 22,858
|
Računam da će RAID 0 "lakše" odraditi nego 5 ... A sad hoće li i tako "ubiti" kontroler ne znam. Gore je kolega rekao da razdvajanje ili dodani hdd / ssd na on-board kontroleru pomaže. |
11.07.2020., 14:02 | #72 |
Master Of Disaster
Datum registracije: Nov 2002
Lokacija: Rijeka
Postovi: 1,253
|
@Alister - stanice su HP Z820 sa dual xeonima, s tim da su neke komponente ubacivali koje bi trebale teorijski raditi ali ocito nisu testirane u real world radu. Nazalost nisam imao pristup stanicama u zadnje vrijeme, ali iskreno ni vremena da skicnem. Dobro mi je ovo sta ste mi ukazali da mozda mogu konfigurirati sam raid kontroler, to moram istraziti ali moram i sam testirati write/read brzine kod velike velicine podataka od malih fileova i isto sa velikim fileovima. do sad sam koristio benchmarking tools kojima iskreno ne vjerujem uopce
__________________
|
11.07.2020., 15:49 | #73 |
EMP moderator
Datum registracije: Apr 2005
Lokacija: Osijek
Postovi: 18,520
|
Ako mu nije problem izgubiti 50% prostora, probajte RAID 10. Što se cacheiranja tiče, za neku normalnu cijenu jedino Samsungove Pro serije nemaju problem s usporavanjem kad se cache napuni. Ako kontroler ima bateriju, povećaj write cache.
__________________ "Kako su krojači novog svjetskog poretka uspjeli u tako kratko vrijeme slomiti intelektualne sposobnosti društva, uništiti kritičku svijest i ljudima nametnuti izvrnutu logiku?"
|
11.07.2020., 16:24 | #74 |
N0teb00k n00b
Datum registracije: Jan 2005
Lokacija: Zagreb/Koprivnica
Postovi: 2,096
|
Iskreno s obzirom da spominje različite izvore videa, to su pusti gb podataka i definitivno bi bilo bolje da ima dva storage poola. Use case: tovari podatke na storage pool 2, a na Storage poolu 1 može normalno editirat ili što već, još ako ima mogućnosti svaki staviti na svoj kontroler da nema preklapanja... Ili source i projekt je na storage poolu 1, a render izbacuje na pool 2. Nisam siguran da raid 10 u video obradi ima koristi u njegovom use caseu di ima hrpetinu podataka i očito je bandwidth nakon xyz gb problem, jer stavljanjem sva 4 diska u isti pool nije riješio ništa po pitanju brzine, a niti backupa, jer raid nije backup nego samo redudancija. Zato sam masi ekipe još dok sam workstatione slagao radije išao na mrvicu slabiji cpu/gpu, a više diskova baš da se scratch disk odvoji od sistemskog diska i nekakvog "data" diska. Nekad su to bili solo diskovi za sistem i scratch i raid 1 za "long term" podatke, a nekad je svaka stavka bila u raid 1 polju pa su imali po 3 storage poola. Sent from my ANE-LX1 using Tapatalk
__________________
|
11.07.2020., 16:54 | #75 |
Master Of Disaster
Datum registracije: Nov 2002
Lokacija: Rijeka
Postovi: 1,253
|
ovo nije radi backupa, video snimke se povlace sa servera(server je na MSA storeageu, sekundarni backup na drugi SAN + trake za dugorocni backup) na stroj i onda se radi na stroju ako moze, ako su snimke prevelike onda se direktno na serveru obradjuje. Tako mi je za sada objasnjeno, s tim da ja moram vidjeti tocno sta se tu radi jer nisam siguran da frajer koji to radi zna terminologiju - mozda se samo pravi pametan pa mi krivo objasnjava proces. za sada dosta opcija koje ste mi napisali mi daje ideje za testiranje koje nisam do sada mogao obaviti. Tako da cu skupiti sve u jedan kup i kad uhvatim barem jednu masinu, istestirati sta je tocno issue i probati konfiguraciju raid kontrolera ili druge raid konfiguracije.
__________________
|
12.07.2020., 18:42 | #76 |
Premium
Datum registracije: Nov 2004
Lokacija: Velika Gorica
Postovi: 1,497
|
Koje filozofije Ocito imas RAID karticu bez BBU. Bez BBU ne radi write caching na RAID kontroleru (aka write-back), a u slucaju RAID5, to znaci poprilicno losije brzine pisanja. Ako zelis da pise dobrom brzinom, ili se isprsi za BBU, ili riskiraj tako da forsiras write-back enabled. Navedena kartica je ohoho dovoljna jaka da fura SSD-ove na sebi, vise komada, u jednom RAID polju. Ove fantazije o razbijanju diskova na vise RAID kontrolera.... mozda sa kontrolerima iz 1990.g. Isto tako, razdvajanje diskova i sl... to je imalo smisla sa HDD-ovima. Ne i sa SSD-ima.
__________________
Idiocracy. Kad satira postaje stvarnost. |
13.07.2020., 19:08 | #77 |
Master Of Disaster
Datum registracije: Nov 2002
Lokacija: Rijeka
Postovi: 1,253
|
Write caching radi bez BBUa samo se riskira ako nesto podje krivu da volume ode u bananu. Write caching enablan, brzina se digla ali i bome brze je pala, nakon 18GB prebacenih podataka i brzine od oko 250-300MB/s palo na 50ak i kasnije i nize MB. Nasao noviji firmware za karticu, instalirao Megaraid storage manager, updateao firmware. isti k. Nasao neki BBU u storageu, sutra cu probati ugraditi ako odgovara i vidjeti sta s tim. Isto nasao MX500 od 1TB pa cu njega probati spojiti direkt na SATAIII i testirati kopiranje na njega direkt s mreze da zaobidjem raid kontroler. mrzim kad me snadju tudji repovi, pa onda trosenje vremena na detektiranje sranja.
__________________
|
13.07.2020., 22:26 | #78 | |
Premium
Datum registracije: Nov 2004
Lokacija: Velika Gorica
Postovi: 1,497
|
Citiraj:
Brzina pisanja padne kad se zafila SLC cache na 840EVO SSD-u. To je normalno. Jos jedan razlog za sporija pisanja je manjak TRIM-a. Sent from my Mi 9T using Tapatalk
__________________
Idiocracy. Kad satira postaje stvarnost. |
|
14.07.2020., 10:25 | #79 | |
Premium
Datum registracije: Feb 2006
Lokacija: Zagreb
Postovi: 4,888
|
Citiraj:
Isto tako, kontinuirani (u desetinama giga) veliki write speed nije nešto što je uobičajeno, a posebno ne prilagođeno consumer SSD-ovima. Kao što Nick kaže, postoji nesrazmjer između potreba i setupa, recimo ovdje bi više pomogao standardni opis potreba i koliko često se pojavljuju ekstremni zahtjevi za kopiranjem brda podataka preko mreže.
__________________
Igor Batinic |
|
14.07.2020., 12:38 | #80 | |
Master Of Disaster
Datum registracije: Nov 2002
Lokacija: Rijeka
Postovi: 1,253
|
Citiraj:
Ili mi je bolje traziti x16 quad NVME karticu sa dva ili cetiri diska koja je kompatibilna sa Intel platformom i napraviti scratch disk od toga? obje opcije bi izasle oko 2k EUR vjerujem, mozda malo vise sa NVME opcijom. S tim da ne zelim predlagati prevelike troskove jer cemo mozda budgetirati za iducu godinu za threadrippere. p.s. Prebacivanje par terebajta podataka svaki dan kod video snimanja bi bila realnost i rad s tim terabajtima. Znaci radi se o 360 stupnjeva snimanju gdje se utilizira 4 (60fps) ili 8 (30fps) kamera, te jos jednom snimanju od 6 kamera. nekompresirani fileovi (RAW) mogu doci do 3 TB za jedno snimanje, to je recimo neki maksimum. Realno je obicno oko 300GB po snimanju.
__________________
|
|
14.07.2020., 13:10 | #81 | |
Premium
Datum registracije: Feb 2006
Lokacija: Zagreb
Postovi: 4,888
|
Citiraj:
__________________
Igor Batinic |
|
14.07.2020., 13:17 | #82 |
Moderator
Datum registracije: Sep 2006
Lokacija: St
Postovi: 22,858
|
Pa će mu brzina storage - a i brzina prema njemu biti usko grlo |
14.07.2020., 13:26 | #83 |
Premium
Datum registracije: Feb 2006
Lokacija: Zagreb
Postovi: 4,888
|
__________________
Igor Batinic |
14.07.2020., 18:03 | #84 | |
Master Of Disaster
Datum registracije: Nov 2002
Lokacija: Rijeka
Postovi: 1,253
|
Citiraj:
Postoji mogucnost da prenamjenim jedan Thecus N16000PRO NAS i samo bacim sve driveove u stripe jer su mehanicki diskovi unutra iako su SAS, da dobijem maksimalni speed i testiram tako da vidim da li ce ista bolje ici proces.
__________________
|
|
14.07.2020., 20:39 | #85 | |
Premium
Datum registracije: Feb 2006
Lokacija: Zagreb
Postovi: 4,888
|
Citiraj:
Ako je 10 giga link, ajde. Iako bi s dosta HDD-a u RAID10 moglo ići brže.
__________________
Igor Batinic |
|
15.07.2020., 09:14 | #86 |
Master Of Disaster
Datum registracije: Nov 2002
Lokacija: Rijeka
Postovi: 1,253
|
__________________
|
15.07.2020., 16:12 | #87 |
Premium
Datum registracije: Feb 2006
Lokacija: Zagreb
Postovi: 4,888
|
__________________
Igor Batinic |
15.07.2020., 20:04 | #88 |
Master Of Disaster
Datum registracije: Nov 2002
Lokacija: Rijeka
Postovi: 1,253
|
dvije radne stanice, koje ce vjerojatno podijeliti radne zadatke na pola. Ako bude test dobar onda cu nakrcati Thecus sa 4TB driveovima i sve u RAID 0. Sada cekam rezultate kako ide video reenkodiranje preko mreze s tim da su podaci na Thecusu. primjer testa kopiranja sa servera na radnu stanicu vs kopiranja sa serverskog storagea na Thecus storage
__________________
|
15.07.2020., 22:07 | #89 | |
Premium
Datum registracije: Feb 2006
Lokacija: Zagreb
Postovi: 4,888
|
Citiraj:
Imao sam davno sličan slučaj, stanice su bile direktno spojene na storage, brdo HDD-ova ispod i peri. To su specifični sličajevi gdje saturacija SSD-ova, igranje s cacheom i slično može postati problem. Ja bi na tvom mjestu radije vidio nekakav storage s direktnom (npr. SAS vezom) sa stanicama, posebno kad su samo dvije.
__________________
Igor Batinic |
|
16.07.2020., 08:41 | #90 | |
Master Of Disaster
Datum registracije: Nov 2002
Lokacija: Rijeka
Postovi: 1,253
|
Citiraj:
Za sada mislim da cemo ici na SSD Pro seriju diskova, BBU instalaciju u raid kontroler pa cemo nakon toga ici vidjeti za neki video scratch disk opciju(mrezni ili SAS). Rad preko mreze na Thecusu se za sada pokazao boljim i moze privremeno sluziti.
__________________
|
|
|
|
Oglas
|
|
|
|