Bolje uzeti obični 2,5" SSD jer su jeftiniji, a za storage brzina nije bitna.

treba mi preporuka za upgrade SSD diskova jer je problem slijedeci.
LSI raid kartica na koju su spojena 4 x 840 Evo 1TB u RAID5, kod kopiranja vece kolicine fileova - brzina bude oko 100MB/s write ali onda nakon odredjenog vremena padne na 21MB/s sto je vjerujem zbog nafilanog cachea od SSDa i jednostavno se ne moze izbjeci na toj generaciji diskova. S kojim novijim diskovima bi to mogao izbjeci ili bi morao ici na Intel Optane opciju koja bi onda bila znatno skuplja?

Trenutno nemam vremena istrazivati ovo zato postam na forum, bilo kakav prijedlog koji bi mi skratio vrijeme guglanja je dobrodosao.

Stroj se koristi za video editing, ali video editing vise razlicitih izvora - od 360 stupnjeva (VR) materijala, RED kamera, Sonya, Zenmuse kamera do GoProa. Tako da je kopiranje materijala na sam stroj i onda exportiranje materijala na taj isti disk glavni bottleneck stroja. Kopiranje sa stroja na server ili vanjski TB disk nije problem uopce.

da li si siguran da ti nije LSI kartica problem, koja kartica je u pitanju - ima na njoj cache

SS kartice u prilogu, trenutno se renderira na stroju pa sam ovako na brzinu pogledao info.


https://docs.broadcom.com/doc/12351921

Ne znam baš da bi s drugim SSD diskovima riješio, možda bi bilo bolje, ali mi je malo sumnjivo ponašanje. Čudno mi je da s vanjskog storage-a uredno radi kopiranje.
Jesi probao podesiti cache na kontroleru da bude više podešen na write, ili se igrao s ostalim postavkama ?

Kako sam ga ja shvatio, brzina prema vanjskom storage sada "nije bitna" / ide koliko ide ...
Njega "brine" prema 4 x 840 Evo 1TB u RAID5 spojenih preko LSI 9270-8i.

Za početak evo neki info > https://ranker.sisoftware.co.uk/show...695a899af&l=en
ali tu se ne spominje koji je raud mod ni write brzina.

Interesantan info:
https://forum.hardwareheaven.com/thr...r-card.215214/
https://forums.tomshardware.com/thre...-card.3084003/

mada je stariji post, uglavnom su konfiguracije sa hdd a ne ssd - ovima,
izgleda da je kod RAID 5 polja baš problematičan bandwith,
provjeri temp LSI kontrolera i ako treba zakelji neki vent na njega,
možda nešto dobiješ sa drugačijim parametrima, npr. 64K stripe,
...

EDIT: Malo naknadne pameti, a da reorganiziraš RAID polje ?
Jasno kad ne bude posla + da imaš gdje skloniti podatke.
Rekreirati RAID 0 polje za "radne podatke" a backup / copy riješiti drugačije ili na sad neiskorištenom kanalu slagati drugo polje ...

Ovo - kad se kopira na radnu stanicu, uspori do brzine ispod brzine mehanickih diskova.

Nazalost nikako se nisam stigao poigrati s raid kontrolerom ni icim drugim. Skuzio sam da nesto ne valja i moram napraviti analizu stanja obje radne stanice koje su konfigurirane isto osim sto jedna ima i Red Rocket X na njoj.
Ovi problemi su mi ukazani nakon sto je frajer koji to inace radi sporadicno poceo raditi intenzivno dva tjedna na tim radnim stanicama.

Procitat cu ove linkove koje si mi dao, tnx.

Uz to kopiranje na radnu stanicu, brzina diskova i utjece na render/exportiranje snimki. Znaci jedan klip od 30 sekundi na najnovijem X1 Extreme i7/16GB RAM/500GB nvme disku eksportira/renderira u 7min, a na ovim zvjerima od radnih stanica 45min..


P.S. poceo citati linkove:
nastavit cu istrazivati, ali izgleda kao da je netko sastavio ove strojeve napamet bez testiranja.

Pa zato i predlažem RAID 0 sa kojim dobiješ nX ubrzanje i read i write.

Ili, ako ti strojevi imaju neki integrirani raid kontroler mimo tog lsi, podjeliš ih u dva raid1 polja i sukladno tome podesiš workflow. Imat ćeš dva odvojena storage subsystema na dva odvojena raid kontrolera. Onda i exporti i kopiranja neće ubijat toliko, jer ako sad imaš sva 4 ssda u istom polju kad god oni nešto raspakiravaju sami na sebe sva 4 čitaju i pišu istovremeno. Em ubiješ pamet kontrolera em ubiješ kontroler na samom ssd-u.

Ako odvojiš polja i workflow prilagodiš, svako polje će kod takvih intenzivnih radnji raditi samo 1 posao - jedan čita drugi piše.
P.s. sličnu situaciju sam imao sa dell h310, nakon rastepanja dva diska na kontroler na ploči, a druga dva ostali na tom dellu h310 sve propjevalo.

Prebacivanje smo odradili klonom na neki sasvim deseti 500gb disk i za svaki slučaj sam i image sa Acronisom napravio. Sve u svemu najviše vremena je uzelo šarafljenje kućišta.

Sent from my ANE-LX1 using Tapatalk

Psycho: koje su to radne stanice, neki brand name ili slaganac?

Nikky: pa i RAID 0 bude ubio taj kontroler, šta ne, jedino da radi razdvajanje jer sigurno ima i kontroler na matičnoj

Računam da će RAID 0 "lakše" odraditi nego 5 ...
A sad hoće li i tako "ubiti" kontroler ne znam.

Gore je kolega rekao da razdvajanje ili dodani hdd / ssd na on-board kontroleru pomaže.

@Alister - stanice su HP Z820 sa dual xeonima, s tim da su neke komponente ubacivali koje bi trebale teorijski raditi ali ocito nisu testirane u real world radu.

Nazalost nisam imao pristup stanicama u zadnje vrijeme, ali iskreno ni vremena da skicnem. Dobro mi je ovo sta ste mi ukazali da mozda mogu konfigurirati sam raid kontroler, to moram istraziti ali moram i sam testirati write/read brzine kod velike velicine podataka od malih fileova i isto sa velikim fileovima. do sad sam koristio benchmarking tools kojima iskreno ne vjerujem uopce :D

Ako mu nije problem izgubiti 50% prostora, probajte RAID 10. Što se cacheiranja tiče, za neku normalnu cijenu jedino Samsungove Pro serije nemaju problem s usporavanjem kad se cache napuni. Ako kontroler ima bateriju, povećaj write cache.

Iskreno s obzirom da spominje različite izvore videa, to su pusti gb podataka i definitivno bi bilo bolje da ima dva storage poola.

Use case: tovari podatke na storage pool 2, a na Storage poolu 1 može normalno editirat ili što već, još ako ima mogućnosti svaki staviti na svoj kontroler da nema preklapanja...

Ili source i projekt je na storage poolu 1, a render izbacuje na pool 2.

Nisam siguran da raid 10 u video obradi ima koristi u njegovom use caseu di ima hrpetinu podataka i očito je bandwidth nakon xyz gb problem, jer stavljanjem sva 4 diska u isti pool nije riješio ništa po pitanju brzine, a niti backupa, jer raid nije backup nego samo redudancija.

Zato sam masi ekipe još dok sam workstatione slagao radije išao na mrvicu slabiji cpu/gpu, a više diskova baš da se scratch disk odvoji od sistemskog diska i nekakvog "data" diska. Nekad su to bili solo diskovi za sistem i scratch i raid 1 za "long term" podatke, a nekad je svaka stavka bila u raid 1 polju pa su imali po 3 storage poola.

Sent from my ANE-LX1 using Tapatalk

ovo nije radi backupa, video snimke se povlace sa servera(server je na MSA storeageu, sekundarni backup na drugi SAN + trake za dugorocni backup) na stroj i onda se radi na stroju ako moze, ako su snimke prevelike onda se direktno na serveru obradjuje. Tako mi je za sada objasnjeno, s tim da ja moram vidjeti tocno sta se tu radi jer nisam siguran da frajer koji to radi zna terminologiju - mozda se samo pravi pametan pa mi krivo objasnjava proces. za sada dosta opcija koje ste mi napisali mi daje ideje za testiranje koje nisam do sada mogao obaviti. Tako da cu skupiti sve u jedan kup i kad uhvatim barem jednu masinu, istestirati sta je tocno issue i probati konfiguraciju raid kontrolera ili druge raid konfiguracije.

Koje filozofije :hitthewal:
Ocito imas RAID karticu bez BBU.
Bez BBU ne radi write caching na RAID kontroleru (aka write-back), a u slucaju RAID5, to znaci poprilicno losije brzine pisanja.
Ako zelis da pise dobrom brzinom, ili se isprsi za BBU, ili riskiraj tako da forsiras write-back enabled.
Navedena kartica je ohoho dovoljna jaka da fura SSD-ove na sebi, vise komada, u jednom RAID polju.

Ove fantazije o razbijanju diskova na vise RAID kontrolera.... mozda sa kontrolerima iz 1990.g.

Isto tako, razdvajanje diskova i sl... to je imalo smisla sa HDD-ovima. Ne i sa SSD-ima.

Write caching radi bez BBUa samo se riskira ako nesto podje krivu da volume ode u bananu. Write caching enablan, brzina se digla ali i bome brze je pala, nakon 18GB prebacenih podataka i brzine od oko 250-300MB/s palo na 50ak i kasnije i nize MB.
Nasao noviji firmware za karticu, instalirao Megaraid storage manager, updateao firmware. isti k.

Nasao neki BBU u storageu, sutra cu probati ugraditi ako odgovara i vidjeti sta s tim. Isto nasao MX500 od 1TB pa cu njega probati spojiti direkt na SATAIII i testirati kopiranje na njega direkt s mreze da zaobidjem raid kontroler. mrzim kad me snadju tudji repovi, pa onda trosenje vremena na detektiranje sranja.

Da, write back radi bez BBU-a, ali ga moras 'forsirat'.
Brzina pisanja padne kad se zafila SLC cache na 840EVO SSD-u. To je normalno.
Jos jedan razlog za sporija pisanja je manjak TRIM-a.

Sent from my Mi 9T using Tapatalk

Ideja inicijalno jest OK, ali moraju se pratiti neki preduvjeti. BBU se obično ne može seliti s jednog kontrolera na drugi (ovdje govorimo o OK kontroleru, da bi imao dobre performanse definitivno treba BBU i nije mi jasno zašto odmah nije naručen).

Isto tako, kontinuirani (u desetinama giga) veliki write speed nije nešto što je uobičajeno, a posebno ne prilagođeno consumer SSD-ovima. Kao što Nick kaže, postoji nesrazmjer između potreba i setupa, recimo ovdje bi više pomogao standardni opis potreba i koliko često se pojavljuju ekstremni zahtjevi za kopiranjem brda podataka preko mreže.

ne znam zasto odmah nije narucen BBU, ne znam zasto su potrosili oko 30k $ na svaku radnu stanicu kad je bila nova a realno nije bila iskoristiva pola vremena zbog loseg integriranja komponenti. situacija je takva kakva je, ali na kraju krajeva - DA LI ono sta pitam od pocetka ako uzmem PRO verziju samsungovih SSDova, cu izbjeci 840 EVO cache problem? Jer onda bi uzeo 4 diska, BBU, instalirao i da to vise stavim iza sebe.

Ili mi je bolje traziti x16 quad NVME karticu sa dva ili cetiri diska koja je kompatibilna sa Intel platformom i napraviti scratch disk od toga?

obje opcije bi izasle oko 2k EUR vjerujem, mozda malo vise sa NVME opcijom. S tim da ne zelim predlagati prevelike troskove jer cemo mozda budgetirati za iducu godinu za threadrippere.

p.s. Prebacivanje par terebajta podataka svaki dan kod video snimanja bi bila realnost i rad s tim terabajtima. Znaci radi se o 360 stupnjeva snimanju gdje se utilizira 4 (60fps) ili 8 (30fps) kamera, te jos jednom snimanju od 6 kamera. nekompresirani fileovi (RAW) mogu doci do 3 TB za jedno snimanje, to je recimo neki maksimum. Realno je obicno oko 300GB po snimanju.

A može li se direktno raditi na storage sustavu, bez potrebe seljenja svako malo?

Pa će mu brzina storage - a i brzina prema njemu biti usko grlo :kafa:

Pa ne mora biti ako je rađeno kako spada. Ako ima loš lokalni transfer prema diskovima, uredno može raditi direktno na storage sustavu bez nekih većih problema.

prema serveru je 10Gbit link i probali smo renderirati direkt na serveru, nakon par min zakuca C disk aktivnost na 100%(raid SSD disk) i uspori enkodiranje nenormalno da nam se ponovo oduzi na skoro isto vrijeme kao i kada kopiramo i onda enkodiramo lokalno. Kako je software koji se koristi EOL i nema supporta vise, ne mogu tocno odrediti cemu koristenje lokalnog diska toliko tokom enkodiranja materijala sa servera nazad na server. ali tu bi sigurno bio storage usporavani element, jer je vise baziran za servisiranje Esxia a ne video post produkcije.

Postoji mogucnost da prenamjenim jedan Thecus N16000PRO NAS i samo bacim sve driveove u stripe jer su mehanicki diskovi unutra iako su SAS, da dobijem maksimalni speed i testiram tako da vidim da li ce ista bolje ici proces.

Ne da su spojeni na server nego direktno na storage.
Ako je 10 giga link, ajde. Iako bi s dosta HDD-a u RAID10 moglo ići brže.

https://i.ibb.co/pbjSft1/test-thecus...gh-Network.png

Raid0 - cisti test volume 8 diskova od 4TB, mixani ST4000NM0023 i HUS724040ALS640.

Trenutno rendering na stanicama pa cu rec kolegi kasnije neka testira kopiranje na test volume i rad direkt sa storagea.

Da, to je očekivano. Koliko stanica imaš koje rade takve poslove?

dvije radne stanice, koje ce vjerojatno podijeliti radne zadatke na pola. Ako bude test dobar onda cu nakrcati Thecus sa 4TB driveovima i sve u RAID 0. Sada cekam rezultate kako ide video reenkodiranje preko mreze s tim da su podaci na Thecusu.

primjer testa kopiranja sa servera na radnu stanicu vs kopiranja sa serverskog storagea na Thecus storage

Da, treba to sve staviti na papir i kalkulirati.
Imao sam davno sličan slučaj, stanice su bile direktno spojene na storage, brdo HDD-ova ispod i peri. To su specifični sličajevi gdje saturacija SSD-ova, igranje s cacheom i slično može postati problem.
Ja bi na tvom mjestu radije vidio nekakav storage s direktnom (npr. SAS vezom) sa stanicama, posebno kad su samo dvije.

Imam dva Thecus storagea koja bi mogao prenamjeniti za to koristenje privremeno, ali im ne vjerujem bas. Thecus je vise backup storage i ne vjerujem mu previse od prosle godine kad su u njima rikla total 25 diska u mjesec dana. Svi diskovi 4godine i oko 9-10mjeseci stari, taman 2 mjeseca prije isteka garancije - ali to je druga prica.

Za sada mislim da cemo ici na SSD Pro seriju diskova, BBU instalaciju u raid kontroler pa cemo nakon toga ici vidjeti za neki video scratch disk opciju(mrezni ili SAS). Rad preko mreze na Thecusu se za sada pokazao boljim i moze privremeno sluziti.