Ukratko o RAID-u i poljima, osnovna pitanja te prednosti i nedostaci

[LAcy]

Autor calypso

Osim RAID1 slozi i backup za taj softver... To pitaj prodavaca softvera ako ce ti sloziti... RAID1 ce te spasiti od problema sa diskom, no ako naletis na ransomware ili pobrises fajl ili neki unos u tom softveru, onda si nadrapao bez backupa...

Upravo to, RAID nije backup nego redundancy

Sent from my motorola edge plus (2022) using Tapatalk

[radi.neradi]

Radim plan za slaganje 340 TB storage-a za kućnu upotrebu, kasnije sa mogućnosti nadogradnje na 550 TB. Čini mi se da bi Supermicro 6049P-E1CR36L kućište bilo dobar izbor sa HBA kontrolerom, a koristio bih RAIDZ3 i 22 TB WD Gold diskove. Podaci će se prvo zapisivati, a kasnije pretežno čitati. Nakon zapisivanja na HDD bih pisao i na trake za dugotrajnost. Brzina čitanja nije od velike važnosti. Cijena nije problem.

Obzirom da nikada nisam slagao ovakav setup, molim komentar ili preporuku. Preporuča li netko da radije idem na hardware RAID 60, i u tom slučaju koji filesystem?

[The Exiled]

Obzirom da cijena nije problem, provjeri 45Drives ponudu, tj. konkretno Storinator Q30 ili S45 model, jer nude točno kaj tražiš bez dodatne zajebancije.

[calypso]

Autor radi.neradi

Radim plan za slaganje 340 TB storage-a za kućnu upotrebu, kasnije sa mogućnosti nadogradnje na 550 TB. Čini mi se da bi Supermicro 6049P-E1CR36L kućište bilo dobar izbor sa HBA kontrolerom, a koristio bih RAIDZ3 i 22 TB WD Gold diskove. Podaci će se prvo zapisivati, a kasnije pretežno čitati. Nakon zapisivanja na HDD bih pisao i na trake za dugotrajnost. Brzina čitanja nije od velike važnosti. Cijena nije problem.

Obzirom da nikada nisam slagao ovakav setup, molim komentar ili preporuku. Preporuča li netko da radije idem na hardware RAID 60, i u tom slučaju koji filesystem?

Oprosti na upadu, ali storage sustavima se bavim 20 i kusur godina... Jel ti uopce znas u sto se upustas?

De objasni koji ce ti kuac 550TB? Pa to je pola petabajta!! Tu ne pricamo o kopiranju sa USB diskova ili skidanju torrenta... Za napunit 550TB moras imat vrlo ozbiljnu infrastrukturu pocevsi od 10GbE ili brze mreze, inace ces ga punit mjesecima...

Ozbiljan storage za pola petabajta kosta ne masu nego MASU, backup softver sa kojim ces backupirat pola petabajta kosta bogaocanijeistina, a i LTO9 ili LTO10 tape library nije bas najjeftniji komad hardvera, plus trebas trake koje isto nisu bas jeftine... Malo je to puno podataka da ih cuvas samo na jednoj masini, imas SPOF (single point of failure)... Tu ti nista ne znaci to sto imas RAID Z3 ili RAID Z70, tvoj problem je sto je to jedna masina koja kad prdne, onda sve pada u vodu... Dodatno, na jednu LTO10 30TB traku stane 75TB uz kompresiju 2.5:1... Da bi to zapisao, treba oko 20 sati pa ti racunaj kolko ce ti samo backupi trajati... Razmisli o VTL rjesenju...

Vec sad vidim da ce sva popratna oprema da bi to sve slozio, a koja nema veze sa tom masinom kostati puno vise nego sama masina koju si mislio uzeti...

Iskreno, da sam na tvoj mjestu, razmislio bih o slaganju Cepha i sve bih razbio na nekoliko manjih masina, prezentirao to sve ili kao NAS ili kao iSCSI volume (ovisno sto ti treba i za sta ti treba)... OK, tu ces trebati i neke ozbiljne komade mrezne opreme... I to je to, problem rijesen, nemas problema sa SPOFom... Jedino uzmi u obzir da za slaganje Cepha ces trebati 3x vise kapaciteta nego sto si inicijalno mislio, jer tako Ceph radi - isti objekt (podatak) se drzi na tri servera...

Jbg, reko si da lova nije problem...

[radi.neradi]

@calypso

Upravo ovakav odgovor sam trebao. Zahvaljujem se na korisnom komentaru.

Kad bih znao u što se točno upuštam po pitanju tehničke izvedbe, nebih pitao za pomoć. Najviše što sam slagao je 16 TB u RAID-10.

Inicijalno zapisivanje ide sa lokalnih diskova, koje imam mogućnost posuditi - a sadrže inicijalnih 340 TB podataka, nakon toga preostalih 210 TB se može povući preko mreže - i zato sam napisao mogućnost nadogradnje. Dijeljenje podataka ide preko mreže.

Obzirom da se razumijete u tematiku, poslat ću Vam privatnu poruku sa detaljima, nadam se da Vam to čini problem.

[medo]

Baratam s tom količinom podataka zadnjih pet godina. Calypso je rekao što treba za to.

Rekao bi samo da trake nisu skupe ali tape driveovi su bolesno skupi i vole krepat pa je dobro imati support za njih. Meni su krepala dva od tri u prve tri godine u jednom tabe libu te jedan drive u drugome. Tape libovi i robot za sada rade savršeno.

Ta količina podataka ti je na knap za recimo IBM TS4300 tape library koji prima 36 traka. Na svaku LTO8 traku stane 10.4TB podataka (70€). Računaj da trake nisu skroz pouzdane. Dogodi se tu i tamo read error kod verifikacije.

Half-height LTO8 zapisuje 270MB/s kontinuirano! Storage to mora moći izdržati. U protivnom imaš dva scenarija: shoe-shining trake ili fallback na 50MB/s pri čemu ti treba dva i pol dana za popuniti jednu traku.

Ja to backupiram upravo na LTO8. Nismo prešli na devetku jer neki koji jesu imali su problema s temperaturnim razlikama između pisanja i čitanja. Čini se da je gustoća zapisa na LTO9 toliko velika da razlika u temperaturi uzrokuje probleme s trackingom jer se traka malo rastegne ili skupi.

U datacentrima to uglavnom nije problem jer su temperatura i vlaga uklesane u kamen ali tamo gdje variraju….

[calypso]

Postoji jos i opcija VTL (virtual tape library)... U principu, jos jedan server sa diskovima, no ukoliko se ukljuci deduplikacija, postoji velika sansa da ce smanjiti footprint od tih 550TB drasticno, samo nemoj slike, video fajlove i mp3ice snimat... Od VTLa, imas FalconStor StorSafe, DEll-EMC Data Domain, StarWind VTL... Tu onda nema problema sa rastezanjem traka, pokvarenim tape loaderima i slicno, a i brzina pisanja/citanja je drasticno veca...

[Pupo]

Ajmo ispočetka, što ćeš gore pohranjivati? I koliko je ozbiljna ta priča oko toga?


Ako je to za kućnu verziju filmova i pornjave, onda ovo što su kolege navele je teški overkill. Apsolutno sve stoji što su ti zapisali, ali mislim da ti je to nepotrebno u ovom slučaju, ako je to taj slučaj.

[quazar912]

kao padobranac - na koji način recimo YouTube čuva kolekciju videa?

[calypso]

YT i slicni koriste object storage...

Sent from my ELE-L29 using Tapatalk

[Nick7]

Imas i drugu opciju - a to je pravi storage.
Posto kazes da performanse nisu toliko bitne, uzmi nesto poput Fujitsu DX200, naguraj NL-SAS diskove, puknes RAID6.
Za tvoju svrhu idealno.
Naravno, ima i drugih storage-a koji mogu to i bolje ponuditi, ovisno o parama. Vise para - bolje, brze.

Ako lova nije problem, postoje firme koje se bave time (radim u jednoj takvoj), i ovisno o zahtjevima ti se slozi HW i infrastruktura koja je potrebna, od storage-a do servera koji se na to biti okaceni, pa do samog backupa.