Pomoc!! riknulo 4 Tb podataka na NAS-u

[rooster]

Nadam se da mi netko moze pomoci.
Imam Freenas media server u kojem sam slozio 3 WD Caviar Green 2Tb HDD u ZFS Raid5 pool

Prije dva dana, Freenas mi je javio da je status Poola Degraded i odlucio sam zamjeniti jedan od 3 HDD.

Medjutim, sada mi FreeNAS ne zeli uopce prepoznati Raidz Pool kao i dva od tri diska.

Zbog toga, ne mogu importirati pool s diskova i spasiti sve podatke koje imam.

Ono sto mi se javlja na ova dva diska su READ DMA Errors na a4 i a6.
Mislio sam da je to zbog SATA kablova, ali nije.

Postoji li nekakava nacin da se HDD ustabile i chekiraju te prepoznaju od FREENas-a i da nekako spasim podatke?

[Sinac]

Jesi ubacivanjem novog diska imao opciju REBUILD RAID ili nešto slično?

Meni su se ljudi smijali kada sam im tumačio da je RAID nepouzdan, upravo zbog ovakvih stvari, imao i ja defekt dvaput a oba puta su bila samo dva diska u mirroringu i ispala zafrkancija, RAID repair je napravio rebuild stanja koje je kasnilo tjedan dana za pravim stanjem, ni jedan dokument nisam uspio spasiti koji je napravljen u tih tjedan dana. Sada stavljam dodatni disk i program za backup napravi copy/paste sa jednog diska na drugi. Najpouzdanija metoda koliko god primitivna bila.

[rooster]

Problem je sto sam sve diskove odspojio, jer mi se server stalno resetirao.

Sad kada ih spajam imam DMA Read errrors i ne kuzi mi dva HDD od tri koliko ih je u poolu.
Pretpostavljam da ih spajam na krive SATA portove (na one na koje nisu bili prvotno spajani)

Ne mogu zamjeniti HDD novim, jer ih ne mogu dobiti sva tri Online i da je Pool prepoznat. Kad pokusavam importirati Zpool javlja DMA read errors

Imas kakav savjet?

[perich]

Autor Sinac

Jesi ubacivanjem novog diska imao opciju REBUILD RAID ili nešto slično?

Meni su se ljudi smijali kada sam im tumačio da je RAID nepouzdan, upravo zbog ovakvih stvari, imao i ja defekt dvaput a oba puta su bila samo dva diska u mirroringu i ispala zafrkancija, RAID repair je napravio rebuild stanja koje je kasnilo tjedan dana za pravim stanjem, ni jedan dokument nisam uspio spasiti koji je napravljen u tih tjedan dana. Sada stavljam dodatni disk i program za backup napravi copy/paste sa jednog diska na drugi. Najpouzdanija metoda koliko god primitivna bila.

tebi onda nesto nije bilo konfigurirano kako treba meni se cini... cudno mi je da se mirror radi s tjedan dana zakasnjenja, obicno je to sve u real timeu...

A sto se tice sigurnosti, ne bi se bas slozio s tim da je RAID nesiguran... jasno, ti si svoje misljenje temeljio na osobnom iskustvu... Ja sam slagao hrpu polja dosad, cak i restorao na drugim plocama i sve uvijek proslo ok...

Jedino, Stripe je nesigurniji od mirrora... Ali njegov gore, RAID5 bi trebao biti OK.

[Old Iggy]

Autor rooster

Nadam se da mi netko moze pomoci.
Imam Freenas media server u kojem sam slozio 3 WD Caviar Green 2Tb HDD u ZFS Raid5 pool

ZFS RAID5 pool?
Ili RAID5 sa ZFS-om gore?

Autor rooster

Prije dva dana, Freenas mi je javio da je status Poola Degraded i odlucio sam zamjeniti jedan od 3 HDD.

Medjutim, sada mi FreeNAS ne zeli uopce prepoznati Raidz Pool kao i dva od tri diska.

Zbog toga, ne mogu importirati pool s diskova i spasiti sve podatke koje imam.

Ono sto mi se javlja na ova dva diska su READ DMA Errors na a4 i a6.
Mislio sam da je to zbog SATA kablova, ali nije.

Postoji li nekakava nacin da se HDD ustabile i chekiraju te prepoznaju od FREENas-a i da nekako spasim podatke?

Imaš li neke opcije tipa "force online disk" ili nešto slično?

Autor Sinac

Jesi ubacivanjem novog diska imao opciju REBUILD RAID ili nešto slično?

Meni su se ljudi smijali kada sam im tumačio da je RAID nepouzdan, upravo zbog ovakvih stvari, imao i ja defekt dvaput a oba puta su bila samo dva diska u mirroringu i ispala zafrkancija, RAID repair je napravio rebuild stanja koje je kasnilo tjedan dana za pravim stanjem, ni jedan dokument nisam uspio spasiti koji je napravljen u tih tjedan dana. Sada stavljam dodatni disk i program za backup napravi copy/paste sa jednog diska na drugi. Najpouzdanija metoda koliko god primitivna bila.

RAID je daleko od nepouzdanosti, problem ovdje što je išao s RAID5, što je daleko od preporučene opcije s tako velikim diskovima.
Ovo po tvom opisu uopće nije u RAID-u.

Autor rooster

Problem je sto sam sve diskove odspojio, jer mi se server stalno resetirao.

Sad kada ih spajam imam DMA Read errrors i ne kuzi mi dva HDD od tri koliko ih je u poolu.
Pretpostavljam da ih spajam na krive SATA portove (na one na koje nisu bili prvotno spajani)

Ne mogu zamjeniti HDD novim, jer ih ne mogu dobiti sva tri Online i da je Pool prepoznat. Kad pokusavam importirati Zpool javlja DMA read errors

Imas kakav savjet?

Realno, samo restore s backupa.

Autor perich

tebi onda nesto nije bilo konfigurirano kako treba meni se cini... cudno mi je da se mirror radi s tjedan dana zakasnjenja, obicno je to sve u real timeu...

Ovo definitivno. Nešto je jako krivo tu.

Autor perich

A sto se tice sigurnosti, ne bi se bas slozio s tim da je RAID nesiguran... jasno, ti si svoje misljenje temeljio na osobnom iskustvu... Ja sam slagao hrpu polja dosad, cak i restorao na drugim plocama i sve uvijek proslo ok...

Jedino, Stripe je nesigurniji od mirrora... Ali njegov gore, RAID5 bi trebao biti OK.

RAID5 za ovo opisano nikako. RAID6 isključivo.

[rooster]

ZFS Raid5 Pool

Dakle tri HDD spojena u jedan, bez backupiranja.
Od 6 Tb raposlozivo je 2 Tb s tim da ako jedan disk rikne, mogu ga zamjeniti i nastaviti s radom.

Bar sam tako mislio. Sad kad je jedan otisao, raspad sistema.
Sam sam si kriv kad nisam napravio obicni mirroring.

Najvise me muci sto imam DMA read errors. Dali se radi o tome da diskovi moraju biti spojeni na isti nacin kao i prije ili je stvar ozbiljnija?

Ne vjerujem da su mi dva diska ostecena.

[Old Iggy]

To je kao onaj raidz?
Kod RAID5 najveći problem su veliki diskovi. Većina storage vendora ne preporučuje kreiranje RAID5 polja s velikim diskovima (maksimalno preporučeni diskovi su 300 do 500 GB) upravo radi read errora. Problem je što, ukoliko nemaš stalni read / parity check uključen na polju (što obično ovakvi sustavi nemaju, pravi RAID kontroleri to mogu) te read errore vidiš tek kad dođe do kvara jednog diska, a onda nema povratka nazad, što se izgleda dogodilo kod tebe (nisi prvi, nažalost).
Kako moraju biti spojeni diskovi u konkretnom primjeru teško je reći, kako OS, ZFS i sam kontroler trebaju adresno vidjeti diskove ne bih znao.

Edit: backup je uvijek obavezan ako su imalo bitni podaci gore, RAID tome ne služi.

[Sinac]

Ne, bilo je sve OK definirano. Pretpostavljam da je od izbijanja greške do njenog manifestiranja prošlo tih tjedan dana. Jedino je glupo da je mirror na jednom disku ostao sa tjedan dana kašnjenja a ljudi su tjedan dana normalno radili sa dokumentima koje su taj dan ili prethodni dan-dva kreirali...

[rooster]

Autor Old Iggy

To je kao onaj raidz?
Kod RAID5 najveći problem su veliki diskovi. Većina storage vendora ne preporučuje kreiranje RAID5 polja s velikim diskovima (maksimalno preporučeni diskovi su 300 do 500 GB) upravo radi read errora. Problem je što, ukoliko nemaš stalni read / parity check uključen na polju (što obično ovakvi sustavi nemaju, pravi RAID kontroleri to mogu) te read errore vidiš tek kad dođe do kvara jednog diska, a onda nema povratka nazad, što se izgleda dogodilo kod tebe (nisi prvi, nažalost).
Kako moraju biti spojeni diskovi u konkretnom primjeru teško je reći, kako OS, ZFS i sam kontroler trebaju adresno vidjeti diskove ne bih znao.

Edit: backup je uvijek obavezan ako su imalo bitni podaci gore, RAID tome ne služi.

Sad za drugi put, jel onda za Media Server bolje rjesenje Windows 7x64, s 4 diska i redovnim backupiranjem? Dakle s 8Tb bi bilo opet 4Tb slobodnog prostora?

Ili neko drugo rjesenje? Koji file format koristiti? ako ce se sadrzaj djeliti putem sambe, a potrebno je i omoguciti velike datoteke, preko 4 Gb?

[Old Iggy]

Autor Sinac

Ne, bilo je sve OK definirano. Pretpostavljam da je od izbijanja greške do njenog manifestiranja prošlo tih tjedan dana. Jedino je glupo da je mirror na jednom disku ostao sa tjedan dana kašnjenja a ljudi su tjedan dana normalno radili sa dokumentima koje su taj dan ili prethodni dan-dva kreirali...

Ne znam s čim si radio, ali to nema veze s RAID1 (mirror) poljem.
Tu nema nikakve mogućnosti postojanja različitih blokova na dva diska. Ili su blokovi u bit isti, ili si u async/failed stanju.

Autor rooster

Sad za drugi put, jel onda za Media Server bolje rjesenje Windows 7x64, s 4 diska i redovnim backupiranjem? Dakle s 8Tb bi bilo opet 4Tb slobodnog prostora?

Ili neko drugo rjesenje? Koji file format koristiti? ako ce se sadrzaj djeliti putem sambe, a potrebno je i omoguciti velike datoteke, preko 4 Gb?

Po meni je za običnog korisnika bolji non-RAID setup s backupom nego RAID bez backupa. To je i brži i jednostavniji pristup.
S 4 x 2 TB diska bi išao ili na RAID6 ili bez RAID-a (ili RAID0) s backupom.
Svaki FS podržava takve datoteke, osim FAT-a (koji je ionako zastario).

[Sinac]

Gigabyte AM2 matična ploča sa Nvidia chipsetom, onboard RAID sa Nvidia RAID toolom. RAID definiran kao mirror. Javili se korisnici, imaju problem, ne mogu otvoriti neke dokumente, dođem, vidim da RAID tool pokazuje grešku, u roku od 2 sata nabavim novi disk (identičan starom), zamjenim i tada je počelo veselje. Rebuilding trajao jedno 3 sata i dobio podatke u kojima je falilo zadnjih tjedan dana rada.
Kako, zašto i tko s kime, ne znam ni sam. Nisam jedini kome je RAID riknuo i da je imao problema sa rebuildom. Još su mi se javila dvojica kolega koji su imali takva iskustva, sve složeno u RAID, nešto krepucne i odu podaci.

[Old Iggy]

A gle, za takve stvari treba ipak imati nešto ozbiljnije.
A ovo za zadnjih tjedan dana - sumnjam da ima veze sa samim RAID-om. To bi trebao vidjeti.
Što se samog RAID-a tiče, to je daleko najdostupniji diskovni sustav, no dosta je ovisan o implementaciji. Ne koštaju neki par eura, a neki par milijuna eura.

[Jaye]

Autor Old Iggy

To je kao onaj raidz?
Kod RAID5 najveći problem su veliki diskovi. Većina storage vendora ne preporučuje kreiranje RAID5 polja s velikim diskovima (maksimalno preporučeni diskovi su 300 do 500 GB) upravo radi read errora. Problem je što, ukoliko nemaš stalni read / parity check uključen na polju (što obično ovakvi sustavi nemaju, pravi RAID kontroleri to mogu) te read errore vidiš tek kad dođe do kvara jednog diska, a onda nema povratka nazad, što se izgleda dogodilo kod tebe (nisi prvi, nažalost).
Kako moraju biti spojeni diskovi u konkretnom primjeru teško je reći, kako OS, ZFS i sam kontroler trebaju adresno vidjeti diskove ne bih znao.

Edit: backup je uvijek obavezan ako su imalo bitni podaci gore, RAID tome ne služi.

Je li sigurno imati u nekom OEM NAS-u (tipa Synology) 3(+)x 2(+)TB diskove u RAID5 polju (tako da se može bez gubitka podataka zamijeniti jedan disk ako rikne), da ne dolazi do ovih gluposti ili je bolje puknuti sve onda u RAID0, pa raditi backup?

Mislim, jasno, zgodnija i jeftinija je prva opcija, ali je li dovoljna?

[Old Iggy]

Da ponovim, jedna nazovimo opća preporuka (ako govorimo o ozbiljnim proizvođačima kao što su IBM i EMC) je da diskove veće od 300 - 500 GB ne slažeš u RAID5 nego RAID6, RAID5 generalno u općim okruženjima s velikim diskovima ima taj potencijalni problem pojave read errora pri rebuildu pri čemu cijelo polje pada.
S druge strane, backup je uvijek bitan, ako se radi o bitnim podacima. Kako ćeš složiti polja ovisi primarno o načinu rada: RAID povećava availability (dostupnost polja, besprekidni rad, osim RAID0), ali nije backup.

[Jaye]

Mislio sam da su ove OEM stvarčice nešto bolje po pitanju RAID-a. Vidim da sada noviji i napredniji modeli imaju i RAID6 mogućnost.

Znam da RAID nije backup, zato za važne stvari imam backup uvijek na 3-4 mjesta (2-3 diska, ext disk, dvd-ram), ali čisto za neke stvari koje nisu toliko važne, a opet ne želiš ih bezveze izgubit ako disk rikne...

[Old Iggy]

Tu je onda samo pitanje price/performance omjera. Tj. prijedlog je RAID6, ali je i skuplji (i skuplji kontroler i dodatni disk za isti kapacitet), kao i što su performanse (posebno u zapisima) nešto lošije (odokativno 10 do 15%).

Ovaj slučaj s raspadom RAID5 polja sam čuo već četiri - pet puta. Relativno je rijetko, ali nije se za igrati, ako su podaci bitni.

[rooster]

Na kraju ispadne da mi je externi HDD od 1Tb stabilniji od raid5.
Mogao sam odmah imati 4 diska i backup.

[Old Iggy]

Dosta je ovisno o situaciji, ne može se baš generalizirati.
Ali da, prođu me trnci kad čujem za takve setupe, posebno u poslovnim okruženjima.

[rooster]

Za sada se cini da mi je otisao SATA kontroler na ploci.
Kako je ploca bila starija, imao sam dva SATA prikljucka koji mi ne prepoznaju diskove.
Imam takodjer i jedan kontroler preko PCI-a, i kada na njega priklucim diskove sve je u redu.
Otici cu uzeti jos jedan PCI, a onda kopiranje i spremanje podataka...

[segregator]

Autor rooster

ZFS Raid5 Pool

Dakle tri HDD spojena u jedan, bez backupiranja.
Od 6 Tb raposlozivo je 2 Tb s tim da ako jedan disk rikne, mogu ga zamjeniti i nastaviti s radom.

Bar sam tako mislio. Sad kad je jedan otisao, raspad sistema.
Sam sam si kriv kad nisam napravio obicni mirroring.

Najvise me muci sto imam DMA read errors. Dali se radi o tome da diskovi moraju biti spojeni na isti nacin kao i prije ili je stvar ozbiljnija?

Ne vjerujem da su mi dva diska ostecena.

Što ne bi trebalo biti raspoloživo 4TB?
Da li je konfigurirano kroz hardware RAID ili software kroz Freenas (tj kako su ti diskovi postavljeni u BIOS-u)?

[rooster]

imas pravo 4Tb, tipfeler
konfigurirano kroz Freenas

[segregator]

Koja ploča?
Btw, apsolutno je neophodno kod izrade ovakvih setupa označiti kablovinje
i diskove tako da se kod ponovnog spajanja ili recimo čak izmjene matične ploče,
sve ponovo spoji kako je bilo i u originalnom setupu
Ja trenutno imam 4 Samsunga od 2TB u Raid5 na Freenas 7, sve OK, nadam
se da će tako i ostati

[rooster]

jucer sam uspio povezati dva diska preko sata kartice i jedan preko ploce.
Raid je bio online nekih pola sata, kada mi se server resetirao, a jedan disk vise nije bio online.
Nadam se da ce dodatni sata kontroler povecati stabilnost da iskopiram podatke na sigurno

[D1viry]

Da se malo ubacim u temu sa dva pitanja:

Jel i raid 10 podložan greškama, kao raid 5? Doživio sam jedno rikavanje diska i repair je prošao bez problema. Jedino je sistem bio malo sporiji za vrijeme repair-a.

Što bi bilo, po vama, najbolje koristiti za kontent server? 5 ili 10 raid?

[Old Iggy]

Samo RAID6 je podložan double disk failureu. To jest, ne postoji opcija oporavka ukoliko dva diska izgube podatak (bilo crknuo cijeli disk, bilo jedan bad sector).
RAID 10 može izdržati kvar više diskova, ali samo ako nisu u istom mirroru.

Odabir polja ovisi primarno o opterećenju i potrebama.

[segregator]

Meni Raid 5 izgleda kao OK opcija za kućnu upotrebu, Raid6 možda ako se radi o više od 5 diskova

Ali kao što reče Iggy, svaki je slučaj za sebe, i svako mora procijeniti za sebe
koliko sigurnosti/brzine treba i za koju cijenu

[Old Iggy]

Autor Old Iggy

Samo RAID6 je podložan double disk failureu.

Isprika svima, htio sam reći "samo RAID6 može izdržati double disk failure".

[Bubba]

Autor Old Iggy

Isprika svima, htio sam reći "samo RAID6 može izdržati double disk failure".

Eh sta su ti godine...

[Old Iggy]

Autor Bubba

Eh sta su ti godine...

Samo ti pr**j.

[Nikky]

Ne sekiraj se Iggy, uz malo sreće i dišpeta budu dječica došla u godine pa će sve češće bit nešto od ovoga