NAS DIY - samogradnja, oprema, operativni sustavi, pitanja,...

[jp_rv]

Autor wifi

pa sad, zna se nac maticnih koje su cijenom u rangu samih pci2sata adaptera, bar ako se gleda cijena po aliju za te adaptere...
inace, imam jedan m.2 na 6 sata s asm1166 ali ga eto cuvam... za usb-m.2-6sata diy box...

i da, jos jedan problem je upravo misto u kucistima...

i zato... cluster... jer bi moga imat po nekolicinu pc-a s par diskova...


... sto reci, imam problem... doista zavidim ljudima koji cili digitalni zivot imaju na jednom (ne backupiranom) usb sticku...

ja imam jednu ladicu punu 1TB diskova s kojima neznam šta ću. imam jedan (1) pc-nas sa 6 takvih diskova unutra ali nisam ga upalio x godina. presitno je.

[wifi]

Autor jp_rv

ja imam jednu ladicu punu 1TB diskova s kojima neznam šta ću. imam jedan (1) pc-nas sa 6 takvih diskova unutra ali nisam ga upalio x godina. presitno je.

tako nekako je i kod mene... cak i kad je nas u pitanju, u node 304 njih 6... za sve priko investiras u sata kartice ili hba, a tada je pametnije tu lovu potrosit na jedan/dva diska od 16+ tb...

zato sam i mislia uposlit stare maticne sa starim diskovima u jedan cluster sa zajednickim poolom.
i onda mi iskoci jedan yt video sa solidigm ssd od 112TB u jednom komadu... dva takva u raid1 spojit na mini pc sa 2x 10gbe i po novom 2x64gb ddr5 sodimm i eto ti bolesne makinje s hrpom prostora, hrpom rama i mizernom potrosnjom... jos ako je neki amd sa 16/32 core/thread, di ces bolje...

[segregator]

Autor wifi

tako nekako je i kod mene... cak i kad je nas u pitanju, u node 304 njih 6... za sve priko investiras u sata kartice ili hba, a tada je pametnije tu lovu potrosit na jedan/dva diska od 16+ tb...

zato sam i mislia uposlit stare maticne sa starim diskovima u jedan cluster sa zajednickim poolom.
i onda mi iskoci jedan yt video sa solidigm ssd od 112TB u jednom komadu... dva takva u raid1 spojit na mini pc sa 2x 10gbe i po novom 2x64gb ddr5 sodimm i eto ti bolesne makinje s hrpom prostora, hrpom rama i mizernom potrosnjom... jos ako je neki amd sa 16/32 core/thread, di ces bolje...

Zašto bi se gnjavio sa ta dva SSD-a kad možeš stavit jednu Kioxiu i imat veći kapacitet
Jedino moraš paziti da ne pišeš više od 48TB odjednom jer nakon toga uspori jer je QLC

[medo]

Prednost hrpe malih diskova je brzi rebuild.

Mana dva diska je mogučnost krepavanja drugog disk za vrijeme rebuilda.

Hrpu diskova (ako nisu SMR) staviš u ZFS RAID-Z3 polje i uživaj Tri diska mogu krepati, podaci će biti OK.

Ne bi išao na više računala.

[spiderhr]

ako se ima 2.5" diskova onda bi ovo u kućište stavio (naravno da ti treba 6 sata priključaka)

[wifi]

Autor segregator

Zašto bi se gnjavio sa ta dva SSD-a kad možeš stavit jednu Kioxiu i imat veći kapacitet
Jedino moraš paziti da ne pišeš više od 48TB odjednom jer nakon toga uspori jer je QLC

dva diska radi redundancije (RAID1)
ili bi ti virova stavit 100-200TB podataka na jednu kartu...

Autor medo

Prednost hrpe malih diskova je brzi rebuild.

Mana dva diska je mogučnost krepavanja drugog disk za vrijeme rebuilda.

Hrpu diskova (ako nisu SMR) staviš u ZFS RAID-Z3 polje i uživaj Tri diska mogu krepati, podaci će biti OK.

Ne bi išao na više računala.

z3 mi je na ionako male diskove veliki gubitak prostora... a ono sto bi islo na njih ionako mi moralo imat nekakav backup ili u konacnici nije bitno ako se izgubi...
samo bi volia nekako iskoristit te diskove, a da ne stoje bezveze...

meni nije problem broj racunala, u uvjetima gdje bi se koristili nije problem cak ni struja, medjutim postoji problem ako triba investirat neku ozbiljnu lovu u nekolicinu sata-pcie adatpera ili hba-ova jer tada math isn't mathing i bolje je lovu ulozit u jedan/dva veca diska...

Autor spiderhr

ako se ima 2.5" diskova onda bi ovo u kućište stavio (naravno da ti treba 6 sata priključaka)

sad pogledaj cijene tih ladica, i shvatit ces da mozes kupit jedan 2.5" od 5TB od wd ili seagate i problem rijesen... za cijenu te ladice...

[c-shadow]

Nije neka lova.
Ta 6x ladica sa slike je 50+€ na Aliju.
Adapter 6x pcie-sata ti je 20+ €.
U jednoj kanti takav 6x adapter radi već godinu i nešto s 6 diskova, 2x SATA SSD, + 4x HDD. Samo treba uzeti onaj pcie-sata s hladnjakom i točno tim chipsetom.
Najveći problem u cijeloj priči ti je u kakvo kućište ćeš staviti hrpicu diskova :-)

[wifi]

Autor c-shadow

Nije neka lova.
Ta 6x ladica sa slike je 50+€ na Aliju.
Adapter 6x pcie-sata ti je 20+ €.
U jednoj kanti takav 6x adapter radi već godinu i nešto s 6 diskova, 2x SATA SSD, + 4x HDD. Samo treba uzeti onaj pcie-sata s hladnjakom i točno tim chipsetom.
Najveći problem u cijeloj priči ti je u kakvo kućište ćeš staviti hrpicu diskova :-)

dakle, 70e da bi ima 6tb 2.5" diskova, i to pod uvjetom da ih vec imam negdi... ako ih nemam, ispod 10e nebi prosa, dakle, 130e... ili uzmes eksterni 2.5 usb za tu cijenu...
50€ za te ladice je precjenjeno...

sto se tice "kucista"... njega ne mora nuzno ni bit... kad smo na poslu bacali stara kucista, onda sam poskida iz njih sve limove za hdd... tako da imam dva takva cage-a koji primaju barem 6 komada diskova svaki... ako bas nadjem neko kuciste koje je prazno, moga bi pop-zakovicama iste unutra ucvrstit... bice ovo pravi franken-build ako se odlucim na neki nacin sve te ludosti pospojit...

upravo mi je palo napamet da postoji rjesenje koje bi bilo jednako frankenstein po pitanju kako vise racunala spojit u jedan pool...
truenas omogucava da se putem mreze i iscsi-a sustavu pool prikaze kao fizicki disk. teoretski mogu imat vise truenas sustava, koji bi se onda glavnom prikazali kao pojedinacni diskovi i onda ih iskoristit za jedan master pool. pretpostavljam da bi sve skupa bilo jako limitirano brzinom mreznih kartica, ali bi prijavilo taj ukupni kapacitet...
npr. tri node-a, 5+1(z1) svaki, i onda ukupno 15TB s redundancijom na 3 pca i 18 diskova...

[c-shadow]

Ovisi kakve stare diskove imaš viška, znaš i sam da to što planiraš nije neko super pouzdano rješenje. Ak su po 1TB ja se ne bih zafrkavao. Previše posla za tako mali kapacitet i još diskovi koji su tko zna što prošli
Provrti malo smart full test i par žešćih (npr. badblocks r/w) pa vidi koliko će ih preživiti prije nego kreneš dalje

[medo]

Autor wifi

dakle, 70e da bi ima 6tb 2.5" diskova, i to pod uvjetom da ih vec imam negdi... ako ih nemam, ispod 10e nebi prosa, dakle, 130e... ili uzmes eksterni 2.5 usb za tu cijenu...
50€ za te ladice je precjenjeno...

sto se tice "kucista"... njega ne mora nuzno ni bit... kad smo na poslu bacali stara kucista, onda sam poskida iz njih sve limove za hdd... tako da imam dva takva cage-a koji primaju barem 6 komada diskova svaki... ako bas nadjem neko kuciste koje je prazno, moga bi pop-zakovicama iste unutra ucvrstit... bice ovo pravi franken-build ako se odlucim na neki nacin sve te ludosti pospojit...

upravo mi je palo napamet da postoji rjesenje koje bi bilo jednako frankenstein po pitanju kako vise racunala spojit u jedan pool...
truenas omogucava da se putem mreze i iscsi-a sustavu pool prikaze kao fizicki disk. teoretski mogu imat vise truenas sustava, koji bi se onda glavnom prikazali kao pojedinacni diskovi i onda ih iskoristit za jedan master pool. pretpostavljam da bi sve skupa bilo jako limitirano brzinom mreznih kartica, ali bi prijavilo taj ukupni kapacitet...
npr. tri node-a, 5+1(z1) svaki, i onda ukupno 15TB s redundancijom na 3 pca i 18 diskova...

I onda jedan od nodeova krepa iz milijun razloga pa ti se objesi cijeli “master pool”

Ti bi se igrao a ne znaš čega 5TB eksterni 2.5” disk je spor arhivski SMR koji kad krepa doviđenja podaci. Znam jer ga imam, krepao još nije

Osim toga koliko bi ti platio šest ladica? Danas će u njima biti hrpa mali diskova, sutra će to biti 6x4TB SSD… sretno s traženjem SATA ladica kada SATA bude odavno zaboravljen a ti na isti način dođeš do takvih SSDova

[marko_st]

Ciganski pristup/hardware trazi ista takva rjesenja. Tako da po-ma-lo sa ozbiljnim/smislenim prijelozima...
I ja bi fiat punto ide 2sec do 100, da ne trosi puno, bude pouzdan,svaki Meho da ga popravi sa nekim polovnim djelovima iz svoje arhive. Ostalo je preskupo!

Poslano sa mog RMX2170 koristeći Tapatalk

[wifi]

Autor c-shadow

Ovisi kakve stare diskove imaš viška, znaš i sam da to što planiraš nije neko super pouzdano rješenje. Ak su po 1TB ja se ne bih zafrkavao. Previše posla za tako mali kapacitet i još diskovi koji su tko zna što prošli
Provrti malo smart full test i par žešćih (npr. badblocks r/w) pa vidi koliko će ih preživiti prije nego kreneš dalje

svjestan sam toga... ovo je doslovce low cost rjesenje iz zaj..cije koje sigurno NIJE primarni storage za podatke.
sve diskove, pa i nove provrtim kroz badblocks. neke reklamacije sam ima upravo na taj mot, doslovce 2-3 dana nakon kupovine. prilozia screenshotove, pogovora nije bilo...
realno, cak i to ne znaci puno, jer od hrpe seagate koje sam dosad vec provrtia (isto 1TB) masa njih je krepala i prozujala upravo zato jer su poceli radit 24/7, a za to nisu bili namjenjeni.

Autor medo

I onda jedan od nodeova krepa iz milijun razloga pa ti se objesi cijeli “master pool”

Ti bi se igrao a ne znaš čega 5TB eksterni 2.5” disk je spor arhivski SMR koji kad krepa doviđenja podaci. Znam jer ga imam, krepao još nije

Osim toga koliko bi ti platio šest ladica? Danas će u njima biti hrpa mali diskova, sutra će to biti 6x4TB SSD… sretno s traženjem SATA ladica kada SATA bude odavno zaboravljen a ti na isti način dođeš do takvih SSDova

pa ako teoretski krepa jedan od nodeova, samo njega dignit iznova na drugom hardveru i sve je opet back and running... nije neka drama dok god svaki od nodeova ima svoju minimalnu redundanciju...

danas su i 1TB od 2.5" SMR.
i da bude jasno, nisi falia, ovo je igra kako najbolje iskoristit hrpu, u danasnje vrime, prakticki neiskoristivih diskova... i zato je name of the game, sto manje investirat i sto vise iskoristit postojece resurse...

a nakon nekog vrimena hoce li ti bit bitno sto je sata postojala? koliko floppyja danas koristis? koliko dvd-a? dok god je maticnih, dok god imas zalihu sata kabela, moces spojit disk, prebacit ako ima sta podataka s njega, i prec na nove generacije tehnologija...

Autor marko_st

Ciganski pristup/hardware trazi ista takva rjesenja. Tako da po-ma-lo sa ozbiljnim/smislenim prijelozima...
I ja bi fiat punto ide 2sec do 100, da ne trosi puno, bude pouzdan,svaki Meho da ga popravi sa nekim polovnim djelovima iz svoje arhive. Ostalo je preskupo!

u ovom slucaju ciganski pristup doista je jedina prava stvar... ne isplati se ulagat u hrpu dodatnog hardvera samo da bi ovaj (i dalje) nepouzdani hardver upogonia... kad je bal, nek je maskenbal, i ako sutra takav setup krepa, nitko nece pustit suzu za njim ni onim sto je bilo na njemu... a ono sto prezivi, OPET ce moc bit single drive-ovi...


i zato... cluster postojeceg hardware-a je ono sto ce ic u testiranje za prvu ruku...

[Nikky]

Tužno al istinito, većina tih 1TB (i manji) ako nisu načeti (badblock / badsectors) će preživit još štošta,
veći i noviji puno brže / lakše idu uprdec.

[c-shadow]

Ma kakvi clusteri...
Svojedobno sam dobio desetak vanjskih USB-SATA kućišta s 1-2 TB diskovima koji su služili za backup, neki sa samo par radnih sati, mix HDD i SSD. Bilo šteta za baciti pa je složen jedan takav projektić koji je u međuvremenu rasformiran, ali radio je čisto ok, čak sam i OMV digao gore da bude klik-klik sučelje
3D print 6x2.5" u 5.25" slot
Dolje case ima standardno 4x3.5, tu su isto isprintani 2x2.5" u 3.5" adapteri.
Naprijed 2x P12 PWM +1 otraga, ali je nešto slabo vuklo pa se nabrzinu napravila rupa ubodnom pilom i mrežica za prašinu
Da ovim mališanima ne bi bilo dosadno, gore i dolje su bili po jedan 3.5" WD Red.
Nemam sve fotke jer nije više u pogonu, hw se mijenjao s AMD na intela, ali ukupno 6 diskova na adapteru je bilo + 6 na MBO konektorima. Boot s m.2 nvme.
To je bilo onako budget rješenje od ostataka hardvera doma - mATX ploča i ne preveliko kućište.

Onako odoka, u taj case bi išlo 10x 3.5" SATA sigurno s još jednim kavezom naprijed.
Samo se moliš poslije da ne crkne neki disk jer ima posla za to raskopati

[medo]

Autor wifi

pa ako teoretski krepa jedan od nodeova, samo njega dignit iznova na drugom hardveru i sve je opet back and running... nije neka drama dok god svaki od nodeova ima svoju minimalnu redundanciju...

danas su i 1TB od 2.5" SMR.
i da bude jasno, nisi falia, ovo je igra kako najbolje iskoristit hrpu, u danasnje vrime, prakticki neiskoristivih diskova... i zato je name of the game, sto manje investirat i sto vise iskoristit postojece resurse...

Nisi me shvatio. Ako imaš više iSCSI LUN-ova i od njih napraviš neko RAID polje onda cijelo polje staje ukoliko samo jedan LUN zašteka. Ako nešto ovisi o tom polju onda ti može cijeli NFS ili SMB stati i smrznut se ako si nešto exportirao/shareao s toga.

A kada ponovno digneš node morat ćeš rebuildati cijelo polje jer će biti u degraded stanju. I tako svaki puta kada neki node zašteka. Ako mene pitaš to je jako loša ideja.

Kupi ladicu sa 6 diskova

[wifi]

Autor medo

Nisi me shvatio. Ako imaš više iSCSI LUN-ova i od njih napraviš neko RAID polje onda cijelo polje staje ukoliko samo jedan LUN zašteka. Ako nešto ovisi o tom polju onda ti može cijeli NFS ili SMB stati i smrznut se ako si nešto exportirao/shareao s toga.

A kada ponovno digneš node morat ćeš rebuildati cijelo polje jer će biti u degraded stanju. I tako svaki puta kada neki node zašteka. Ako mene pitaš to je jako loša ideja.

Kupi ladicu sa 6 diskova

hoces rec da ce blesavi sustav doslovce sve srusit ako npr. nestane struje, i onda idem master upalit prije svih drugih nodeova? zar nebi triba skuzit trenutak kad je sve ponovo online i rec, ok, sad je sve spremno?
manji cirkus, raid0 s tri diska... ako imas npr. los kabel i sad odjednom jedan od diskova zeza... hoces rec da kad prominis kabel nece skuzit da je sad sve ok vec je bit jednokratno, ako ikad ima gresku sve pada u vodu???

[Night]

Zgodna stvar za montirati 6 diskova u malo prostora. Ima i verzija za manje i više :
https://www.aliexpress.com/item/1005008805745141.html

[medo]

Da, tako rade RAID polja. Zato serverski hardware ima malo ozbiljnije riješeno kabeliranje, kontrolere i sl. da se to ne događa.

Ako ti se to dogodi na RAID0 polju ode sve u krasan klinac.

Probaj panjavi kako je prošlo

[wifi]

Autor medo

Da, tako rade RAID polja. Zato serverski hardware ima malo ozbiljnije riješeno kabeliranje, kontrolere i sl. da se to ne događa.

Ako ti se to dogodi na RAID0 polju ode sve u krasan klinac.

Probaj panjavi kako je prošlo

don't mind if I do

sad cu definitivno provat moze li se polje spasit ako se naknadno pojavi nedostajuci dio raid polja....

[medo]

Ako nije RAID0 polje onda se može ali ne gine ti rebuild.

[Night]

Moja iskustva sa Linuxovim mdadm i hardverskim LSI/Avago/Broadcom RAID karticama su da ako nešto ispadne iz RAID polja pa se vrati mora ići cijela rebuild procedura, što je i logično, ako imaš neki AWOL disk nemaš mu razloga vjerovati da je ispravan i konzistentan kad se vrati.
Također, ispad dijela RAID polja je po defaultu katastrofalan događaj i nije baš nešto što bi se trebalo tolerirati kao eto događa se.