NAS Server, i koji OS

[ycancer]

Pozdrav grupi.
Imam nekoliko malih dilema. Htio bih upogoniti svoj stari pc, odnosno mini-ITX ploču od jednog malog tihog računala, spojiti na njega diskove, instalirati neki NAS OS i sve to naravno upogoniti. Trenutno već imam dva diska puna podataka i ne bih ih htio formatirati.
Od svih NAS OS-a, izbor je bio:
FreeNAS -navodno odličan, ali podržava samo ZFS. Moji diskovi su trenutno u ext3.
NAS4free -ista stvar kao i sa prethodnim. Niti jedan niti drugi ne rade savršeno sa ext3.
Openfiler
OpenMediaVault

E sad, ploča ima 4 sata utora u koja bih htio staviti 4 diska. I tu sad počinju moji upitnici i problemi

Htio bih onda instalirati NAS OS na USB i tako ga startati. Prema svim podacima, FreeNAS i Nas4free to rade bez problema, ali rečeno - morao bih formatirati diskove na ZFS i imam premalo rama i nije ECC. Prema njihovim uputama ECC je "highly recommended".
Openfiler i OpenMediaVault se mogu instalirati na USB, ali po njihovim forumima to ne preporučaju zbog nestabilnosti samog USB-a i činjenice da sam OS mora stalno "read/write" na sistemski disk. Time se skraćuje radni vijek USB-a.
Ako to i napravima, postoje različite informacije kako formatirati taj USB. Jedni tvrde 4 particije (system, boot, var i swap) i onda nešto kopirati preko CLI-a.
Drugi pak formatiraju cijeli USB kao jednu particiju pod izgovorom da swap particiju i još nešto prebace u RAMdisk.

Uglavnom - molim savjet i podijelite iskustva ako je netko slično napravio

[Facelessone]

Škicni ako ti odgovara Xpenology

[ycancer]

Hvala, jesam pogledao na kratko.
E sad, koliko sam uspio shvatiti, ni to nije to. To se ipak instalira na jednu particiju od HDD-a, a ne na USB flash.
MBO mi ima 4 sata porta, a ja namjeravm koristiti 4 HDD-a u punom opsegu (koliko je to moguće). Nemam mjesta za posebni hdd samo za sistem...

[Nikky]

A dodatni sata kontroler ?
Računaj da tada zna biti blema ako želiš boot sa hdd(ova) spojenih preko dodatnog kontrolera, a kad se os digne nema problema.

Rekao si da bi koristio 4 hdd, već imaš 2 već puna podataka.
Fino na 1. novom napravi više (potreban broj) particija, neka bude:
1 - boot + os (za koji se već odlučiš), 1 - 10 Gb (koliko već treba)
2 - Linux swap (isto koliko već treba)
3 - ostatak diska za data
Ovo možda nije "idealno" rješenje, ali je jedno od rješenja.

[aloalo]

FreeNAS podrzava i UFS koji je manje napredan i za starije konfiguracije.
Ali ZFS je moguće koristiti i bez ECC RAM-a, samo u tome slučaju ne možeš računati na self-healing i još neke napredne feature ZFSa.
Moj prijedlog bi bio FreeNAS na USB stick, kreirati pool sa 2 nova diska, kopirati podatke sa postojeća 2 i nakon toga ih formatirati i dodati postojećem poolu pri cemu imas pandan RAID10tki (brzina+sigurnost).
Openmediavault mislim da podržava ext3(4) ali nisam previše isprobavao, jednostavno mi FreeNAS predobro radi

[ycancer]

@ Nikky - to je naravno prva ideja koja padne na pamet, ali imam 4 diska i 4 kontrolera na ploči (mITX), i htio bih sva 4 koristiti u punom opsegu
@aloalo - to je zadnja opcija. No, ta dva nova diska su i nabavljena jer su ova dva krcata, pa mi RAID.... možda mi je jednostavnije JBOD. Znam, znam, backup i sve te stvari i upravo zbog toga mi FreeNAS nije prva opcija, jer ako se slučajno dogodi da mi ploča rikne ili nešto drugo, podatke ne mogu više tako jednostavno čitati u drugim sistemima.
Otud sam počeo gledati ostale varijante, ali zapeo, odnosno malo me trta oko bootanja. Mislio sam preko dodatnog SATA-controllera, ali sam isto tako pročitao da bootanje preko toga nije najsretnije rješenje

[Dac]

A USB-SATA kabel i neki malecki SSD za OS? Cca 3$ je kabel, brzina ionako nije nešto bitna.

Moram priznati da mi se Xpenology sviđa. Pribavio sam neki Atom 330 ITX i gledam kako i što dalje. Teoretski ovo sve https://www.synology.com/en-us/dsm/app_packages ide na njega?
Još ako nađem kakav, khm, neslužbeni Surveillance Station i sredim pošteni DLNA.... i na konju sam. Za mene jedan od bitnih nedostataka FreeNAS-a je što fali poštena surveillance komponenta. ZoneMinder je vrlo problematičan, koliko mogu iščitati.

[Nikky]

Pa i koristit ćeš taj 1. hdd sasvim normalno za data, čisto sumnjam da će "patit perfomanse" jer usput nešto pročita / zapiše na os particiji.
U krajnjoj liniji stavi dodatni kontroler (poželjno dobre kvalitete / chipseta) i na njega stavi jedan data hdd.

Imaš još jednu varijantu koja se na Linux - u da složiti samo je treba znati složiti, ne kažem da znam, samo navodim kao opciju,
štos je da os / sistem bude u ram disku,
boot procedura ide cca ovako: boot sa hdd > pokreće rutinu koja kreira ram disk i os kopira / raspakira na njega > starta os sa ram diska.
U toj varijanti "prvi" boot može biti i sa usb - a, samo tada više čekaš dok kopira u ram, kasnije sami os "leti".

[ycancer]

@Nikky - upravo to i mislim, i upravo ti čitam kao opciju i kod openfilera i opemediavaulta. Ima par tutoriala kako to složiti. Ono što mene brine jest kako formatirati taj usb, da li kao jednu particiju ili kao 4 particije? Svaki tutorial navodi svoje. Ako se na usb stavi sistem, var particija i swap, onda se na po usb-u prilično često čita/briše, a to skraćuje. Otud pitanje što grupa misli o tom pitanju..
Dodatni sata kontroler je isto opcija, samo nikad s tim nisam radio, pa ako netko ima iskustva kako to radi... Pogotovo neki mali SSD, samo što na ponudi više nema "maleckih"... (ni jeftinih).. to bi bio neki kompromis. Čak je na jednom forumu jedan preporučio direktno spojiti na usb-pinove na MBO (SSD mislim)
Mislim da ću onda probat prvo USB sa te 4 particije... a zatim možda uspijem nabaviti neki mini SSD

[Nikky]

Ajde ti prvo složi "klasiku", znači ovo da na 1. hdd na početku staviš boot + os i swap particiju + data particiju i na to instaliraj > probaj raditi.
Tek ako bude "štucalo" onda traži drugo rješenje.

[Dac]

Kako nema, 16GB SSD na eBayu je oko 20$

[ycancer]

Kako koji.... to naravno ne uključuje poštarinu

[ali_dzi]

Radi uskladjivanja terminologije moram napomenuti sljedece: NAS4Free je nekad (do verzije 0.8xx) bio FreeNas (temeljen na FreeBSD-u). Nakon toga, FreeNas preuzima druga firma i prebacuje ga na Linux, a NAS4Free nastavlja dalje s razvojem nekadasnjeg FreeNAS-a. Ja ga koristim vec 6-7 godina (NAS4Free) i iako nisam neki poznavatelj Linux/FreeBSD okoline, uspjesno se "borim" s njim.

Trenutno, cijela konfiguracija na masini klase "govno" (P4@3GHz, 6GB RAM) se podize sa SD kartice (256MB, poluispravna!), ima 5 x 250GB (starih, mijesano PATA/SATA) HDDa u jednom stripe ZFS poolu i 1x1000GB (noviji) HDD u drugom poolu. Instalacija NAS4Free (9.2.0.1) je u embeded obliku, radi najlakseg naknadnog updatea, iako ga vise ne updeatiram, posto je za nove verzije potreban veci boot disk (tj. veca SD kartica).

Kao mirror svega toga koristim slicnu masinu (1GB RAM), koja se sama upali nocu, odradi backup preko RSYNC-a i ugasi. Sve ovo radi SAVRSENO vec duzi period (otkako sam napravio zadnji update prije cca godinu dana). Imam dignut OWNCLOUD server, WEB server, SSH za daljinski pristup, FTP, a mnoge dodatne servise uopce ne koristim.

Stoga ga toplo preporucujem, jer sam nekad davno probavao sve i svasta od tih besplatnih NAS rjesenja i jedino se FreeNAS(NAS4Free) od pocetka "zakacio" za mene.

Koji god NAS izabrao, moj prijedlog je da za bootanje koristis USB stick ili SD karticu ako imas citac, uglavnom ono sto vec imas, a ne treba ti, tako da ne otimas HDD za bootanje (glupo i bezveze - trosi prostor, a najgore sto bespotrebno zauzima jedan pata/sata port). Prije toga, probaj na virtualnoj masini sto ti najbolje odgovara - NAS4Free radi na virtualkama bez problema i ja se tu igram "malih istrazivaca". Ne znam moze li NAS4Free progutati tvoje ext4 particije (treba pogledati u manualu), ali cini mi se da guta svasta - ja sam u startu koristio UFS, sada ZPOOL. Sve to covjek zaboravi nakon nekog vremena, jer masina radi 24/7 i jednostavno nemas potrebe pamtiti stvari koje si davno odradio, a ne "kvare se".

EDIT:
Glede ZFS-a i NON-ECC RAM-a, procitaj par postova ovdje (http://forums.nas4free.org/viewtopic.php?f=57&t=8726), posebno zanimljiv je zadnji (by CummingsSM » 17 Apr 2015 10:07)

[ycancer]

Pa da se konačno i javim sa iskukstvima... u svim slučajevima nisu pozitivna...

Prvo probao Openfiler.. nije uspjlea instalacija
Pa probao OMV novu verziju, nije nije uspjela instalacija
probao omv staru verziju- instalacija uspjela, ali sam nešto krivo na početku stisnuo, pa nisam uspio instalirati plluginove kako treba, pa sam morao brisati
Nas4free jedini od prve instalacija kako treba, bez problema... Rekoh, odlično, imam rezervu koja radi.
Ali mi vrag nije dao mira, a i imao sam viškra vremena, pa sa probao opet
Openfiler ovaj put instalacija od prve, bez greške... ja sav sretan, kad ono ne mogu nikako dobro pokrenuti niti transmission niti ikoji bit-torrent
OMV je vaj put uspio uredna instalacija, čak sam slijedio upute za instalaciju pluginova, i sve prošlo kako treba, no zapravo je došlo do neke pogreške prilikom instalacije, jer nije dobro instalirao grub loader. Odosno bootao je preko instalacijskog usb-a, i uredno je pokrenuo OMV a ne instalaciju... ONda pokušao nekako popraviti grub loader i završio bez ijednog bootabilnog usb-a
Onda se vratio Nas4Free. Pokrenem, namjestim sve postavke i krenem priključivati diskove. Prvo jedan drugi, probe radi. Taj je naravno izvađen od Windowsa, formatiran je kao NTFS, ali idem probati.
I zašto bi bilo jednostavno...prepoznaje disk, ali ga ne mogu mountati. Sve moguće opcije (osim formatiranja, jer su na tom disku neki podaci), ali jednostavno NAS4Free ne želi uključiti taj disk...

EDIT: Sad sam veseo. Ispada da postoji cli naredba za rekonfiguriranje GRUB loader-a. Koja radi. I radi OMV instalacija.

[riceburner]

a zasto ne stavis neku stariju verziju freenas-a? cemu ova najnovija?

[ycancer]

FreeNas nikad nije bio u igri, samo NAS4Free

[riceburner]

pa svejedno te pitam, zasto neces neki prastari freenas i boli te briga...

[ycancer]

Nekako mislim da sa novijom verzijom starije poteškoće budu ispravljene...

[ycancer]

@ali_dzi, pitanje jedno.
Ako sam dobro pročitao razne tutoriale, kad bih ja htio napraviti raid5 odnosno raid z u nas4free, jednom kad se napravi, poslije se ne može dodavati? Imam 2 diska, puna podataka, dosad su bili "obično" spojeni, pa bih sad htio raid. Ako bih htio dodat nova, prazna 2 diska, kako to napraviti da se iskoristi maks prostor? Gore spomenuta raid10 mi ne odgovara, jer rekoh da mi diskovi puni i još će se puniti, pa bi raid5 (z) bio dobar...

[ali_dzi]

Koliko se sjecam, u ZFS nije moguce naknadno dodavati diskove kad se napravi virtual device (VD), prilikom cega se u stvari i odredjuje tip RAID-a koji ce se koristiti (stripe, mirror, itd). Naknadno dodavanje je, koliko se sjecam, nemoguce bez brisanja svega i ponovnog kreiranja. Mislim da isto to nije moguce ni kod Software Raid-a - jednom kad kreiras RAID polje to je to.

Kad malo razmislis, to je i logicno, pogotovo kad koristis stripe oblik, gdje se podaci ravnomjerno rasporedjuju po svim diskovima. Kako bi se, prilikom dodavanja recimo treceg diska, uskladili podaci sa ona prva dva diska, na koje su zapisani pola na jednom, a pola na drugom disku? Neko (sustav?) bi morao sve podatke preslozit tako da se ravnomjerno dijele na 3 diska, a to je, cini mi se, malo prezahtjevno.

BTW, sve te kombinacije RAIDa tipa 1+0, 5, 10 itd, su po mom misljenju obicno sranje, tj. sve je super dok radi, ali kad nastane krah sistema, sva ta RAID teorija je neiskoristiva - barem po mom (skromnom) iskustvu. Jedino sto zaista ima smisla je RAID 0, tj. ubrzavanje zapisivanja podataka, a potpuno odvojenu masinu koristiti za mirror, tj. backup podataka.

BTW, posto imam jedno ZFS polje sa 1 HDD-om od 1TB i drugo od 5 mijesanih (PATA/SATA 250GB) diskova (1.25 TB), kad pokrenem (cca 1 mjesecno) komandu SCRUB za kontrolu diskova, vise od duplo brze se taj scrub napravi na polju od 5 raid-stripe diskova, nego na onom jednom, sto je jasan pokazatelj da RAID 0 zaista ima neko ubrzanje (iako bi po teoriji to trebalo biti skoro 5 puta brze).

[Nick7]

ZFS podrzava naknadno sirenje poola.
Naime, za razliku od software/hardware RAID-a, on radi RAID na nivou podatka, a ne na nivou blokova na disku.
Iako imas i HW kontrolera koji podrzavaju sirenje RAID polja s extra diskovima, konverzije i sl.

[segregator]

Autor ali_dzi

BTW, sve te kombinacije RAIDa tipa 1+0, 5, 10 itd, su po mom misljenju obicno sranje, tj. sve je super dok radi, ali kad nastane krah sistema, sva ta RAID teorija je neiskoristiva - barem po mom (skromnom) iskustvu. Jedino sto zaista ima smisla je RAID 0, tj. ubrzavanje zapisivanja podataka, a potpuno odvojenu masinu koristiti za mirror, tj. backup podataka.

Meni je na FreeNAS-u uredno prošao rebuild polja nakon problema na jednom od 4 diska (jest da je trajalo 16 sati, ali bože moj, ipak je to 4x2TB )

[ali_dzi]

Autor Nick7

ZFS podrzava naknadno sirenje poola.
Naime, za razliku od software/hardware RAID-a, on radi RAID na nivou podatka, a ne na nivou blokova na disku.
Iako imas i HW kontrolera koji podrzavaju sirenje RAID polja s extra diskovima, konverzije i sl.

Ja sam se s tim više puta igrao pod NAS4Free (ex FreeNas), ali nisam uspio proširiti polje za novi disk i to sam radio dok su diskovi bili prazni. Onda sam negdje (ne sjećam se točno) našao članak da to ne može. Ako znaš kako može, daj opiši postupak (pod NAS4Free), jer sam ja na svim ZFS poolovima pri kraju prostora.

[ali_dzi]

Autor segregator

Meni je na FreeNAS-u uredno prošao rebuild polja nakon problema na jednom od 4 diska (jest da je trajalo 16 sati, ali bože moj, ipak je to 4x2TB )

Eto vidiš, tebi jest, a meni nije. Upravo o tome i govorim, nije 100% sigurno. Ja sam 2 ili 3 puta imao totalni dizaster usred rebuilda. Još što je najgore, kad imaš tako formatirane podatke (ZFS, UFS i sve ostalo što nije FAT32 ili NTFS), poprilično si uskraćen za neki softver koji kopa po podacima i vraća ih u neko upotrebljivo stanje.

Jako mi se sviđa (doduše još u expermentalnoj fazi koliko vidim) HAST pod NAS4Free-om. To je kao RAID, ali preko mreže - 2 PC-a sa identičnim diskovima, jedan je MASTER, a SLAVE stalno kopira sve sa MASTERA. Sve to, doduše, nije ništa novo, još je prije 20+ godina Novell imao tzv. SFT 1, 2 ili 3 sustav koji su činili iste stvari kao RAID i HAST kombinacije.

Ali, nemojmo zaboraviti - RAID NIJE BACKUP! (a samo BACKUP glavu čuva)

[icanic]

Stavi xpenology, radi savrseno. Ja imam zadnji DSM stavljen i na kompu imam 512mb rama, xpenology boota sa usb-a bootloader i sistem je snimljen na hdd ali taj hdd mozes koristiti normalno kao storage disk. Niti jedan drugi NAS ti nece raditi kao xpenology/synology. Za ZFS ti treba barem 16gb rama i jako preporucljivo ECC ram da bi to radilo dobro.

[segregator]

Ja imam 6GB ram-a i nemam ECC i radi savršeno ZFS

[icanic]

Ok, ali moze doci do corruptanja particije i onda je kaos. Nestanak struje i takve stvari nisu bas dobre na tom sistemu.
WARNING: to ensure consistency for the checksumming and parity calculations performed by ZFS, ECC RAM is highly recommended. Using non-ECC RAM can cause unrecoverable damage to a zpool resulting in a loss of all data in the pool.

If you don't have at least 8GB of RAM with ZFS or 2GB of RAM with UFS, you should consider getting more powerful hardware before using FreeNAS® to store your data. Otherwise, data loss may result.

[segregator]

ZFS je u stvari otporniji na nestanke struje od ostalih file sistema.
ECC RAM je poželjan u svakom slučaju, jedino se vodi debata da li je kod ZFS-a poželjniji nego kod ostalih.
Ogromne količine RAM-a su potrebne u slučaju da se koristi on the fly kompresija podataka, što je u mom slučaju nepotrebno jer je 99% onog što imam na NAS-u ionako komprimirano

Ima ovdje dosta dobar članak

[Old Iggy]

Autor ali_dzi

Eto vidiš, tebi jest, a meni nije. Upravo o tome i govorim, nije 100% sigurno. Ja sam 2 ili 3 puta imao totalni dizaster usred rebuilda. Još što je najgore, kad imaš tako formatirane podatke (ZFS, UFS i sve ostalo što nije FAT32 ili NTFS), poprilično si uskraćen za neki softver koji kopa po podacima i vraća ih u neko upotrebljivo stanje.

Jako mi se sviđa (doduše još u expermentalnoj fazi koliko vidim) HAST pod NAS4Free-om. To je kao RAID, ali preko mreže - 2 PC-a sa identičnim diskovima, jedan je MASTER, a SLAVE stalno kopira sve sa MASTERA. Sve to, doduše, nije ništa novo, još je prije 20+ godina Novell imao tzv. SFT 1, 2 ili 3 sustav koji su činili iste stvari kao RAID i HAST kombinacije.

Ali, nemojmo zaboraviti - RAID NIJE BACKUP! (a samo BACKUP glavu čuva)

Ima tu par stvari - RAID je jedini način redundancije danas, ako se želi i neka brzina. Problem je što je potrebno paziti na neke stvari (npr., koji diskovi u koji RAID i slično). Staviti velike SATA diskove u RAID 1/5 je recimo recept za katastrofu.

"Kopanje po diskovima" je za bilo koga tko ima ozbiljne podatke gore neprihvatljivo. Tome služi backup (gdje ni sync mirror na dva sustava nije backup, dapače).

[ali_dzi]

Autor icanic

Za ZFS ti treba barem 16gb rama i jako preporucljivo ECC ram da bi to radilo dobro.

Ovo je TOČNO za FreeNAS (min 8 GB za ZFS), ali NETOČNO za NAS4Free (ex. FreeNAS), koji radi sa ZFS-om i sa 1 GB RAM-a. Osim u službenoj dokumentaciji, tome svjedočim već niz godina na mojoj backup mašini, koja ima upravo toliko: 2x512 MB. FreeNAS, koji se temelji na Linux-u, očigledno ne barata memorijom racionalno kao NAS4Free, koji je na FreeBSD-u, što je upravo i razlog zašto se stara krama bolje može iskoristiti za NAS server uz korištenje NAS4Free-a.