data backup (arhiviranje) preko neke firme?

[jp_rv]

čitam po netu dosta o diskovima, o data retentionu, o potrebi da se podaci refreshaju nakon x vremena (neki čak savjetuju svakih mjesec dana :O ). internetovi su naročito negativni prema novim/ budućim SMR diskovima.

zanima me postoji li firma ili netko od forumaša radi u nekoj firmi koja ima LTO mašineriju i ima mogućnost napraviti kopiju podataka na LTO 7 ili LTO 8 traku?

nisam se JOŠ odlučio na to, naročito jer sam pred nema 2 mjeseca uzeo još jedan disk od 8TB pa i na to iskeširao neku paru, a ova korona pizdarija me već sad bacila u minus jako neugodnu količinu evrića pa sam malo u sejving-modu rada.
ali ako se odlučim, ima li netko tko to u HR može i želi napraviti?
obzirom na količinu podataka koje bin htio arhivirati , trebale bi ili dvije LTO7 trake, ili jedna LTO8. imam 12TB podataka.
LTO je jedina traka koja nudi takav kapacitet, i koliko vidim jedini standard koji se razvija i nudi kakav takav backward capability barem u čitanju sa trakama koje su generacijama starije. za 10-20 godina vjerujem da će biti lto tape drive-ova u điru kao šta sad ima dds drive-ova.

[Pupo]

Što ti vrijedi backup na trake, ako ti kad nešto krkne opet moraš tražiti firmu koja će ti to pročitati.

Za 10-20 godina neće biti lto drajvova okolo, jer se i danas sve manje koriste, sve više se backupira u cloud, na "tuđu" brigu o diskovima. Tko ga treba, taj ga kupi i ima.
Google account uz malo planiranja može primiti toliko podataka bez problema, cijene nisu velike, a možeš kriptirati ako te brine sigurnost.

Uz nekakvo inicijalno pametno ulaganje, možeš si to spremit i na diskove. Nekakav offline NAS u raidu, nemaš problema.


Ako nabaviš dovoljan broj LTO 3 traka, mogu ti ja prebaciti

[medo]

Svi razmišljaju o backupu, a skoro nitko ne razmišlja o restoreu

Ako trake ne skladištiš kako treba onda ih bolje nemoj koristiti.

Cloud je isto skup. AWS Glacier npr. skladišti podatke za cca 30kn mjesečno po terabajtu, znači 4.320kn godišnje za 12TB. Drugu godinu platiš još toliko, treću još toliko...... a ako ti podaci zatrebaju onda ćeš na to platiti još više ovisno o tome koliko podataka vratiš i koliko upita napraviš, a sve se vuče preko internet veze.

Enterprise HDD kapaciteta 12TB košta manje od godišnje cifre za cloud backup, a uštekaš ga u bilo koji komp koji ima ATX napajanje i SATA konektor. Podaci se vraćaju jedan ili dva reda veličine brže nego preko internet veze.

[Cuky]

A sta ako te krkne potres pa ti taj backup disk ispadne iz ormara?

Mislim da je pametnije to na neki server negdje dalje spremit + naravno ovaj gore disk

[Pupo]

Zato se poštuje 3 2 1 backup rule.

[^SuperUnknown^]

Ako imas dobar upload Backblaze je super rjesenje. Osobno imam 40 TB kod njih i so far so good

[Cuky]

Jesi probao restore radit?

[jp_rv]

nije problem napravit backup (to kažem - imam). problem ispada da u današnje doba više nema pravog backupa zbog svog ovog našeg tehnološkog napretka i trpanja sve veće količine podataka na ploče.
ispada da stajanjem slabi magnetni zapis na disku i pitanje je vremena kada će podaci postat a) koruptirani i/ili b) nečitki.

najmanji je problem uzet disk, bubnut gore 8TB fajlova, i taj disk nekamo spremit. problem nastaje kad za 5+ godina taj isti disk uzmemo , spojimo na komp i (ako se i zavrti) - neće bit podaci čitljivi.

ili odradit to isto ali na diskovima drastično manjeg kapaciteta. imam 250GB diskove stare 15 godina koji su donekle škartirani i van upotrebe barem 5 godina, ali da ih sad uzmem i upalim, radit će i podaci će biti gore.

koliko god tape backup slabio, traka je i dalje jedini medij kojemu je namjena ARHIVIRANJE podataka. snimim, spremim, zaboravim da postoji. ako dođe potreba za 10, 15, 20 godina da do tih podataka dođem, medij kao takav i njegov čitač će biti obsolete, ali podaci će biti gore.

vraga, imam videokazete iz 80ih koje , da ih odlučim stavit u video, dobio bi sliku s njih. traka je jedini medij koji će preživit samog sebe. i podaci s misije na mjesec su snimljeni na traku. nema načina da se danas to više dekodira, ali podaci su gore.
cloud backup nije feasible, cloud nije za dugoročno arhiviranje. čak i da imam tolko love da godišnje plaćam neki cloud servis, tko mi garantira da za 5 godina neće ta firma propasti a s njom i moji podaci.
pustimo sad priču kako uopće uploadati 1TB, a kamoli 10, na internet.

[Pupo]

Sve stoji, al moras znati da za 20 godina ces imati problem naći tračni uređaj koji ti odgovara.

Osim ako ne kupiš svoj, a to je onda ekstra kipanje para.

Što se tiče problema s diskovima, zato se diže raid i zfs il nešto takvo, gdje ti sam sustav provjerava integritet podataka.


S druge strane, pravilno uskladišteni kvalitetni br medij može 10 godina držat podatke bez problema.

[junkieee]

zasto ne Azure ili neka slična opcija?

[hash]

Kao neko jednostavno rjesenje, mozes uzeti par diskova, napraviti checksum podataka i svakih x vremena provjeriti checksum odnosno jel doslo do corrupta. Ako i je, imas drugi disk s jos jednim backupom. Mozda najbolje u vise manjih grupa fajlova, s vise manjih checksumova da je lakse otkriti gdje je problem ako se i pojave badsectori ili neki problemi s podacima.

Nakon par godina, ako bas inzistiras, prodas diskove i kupis nove.
Nisam nikad nista spremao na trake i nisam informiran ali snimka s te kazete iz 80tih sigurno ne izgleda bajno. Jedna stvar je video gdje i ako izgubis 20% i dalje vidis o cem se radi, a drugo je neki kompajliran program gdje ako ode par bajtova - gotovo. Stvari se demganetiziraju s vremenom, jbg, fizika. Ne zvuci mi to s trakama bas idealno, ali kako i sam kazes, trake se koriste za arhiviranje pa valjda i ima nesto u tome. Skladistenje na niskim temperaturama?

[Psycho]

koliko god cloud hvalili, kad se dodje do neke odredjene kolicine podataka skuplja tepsija od pite. I pogotovo sto takvi provideri znaju imati skrivene troskove, odredjeni pricing kod BACKUPA ili UPLOADA, ali kad treba restorati podatke odjednom dodje do novih troskova.

Nadje se 2nd hand HP Tape uredjaj koji je kompatibilan sa LTO6 trakama i tako backupiraj - skupo je ali ispravno. A ako je preskupo, onda nisu toliko bitni podaci i triple backup bi trebao biti dovoljan.

i koliko god ljudi misle da trake odlaze u proslost, nije istina. Jer te trake kad se ispravno skladiste, imaju puno duze trajanje od bilo kojeg medija koji mi trenutno koristimo tako da stvarno vitalni podaci na kraju ipak zavrse na trakama.
na poslu imamo 3 SANa - 1 za VM data storeove i sinkronizacijski backup VMova za HA, drugi za backup syncova i nocni backup VMova(u slucaju da prvi SAN rikne), treci(na drugoj lokaciji) imamo za tjedni backup backupova s prvog SANa(u slucaju katastroficnog faila) i s njega ide na HP Tape kasetni uredjaj jer ima kapacitet ako se dobro sjecam 30ak LTO6 traka koje mjenjamo kad nas Veeam Backup sustav alarmira da su pune. Svaki SAN je enterprise grade i kosta 3-4k$ bez diskova..i svejedno imamo trake

a sada cak i imamo ponudu da svakih 6 mjeseci saljemo trake u storage facility na cuvanje - nesto tipa Iron Mountain https://www.youtube.com/watch?v=3hqbEaz4g0c

[The Exiled]

Autor jp_rv

najmanji je problem uzet disk, bubnut gore 8TB fajlova, i taj disk nekamo spremit. problem nastaje kad za 5+ godina taj isti disk uzmemo , spojimo na komp i (ako se i zavrti) - neće bit podaci čitljivi.

Jesi provjeril opciju arhiviranja na 50GB Blu-ray BD-R HTL medije, obzirom da su puno jeftinije rješenje od LTO traka, a opet imaš mogućnost dugogodišnjeg skladištenja.

[^SuperUnknown^]

Autor Cuky

Jesi probao restore radit?

Jesam, vise puta, ne zbog havarije nego su mi nekad zatrebali neki fajlovi na udaljenoj lokaciji. Proslo bez problema

[riceburner]

Autor Pupo

Za 10-20 godina neće biti lto drajvova okolo, jer se i danas sve manje koriste

prvi glas LTO je i dalje numero uno za arhiviranje i backup i bit ce jos dugo vremena, jer se jedini pokazao dovoljno pouzdan, multibilijunski biznis, tako da tu straha nema...


zacudio bi se koliko se jos u svijetu koristi LTO 1 ili 2!!

[Pupo]

Ne da ne postoje, nego će njemu ko fizičkoj osobi biti teže doći do tejp drajva na neki "jeftiniji" način.

To da će moći otići u trgovinu i iskipat tisuće evra, naravno da hoće.

[jp_rv]

nije poanta u imanju tape drajva. naći će se firme koje ih imaju. samo šta takve firme nisu fleksibilne da strancima omoguće arhiviranje ili restore podataka, pa ni vlastitim djelatnicima to ne omogućavaju (uljanik...).

cijena zadnje generacije lto drajva je fizičkoj osobi pretjerana, a di je tu nekakva softverska podrška . ali kao šta se danas na second hand tržištu nađu stare generacija drajvova, tako bi to trebalo biti moguće i u futuru za trenutnu generaciju.


nisam nigdje spominjao da budem vlasnik tape drajva, već samo kazete s mojim podacima. čisto da ih imam. ako ikad dođe do toga da treba napraviti restore, bit će zajebano, ali valjda će se netko naći. to je barem načelno ideja kad se malo oporavim od ove korona-havarije.

morat ću poraditi na refreshanju diskova, odnosno osmisliti neki polu-automatizirani način da se to odrađuje. većim dijelom je već sada sve samo "1 klik" daleko, svu skalameriju sam izbacio iz vidokruga, sav offline storage je pospajan na smart utičnice i na ups-ove, i umrežen.

Jesi provjeril opciju arhiviranja na 50GB Blu-ray BD-R HTL medije, obzirom da su puno jeftinije rješenje od LTO traka

nisam provjerio opciju, škartirao sam ju.
kao prvo, BR diskovi su malog kapaciteta za ovaj poduhvat. kao drugo, cjenovno dostupni BR diskovi su LTH tj organski, i njihovo trajanje je u najmanju ruku upitno.
"ključne" podatke sam godinama unatrag arhivirao na one medical grade dvd-e od verbatima koji bi trebali biti HTL, a kako je vrijeme išlo dalje prebacio sam se na BD-R isto od verbatima ali jedine dostupne, i teško da su HTL iako tko zna.
"obzirom da su jeftinije rješenje od lto traka" - nisu.
cijena BR diskova je "relativno" niska i raste linearno s kapacitetom (pa je tako 50GB disk duplo skuplji od 25GB diska, i 100GB disk je duplo skuplji od 50GB diska) koji se pak uspije naći za cca 10 eura komad (20 eur za medical grade). gledajući skuplju varijantu, to je 200 eur po terabajtu, vs 200 eur za 12TB za lto8 traku.

cloud storage neću razmatrati u ovom trenutku.
sve u svemu, malo ću istraživati. ako se zaista pojavi prilika da napravim backup na jednu-dvije trake, budu li financije to omogućavale - odradit ću. ljudi koje znam da rade u firmama koje imaju neki vid tape backupa - nemaju više tape backup, odnosno imaju ga zbog legacy arhiva, a to su zastarjele tehnologije, kao i serveri na kojima se trakaš nalazi, i teško da će mlađi sys admini znat time baratat.

[^SuperUnknown^]

Dakle ostaje ti arhiviranje na hard diskovima, s time da im svakih godinu-dvije osvjezis zapis. Ja tako radim vec 10-ak godina i nisam jos nista izgubio (kuc-kuc).

[Pupo]

Autor jp_rv

nije poanta u imanju tape drajva. naći će se firme koje ih imaju. samo šta takve firme nisu fleksibilne da strancima omoguće arhiviranje ili restore podataka, pa ni vlastitim djelatnicima to ne omogućavaju (uljanik...).

Ovo je sasvim očekivan scenarij da nedaju nikome pa ni zaposleniku.

Autor ^SuperUnknown^

Dakle ostaje ti arhiviranje na hard diskovima, s time da im svakih godinu-dvije osvjezis zapis. Ja tako radim vec 10-ak godina i nisam jos nista izgubio (kuc-kuc).

Da, zapravo nema drugu opciju uzevši u obzir sve spomenuto ovdje.

[Cuky]

Autor ^SuperUnknown^

Jesam, vise puta, ne zbog havarije nego su mi nekad zatrebali neki fajlovi na udaljenoj lokaciji. Proslo bez problema

E odlicno. Taman sam otvorio account kod njih na b2. Imam oko TB podataka sto bih drzao gore.

[HD3850]

Odlicna tema.. i slazem se u vecini slucajeva sa LTO trakama i uredjajima.. samo, isto tako sto ste pisali da za 20.ak godina ce biti problem prebaciti starije trake i slicno.. kako je sada nakon 20.ak godina jednostavno pronaci, i nove trake za LTO1, isto tako i uredjaje po bagatelnoj cijeni.. dakle, isplati se... razmisljao sam, i mozda si uzmem LTO4, i par kazeta, jer mi se isplati.. jer hardove mjenjam svakih par godina, i idem na sve veci.. a podataka ima jako puno, i strah me je da ne rikne jedan, jer mi onda sve ode u PM.. ovako bi bar spremio sa strane backup, i bio, donekle na miru... i kada mi rikne taj novi hard koji imam sada, za par godina.. odma si mogu vratiti podatke sa kazete na novi hard, i tako dalje i dalje.. Dakle, po mom misljenju se isplati.. Zato i kazem, ne moras uzeti aktualnu generaciju uredjaja, uzmes si 3-4 generacije unazad, i miran si, jer te opet jeftinije dodje, a i ako kazeta padne na pod, dignes ju, i nikome nista.. nek ti padne hard, nek struja nestane.. meni na hardu starom 4 godine vec ima jedan bad sector.. a samo je za arhiviranje tu.. dakle, opet kazem.. isplati se uzeti ovo za backup