View Single Post
Staro 08.02.2008., 22:11   #208
monolithx
Registered User
 
Datum registracije: Nov 2005
Lokacija: hr
Postovi: 19
Citiraj:
Autor Bubba Pregled postova
To da zapravo pitas pitanje: "treba li mi RAID?". Time se prezentiras u dva (disjunktna) slucaja:

a) da se sam bakces sa storage sustavima iako ti oni nisu primarna okupacija (jer da jesu, pitanja ne bi ni bilo)
b) nemas organizirani tim strucnjaka pred koje ces staviti svoju "realnu potrebu". Tvoja realna potreba nije "mjerljiva" u RAID polju, nego u zahtijevima koji se mjere u MB/s, IOPS i slicnim mjernim jedinicama.
Nemam budget za platiti stručnjake za storage, kao što to nema ni 80% firmi u RH.
Mogu ja tako kupiti WD-ov rack od 12TB za 30,000 eura pa imati remote hot swap storage i ne razmišljat o nikakvim raidovima.
Dapače, kolega koji ima budget za to (promet od 10 milijuna godisnje) to gleda kao malu investiciju.
Ja se moram krpati unutar daleko manjeg iznosa cijele godine.

[QUOTE=Bubba;946740]
Kontroler koji bi ti odgovarao iznosi ~10% te cijene. Sasvim prihvatljiv izdatak, ako ti vec treba racunalo od 30k kn.
[quote]

Ovisi. Ako imam ograničen budget onda mi kupnja 3 računala, softvera i slično predstavlja izdatak. Ako uzimam kontroler od 3k kn moram odrezati to od UPS-a, rama, diskovlja samog ili pak monitora. Neke stvari ne mogu žrtvovati.

Citiraj:
Autor Bubba Pregled postova
Nije samo racunanje pariteta (RAID 3,4,5,6...) opterecenje za procesor, bio on "sistemski" ili dedicirani. Stripe je primitivan koncept sam po sebi, no RAID 1 je prakticki najobicniji sync na takvim kontrolerima, te se gube svi brzinski benifiti koje RAID 1 pruza (samo primjer, a i taj je, zanemarivsi sve ostalo, mizeran, no konkretan).
xor kalkulacije uzimaju najveći dio. ne znam što drugo je potrebno računati osim segmentacije datoteka i pariteta.
osim toga, imam centralni proc za kalkulacije od kojeg slobodno mogu zaposliti i do 15% jedne jezgre za rad.


Citiraj:
Autor Bubba Pregled postova
Jedan korisnik? Daj, nemoj me nasmijavati, tebi diskovi doslovne ne mogu predstavljati nikakvo grlo, a kamo li usko. Problem potrazi negdje drugdje.

Oraklet ce vise voljeti tvoj ogromni... cache na procesoru ili brzi RAM, ako radis developement, primjerice.

Sigurnost != dostupnost. Moras znati sto zelis. Ne opterecuj se tebi nebitnim tehnikalijama.

Ne mogu reci da sam aktivno pratio citav thread, no cini mi se (letimicno) da nisi tocno naveo sto radis, niti pod kojim okruzenjem radis.

Opet, ne znam sto tocno radis. "Ekstenzivni random access R/W" je floskula kojom hakeri opisuju p0rn server gdje 20orica intenzivno drkaju na Jennu istovremeno. Jedan korisnik jako tesko moze izvesti "ekstenzivni random access R/W", eventualno "ekstenzivni STR kad kodiram kucni HDTV". U svakom slucaju, on board kontrolerima, ako zaista imas "ekstenzivni random access R/W" neces postici nista znacajno. Takvo nesto tek se postize ozbiljnim kontrolerom koji iskoristava sve benifite odredjenog RAID polja, koristi razno razne napredne algoritme predikcije i prekticki zajedno u kooperaciji s OSom izvrsava sve iz cachea (sto na samom kontroleru, sto na dijelu koji je rezerviran od operativnog sustava u RAM-u) te radi naknadnu sinkronizaciju s diskovima.

Ispricaj me na mutnom dojmu koji sam dobio, no eto, previse nadobudnih korisnika sam vidio koji su imali RAID epizode a nisu im trebale. Ako vec i trazis savijet, dobro definiraj vise stvari (vecinu sam ti spomenuo) pa tek onda mozes ici na nekakvu evaluaciju u kojoj bi razmislio sto ti tocno treba. Zacudio bi se koliko je danas sa jeftinim hardverom jeftinije postalo replicirati citavo racunalo nego se prtljat s kompleksnim i neefikasnim storage sustavima unutar istih.
Znam koliko je jeftin hardver.
Ali krenimo redom.

Nije bitno konkretno na čemu radim. Radi se o tome da paralelno imam dignut i win i nix i to ukupno u barem dvije instance.
MPI se vrti na virtualnom clusteru (vmware).

Ne radi se o floskuli vec o tome da svako nekoliko minuta imam kompletne rebuildove sa po 3-4 tisuce datoteka u rasponu od 1 do 256kb i od 1-7mb.
Osim što se rebuilda hrpa koda i zapisuje/iščitava, također svaki rebuild se replicira kroz virtualne mašine na server i sa servera ide na stvarnu mrežu.

Iznimno mi je bitno dal mi kompliacija traje 4 minute ili 4 minute i 20 sekundi. Pogotovo jer za test loade i runove koje izvodim nakon svake 3. kompilacije moram čekati ostale virtualne mašine.

Dnevno imam oko 400 buildova - računaj da je to samo 25 sekundi po buildu onda imas gotovo 3 sata čekanja viška.

Naravno, umjesto brzog procesora, dobre ploče i rama mogao sma kupiti istu stvar u 7 primjeraka i imati pravu mrežu.. ali onda me nebi sve koštalo 30 nego 100k.

Kontroler nije strašno skup, ali nekako sumnjam da su u nas nabavljivi povoljno ili čak dobri primjerci.
Dakle, prijedlog kontrolera i više je nego dobrodošao.
monolithx je offline   Reply With Quote