|
06.06.2010., 13:24 | #121 |
Premium
Datum registracije: Jun 2008
Lokacija: Ri
Postovi: 71
|
lol calypso to sto je sustav stohastican ne znaci da je random, sto je najbolje vecina stohasticnih sustava se vrlo dobro da opisati i a njihov rad predvidjeti pravi random sustavi su vrlo vrlo rijetki, rekao bih gotovo zanemarivi ne kuzim kakvi su to spasioci kad enterpise SSD diskovi 2-3 puta manjeg kapaciteta kostaju 2-3 puta vise |
06.06.2010., 13:31 | #122 | ||
E Pluribus UNIX
Datum registracije: Oct 2002
Lokacija: M82
Postovi: 6,543
|
Osim sto po definiciji "stohasticno" znaci "random". Citiraj:
Citiraj:
__________________
Programer
Rok od dva mjeseca u stvari znači četiri, ali nikako ispod šest. |
||
|
|
Oglas
|
|
06.06.2010., 14:41 | #123 | |
Premium
Datum registracije: Oct 2002
Lokacija: Zagreb/Rijeka
Postovi: 1,522
|
Citiraj:
Primjer jednog tipicnog random sustava ti je transakcijska baza podataka (OLTP aplikacije). Ako ti mozes predvidjeti 80% od 100k IO operacija koje se zele obaviti svake sekunde, ja te ovog trenutka vodim na rucak. Daj mi takav algoritam slozi, jer mi treba za neke druge puno pametnije stvari. Inace, enterprise SSD diskovi kostaju za isti kapacitet po 10-20x vise od obicnog FC diska na 15k (400GB SSD vs 450GB FC). No, kazem, spasioci jer za potrebe aplikacije koja mora imati diskovni sustav sposoban isporuciti 20k IOPSa ne trebas 100 komada 15k FC diskova koje ces short-strokeati, vec 4 SSD diska. Racunaj da ove FC diskove treba sloziti u ladice ($$), treba ih napajati energijom ($$), treba ih ohladiti ($$), treba dimenzionirati UPS i za njih ($$), treba imati minimalno jos 2-3 hotspare diska na 100 komada ($$), i kada sve $$ zajedno zbrojis zajedno sa 100x cijenom FC diska, dobijes zanimljivu brojku koja ti kaze da ti je ipak dugorocno isplativije koristiti SSD disk nego te silne FC diskove. Mnogi se zafrknu kada racunaju samo CapEx (kapitalna investicija, odn., ona prvotna - kupnja diskova), a ne racunaju OpEx (operativna investicija, odn., lova koju trosis za odrzavanje takvog sustava).
__________________
Thinkpad - Nikad ne umiru, samo postanu obsolete... (c)FujiLim |
|
06.06.2010., 15:09 | #124 | |||
Premium
Datum registracije: Feb 2006
Lokacija: Zagreb
Postovi: 4,888
|
Citiraj:
Citiraj:
Ni najmanje. Enterprise sustavi su čak po tom pitanju jednostavniji nego kad se radi o midrangeu. Da ne govorim da je i najjače opterećene diskove moguće potpuno iskoristiti ako znaš što radiš. Citiraj:
Nema ti tu pobjeda i poraza.
__________________
Igor Batinic Zadnje izmijenjeno od: Old Iggy. 06.06.2010. u 15:15. |
|||
07.06.2010., 15:56 | #125 | |
Premium
Datum registracije: Jun 2008
Lokacija: Ri
Postovi: 71
|
Citiraj:
Npr dogadjaji na burzi su puno neodredjeniji stohasticki procesi od npr racunalnih procesa. Dalje ako pogledas malo povijest burzi lako mozes zakljuciti da ako sad ulozis u neki portfelj za 20 godina sa 99% sigurnoscu mozes racunati na rast vrijednosti istog Nije to bas tako "random" kao output nekog pravog random generatora |
|
07.06.2010., 16:02 | #126 | |
Premium
Datum registracije: Oct 2002
Lokacija: Zagreb/Rijeka
Postovi: 1,522
|
Citiraj:
__________________
Thinkpad - Nikad ne umiru, samo postanu obsolete... (c)FujiLim |
|
07.06.2010., 16:44 | #127 | |||
Premium
Datum registracije: Jun 2008
Lokacija: Ri
Postovi: 71
|
lol ovo bi trebalo repostati na hsgr deterministicki odrediti ponasanje OLTP sustava je dobar naslov teme za tvoj sljedeci unos na blogu Citiraj:
Citiraj:
Citiraj:
Nekako se uspjelo desiti da imam dva svoja identicna replya zaredom Zadnje izmijenjeno od: domy_os. 07.06.2010. u 17:24. Razlog: spajanje postova |
|||
07.06.2010., 17:24 | #128 | |
Premium
Datum registracije: Feb 2006
Lokacija: Zagreb
Postovi: 4,888
|
Citiraj:
Ne mora uopće biti neki pritisak. Ukoliko imaš neku bazu koja je aktivna, recimo, od 7 do 21 sat, ostatak vremena ti isti diskovi većinu svog prostora mogu koristiti za backup, primjerice. Zato su analize stanja jako bitne i moraju biti i detaljne i dugotrajne. FC postaje prihvatljiv (posebno kad je virtualizacija u pitanju, DR i slično), a i takvi sustavi se stvarno instaliraju stalno. Ja sam nedavno imao period od 6 - 7 tjedana gdje sam samo išao od korisnika do korisnika i instaliravao ih.
__________________
Igor Batinic |
|
07.06.2010., 17:42 | #129 | |
Premium
Datum registracije: Oct 2002
Lokacija: Zagreb/Rijeka
Postovi: 1,522
|
Citiraj:
Sto se tice slucajeva o kojima pricamo, OLTP je samo bio primjer tipicne okoline kojoj ne mozes odrediti deterministicko ponasanje. No, ovo je sada vec poprilicno odlutalo od teme i samo se bezveze prepucavamo. Iggy ti je spomenuo jos i virtualizaciju (o kojoj, srecom, poprilicno i osobno znam), tako da je to jos jedan primjer za okolinu cije ponasanje ne mozes predvidjeti, stoga kakav god cache imao, koristi ga radije kao write-cache, nego kao read-cache. Ili, ako imas sustav koji je sposoban dinamicki alocirati i balansirati izmedju read/write cachea, mozes za dnevne produkcijske potrebe koristiti 10 READ - 90 WRITE, a u nocnom radu (dnevni inkrementalni backup, i slicne Tier2 aplikacije) stavi 90 READ i 10 WRITE. BTW., Iggy, jel ima kakav sustav koji moze tako dinamicki alocirati cache, ovisno o potrebama? Znam da ovi napredniji imaju cache partitioning, no to mi samo sluzi da definiram cache-page (4k, 8k, 16k, itd) za potrebe nekih specificnih aplikacija (SQL, Exchange, Oracle, DB2, itd). Mene bas zanima da li ima nacin kako dinamicki alocirati ovo sto sam gore napisao, nikad to nisam vidio niti na jednom storage sustavu. Sto se tice FC-a, istina je da je tehnologija postala prihvatljiva i manjim korisnicima (SMB market) i da se sve cesce korisnici odlucuju za takve sustave. A sto se tice onog da se dnevno instaliralo par komada, nije bas dnevno, ali recimo u periodima od 2-3 tjedna bi otisao jedan takav sustav ili bi se nadogradjivao postojeci.
__________________
Thinkpad - Nikad ne umiru, samo postanu obsolete... (c)FujiLim |
|
07.06.2010., 18:33 | #130 | ||||
E Pluribus UNIX
Datum registracije: Oct 2002
Lokacija: M82
Postovi: 6,543
|
Ma daj? Citiraj:
Stohasticki = slucajno = "random" Stohasticki procesi = slucajni procesi = "random process" Citiraj:
Citiraj:
Citiraj:
...ajde ti to nama jos malo jednom izdefiniraj, pa da mi svi budemo pametniji, sretniji i zadovoljniji...
__________________
Programer
Rok od dva mjeseca u stvari znači četiri, ali nikako ispod šest. |
||||
|
|
Oglas
|
|
07.06.2010., 18:58 | #131 |
Premium
Datum registracije: Oct 2002
Lokacija: Zagreb/Rijeka
Postovi: 1,522
|
E, Bubba, sad si ga vala ubio sve u pojam. Ajde dosta detaljiziranja, necemo se pravit pametni vise. Aj giv ap.
__________________
Thinkpad - Nikad ne umiru, samo postanu obsolete... (c)FujiLim |
07.06.2010., 21:38 | #132 | ||||
Premium
Datum registracije: Jun 2008
Lokacija: Ri
Postovi: 71
|
Citiraj:
Citiraj:
Citiraj:
Citiraj:
Sad ako je ovaj stvarno matematicar znaci da valjda razumije ovo o cemu se pise ovdje ali onda definitivno ne razumije hrvatski... Zadnje izmijenjeno od: igorba. 08.06.2010. u 23:38. Razlog: dp |
||||
07.06.2010., 21:53 | #133 | |
Premium
Datum registracije: Oct 2002
Lokacija: Zagreb/Rijeka
Postovi: 1,522
|
Citiraj:
Bubba, ne svojataj temu!
__________________
Thinkpad - Nikad ne umiru, samo postanu obsolete... (c)FujiLim |
|
07.06.2010., 22:03 | #134 |
Premium
Datum registracije: Jun 2008
Lokacija: Ri
Postovi: 71
|
Vidim u cem je nastao problem. Ima i pravo sto se tice terminologije Ja sam konkretno mislio na raspodjele vjerojatnosti kod nekog stohastickog (random) procesa - koliko sam ja razumio Iggy je tvrdio da je ta raspodjela jednakomjerna unutar tih random procesa - to je meni znacio pojam "random" koji on koristi - i da caching zbog toga nema smisla - jer u tom slucaju i nema smisla. Cim ta raspodjela nije jednakomjerna nego npr Gaussova ili bilo koja u kojoj jedni dogadjaji imaju pa cak i minimalno vecu vjerojatnost caching ima smisla i ovisno o toj razlici se moze manje ili vise iskoristiti. |
07.06.2010., 22:25 | #135 | |
Premium
Datum registracije: Oct 2002
Lokacija: Zagreb/Rijeka
Postovi: 1,522
|
Citiraj:
Slucajnosti o kojima mi pisemo, pogotovo jer pricamo o realnim aplikacijama, su takve da ih je nemoguce determinirati (dakle, odrediti). Meni na storageu sa 1TB cachea nista ne znaci read-cache ako imam 2000 diskova sa zadnje strane. Jednostavno, napadi na produkcijske okoline ciji podaci se drze na takvom storage sustavu su nepredvidivi i ne postoji taj read-cache algoritam koji ce znati odrediti koji ce biti sljedeci podatak koji ce biti procitan, ili barem blok podataka. U tom slucaju mi puno vise znaci da imam veliki write-cache i izrazito velik throughput na diskovima. A SSD diskovi mi omogucavaju bas to - izrazito velik throughput. Racunaj da 15k FC disk ima throughput u nekakvim standardnim uvjetima koji iznosi oko 180 IOPSa, a jedan SSD disk moze imati od 2000 pa do 30000 IOPSa. Svojedobno sam vodio slicnu raspravu sa kolegom iz bivse firme u kojoj je on uporno tvrdio da na storage treba staviti cijeli veci dio cache memorije u read-cache, a ja se - eto - nisam mogao nacuditi otkud njemu takve ideje. Da zakljucimo - SSD diskovi imaju svoju primjenu (i itekako su opravdani u nekim sustavima, iako im je cijena iznimno visoka). FC diskovi sa druge strane postaju commodity i sve se cesce mogu vidjeti u manjim okruzenjima. Izbor diskova (kapacitet i kolicina) ovisi o primjeni i jedino sto je bitno je dobro dimenzioniranje sustava. A opet, dimenzioniranje ti ne moze napraviti netko tko se ne kuzi u to sto se trazi. I na kraju, onaj najbitniji dio (koji je i uvijek najbitniji) - proizvodjac sustava je nebitan, dok god se business moze vrtiti na takvom sustavu kontinuirano i bez prekida.
__________________
Thinkpad - Nikad ne umiru, samo postanu obsolete... (c)FujiLim |
|
07.06.2010., 22:30 | #136 |
Premium
Datum registracije: Jun 2008
Lokacija: Ri
Postovi: 71
|
Dakle imas mjerenja koja potvrdjuju da je raspodjela citanja sektora takva da svaki sektor ima jednaku vjerojatnost da bude procitan u sljedecem requestu? Ako imas molio bih te da ga linkas, bas me zanima. Jos jedno pitanje - sto ti mislis zasto uopce postoji na racunalima memorijska hijerarhija odnosno cache? |
07.06.2010., 22:45 | #137 | |
Premium
Datum registracije: Oct 2002
Lokacija: Zagreb/Rijeka
Postovi: 1,522
|
Citiraj:
Inace, kako sam vec ranije napomenuo - sve ovisi o primjeni. Ako imas allaround sustav (recimo tipicni PC), onda imas vise tipova memorije - tvrdi disk, disk cache, RAM, L2 cache, L1 cache. No ovdje je puno lakse odrediti koji podaci ce biti procitani u sljedecem IO ciklusu jer je sve tu visemanje slijedno citanje. Ako pak imas nekakav audio/video sustav (recimo nekakav video-on-demand sustav), tu mozes komotno veci dio cachea baciti u read-cache jer ce sustav 80% vremena raditi u modu sekvencijalnog citanja i onda nije nikakva mudrost odrediti koji ce biti sljedeci procitani podatak. E, da, iTunes je pak sa druge strane puno zeznutiji sustav koji bi granicio sa OLTP sustavima po svojim karakteristikama, no ovaj bi imao kombinaciju OLTP-a i sekvencijalnog citanja, tako da ces imati velike koristi od read-cachea. Ali ako imas izrazito stohastican sustav (reci ti meni, jel tebe ovo zivcira ili zabavlja ili samo trollas bezveze?), po tvom - sustav u kojem svaki podatak ima podjednaku vjerojatnost da ce biti sljedeci, sto na velikoj kolicini podataka cini bilokakvo predvidjanje besmislenim, tada je takvom sustavu read-cache doslovno beskoristan. Jedino u slucaju da cache-hit ratio od 0.002% smatras velikim uspjehom. No, vjerojatno postoji ista sansa da ce se meni ispuhati guma od auta preko noci. Nije nevjerojatno, ali je vjerojatnost toliko mala da ce se to desiti da se uopce ne isplati zafrkavati sa time. Inace, ako te bas zanima, ovi malo veci enterprise sustavi koji imaju brda i brda cachea (>128GB) taj cache koriste vecim dijelom za write-cache, jednim velikim dijelom za cache koji se koristi kod replikacije (sinkrone ili asinkrone) ili izrade klonova/snapshota, i jako malim dijelom za cisti read-cache. Replikacija - to ti je zapravo repliciranje write-cachea izmedju dva storagea. Izrada klonova - e, za ovo ti recimo treba read-cache, no to nije nimalo random okolina, vec imas cisto slijedno citanje, tako da imas nesto i za predvidjeti da ti sansa bude veca od 50% da ces pogoditi sljedeci podatak. Izrada snapshota se svodi na random write, i nema bas neke veze sa read operacijama.
__________________
Thinkpad - Nikad ne umiru, samo postanu obsolete... (c)FujiLim Zadnje izmijenjeno od: calypso. 07.06.2010. u 22:53. |
|
07.06.2010., 23:14 | #138 | |
Premium
Datum registracije: Feb 2006
Lokacija: Zagreb
Postovi: 4,888
|
Citiraj:
Sumnjam da ćeš naletiti na takvo što. Niti ima smisla.
__________________
Igor Batinic |
|
07.06.2010., 23:30 | #139 |
Premium
Datum registracije: Oct 2002
Lokacija: Zagreb/Rijeka
Postovi: 1,522
|
Iggy, nisi mi odgovorio. Jel ima nekakav storage sustav koji je u stanju dinamicki balansirati read/write cache ovisno o nekim predefiniranim parametrima (dnevni rad/nocni rad). Ili su svi napravljeni tako da budu set&forget?
__________________
Thinkpad - Nikad ne umiru, samo postanu obsolete... (c)FujiLim |
08.06.2010., 09:21 | #140 | ||
E Pluribus UNIX
Datum registracije: Oct 2002
Lokacija: M82
Postovi: 6,543
|
Citiraj:
Make me, cunt! Citiraj:
__________________
Programer
Rok od dva mjeseca u stvari znači četiri, ali nikako ispod šest. |
||
08.06.2010., 14:02 | #141 | |
Premium
Datum registracije: Jun 2008
Lokacija: Ri
Postovi: 71
|
Citiraj:
Ne znam mozda cu morat pocet crtat Cijelo vrijeme i pricam o tome da takvo sto ne postoji i da cijela prica oko toga nema smisla - a cache i memorijska hijerarhija upravo zbog toga IMAJU smisla! Calypso trebao si me odmah upozoriti da je ovo neki tvoj Zadnje izmijenjeno od: domy_os. 08.06.2010. u 14:33. Razlog: spajanje postova |
|
08.06.2010., 14:51 | #142 | |||
Premium
Datum registracije: Feb 2006
Lokacija: Zagreb
Postovi: 4,888
|
Citiraj:
Automatsko dinamičko balansiranje mislim da neki veći sustavi mogu (iako je upitna korist, da li želiš pokušati implementirati QoS u situacijama kad ti takvo što može na drugim razinama srušiti performanse, isto pitanje kao kod thin provisioninga), u midrangeu možeš putem skripti, kao što možeš i igrati se sa snapshotima, rekonfigurirati storage grupe i slično. Ako misliš, recimo primjer, mijenjati cache postavke kako bi oslobodio više memorije za noćni backup, moguće je. Citiraj:
A mogao bi polako. Citiraj:
Da, cache općenito ima smisla. Osim kad je nešto random. Tad je preporuka isključivanje read cachea na mnogim razinama.
__________________
Igor Batinic |
|||
08.06.2010., 15:06 | #143 |
Señor Audiophile
Datum registracije: Jan 2007
Lokacija: Zabreg
Postovi: 3,280
|
Uffff kakve li rasprave Da ne ostane sve na rijecima ... vjerojatno ste se vec susreli sa ZFS-om i Hybrid Storage Pool rjesenjima ... ali tek toliko da ozivimo malo temu |
08.06.2010., 15:18 | #144 | |
Premium
Datum registracije: Feb 2006
Lokacija: Zagreb
Postovi: 4,888
|
Citiraj:
Sad si ga zakuhao. Da, ZFS i Hybrid SP su OK, ali imaju problemčić - cijena. Naime, ako to probaš implementirati u ozbiljnijem okruženju, SSD se troše k'o ludi (moraš ići sa SLC), a tu su cijene... Uh. Ima varijanta koja mi se više sviđa, asinhroni mirror.
__________________
Igor Batinic |
|
08.06.2010., 15:31 | #145 |
Premium
Datum registracije: Oct 2002
Lokacija: Zagreb/Rijeka
Postovi: 1,522
|
Ma mamu im njihovu... Prije godinu dana sam predlagao nesto slicno EMCu... Sa jedne strane imas SSD, a sa druge strane imas nekoliko obicnih vrtilica-diskova u RAID0 polju, i radis asinkroni mirror... Pa sam dobio odgovor - to ti nema smisla... Vec mi je lagano dosta tog odgovora "to ti nema smisla"... Kad sljedeci put cujem nesto slicno, odma idem razradjivati do detalja, jer ocito je da ima smisla...
__________________
Thinkpad - Nikad ne umiru, samo postanu obsolete... (c)FujiLim |
08.06.2010., 15:33 | #146 |
Señor Audiophile
Datum registracije: Jan 2007
Lokacija: Zabreg
Postovi: 3,280
|
@Iggy Necu vise obecajem BTW zanimljiv je taj asinkroni ... jednostavno i prekticno ... skoro kao write caching na kucnom racunalu (samo uz pokoji disk vise hehe). Eh da sjetih se i jos jednog principa - MFT-a za flash diskovlje (korisno je u najmanju ruku za write caching) ... gotovo ih pretvara u RAM diskove, ali opet je cijena poveca ... ma joj, necu vise samo kuham u zadnje vrijeme |
08.06.2010., 15:49 | #147 | ||
Premium
Datum registracije: Feb 2006
Lokacija: Zagreb
Postovi: 4,888
|
Citiraj:
Baš nemaš sreće. Iz nekih razloga to je lakše implementirati na aplikacijskoj nego na samoj storage razini. Citiraj:
Petlja se poprilično u zadnje vrijeme s takvim idejama, no problem nastaje u tome što su ekstremni zahtjevi poprilično rijetki (kako radi IOPS-a, tako i radi latencija) pa je pitanje isplativosti takvih tehnologija na svim razinama.
__________________
Igor Batinic |
||
08.06.2010., 22:37 | #148 | |
Premium
Datum registracije: Jun 2008
Lokacija: Ri
Postovi: 71
|
Citiraj:
to si prouci, sve to spada pod "kad je nešto random" |
|
08.06.2010., 22:53 | #149 | |
Premium
Datum registracije: Jan 2005
Lokacija: Zagreb
Postovi: 1,053
|
Citiraj:
|
|
08.06.2010., 22:57 | #150 | |
Premium
Datum registracije: Oct 2002
Lokacija: Zagreb/Rijeka
Postovi: 1,522
|
Citiraj:
Ja odustajem, pokazao si samo volju za pametovanjem i 'tjeranjem konca na mak', pa kud puklo da puklo. Nekolicina ljudi (neki i sa iskustvom od preko 10 godina u radu sa diskovnim sustavima) ti je lijepo dala primjere kada je potrebno iskljuciti read-cache, no ti i dalje tupis po svom i trazis, sada vec, nepostojece greske u koristenju izraza. Inace, wikipedia ti i nije bas neki relevantni izvor informacija.
__________________
Thinkpad - Nikad ne umiru, samo postanu obsolete... (c)FujiLim |
|
|
|
Oglas
|
|
|
|