![]() |
lol calypso to sto je sustav stohastican ne znaci da je random, sto je najbolje vecina stohasticnih sustava se vrlo dobro da opisati i a njihov rad predvidjeti
pravi random sustavi su vrlo vrlo rijetki, rekao bih gotovo zanemarivi ne kuzim kakvi su to spasioci kad enterpise SSD diskovi 2-3 puta manjeg kapaciteta kostaju 2-3 puta vise |
Citiraj:
Citiraj:
Citiraj:
|
Citiraj:
Primjer jednog tipicnog random sustava ti je transakcijska baza podataka (OLTP aplikacije). Ako ti mozes predvidjeti 80% od 100k IO operacija koje se zele obaviti svake sekunde, ja te ovog trenutka vodim na rucak. Daj mi takav algoritam slozi, jer mi treba za neke druge puno pametnije stvari. ;) Inace, enterprise SSD diskovi kostaju za isti kapacitet po 10-20x vise od obicnog FC diska na 15k (400GB SSD vs 450GB FC). No, kazem, spasioci jer za potrebe aplikacije koja mora imati diskovni sustav sposoban isporuciti 20k IOPSa ne trebas 100 komada 15k FC diskova koje ces short-strokeati, vec 4 SSD diska. Racunaj da ove FC diskove treba sloziti u ladice ($$), treba ih napajati energijom ($$), treba ih ohladiti ($$), treba dimenzionirati UPS i za njih ($$), treba imati minimalno jos 2-3 hotspare diska na 100 komada ($$), i kada sve $$ zajedno zbrojis zajedno sa 100x cijenom FC diska, dobijes zanimljivu brojku koja ti kaze da ti je ipak dugorocno isplativije koristiti SSD disk nego te silne FC diskove. Mnogi se zafrknu kada racunaju samo CapEx (kapitalna investicija, odn., ona prvotna - kupnja diskova), a ne racunaju OpEx (operativna investicija, odn., lova koju trosis za odrzavanje takvog sustava). |
Citiraj:
Citiraj:
Citiraj:
Citiraj:
Citiraj:
|
Citiraj:
Npr dogadjaji na burzi su puno neodredjeniji stohasticki procesi od npr racunalnih procesa. Dalje ako pogledas malo povijest burzi lako mozes zakljuciti da ako sad ulozis u neki portfelj za 20 godina sa 99% sigurnoscu mozes racunati na rast vrijednosti istog ;) Nije to bas tako "random" kao output nekog pravog random generatora ;) |
Citiraj:
|
lol ovo bi trebalo repostati na hsgr :D
deterministicki odrediti ponasanje OLTP sustava je dobar naslov teme za tvoj sljedeci unos na blogu Citiraj:
Citiraj:
Citiraj:
Citiraj:
|
Citiraj:
Citiraj:
Citiraj:
|
Citiraj:
Sto se tice slucajeva o kojima pricamo, OLTP je samo bio primjer tipicne okoline kojoj ne mozes odrediti deterministicko ponasanje. No, ovo je sada vec poprilicno odlutalo od teme i samo se bezveze prepucavamo. Iggy ti je spomenuo jos i virtualizaciju (o kojoj, srecom, poprilicno i osobno znam), tako da je to jos jedan primjer za okolinu cije ponasanje ne mozes predvidjeti, stoga kakav god cache imao, koristi ga radije kao write-cache, nego kao read-cache. Ili, ako imas sustav koji je sposoban dinamicki alocirati i balansirati izmedju read/write cachea, mozes za dnevne produkcijske potrebe koristiti 10 READ - 90 WRITE, a u nocnom radu (dnevni inkrementalni backup, i slicne Tier2 aplikacije) stavi 90 READ i 10 WRITE. BTW., Iggy, jel ima kakav sustav koji moze tako dinamicki alocirati cache, ovisno o potrebama? Znam da ovi napredniji imaju cache partitioning, no to mi samo sluzi da definiram cache-page (4k, 8k, 16k, itd) za potrebe nekih specificnih aplikacija (SQL, Exchange, Oracle, DB2, itd). Mene bas zanima da li ima nacin kako dinamicki alocirati ovo sto sam gore napisao, nikad to nisam vidio niti na jednom storage sustavu. Sto se tice FC-a, istina je da je tehnologija postala prihvatljiva i manjim korisnicima (SMB market) i da se sve cesce korisnici odlucuju za takve sustave. A sto se tice onog da se dnevno instaliralo par komada, nije bas dnevno, ali recimo u periodima od 2-3 tjedna bi otisao jedan takav sustav ili bi se nadogradjivao postojeci. |
Citiraj:
Citiraj:
Stohasticki = slucajno = "random" Stohasticki procesi = slucajni procesi = "random process" Citiraj:
Citiraj:
Citiraj:
Citiraj:
|
E, Bubba, sad si ga vala ubio sve u pojam.
Ajde dosta detaljiziranja, necemo se pravit pametni vise. Aj giv ap. :) |
Citiraj:
Citiraj:
Citiraj:
Citiraj:
Citiraj:
|
Citiraj:
Bubba, ne svojataj temu! :chears: |
Vidim u cem je nastao problem. Ima i pravo sto se tice terminologije :)
Ja sam konkretno mislio na raspodjele vjerojatnosti kod nekog stohastickog (random) procesa - koliko sam ja razumio Iggy je tvrdio da je ta raspodjela jednakomjerna unutar tih random procesa - to je meni znacio pojam "random" koji on koristi - i da caching zbog toga nema smisla - jer u tom slucaju i nema smisla. Cim ta raspodjela nije jednakomjerna nego npr Gaussova ili bilo koja u kojoj jedni dogadjaji imaju pa cak i minimalno vecu vjerojatnost caching ima smisla i ovisno o toj razlici se moze manje ili vise iskoristiti. |
Citiraj:
Slucajnosti o kojima mi pisemo, pogotovo jer pricamo o realnim aplikacijama, su takve da ih je nemoguce determinirati (dakle, odrediti). Meni na storageu sa 1TB cachea nista ne znaci read-cache ako imam 2000 diskova sa zadnje strane. Jednostavno, napadi na produkcijske okoline ciji podaci se drze na takvom storage sustavu su nepredvidivi i ne postoji taj read-cache algoritam koji ce znati odrediti koji ce biti sljedeci podatak koji ce biti procitan, ili barem blok podataka. U tom slucaju mi puno vise znaci da imam veliki write-cache i izrazito velik throughput na diskovima. A SSD diskovi mi omogucavaju bas to - izrazito velik throughput. Racunaj da 15k FC disk ima throughput u nekakvim standardnim uvjetima koji iznosi oko 180 IOPSa, a jedan SSD disk moze imati od 2000 pa do 30000 IOPSa. Svojedobno sam vodio slicnu raspravu sa kolegom iz bivse firme u kojoj je on uporno tvrdio da na storage treba staviti cijeli veci dio cache memorije u read-cache, a ja se - eto - nisam mogao nacuditi otkud njemu takve ideje. :no2drug: Da zakljucimo - SSD diskovi imaju svoju primjenu (i itekako su opravdani u nekim sustavima, iako im je cijena iznimno visoka). FC diskovi sa druge strane postaju commodity i sve se cesce mogu vidjeti u manjim okruzenjima. Izbor diskova (kapacitet i kolicina) ovisi o primjeni i jedino sto je bitno je dobro dimenzioniranje sustava. A opet, dimenzioniranje ti ne moze napraviti netko tko se ne kuzi u to sto se trazi. I na kraju, onaj najbitniji dio (koji je i uvijek najbitniji) - proizvodjac sustava je nebitan, dok god se business moze vrtiti na takvom sustavu kontinuirano i bez prekida. :chears: |
Dakle imas mjerenja koja potvrdjuju da je raspodjela citanja sektora takva da svaki sektor ima jednaku vjerojatnost da bude procitan u sljedecem requestu? Ako imas molio bih te da ga linkas, bas me zanima.
Jos jedno pitanje - sto ti mislis zasto uopce postoji na racunalima memorijska hijerarhija odnosno cache? |
Citiraj:
Inace, kako sam vec ranije napomenuo - sve ovisi o primjeni. Ako imas allaround sustav (recimo tipicni PC), onda imas vise tipova memorije - tvrdi disk, disk cache, RAM, L2 cache, L1 cache. No ovdje je puno lakse odrediti koji podaci ce biti procitani u sljedecem IO ciklusu jer je sve tu visemanje slijedno citanje. Ako pak imas nekakav audio/video sustav (recimo nekakav video-on-demand sustav), tu mozes komotno veci dio cachea baciti u read-cache jer ce sustav 80% vremena raditi u modu sekvencijalnog citanja i onda nije nikakva mudrost odrediti koji ce biti sljedeci procitani podatak. E, da, iTunes je pak sa druge strane puno zeznutiji sustav koji bi granicio sa OLTP sustavima po svojim karakteristikama, no ovaj bi imao kombinaciju OLTP-a i sekvencijalnog citanja, tako da ces imati velike koristi od read-cachea. Ali ako imas izrazito stohastican sustav (reci ti meni, jel tebe ovo zivcira ili zabavlja ili samo trollas bezveze?), po tvom - sustav u kojem svaki podatak ima podjednaku vjerojatnost da ce biti sljedeci, sto na velikoj kolicini podataka cini bilokakvo predvidjanje besmislenim, tada je takvom sustavu read-cache doslovno beskoristan. Jedino u slucaju da cache-hit ratio od 0.002% smatras velikim uspjehom. No, vjerojatno postoji ista sansa da ce se meni ispuhati guma od auta preko noci. Nije nevjerojatno, ali je vjerojatnost toliko mala da ce se to desiti da se uopce ne isplati zafrkavati sa time. Inace, ako te bas zanima, ovi malo veci enterprise sustavi koji imaju brda i brda cachea (>128GB) taj cache koriste vecim dijelom za write-cache, jednim velikim dijelom za cache koji se koristi kod replikacije (sinkrone ili asinkrone) ili izrade klonova/snapshota, i jako malim dijelom za cisti read-cache. Replikacija - to ti je zapravo repliciranje write-cachea izmedju dva storagea. Izrada klonova - e, za ovo ti recimo treba read-cache, no to nije nimalo random okolina, vec imas cisto slijedno citanje, tako da imas nesto i za predvidjeti da ti sansa bude veca od 50% da ces pogoditi sljedeci podatak. Izrada snapshota se svodi na random write, i nema bas neke veze sa read operacijama. |
Citiraj:
Citiraj:
|
Iggy, nisi mi odgovorio.
Jel ima nekakav storage sustav koji je u stanju dinamicki balansirati read/write cache ovisno o nekim predefiniranim parametrima (dnevni rad/nocni rad). Ili su svi napravljeni tako da budu set&forget? |
Citiraj:
Citiraj:
Citiraj:
|
Citiraj:
Ne znam mozda cu morat pocet crtat :lol2: Citiraj:
Citiraj:
|
Citiraj:
Automatsko dinamičko balansiranje mislim da neki veći sustavi mogu (iako je upitna korist, da li želiš pokušati implementirati QoS u situacijama kad ti takvo što može na drugim razinama srušiti performanse, isto pitanje kao kod thin provisioninga), u midrangeu možeš putem skripti, kao što možeš i igrati se sa snapshotima, rekonfigurirati storage grupe i slično. Ako misliš, recimo primjer, mijenjati cache postavke kako bi oslobodio više memorije za noćni backup, moguće je. Citiraj:
Citiraj:
Citiraj:
Da, cache općenito ima smisla. Osim kad je nešto random. Tad je preporuka isključivanje read cachea na mnogim razinama. |
Uffff kakve li rasprave :D
Da ne ostane sve na rijecima ... vjerojatno ste se vec susreli sa ZFS-om i Hybrid Storage Pool rjesenjima ... ali tek toliko da ozivimo malo temu :) |
Citiraj:
Sad si ga zakuhao. :D Da, ZFS i Hybrid SP su OK, ali imaju problemčić - cijena. :( Naime, ako to probaš implementirati u ozbiljnijem okruženju, SSD se troše k'o ludi (moraš ići sa SLC), a tu su cijene... Uh. :( Ima varijanta koja mi se više sviđa, asinhroni mirror. :D |
Citiraj:
Vec mi je lagano dosta tog odgovora "to ti nema smisla"... Kad sljedeci put cujem nesto slicno, odma idem razradjivati do detalja, jer ocito je da ima smisla... :) |
@Iggy
Necu vise obecajem :D BTW zanimljiv je taj asinkroni ... jednostavno i prekticno ... skoro kao write caching na kucnom racunalu (samo uz pokoji disk vise hehe). Eh da sjetih se i jos jednog principa - MFT-a za flash diskovlje (korisno je u najmanju ruku za write caching) ... gotovo ih pretvara u RAM diskove, ali opet je cijena poveca ... ma joj, necu vise samo kuham u zadnje vrijeme :D |
Citiraj:
Baš nemaš sreće. :D Iz nekih razloga to je lakše implementirati na aplikacijskoj nego na samoj storage razini. :kafa: Citiraj:
Petlja se poprilično u zadnje vrijeme s takvim idejama, no problem nastaje u tome što su ekstremni zahtjevi poprilično rijetki (kako radi IOPS-a, tako i radi latencija) pa je pitanje isplativosti takvih tehnologija na svim razinama. |
Citiraj:
to si prouci, sve to spada pod "kad je nešto random" |
Citiraj:
:fiju: |
Citiraj:
Ja odustajem, pokazao si samo volju za pametovanjem i 'tjeranjem konca na mak', pa kud puklo da puklo. Nekolicina ljudi (neki i sa iskustvom od preko 10 godina u radu sa diskovnim sustavima) ti je lijepo dala primjere kada je potrebno iskljuciti read-cache, no ti i dalje tupis po svom i trazis, sada vec, nepostojece greske u koristenju izraza. Inace, wikipedia ti i nije bas neki relevantni izvor informacija. :kafa: |
Citiraj:
|
Citiraj:
|
Citiraj:
OLTP ti je tipican primjer takvog sustava. OLTP aka. On-Line Transaction Processing. Dakle, procesiranje potpuno random upita u realnom vremenu. Ako znas za neki prefecth algoritam kojim bi bio u stanju predvidjeti fizicke lokacije podataka koje dohvaca mreza od 500 (ma i 50 je dovoljan broj) bankomata i da ti je konacni rezultat veci od 20%, molio bih te da mi ukazes koji je to algoritam jer cu ga moci skupo naplatiti korisnicima. I nemoj mi samo poceti o hijerarhijskim strukturama memorije jer ova realna primjena koju sam ti opisao je cista dzungla, a ne uredjeni sustav jednog racunala na kojem radi jedan korisnik. Ovdje trebamo raw power, a ne inteligentne algoritme. Inace, jedno pitanjce ovako sa strane - sto mislis, cemu tocno sluzi mainframe i zasto se jos uvijek jako dobro prodaje? |
Citiraj:
|
Citiraj:
|
Citiraj:
Citiraj:
Citiraj:
MOD: Ne postati dva puta zaredom! Koristiti multi-quote i sve 5. |
Citiraj:
Ako misliš da bi neki ekspertni sustav mogao to raditi, mogao bi, ali s dva uvjeta: ogromna količina memorije za cache i višak procesorske snage. Citiraj:
|
Citiraj:
Idemo dalje, iz svega navedenog i ovdje prikazanog je ocito da ne poznajes internu strukturu diskovnih sustava, vjerojatno niti diskova kao takvih. To sto si gore naveo pod 'ne kuzim zasto npr. algoritam ne bi pratio ucestalost koristenja pojedinog accounta i one koji se cesce koriste drzao u nekoj brzoj memoriji' je recimo jedan od nacina kako caching i radi. Ali tebi nikako da dodje do glave da u velikoj vecini primjena takav princip rada NEMA SMISLA. To sto ti ne vjerujes da je raspodjela vjerojatnosti uniformna je tvoj problem, mi koji se time bavimo znamo jako dobro koji je to problem, zbog cega je prisutan, kako se manifestira i na koji nacin se rjesava. Jedino ti, koji si doslovno pao iz vedra neba, tvrdis da to sto mi kazemo nije istina. Rekao sam ti - imaj si korisnika, radi na svoj nacin i prati njegovo zadovoljstvo radom, to ti je najbolji nacin kako da ocijenis da li nesto funkcionira ili ne i da li ti je pretpostavka bila dobra. Inace, ti mozes cijeli LUN prebacit u cache ako te to zadovoljava, imas na EMC Symmetrixu nesto sto se zove PermaCache koja je u stanju uzeti LUN i iskopirati ga u cache memoriju. No, Symmetrix ima mogucnost prosirenja cache memorije na preko 1TB, a o cijenama necemo. Sa druge strane, imas tehnologije koje se bave automatskim storage tieringom i u stanju su automatski i bez gledanja korisnika seljakati ili LUNove ili blokove podataka prema performansnim zahtjevima. Recimo, primjera radi - imas 3 tipa diska u staroge sustavu - SSD, 15k FC i SATA. Imas nekoliko tipova aplikacija koje rade i koje nemaju sve iste performansne zahtjeve. Tehnologija koja je zaduzena za automatski tiering gleda statistiku koristenja sustava unatrag nekoliko dana/tjedana i nanjusi koje kriticne podatke moze pobacati na brze diskove, koje moze na sporije diskove, a koje nema potrebe dirati i seljakati okolo. Sto se tice mainframea, nemas brige tu, znam sasvim dovoljno o tome, no cudi me da nisi shvatio poantu zasto sam te to pitao. Dakle jos jednom, koja je primarna namjena mainframe racunala i gdje se oni zapravo koriste i pokazuju svoju pravu moc? A usput, mozes mi dati i primjere nekoliko modela ako ti se da istrazivat, tek toliko da vidim da pricamo o istoj stvari. Vise ti nis ne vjerujem, previse gluposti si napricao i uporno se pravis pametan. |
Citiraj:
Citiraj:
Također ako poznaješ transakcijske sustave onda ti je vjerojatno i poznato da je nemoguće da događaji unutar transakcijskog sustava imaju uniformnu distribuciju vjerojatnosti. Samo u slučaju da resursa nema dovoljno može se reći da se cijeli sistem ponaša kao da je ta distribucija uniformna i tada samo cache i sve ostale stvari gube smisao - ali i u tom slučaju bolji IO sustav ne pomaže previše osim ako samo on nije bottleneck cijelog sistema. Eto, samo to. |
Citiraj:
Sto se samog mainframea tice, imas nekoliko karakteristika: 1) Svaki proces se izvodi u minimalno dvije instance i rezultati se usporedjuju 2) Sve komponente su redundantne (procesori, memorije, sabirnice, itd) 3) Mainframe je masina namijenjena skoro pa iskljucivo transakcijskom okruzenju, to nije procesorski mocna masina, ali po IO operacijama joj nijedna druga mnogostruko procesorski mocnija platforma ne moze ni primirisati Zato sam te i pitao jel znas cemu tocno sluze mainframe masine i zasto se i dan danas prodaju. Sto se bottlenecka tice, diskovni podsustav je uvijek bottleneck svakog sustava. U nekim sustavima vise, u drugima manje. Postoji i opcija da je aplikacija lose pisana, ali aplikacija se moze izvaditi na dobro poslozenom diskovnom podsustavu, dok se i najbolje pisana aplikacija moze itekako vuci na lose postavljenom diskovnom podsustavu... Razgranici pojmove sustav i podsustav, pricam opcenito u ovom slucaju. BTW., oces primjer jednog hebeno random (uniformno random) okruzenja? SMS centar za recimo nekog mobilnog operatera u Kini ili Indiji. Ako si ti u stanju predvidjeti tko ce kome slati SMSove, kada i sto ce tamo sve pisati, onda ozbiljno skidam kapu... :chears: |
Sva vremena su GMT +2. Sada je 12:28. |
Powered by vBulletin®
Copyright ©2000 - 2025, Jelsoft Enterprises Ltd.
© 1999-2024 PC Ekspert - Sva prava pridržana ISSN 1334-2940
Ad Management by RedTyger