Enterprise SCSI i SAS HDD-ovi i kontroleri

[Old Iggy]

Autor Garko

http://en.wikipedia.org/wiki/List_of..._distributions

to si prouci, sve to spada pod "kad je nešto random"

Nti sveca, mene i Bubbu kao službeno matematičare ideš hranit' ovim?

[Garko]

Autor generic

http://en.wikipedia.org/wiki/Uniform...8continuous%29

Da, i koji se to racunalni sistem / proces ponasa i priblizno tako osim hardverskog generatora random brojeva?!

[calypso]

Autor Garko

Da, i koji se to racunalni sistem / proces ponasa i priblizno tako osim hardverskog generatora random brojeva?!

Jel ti stvarno nisi pratio sto smo pisali do sada ili ne znas citati ili ne razumijes hrvatski?

OLTP ti je tipican primjer takvog sustava. OLTP aka. On-Line Transaction Processing. Dakle, procesiranje potpuno random upita u realnom vremenu.

Ako znas za neki prefecth algoritam kojim bi bio u stanju predvidjeti fizicke lokacije podataka koje dohvaca mreza od 500 (ma i 50 je dovoljan broj) bankomata i da ti je konacni rezultat veci od 20%, molio bih te da mi ukazes koji je to algoritam jer cu ga moci skupo naplatiti korisnicima.

I nemoj mi samo poceti o hijerarhijskim strukturama memorije jer ova realna primjena koju sam ti opisao je cista dzungla, a ne uredjeni sustav jednog racunala na kojem radi jedan korisnik. Ovdje trebamo raw power, a ne inteligentne algoritme.

Inace, jedno pitanjce ovako sa strane - sto mislis, cemu tocno sluzi mainframe i zasto se jos uvijek jako dobro prodaje?

[Bubba]

Autor calypso

Jel ti stvarno nisi pratio sto smo pisali do sada ili ne znas citati ili ne razumijes hrvatski?

Ovo prvo je posljedica ovog drugog, ocito.

[Old Iggy]

Autor Garko

Da, i koji se to racunalni sistem / proces ponasa i priblizno tako osim hardverskog generatora random brojeva?!

Brdo njih, primarno velike baze. Tebe stvarno tu muči, a?

[Garko]

Autor Old Iggy

Brdo njih, primarno velike baze. Tebe stvarno tu muči, a?

Da, volio bih vidjeti neki dokaz / rad koji tako nešto potvrđuje jer do sada to još nisam vidio. I dalje stojim iza toga da ponašanje bilo kakve poslovne aplikacije / oltpa nema uniformnu podjelu vjerojatnosti i da kod takvih sustava cache ima itekakvog smisla.

Autor calypso

Ako znas za neki prefecth algoritam kojim bi bio u stanju predvidjeti fizicke lokacije podataka koje dohvaca mreza od 500 (ma i 50 je dovoljan broj) bankomata i da ti je konacni rezultat veci od 20%, molio bih te da mi ukazes koji je to algoritam jer cu ga moci skupo naplatiti korisnicima.

I nemoj mi samo poceti o hijerarhijskim strukturama memorije jer ova realna primjena koju sam ti opisao je cista dzungla, a ne uredjeni sustav jednog racunala na kojem radi jedan korisnik. Ovdje trebamo raw power, a ne inteligentne algoritme.

Prefetch čak i ne spada u klasični caching. Ja nisam tvrdio da se sa cacheom moze nadomjestiti neki fizicki resurs, nego samo da cache znacajno pomaze u vecini slucajeva. Takodjer u ovom primjeru ne kuzim zasto npr algoritam ne bi pratio ucestalost koristenja pojedinog accounta i one koji se cesce koriste drzao u nekoj brzoj memoriji, u cacheu? Na kraju, same baze podataka su napravljene tako da vrlo dobro iskoristavaju svu mogucu memoriju za caching.

Autor calypso

Inace, jedno pitanjce ovako sa strane - sto mislis, cemu tocno sluzi mainframe i zasto se jos uvijek jako dobro prodaje?

Ja imam jedan savjet za tebe - prouči arhitekturu mainframeova.

MOD: Ne postati dva puta zaredom! Koristiti multi-quote i sve 5.

[Old Iggy]

Autor Garko

Prefetch čak i ne spada u klasični caching. Ja nisam tvrdio da se sa cacheom moze nadomjestiti neki fizicki resurs, nego samo da cache znacajno pomaze u vecini slucajeva. Takodjer u ovom primjeru ne kuzim zasto npr algoritam ne bi pratio ucestalost koristenja pojedinog accounta i one koji se cesce koriste drzao u nekoj brzoj memoriji, u cacheu? Na kraju, same baze podataka su napravljene tako da vrlo dobro iskoristavaju svu mogucu memoriju za caching.

Prvo, ne bi ga držao zato jer ima premalo cachea za takvo što, drugo, govorimo o diskovnim sustavima, ne poslužitelju s OS-om i aplikacijom (gdje jedino aplikacija može ponekad definirati što je češće a što rjeđe, ne diskovni sustav i kontroleri / cache do njega).
Ako misliš da bi neki ekspertni sustav mogao to raditi, mogao bi, ali s dva uvjeta: ogromna količina memorije za cache i višak procesorske snage.

Autor Garko

Ja imam jedan savjet za tebe - prouči arhitekturu mainframeova.

Ja je detaljnije poznajem, na što točno misliš? K tome, detaljnije poznajem i arhitekturu transakcijskih sustava (koji su idealan primjer za ovaj thread).

[calypso]

Autor Garko

Prefetch čak i ne spada u klasični caching. Ja nisam tvrdio da se sa cacheom moze nadomjestiti neki fizicki resurs, nego samo da cache znacajno pomaze u vecini slucajeva. Takodjer u ovom primjeru ne kuzim zasto npr algoritam ne bi pratio ucestalost koristenja pojedinog accounta i one koji se cesce koriste drzao u nekoj brzoj memoriji, u cacheu? Na kraju, same baze podataka su napravljene tako da vrlo dobro iskoristavaju svu mogucu memoriju za caching.

Ja imam jedan savjet za tebe - prouči arhitekturu mainframeova.

Prefetch je princip rada bilo kojeg caching algoritma. Ja stvarno ko da sa zidom pricam.

Idemo dalje, iz svega navedenog i ovdje prikazanog je ocito da ne poznajes internu strukturu diskovnih sustava, vjerojatno niti diskova kao takvih. To sto si gore naveo pod 'ne kuzim zasto npr. algoritam ne bi pratio ucestalost koristenja pojedinog accounta i one koji se cesce koriste drzao u nekoj brzoj memoriji' je recimo jedan od nacina kako caching i radi. Ali tebi nikako da dodje do glave da u velikoj vecini primjena takav princip rada NEMA SMISLA.

To sto ti ne vjerujes da je raspodjela vjerojatnosti uniformna je tvoj problem, mi koji se time bavimo znamo jako dobro koji je to problem, zbog cega je prisutan, kako se manifestira i na koji nacin se rjesava. Jedino ti, koji si doslovno pao iz vedra neba, tvrdis da to sto mi kazemo nije istina. Rekao sam ti - imaj si korisnika, radi na svoj nacin i prati njegovo zadovoljstvo radom, to ti je najbolji nacin kako da ocijenis da li nesto funkcionira ili ne i da li ti je pretpostavka bila dobra.

Inace, ti mozes cijeli LUN prebacit u cache ako te to zadovoljava, imas na EMC Symmetrixu nesto sto se zove PermaCache koja je u stanju uzeti LUN i iskopirati ga u cache memoriju. No, Symmetrix ima mogucnost prosirenja cache memorije na preko 1TB, a o cijenama necemo. Sa druge strane, imas tehnologije koje se bave automatskim storage tieringom i u stanju su automatski i bez gledanja korisnika seljakati ili LUNove ili blokove podataka prema performansnim zahtjevima. Recimo, primjera radi - imas 3 tipa diska u staroge sustavu - SSD, 15k FC i SATA. Imas nekoliko tipova aplikacija koje rade i koje nemaju sve iste performansne zahtjeve. Tehnologija koja je zaduzena za automatski tiering gleda statistiku koristenja sustava unatrag nekoliko dana/tjedana i nanjusi koje kriticne podatke moze pobacati na brze diskove, koje moze na sporije diskove, a koje nema potrebe dirati i seljakati okolo.

Sto se tice mainframea, nemas brige tu, znam sasvim dovoljno o tome, no cudi me da nisi shvatio poantu zasto sam te to pitao. Dakle jos jednom, koja je primarna namjena mainframe racunala i gdje se oni zapravo koriste i pokazuju svoju pravu moc? A usput, mozes mi dati i primjere nekoliko modela ako ti se da istrazivat, tek toliko da vidim da pricamo o istoj stvari. Vise ti nis ne vjerujem, previse gluposti si napricao i uporno se pravis pametan.

[Garko]

Autor Old Iggy

Prvo, ne bi ga držao zato jer ima premalo cachea za takvo što, drugo, govorimo o diskovnim sustavima, ne poslužitelju s OS-om i aplikacijom (gdje jedino aplikacija može ponekad definirati što je češće a što rjeđe, ne diskovni sustav i kontroleri / cache do njega).
Ako misliš da bi neki ekspertni sustav mogao to raditi, mogao bi, ali s dva uvjeta: ogromna količina memorije za cache i višak procesorske snage.

Samo sam htio naglasiti da kod bazi od par TB disk nije jedini element sustava i da sve skupa treba gledati kao cjelinu, a ne davati nekakve ocjene da nešto treba kad u većini slučajeva ne treba.

Autor Old Iggy

Ja je detaljnije poznajem, na što točno misliš? K tome, detaljnije poznajem i arhitekturu transakcijskih sustava (koji su idealan primjer za ovaj thread).

Konkretno mislim da je sistem usklađen u smislu idealnog opterećenja svakog resursa (i dovoljnog broja istih) prema potrebama onoga što se izvodi na sistemu.

Također ako poznaješ transakcijske sustave onda ti je vjerojatno i poznato da je nemoguće da događaji unutar transakcijskog sustava imaju uniformnu distribuciju vjerojatnosti. Samo u slučaju da resursa nema dovoljno može se reći da se cijeli sistem ponaša kao da je ta distribucija uniformna i tada samo cache i sve ostale stvari gube smisao - ali i u tom slučaju bolji IO sustav ne pomaže previše osim ako samo on nije bottleneck cijelog sistema. Eto, samo to.

[calypso]

Autor Garko

Samo sam htio naglasiti da kod bazi od par TB disk nije jedini element sustava i da sve skupa treba gledati kao cjelinu, a ne davati nekakve ocjene da nešto treba kad u većini slučajeva ne treba.

Konkretno mislim da je sistem usklađen u smislu idealnog opterećenja svakog resursa (i dovoljnog broja istih) prema potrebama onoga što se izvodi na sistemu.

Također ako poznaješ transakcijske sustave onda ti je vjerojatno i poznato da je nemoguće da događaji unutar transakcijskog sustava imaju uniformnu distribuciju vjerojatnosti. Samo u slučaju da resursa nema dovoljno može se reći da se cijeli sistem ponaša kao da je ta distribucija uniformna i tada samo cache i sve ostale stvari gube smisao - ali i u tom slučaju bolji IO sustav ne pomaže previše osim ako samo on nije bottleneck cijelog sistema. Eto, samo to.

Ti ko da radis u jednoj banci tu kod nas...

Sto se samog mainframea tice, imas nekoliko karakteristika:
1) Svaki proces se izvodi u minimalno dvije instance i rezultati se usporedjuju
2) Sve komponente su redundantne (procesori, memorije, sabirnice, itd)
3) Mainframe je masina namijenjena skoro pa iskljucivo transakcijskom okruzenju, to nije procesorski mocna masina, ali po IO operacijama joj nijedna druga mnogostruko procesorski mocnija platforma ne moze ni primirisati

Zato sam te i pitao jel znas cemu tocno sluze mainframe masine i zasto se i dan danas prodaju.

Sto se bottlenecka tice, diskovni podsustav je uvijek bottleneck svakog sustava. U nekim sustavima vise, u drugima manje. Postoji i opcija da je aplikacija lose pisana, ali aplikacija se moze izvaditi na dobro poslozenom diskovnom podsustavu, dok se i najbolje pisana aplikacija moze itekako vuci na lose postavljenom diskovnom podsustavu... Razgranici pojmove sustav i podsustav, pricam opcenito u ovom slucaju.

BTW., oces primjer jednog hebeno random (uniformno random) okruzenja? SMS centar za recimo nekog mobilnog operatera u Kini ili Indiji. Ako si ti u stanju predvidjeti tko ce kome slati SMSove, kada i sto ce tamo sve pisati, onda ozbiljno skidam kapu...

[Old Iggy]

Autor Garko

Samo sam htio naglasiti da kod bazi od par TB disk nije jedini element sustava i da sve skupa treba gledati kao cjelinu, a ne davati nekakve ocjene da nešto treba kad u većini slučajeva ne treba.

Brkaš stvari. Disk (tj. kompletan DASD sustav, kontroleri, njihov cache i slično) je potpuno nezavisan od ostatka sustava, čak štoviše, svih sustava koji su nakačeni na njega, ako ih je više.

Autor Garko

Konkretno mislim da je sistem usklađen u smislu idealnog opterećenja svakog resursa (i dovoljnog broja istih) prema potrebama onoga što se izvodi na sistemu.

Ni najmanje.

Autor Garko

Također ako poznaješ transakcijske sustave onda ti je vjerojatno i poznato da je nemoguće da događaji unutar transakcijskog sustava imaju uniformnu distribuciju vjerojatnosti.

Ovisi da li gledaš o sustavu kroz određeni dio vremena ili stalno. To se bitno mijenja, kao i to da sustavi mogu biti strahovito različiti.