"Projektic" - Roshtiljni cluster (Intel Q9300 based)

[^SuperUnknown^]

Eto ukazala se potreba na poslu za povecanim renderingom, pa sam odlucio sloziti malu render farmicu. Za sad su u igri samo 2 "PC-a", uskoro stizu jos 3. Neki okvirni plan mi je zaustaviti se na cca 10

Moram priznati da sam u sve krenuo inspiriran ovime:
http://www.calvin.edu/~adams/research/microwulf/

Pa sam tako odlucio ici na mATX rjesenja sa integriranom grafickom (jer ce se vrsiti iskljucivo CPU izracunavanja), gigabitnim LAN-om, te pouzdanom plocom sa 3 god. garancije. Pouzdanost i stabilnost je imperativ, pa je logican izbor bio Intel ploca+Intel CPU. Ploca koja se namece kao najlogicniji izbor je Intelova DQ35JOE "Johannesburg" sa Q35 chipsetom, integrushom, GB LAN-om, Firewireom - ukratko svim bitnim. Mjesto kupnje, naravno, Autronic zbog 3-god. garancije na Intel ploce. Sweet. Naravno ploce poslovicno dolaze samo u antistatickoj vrecici, ali potpuno nebitno, barem je smeca nakon sklapanja manje.




Proc - odlican i frishki Intel-ov Q9300. 45nm, 2.5 GHz, 6MB L2. Posto nece biti OC-a, izbor je najlogicniji moguci. Sto jos reci




Uz Q9300 dolazi vec poznati minijaturni i tihi cooler, sa Delta ventom. Moram priznati da je u idle-u cooler potpuno hladan, u load-u doduse jos nisam nista isprobao. Apsolutno vjerujem da ce temperature biti u najmanju ruku smijesne




Napajanje provjereno Corsair 450W VX (ADM, 5. god. gar.), RAM provjeren Kingmax 2GB 800Mhz (4 GB po stroju, zasad).




Uglavnom, otrchah po M4 shipke s navojima u Bauhaus, 5kn/komad. Duzine su oko 1m, ja sam iskoristio otprilike duzinu za napikati 5 ploca na njih, s tim da sam ostavio dovoljno mjesta za eventualnu nadogradnju PCI-E grafuljom. Nesto matica (sto obicnih, sto slijepih), ukupan trosak cca 80kn.




Prvo sam napravio mali testic sa 2 stare i pokojne maticne:




Kako se to pokazalo prilicno OK rjesenjem, napikao sam Intel-ice na njih i to onda izgleda ovako




Eto, tako to otprilike izgleda, bit ce jos mocnije kad se popuni sa jos maticnih A jedan od razloga zasto sam ovo sve postao jest par pitanja:

1) Da li bi moglo biti problema obzirom da ce sve maticne imati istu (zajednicku) masu (preko sarafa)?
2) Da li bi se dalo i koliko je komplicirano izvesti mrezni boot Windowsa (da se svi strojevi dignu sa jednog diska)?
3) Trebao bih prijedloge oko smjestaja napajanja. Kako ih ucvrstiti nekako zajedno, s obzirom da ce morati stajati pored ploca?
4) Bilo bi pametno to sve ipak staviti u neki zatvoreni prostor, tipa nekakav kredenc od pleksija? Sto bi se tu dalo napraviti? Plastisha i ostali kreativci, pucajte ideje
5) Na koji nacin pratiti stanje svih strojeva odjednom (temperature, zauzece procesora, diskova, uptime, idealno bi bilo u obliku nekih web-based statistika)

Za kraj, posebna zahvala Acquisitum Magnumu na ekpresnoj obradi narudzbe i dostavi robe kao i prigodnim poklonima

Eto, svaki komentar i sugestija dobrodosli!

[IcyTexx]

Hehe, SU poludio...
Baš me zanima kak će na kraju ispast, ovo je fenomenala.

[horza]

frajeru. prekul. samo... jel ti to namjeravaš gore vrtit windowse? nije da se nesto kužim u clustere, ali ono što *wulf stvari čini zgodnima je beowulf koncept clustera, a on podrazumjeva (i ovisi o) linuxu. ili sam totalno puko? doduse, sa ovakvim resursima brijem da nije ni neki bed gore stavit vmware (ma koliko to kontradiktorno zvučalo).
svojevremeno sam vrtio takav "minicluster" baziran na live distri (thin clienti sa bootom sa cd-a/usb-a) i to radi totalno lijepo. cak nije nista trebalo ni konfigurirati.

[danij3l]

da, zasto zaklati takav hardware s losim softwareom.

[Hamm]

bravo bik...jedva čekam da to vidim gotovo (a onda znaš di dolazim)

[Matth€w]

Prefora ovo s stavljanjem ploča jednu na drugu, zgleda ko SLi ploča.

Moćan stroj.

[TomRi]

e prelud si.

a u vezi onih pitanja sto imas oko konstrukcije i slicno..

baci oko tu.

link na cluster (2x6 mATX ploča): http://www.mini-itx.com/projects/cluster/?p

[Ziga]

Autor ^SuperUnknown^

1) Da li bi moglo biti problema obzirom da ce sve maticne imati istu (zajednicku) masu (preko sarafa)?

Pitao sam bratića koji se razumije u računanje pritisika sile na neki dio materijala. Rekao je da je najveći pritisak između predzadnje i zadnje ploče.
Ali ukupna težina je mala pa nebi smjelo biti nikakvih problema.

[SRV]

Prosto mi je nevjerojatno vidjet tako mali box cooler za Q9300. Znam da se malo grije, ali pobogu, moj sad vec stari E2160 ima duplo veci cooler.

SU, fino si to slozio.

[CPU]

Autor Ziga

Pitao sam bratića koji se razumije u računanje pritisika sile na neki dio materijala. Rekao je da je najveći pritisak između predzadnje i zadnje ploče.
Ali ukupna težina je mala pa nebi smjelo biti nikakvih problema.

mislim da nije mislio na težinu matičnih nego (masu,nulu, -) ili kak se već može nazvati ona crna žica koja izlazi iz napajanja.

[rib@]

Za prvo.
Vjerojatno mislis na masu od struje, ali to nebi smjelo predstavljai nikakav problem.
Ako budes imal vise napajanja, a mislim da budes trebal, bilo bi njihove mase spojiti tak da nebude nikakvih razlika u potencijalima (mada bi i bez spajanja te rezlike trebale biti minimalne).
A kaj se tice mehanike nemas beda, po uzduznoj osi su srafi (navojne sipke) izdrzljive vise nego bi si mogel misliti.
Btw kaj se hladjenja tice mozda bi se problemcic mogel pojaviti u ljetnim mjesecima, ali to se jednostavno rjesava tak da se postavi ormar da moze klima lagano piriti po njemu.

[Ziga]

Autor CPU

mislim da nije mislio na težinu matičnih nego (masu,nulu, -) ili kak se već može nazvati ona crna žica koja izlazi iz napajanja.

neću više ništa pisati ako sam pio noć prije

[^SuperUnknown^]

Autor horza

frajeru. prekul. samo... jel ti to namjeravaš gore vrtit windowse? nije da se nesto kužim u clustere, ali ono što *wulf stvari čini zgodnima je beowulf koncept clustera, a on podrazumjeva (i ovisi o) linuxu.

Paaaa, zasad su gore Windowsi i instalirat cemo render nodove od grafickih programa koji se koriste. U teoriji bi trebalo raditi dobro, ali jos cemo vidjet. Trenutno smo u guzvari, pa se jos ne stignemo igrati s tim previse... Ali planirao sam mozda poigrati se sa ovim:

http://www.vvertex.com/muster.html
http://www.uberware.net/

Autor TomRi

baci oko tu.

link na cluster (2x6 mATX ploča): http://www.mini-itx.com/projects/cluster/?p

Zanimljivo, proucit cu svakak, fala

Autor SRV

Prosto mi je nevjerojatno vidjet tako mali box cooler za Q9300. Znam da se malo grije, ali pobogu, moj sad vec stari E2160 ima duplo veci cooler.

SU, fino si to slozio.

Fala, fala, jos ima tu posla, al zasad je OK. Ja sam se isto iznenadio kad sam iz kutije izvadio taj mali coolercic, ocekivao sam da ce ici samo uz E8xxx serije. Ali ocito je i vise nego dovoljan, danas smo strojceke opteretili do jaja i cooler je na opip lagano topao. Vise topline isijavaju pasivci sa MCH i ICH-a

Autor CPU

mislim da nije mislio na težinu matičnih nego (masu,nulu, -) ili kak se već može nazvati ona crna žica koja izlazi iz napajanja.

Upravo to

Autor rib@

Za prvo.
Vjerojatno mislis na masu od struje, ali to nebi smjelo predstavljai nikakav problem.
Ako budes imal vise napajanja, a mislim da budes trebal, bilo bi njihove mase spojiti tak da nebude nikakvih razlika u potencijalima (mada bi i bez spajanja te rezlike trebale biti minimalne).
A kaj se tice mehanike nemas beda, po uzduznoj osi su srafi (navojne sipke) izdrzljive vise nego bi si mogel misliti.
Btw kaj se hladjenja tice mozda bi se problemcic mogel pojaviti u ljetnim mjesecima, ali to se jednostavno rjesava tak da se postavi ormar da moze klima lagano piriti po njemu.

Kako bilo, stvar danas upogonjena i radi besprijekorno Mislim da zagrijavanje nece bit problem ni u ljetnim mjesecima, pogotovo jer ce se sve nalaziti u klimatiziranom prostoru...

[Wind_Wisper]

Daj par slikica kako radi stroj, si testiro kaj temp ili samu stabilnost? Koje sustave koristi
Daj malo detalja da moremo dalje sliniti

Edit:

Zaboravio jos samo da pitam kolko je ukupno doslo para i vremena oduzelo cijeli ovaj dio projekta i da li jos sto planiras obuci to u neki case ili????
Sorry kaj gnjavim ali sam znatizeljan

[Bilobrkster]

a.) radi li Leopard na tome?
b.) will it blend?

[bego2]

ja uopće ne kužim kaj ti radis al dobro netko i to mora

žiwio...uvijek neke ludarije od tebe.

[speedy-3]

Autor ^SuperUnknown^

Kako bilo, stvar danas upogonjena i radi besprijekorno Mislim da zagrijavanje nece bit problem ni u ljetnim mjesecima, pogotovo jer ce se sve nalaziti u klimatiziranom prostoru...

,,, imas u planu mozda prelazak na linux, koliko su ti teske scene/modeli koje rendas, radi se samo u Atodeskovim alatkama ili mozda ima i Newteka, Zbrsuh...

ay nabaci malo vise informacija sad kad pila radi vec par dana ima nas znatizeljnih

[Uber Gosu]

Brutala teska
Samo da kazem da sa ovm konstrukcijom neces imat nikakvih problema osim mozda sa vibracijama(ovisi kak ces napajanja izvest).

Moram ostat susdrzan dok ne vidim "realni" test u renderingu jer ovako odokativno mogu zakljucit sljedece(znaci totalno baljezgam):
[ C2D~2.5GHz +MBO+PSU+RAMi ] x 3 = Q6600@3.6GHz +Mbo+PSU+RAMi
Pa mi nije jasna ekonomska isplativost(a opet mozda i ja nevidim nesto ocito).
PS
Ja bi sve u neki "fensi" plexi pobacao pa da vidi raja da nema samo NASA to cudo.......

EDIT:
Ops, my bad nisam dobro citao da je quad u igri.......

[^SuperUnknown^]

Autor Wind_Wisper

Daj par slikica kako radi stroj, si testiro kaj temp ili samu stabilnost? Koje sustave koristi
Daj malo detalja da moremo dalje sliniti

Zaboravio jos samo da pitam kolko je ukupno doslo para i vremena oduzelo cijeli ovaj dio projekta i da li jos sto planiras obuci to u neki case ili????
Sorry kaj gnjavim ali sam znatizeljan

Slikice cu staviti jos kad poslikam (ako poslikam). Danas su stigla jos preostala 3 "stroja" (jos jednom pohvala ADM-u na expresnosti), pa cu kad bude sve gotovo staviti slike Sto se tice cijene, cifra je oko 21.000 kn sve skupa. Vremena za 2 stroja mi je oduzelo cca 5-6 sati, vidit cu jos sutra kad stavim jos ta 3.

Autor Bilobrkster

a.) radi li Leopard na tome?
b.) will it blend?

Leoparda nisam probao na tome, ali vjerujem da bi radio. Sad sto bi bilo sa podrskom za integriranu grafiku (vjerojatno nebi bilo podrske za QE i CI) i LAN-om, zvukom - ne znam
A blendalo bi se sigurno, ako je lik uspio samljet Iphone sumnjam da bi bilo problema i s ovime... doduse nisam siguran za metalne shipke

Autor speedy-3

,,, imas u planu mozda prelazak na linux, koliko su ti teske scene/modeli koje rendas, radi se samo u Atodeskovim alatkama ili mozda ima i Newteka, Zbrsuh...

ay nabaci malo vise informacija sad kad pila radi vec par dana ima nas znatizeljnih

Zasad jedino scene iz 3D Max-a, planiramo sloziti render i za After Effects i Fusion...

Autor Uber Gosu

Ja bi sve u neki "fensi" plexi pobacao pa da vidi raja da nema samo NASA to cudo.......

Zasad je sve smjesteno u ormaru koji nema prednjih vrata, pa nema problema s grijanjem... jos moram razmisliti o kucistu, a vjerojatnija opcija ce biti staklena vrata koja ce se zatvarati...

[Bilobrkster]

Ma glavno da blenda...

a reci mi da si stavio dva dvojezgrena, kolika bi dobit bila u odnosu na jedan 4-jezgreni proc?

[Baja 001]

Autor Bilobrkster

Ma glavno da blenda...

a reci mi da si stavio dva dvojezgrena, kolika bi dobit bila u odnosu na jedan 4-jezgreni proc?

Mislim da SUu nije toliko bitna cijena koliko iskoristivost i što bolje performanse, što se tiče renderinga treba što više jezgra

[Bilobrkster]

ma ni mene ne zanima cijena već čisto statistički jel bolje 2x2 ili 1x4?

[Baja 001]

Autor Bilobrkster

ma ni mene ne zanima cijena već čisto statistički jel bolje 2x2 ili 1x4?

Ako misliš na skulltrail, kombinaciju ali sada sam sa 2CPUa? Svakako je više procesora bolje nego više jezgra (ako me shvaćaš), ali to povlači dodatne troškove napajanje, i sl!

[Bilobrkster]

e pa to te ja pitam...

[herion]

Samo kratko glede kombinacije 2x2 i 1x4. Bolje performance u pravilu daje 2x2 ako se radi u procesorima iste generacije. Što se tiče ekonomske isplativosti, ako govorimo o komercijalnim aplikacijama, tu quad core za sada nema šta tražiti(barem u segmentu djelatnosti u kojem sam ja zaposlen). Licence se računaju po broju jezgri i često koštaju na desetke tisuća kuna(po jezgri). Ako uzmemo da su u praksi 2x2 brža 30-40% od 1x4 računica je jasna. Dakle u igru ulazi TCO. Naravno ako je u pitanju free software ovo ne drži vodu.

[nex]

Prokleto impresivno

Autor ^SuperUnknown^

2) Da li bi se dalo i koliko je komplicirano izvesti mrezni boot Windowsa (da se svi strojevi dignu sa jednog diska)?

5) Na koji nacin pratiti stanje svih strojeva odjednom (temperature, zauzece procesora, diskova, uptime, idealno bi bilo u obliku nekih web-based statistika)

Hmf, mozda pricham napamet ali 98% sam siguran da za to postoje gotova rjesenja koja su puno fleksibilnija od Prozora(tm).

[Baja 001]

Autor nex

Hmf, mozda pricham napamet ali 98% sam siguran da za to postoje gotova rjesenja koja su puno fleksibilnija od Prozora(tm).

I meni se isto čini, nisam toliki guru @ unix/Linux i sl. ali mislim da prozori tu suckaju, što se tiče Prozora išao bi na Server!

[herion]

1. koristi operativni sistem koji znaš. To što postoje bolja riješenja ima smisla samo ako imaš puno iskustva sa istim.
2. uvažavajući pravilo broj jedan koristi samo one stvari koje je već neko probao i koje su dobro dokumentirane.
3. 99% radi isto je što i ne radi
4. windowsi (2003r2 CCs) rade dobro do 8 core sa MPI. Preko toga je veliki pad performansi u odnosu na linux-reklo bi se bačen novac. Ovo je provjereno na 2 simulacijska programa i ne znači da će to u ovom slučaju biti tako.

PS
Ne kužim se baš u renderiranje ali da li uopće u ovom slučaju postoji rješenje za linux?

[speedy-3]

Autor herion

PS
Ne kužim se baš u renderiranje ali da li uopće u ovom slučaju postoji rješenje za linux?

evo ga,,,, u njemu se nalazi i program s kojim se moze rendati samo sto on bas i nije najsretniji izbor za tako nesto (eh sad nikako da se sjetim kako se zove)

i malo je dosta bad sto se PK nemoze instalirati na hrad disk

edit: budala linkove zaboravio staviti

http://idea.uab.es/mcreel/ParallelKnoppix/

[herion]

Mislim naravno da postoje renderi za linux samo da li se mogu li se iskoristiti u ovoj kombinaciji. Koliko znam Autodesk ima nekakvo svoje riješenje za parallel rendering i nisam siguran da li su podržani nekakvi third party programi među kojima ima i free riješenja.