Home Lab

[m4dm4n]

Sve 5, al budimo realni, pričamo o SSDu kikiriki veličine gdje je wearout brži nego da je na 250GB. I drugo, radi se o 12% godišnje, dakle disk bu izdržal 8 godina. Za kućne uvjete tko živ tko mrtav, na 80% wearouta započneš izmjenu za nove kikiriki diskiće i mir. A tema je homelab, savršeni uvjeti za igranje sa enterprise filesustavima.

[Bono]

Autor tomek@vz

Moguci workaround: tmpfs za sve ili vecinu toga sto je samo /tmp - na taj nacin sam preferirao olaksati SSD prije par godina jos . Naravno nece pokriti sve ali olaksava malo situaciju sa cestim zapisivanjem na disk.

Naravno, ovo sam samo testno pustio da vidim koliko ce izdrzati, budem ga ispratio do 0, ionako imam punu ladicu tih malih ssdova, pa cu ih samo zamijeniti.

Autor m4dm4n

Sve 5, al budimo realni, pričamo o SSDu kikiriki veličine gdje je wearout brži nego da je na 250GB. I drugo, radi se o 12% godišnje, dakle disk bu izdržal 8 godina. Za kućne uvjete tko živ tko mrtav, na 80% wearouta započneš izmjenu za nove kikiriki diskiće i mir. A tema je homelab, savršeni uvjeti za igranje sa enterprise filesustavima.

Naravno, za test odlicno, s time da ja nemam nikakve VM-ove na tim diskovima, oni koji ce imati, njima ce se jos brze trositi.

[xlr]

Mdadm pristup mi izgleda kao dodatna komplikacija i dosta ucenja i ovaj put cu ipak otici linijom manjeg otpora. Nisam svima odgovorio na pitanja jer ni sam nisam siguran sto bi mi bilo najjednostavnije. Cilj mi je samo da to radi oke (a radit ce), a ako krkne da cim lakse vratim setup u pogon jer rezervni hardver imam spreman.

Bude bila na kraju opcija 3 od tomeka, back to the roots, jel - mali disk samo za OS (ext4) i jedan disk za VM/LXC (LVM-thin/ext4). Zelim imati opciju snapshota VM/LXC-a. ISO/templateove drzim na NAS-u. Na dodatni treci disk cu testirati backup OS-a na neki od predlozenih nacina, pokusati automatizirati taj proces, poigrati se da taj backup ode i na NAS i sl. Nisam jos proucio predlozene alate/metode, siguran sam da se da sloziti nesto bolje od rucnog gasenja hosta, bootanja clonezille i rucnog rada

Morat cu malo poraditi i na dokumentaciji. Mozda se napokon natjeram da sve skupa organiziram na jedno mjesto, a ne da mi bude rastrkano posvuda u obliku screenshotova, .txt uputa itd. (kao sto je sada slucaj).

Hvala na savjetima, sigurno cemo se jos tipkati

[Nick7]

Ovo me potaklo da bas provjerim kod sebe.

Trenutno je 24 dana uptime, i ukupno pisanje na sistemskom disku u 24 dana je 140GB.
Dakle, ne brinem se....

[xlr]

Tjedan dana kasnije i dao sam si truda, posložio dokumentaciju i presložio makinu. Još se moram odlučiti kako ću raditi backup hosta, dal na treći nvme ili na NAS. Neće valjda baš sada sve crči dok se premišljam

https://imgur.com/a/UbQlKt2

Optiplex 7080
i7 10700T, 64GB
host nvme 512GB
vm nvme 512GB

Sviđa mi se ovaj Dell jer uz sve diskove mogu dodati još i sata disk bez caddyja jer je konektor povišen.

[strikoo]

prekrasno
ja bi na taj sata stavio 64gb disk i os gore ili veći pa os i backupove
nvme-ove za ostalo.
backup vmova na treći nvme
a backup tih backupova i proxmox konfe na nas

[Bono]

Obavezno gore ZFS

Po njemu se moze ZFS konfigurirati za slican wear kao na EXT4 ili BTRFS
https://www.youtube.com/watch?v=V7V3kmJDHTA

[xlr]

A znam, sto vise citam o konfiguriranju zfs-a, to me vise kopka da testiram kakav bi bio wear na novim diskovima u periodu kroz recimo mjesec-dva pa odlucio. Dodjes po savjet sto sloziti umjesto zfs-a, dobijes savjet da slozis zfs

Striko, zanimljiv setup makar malo kompliciran

[strikoo]

Autor xlr

Striko, zanimljiv setup makar malo kompliciran

ma čini ti se

ne kužim koji bi bio benefit zfs-a na tvom primjeru?

[tomek@vz]

Kad u nedoumici > linija manjeg otpora. LVM+EXT i backup na NAS (rsnapshot) i bok. Jednostavno za sloziti i kasnije odrzavati.

[xlr]

Promaknuo mi post.

Ma zfs je koliko toliko bio pokusaj da si olaksam zivot ako recimo disk prdne. Sve je zapravo krenulo jer nisam znao kako bi najlakse backupirao pve hosta kojeg mi ne tlaka od nule slagati. I onda sam poceo gledati redudanciju u obliku raid-a (znam da to nije backup heh). Tako sam probao zfs, ali nisam bio spreman na wear (1%/tjedno). I tako sam zavrsio ovdje (post 71)

[d0X]

Stigao mi mali jeftini switchinez, GoodTop 6 Port 2.5Gb Web Managed Switch with 10G SFP+ Slot Metal Fanless Home Lab Network Switch Link Aggregation/VLAN/QOS.
Ustvari mi ne treba, ali koštao me samo 28 eura za BF, pa sam uzeo iz zafrkancije. Sad imam punu 2.5Gbit konekciju PC - OMV server. I LACP, čini se, radi (server ima 2 ETH porta, pa sam ih agregirao jer zašto ne).
Dogovorio sam sa CCP-om da me prisluškuju samo jedan sat tjedno.

[tomek@vz]

Sve za lajkove...

wtf_nestao post...

[Pupo]

Autor d0X

Stigao mi mali jeftini switchinez, GoodTop 6 Port 2.5Gb Web Managed Switch with 10G SFP+ Slot Metal Fanless Home Lab Network Switch Link Aggregation/VLAN/QOS.
Ustvari mi ne treba, ali koštao me samo 28 eura za BF, pa sam uzeo iz zafrkancije. Sad imam punu 2.5Gbit konekciju PC - OMV server. I LACP, čini se, radi (server ima 2 ETH porta, pa sam ih agregirao jer zašto ne).
Dogovorio sam sa CCP-om da me prisluškuju samo jedan sat tjedno.

Isprobano je već, good guy kinez ne salje nista kući

Dobri su to switchewi, pogotovo za te pare. Ja ga imam vec 2 godine, furam i 10g i svasta nesto.

[d0X]

Dobro je, onda znam koga zagnjaviti za pomoć ako mi bude trebala

[daki]

Da osvježimo malo temu... volio bi čuti kako drugi forumaši vrte self-hosted aplikacije i kako vam je dizajniran homelab.

Za vrijeme blagdana sam napokon imao nešto vremena da upgradeam Proxmox mašinu na zadnju verziju. Kad je izašla nova verzija mislim da su bile preporuke da pričekati s upgradeom i da potencijalno ima breaking changesa za određene LXCove i VMove, tak da sam pričekao i htio sam biti oprezan.

Vrtim HomeAssistant u VM-u i dosta toga sam nabacao na njega u zadnje 2 god, tak da mi je on postao kritičan servis za koji nisam želio downtime. I tu sam krenuo istraživati High Availability setup. Kako imam nekoliko rezervnih mini pc-eva, instalirao sam zadnju verziju Proxmoxa na jedan pc, napravio cluster od starog i novog nodea i pokrenuo migraciju HomeAssistant VM-a na novi node. Migracija je prošla iznenađujuće glatko i bez downtimea. Jedina mana je što imam 1Gbit NIC i transfer cca 32 GB VM-a je trajao oko 5 min. Tu sam počeo shvaćati zašto mnogi homelaberi idu na 10Gbit (i više) NIC-eve. Inače, dugo mi je bilo u glavi za složim k8s cluster i tamo prebacim HomeAssistant pa ukoliko jedan node bude down da se glatko prebaci na drugi k8s node. Ali sada mi je to samo dodatna komplikacija kad Proxmox isto moze migrirati VM-ove izmedu nodeova.

I dalje mi ostaje pitanje kako dizajnirati mali homelab za High Availbility. Prvenstveno storage jer dosta je opcija. Ceph, Longhorn, ZFS Replication, NFS, iSCSI...

Kakva su vaša iskustva i prijedlozi?

Također, kako vrtite servise? Vidio sam da neki naprave jedan VM pa na njemu vrte sve containere ali to mi se čini kao single point of failure. Npr. ako treba rebootati VM (instalacija drivera ili nesto drugo) svi servisi imaju downtime. Do sad sam preferirao LXC na Proxmoxu ali puno servisa je prilagođenije dockeru (i composeu) pa razmatram alternative.

[xlr]

Ako mogu preporuciti, nemoj vrtiti cluster samo na 2 nodea bez treceg uredjaja za quorum/vote. Jedan video koji je meni osobno dao dosta odgovora kad sam razmisljao o tom smjeru:

https://youtu.be/TXFYTQKYlno

[daki]

Autor xlr

Ako mogu preporuciti, nemoj vrtiti cluster samo na 2 nodea bez treceg uredjaja za quorum/vote. Jedan video koji je meni osobno dao dosta odgovora kad sam razmisljao o tom smjeru:

https://youtu.be/TXFYTQKYlno

Cluster je bio samo privremena mjera da upgradeam node bez downtimea servisa. Ali znam za taj video. Imam viška hardvera pa mogu napraviti cluster od 3 nodea. Samo treba krenuti pravim putem pa pitam za iskustva.

Inicijalno sam naginjao Cephu ali zahtjeva dodatni budžet u vidu 10G NIC-a i switcheva, a onda još treba i razmisliti o diskovima.

Inače imam u pripremi 4 x 4TB Sata SSD-ova koje sam planirao za NAS, ali sam ipak upogonio staru Xpenology mašinu s 10TB storagea koji su mi više nego dovoljni.

[Chuxonja]

Mixano, neke stvari tipa pi-hole i tailscale vrtim kao LXC, a ostatak se vrti na Debian VMu u dockeru (immich, qbittorrent, jellyfin, arr-stack ). Nisam nešto ciljo na high availability jer ništa posebno ne pati od malo downtimea u slučaju da se dogodi restart jednom u par mjeseci. Storage mi je običan xfs na jednom disku, al bekapiram sve na xpenology makinu sastrane u slučaju da neš rikne. Nemam baš tonu toga pa mi je i gigabitna mreža dosta, sve procedure tak preko noći odrade svoje na NAS pa niti ne primjetim.

[marko_st]

Ne vrtim ništa posebno, ha, adguard, node-red, zigbee2mqtt. Bez ikakvih redudancija, samo backup.
Zanima me kako rjesavate gubitke napajanja, imate ups, nekakav safe shutdown, cijelu mrežu na ups-u ili samo računalni dio?

Poslano sa mog SM-S921B koristeći Tapatalk

[spiderhr]

Nažalost nemam nikakav backup osim za nextcloud. Sve ostalo visi u zraku. Ako crkne crkne...

Nemam ni ups.

Svašta nešto u planu ali nikako da se primim konkretno rješavanja.

Mada odlučio izbaciti sve kaj ne treba iz jednadžbe home lab.

Recimo imam Bookstack instaliran ali sam sada na Nextcloudu dodao i CODE za office pa ga razmišljam izbaciti kao i NocoDB koji mi je bio za tablice. Eto 2 stvari budu manje.

[xlr]

NAS, proxmox i mreza su mi na UPS-u. Kod nestanka struje NAS se lijepo ugasi, a prije nego se ugasi posalje naredbu da mi desktop pc ode u hibernaciju. Na NAS-u su backupovi i svasta bitnog pa ono, volim biti njezan s njim... Za drugo me realno ne briga previse. Mrezu sam stavio na UPS jer sam davno planirao osposobiti upsnut pa da mogu propisno ugasiti uredjaje i sam UPS da se baterija ne prazni kod duzeg blackouta (https://networkupstools.org/) al nikako naci vremena.

[marko_st]

NAS->Desktop, Tko je trigger za komandu? UPS je pretpostavljam sa USB spojen na NAS

Sent from my SM-S921B using Tapatalk

[Nikky]

Da, nas mu je trigger i on pošalje sleep / shutdown komandu.

[xlr]

Autor marko_st

NAS->Desktop, Tko je trigger za komandu? UPS je pretpostavljam sa USB spojen na NAS

Sent from my SM-S921B using Tapatalk

Tako je, UPS je spojen preko USB-a na NAS. Kada NAS dobije signal da je UPS na bateriji onda daje trigger PC-u (zato mreža mora ostati živa). Na PC-u kada dođe signal od NAS-a onda se izvršava naredba po izboru. Ja sam složio malu .bat skriptu sa komandom za pokretanje hibernacije.

Od dokumentacije ovo imam sejvano još od 2022 i vodio sam se po tome:
https://github.com/networkupstools/n...master/windows
https://www.reddit.com/r/synology/co..._safely_power/
https://web.archive.org/web/20230706.../synology/ups/

Na kompu u /NUT/etc/upsmon.conf imam složeno izvršavanje skripte, ne znam zašto sam tako napravio, vjerojatno mi nije htjelo izvršavati komandu na direktan način ili sam nešto krivo radio:

#### Customize the time (-t 0) to your liking.
#### Optionally add -f to force the shutdown.
#### If you want to hibernate, replace -s with -h.

#SHUTDOWNCMD "/sbin/shutdown -h +0"
#SHUTDOWNCMD "C:\\Windows\\System32\\shutdown.exe -h"
SHUTDOWNCMD "D:\\Documents\\ups.bat"

A u ups.bat imam:

waitfor NUL /t 30 || shutdown /h

[marko_st]

Ok,thx. Radim tj napravio sam svoj custom ups, sa ssh šaljem komande za shutdown ali me zanimalo kako radi "službeno" rjeseno. NUTom sam se nešto bavio ali mi je iskreno bio malo prekonfuzan...

Sent from my SM-S921B using Tapatalk

[xlr]

I meni je bio konfuzan, tocno pamtim jer sam ga jednom daaaavno slozio od raspberryja. Ne osjecam se nista pametniji s tim iskustvom lol

Ovo mi stoji na to-do listi vezano za setup nut servera (ako ti pomogne), vec sam ih pogledao ali eto, ima sigurno par godina da stoje na watchlisti "za kasnije":
https://youtu.be/vyBP7wpN72c
https://youtu.be/dXSbURqdPfI