Moj ti je savjet - pripremi MD uredaje prije instalacije Proxmoxa. Mozes recimo systemrescuecd za to koristiti.

tijekom instalacije možeš odabrati zfs raid 1

Zaboravi na raid. Jedan SSD nek ti služi samo za OS i eventualno za ISO datoteke itd. Drugi koristi za virtualke. Kroz proxmenux skripte optimiziraj malo Proxmox da bude lakši za SSD. Bekupni tu i tam virtualke/kontenjere and bob's your uncle.
Ak imaš samo dva mjesta za neki storage, ja apsolutno ne bih gurao pod mus neki raid kao rješenje.

ZFS pokusavam zamijeniti cim slicnijim rjesenjem

Imam 2x nvme (gen.3 x4), 1x nvme od wifija (gen.3 x1) i sata slot. VM/LXC backup me ne brine, to imam slozeno preko pbs-a na nas i ne brinem se za te podatke. Brine me samo ta instalacija proxmoxa jer nakon silnih tweakova vise ne znam sta sam radio i kako to najbrze replicirati u slucaju da disk krkne. Ovako bi mi raid dao priliku da interveniram ako jedan disk krkne. I sad doslovno vazem sta mi je lakse - dokumentirati korak po korak sto radim kod instalacije i to replicirati kod sljedeceg setupa ili uloziti isto to vrijeme (ako ne i vise vremena) uceci ovo sto tomek savjetuje.

I feel you. I opet, mislim da je ta cijela priča ZFS vs Ext4 wearout van proporcija. Da, ZFS je nešto teži na zapise, ali kad sagledaš da imaš nativni RAID/Volume/Filesystem manager u jednom, snapshotove na razini datotečnog sustava, taj famozni COW mehanizam, mogućnost stvaranja directory mode datasetova i zvolumea ( block devices ) opet kroz jedno sučelje...
Postoje razne skripte za proxmox za općenitu optimizaciju wearouta, te bih o tome prvo razmišljao umjesto hoću li ići na mdraid/lvm-thin/ext4 rješenje ili ZFS.
Nisam još vidio nijednu nekakvu direktnu usporedbu kroz 6 mjeseci sa istim usecaseom između ZFS i Ext4 da bi čovjek mogao reći, "da, ovaj filesystem je teži odokativno za xy% u odnosu na drugi". Wearout je tu, što je manji i jeftiniji nvme , to će proces ići brže.

puu.koliko vidim,preporuka je da se instalira čisti debian i onda digne proxmox

https://forum.proxmox.com/threads/ho...-raid1.104079/

računaj da je sada debian 13 i proxmox ve 9

https://m.youtube.com/watch?v=hGgDi2...O1ajebQw%3D%3D

U dokumentaciji pise da ZFS nije za consumer opremu, ja sam stavio za test RAID 1 ZFS na jednoj masini i u 6mjeseci je ssd dosao sa 97% na 91%

Imao sam zapisa nekih 400GB po SSD-u, a sad je na 3.1TB, za homelab ja bi rekao totalno nepotrebno, osim ako neces potrositi diskove. Ti diskovi su samo sistemski, ne vrti se ni jedan virtualac, a zapisuju ko ludi.

https://i.postimg.cc/zXCgJDCM/A400-read-write.png

Produkcija je na Samsungu enterprise, a on ako se dobro sjecam moze do 20PB, tako da to nije problem.

Critical Warning: 0x00
Temperature: 48 Celsius
Available Spare: 100%
Available Spare Threshold: 10%
Percentage Used: 2%
Data Units Read: 2,476,205,260 [1.26 PB]
Data Units Written: 1,720,069,942 [880 TB]

ZFS je odlican ako imas enterprise diskovi i hrpetinu rama, a ovako za po kuci mozda je EXT4 primjereniji.

Ajmo u rikverc sad sa svim.


1. Dali trebas redudantnost? Ak ne > zahebi RAID (ionak to nije backup)
2. Dokumentacija je uvijek dobrodosla cisto radi tebe samog, da znas sto i kako kad se skrsi. Bez obzira jel za po doma ili profesionalno.
3. Ovisno o tome kaj mislis ganjat sve - razmisli da proxmox puknes na neki manji SSD - tek tolko za OS - EXT4 i bok. Na mehanicki neki veliki disk (ili SSD zavisi kak si sa financijama) stavljas sve ostalo. Prednost takvog setupa je da sam radis Image OS diska "on the fly", bilo tar kompresijom bilo dd bilo necim trecem. Ak prdne disk - vratis image na novi disk i vozi dalje, 120-240GB diskovi idu za kikiriki a za OS dovoljno). Naravno i dalje radis vanjski backup svega sto ti je bitno, ako nista drugo rsnapshotom i bok.


Naravno ima tu hrpa mogucnosti i varijacija na temu al po meni ovo ti je najjednostavnije jos da upogonis sto zelis a da te s vremenom glava ne zaboli kad nesto prdne.


P.S.- ovo pod stavkom 3. mozes sve sa jednim diskom izvesti ako postavis LVM kak spada, stavio sam ovu soluciju kao primarnu cisto jer je sa aspekta pocetnika mozda jednostavnija.

Ovo je wear 120GB Kinstona, nije na tom serveru nista kriticno i wear me toliko ni ne smeta kao pad performansi kad sam backup radio. Bas me zanima kad ce crknuti, na koliko % healtha i na koliko zapisanih TB. Ako se dobro sjecam rated je na 40TBW.

Moguci workaround: tmpfs za sve ili vecinu toga sto je samo /tmp - na taj nacin sam preferirao olaksati SSD prije par godina jos :kafa:. Naravno nece pokriti sve ali olaksava malo situaciju sa cestim zapisivanjem na disk.

Sve 5, al budimo realni, pričamo o SSDu kikiriki veličine gdje je wearout brži nego da je na 250GB. I drugo, radi se o 12% godišnje, dakle disk bu izdržal 8 godina. Za kućne uvjete tko živ tko mrtav, na 80% wearouta započneš izmjenu za nove kikiriki diskiće i mir. A tema je homelab, savršeni uvjeti za igranje sa enterprise filesustavima. :)

Naravno, ovo sam samo testno pustio da vidim koliko ce izdrzati, budem ga ispratio do 0, ionako imam punu ladicu tih malih ssdova, pa cu ih samo zamijeniti.

Naravno, za test odlicno, s time da ja nemam nikakve VM-ove na tim diskovima, oni koji ce imati, njima ce se jos brze trositi.

Mdadm pristup mi izgleda kao dodatna komplikacija i dosta ucenja i ovaj put cu ipak otici linijom manjeg otpora. Nisam svima odgovorio na pitanja jer ni sam nisam siguran sto bi mi bilo najjednostavnije. Cilj mi je samo da to radi oke (a radit ce), a ako krkne da cim lakse vratim setup u pogon jer rezervni hardver imam spreman.

Bude bila na kraju opcija 3 od tomeka, back to the roots, jel - mali disk samo za OS (ext4) i jedan disk za VM/LXC (LVM-thin/ext4). Zelim imati opciju snapshota VM/LXC-a. ISO/templateove drzim na NAS-u. Na dodatni treci disk cu testirati backup OS-a na neki od predlozenih nacina, pokusati automatizirati taj proces, poigrati se da taj backup ode i na NAS i sl. Nisam jos proucio predlozene alate/metode, siguran sam da se da sloziti nesto bolje od rucnog gasenja hosta, bootanja clonezille i rucnog rada :)

Morat cu malo poraditi i na dokumentaciji. Mozda se napokon natjeram da sve skupa organiziram na jedno mjesto, a ne da mi bude rastrkano posvuda u obliku screenshotova, .txt uputa itd. (kao sto je sada slucaj).

Hvala na savjetima, sigurno cemo se jos tipkati :)

Ovo me potaklo da bas provjerim kod sebe.

Trenutno je 24 dana uptime, i ukupno pisanje na sistemskom disku u 24 dana je 140GB.
Dakle, ne brinem se....

Tjedan dana kasnije i dao sam si truda, posložio dokumentaciju i presložio makinu. Još se moram odlučiti kako ću raditi backup hosta, dal na treći nvme ili na NAS. Neće valjda baš sada sve crči dok se premišljam :D

https://imgur.com/a/UbQlKt2

Optiplex 7080
i7 10700T, 64GB
host nvme 512GB
vm nvme 512GB

Sviđa mi se ovaj Dell jer uz sve diskove mogu dodati još i sata disk bez caddyja jer je konektor povišen.

prekrasno
ja bi na taj sata stavio 64gb disk i os gore :D ili veći pa os i backupove
nvme-ove za ostalo.
backup vmova na treći nvme
a backup tih backupova i proxmox konfe na nas

Obavezno gore ZFS :)

Po njemu se moze ZFS konfigurirati za slican wear kao na EXT4 ili BTRFS
https://www.youtube.com/watch?v=V7V3kmJDHTA

A znam, sto vise citam o konfiguriranju zfs-a, to me vise kopka da testiram kakav bi bio wear na novim diskovima u periodu kroz recimo mjesec-dva pa odlucio. Dodjes po savjet sto sloziti umjesto zfs-a, dobijes savjet da slozis zfs :)

Striko, zanimljiv setup makar malo kompliciran :)

ma čini ti se :D

ne kužim koji bi bio benefit zfs-a na tvom primjeru?

Kad u nedoumici > linija manjeg otpora. LVM+EXT i backup na NAS (rsnapshot) i bok. Jednostavno za sloziti i kasnije odrzavati.

Promaknuo mi post.

Ma zfs je koliko toliko bio pokusaj da si olaksam zivot ako recimo disk prdne. Sve je zapravo krenulo jer nisam znao kako bi najlakse backupirao pve hosta kojeg mi ne tlaka od nule slagati. I onda sam poceo gledati redudanciju u obliku raid-a (znam da to nije backup heh). Tako sam probao zfs, ali nisam bio spreman na wear (1%/tjedno). I tako sam zavrsio ovdje (post 71) :D

Stigao mi mali jeftini switchinez, GoodTop 6 Port 2.5Gb Web Managed Switch with 10G SFP+ Slot Metal Fanless Home Lab Network Switch Link Aggregation/VLAN/QOS.
Ustvari mi ne treba, ali koštao me samo 28 eura za BF, pa sam uzeo iz zafrkancije. Sad imam punu 2.5Gbit konekciju PC - OMV server. I LACP, čini se, radi (server ima 2 ETH porta, pa sam ih agregirao jer zašto ne).
Dogovorio sam sa CCP-om da me prisluškuju samo jedan sat tjedno.

Sve za lajkove...

wtf_nestao post...

Isprobano je već, good guy kinez ne salje nista kući :)

Dobri su to switchewi, pogotovo za te pare. Ja ga imam vec 2 godine, furam i 10g i svasta nesto.

Dobro je, onda znam koga zagnjaviti za pomoć ako mi bude trebala :p