Linux OS - info, how-to, pitanja, novosti, savjeti, problemi...

[stef]

Za fallback trebaš minimalno 2 stroja, VIP (haproxy + keepalived), master-master replikaciju baze.
Containeri ti tu mogu pomoći samo da imaš gotov setup koji možeš brzo upogonit na drugom stroju i tu ne bih koristio mrežnu izolaciju nego host network.
Za app file sistem pretpostavljam Gluster?

[domy_os]

Da, za fallback sam mislio tako nešto, a Gluster nisam imao pojma što je. Nakon guglanja, mislim da bi mi to bio overkill za ovaj projekt, ali hvala na hintu.

[tomek@vz]

Containeri imaju prednost sto omogucavaju agilnost projekta (dakle mnogo cestih izmjena koda pa u kombinaciji sa Openshift/Kubernetes/Jenkins rijesenjima mozes sve automatizirat). Osobno ne vidim prednosti takvih rijesenja na aplikacijama ovog tipa kao sto si opisao. Mozes to i ovdje koristiti, dapace, no iskreno - sto bi falilo dobro poslozenom sustavu sa backupom sustava + baze? Ak te ovo zeza - KISS (Keep it simple, stupid). Napravis sys-level backup dodatno jednom mjesecno i u slucaju havarije u roku pol sata sustav opet radi. Uzmi kaj bolje mozes administrirat i rijesavat probleme u slucaju havarije i bok.

[Ivo_Strojnica]

Apsolutno se slazem.
Po meni ovo nije scenarij di treba container.
Native instalacija + standardni backup.

[domy_os]

OK, onda ću polako migrirati na čisti server bez Dockera. To mi je isto palo na pamet, ali containeri imaju hrpu nekih skripti pa bi to predugo potrajalo. Upogonit ću ovako kako je sada jer gori, a kasnije lako napravim migraciju baze na native OS. Hvala na prijedlozima.

[No123]

Možda nekom posluži: https://web.archive.org/web/20080224.../vi-cheat.html

[Nick7]

Ak' postoji gotov docker, zasto ne?
Lako napraviti upgrade, lako maknuti ako ne treba. Ne trosi nesto vise resursa (trosi malo vise diska).
I security je visi nego samo ak' se vrti direkt na OS-u.
Sve u svemu, dockeri su zgodna stvar.

[tomek@vz]

Autor Nick7

I security je visi nego samo ak' se vrti direkt na OS-u.
Sve u svemu, dockeri su zgodna stvar.

Daj molim te ovo elaboriraj. Ne kazem da nisi u pravu - zanima me posto se oko DevSecOps-a lome koplja...

1. Kernel exploits from a container
If someone exploits a kernel bug inside a container, they exploited it on the host OS. If this exploit allows for code execution, it will be executed on the host OS, not inside the container.
If this exploit allows for arbitrary memory access, the attacker can change or read any data for any other container.
On a VM, the process is longer: the attacker would have to exploit both the VM kernel, the hypervisor, and the host kernel (and this may not be the same as the VM kernel).
2. Resource starvation
As all the containers share the same kernel and the same resources, if the access to some resource is not constrained, one container can use it all up and starve the host OS and the other containers.
On a VM, the resources are defined by the hypervisor, so no VM can deny the host OS from any resource, as the hypervisor itself can be configured to make restricted use of resources.
3. Container breakout
If any user inside a container is able to escape the container using some exploit or misconfiguration, they will have access to all containers running on the host. That happens because the same user running the docker engine is the user running the containers. If any exploit executes code on the host, it will execute under the privileges of the docker engine, so it can access any container.
4. Data separation
On a docker container, there're some resources that are not namespaced:

• SELinux
• Cgroups
• file systems under /sys, /proc/sys,
• /proc/sysrq-trigger, /proc/irq, /proc/bus
• /dev/mem, /dev/sd* file system
• Kernel Modules

If any attacker can exploit any of those elements, they will own the host OS.
A VM OS will not have direct access to any of those elements. It will talk to the hypervisor, and the hypervisor will make the appropriate system calls to the host OS. It will filter out invalid calls, adding a layer of security.
5. Raw Sockets
The default Docker Unix socket (/var/run/docker.sock) can be mounted by any container if not properly secured. If some container mounts this socket, it can shutdown, start or create new images.
If it's properly configured and secured, you can achieve a high level of security with a docker container, but it will be less than a properly configured VM. No matter how much hardening tools are employed, a VM will always be more secure. Bare metal isolation is even more secure than a VM. Some bare metal implementations (IBM PR/SM for example) can guarantee that the partitions are as separated as if they were on separate hardware. As far as I know, there's no way to escape a PR/SM virtualization.

Edit: Naletio na jos jedan zanimljiv clanak:


https://about.gitlab.com/blog/2023/0...ource=linkedin

[Nick7]

@tomek@vz: Kao sto i sam rekao...
Prednost dockera je da je lagan deploy, nemas system dependancy-e. Sa security strane, ako je bug u aplikaciji, netko uleti u docker - docker sam po sebi je vec okrljastren, pa i nacin za izaci 'izvan' njega je manji. Kad uleti na OS gdje je sve native instalirano, puno je lakse.
Nije da je docker neprobojan, ali je ipak jos jedan layer zastite.

[tomek@vz]

Autor Nick7

@tomek@vz: Kao sto i sam rekao...
Prednost dockera je da je lagan deploy, nemas system dependancy-e. Sa security strane, ako je bug u aplikaciji, netko uleti u docker - docker sam po sebi je vec okrljastren, pa i nacin za izaci 'izvan' njega je manji. Kad uleti na OS gdje je sve native instalirano, puno je lakse.
Nije da je docker neprobojan, ali je ipak jos jedan layer zastite.

To stoji. Mene zanima vise dali postoji nacin kako povisiti sigurnost kod docker konstrukta. Imam premalo prakticnih iskustva sa containerima ,a znam da ima ekipe koja je dublje u temi, zato pitam. Najvise me brine stavka gotovih deployment Skripti s weba koje dosta ekipe jednostavno preuzima i lupa u prod bez razmisljanja jer "lagani deployment". Jos malo pa cemo zbilja trebati AV rijesenja sa Linux strane Podman mi se malo vise svida posto omogucava izvodenje podova na user razini - teoretski manji impact al ono...

[Nick7]

To je, podman se vrti na user razini, i sa te strane je 'sigurniji'. Koliko vidim, izgleda da podman ima sve vecu trakciju.
Prednost je sto podman moze odmah vrtiti i 'stare' dockere.
Ukratko, ak' sad se krece s tim: podman > docker

[stef]

@tomek
Koristis provjerene image (obicno sluzbene za neki projekt) Eventualno ih mozes poskenirati Trivy-em. Ne koristis root unutar containera, ako ne trebas, Itd. Sve isto kao za Os servis.

[tomek@vz]

Autor stef

@tomek
Koristis provjerene image (obicno sluzbene za neki projekt) Eventualno ih mozes poskenirati Trivy-em. Ne koristis root unutar containera, ako ne trebas, Itd. Sve isto kao za Os servis.

No krasno...ovi moji "strucnjaci" nist od toga ne koriste za svoje sustave...root je "normala". Image skinu s neta, drljaju po njemu malo i - eto sluzbeno je. A ja mislio da ja nemam pojma
Kolko vidim Trivy je nekaj tipa Nessus/OpenVas?


Thanks na infu decki

[Nick7]

Pa k'o svaki 'pravi' sysadmin. Slozis sve pod rootom, ali prva stvar je disable-ati firewall
Naravno, pozeljno je i dopustiti root da se spoji ssh-om s neta... je'l zasto gubiti vrijeme na tamo neke VPN-ove

[tomek@vz]

Autor Nick7

Pa k'o svaki 'pravi' sysadmin. Slozis sve pod rootom, ali prva stvar je disable-ati firewall
Naravno, pozeljno je i dopustiti root da se spoji ssh-om s neta... je'l zasto gubiti vrijeme na tamo neke VPN-ove

Exacto Al onda kukanja iducih 6 mjeseci "pa kak se to moglo dogoditi" kad Script-kiddie razvali sve

[medo]

Containeri su nastali tako što je developerima sve radilo na njihovim laptopima pa su tražili način kako to samo iskrcati na neku drugu mašinu bez pakiranja appa

Disejblaj selinux, gasi firewalld, chmod -R 777 /

curlaj, wgetaj, git-kloniraj i pokreći to bez ikakvih provjera na produkciji. Stavi to u crontab da ne moraš misliti na to.

Kada ti memory leak od neke Javetine zapuni RAM, pošalji zahtjev sistemcima da dignu RAM na virtualki. Kada opet zapuni jer ti se nije dalo debugirati memory leak, traži opet povećanje. Popizdi na sistemca kada skonfa oom killera za najveći score na tim Java procesima

Ah, GenZ… bilo bi dosadno bez njih.

[stef]

Zato je DevOps postao DevSecOps

[mkey]

Autor medo

Kada ti memory leak od neke Javetine zapuni RAM, pošalji zahtjev sistemcima da dignu RAM na virtualki. Kada opet zapuni jer ti se nije dalo debugirati memory leak, traži opet povećanje. Popizdi na sistemca kada skonfa oom killera za najveći score na tim Java procesima

Ovo mi zvuči poznato. Ovi moji doduše nisu Gen Z i nisu otkrili čari dockera, ali svakako smatraju da se memory leak može riješiti sa više RAMa a ako ne tako onda sa više servera. U pravilu se garbage collector zadužuje za memory leakove i to nije nešto o čemu se razmišlja.

[spiderhr]

Može li se u grub postaviti vhd fajl za pokretanje operativnog sistema? Npr da ne radim particiju za windowse ili bilo koji drugi os nego sve to instaliram u vhd fajl.

[tomek@vz]

Autor spiderhr

Može li se u grub postaviti vhd fajl za pokretanje operativnog sistema? Npr da ne radim particiju za windowse ili bilo koji drugi os nego sve to instaliram u vhd fajl.

Teoretski da. U praksi - nisam nikad probao. Savjet? Stvar je uzasno komplicirana.

It is possible to boot windows 10 from a VHD on a windows partition (NTFS/fat32) if however you have no windows formatted partitions I feel it would be difficult if not impossible to accomplish. There are a couple of kernel mode ext2/3 drivers for at least some versions of Windows, however; I don't believe that compatibility extends to the bootmgr.
As an FYI a VHD is basically a DD image with one extra block at the end which is used by Windows and other programs that understand the format.
So assuming you already have a Windows bootmgr accessible partition that you can copy/convert a DD image into a VHD and transfer the file to, it is in theory possible.
This is all in theory and I have not attempted any of the aforementioned suggestions personally. Other than running Windows 7, 8, and 10 from VHD files on a NTFS formatted partition natively.
I have previously booted to DD type images from virtualization and from grub previously however those typically where ramdisks rather than file backed disk images. I have yet to successfully attempt a grub4dos grub2 file backed winvblock/firadisk boot of Windows from a VHD/DD file. There is documentation suggestion it is possible however.
Windows 7 (Ultimate/Enterprise) Windows 8 and Windows 10 all support native VHD boot

No bolje je pitanje - zasto? Kaj ti nije jednostavnije KVM virtualku kreirat koju pokrenes po potrebi/kod boota Linux sustava? Opcionalno - mozes za virtualni disk koristiti Windows particiju i saltat izmedu virtualnog i native sustava kak ti se sprdne (Windows licenca bi mogla zezat al i to je rijesivo)

[c-shadow]

Rješivo je, ali komplicirano. Ak je za jednom za neku specifičnu potrebu, može se bootati VHD bez problema s vanjskog usb uređaja. Npr. ventoy + vhd plugin, provjereno radi i nije naročito komplicirano za složiti. Čak su i performanse pristojne - testirano na nvme ssd u vanjskom kućištu.

[spiderhr]

Zakaj pitam? Naime, kak idem u Algebru za DBA, tamo je složeno da se win server 2019 podiže iz vhd-a. Vidio sam tutorijal kada je windows ali me zanimalo ako imam Linux (a imam) može li se tako složiti da naprimjer imam vhd za winse ili bilo koji drugi os a da ne radim particioniranje diska.

[c-shadow]

Što fali virtualki kako ti je već predloženo? Ovo tvoje je tipični slučaj kad želiš VM. Za napikavanje i isprobavanje nekakave baze rokni to u vm i zdravo.

[spiderhr]

Autor c-shadow

Što fali virtualki kako ti je već predloženo? Ovo tvoje je tipični slučaj kad želiš VM. Za napikavanje i isprobavanje nekakave baze rokni to u vm i zdravo.

Imam ja hrpu virtualki ali eto vidio sam nešto drugo pa me zanima kako i to napraviti pored virtualke.

[tomek@vz]

vhd je nativni Hyper-V format. Zato sljaka relativno "nekomplicirano" sa Windows Servera. Vidi moj post jos jednom iznad i sve ti bu jasno zakaj je na Linuxu to dosta kompliciranije ako zelis vhd koristiti. Mozes se igrat s tim ak bas zelis skuzit kak sljaka ali ima mnogo bezbolnijih nacina.

[mkey]

Jeste li imali u zadnje vrijeme problema s refresh reateom u virtualki? Nikada mi prije VirtualBox nije radio takve probleme. Jednostavno se radi o tome da ako nešto promijenim na virtualnom desktopu (recimo ukucam nešto u terminal) to se ne vidi dok ne resizam virtualni desktop ili na neki drugi način ne isprovociram refresh.

Vidio sam da su imali par sličnih bugova tokom godina, ali ti ticketi su uglavnom prastari.

[Dule]

Autor mkey

Jeste li imali u zadnje vrijeme problema s refresh reateom u virtualki? Nikada mi prije VirtualBox nije radio takve probleme. Jednostavno se radi o tome da ako nešto promijenim na virtualnom desktopu (recimo ukucam nešto u terminal) to se ne vidi dok ne resizam virtualni desktop ili na neki drugi način ne isprovociram refresh.

Vidio sam da su imali par sličnih bugova tokom godina, ali ti ticketi su uglavnom prastari.

Ja sam imao sličnih problema na Windows 8.1 guestu sa uključenom 3D akceleracijom. Kad isključim 3D sve radi očekivano.

[tomek@vz]

Autor mkey

Jeste li imali u zadnje vrijeme problema s refresh reateom u virtualki? Nikada mi prije VirtualBox nije radio takve probleme. Jednostavno se radi o tome da ako nešto promijenim na virtualnom desktopu (recimo ukucam nešto u terminal) to se ne vidi dok ne resizam virtualni desktop ili na neki drugi način ne isprovociram refresh.

Vidio sam da su imali par sličnih bugova tokom godina, ali ti ticketi su uglavnom prastari.

Nemoj koristiti GUI sa desktop efektima. XFCE sa iskljucenim eye candy ili LXDE ako pogonis virtualno. Si probao onaj Virtualbox driver u OS instalirat koji vrtis u VBoxu?


P.S:- znam da nema sve mogucnosti ko VBox al alternativno mozes sa VMware Player probat.

[medo]

Autor spiderhr

Zakaj pitam? Naime, kak idem u Algebru za DBA, tamo je složeno da se win server 2019 podiže iz vhd-a. Vidio sam tutorijal kada je windows ali me zanimalo ako imam Linux (a imam) može li se tako složiti da naprimjer imam vhd za winse ili bilo koji drugi os a da ne radim particioniranje diska.

Može i network boot. Kod bootanja kernela initrd-u kažeš u parametrima gdje je loop device, ISO ili što već bootaš (lokalno, NFS mount...). Tu se stvari mogu zakomplicirati ovisno što bootaš ali u pravilu može se sve. Možeš i cijeli OS dići u RAM

[mkey]

Autor Dule

Ja sam imao sličnih problema na Windows 8.1 guestu sa uključenom 3D akceleracijom. Kad isključim 3D sve radi očekivano.

Ako misliš na ovo, ta opcija je isključena: https://i.imgur.com/YtdtP6I.png

tomek@vz govoriš o desktop efektima na guestu ili hostu? U VMu mi je i3wm manjaro, ali isto mi je bilo i sa Debian KDE.
Instalirao sam guest additions na guestu ali mi to nije ništa promijenilo.