Linux OS - info, how-to, pitanja, novosti, savjeti, problemi...

[c-shadow]

/tmp je na disku, ali je SSD i ne bi trebao utjecati na rsync koji to ne koristi. rsync -axShH, proces ima nice 19 i ionice na idle postavljen. Disk scheduler je BFQ (radi bolje od defaultnog, responzivniji je sustav). Nisam se igrao s kernel tweakovima jer se ovo vrlo rijetko događa. Nije niti do FSa jer mi se nekad ranije znalo dogoditi i s ext4. Baš je linux kernel problem u određenim okolnostima. Bio je link na staru temu na LWNu tu u temi pred koju stranicu Sad kad je jednom iskopirano sve, dalje samo razlike će ići bez problema.

[Ivo_Strojnica]

blesavo, nije mi se to događalo, da budem iskren (no opet, nije bilo toliko materijala)....

[tomek@vz]

Autor c-shadow

/tmp je na disku, ali je SSD i ne bi trebao utjecati na rsync koji to ne koristi. rsync -axShH, proces ima nice 19 i ionice na idle postavljen. Disk scheduler je BFQ (radi bolje od defaultnog, responzivniji je sustav). Nisam se igrao s kernel tweakovima jer se ovo vrlo rijetko događa. Nije niti do FSa jer mi se nekad ranije znalo dogoditi i s ext4. Baš je linux kernel problem u određenim okolnostima. Bio je link na staru temu na LWNu tu u temi pred koju stranicu Sad kad je jednom iskopirano sve, dalje samo razlike će ići bez problema.

Kaj je najgore nije samo limitirano na Linux nego i BSD. Smrdi mi na rsync "feature"...da se mozda radi neke od opcija ne radi pametan...jel ti se isti problem dogada i kad samo glupi rsync -av lupis? Scp isti problem (da znam da su scp i rsync 2 razlicita svijeta al ovo me sad zivo zanima zbog cega zauzme tolko rama-a). Imam hrpu SLES/OpenSuse/Debian Servera od kojih su neki prastare HP Gen6 kante sa 8GB RAM-a (ne pitaj) i backup se odraduje sa rsync -aAHx opcijom. Ne primjecujem neko vece opterecenje RAM-a u to vrijeme na serverima.

[c-shadow]

Ma smrdi na linux loš memory management. Oduvijek mu je to bolna točka.
Danas sam pustio ponovno isti rsync, nekih 2GB razlika je bilo za prenijeti i dosta brisanja (rsync --delete). Uglavnom, pratim u htopu kako se uswapava pomalo. Opet 12GB u cacheu, rsync ne troši puno memorije, ono 50-60 MB po procesu (x2), ali swap je rastao brzinom od MB/s. Na kraju kad je završilo bilo je opet giga u swapu. Nije mi jasno zašto je odjednom opet problem. Nedavno napravio upgrade kernela s 5.8 na 5.11. Sad mi je još zagonetnije jer rsynx očito ne troši gige RAMa. Linux glupi kernel uvali sve u cache i onda počne swapati ko idiot.
Inače rsync ima poznati problem da -H opcija, kad ima puno hardlikova troši dosta memorije, a i na procesoru se osjeti.
Izgleda da mi ne gine proučavanje i fine tuning kernela za moje potrebe. Srećom ovaj rsync ide jednom tjedno u neko gluho doba noći pa ga najčešće niti ne kužim.

[tomek@vz]

Autor c-shadow

Ma smrdi na linux loš memory management. Oduvijek mu je to bolna točka.
Danas sam pustio ponovno isti rsync, nekih 2GB razlika je bilo za prenijeti i dosta brisanja (rsync --delete). Uglavnom, pratim u htopu kako se uswapava pomalo. Opet 12GB u cacheu, rsync ne troši puno memorije, ono 50-60 MB po procesu (x2), ali swap je rastao brzinom od MB/s. Na kraju kad je završilo bilo je opet giga u swapu. Nije mi jasno zašto je odjednom opet problem. Nedavno napravio upgrade kernela s 5.8 na 5.11. Sad mi je još zagonetnije jer rsynx očito ne troši gige RAMa. Linux glupi kernel uvali sve u cache i onda počne swapati ko idiot.
Inače rsync ima poznati problem da -H opcija, kad ima puno hardlikova troši dosta memorije, a i na procesoru se osjeti.
Izgleda da mi ne gine proučavanje i fine tuning kernela za moje potrebe. Srećom ovaj rsync ide jednom tjedno u neko gluho doba noći pa ga najčešće niti ne kužim.

Ak je na kernel <> RAM <> Swap razini cekiraj dal postoji opcija za sysctl. Al kazem meni to vise smrdi na Rsync problem. Na linuxu je normalno da se cache puni, kernel je dovoljno pametan da izbaci nepotrebno van kad se zapuni. Kvaka je samo da proces koji zauzima toliko RAM-a se ne ponasa kak spada i treba ga stegnut. Znaci ak ti rsync uzima 16GB RAM-a i tjera sve u swap onda treba rsyncu dat po nosu.


https://askubuntu.com/questions/8686...-all-my-memory

[c-shadow]

Nisam uspio uhhvatiti rsync da troši toliko RAMa. Trošio je malo kako sam napisao, a svejedno je linux odswapao većinu aktivnih procesa što mi nije jasno.
Ma ima tona sysctl parametara, npr. /proc/sys/vm/swappiness=5 kod mene. Default je 60.
Zasad mi je kernel VM mehanizam glavni sumnjivac, nakon toga rsync i njegove opcije kad su soft/hard linkovi u pitanju, a ovdje ih ima tonu.

Usputno pitanje:što koristite za backup za po doma da je što jednostavnije za održavanje?
Dakle, ne neko enterprise rješenje s backup serverima i hrpom servisa

[tomek@vz]

Autor c-shadow

Nisam uspio uhhvatiti rsync da troši toliko RAMa. Trošio je malo kako sam napisao, a svejedno je linux odswapao većinu aktivnih procesa što mi nije jasno.
Ma ima tona sysctl parametara, npr. /proc/sys/vm/swappiness=5 kod mene. Default je 60.
Zasad mi je kernel VM mehanizam glavni sumnjivac, nakon toga rsync i njegove opcije kad su soft/hard linkovi u pitanju, a ovdje ih ima tonu.

Usputno pitanje:što koristite za backup za po doma da je što jednostavnije za održavanje?
Dakle, ne neko enterprise rješenje s backup serverima i hrpom servisa

rsnapshot Koristim ga privat za ext backup i na poslu svi serveri imaju lokalni rsnapshot backup + za par servera za razvoj se backupiraju na backup servere. Dovoljno jednostavno za poslozit i pouzdano. Plus ako zelis kompletni image sistema tu i tam napravit - dd cronjob i deri.


Jos za Ram:


https://superuser.com/questions/3988...ng-all-the-ram

[c-shadow]

Autor tomek@vz

https://superuser.com/questions/3988...ng-all-the-ram

OP se u toj temi žali da mu neki proces pojede sav RAM. Kod mene ima slobodnog RAMa ko ui priči, ali je sav u cacheu koji kernel ne releasea već krene swapati.
Dobro, rsnapshot je sličan mojem kućnom rješenju.
Kod mene svaku noć ide rsync na lokalne diskove (backintime) + povremeno timeshift.
Oba koriste hardlinkove da se smanji količina podataka i da se dobiju "snapshoti" po datumima. Prastaro rješenje, sve na ext4, ali radi i jednostavno je za vratiti kad nešto treba. A i lijen sam pisati skripte ako mogu naklikati kroz GUI
Rsync na lokalne diskove i preko mreže ide ok.
Zasad sam suzio krug sumnjivaca, problem izgleda nastaje kad rsyncam backintime i timeshift "snapshote" na portable USB disk, to se radi povremeno za fizički offsite backup. Bude dosta deleta, komparacija datoteka,....
E tu se uswapa. Sumnjam na rsync+hardlinkovi kombinaciju.
Rsync "normalnih podataka" (dakle bez linkova), imam toga još parsto GB izgleda ide uredno, bez ikakvih problema.
Ali trebam testirati sve detaljnije.
Drugo je pitanje zašto se to javljalo prije nekoliko godina pa je bio mir i evo sad nedavno počelo opet nakon zamjene eksternog USB diska kojeg sam za test stavio na BTRFS s kompresijom

[chief_wolfinjo]

bok

imam ovaj uređaj: https://wiki.radxa.com/RockpiX

prema opisu piše da mogu instalirati Ubuntu.

samo nisam siguran dali se smije instalirati neki drugi Linux bistro ?

valjda smije ?

ono što meni treba da OS uzima manje resursa nego Windows 10

jer očigledno Windows 10 uzima previše resursa, i zato imam povremeno

drop frames kod gledanja filmova.

navedeni uređaj će se koristit za gledanje filmova sa USB sticka,

odlazak na internet poput Youtube-a

i da ima mogućnost instalacije programa u vidu IPTV player-a za gledanje

IPTV kanala.

pa me zanima dali da instaliram Ubuntu ili nešto drugo ?

i bilo bi super da tokom instalacije OS-a, ponudi opciju kao Ubuntu da odmah

instalira drivere.

hvala

[Mihael]

Evo da se ponovim

https://libreelec.tv/downloads_new/generic-pc/

[chief_wolfinjo]

Autor Mihael

Evo da se ponovim

https://libreelec.tv/downloads_new/generic-pc/

libreelec mi se baš ne sviđa

[tomek@vz]

Autor chief_wolfinjo

libreelec mi se baš ne sviđa

Jer...? Teoretski mozes gore stavit sta god hoces, kako ce se ponasat je drugi par rukava, posto znam zasto pitas poanta je da stavis laganini distru a Librelec je distra koja je optimizirana bas za to sto trazis u drugoj temi, znaci ne trebas nista previse dirat nakon instalacije. Mozes ti na Libreelec stavit kaj god hoces, svaki Linux OS je full modularan ali ak si pocetnik pretpostavljamo da bi ti bolje odgovoralo nekaj gdje ce biti manje pitanja i gdje ce ono sto trazis - raditi out of the box. Ili grijesim?

[Libertus]

Ako ti treba kao media player, stavi LE i budi miran. Boota direkt u Kodi, boota brzo, nemaš problema. Staviš Kodi skin koji ti odgovara "ljepotom" i funkcionalnošću i miran si.

[chief_wolfinjo]

Autor tomek@vz

Jer...? Teoretski mozes gore stavit sta god hoces, kako ce se ponasat je drugi par rukava, posto znam zasto pitas poanta je da stavis laganini distru a Librelec je distra koja je optimizirana bas za to sto trazis u drugoj temi, znaci ne trebas nista previse dirat nakon instalacije. Mozes ti na Libreelec stavit kaj god hoces, svaki Linux OS je full modularan ali ak si pocetnik pretpostavljamo da bi ti bolje odgovoralo nekaj gdje ce biti manje pitanja i gdje ce ono sto trazis - raditi out of the box. Ili grijesim?

Autor Libertus

Ako ti treba kao media player, stavi LE i budi miran. Boota direkt u Kodi, boota brzo, nemaš problema. Staviš Kodi skin koji ti odgovara "ljepotom" i funkcionalnošću i miran si.

ali bi radije želio nešto više kao Ubuntu ili Linux mint.

mislio sam probati instalirati linux mint, samo nisam siguran dali ga moj

mali kompi podržava, s obzirom da podržava Ubuntu ?

[Mihael]

Linux Mint = Ubuntu

[chief_wolfinjo]

ok. onda bum probao sa Ubuntu

nadam se da će biti ok.