Ljudi, cini se da sam nadao problem...
Izgleda da nije problem u ruteru vec u mom mobitelu s kojim sam spojen.
Slucajno sam ceprkao postavke i ukljucio Wi-Fi 5 (802.11ac) kompatibilan način, i sad mi je network latency odlican, speed test vrti normalno.