Spoji ovako:

i stavi modem u router mode rada. Pošto si spominjao PPPoE očito si već nešto podešavao samo ne znam što. Uglavnom ti trebaš uspostaviti PPPoE (Point to point Protocol over ethernet) konekciju sa svojim ISP-om (T-com, optima itd...) i jednostavno dodijeli fiksne IP adrese u LAN-u svakome od ta 4 kompa (to je najlakše i često odlično rješenje) i postavi LAN IP adresu od routera kao default gateway na svakom od ta 4 kompa. Svaki uređaj (svaki komp i router) moraju imati jedinstvenu IP adresu u lan-u (ne smije biti duplih).