PNG je samo drugačiji format koji lagano prebaciš u *.ico.
Uzmeš npr. Irfanview i preko batch conversion (File -> Batch conversion) odrediš da output bude ICO format i to je to. Odrediš izlazni direktorij i pričekaš ovisno koliko slika imaš u PNG-u.
Svaki preglednik malo jači vjerojatno ima konverter formata.