Moguće da je tvoj problem ako koristiš neki od filesystema koji ima driver u userspaceu, dakle ovi "fuse" nešto. To obično radi dosta sporo.
Pitanje je sam samo što rpi distra ima upakirano u taj "exfatprogs" i da li je to baš driver ili samo pomoćni programi za formatiranje, chkdsk i sl.
Izbjegavam kad god mogu takvu kombinaciju gdje linux piše na neki od windows FSa, naročito je loše radio neki tamo ntfs-fuse koliko se sjećam. Provjeri, čini mi se da je odnedavno neki bolji NTFS driver ubačen baš u kernel i da bi to trebalo raditi osjetno bolje.
Našao, trebao bi biti od kernela 5.15:
https://www.phoronix.com/news/NTFS3-For-Linux-5.15
Vidi koji kernel ima rpi, da li je taj driver unutra pa probaj.