To nie wina czasu dostępu dysku. Jak wiesz parametr jest podawany w ms (milisekundach) i człowiek nie jest w stanie tego zauważyć! Opóźnienia wynikają najpewniej przez kontroler, sterowniki lub system. Któraś z tych rzeczy może nie działać idealnie. Najczęściej to problem software'owy.
Ale też jest inna sprawa że taki objaw jest normalny - im więcej plików w folderze tym więcej potrzeba czasu na sprawdzenie zawartości przez dysk/system.