Чтение потоком (stream), по строкам или чанками. Не загружать файл в память целиком. Для CSV - fgetcsv в цикле. Параллельная обработка чанков при необходимости (разбиение по смещениям или по строкам).