3 гібібайти опертивної пам'ті. Дані в оперативці вже займають мебібайт 600. Якщо почати заповнювати об'єкт типу Dictionary, то через деякий час програма вилітає з повідомлення про те що закінчилась оперативна пам'ять.

Власне задача полягає в тому що потрібно відсортувати велику кількість даних і записати в файл. Є CSV файл з якого по певним критеріям відбираються дані і записуються в інший CSV файл. Даних багато в опертивку не вміщаються, файл читається порядково. Як їх відсортувати в алфавітному порядку по вказаному полю, наприклад найменуванню товара, і записати відсортованими в вихідний файл? Як я роблю зараз: при першому проході в словник як ключі записуються ідентифікатори рядків які складаються зі значень двох полів. В якості значень словника виступають списки об'єктів з даними про номер рядка і ціну товару (структура виду avbcbdhdjd: {obj1, obj2, obj3…}, zcsadsadsad: {…}). Зі словників відбирається по одному значенню (з найменшою ціною) і записуються в новий словник в якому ключі ті ж самі що й в першому словнику, але значення вже не списки об'єктів а один об'єкт (avbcbdhdjd: obj100), перший словник очищається від даних. Другий словник сортується по ключам в алфавітному порядку. Виконується код який рахує зміщення в байтах всіх рядків від початку файлу. Робиться це так: файл читається порядково, рахується довжина в байтах кожного зчитаного рядку (кодування файлу Windows-1251) + 1 на символ \n і додається до попереднього значення (наприклад довжина першого рядку 120, 120 записується в змінну ініціалізовану нулем (0 + 120); довжина другого рядка 90. 90 додається до попереднього значення 120 (120 + 90 = 210). Виходить що зміщення другого рядка становить 210.). Я розраховував на те що ці дані будуть записуватися в словник ключами якого будуть номера рядків а значеннями ключів будуть зміщення (адреси) цих рядків (рядок №2, зміщення 210) і я буду обходити відсортований словник з найменшими цінами в якому вже є інформація про номера рядків і по ключу (номеру рядка) буду дізнаватися потрібне зміщення рядка, встановлювати файлів потік на потрібне зміщення, зчитувати з цього зміщення рядок і записувати в файл (і оскільки словник вже відсортований в потрібно порядку, то дані в вихідний файл записуються теж в потрібному порядку), але в якийсь момент закінчується ОП. Якщо хтось знає кращий алгоритм, то поділіться.

А який розмір .csv?
І яка кінцева мета - просто отримати відсортований файл?
Бо загалом саме для цього і придумали БД - щоб не писати типовий код обробки даних кожного разу.
Можливо, встановити щось краще за SQLite - той же MySQL?

З MySQL дані в БД будуть записувати швидше?

Поки що так:
- збираєте виключно зміщення рядків у масив (Array);
- пишете об'єкт-компаратор, що імплементує інтерфейс IComparer, а саме перекручує на потрібні зміщення в файлі і порівнює;
- викликаєте Array.Sort із цим компаратором;
- пробігаєте по готовому масиву, читаєте по зміщенню рядки і переписуєте у новий файл.

До речі, як так сталося, що з таким ніком ви навіть не на JScript.NET пишете?

Сумна історія у вашого ніка.
То як, зробили?

Виникла ідея створювати в каталозі декілька мільйонів каталогів з номерами рядків в якості імен і в кожному каталозі файл зі значенням зміщення. Номера рядків вже є. Потрібно буде перейти у відповідний каталог, прочитати вміст файлу і таким чином отримати зміщення.

Ставте якусь притомну СУБД.