Ви не увійшли. Будь ласка, увійдіть або зареєструйтесь.
Ласкаво просимо вас на україномовний форум з програмування, веб-дизайну, SEO та всього пов'язаного з інтернетом та комп'ютерами.
Будемо вдячні, якщо ви поділитись посиланням на Replace.org.ua на інших ресурсах.
Для того щоб створювати теми та надсилати повідомлення вам потрібно Зареєструватись.
Український форум програмістів → C#, .NET → Обробка великих масивів даних
Сторінки 1
Для відправлення відповіді ви повинні увійти або зареєструватися
Маю програму, вона вилітає через System.OutOfMemoryException після того як розмір використовуваної пам'яті досягає 1600 МБ, при цьому не важливо, скільки саме вільно оперативки. Я так розумію десь стоїть обмеження, як його обійти/відмінити?
P.S. дані зберігаю у LinkedList, Windkws x64 8.1
На Stackoverflow кажуть, що the maximum size of a CLR Object is 2gb even on 64bit. Хоча за логікою це не має стосуватися LinkedList. А взагалі - щось дивне робите.
Ах да, забув одразу відповісти всім цікавим:
Програма моделює захворюваність 42 000 000 людей протягом 10 років (така задача, але і одного року змоделювати не може). Якщо брати 100 000 народу на 10 років, то там лише 40 Мб і все. Коли для 100 000 народу на 1000 років - то до 400 Мб доходило
P.S. цікаво, як зробити так, щоб пам'ять використовувалась вся, а не лише якийсь певний розмір
На Stackoverflow кажуть, що the maximum size of a CLR Object is 2gb even on 64bit. Хоча за логікою це не має стосуватися LinkedList. А взагалі - щось дивне робите.
<runtime>
<gcAllowVeryLargeObjects enabled="true" />
</runtime>Цей рядок (який стосувався безпосередньо числа 2Gb) не допомагає
vitia444
А що саме ви робите з таким списком? Може дані можна розбити на частини і обробляти частинами? Наприклад:
брати 100 000 народу на 10 років
а потім наступні 100 000 народу.
vitia444
А що саме ви робите з таким списком? Може дані можна розбити на частини і обробляти частинами? Наприклад:
брати 100 000 народу на 10 років
а потім наступні 100 000 народу.
Взагалі - можна, але хочеться просто для саморозвитку знайти в чому проблема і щоб воно брало весь розмір оперативки
P.S. якщо брати по 100 000 - то це вийде пристойно довше, включається вибір між часом і пам'яттю
P.S. якщо брати по 100 000 - то це вийде пристойно довше, включається вибір між часом і пам'яттю
Від конкретної задачі залежить - структура даних, дії над цими даними - наприклад, алгоритми сортування Merge та QuickSort, з вами не згодні.
P.S. якщо брати по 100 000 - то це вийде пристойно довше, включається вибір між часом і пам'яттю
Від конкретної задачі залежить - структура даних, дії над цими даними - наприклад, алгоритми сортування Merge та QuickSort, з вами не згодні.
Основні операції що виконуються - перебір(постійно) та додавання-видалення(10% всіх операцій). З огляду на це я вибрав структуру даних LinkedList, про що вказав у топі треду.
Шановний Arete, спростити задачу я собі і сам зможу. Мене не цікавить зараз як зробити так, щоб воно займало менше пам'яті, я просто обмежу вхідні дані та й по всьому.
Мене цікавить чому викидається ця помилка, чому я не можу використовувати весь вільний простір оперативної пам'яті
Щось нагуглив, може якось допоможе.
Чому ви моделюєте захворюваність для 42 млн, а не для двох-трьох тисяч?
лінк не повний
Ну це ніби стрес-тест)) у мене все чудово працює для 100 000, і на них я і будуватиму звіт
Наприклад, ваша програма може викликати значну фрагментацію пам'яті. 42 мільйони об'єктів, кожен з яких, мабуть, ще й рядки містить, які активно створюються/видаляються - і в результаті є вільних, скажімо, 500МБ, але розбитих на маленькі фрагменти по 500б, і для нового об'єкту вже пам'яті нема.
лінк не повний
Виправив.
Сторінки 1
Для відправлення відповіді ви повинні увійти або зареєструватися
