Ви не увійшли. Будь ласка, увійдіть або зареєструйтесь.
Ласкаво просимо вас на україномовний форум з програмування, веб-дизайну, SEO та всього пов'язаного з інтернетом та комп'ютерами.
Будемо вдячні, якщо ви поділитись посиланням на Replace.org.ua на інших ресурсах.
Для того щоб створювати теми та надсилати повідомлення вам потрібно Зареєструватись.
Український форум програмістів → Залізо → Вибір SSD для нейромереж
Для відправлення відповіді ви повинні увійти або зареєструватися
Потрібен SSD на >= 250 GB з великим IOPS (головне), з якомога більшим ресурсом (бажано), для цілодобової роботи (навчання нейромереж). Порти є M.2/PCI/SATA.
P.S. Я в них не розбираюсь, а в параметрах на сайтах інтернет-магазинів IOPS не знайшов. Заздалегідь дякую.
Потрібен SSD на >= 250 GB з великим IOPS (головне), з якомога більшим ресурсом (бажано), для цілодобової роботи (навчання нейромереж). Порти є M.2/PCI/SATA.
P.S. Я в них не розбираюсь, а в параметрах на сайтах інтернет-магазинів IOPS не знайшов. Заздалегідь дякую.
Так розумію навчатимете на звичайному ПК?
Якщо так то беріть SSD M.2 2280 512GB SAMSUNG (MZ-V7P512BW) (чи більшого об'єму) але із значним запасом по ємності (дивлячись який об'єм переписати плануєте між навчаннями). Ставите збільшений розмір OP області, щоб диску під час навчання не закортіло почати "прибирати" через вичерпування OP області. Це якщо говоримо про доволі бюджетні рішення.
Про менш бюджетні рішення, то там SSD PCI-EXPRESS 2TB GIGABYTE (GP-ASACNE2200TTTDA) і т.п. треба брати, які собою представляють фактично RAID контролер для чотирьох NVME дисків та відповідно ті диски SSD M.2 2280. Правда, бажано переконатися спочатку чи стоїть на материнці чіпсет що підтримує даний контролер, наприклад Z490, Z390, X299X, X570, TRX40.
Подальші рішення вже вимагають експериментів: тобто купувати речі які теоретично можуть бути сумісні, а на практиці не факт бо ніхто того не обіцяв. Наприклад взяти PCI-e RAID контролер для nvme дисків та поставити в них наприклад не заявлені в підтримці новіші SAMSUNG nvme диски і тим самим витиснути теоретичний максимум з RAID контролера.
Далі, вже йдуть лише рішення коли є багато грошей: брати RAID контролер від сервака та відповідно NVME диски для серверів, але чесно там вже краще робочу станцію чи сервак брати одразу щоб без зайвого гемору.
А загалом треба трохи більше даних, наприклад що за материнка та процесор.
Дякую за відповідь. Так, навчатиму на звичайному ПК. Можна було б і на сервері, але БУ сервер як показує практика повільніший за новий ПК.
Є щось дешевше за SSD M.2 2280 512GB SAMSUNG (MZ-V7P512BW) з тими ж параметрами? Samsung 980 pro 256gb дешевший в 2 рази, я так зрозумів це іще краще (970<980)? Так само, є щось дешевше за PCI 2TB, з меншою ємністю але таким же IOPS?
Подальші рішення вже вимагають експериментів.
Ні, експерименти - це не моє. Якби я хотів експериментувати, то не звертався б на цей форум. Мені треба точно "не пролетіти".
Далі, вже йдуть лише рішення коли є багато грошей
Річ не у тому, чи вони є, а чи вони будуть. Якщо буде прибуток, то позичити можна, а якщо не буде то витрачатись не треба. Тобто, ви можливо мали на увазі "якщо ви впевнені що від цього у вас буде більше грошей". -Ні, не буде.
А загалом треба трохи більше даних, наприклад що за материнка та процесор.
Материнка Gigabyte B450 AORUS M, CPU AMD ryzen 7 1700.
Є щось дешевше за SSD M.2 2280 512GB SAMSUNG (MZ-V7P512BW) з тими ж параметрами? Samsung 980 pro 256gb дешевший в 2 рази, я так зрозумів це іще краще (970<980)?
Так, можна 980 він буде щонайменше дешевше, по швидкості не гірше. Поки цей принцип у Samsung працює.
Якщо Pro версія дорогувато, то дивіться на Evo Plus, але там до 10% втратите. Дешевше Samsung Evo Plus є але там втрати у продуктивності відчутно більші.
Так само, є щось дешевше за PCI 2TB, з меншою ємністю але таким же IOPS?
Готове рішення ні, хіба за рахунок зменшення сумарної ємності. Наприклад, замість чотирьох на 512 щоб складався з чотирьох на 256. Але тут є проблема знайти саму карту RAID AIC SSD без попередньо встановлених ssd, хіба може хто б/у продаватиме.
Gigabyte B450 AORUS M, CPU AMD ryzen 7 1700
Ось тут може бути проблема для використання таких речей на повну як Gigabyte Aorus RAID AIC SSD, якщо використовуєте відеокарту.
Бо материнка має один слот на 16 ліній PCIe 3.0, які при використанні відеокарти вона займає. Ще 4 лінії PCIe 3.0 йдуть на m.2 слот для ssd nvme, а ще 4 лінії на чіпсет з якого виходять на два слоти PCIe вже лінії версії 2.0 в конфігураці 1 та 4. Більше ліній PCIe немає у процесора (16+4+4). Тож по суті немає куди вставити Gigabyte Aorus RAID AIC SSD, навіть як би був слот не на 8 а на 4 лінії версії 3.0 то цього би вистачило для даної карти щоб розкритися на максимум, але не 4 лінії версії 2.0 які є на материнці. Тож за наявності відеокарти на даній материнці та процесорі значно більших швидкостей ніж дасть один добрий ssd nvme не отримати.
980-та серія у самсунгів не дуже вдала через перехід на TLC пам'ять. В принципі якщо даних лише кілька десятків гігабайт, то вони повністю попадуть у SLC кеш, і проблем не буде. А якщо сотні гігабайт одним куском, то краще пошукати щось на MLC від інших компаній, або взяти 970-у серію. В принципі, чим більший об'єм накопичувача, тим більший у нього SLC кеш. В оглядах накопичувачів зазвичай добре видно якого він розміру, по різкому зменшенню швидкості запису під час тестів: The Samsung 980 PRO PCIe 4.0 SSD Review: A Spirit of Hope. Можна взяти накопичувач навіть на QLC але з достатньо великим SLC кешем для ваших навантажень.
980-та серія у самсунгів не дуже вдала через перехід на TLC пам'ять. В принципі якщо даних лише кілька десятків гігабайт, то вони повністю попадуть у SLC кеш, і проблем не буде. А якщо сотні гігабайт одним куском, то краще пошукати щось на MLC від інших компаній, або взяти 970-у серію. В принципі, чим більший об'єм накопичувача, тим більший у нього SLC кеш. В оглядах накопичувачів зазвичай добре видно якого він розміру, по різкому зменшенню швидкості запису під час тестів: The Samsung 980 PRO PCIe 4.0 SSD Review: A Spirit of Hope. Можна взяти накопичувач навіть на QLC але з достатньо великим SLC кешем для ваших навантажень.
Трястя, для PRO то не просто невдалі показники, то лажові. Бо характеристика стала як у дешевшої EVO з кешем. Фактично замість нової 980 Pro випустили оновлену 970 Evo під назвою 980 Pro. Хоча при звичайному використанні навряд помітиш, але в деяких випадках то може стати підстава.
Якщо Pro версія дорогувато, то дивіться на Evo Plus, але там до 10% втратите. Дешевше Samsung Evo Plus є але там втрати у продуктивності відчутно більші.
10% не багато. Головне для мене - це відношення ціни/якості.
І для мене не так важливий об'єм одного диска, як його надійність. Краще я буду мати 4 більш дорогих диска по 256 GB - якщо один вийде з ладу то залишаться 3. Тому я і не хочу брати більший об'єм (хоча "оптом" дешевше).
Готове рішення ні, хіба за рахунок зменшення сумарної ємності. Наприклад, замість чотирьох на 512 щоб складався з чотирьох на 256. Але тут є проблема знайти саму карту RAID AIC SSD без попередньо встановлених ssd, хіба може хто б/у продаватиме.
Вони з часом та від навантаження також втрачають ресурс, як і SSD? Бо хто ж продаватиме бу робочий каркас, в який можна вставити нові SSD?
Бу і по якості, і по гігієні не варіант.
ferton500 написав:Gigabyte B450 AORUS M, CPU AMD ryzen 7 1700
Бо материнка має один слот на 16 ліній PCIe 3.0, які при використанні відеокарти вона займає.
Яку материнку купити?
Трястя, для PRO то не просто невдалі показники, то лажові. Бо характеристика стала як у дешевшої EVO з кешем. Фактично замість нової 980 Pro випустили оновлену 970 Evo під назвою 980 Pro. Хоча при звичайному використанні навряд помітиш, але в деяких випадках то може стати підстава.
Ви точно впевнені? Схоже, доведеться брати все ж 512 GB.
Хоча, якщо Samsung такий ненадійний бренд, то може треба пошукати інші?
Хоча, якщо Samsung такий ненадійний бренд, то може треба пошукати інші?
Самсунг дуже надійний, просто абсолютно в кожного виробника бувають вдалі та невдалі моделі. Якщо вам важлива якість, то завжди треба читати огляди перед покупкою. Візьміть собі 970 Pro, поки вони іще є, не пожалкуєте: https://hotline.ua/computer-diski-ssd/s … -v7p512bw/
Вони з часом та від навантаження також втрачають ресурс, як і SSD? Бо хто ж продаватиме бу робочий каркас, в який можна вставити нові SSD?
Продають з різних причин.
Наприклад, вмер один з чотирьох дисків, а заміняти їх треба на ідентичні, тож якщо не знайшов такого самого як вмер то маєш замінити всі чотири. А це фактично майже вартість нового девайсу. Дехто брав такі речі для забавок, але якщо чесно то надмірно, тож люди не готові повторно викласти значні кошти за для продуктивності якою ефективно не користуються.
Буває людина купувала за для досягнення великого об'єму, а з часу як вийшов цей девайс з'явилися вже ssd об'ємом 1ТБ, тож якщо раніше маючи два слоти m.2 мав межу в 1ТБ (два по 512ГБ) і тому перестрибнути її можна було лише за допомогою даного девайса, то зараз може обійтися без нього і тому коли в ньому ламається один з дисків просто купує два нових для використання без даного девайсу, та й по ціні то дешевше ніж купувати чотири нових.
Також буває рідко, але все ж що з певного моменту в подібні девайси ставлять диски певної моделі яка дорожче в роздріб обійдеться ніж весь девайс і якщо тобі треба саме ці диски і хочеш зекономити то заморочуєшся та шукаєш певну ревізію девайса.
А буває просто щось не так з девайсом, бо наприклад перегріли його, але це не відеокарта, тому зазвичай без допомоги саме собою не вийде і тому на ньому помітно що його використовували неадеквати які втручалися в його роботу.
Яку материнку купити?
Тут треба не лише материнку міняти, а й проц. А на який, то треба дивитися по потребах і можливостях. Якщо вистачає продуктивності, то дивитися процесор з аналогічними характеристики в новому поколінні.
В AMD не гуру, бо маю переважно справу з Intel, але якщо не підводить то материнки на чіпсеті B550 і вище вже мають вторинні PCIe після чіпсета версії 3. Відповідно треба проц 3ххх з підтримкою PCIe версії 4.
Ви точно впевнені? Схоже, доведеться брати все ж 512 GB.
Хоча, якщо Samsung такий ненадійний бренд, то може треба пошукати інші?
В тому справа, що надійнішого за Samsung на ринку користувацької оперативи і ssd не знайти. У інших часто чекають куди трагічніші сюрпризи.
Тут вся трагедія лиш в тому, що часом за допомогою Pro серії часом виходило уникати потреби купувати корпоративні лінійки які ще дорожчі. Це тоді, коли треба стабільна швидкість при великих об'ємах запису, наприклад, при використанні в RAID. Для нормального використання себе виправдовують.
Щодо того який брати 970 чи 980, тут треба визначитися зі сценарієм.
Якщо вам треба наприклад записати один раз наприклад 100 ГБ а далі під час навчання активно вичитувати то 980 може навіть стати перевагою бо у неї швидкість читання вища, але якщо в процесі навчання може бути що у вас буде висока активність запису то краще 970.
Також 970 добре підійде з розрахунку на впевненість, що якщо сценарій використання зміниться то вам не стане він проблемою, бо у записі він краще 980. 970 буде універсальніше.
PCI-E 4.0 дає можливість збільшити лише швидкість послідовного читання та запису. Для випадкового немає ніякої різниці між четвертою та третьою версіями.
Думаю, може краще RAM-диск? Чи в SSD IOPS більший? Я буду навчати мережу на спарсених даних з html-файлів. SSD потрібен для аналізу великого масиву файлів. Буде мега-багато звертань до тої частини де файлова таблиця MFT NTFS. На HDD архів з цими файлами, скопіюю на SSD і буду його розпаковувати для аналізу. Бо на HDD з 200 IOPS цей аналіз йде мега-довго.
В результаті з htm спарсені дані мають бути записані у якусь БД.
Я щось вже запутався і сам не знаю, що мені потрібно (як в казці про мотузочку)
Щось я роблю не так.
Але далі по цій БД має бути згенерований один чи кілька великих файлів (вхідні дані для навчань). Вони будуть бінарними (тільки нулі і одиниці), у зрозумілій для нейромережі формі.
Якщо Samsung найкращий то тоді візьму його, вмовили.
PCI-E 4.0 дає можливість збільшити лише швидкість послідовного читання та запису. Для випадкового немає ніякої різниці між четвертою та третьою версіями.
Ваші твердження дійсні можливо для окремих NVME SSD, а не як не для RAID AIC SSD.
А PCI-E 4.0 взагалі обговорювали лиш за для того, щоб мати вторинні PCI-E слоти хоча би PCI-E 3.0 щоб розкрити на повну RAID AIC SSD зі стоковими SSD.
Думаю, може краще RAM-диск? Чи в SSD IOPS більший?
Якщо вам вистачить оперативки, то RAM-диск буде разів в десять швидшим за найшвидші сучасні SSD.
А PCI-E 4.0 взагалі обговорювали лиш за для того, щоб мати вторинні PCI-E слоти хоча би PCI-E 3.0 щоб розкрити на повну RAID AIC SSD зі стоковими SSD.
Зараз таке можливе лише на чіпсеті X570, усі інші так не вміють. Чіпсети B550 і старіші спілкуються з процесором через повільне з'єднання. Один єдиний NVME SSD повністю заб'є цей канал. Тут можливий хіба що зворотній варіант, коли RAID контролер ставиться в основний 16x слот, а відяха в той, який контролюється чіпсетом. Навіть якщо GPU використовується для навчання нейронок, то швидкість обміну даними з процесором там не надто велика. Хоча усе це сильно залежить від конкретних задач.
Зараз таке можливе лише на чіпсеті X570, усі інші так не вміють.
Там чіпсет з процом спілкується через PCIe 4.0.
Чіпсети B550 і старіші спілкуються з процесором через повільне з'єднання.
Там чіпсет з процом спілкується через PCIe 3.0.
Один єдиний NVME SSD повністю заб'є цей канал.
Повністю ні, навіть найшвидший на 2/3 лише і то лиш на читання чи поки кеш не скінчиться. На стокових SSD теоретично як раз може вистачити цієї ширини каналу, бо стокові здається там не дуже швидкі, ну в перших ревізіях так було.
На стокових здається отримуєш на 20% ніж пікові значення топових нових NVME, тож як раз впритул до можливостей чотирьох ліній PCIe 3.0.
Ось якщо зарядити замість стокових щось на зразок 970 то там для підключення треба 8 ліній PCIe і тож варіант хіба замість відяхи ставити незалежно від чіпсета.
Якщо чесно, то при заряженому RAID AIC SSD краще дивитися в бік Intel платформи, там лінії PCIe 3.0 з процесора можуть розщеплюватися на конфігурацію 8/8 та 8/4/4, а це ще мовчу лінії PCIe 3.0 з хаба яких там на топових чіпсетах може бути до біса (до 24) і які теж розщеплюються, чого вистачить без утисків відеокарти (без розщеплення ліній процесора) щоб підключити заряджений на повну RAID AIC SSD та ще лишиться на мережеві карти, під NVME диск для системи і т.п.
Тут можливий хіба що зворотній варіант, коли RAID контролер ставиться в основний 16x слот, а відяха в той, який контролюється чіпсетом. Навіть якщо GPU використовується для навчання нейронок, то швидкість обміну даними з процесором там не надто велика. Хоча усе це сильно залежить від конкретних задач.
Тоді вже краще X570 чи взагалі в бік Intel.
Якщо дуже треба багато ліній PCI-E, тоді вже краще брати Threadripper. Залежно від материнки, там буде до 72 доступних ліній. Причому в 3ХХХ серії усі лінії четвертої версії. Але мені здається, що таке рішення буде надто дорогим для автора.
Якщо дуже треба багато ліній PCI-E, тоді вже краще брати Threadripper. Залежно від материнки, там буде до 72 доступних ліній. Причому в 3ХХХ серії усі лінії четвертої версії. Але мені здається, що таке рішення буде надто дорогим для автора.
А материнку до нього? Бо на мало яка дасть з тих 72 використати більше половини.
А материнку до нього? Бо на мало яка дасть з тих 72 використати більше половини.
Gigabyte TRX40 AORUS XTREME має вільних 64 лінії. Решта зайняті під порти USB, аудіо, SATA та інші подібні штуки. Але краще вам не знати, скільки ця краса коштує.
HetmanNet написав:А материнку до нього? Бо на мало яка дасть з тих 72 використати більше половини.
Gigabyte TRX40 AORUS XTREME має вільних 64 лінії. Решта зайняті під порти USB, аудіо, SATA та інші подібні штуки. Але краще вам не знати, скільки ця краса коштує.
Отож бо.. тож Intel рулить бо на ньому можна зібрати проміжні конфігурації, а не лише дві крайності 
Якщо вам вистачить оперативки, то RAM-диск буде разів в десять швидшим за найшвидші сучасні SSD.
Якщо є велика кількість IO, то виходить щоб не гробити SSD їх треба робити в RAM, а з SSD тільки зчитувати і записувати кінцеві дані? Оперативи 64 Гб.
RAM і так оновлюється все "життя", а SSD має обмежену кількість перезаписів, правильно? Так мій знайомий сказав.
Це виходить потрібен сервер. Це буде дешевше (ніж PCI/SSD+TRX AORUS). І напевно RAM-диск пропрацює довше, ніж SSD?
Якщо вам вистачить оперативки, то RAM-диск буде разів в десять швидшим за найшвидші сучасні SSD.
HPE G5, G6, G7, Gen8, Gen9, Gen10 - в якого із цих оператива буде швидшою за Samsung 970?
(мінімальний). Rack (не Tower/Blaid). Проц самий мінімальний. А як з'єднати його потім з ПК? На RAM встановити LAMP? 1 Gbit Ethernet....
Наприклад
https://servak.com.ua/servers/servery-h … 0p-g8.html
48 GB + 2000 UAN= 12000 UAN/30=400$
128 GB + 7000 UAN= 17000 UAN/30=566$
256 GB + 16000 UAN=26000 UAN/30=866$
Оптимальний середній?
Gigabyte TRX40 AORUS XTREME=31000 UAN/30=1033$; +600$ PCI-E=1600$
566$*2=1132$<1600$
256GB<512GB*4
Хм... об'єм зрозуміло, а продуктивність+надійність?
А як би його щоб більше ОЗУ. Менше ціна.
Якщо є велика кількість IO, то виходить щоб не гробити SSD їх треба робити в RAM, а з SSD тільки зчитувати і записувати кінцеві дані? Оперативи 64 Гб.
Якщо вистачає оперативи для того щоб тримати потрібний об'єм даних то так. До диска намагаються звернення скорочувати до максимуму, але щоб не жерти занадто пам'яті тримати лиш ті дані що потрібні для роботи зараз та ті що знадобляться наступними, але виходячи з часу потрібного на звільнення та підвантаження наступних даних. Також варто не забувати, що просто дані в пам'яті мають більшу швидкість доступу ніж файли в ramdisk. Тож тут варто дивитися вже з практичнішого: чи варте дописування коду того часу що зекономить його написання, бо буває вигідніше використати ramdisk бо зекономлений час від дописаного коду є менший ніж час витрачений на його написання.
RAM і так оновлюється все "життя", а SSD має обмежену кількість перезаписів, правильно?
А ви того не знали? Все таки крім цього та й призначення у цих речей різне: RAM це робоча пам'ять, а SSD то лиш сховище для результатів роботи та збереження стану.
Це виходить потрібен сервер.
Не факт. Можливо робоча станція. Можливо і ПК вистачить. Все залежить що потрібно робити.
Наприклад, нові не найпотужніші десктопні intel дозволяють до 128ГБ оперативи встановити, що не менше ніж старий сервак, та ще пам'ять швидша ніж у старого сервака. В AMD думаю аналогічно.
Наприклад, ваш процесор дозволяє до 64ГБ, а материнка до 128ГБ (якщо проц замінити). Деякі проци на вашу материнку наприклад дозволяють швидшу пам'ять.
Це буде дешевше (ніж PCI/SSD+TRX AORUS).
Ну не факт, бо залежить від об'ємів.
HPE G5, G6, G7, Gen8, Gen9, Gen10 - в якого із цих оператива буде швидшою за Samsung 970?
В усіх 
Проц самий мінімальний. А як з'єднати його потім з ПК? На RAM встановити LAMP? 1 Gbit Ethernet....
А вам того проца вистачить? Що маєте з'єднати з ПК? Що ви збираєтеся робити на серваку? А що на ПК?
Наприклад
https://servak.com.ua/servers/servery-h … 0p-g8.html
48 GB + 2000 UAN= 12000 UAN/30=400$
128 GB + 7000 UAN= 17000 UAN/30=566$
256 GB + 16000 UAN=26000 UAN/30=866$
Оптимальний середній?
Як ви визначаєте потрібний об'єм пам'яті? Потрібний проц? Потрібні диски? Потрібне доповнення конфігурації?
Ви розумієте що до одноюнітового сервака відеокарту 2080 не підключиш?
А як би його щоб більше ОЗУ. Менше ціна.
Ніяк, особливо із серваками, ви ж знаєте що там зазвичай буферизована EСС пам'ять? У вашому випадку, це в першу чергу на її ціну впливає.
Щоб просто не вкидати до біса грошей в залізо навмання, спробуйте уважніше на алгоритм роботу власної програми подивитися, може без значних зусиль можна в ній щось допрацювати: додати десь кешування, десь може динамічне підвантаження даних, планувальник операцій і т.д. У вас так розумію програма всі 64ГБ пам'яті не з'їдає, тож можливо після доопрацювань за рахунок пам'яті скоротите кількість звернень до диску і вам досить буде просто один 970 ssd докупити чисто для того щоб вихідні дані та результат кінцевий зберігати. Можливо навіть налаштуваннями середовища погратися, щоб скоротити кількість звернень до диска.
Для відправлення відповіді ви повинні увійти або зареєструватися
