Тема: Що порадите(СУБД) для зберігання і обробки великих об'ємів інформації?
Всім добрий день.
Маю серйозну дилему з вибором СУБД або взагалі якоїсь технології для зберігання і обробки великої кількості інформації.
Що я маю на вході: текстові дані(наприклад піб, пошта, номер телефону)
Що мені потрібно: СУБД або технологія яка дасть мені можливість робити вибірку даних по певних критеріях.
Приклад(який у мене зараз є): таблиця з трьома стовбцями(F1,F2,F3) . Стовбець F1 - ПІБ, стовбець F2 - email адреси, стовбець F3 - номери телефонів. В таблиці ~41 000 000 запис
І таких таблиць є більше десяти. Сумарна кількість записів по всіх таблицях становитиме більше 500 000 000...
Що мені потрібно: максимально швидкий пошук простими запитами "SELECT * FROM table_name WHERE F1 = 'some_value'".
Залізо і ПЗ: Core I5 2-ге покоління, 2.9 Ghz, 16GB RAM, SSD , MYSQL 8.0
Зараз з кількістю 41 000 000 записів - пошук триває приблизно 40 секунд. А коли буде більше пів мільярда запиів...боюся навіть уявити скільки триватиме пошук.
Закономірно я розумію, що на такому залізі не варто розраховувати на дуже швидкий пошук, то ж прошу Вас допомоги у виборі заліза і конфігурації самого MYSQL або ж іншої СУБД
P.S: готовий розглянути комерційні пропозиції, так як проект дуже важливий для встановлення кацапських загарбників