1 Тема від BIgor

  • BIgor
  • Користувач
  • Поза форумом
  • Дата реєстрації: 24.02.2019
  • Повідомлень: 13
    • Репутація: 1

Тема: Дуже повільне оновлення метаданих в Atlas з Hive за допомогою скрипта

Потрібно завантажити/оновити метадані в Atlas з Hive за допомогою скрипта import-hive.sh.
Але після запуску скрипта, створення/оновлення метаданих таблиць відбувається дуже повільно.
Завантаження метаданих з однієї таблиці може тривати від кількох хвилин до години.
В кластері: Hadoop, Hive і Atlas.
Для Atlas-a використовуються Cassandra:3.0 та Elasticsearch: 5.5.3 docker імеджі.

2 Відповідь від Dimi

  • Dimi
  • Користувач
  • Поза форумом
  • Звідки: Kyiv / LA
  • Дата реєстрації: 01.12.2020
  • Повідомлень: 11
    • Репутація: 14

Re: Дуже повільне оновлення метаданих в Atlas з Hive за допомогою скрипта

Ви моніторили навантаження на диск/процесор/пам'ять у процесі імпорту? Може там щось гальмує процеси?

Dimi вебсайт