Моя навколо-ML задача наближується до завершення (окрім рефакторингу, бо це зараз не в пріоритеті - достатньо робочого dirty коду). Власне зараз останній етап - перерахунок історичних даних за декілька минулих місяців. Стикнувся з обмеженнями pandas + snowflake-python-connector, а саме 16 з копійками тисяч рядків за один раз. Через це дані доводиться надсилати потижнево батчами (строгої потижневої послідовності теж нема, бо все залежить від активності користувачів в конкретний період, тож кількість стрічок потрібно підбирати вручну щоб не вилізти за ліміт). І якщо це ще можна було б придумати як зробити одночасно (декілька джобів що раняться на різних періодах паралельно), то надіслати результати в стороннє API можна лише по одному запиту за раз, причому API має rate limits і після перевищення починає повертати замість json помилку в html (це епік). Через це вихідні проводжу з ноутом в межах досяжності і чергую коли закінчиться ранитися джоб, щоб запустити вручну наступний батч.
