401 Востаннє редагувалося frz (14.04.2023 20:34:31)

Re: Ділимось досвідом і даємо поради щодо пошуку роботи

Мені щоб потрапити на цей проект, ґпт зовсім не знадобився. Вхідним квитком стало резюме і готовність працювати нижче ринку - в надії на те, що проект вистрілить і опціони стануть варті зусиль. Така собі морквина перед лошарою віслюком. А от перше завдання пишу з допомогою ґпт - це Flask аплікація, але ґпт тут не надто допомагає, весь час повторює ті ж помилки після виправлень. Так що й "преміум" тут до одного місця, принаймні четверта версія. Доведеться самому ))

Так як це парт-тайм, то шукаю інші підробітки. Точніше, зараз просто чекаю фідбеку від того процесу, який пройшов успішно за допомогою ґпт.

402 Востаннє редагувалося Droid 77 (16.04.2023 16:11:16)

Re: Ділимось досвідом і даємо поради щодо пошуку роботи

ur_naz написав:

Мабуть скоро гптшних наркоманів значно побільшає

Звісно побільшає.
Не дарма-ж заплановано скорочення IT фахівців на 20 % в українських компаніях.

403

Re: Ділимось досвідом і даємо поради щодо пошуку роботи

frz написав:

Мені щоб потрапити на цей проект, ґпт зовсім не знадобився. Вхідним квитком стало резюме і готовність працювати нижче ринку - в надії на те, що проект вистрілить і опціони стануть варті зусиль. Така собі морквина перед лошарою віслюком. А от перше завдання пишу з допомогою ґпт - це Flask аплікація, але ґпт тут не надто допомагає, весь час повторює ті ж помилки після виправлень. Так що й "преміум" тут до одного місця, принаймні четверта версія. Доведеться самому ))

Так як це парт-тайм, то шукаю інші підробітки. Точніше, зараз просто чекаю фідбеку від того процесу, який пройшов успішно за допомогою ґпт.

От через таких як Ви, людство врешті решт загине від куль термінаторів.

Подякували: flatliner1

404

Re: Ділимось досвідом і даємо поради щодо пошуку роботи

Droid 77 написав:
frz написав:

Мені щоб потрапити на цей проект, ґпт зовсім не знадобився. Вхідним квитком стало резюме і готовність працювати нижче ринку - в надії на те, що проект вистрілить і опціони стануть варті зусиль. Така собі морквина перед лошарою віслюком. А от перше завдання пишу з допомогою ґпт - це Flask аплікація, але ґпт тут не надто допомагає, весь час повторює ті ж помилки після виправлень. Так що й "преміум" тут до одного місця, принаймні четверта версія. Доведеться самому ))

Так як це парт-тайм, то шукаю інші підробітки. Точніше, зараз просто чекаю фідбеку від того процесу, який пройшов успішно за допомогою ґпт.

От через таких як Ви, людство врешті решт загине від куль термінаторів.

А яким треба бути в цій ситуації, щоб людство не загинуло?

405

Re: Ділимось досвідом і даємо поради щодо пошуку роботи

Та багато варіантів:
розробка автономного будинку, автономного від комунального здирництва;
розробка медичних капсул;
та ще дофіга чого можливо розробити з корисного для людства загалом ...

406

Re: Ділимось досвідом і даємо поради щодо пошуку роботи

Droid 77 написав:

Та багато варіантів:
розробка автономного будинку, автономного від комунального здирництва;
розробка медичних капсул;
та ще дофіга чого можливо розробити з корисного для людства загалом ...

То мені потрібно припинити преміум підписку на ґпт, аби вижило людство, і розпочати натомість розробляти автономний будинок і медичні капсули?

407

Re: Ділимось досвідом і даємо поради щодо пошуку роботи

frz написав:

перше завдання пишу з допомогою ґпт - це Flask аплікація, але ґпт тут не надто допомагає, весь час повторює ті ж помилки після виправлень

Таки просто варто бути впертим, розжовувати дуже детально, що саме потрібно і в якому місці я очікую фікс. Звісно, англійською мовою ґпт краще сприймає. І процес рухається. В такий спосіб можна менше ґуґлити і питати на stackoverflow. Але все постійно в деталях треба перевіряти.

408 Востаннє редагувалося frz (21.05.2023 01:43:47)

Re: Ділимось досвідом і даємо поради щодо пошуку роботи

Разом з ґпт переглянув умови угоди про опціони і знайшов купу, просто купу вузьких місць. Не кажучи вже про технічні помилки.

Написав про це все в деталях в листі на SEO. Тональність мого листа "ви шо, мене маєте за повного дауна?", але у вкрай ввічливій формі.

Мені дуже цікавий сам проект. Тож буде трохи жаль, якщо на цьому все закінчиться. Але побачимо що буде далі.

P.S.: Довелося конвертувати pdf у txt, потім вручну виправити формули і таке інше. Також вводив текст порціями, отримував відповіді теж порціями. Потім преміум сказав "всьо" і далі працювала старша версія, довелося чекати поки оновляться ліміти. Кропіткий процес, але воно того було варто. Такий собі кишеньковий юрист-стажер (стажер, бо воно багато разів казало що лише підозрює на слабкі місця, але обговорити це треба з менеджментом компанії, перед тим проконсультуватися зі справжнім юристом).

409

Re: Ділимось досвідом і даємо поради щодо пошуку роботи

Пропозиції які не залишать байдужими:

Картинки

https://replace.org.ua/uploads/images/9850/8b97d11c9713ae4fd88f9cc6b107c020.png
https://replace.org.ua/uploads/images/9850/8168ce9d151934dbdee5b7c9bc923805.png
https://replace.org.ua/uploads/images/9850/7410b2550371cbd8b9bbc38fc6cc61be.png
https://replace.org.ua/uploads/images/9850/e10664cdddcf78c005b1034da49eb52a.jpg

410

Re: Ділимось досвідом і даємо поради щодо пошуку роботи

frz написав:

Разом з ґпт переглянув умови угоди про опціони і знайшов купу, просто купу вузьких місць. Не кажучи вже про технічні помилки.

Написав про це все в деталях в листі на SEO. Тональність мого листа "ви шо, мене маєте за повного дауна?", але у вкрай ввічливій формі.

Мені дуже цікавий сам проект. Тож буде трохи жаль, якщо на цьому все закінчиться. Але побачимо що буде далі.

P.S.: Довелося конвертувати pdf у txt, потім вручну виправити формули і таке інше. Також вводив текст порціями, отримував відповіді теж порціями. Потім преміум сказав "всьо" і далі працювала старша версія, довелося чекати поки оновляться ліміти. Кропіткий процес, але воно того було варто. Такий собі кишеньковий юрист-стажер (стажер, бо воно багато разів казало що лише підозрює на слабкі місця, але обговорити це треба з менеджментом компанії, перед тим проконсультуватися зі справжнім юристом).

SEO сказав що не хоче мене втратити, тому все по пунктах проаналізує і відповість.

411 Востаннє редагувалося Droid 77 (22.05.2023 13:33:59)

Re: Ділимось досвідом і даємо поради щодо пошуку роботи

Виходить, гпт допоміг знайти вузькі місця в угоді, вірно розумію?

412 Востаннє редагувалося frz (22.05.2023 13:53:59)

Re: Ділимось досвідом і даємо поради щодо пошуку роботи

Droid 77 написав:

Виходить, гпт допоміг знайти вузькі місця в угоді, вірно розумію?

Так, він до того ж розжував простою мовою, бо угода написана сухою канцелярською юридичною мовою з безліччю специфічних термінів.

Однак одне вузьке місце ґпт все ж пропустив, я здогадався далі сам. Але таке прозріння сталося після того як 95% опрацював для мене ґпт.

413 Востаннє редагувалося frz (18.07.2023 19:38:12)

Re: Ділимось досвідом і даємо поради щодо пошуку роботи

Користуюся сервісом calendly. Коли рекрутери питають в який час мені зручно "стрибнути на швидкий зідзвон" (це я так калічно буквально переклав "jump on a quick call"), даю лінк на свій календар в calendly, там же створюється мітинг в google meet.

Це ^^^ допомагає з рекрутерами без екзотичних імен. З екзотичними складніше. Вони передають одне одному бази кандидатів (пофіг GDPR) і в них вже є мій номер. Тому інвайти на приєднання від них приймаю, але одразу ж пишу "ніяких недомовлених дзвінків - це лише для надзвичайних ситуацій, а обговорення вакансій не є нічим надзвичайним". Коли хтось все ж дзвонить без домовленості, блокую номер. Взагалі поставив телефон на беззвучний режим.

----

Тим часом, на поточному проекті вже підходить час коли треба показувати демо. Дали справжні дані для роботи. І тут починається дуже цікаве.

Сервер API при завантаженні великих кількостей даних починає відповідати 500 Internal Server Error (наче звична ситуація для стартапів, коли на серваки дали мінімум ресурсів поки продукт не "вистрілить"). І це ще не найцікавіше, бо це так звана false-positive відповідь: насправді часто дані завантажені успішно, просто сервер не мав ресурсів аби відповісти з коректним джейсоном. Але коли мільйони записів просто пробувати знову, це не дуже продуктивно. Тож почав шукати рішення і щось наче знайшов - веду лог завантажених даних, записую як успішні так і неуспішні відповіді. Збільшив таймаути і встановив певну кількість повторних спроб при 500 Internal Server Error. При спробі завантажити ті ж дані знову, сервер відповідає (якщо йому достатньо ресурсів для цього) - "Already exists", такі відповіді теж записую в лог і наступного разу відфільтровую такі записи щоб зменшити кількість false-positive відповідей. Проблема що "Already exists" повертається не коректним джейсоном, тому доводиться парсити потрібні шматки і потім застосовувати try...except аби перетворювати відповідь у коректний dict.

414

Re: Ділимось досвідом і даємо поради щодо пошуку роботи

frz написав:

Сервер API при завантаженні великих кількостей даних починає відповідати 500 Internal Server Error (наче звична ситуація для стартапів, коли на серваки дали мінімум ресурсів поки продукт не "вистрілить"). І це ще не найцікавіше, бо це так звана false-positive відповідь: насправді часто дані завантажені успішно, просто сервер не мав ресурсів аби відповісти з коректним джейсоном. Але коли мільйони записів просто пробувати знову, це не дуже продуктивно. Тож почав шукати рішення і щось наче знайшов - веду лог завантажених даних, записую як успішні так і неуспішні відповіді. Збільшив таймаути і встановив певну кількість повторних спроб при 500 Internal Server Error. При спробі завантажити ті ж дані знову, сервер відповідає (якщо йому достатньо ресурсів для цього) - "Already exists", такі відповіді теж записую в лог і наступного разу відфільтровую такі записи щоб зменшити кількість false-positive відповідей. Проблема що "Already exists" повертається не коректним джейсоном, тому доводиться парсити потрібні шматки і потім застосовувати try...except аби перетворювати відповідь у коректний dict.

Цікаво, що за бекенд використовуєте для API? Наприклад, Akka мав би опрацьовувати не пожираючи багато ресурсів (принаймні вертикально).

І чому не користуватися Kafka? Там і розподілена черга, і dedupliсation без костурів (і зайвих викликів до API). Чи й на це не вистачає бюджету?

415 Востаннє редагувалося frz (18.07.2023 23:54:29)

Re: Ділимось досвідом і даємо поради щодо пошуку роботи

bebyk написав:
frz написав:

Сервер API при завантаженні великих кількостей даних починає відповідати 500 Internal Server Error (наче звична ситуація для стартапів, коли на серваки дали мінімум ресурсів поки продукт не "вистрілить"). І це ще не найцікавіше, бо це так звана false-positive відповідь: насправді часто дані завантажені успішно, просто сервер не мав ресурсів аби відповісти з коректним джейсоном. Але коли мільйони записів просто пробувати знову, це не дуже продуктивно. Тож почав шукати рішення і щось наче знайшов - веду лог завантажених даних, записую як успішні так і неуспішні відповіді. Збільшив таймаути і встановив певну кількість повторних спроб при 500 Internal Server Error. При спробі завантажити ті ж дані знову, сервер відповідає (якщо йому достатньо ресурсів для цього) - "Already exists", такі відповіді теж записую в лог і наступного разу відфільтровую такі записи щоб зменшити кількість false-positive відповідей. Проблема що "Already exists" повертається не коректним джейсоном, тому доводиться парсити потрібні шматки і потім застосовувати try...except аби перетворювати відповідь у коректний dict.

Цікаво, що за бекенд використовуєте для API? Наприклад, Akka мав би опрацьовувати не пожираючи багато ресурсів (принаймні вертикально).

Сам сервер API - це інший самостійний продукт, до якого я поки що не маю стосунку (пропозиції з мого боку щодо його оптимізації - є в планах SEO, але це буде одне з наступних завдань для мене). Основна мова там - Python, детальніше поки що не скажу.

bebyk написав:

І чому не користуватися Kafka? Там і розподілена черга, і dedupliсation без костурів (і зайвих викликів до API). Чи й на це не вистачає бюджету?

Тут було так. Я накидав проект дизайну клієнтської аплікації на Python + Flask з розумінням що треба буде застосовувати батчі і паралельний процесинг. Почитали CEO, CTO i дата сцаєнтист, ні в кого зауважень не було. Про те що на самому сервері API недостатньо ресурсів - на тому етапі я ще не знав, хоча знаючи що це стартап - мав би здогадуватися. Продуктові об'єми даних отримав через декілька місяців розробки.

З Kafka я ще не стикався. Зате працював із PySpark. Але ж толку з того що на стороні клієнта я застосую рокет сцаєнс, якщо сервер не вигрібає.

Ну і в принципі батчів і concurrent.futures поки що достатньо. Процес дедуплікації особливо не складний на рівні pandas. Основну проблему я описав - це false-positive відповіді від API, коли ресурсів сервера не вистачає для віддачі коректного json з результатами обробки батчу.

Також завжди можна зменшити розмір батчів і кількість concurrent процесів. Тут взагалі вимог не було, це я сам придумав що за допомогою concurrent.futures можна мінімізувати час обробки. Тепер завдяки логуванню і парсингу негативних відповідей сподіваюся довести це до якогось вигляду.

----

Upd:

bebyk написав:

зайвих викликів до API

Із false-positive відповідями від API частина запитів все одно буде надсилатися повторно; не існує такої рокет сцаєнс технології, яка б здогадувалася із стовідсотковою імовірністю про успіх запиту, якщо сервак відповідає 500 Internal Server Error.

Вже наступного разу, коли на запит приходить "already exists", то цю відповідь записуємо в лог і на підставі обробки логу більше цей запис надалі не надсилаємо.

Цей та інші нюанси на минулих проектах призвели до того, що куплені ETL-рішення у порівнянні з власними розробками програвали, бо не враховували важливі моменти.

416

Re: Ділимось досвідом і даємо поради щодо пошуку роботи

Пішли такі об'єми даних, при яких мій ноут тупо висить. Ну не обов'язково висить намертво (був лише один раз що довелося зробити хард ресет вперше за багато місяців), просто поки не прожує обробку даних, в той час впродовж багатьох годин неможливо нічим користуватися, навіть перевірити пошту. Вирішив шляхом встановлення найнижчого пріоритету для докера і пов'язаних з ним процесів за допомогою renice. Ну і швидкість обробки відповідно впала.

Написав знову щодо виділення мені інстансу в клауді для апки. SEO такий: ок-ок, давай СТО вирішуй. СТО мовчить. SEO такий: а давай ми тобі в нашому офісі поставимо окремий ноут і ти будеш до нього підключатися віддалено і ранити свою апку. Не жартую, він справді так написав. Я йому на це максимально коректно, але чітко: мені ця ідея взагалі не подобається, ноут це ок лише для розробки і дебаґу.

Ну це сором для фірми починати таку діяльність і не мати грошей на клауд інстанс, навіть для стартапу. Але в мене вже спортивний інтерес добити цю таску. Тому взяв за свої гроші орендував клауд інстанс в DigitalOcean, достатній аби ранити свій докер імедж. Воно 24 єноти на місяць плюс ПДВ, але ок. Чотири гіга оперативки виявилося замало на гігантських об'ємах, довелося компенсувати за допомогою swap, добре що диск 80 гіг, тож можна буде swap ще збільшити при потребі.

----

Тепер стикнувся з тим що в головному датасеті дані можуть повністю дублюватися і це легітимні дублі. Думав, думав разом з обидвома чат-ботами і врешті прийшов до якогось чорновика функції що наче вирішує цю проблему. Підписуйтесь на канал, ставте вподобайки... (с)

417

Re: Ділимось досвідом і даємо поради щодо пошуку роботи

Якась щарашкіна контора. Варто переходити в іншу.

418

Re: Ділимось досвідом і даємо поради щодо пошуку роботи

Стартапи вони такі. Я перед тим ще трешовіший треш бачив. Але технічний досвід дуже цікавий, та й ніколи не знаєш куди воно вистрілить. Хоча я вже схиляюся до варіанту переходу, а з цими час від часу виконувати деякі таски парттайм. Але спортивний інтерес добити цю таску залишається.

419 Востаннє редагувалося leofun01 (05.08.2023 09:32:28)

Re: Ділимось досвідом і даємо поради щодо пошуку роботи

frz написав:

SEO такий: а давай ми тобі в нашому офісі поставимо окремий ноут і ти будеш до нього підключатися віддалено і ранити свою апку.
...
Ну це сором для фірми починати таку діяльність і не мати грошей на клауд інстанс...
за свої гроші орендував клауд інстанс в DigitalOcean, достатній аби ранити свій докер імедж... Чотири гіга оперативки виявилося замало ...

Як я це бачу:
Ноут в контори вже куплений, за нього не треба доплачувати, і в ньому мабуть більше ніж 4 GB оперативки. Включив, налаштував, і вже працюєш. Це швидко, і по завершеню такої роботи контора зможе швидко передати той ноут іншому працівнику.
Оренда хмарного інстанса це оренда додаткового заліза. Нашо воно конторі треба ?, якщо контора вже має заліза достатньо.

Крім того, мало ймовірно що в хмарі задача виконається швидше ніж на голому залізі (при одинакових параметрах). Там ("в хмарі" - на чужому залізі) зо 3 шари віртуалізації +антивіруси між ними.

Подякували: wander1

420 Востаннє редагувалося frz (05.08.2023 22:51:37)

Re: Ділимось досвідом і даємо поради щодо пошуку роботи

Довелося трохи "попрацювати" з підключенням до ноутів через AnyDesk. Це дуже на любителя із залізними нервами.

             Upd: лаги мінімум в пів секунди (а буває і більше) на кожен рух мишкою
             і натискання на клавіатурі, дивний резолюшн зображення, а ще
             необхідність підтвердити конекшн в AnyDesk на "тому" боці який час від часу рветься

В офісі нема людей що могли б встановити там лінукс аби кошерно працювати через ssh.

             Upd: Є двоє людей котрі більш-менш шарять, але вони працюють віддалено.

leofun01 написав:

мало ймовірно що в хмарі задача виконається швидше ніж на голому залізі (при одинакових параметрах)

Та сам десктоп віджирає купу ресурсів. Я вище написав - довелося на своєму ноуті встановлювати нижчий пріоритет для багатьох процесів. Плюс залежність від різноманітних факторів - світло, інтернет (хоча йдеться про країну так званого "першого світу", але з мого досвіду і там буває дуже різне) ; вінда вирішила встановити оновлення і перезавантажитися; знадобився хард ресет але це вихідний або неробочий час (в мене своєрідний графік роботи).

Єдине що згідний - ноут вже є і не потрібно нічого купувати. Ну з таким успіхом я би міг взяти ноут дружини коли він їй вночі все одно непотрібен... Це несерйозний підхід. Але вже заплатив сам за інстанс DigitalOcean і побачимо як буде далі. Обчислювальні потужності це не єдиний фактор, потрібно ще вирішити декілька суттєвих логічних задачок в апці.