• Дата реєстрації: 01.10.2014
  • Повідомлень: 1 068
    • Репутація: 805

Тема: Ідея: автоматичний пошук та скачування із Всесвітньої павутини

Суть: наприклад, хочу знайти певний фільм чи якусь книжку у форматі fb2, задаю параметри: "Як керувати Всесвітом потайки від санітарів" fb2 і мій скрипт, отримавши певний набір посилань від якогось пошуковика, буде розгрібати сторінки, знаходити посилання в їх коді, розгребе ті сторінки (і так далі по рекурсії) і можливо, знайде прямі посилання на шуканий ресурс, шось на зразок

http://book.fb2
http://book.fb2.zip
https://books/archive/book.zip
...

Ну і є опції - чи дозволити скрипту автоматично закачувати, чи зберегти знайдені посилання у файлі, глибина рекурсії та інше...

А тепер, власне, питання:

1. Може вже є подібні проекти, прошу підказати.
2. Чи бажає хтось приєднатися до розробки даного проекту?
3. Чи користувалися б ви таким скриптом, якби вже був готовий?

2 Відповідь від ktretyak

  • ktretyak
  • Replace Group
  • Поза форумом
  • Дата реєстрації: 30.01.2014
  • Повідомлень: 2 080
    • Репутація: 758

Re: Ідея: автоматичний пошук та скачування із Всесвітньої павутини

Не знаю чи десь таке є, але знаю, що гугл падлюка підозрює навіть мене, що я пошукова програма, а не людина, заколупав мене вже своїми капчами. Я через це змінив його на bing.

Думаю зрозуміло про що я, тобто вам прийдеться ще й імітувати поведінку звичайного користувача... хоча можливо вони дають навіть API для обмеженого числа запитів...

3 Відповідь від Blast

  • Blast
  • Blast
  • Replace Group
  • Поза форумом
  • Дата реєстрації: 13.01.2014
  • Повідомлень: 1 099
    • Репутація: 156

Re: Ідея: автоматичний пошук та скачування із Всесвітньої павутини

Юзайте проксі у величезних об’ємах і то не варіант що не забанать по браузеру, чи ОС.

4 Відповідь від Djalin

  • Djalin
  • Djalin
  • Користувач
  • Поза форумом
  • Звідки: Ukraine
  • Дата реєстрації: 02.11.2014
  • Повідомлень: 1 561
    • Репутація: 441

Re: Ідея: автоматичний пошук та скачування із Всесвітньої павутини

Якщо юзати гугл, то:

Ставити паузу між запитами
Юзати на основі нормального браузеру
Використовувати антикапчу чи щось таке

Якщо юзати яндекс і то буде сервіс у вигляді сайту то простіше - Правда для непопулярних сайтів запитів дають 0, але їх можна купити

Djalin вебсайт

5 Відповідь від reverse2500

  • reverse2500
  • reverse2500
  • Я діск С на троянському коні
  • Поза форумом
  • Звідки: UA Львів
  • Дата реєстрації: 08.07.2014
  • Повідомлень: 2 744
    • Репутація: 1318

Re: Ідея: автоматичний пошук та скачування із Всесвітньої павутини

ви теж замітили шо гугл не той вже ?
які є альтернативи ? Писати свій пошуковик не пропонувати, немає часу

reverse2500 вебсайт

6 Відповідь від Djalin Востаннє редагувалося Djalin (12.08.2015 09:08:10)

  • Djalin
  • Djalin
  • Користувач
  • Поза форумом
  • Звідки: Ukraine
  • Дата реєстрації: 02.11.2014
  • Повідомлень: 1 561
    • Репутація: 441

Re: Ідея: автоматичний пошук та скачування із Всесвітньої павутини

я вже на яндекс дав лінк, щодо "гугл не той" я поняття не маю що саме маєте на увазі Ви, але щодо деяких сервісів так - їх шкода.

а якщо те що гугл не дає юзати себе нахаляву для власного профіту - тут я з ним згоден

Djalin вебсайт

7 Відповідь від Master_Sergius

  • Дата реєстрації: 01.10.2014
  • Повідомлень: 1 068
    • Репутація: 805

Re: Ідея: автоматичний пошук та скачування із Всесвітньої павутини

Панове!
Гугл дійсно вже не торт. Я за DuckDuckGo - він не стежить за тим, що ви шукаєте. Але наразі суть не в тім - вже далеко відійшли від теми. Найперше хотілося б оцінити доцільність такого проекту і можливість реалізації, нехай навіть пошук буде успішний лише у 50% випадків, але це вже щось.

8 Відповідь від ktretyak

  • ktretyak
  • Replace Group
  • Поза форумом
  • Дата реєстрації: 30.01.2014
  • Повідомлень: 2 080
    • Репутація: 758

Re: Ідея: автоматичний пошук та скачування із Всесвітньої павутини

Master_Sergius написав:

Панове!
Гугл дійсно вже не торт. Я за DuckDuckGo - він не стежить за тим, що ви шукаєте. Але наразі суть не в тім - вже далеко відійшли від теми. Найперше хотілося б оцінити доцільність такого проекту і можливість реалізації, нехай навіть пошук буде успішний лише у 50% випадків, але це вже щось.

А сама суть такого сервісу в чому? В тому, що переходячи по прямому посиланню ви не проходите чогось "зайвого"? Чи в тому, що переходити по лінкам сходу ніхто не збирається, а просто збирається статистика по ключовим полям та відповідній топ видачі?

9 Відповідь від Djalin

  • Djalin
  • Djalin
  • Користувач
  • Поза форумом
  • Звідки: Ukraine
  • Дата реєстрації: 02.11.2014
  • Повідомлень: 1 561
    • Репутація: 441

Re: Ідея: автоматичний пошук та скачування із Всесвітньої павутини

я думаю було б добре як би такий сервіс шукав те що треба й наприклад слав на пошту, тоді можна робити монетизацію - миттєвий результат для оплаченого і черга для халявщиків

Djalin вебсайт

10 Відповідь від Master_Sergius

  • Дата реєстрації: 01.10.2014
  • Повідомлень: 1 068
    • Репутація: 805

Re: Ідея: автоматичний пошук та скачування із Всесвітньої павутини

ktretyak написав:

А сама суть такого сервісу в чому? В тому, що переходячи по прямому посиланню ви не проходите чогось "зайвого"? Чи в тому, що переходити по лінкам сходу ніхто не збирається, а просто збирається статистика по ключовим полям та відповідній топ видачі?

Суть сервісу в тому, що мені ліньки руками знайти потрібний ресурс. Я просто задаю параметри, а воно саме буде шукати, нехай навіть годину буде розгрібати різні посилання. Наприклад, хочу ввечері подивитися якийсь фільм із Джекі Чаном і обовязково формату avi (по технічним причинам). Я собі зранку заранив сервіс, ввечері прийшов додому - і на ось тобі і ось тобі.
Звісно, така автоматизація пошуку/скачування не для всього підійде, але все ж, чому б не спробувати?

11 Відповідь від reverse2500

  • reverse2500
  • reverse2500
  • Я діск С на троянському коні
  • Поза форумом
  • Звідки: UA Львів
  • Дата реєстрації: 08.07.2014
  • Повідомлень: 2 744
    • Репутація: 1318

Re: Ідея: автоматичний пошук та скачування із Всесвітньої павутини

я знаю шо є подібні сайти, шо не в бий в гугл то в них є на сайті, такі сайти швидко антивірус ставить як не бажані, бо думають шо там вірус.

reverse2500 вебсайт

12 Відповідь від Master_Sergius

  • Дата реєстрації: 01.10.2014
  • Повідомлень: 1 068
    • Репутація: 805

Re: Ідея: автоматичний пошук та скачування із Всесвітньої павутини

Не обов'язково сайт. Я, взагалі, звик до терміналу, писав міні-скрипти для викачки пісень з ololo.fm чи випусків журналу хакер - зберігаю всі знайдені посилання у файлі, а потім wget :)

13 Відповідь від Djalin

  • Djalin
  • Djalin
  • Користувач
  • Поза форумом
  • Звідки: Ukraine
  • Дата реєстрації: 02.11.2014
  • Повідомлень: 1 561
    • Репутація: 441

Re: Ідея: автоматичний пошук та скачування із Всесвітньої павутини

reverse2500 написав:

я знаю шо є подібні сайти, шо не в бий в гугл то в них є на сайті, такі сайти швидко антивірус ставить як не бажані, бо думають шо там вірус.

і правильно думають, якщо на таких сайтах вбити в пошук "періс хілтон кентавр 123456 скачать"

воно й видасть

періс хілтон кентавр 123456 скачать.avi.zip.exe

Djalin вебсайт

14 Відповідь від ktretyak

  • ktretyak
  • Replace Group
  • Поза форумом
  • Дата реєстрації: 30.01.2014
  • Повідомлень: 2 080
    • Репутація: 758

Re: Ідея: автоматичний пошук та скачування із Всесвітньої павутини

Master_Sergius написав:

... Наприклад, хочу ввечері подивитися якийсь фільм із Джекі Чаном і обовязково формату avi (по технічним причинам)...

Для цього існує маска пошуку з параметром filetype:avi, тобто

фільм із Джекі Чаном filetype:avi

Хоча цей конкретний запит нічого не видав, але лише через реальну відсутність такого варіанту...

15 Відповідь від VTrim

  • VTrim
  • VTrim
  • =)
  • Поза форумом
  • Дата реєстрації: 07.09.2014
  • Повідомлень: 3 319
    • Репутація: 2298

Re: Ідея: автоматичний пошук та скачування із Всесвітньої павутини

Пост вище - це з операторів пошуку гугл дорк.
Детальніше..
http://forum.antichat.ru/threads/425256/
http://www.googleguide.com/advanced_ope … rence.html

16 Відповідь від ktretyak

  • ktretyak
  • Replace Group
  • Поза форумом
  • Дата реєстрації: 30.01.2014
  • Повідомлень: 2 080
    • Репутація: 758

Re: Ідея: автоматичний пошук та скачування із Всесвітньої павутини

А є ще http://www.google.com/advanced_search