Тема: Ідея: автоматичний пошук та скачування із Всесвітньої павутини

Суть: наприклад, хочу знайти певний фільм чи якусь книжку у форматі fb2, задаю параметри: "Як керувати Всесвітом потайки від санітарів" fb2 і мій скрипт, отримавши певний набір посилань від якогось пошуковика, буде розгрібати сторінки, знаходити посилання в їх коді, розгребе ті сторінки (і так далі по рекурсії) і можливо, знайде прямі посилання на шуканий ресурс, шось на зразок

http://book.fb2
http://book.fb2.zip
https://books/archive/book.zip
...

Ну і є опції - чи дозволити скрипту автоматично закачувати, чи зберегти знайдені посилання у файлі, глибина рекурсії та інше...

А тепер, власне, питання:

1. Може вже є подібні проекти, прошу підказати.
2. Чи бажає хтось приєднатися до розробки даного проекту?
3. Чи користувалися б ви таким скриптом, якби вже був готовий?

Мій блог про ОС сімейства *nix - http://nixtravelling.blogspot.com/

2

Re: Ідея: автоматичний пошук та скачування із Всесвітньої павутини

Не знаю чи десь таке є, але знаю, що гугл падлюка підозрює навіть мене, що я пошукова програма, а не людина, заколупав мене вже своїми капчами. Я через це змінив його на bing.

Думаю зрозуміло про що я, тобто вам прийдеться ще й імітувати поведінку звичайного користувача... хоча можливо вони дають навіть API для обмеженого числа запитів...

3

Re: Ідея: автоматичний пошук та скачування із Всесвітньої павутини

Юзайте проксі у величезних об’ємах і то не варіант що не забанать по браузеру, чи ОС.

Junior Django Developer

4

Re: Ідея: автоматичний пошук та скачування із Всесвітньої павутини

Якщо юзати гугл, то:

Ставити паузу між запитами
Юзати на основі нормального браузеру
Використовувати антикапчу чи щось таке

Якщо юзати яндекс і то буде сервіс у вигляді сайту то простіше - Правда для непопулярних сайтів запитів дають 0, але їх можна купити

5

Re: Ідея: автоматичний пошук та скачування із Всесвітньої павутини

ви теж замітили шо гугл не той вже ?
які є альтернативи ? Писати свій пошуковик не пропонувати, немає часу

- Поганому трояну фаєрвол заважає
- Ніколи не програмуйте та не пийте пиво
Якщо ви з першого разу написали програму, в якій немає жодної помилки, повідомте про це системного програмісту: він виправить помилки в компіляторі

6 Востаннє редагувалося Djalin (12.08.2015 10:08:10)

Re: Ідея: автоматичний пошук та скачування із Всесвітньої павутини

я вже на яндекс дав лінк, щодо "гугл не той" я поняття не маю що саме маєте на увазі Ви, але щодо деяких сервісів так - їх шкода.

а якщо те що гугл не дає юзати себе нахаляву для власного профіту - тут я з ним згоден

7

Re: Ідея: автоматичний пошук та скачування із Всесвітньої павутини

Панове!
Гугл дійсно вже не торт. Я за DuckDuckGo - він не стежить за тим, що ви шукаєте. Але наразі суть не в тім - вже далеко відійшли від теми. Найперше хотілося б оцінити доцільність такого проекту і можливість реалізації, нехай навіть пошук буде успішний лише у 50% випадків, але це вже щось.

Мій блог про ОС сімейства *nix - http://nixtravelling.blogspot.com/

8

Re: Ідея: автоматичний пошук та скачування із Всесвітньої павутини

Master_Sergius написав:

Панове!
Гугл дійсно вже не торт. Я за DuckDuckGo - він не стежить за тим, що ви шукаєте. Але наразі суть не в тім - вже далеко відійшли від теми. Найперше хотілося б оцінити доцільність такого проекту і можливість реалізації, нехай навіть пошук буде успішний лише у 50% випадків, але це вже щось.

А сама суть такого сервісу в чому? В тому, що переходячи по прямому посиланню ви не проходите чогось "зайвого"? Чи в тому, що переходити по лінкам сходу ніхто не збирається, а просто збирається статистика по ключовим полям та відповідній топ видачі?

9

Re: Ідея: автоматичний пошук та скачування із Всесвітньої павутини

я думаю було б добре як би такий сервіс шукав те що треба й наприклад слав на пошту, тоді можна робити монетизацію - миттєвий результат для оплаченого і черга для халявщиків

10

Re: Ідея: автоматичний пошук та скачування із Всесвітньої павутини

ktretyak написав:

А сама суть такого сервісу в чому? В тому, що переходячи по прямому посиланню ви не проходите чогось "зайвого"? Чи в тому, що переходити по лінкам сходу ніхто не збирається, а просто збирається статистика по ключовим полям та відповідній топ видачі?

Суть сервісу в тому, що мені ліньки руками знайти потрібний ресурс. Я просто задаю параметри, а воно саме буде шукати, нехай навіть годину буде розгрібати різні посилання. Наприклад, хочу ввечері подивитися якийсь фільм із Джекі Чаном і обовязково формату avi (по технічним причинам). Я собі зранку заранив сервіс, ввечері прийшов додому - і на ось тобі і ось тобі.
Звісно, така автоматизація пошуку/скачування не для всього підійде, але все ж, чому б не спробувати?

Мій блог про ОС сімейства *nix - http://nixtravelling.blogspot.com/

11

Re: Ідея: автоматичний пошук та скачування із Всесвітньої павутини

я знаю шо є подібні сайти, шо не в бий в гугл то в них є на сайті, такі сайти швидко антивірус ставить як не бажані, бо думають шо там вірус.

- Поганому трояну фаєрвол заважає
- Ніколи не програмуйте та не пийте пиво
Якщо ви з першого разу написали програму, в якій немає жодної помилки, повідомте про це системного програмісту: він виправить помилки в компіляторі

12

Re: Ідея: автоматичний пошук та скачування із Всесвітньої павутини

Не обов'язково сайт. Я, взагалі, звик до терміналу, писав міні-скрипти для викачки пісень з ololo.fm чи випусків журналу хакер - зберігаю всі знайдені посилання у файлі, а потім wget :)

Мій блог про ОС сімейства *nix - http://nixtravelling.blogspot.com/

13

Re: Ідея: автоматичний пошук та скачування із Всесвітньої павутини

reverse2500 написав:

я знаю шо є подібні сайти, шо не в бий в гугл то в них є на сайті, такі сайти швидко антивірус ставить як не бажані, бо думають шо там вірус.

і правильно думають, якщо на таких сайтах вбити в пошук "періс хілтон кентавр 123456 скачать"

воно й видасть

періс хілтон кентавр 123456 скачать.avi.zip.exe

14

Re: Ідея: автоматичний пошук та скачування із Всесвітньої павутини

Master_Sergius написав:

... Наприклад, хочу ввечері подивитися якийсь фільм із Джекі Чаном і обовязково формату avi (по технічним причинам)...

Для цього існує маска пошуку з параметром filetype:avi, тобто

фільм із Джекі Чаном filetype:avi

Хоча цей конкретний запит нічого не видав, але лише через реальну відсутність такого варіанту...

15

Re: Ідея: автоматичний пошук та скачування із Всесвітньої павутини

Пост вище - це з операторів пошуку гугл дорк.
Детальніше..
http://forum.antichat.ru/threads/425256/
http://www.googleguide.com/advanced_ope … rence.html

=)

16

Re: Ідея: автоматичний пошук та скачування із Всесвітньої павутини

А є ще http://www.google.com/advanced_search