Тема: Імітація користувача на сайті

Власне шукаю спосіб імітації користувача за допомогою shell і curl.
Питання заключається у тому, чи можна зробити так, щоб при звертанні до сайту через curl, завантажувався не код сторінки а імітувався перехід на сайт.

2

Re: Імітація користувача на сайті

Не зовсім розумію, що так імітація переходу на сайт.
Можливо сюди входить:
- завантаження всіх ресурсів необхідних для відображення сторінки
- переходи 403
- підтримка javascript
- інше

Якщо лише перше та друге, то це не дуже складно. Просто скачується спочатку текст сторінки, при цьому передаючи user_agent та необхідні cookie. Потім завантажуються додаткові ресурси: картинки, css, js-файли, favicon та інше.
Взагалі для таких цілей більше підходять мови високого рівня з використанням допоміжних бібліотек, які повністю імітують роботу браузера, таких як http://seleniumhq.org/.

3

Re: Імітація користувача на сайті

А ще для імітації браузера в мовах Perl, Python та Ruby є бібліотечка Mechanize. Здається трошки простіше за selenium. (Або я просто в селеніумі не розбираюсь).

4

Re: Імітація користувача на сайті

В Mechanize нажаль немає підтримки Javascript

Re: Імітація користувача на сайті

Скажу прямо - це потрібно для накрутки лічильника.

6

Re: Імітація користувача на сайті

Потрібно більш конкретно розбиратись що за лічильник. У всіх по різному. На hit.ua наприклад можна просто дати запит до картинки з певними параметрами. Ось тема: накрутка hit.ua
p.s. Таке відчуття що хтось накрутив на нашому форумі.. За кілька хвилин +15 чоловік.

Re: Імітація користувача на сайті

За лічильник служить topua.net

8

Re: Імітація користувача на сайті

Просто даєш запит на http://top.topua.net/counter.php?site=5 … =5&c=8 з різних IP-адрес

Re: Імітація користувача на сайті

Replace написав:

Просто даєш запит на http://top.topua.net/counter.php?site=5 … =5&c=8 з різних IP-адрес

Бачу Ви вже  це зробили, що ж дякую за допомогогу.

10

Re: Імітація користувача на сайті

Ага, протестував :)

Re: Імітація користувача на сайті

Replace написав:

Ага, протестував :)

Ви за допомогою пітона?

12

Re: Імітація користувача на сайті

php...

Re: Імітація користувача на сайті

Replace написав:

php...

Ай, це трішки погано...

Re: Імітація користувача на сайті

І ще питання:
Ви використовували "елітні" проксі чи прості?
Бо наскільки я знаю, не усі прості проксі працюють через curl в php.

15

Re: Імітація користувача на сайті

Я використовував трохи іншу штуку. В приват написав що саме.

Re: Імітація користувача на сайті

Replace написав:

В приват написав що саме.

Дивно, в приваті немає непрочитаних листів.

Re: Імітація користувача на сайті

Перепрошую, вже є.

18

Re: Імітація користувача на сайті

Трохи інтернет заглючив...

19

Re: Імітація користувача на сайті

Головне про заголовки не забудь (:

Re: Імітація користувача на сайті

miroslav.chandler написав:

Головне про заголовки не забудь (:

А я от і про них забув..