1

Тема: Кролення форуму

Хочу зкролити форум http://www.astroclub.kiev.ua/forum/inde … tion=forum
Чим і як це робити найпростіше?

2

Re: Кролення форуму

…Те відчуття, коли намагаєшся сказати щось дотепне про використання кролів у веб-розробці, водночас розуміючи, що безнадійно відстав від сучасних технологій…

Подякували: koala, /KIT\2

3

Re: Кролення форуму

?

4 Востаннє редагувалося koala (15.05.2018 18:05:49)

Re: Кролення форуму

Гадаю, вам варто дати посилання чи ще якось пояснити, що ви маєте на увазі під "зкроленням".
Хоча б тому, що українською префікс з- перед к не пишеться, англійською там навряд буде zcroll, а "скролити" має зовсім інше значення.

5

Re: Кролення форуму

парсинг?

6 Востаннє редагувалося FakiNyan (15.05.2018 18:17:54)

Re: Кролення форуму

може то scrobbling, чи то scrubbing?

7

Re: Кролення форуму

Web crawling. Тобто завантажити всі повідомлення форуму з атрибутами: час, заголовок, автор і т.д.

8

Re: Кролення форуму

Краулінг - то стосується цілої мережі, а не окремого сайту.
Колись для цього всі Teleport Pro використовували, а потім ніби всім стало не до того.

9

Re: Кролення форуму

Через wget можна завантажити

wget -k -m -E -p -np -R memberlist.php*,faq.php*,viewtopic.php*p=*,posting .php*,search.php*,ucp.php*,viewonline.php*,*sid*,* view=print*,*start=0* -o log.txt 

http://www.example.com/forum/
Подякували: koala, P.Y.2

10 Востаннє редагувалося dialectstat (16.05.2018 12:26:31)

Re: Кролення форуму

karmeljuk написав:

Через wget можна завантажити

wget -k -m -E -p -np -R memberlist.php*,faq.php*,viewtopic.php*p=*,posting .php*,search.php*,ucp.php*,viewonline.php*,*sid*,* view=print*,*start=0* -o log.txt 

http://www.example.com/forum/
wget "http://www.finance.yahoo.com/q/op?s=GOOG" -O goog.txt 

Не зрозумів, куди записати URL форуму http://www.example.com/forum/ ?

11

Re: Кролення форуму

wget створив кілька файлів, серед них найбільший зі списком URL перших сторінок тем

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="http://www.astroclub.kiev.ua/forum/Themes/default/css/sitemap.xsl"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
        <url>
                <loc>http://www.astroclub.kiev.ua/forum/</loc>
                <lastmod>2018-05-15T23:16:49+03:00</lastmod>
                <changefreq>hourly</changefreq>
                <priority>1</priority>
        </url>
        <url>
                <loc>http://www.astroclub.kiev.ua/forum/index.php?board=1.0</loc>
                <lastmod>2018-05-14T06:05:08+03:00</lastmod>
                <changefreq>daily</changefreq>
                <priority>0.8</priority>
        </url>

як дістати інші наступні сторінки ?

12

Re: Кролення форуму

Чи є український аналог upwork, де би я міг дати комусь цю задачу?

13

Re: Кролення форуму

так, upwork.ua

Подякували: karmeljuk1

14

Re: Кролення форуму

FakiNyan написав:

так, upwork.ua

:D