Тема: Кролення форуму
Хочу зкролити форум http://www.astroclub.kyiv.ua/forum/inde … tion=forum
Чим і як це робити найпростіше?
Ви не увійшли. Будь ласка, увійдіть або зареєструйтесь.
Ласкаво просимо вас на україномовний форум з програмування, веб-дизайну, SEO та всього пов'язаного з інтернетом та комп'ютерами.
Будемо вдячні, якщо ви поділитись посиланням на Replace.org.ua на інших ресурсах.
Для того щоб створювати теми та надсилати повідомлення вам потрібно Зареєструватись.
Український форум програмістів → HTML та CSS → Кролення форуму
Сторінки 1
Для відправлення відповіді ви повинні увійти або зареєструватися
Хочу зкролити форум http://www.astroclub.kyiv.ua/forum/inde … tion=forum
Чим і як це робити найпростіше?
Гадаю, вам варто дати посилання чи ще якось пояснити, що ви маєте на увазі під "зкроленням".
Хоча б тому, що українською префікс з- перед к не пишеться, англійською там навряд буде zcroll, а "скролити" має зовсім інше значення.
може то scrobbling, чи то scrubbing?
Web crawling. Тобто завантажити всі повідомлення форуму з атрибутами: час, заголовок, автор і т.д.
Краулінг - то стосується цілої мережі, а не окремого сайту.
Колись для цього всі Teleport Pro використовували, а потім ніби всім стало не до того.
Через wget можна завантажити
wget -k -m -E -p -np -R memberlist.php*,faq.php*,viewtopic.php*p=*,posting .php*,search.php*,ucp.php*,viewonline.php*,*sid*,* view=print*,*start=0* -o log.txt http://www.example.com/forum/
wget "http://www.finance.yahoo.com/q/op?s=GOOG" -O goog.txt
Не зрозумів, куди записати URL форуму http://www.example.com/forum/ ?
wget створив кілька файлів, серед них найбільший зі списком URL перших сторінок тем
<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="http://www.astroclub.kyiv.ua/forum/Themes/default/css/sitemap.xsl"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>http://www.astroclub.kyiv.ua/forum/</loc>
<lastmod>2018-05-15T23:16:49+03:00</lastmod>
<changefreq>hourly</changefreq>
<priority>1</priority>
</url>
<url>
<loc>http://www.astroclub.kyiv.ua/forum/index.php?board=1.0</loc>
<lastmod>2018-05-14T06:05:08+03:00</lastmod>
<changefreq>daily</changefreq>
<priority>0.8</priority>
</url>
як дістати інші наступні сторінки ?
Чи є український аналог upwork, де би я міг дати комусь цю задачу?
Сторінки 1
Для відправлення відповіді ви повинні увійти або зареєструватися