1 Востаннє редагувалося Monolith (28.08.2017 13:13:08)

Тема: Правильне налаштування robots.txt

Вітаю.

Вирішив більш поглиблено почитати про robots.txt і виникло декілька запитань:

1. Якщо задавати

Disallow: /tpl

Це спрацює і на всі вкладені о цієї теки каталоги та файли також?

2. Якщо в мене змінений домен, зі старого налаштований редирект, чи треба ще щось прописувати у robots.txt?

3. Чи треба забороняти індексацію сторінок, які не несуть корисної інформації, але не доступні всім користувачам(тільки авторизованим або адмінам)?

4. Прочитав, що рекомендується ховати від індексації сторінки посторінкової навігації та фільтрації. Наприклад в мене є сторінка site.com/home/page/(номер сторінки), як її сховати?

Disallow: /home/page/

Так, чи ні? Як це правильно робиться?

Дякую  :)

Подякували: leofun01, 0xDADA11C72

2

Re: Правильне налаштування robots.txt

Загалом сам знайшов відповіді, тому залишаю тут, можливо кому знадобиться. Якщо хто що має доповнити, пишіть :)

1. Так спрацює на всі вкладені.
2. Ні. Якщо для вас важливий Яндекс, тоді просто за допомогою правила Host для його боту задайте основне дзеркало сайту.
3. Не знайшов ще. Максимум, що варто закрити сторінки для авторизації/реєстрації і все...
4. Наприклад в нас є сторіночка site.com/home/page/(номер сторінки). Ми прописуємо:

Disallow /home/page*

або відразу

Disallow /home/

Загалом щось такого плану. Рекомендується закривати від індексації всі сторінки з динамічним контентом: пошук, сторінки з посторінковою навігацією тощо.

Подякували: 0xDADA11C7, leofun01, ostap34PHP, NagarD4