Тема: Правильне налаштування robots.txt
Вітаю.
Вирішив більш поглиблено почитати про robots.txt і виникло декілька запитань:
1. Якщо задавати
Disallow: /tpl
Це спрацює і на всі вкладені о цієї теки каталоги та файли також?
2. Якщо в мене змінений домен, зі старого налаштований редирект, чи треба ще щось прописувати у robots.txt?
3. Чи треба забороняти індексацію сторінок, які не несуть корисної інформації, але не доступні всім користувачам(тільки авторизованим або адмінам)?
4. Прочитав, що рекомендується ховати від індексації сторінки посторінкової навігації та фільтрації. Наприклад в мене є сторінка site.com/home/page/(номер сторінки), як її сховати?
Disallow: /home/page/
Так, чи ні? Як це правильно робиться?
Дякую