1 Востаннє редагувалося Monolith (28.08.2017 12:13:08)

Тема: Правильне налаштування robots.txt

Вітаю.

Вирішив більш поглиблено почитати про robots.txt і виникло декілька запитань:

1. Якщо задавати

Disallow: /tpl

Це спрацює і на всі вкладені о цієї теки каталоги та файли також?

2. Якщо в мене змінений домен, зі старого налаштований редирект, чи треба ще щось прописувати у robots.txt?

3. Чи треба забороняти індексацію сторінок, які не несуть корисної інформації, але не доступні всім користувачам(тільки авторизованим або адмінам)?

4. Прочитав, що рекомендується ховати від індексації сторінки посторінкової навігації та фільтрації. Наприклад в мене є сторінка site.com/home/page/(номер сторінки), як її сховати?

Disallow: /home/page/

Так, чи ні? Як це правильно робиться?

Дякую  :)

Подякували: leofun01, 0xDADA11C72

2

Re: Правильне налаштування robots.txt

Загалом сам знайшов відповіді, тому залишаю тут, можливо кому знадобиться. Якщо хто що має доповнити, пишіть :)

1. Так спрацює на всі вкладені.
2. Ні. Якщо для вас важливий Яндекс, тоді просто за допомогою правила Host для його боту задайте основне дзеркало сайту.
3. Не знайшов ще. Максимум, що варто закрити сторінки для авторизації/реєстрації і все...
4. Наприклад в нас є сторіночка site.com/home/page/(номер сторінки). Ми прописуємо:

Disallow /home/page*

або відразу

Disallow /home/

Загалом щось такого плану. Рекомендується закривати від індексації всі сторінки з динамічним контентом: пошук, сторінки з посторінковою навігацією тощо.

Подякували: 0xDADA11C7, leofun01, ostap34PHP, NaharD4

3

Re: Правильне налаштування robots.txt

Якщо ви хочете сховати конкретні сторінки, то найшвидший та найпростіший шлях заборонити їх індексування - це тег <meta name="robots" content="noindex, nofollow" />. Часом Гугл ігнорує те, що є у robots.txt, але він ніколи не ігнорує meta robots. Тому, користуйтесь цим методом у першу чергу для закриття веб-сторінок від індексації. Власне, саме цей метод і рекомендує Гугл насамперед у своїй технічній документації.

Щодо сайту, на який ви поставили редирект. Він у жодному випадку не успадковує robots.txt.

Чи потрібно забороняти індексації службових веб-сторінок? Так, звісно. У мережі було безліч випадків, коли ті сторінки, які не бачили користувачі - бачив пошуковик і зливав у пошукову видачу. Що може повпливати на безпеку сайту та розкрити конфіденційні дані. Тому, закривати від індексації треба усе зайве, і не надіятися, що пошуковик цього не побачить.

Подякували: plusxx1