• Звідки: Львів
  • Дата реєстрації: 09.05.2012
  • Повідомлень: 77
    • Репутація: 13

Тема: robots.txt

Якщо наприклад я хочу в себе заборонити індексувати
http://zend-frameworks.com/forum/ (я його поки забрав він був дуже кривий і в індекс попав міліон не потрібних сторінок)
То мені достатньо прописати
Disallow: /forum*
і для гугла і для яндекса вірно?

2 Відповідь від Replace

  • Replace
  • Replace Team
  • Поза форумом
  • Звідки: Київ
  • Дата реєстрації: 06.04.2012
  • Повідомлень: 2 895
    • Репутація: 2105

Re: robots.txt

Просто так

User-agent: *
Disallow: /forum/

Replace вебсайт

3 Відповідь від smychnyk

  • smychnyk
  • smychnyk
  • Користувач
  • Поза форумом
  • Звідки: Дрогобич
  • Дата реєстрації: 22.07.2012
  • Повідомлень: 5
    • Репутація: 0

Re: robots.txt

Насправді по robots.txt є багато матеріалу. Я хочу сказати, що це дуже важливий файл до роботи з яким треба підходити відповідально якщо власник сайту не хоче проблем з пошуковими системами.
На кожному сайті robots.txt має бути унікальний. Тому ідеального файлу під пошукові роботи не існує так як не існує двох абсолютно однакових сайтів по своїй структурі (мається на увазі якісних ресурсів, а не дорів і тому подібного шлаку).

smychnyk вебсайт