1

Тема: Проблема з robots.txt

Вітаю! Не можу розібратись в чому проблема. Створив robots.txt, залив у googlewebmasters, а він видає такі ось чудеса:
http://s019.radikal.ru/i607/1509/ce/fa80ab0e2110.jpg
http://s020.radikal.ru/i719/1509/50/95010474bd43.jpg

А це - сам код:

User-agent: Googlebot
Disallow: /css/
Disallow: /images/
Disallow: /js/
Disallow: /storinky-ne-znaydeno.html
#
User-agent: Yandex
Disallow: /css/
Disallow: /images/
Disallow: /js/
Disallow: /storinky-ne-znaydeno.html
#
Host: sxodu.lviv.ua
Sitemap: http://sxodu.lviv.ua/sitemap.xml

Допоможіть, будь ласка!

2

Re: Проблема з robots.txt

Підозрюю, що ота червона цятка - це UTF-8 BOM, який заважає розібрати подальший синтаксис. Оскільки у вас там тільки ASCII-символи, збережіть файл не в UTF (чи видаліть BOM іншим редактором) і спробуйте ще раз валідувати.

3 Востаннє редагувалося Djalin (05.09.2015 17:09:32)

Re: Проблема з robots.txt

User-agent: *
Disallow: /css/
Disallow: /images/
Disallow: /js/
Disallow: /storinky-ne-znaydeno.html
Host: sxodu.lviv.ua
Sitemap: http://sxodu.lviv.ua/sitemap.xml

а так?

4

Re: Проблема з robots.txt

Перетворив у UTF-8 w/o BOM і все стало на свої місця. Дякую за допомогу!