Это очень важный файл для вас и для роботов
Этот очень важный файл содержит инструкции, которые используют поисковые боты. Размещается файл обязательно в корне сайта, потому индексация страниц начинается именно с чтения условий, показанных в robots.txt. Таким образом, этот файл указывает поисковым роботам, какие директории сайта разрешены для индексирования ,а какие нет. Файл robots.txt для Яндекса обязан нести в себе директиву host. Это поможет избежать проблем с индексированием зеркала сайта или прочих дублей страниц.
|
User-agent : Yandex Dissalow : /cgi-bin Host : www.site.ru |
Host — это директива, которую могут понять лишь поисковые боты Яндекса. А ,значит ,когда вы создаете файл robots.txt нужно разделить директивы для Яндекса, Google и иных систем. Процесс создания файла robots.txt для Google вовсе не отличается от технологии выше. Нужно только не забыть показать в файле путь к карте сайта - sitemap . Соответственно робот будет быстрее ориентироваться на страницах ресурса, что существенно форсирует процесс индексации.
|
User-agent : Googlebot Dissalow : /cgi-bin Sitemap : /sitemap.xml |
Между тем, разработчики Гугла стократно напоминали веб-мастерам о том ,что файл robots.txt не должен превышать 500 Кб. Это ,конечно же, грозит ошибками при индексации. Вручную создать такой размер практически невозможно. Зато некоторые CMS, автоматически создающие содержание robots.txt могут сделать его нереального размера.
