Базовый robots.txt

Файл robots.txt

Все поисковые роботы при заходе на сайт в первую очередь ищут файл robots.txt. Если вы – вебмастер, вы должны знать назначение и синтаксис robots.txt.

Файл robots.txt – это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов. Эти инструкции могут запрещать к индексации некоторые разделы или страницы на сайте, указывать на правильное «зеркалирование» домена, рекомендовать поисковому роботу соблюдать определенный временной интервал между скачиванием документов с сервера и т.д.
Еще раз – файл должен называться robots.txt.

Всем поисковым системам разрешено полностью индексировать сайт:

User-agent: *
Disallow:

Индексация сайта запрещена всеми поисковыми системами:

1
2
User-agent: *
Disallow: /

Запрет на индексацию папки «cgi-bin» всеми поисковыми системами:
User-Agent: *
Disallow: /cgi-bin/

Комментарии

Любой текст от знака решетки “#” до конца строки считается комментарием и поисковыми роботами игнорируется. Пример:

1
2
3
 # Yahoo! No index.
User-agent: Yahoo! Slurp
Disallow: /

http://blog.wel.org.ua

работаю админом, прогером сеошнегом :)

Leave a Comment

Ваш e-mail не будет опубликован. Обязательные поля помечены *