Онлайн генератор Robots.txt

Файл Robots.txt это текстовый файл который содержит директивы (правила) для индексирования сайта роботами поисковых систем (Яндекс, Google и другие...).
Новички иногда путаются с директивами файла Роботс, именно для начинающих сайтостроителей придуман простенький онлайн сервис по созданию Robots.txt, для последующего размещения его на сайте.
Заполняйте поочередно все поля форм и внизу (Результат - Robots.txt) Вы увидите изменения правил и онлайн построение структуры файла Robots.txt.
Важно помнить основное: Директива Disallow: запрещает (если не хотим ничего запрещать- оставляем пустым), а директива Allow: разрешает (ставим Allow: / для полной индексации сайта). Недопустимо наличие пустых переводов строки между директивами User-agent, Disallow и Allow.



Адрес Вашего сайта: http://
Для каких роботов поисковых систем (User-agent) будем создавать следующие правила:
User-agent: для всех поисковиков Yandex Google MSN Rambler AltaVista Yandex Картинки Google Картинки
Укажите директории (папки) и файлы, которые поисковый робот посещать не должен:
Disallow: индексировать всё запретить всё /cgi-bin /css /js /images вписать другое
Главное зеркало сайта (основной адрес, если сайт имеет несколько доменов-зеркал):
Host:
Расположение карты сайта в формате XML (как правило http://адрес_сайта.домен/sitemap.xml, но может быть и другой адрес.):
Sitemap:
Вставить:

Результат - Robots.txt:

Выделите и Скопируйте результат Robots.txt, после чего вставьте в блокнот (WordPad, AkelPad...). Сохраните данный файл с именем "robots.txt" в корневой директории (основная папка)  Вашего сайта.
Путь к файлу Robots.txt должен выглядеть так http://сайт.домен/robots.txt

Пример файла Robots.txt в данном блоге.
Подробнее о директивах файла Robots.txt узнайте в помощи Яндекса.

Полезная статья? Поделись и получишь +500 к карме)))

Дата последнего изменения: