Бонус на счет при регистрации, на рекламную компанию!

Популярные инструменты

Добавить баннер




Добавить баннер

Генератор файлов robots.txt

Бесплатная утилита «создать файл robots.txt» помогает в автоматическом режиме сгенерировать файл robot.txt, который будет работать с поисковыми системами. Именно в него вносят директории, которые не хотят видеть отображаемыми в поисковых выдачах. Этот файл может не только досконально корректировать, но и вообще запретить индексацию вашего сайта поисковыми роботами. То есть, задав и отрегулировав его работу единожды, вы можете быть спокойными за то, как и когда поисковые машины будут выводить ваш сайт в результатах выдачи. Этот инструмент помогает отладить «невидимую» работу с вашим сайтом. К примеру, как инструмент «сайт глазами поискового робота» позволяет в тестовом режиме увидеть, что будут «видеть» разные поисковики, попав на ваш сайт.

Адрес сайта (без http://, только домен)
User-agent:

Строка User-agent определяет робота поисковой машины. (значение * - дает определение всех роботов)

Disallow:

Определяет каталог\страницу, закрытую от индексации поисковым роботом. (при указании каталога - запрещается для индексации все содержимое каталога - пример Disallow: /images - запрещает для индексации полностью каталог /images). В каждой группе строки User-agent должна быть хоть одна конструкция Disallow. Директиву Allow: понимает только Яндекс - пример: Allow: /data. Все пути к каталогам или файлам пишутся от корня сайта.

Host:

Директива Host: указывает на зеркало вашего сайта. Адрес сайта должен быть указан без протокола - пример: www.site.ru - верно, http://www.site.ru - не верно.

SiteMap:

Директива Sitemap: указывает на расположение файла карты вашего сайта. Директива указывает на отдельный XML или gz файл или на индексный SiteMap файл. Файл SiteMap может быть в форматах как в .XML, так и в .GZ (архивная копия файла SiteMap).

Результат, содержимое файла robots.txt  

Выделить всё



Добавить баннер