На главную
РАБОТА В ИНТЕРНЕТЕ
Инструменты
Панель оптимизатора
Новости
Реклама у нас
Обратная связь
<
Новости сайта
10.12.2024 в 16:41
Что стоит подарить шефу в качестве подарка к Новому году
09.12.2024 в 16:56
Какие изменения произошли в области информационных технологий
06.12.2024 в 18:01
Loft IT — испанский бренд
03.12.2024 в 18:00
Что содержится в развесном табаке
02.12.2024 в 17:15
Какие компоненты бывают в развесном табаке
Генератор файлов robots.txt
Войти
или
зарегистрироваться
Забыли пароль?
Вход в кабинет
close
Главная
Инструменты
Генератор файлов robots.txt
Данный инструмент поможет Вам сгенерировать файл
robots.txt
для Вашего сайта.
Адрес сайта (без http://, только домен)
User-agent:
Строка User-agent определяет робота поисковой машины. (значение * - дает определение всех роботов)
Любой поисковик
Yandex
Google
MSN
Rambler
AltaVista
Disallow:
Определяет каталог\страницу, закрытую от индексации поисковым роботом. (при указании каталога - запрещается для индексации все содержимое каталога - пример Disallow: /images - запрещает для индексации полностью каталог /images). В каждой группе строки User-agent должна быть хоть одна конструкция Disallow. Директиву Allow: понимает только Яндекс - пример: Allow: /data. Все пути к каталогам или файлам пишутся от корня сайта.
Индексировать всё
Запретить всё
/cgi-bin
/css
/js
/images
/img
Вставить свой каталог
Записать свой каталог
Host:
Директива Host: указывает на зеркало вашего сайта. Адрес сайта должен быть указан без протокола - пример: www.site.ru - верно, http://www.site.ru - не верно.
SiteMap:
Директива Sitemap: указывает на расположение файла карты вашего сайта. Директива указывает на отдельный XML или gz файл или на индексный SiteMap файл. Файл SiteMap может быть в форматах как в .XML, так и в .GZ (архивная копия файла SiteMap).
Вставить комментарий
|
Вставить пустую строку
Результат, содержимое файла robots.txt
[
выделить
]
Витрина ссылок
[
Добавить
]
Апдейты поисковиков
Новости
Новости сайта