Media Sova
Генератор robots.txt
Создайте базовый файл robots.txt для сайта и адаптируйте его под задачи индексации.
Домен сайта
Domain without http/https, WWW and trailing slash.
User-agent:
Specific search engine directive.
Disallow:
What to index or not to index for search engines.
Host:
Domain name with or without www.
Sitemap:
Specify the location of the sitemap, if available.
Задать вопрос
Онлайн-генератор robots.txt для сайта с директивами user-agent, allow, disallow, sitemap и crawl-delay.