Media Sova
Генератор robots.txt
Створіть базовий файл robots.txt для сайту й адаптуйте його під потреби індексації.
Домен сайту
Domain without http/https, WWW and trailing slash.
User-agent:
Specific search engine directive.
Disallow:
What to index or not to index for search engines.
Host:
Domain name with or without www.
Sitemap:
Specify the location of the sitemap, if available.
Поставити питання
Онлайн-генератор robots.txt для сайту з директивами user-agent, allow, disallow, sitemap і crawl-delay.