Проверка Sitemap и robots.txt
Доступность sitemap.xml и robots.txt для краулеров, валидация sitemap, правила robots и проверка URL.
В одном отчёте: наличие и доступность sitemap.xml и robots.txt, валидация sitemap (количество URL, индекс), правила robots.txt и проверка — разрешён ли краулинг для вашего URL.