[{"data":1,"prerenderedAt":49},["ShallowReactive",2],{"$fLtl47v86A92w625t52LifHhrR7vG4PE5vrdL0lR-m4Y":3},{"slug":4,"kind":5,"title":6,"description":7,"h1":6,"seo_title":8,"seo_description":9,"content":10,"tags":37,"is_pro":39,"related":40},"robots-txt","generator","Генератор robots.txt","User-agent, Disallow\u002FAllow, Sitemap и пресеты: закрыть SEO-базы \u002F AI-training. robots ≠ firewall.","Генератор robots.txt онлайн — создать файл бесплатно | SEO Quest","Создать robots.txt: User-agent, Disallow, Allow, Sitemap и пресеты SEO-баз \u002F AI. Бесплатно, без регистрации. robots ≠ firewall.",{"about":11,"use_cases":12,"problems":16,"how_to":20,"faq":21},"Генератор robots.txt: User-agent, Disallow\u002FAllow, Sitemap и пресеты для SEO-баз (Ahrefs\u002FSemrush\u002FMJ12\u002FDataForSEO) и AI-training. Поисковых ботов Google\u002FЯндекс пресеты не трогают. Важно: robots — просьба к воспитанным роботам, не firewall; User-Agent легко подделать.",[13,14,15],"Быстро собрать базовый robots.txt для нового сайта.","Закрыть служебные разделы (админка, корзина, поиск) и указать Sitemap.","Осознанно закрыть краулеры SEO-баз или AI-training — гигиена, не «секрет от конкурентов».",[17,18,19],"Отсутствие robots.txt — нет явного Sitemap и политики для краулеров.","Ошибки в синтаксисе — правила могут не применяться.","Ложное ожидание, что Disallow остановит любого парсера (в т.ч. с поддельным UA).","Укажите User-agent (обычно *). При частичных запретах отметьте «Явно разрешить корень» — добавится Allow: \u002F. В Disallow\u002FAllow — пути по одному на строку; в Sitemap — полный URL. Опционально включите пресет «Закрыть SEO-базы» и\u002Fили «Закрыть AI-training». Сгенерируйте файл и положите в корень сайта. Для UTM\u002Fслужебных параметров см. Clean-param.",[22,25,28,31,34],{"q":23,"a":24},"Нужен ли robots.txt, если всё разрешено?","Не обязателен, но полезен: в нём можно указать Sitemap и явно разрешить всё. Так краулеры быстрее найдут sitemap.",{"q":26,"a":27},"Закроет ли пресет Ahrefs\u002FSemrush конкурентов?","Нет как «броня». Пресет просит воспитанные боты SEO-баз не ходить — гигиена краула. Поддельный User-Agent и прямой парсинг robots не останавливает. Rate limit \u002F WAF — отдельно.",{"q":29,"a":30},"Зачем добавлять Allow: \u002F при частичных запретах?","Строка Allow: \u002F явно задаёт политику «разрешено всё, кроме перечисленных Disallow». Это делает намерение понятным для краулеров и избегает разночтений.",{"q":32,"a":33},"Как закрыть все URL с параметром?","В Disallow укажите путь с маской, например \u002F?* или \u002F*?*. Для Яндекса также удобен генератор Clean-param; Google Clean-param не поддерживает — canonical и параметры в GSC.",{"q":35,"a":36},"Где размещать готовый файл?","В корне домена: https:\u002F\u002Fваш-сайт.ru\u002Frobots.txt. Файл должен отдаваться по этому URL с кодом 200.",[38],"seo",false,{"tool_title":6,"checklist_url":41,"blogs":42,"checklist_items":43,"related_tools":44},"\u002Fabout\u002Fchecklist",[],[],[45],{"slug":46,"title":47,"kind":48},"sitemap","Проверка Sitemap и robots.txt онлайн","check",1789381424675]