Генератор robots.txt

User-agent, Disallow/Allow, Sitemap и пресеты: закрыть SEO-базы / AI-training. robots ≠ firewall.

Генератор robots.txt: User-agent, Disallow/Allow, Sitemap и пресеты для SEO-баз (Ahrefs/Semrush/MJ12/DataForSEO) и AI-training. Поисковых ботов Google/Яндекс пресеты не трогают. Важно: robots — просьба к воспитанным роботам, не firewall; User-Agent легко подделать.

robots.txt — просьба к воспитанным ботам, не firewall. User-Agent подделывается. Поисковых ботов Google/Яндекс пресеты ниже не закрывают.

User-agent

Sitemap (полный URL)

Disallow (по одному пути на строку)

Allow (опционально)

Пресеты и опции

Явно разрешить корень (Allow: / при Disallow)

Закрыть сторонние SEO-краулеры

Закрыть AI-training (GPTBot, Google-Extended, CCBot…)

UTM и служебные параметры для Яндекса — Clean-param.