# Um robô obedece a UM grupo só: o mais específico que casa com o nome dele, e
# nunca o `*` junto. Por isso não existe aqui um grupo por crawler de IA com
# "Allow: /" dentro: além de não liberar nada que o `*` já não libere, ele
# substituía as linhas de Disallow abaixo, e era assim que GPTBot, ClaudeBot,
# Bytespider e companhia entravam em /admin/ e /api/.
# Só ganha grupo próprio quem precisa de uma diretiva que o `*` não tem.

# Content-Signal declara o uso permitido do conteúdo, separado do rastreio:
# pode treinar, pode indexar, pode responder com base nele.
User-agent: *
Content-Signal: ai-train=yes, search=yes, ai-input=yes
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /src/
Disallow: /node_modules/
Disallow: /_pathless/
# Rotas de app: rastreáveis de propósito, para o Google ler o X-Robots-Tag:
# noindex e tirar do índice. Bloquear aqui congelaria o que já está indexado.
Allow: /studio/
Allow: /checkout/
Allow: /auth
Allow: /dashboard/
Allow: /subscriptions

# Crawl-delay não existe no grupo `*` para o Bing, tem que ser no grupo dele, e
# um grupo próprio precisa repetir os Disallow.
User-agent: Bingbot
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /src/
Disallow: /node_modules/
Disallow: /_pathless/
Crawl-delay: 1

# Clean-param é só do Yandex: os parâmetros abaixo não mudam a página, e sem
# esta linha cada link de anúncio ou de campanha vira um endereço próprio no
# índice, competindo com o original. São os que capturamos em
# src/tracking/attribution.ts.
User-agent: Yandex
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /src/
Disallow: /node_modules/
Disallow: /_pathless/
Clean-param: gclid&gbraid&wbraid&fbclid&ttclid&msclkid&li_fat_id&twclid&oppref&gad_source&utm_source&utm_medium&utm_campaign&utm_content&utm_term

Sitemap: https://cut.pro/sitemap.xml
Sitemap: https://cut.pro/docs/sitemap.xml