# Allow Google
User-agent: Googlebot
Allow: /
Crawl-delay: 1

User-agent: Googlebot-Image
Allow: /
Crawl-delay: 1

User-agent: Googlebot-News
Allow: /
Crawl-delay: 1

User-agent: Googlebot-Video
Allow: /
Crawl-delay: 1

User-agent: AdsBot-Google
Allow: /

User-agent: Mediapartners-Google
Allow: /

# Allow Bing / Microsoft
User-agent: Bingbot
Allow: /
Crawl-delay: 2

User-agent: MSNBot
Allow: /
Crawl-delay: 2

User-agent: DuckDuckBot
Disallow: /

############################################################
# Block AI / LLM / Data Scrapers
############################################################

# OpenAI GPTBot
User-agent: GPTBot
Disallow: /

# CCBot (Common Crawl AI training)
User-agent: CCBot
Disallow: /

# AmazonBot / AGI crawlers
User-agent: Amazonbot
Disallow: /

# Anthropic Claude crawler
User-agent: ClaudeBot
Disallow: /

# Perplexity AI
User-agent: PerplexityBot
Disallow: /

# You.com
User-agent: YouBot
Disallow: /

# AI research scrapers
User-agent: cohere-ai
Disallow: /
User-agent: ai2bot
Disallow: /
User-agent: DataForSeoBot
Disallow: /

############################################################
# Block Chinese/Russian large-scale scrapers
############################################################
User-agent: Baiduspider
Disallow: /
User-agent: Yandex
Disallow: /
User-agent: YandexBot
Disallow: /

############################################################
# Block SEO tools & aggressive scrapers
############################################################
User-agent: AhrefsBot
Disallow: /
User-agent: SemrushBot
Disallow: /
User-agent: DotBot
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: BLEXBot
Disallow: /
User-agent: archive.org_bot
Disallow: /

############################################################
# Generic AI-crawler catch-all
############################################################
User-agent: *AI*
Disallow: /

User-agent: *ai*
Disallow: /

User-agent: *bot*
Disallow: /
Crawl-delay: 10

# But re-allow the ones we explicitly trust
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /