# Поисковики и краулеры ИИ-ассистентов разрешены.
# YandexBot и Googlebot НЕ блокируются - вся генеративка Яндекса (Нейро/Алиса) и Google (AI Overviews) на их индексе.
# /assets/ ОТКРЫТ: там лежит вся графика статей (обложки, схемы, скрины, превью, og) - без него
# картинки не попадают в поиск по картинкам и в карточки соцсетей. Закрыто только реально служебное:
# /assets/vid/ и /assets/ig/ (исходники видео и IG), /img/, /files/, /tmp/, /wm-assets/ (раздатка воркшопа,
# архивы, mp4, js) и /cgi-bin/. Правило: закрываем каталог целиком, только если в нём нет графики страниц.
# Каталог статей для ИИ-ассистентов одним файлом (заголовок + описание каждой страницы): /llms.txt

# --- Именованные боты (более специфичные блоки выше *) ---

# Поисковый + генеративный индекс Яндекса — фиксируем намеренно, НЕ блокировать.
User-agent: YandexBot
Allow: /
Disallow: /cgi-bin/
Disallow: /assets/vid/
Disallow: /assets/ig/
Disallow: /img/
Disallow: /files/
Disallow: /tmp/
Disallow: /wm-assets/

# OpenAI
User-agent: GPTBot
Allow: /
Disallow: /cgi-bin/
Disallow: /assets/vid/
Disallow: /assets/ig/
Disallow: /img/
Disallow: /files/
Disallow: /tmp/
Disallow: /wm-assets/

User-agent: OAI-SearchBot
Allow: /
Disallow: /cgi-bin/
Disallow: /assets/vid/
Disallow: /assets/ig/
Disallow: /img/
Disallow: /files/
Disallow: /tmp/
Disallow: /wm-assets/

User-agent: ChatGPT-User
Allow: /
Disallow: /cgi-bin/
Disallow: /assets/vid/
Disallow: /assets/ig/
Disallow: /img/
Disallow: /files/
Disallow: /tmp/
Disallow: /wm-assets/

# Anthropic. ClaudeBot у нас сейчас получает 403 на уровне ХОСТИНГА (не в этом файле,
# тикет провайдеру 12400297, не закрыт) - здесь всё равно держим явный Allow: запрет
# не наш, и как только хостинг починит фильтр, доступ откроется без правки robots.txt.
User-agent: ClaudeBot
Allow: /
Disallow: /cgi-bin/
Disallow: /assets/vid/
Disallow: /assets/ig/
Disallow: /img/
Disallow: /files/
Disallow: /tmp/
Disallow: /wm-assets/

User-agent: Claude-SearchBot
Allow: /
Disallow: /cgi-bin/
Disallow: /assets/vid/
Disallow: /assets/ig/
Disallow: /img/
Disallow: /files/
Disallow: /tmp/
Disallow: /wm-assets/

User-agent: Claude-User
Allow: /
Disallow: /cgi-bin/
Disallow: /assets/vid/
Disallow: /assets/ig/
Disallow: /img/
Disallow: /files/
Disallow: /tmp/
Disallow: /wm-assets/

# Perplexity
User-agent: PerplexityBot
Allow: /
Disallow: /cgi-bin/
Disallow: /assets/vid/
Disallow: /assets/ig/
Disallow: /img/
Disallow: /files/
Disallow: /tmp/
Disallow: /wm-assets/

User-agent: Perplexity-User
Allow: /
Disallow: /cgi-bin/
Disallow: /assets/vid/
Disallow: /assets/ig/
Disallow: /img/
Disallow: /files/
Disallow: /tmp/
Disallow: /wm-assets/

# You.com AI-поиск
User-agent: YouBot
Allow: /
Disallow: /cgi-bin/
Disallow: /assets/vid/
Disallow: /assets/ig/
Disallow: /img/
Disallow: /files/
Disallow: /tmp/
Disallow: /wm-assets/

# Google (AI-обучение + прочие агенты Google, отдельно от основного Googlebot, который под * тоже разрешён)
User-agent: Google-Extended
Allow: /
Disallow: /cgi-bin/
Disallow: /assets/vid/
Disallow: /assets/ig/
Disallow: /img/
Disallow: /files/
Disallow: /tmp/
Disallow: /wm-assets/

User-agent: GoogleOther
Allow: /
Disallow: /cgi-bin/
Disallow: /assets/vid/
Disallow: /assets/ig/
Disallow: /img/
Disallow: /files/
Disallow: /tmp/
Disallow: /wm-assets/

# Amazon
User-agent: Amazonbot
Allow: /
Disallow: /cgi-bin/
Disallow: /assets/vid/
Disallow: /assets/ig/
Disallow: /img/
Disallow: /files/
Disallow: /tmp/
Disallow: /wm-assets/

# Apple
User-agent: Applebot-Extended
Allow: /
Disallow: /cgi-bin/
Disallow: /assets/vid/
Disallow: /assets/ig/
Disallow: /img/
Disallow: /files/
Disallow: /tmp/
Disallow: /wm-assets/

# Common Crawl (датасет, из которого учатся многие модели)
User-agent: CCBot
Disallow: /

# ByteDance (краулер обучения моделей, в т.ч. Doubao)
User-agent: Bytespider
Allow: /
Disallow: /cgi-bin/
Disallow: /assets/vid/
Disallow: /assets/ig/
Disallow: /img/
Disallow: /files/
Disallow: /tmp/
Disallow: /wm-assets/

# Diffbot (структурная выжимка страницы, используется рядом ИИ-инструментов)
User-agent: Diffbot
Allow: /
Disallow: /cgi-bin/
Disallow: /assets/vid/
Disallow: /assets/ig/
Disallow: /img/
Disallow: /files/
Disallow: /tmp/
Disallow: /wm-assets/

# Cohere AI
User-agent: cohere-ai
Allow: /
Disallow: /cgi-bin/
Disallow: /assets/vid/
Disallow: /assets/ig/
Disallow: /img/
Disallow: /files/
Disallow: /tmp/
Disallow: /wm-assets/

# DuckDuckGo AI
User-agent: DuckAssistBot
Allow: /
Disallow: /cgi-bin/
Disallow: /assets/vid/
Disallow: /assets/ig/
Disallow: /img/
Disallow: /files/
Disallow: /tmp/
Disallow: /wm-assets/

# Microsoft Bing (индекс Copilot)
User-agent: Bingbot
Allow: /
Disallow: /cgi-bin/
Disallow: /assets/vid/
Disallow: /assets/ig/
Disallow: /img/
Disallow: /files/
Disallow: /tmp/
Disallow: /wm-assets/

# Meta AI
User-agent: Meta-ExternalAgent
Allow: /
Disallow: /cgi-bin/
Disallow: /assets/vid/
Disallow: /assets/ig/
Disallow: /img/
Disallow: /files/
Disallow: /tmp/
Disallow: /wm-assets/

# Meta (получение по конкретной ссылке, напр. превью в мессенджерах, отдельно от Meta-ExternalAgent)
User-agent: Meta-ExternalFetcher
Allow: /
Disallow: /cgi-bin/
Disallow: /assets/vid/
Disallow: /assets/ig/
Disallow: /img/
Disallow: /files/
Disallow: /tmp/
Disallow: /wm-assets/

# Facebook (превью ссылок в постах)
User-agent: FacebookBot
Allow: /
Disallow: /cgi-bin/
Disallow: /assets/vid/
Disallow: /assets/ig/
Disallow: /img/
Disallow: /files/
Disallow: /tmp/
Disallow: /wm-assets/

# --- Все остальные (базовое правило, включая обычный Googlebot) ---
User-agent: *
Disallow: /cgi-bin/
Disallow: /assets/vid/
Disallow: /assets/ig/
Disallow: /img/
Disallow: /files/
Disallow: /tmp/
Disallow: /wm-assets/

# Каталог статей для ИИ-ассистентов (llms.txt): https://theivansergeev.com/llms.txt
Sitemap: https://theivansergeev.com/sitemap.xml
Sitemap: https://theivansergeev.com/sitemap-index.xml

# --- Архивные краулеры: полный запрет (решение владельца 15.09.2026) ---
# Веб-архивы сохраняют слепки страниц навсегда и задним числом это не убирается.
# Поисковые и генеративные боты выше НЕ затронуты.
User-agent: ia_archiver
Disallow: /

User-agent: archive.org_bot
Disallow: /

User-agent: Wayback
Disallow: /

User-agent: wayback-machine
Disallow: /

User-agent: archive.today
Disallow: /

User-agent: archiveteam
Disallow: /

User-agent: ArchiveBot
Disallow: /

User-agent: CCBot
Disallow: /