Классифицируйте краулеров, поисковых ботов и автоматизированный трафик
WebmasterID отделяет трафик ботов от трафика людей в момент приёма данных. Панель показывает ИИ-краулеров, краулеров поисковых систем и инструменты автоматизации — с метками времени, частотой и разбивкой по сайтам. Без выдумок: то, что нельзя классифицировать, не классифицируется.
Закрытая таксономия, детерминированная классификация
Каждый визит бота попадает в одну из четырёх групп. О группе «без классификации» сообщается честно: неизвестный бот никогда не помечается как «вероятно, ИИ».
ИИ-краулеры
GPTBot, ClaudeBot, PerplexityBot, Google-Extended, anthropic-ai, OAI-SearchBot и подобные сервисы. Видны в панели с метками времени и частотой.
Краулеры поисковых систем
Googlebot, Bingbot, DuckDuckBot и другие индексаторы. Отделены от ИИ-краулеров, чтобы SEO и видимость в ИИ не смешивались.
Инструменты автоматизации
Headless-браузеры, агенты мониторинга и безобидная автоматизация. Группируются как «автоматизация», а не путаются с людьми.
Без классификации
Когда сигнатура запроса не совпадает ни с одним известным шаблоном, бот показывается как «прочие». Мы ничего не выдумываем: сообщается то, что наблюдается.
Применение в работе
Аналитика ботов питает решения по SEO, инфраструктуре и видимости в ИИ.
Заметить первый визит краулера
Узнать, когда GPTBot или ClaudeBot впервые пришёл на сайт, и затем проверить, превращается ли это в трафик из ИИ.
Заметить всплески автоматизации
Выявить рост автоматизации, который при объединении с людьми раздул бы показатели аудитории.
Сверить с покрытием индексации
Сопоставить частоту поисковых ботов с покрытием индексации в Search Console.
Проверить соблюдение вашей политики
Увидеть, какие ИИ-краулеры соблюдают (или игнорируют) политику, объявленную в файле llms.txt.
Частые вопросы
- Как WebmasterID отделяет ботов от людей?
- Правилами, которые применяются на сервере к поддерживаемому списку сигнатур ботов. Отслеживание отправляет нормализованное событие, а слой приёма данных классифицирует его детерминированно. Люди и боты хранятся раздельно, поэтому панели их никогда не смешивают.
- Сохраняется ли user-agent запроса?
- Нет. Из него извлекается сигнал о категории бота, а исходное значение отбрасывается. Панель никогда не показывает исходную сигнатуру запроса.
- А что с ИИ-поисковыми ботами, которые не представляются?
- Если краулер не представился, он попадает в «прочие». Мы не изготавливаем ИИ-классификацию из косвенных признаков. Группа «прочие» — честная.
- Учитывается ли трафик ботов в аналитических итогах?
- Нет. Просмотры страниц и события конверсий по умолчанию отфильтрованы до трафика людей. Визиты ботов видны во вью аналитики ботов и на странице видимости в ИИ, когда краулер относится к ИИ-сервисам.