Tráfego de bots e de humanos: como distingui-los
A identidade na web é declarada, não garantida. Esta página explica o que significa cada sinal, porque é que nenhum basta por si só e como ler a diferença sem apresentar uma suposição como se fosse um facto.
Quatro sinais, nenhum conclusivo por si só
Cadeia de user-agent
O sinal mais comum e o mais fraco por si só. Os bots que se declaram dizem o seu nome; os clientes maliciosos fazem-se passar por um navegador real. Serve para categorizar, nunca para confiar.
Identidade declarada face a verificada
Os principais rastreadores publicam uma forma de os verificar (DNS inverso, intervalos de IP publicados). Um user-agent que diz ser o Googlebot mas não passa na verificação é o caso interessante.
Forma do comportamento
As pessoas carregam recursos, deslocam a página e permanecem; muitos bots pedem apenas o HTML, a um ritmo de máquina. Isto é indicativo, não é prova: nunca se deve rotular como bot uma visita rápida apenas pelo ritmo.
Contexto do pedido
Se o JavaScript foi executado, se os referenciadores foram consistentes e que endpoints foram acedidos. Apenas sinais seguros para a privacidade: sem impressão digital do navegador.
Uma categoria com um nível de confiança
Nunca é possível ter cem por cento de certeza sobre se uma visita é de um bot ou de uma pessoa. A postura honesta é atribuir uma categoria juntamente com um nível de confiança: bot conhecido e verificado, bot declarado, automatização provável ou pessoa. A WebmasterID regista o que é observável no servidor e nunca apresenta uma estimativa probabilística como se fosse um facto.
A categorização é determinística, feita a partir de uma lista de assinaturas mantida para o efeito, e o que fica incerto permanece num grupo «outros» assumido como tal.
O objetivo não é bloquear bots
Grande parte do tráfego de bots é imprescindível: os rastreadores de pesquisa e de IA precisam de acesso para indexar e responder. O objetivo não é bloqueá-los, mas vê-los com clareza, separá-los da análise humana e decidir a política de rastreio de forma deliberada.
Perguntas frequentes
- É possível saber com toda a certeza se uma visita é de um bot ou de uma pessoa?
- Não. A identidade na web é declarada, não garantida. A postura honesta é uma categoria com um nível de confiança: bot conhecido e verificado, bot declarado, automatização provável ou pessoa. A WebmasterID regista o que é observável no servidor e nunca apresenta uma suposição probabilística como um facto.
- Porque é que os bots se fazem passar por navegadores?
- Os scrapers e os clientes automatizados copiam a cadeia de user-agent de um navegador real para passarem despercebidos. É por isso que o user-agent por si só não é fiável, e é por isso que importam a verificação (nos rastreadores que a suportam) e o contexto de comportamento.
- Todo o tráfego de bots é mau?
- Não; grande parte é imprescindível. Os rastreadores de pesquisa e de IA precisam de acesso para indexar e responder. O objetivo não é bloquear bots, mas vê-los com clareza, separá-los da análise humana e decidir a política de rastreio de forma deliberada.