SWPanelBot-SEO

Como pede

O que pede

A página inicial, /robots.txt, o sitemap que declara o robots.txt (ou /sitemap.xml) e páginas HTML do mesmo domínio que encontra seguindo links. Para o relatório, além disso, uma captura da página inicial com um navegador sem janela, que hoje chega com o nome SWPanelBot-Code.

Métodos

Só GET.

Redirecionamentos

Segue-os, para saber aonde leva cada link.

Certificado

Não corta a visita por um problema de certificado.

Cookies

Não guarda nem envia cookies.

JavaScript

Não o executa: lê o HTML tal como o servidor o serve. A captura do relatório sim usa um navegador.

Esperas

Até 12 segundos para conectar e 20 pela resposta em cada página; no robots.txt, 10 e 15.

Novas tentativas

Nenhuma. Se uma página falhar, anota-a e segue com a seguinte.

Origem

Em preparação Dos servidores do SWPanel. Estamos reservando alguns IPs de saída só para os bots; quando existirem, vamos publicá-los aqui num arquivo JSON.

DNS reverso

Em preparação Cada IP terá um nome sob bots.swpanel.com que volte ao mesmo IP.

Normas que aplica

A que sites vai

Cumpre Só visita sites de serviços ativos do SWPanel e deixa de passar assim que o serviço é cancelado: verifica antes de cada requisição. A única exceção é o relatório que um usuário pede à mão, que pode ser de um site que não está no SWPanel. Também nesse caso respeita o robots.txt.

robots.txt

Cumpre Pede-o com o seu nome e o guarda 24 horas no máximo. Procura primeiro o grupo SWPanelBot-SEO e, se não houver, o grupo SWPanelBot, e se também não, o grupo *, como manda a RFC 9309. Se o robots.txt der 404, entende que pode rastrear tudo; se der um erro 5xx ou não responder, não rastreia.

Crawl-delay

Cumpre Respeita o Crawl-delay do grupo SWPanelBot-SEO ou, se não houver, do grupo SWPanelBot: espera o que pedir entre duas páginas do mesmo site. Se pedir mais de 60 segundos, olha uma página e deixa o site até a próxima passagem; se as esperas de uma passagem somarem mais de 2 minutos, também.

Se o site pede para frear

Cumpre Com 429 ou 503 espera o que disser o Retry-After se forem 60 segundos ou menos (10 se não disser). Se pedir mais, deixa o site até a próxima passagem. Após 3 erros 5xx seguidos, também o deixa.

Cache HTTP

Cumpre Pede com If-None-Match e If-Modified-Since. Se a página não mudou (304), não a baixa de novo e usa a cópia que já tem.

Assinatura

Cumpre Assina cada requisição com o Web Bot Auth (RFC 9421, Ed25519): cabeçalhos Signature, Signature-Input e Signature-Agent. A chave pública está em https://www.swpanel.com/.well-known/http-message-signatures-directory.

Contato na requisição

Cumpre Leva From: [email protected], como a RFC 9110 pede aos clientes automáticos.

O que faz com os dados

O que lê

Títulos, descrições, cabeçalhos, links, códigos de resposta, canonical, hreflang, dados estruturados, número de palavras e peso de cada página.

O que guarda

As métricas de cada página e a lista de problemas, no SWPanel do proprietário.

Quanto tempo

Os problemas, cerca de 30 dias. As métricas não têm data de exclusão: servem para ver a evolução.

Para quê

Apenas para o relatório e o acompanhamento SEO do proprietário do serviço. Alguns relatórios usam IA para redigir as conclusões com esses dados. Não são usados para treinar modelos de IA, nem são vendidos nem cedidos.

Privacidade

Política geral de privacidade do SWPanel.

O relatório também pede dados a serviços de terceiros, que visitam o site com o seu próprio nome: o PageSpeed Insights do Google mede a página inicial no plano Premium e o validador do W3C revisa o HTML. Essas visitas não são o SWPanelBot.