SWPanelBot-SEO

Comment il demande

Ce qu'il demande

La page d'accueil, /robots.txt, le sitemap déclaré par robots.txt (ou /sitemap.xml) et les pages HTML du même domaine trouvées en suivant les liens. Pour le rapport, en plus, une capture de la page d'accueil avec un navigateur sans fenêtre, qui arrive aujourd'hui sous le nom SWPanelBot-Code.

Méthodes

Uniquement GET.

Redirections

Il les suit, pour savoir où mène chaque lien.

Certificat

Il n'interrompt pas la visite à cause d'un problème de certificat.

Cookies

Il ne conserve ni n'envoie de cookies.

JavaScript

Il ne l'exécute pas : il lit le HTML tel que le sert le serveur. La capture du rapport utilise en revanche un navigateur.

Attentes

Jusqu'à 12 secondes pour se connecter et 20 pour la réponse sur chaque page ; pour robots.txt, 10 et 15.

Nouvelles tentatives

Aucune. Si une page échoue, il la note et passe à la suivante.

Origine

En préparation Depuis les serveurs de SWPanel. Nous réservons des IP de sortie uniquement pour les bots ; quand elles seront prêtes, nous les publierons ici dans un fichier JSON.

DNS inverse

En préparation Chaque IP aura un nom sous bots.swpanel.com qui renvoie vers la même IP.

Normes qu'il applique

Quels sites il visite

Conforme Il ne visite que des sites de services SWPanel actifs et cesse dès que le service est résilié : il le vérifie avant chaque requête. La seule exception est le rapport qu'un utilisateur demande à la main, qui peut concerner un site qui n'est pas dans SWPanel. Même dans ce cas, il respecte robots.txt.

robots.txt

Conforme Il le demande sous son nom et le conserve 24 heures au maximum. Il cherche d'abord le groupe SWPanelBot-SEO et, à défaut, le groupe SWPanelBot, et sinon le groupe *, comme l'exige la RFC 9309. Si robots.txt renvoie 404, il considère qu'il peut tout explorer ; s'il renvoie une erreur 5xx ou ne répond pas, il n'explore pas.

Crawl-delay

Conforme Il respecte le Crawl-delay du groupe SWPanelBot-SEO ou, à défaut, du groupe SWPanelBot : il attend le temps demandé entre deux pages du même site. S'il demande plus de 60 secondes, il regarde une page et quitte le site jusqu'au prochain passage ; si les attentes d'un passage dépassent 2 minutes, il le quitte aussi.

Si le site demande de ralentir

Conforme Avec 429 ou 503, il attend ce que dit Retry-After s'il est de 60 secondes ou moins (10 s'il n'en dit rien). S'il demande plus, il quitte le site jusqu'au prochain passage. Après 3 erreurs 5xx consécutives, il le quitte aussi.

Cache HTTP

Conforme Il demande avec If-None-Match et If-Modified-Since. Si la page n'a pas changé (304), il ne la retélécharge pas et utilise la copie qu'il possède déjà.

Signature

Conforme Il signe chaque requête avec Web Bot Auth (RFC 9421, Ed25519) : en-têtes Signature, Signature-Input et Signature-Agent. La clé publique se trouve à https://www.swpanel.com/.well-known/http-message-signatures-directory.

Contact dans la requête

Conforme Il porte From: [email protected], comme la RFC 9110 le demande aux clients automatiques.

Ce qu'il fait des données

Ce qu'il lit

Titres, descriptions, titres de section, liens, codes de réponse, canonical, hreflang, données structurées, nombre de mots et poids de chaque page.

Ce qu'il conserve

Les métriques de chaque page et la liste des problèmes, dans le SWPanel du propriétaire.

Combien de temps

Les problèmes, environ 30 jours. Les métriques n'ont pas de date de suppression : elles servent à voir l'évolution.

Pour quoi faire

Uniquement pour le rapport et le suivi SEO du propriétaire du service. Certains rapports utilisent l'IA pour rédiger les conclusions à partir de ces données. Elles ne servent pas à entraîner des modèles d'IA, ni ne sont vendues ni cédées.

Confidentialité

Politique générale de confidentialité de SWPanel.

Le rapport demande aussi des données à des services tiers, qui visitent le site sous leur propre nom : PageSpeed Insights de Google mesure la page d'accueil avec le plan Premium et le validateur du W3C vérifie le HTML. Ces visites ne sont pas SWPanelBot.