WPGermeoBot

C’est le robot de WPGermeo. S’il visite ton site, c’est que son propriétaire (ou toi) l’a déclaré dans WPGermeo pour suivre ses publications et son maillage interne.

Signature

WPGermeoBot/1.0

Ce qu’il fait

• Il lit le fichier robots.txt et le plan du site (sitemap), puis les pages publiques qui y figurent, ou l’API REST de WordPress quand le propriétaire l’a connectée.
• Il ne visite que les sites déclarés par un compte WPGermeo, et seulement les adresses de ce site.
• Il ne remplit aucun formulaire, ne se connecte nulle part sans les identifiants fournis par le propriétaire, et ne modifie rien.

Son rythme

• Un passage par heure au plus, et une page n’est relue que si elle a changé ou si sa dernière lecture date de plus de 7 jours.
• Une page à la fois, avec au moins 1 seconde entre deux requêtes. Il respecte la directive Crawl-delay (jusqu’à 60 secondes).
• Sur une réponse 429 ou 503, il attend le délai indiqué par Retry-After. Après 3 erreurs de suite, il met le site en pause pendant au moins une heure.
• Il lit 5 Mo au plus par page.

Le bloquer

Il suit les règles de robots.txt écrites pour lui, ou à défaut celles écrites pour tous les robots. Pour le bloquer sur tout le site :

User-agent: WPGermeoBot
Disallow: /

Si tu es le propriétaire du site et que tu l’as connecté à WPGermeo, tu peux aussi révoquer son mot de passe d’application dans WordPress.