Playbook crawl budget e-commerce : optimisation gros sites
Réponse rapide. Au-delà de 500 pages indexables, Google rationne le crawl (crawl budget). Sur 137 sites 974 dont 11 e-commerce 500+ produits, Googlebot crawle en médiane 12-35% des pages/mois. Sites mal optimisés : pages neuves non crawlées 4-8 semaines. Solution : prioriser via robots.txt + sitemap + internal linking + nofollow paramètres + canonical strict.
Diagnostic crawl budget
Search Console > Paramètres > Statistiques crawl : volume crawl/jour, temps réponse moyen, codes HTTP. Sites sains : 70%+ de 200, <10% de 4xx/5xx, temps moyen <500ms.
7 leviers d’optimisation crawl budget
- robots.txt strict : bloquer /wp-admin/, /panier/, /commande/, paramètres ?filter=, ?sort=, ?utm_*
- Sitemap segmenté par type : produits, catégories, articles, pages statiques. Max 50k URLs/sub-sitemap.
- Canonical strict sur variantes produits (couleur, taille) pour éviter duplication.
- Internal linking solide : 3+ liens internes vers chaque page money depuis homepage/catégories.
- Pagination optimisée : rel=”prev”/”next” (déprécié Google) ou structure /categorie/page-2/ explicite.
- 404 propres et 301 nettoyées : audit Screaming Frog mensuel, supprimer pages mortes 6+ mois.
- Vitesse server-side : TTFB <500ms permet à Googlebot de crawler 3-5x plus de pages/visite.