Crawl

Définition :

Dans une stratégie SEO, le crawl consiste à l’exploration et l’analyse plus ou moins régulière des pages d’un site internet par les moteurs de recherche. Le but étant de les indexer par la suite, pour les analyser et leur donner une note de pertinence.

Pour crawler une page, Google passe par les liens entre les sites, mais aussi entre les pages d’un site. Il suit tous les liens et peut ainsi découvrir bon nombre d’urls qu’on ne souhaite pas voir indexées ou qui sont inutiles en terme de performance et de conversion.

Comment optimise-t-on le crawl d’un site web ?

Il est important d’optimiser certains éléments pour que le crawl soit rapide et efficace :

  • Tri des pages importantes
  • Arborescence courte
  • Un plan du site détaillé
  • Web performance – temps de chargement des pages
  • Attributs nofollow et noindex – afin de ne pas perdre de temps sur les pages les moins importantes
  • Robots.txt
  • Balises de pagination
  • Maillage interne
  • Sitemap XML

Pourquoi améliorer le crawl des moteurs de recherche ?

L’optimisation du crawl est une optimisation technique sur le site. On a beau dire qu’en référencement naturel « le contenu est roi, encore faut-il que les moteurs de recherche parviennent à découvrir ce contenu. Pour trouver ce contenu, Google et les moteurs de recherche parcourent les liens sur le site et entre les sites. Il suit tous les liens et peut ainsi découvrir bon nombre d’urls qu’on ne souhaite pas voir indexées ou qui sont inutiles en terme de performance et de conversion. Ou au contraire, ne pas trouver des pages que vous souhaiteriez rendre visible.

Optimiser le crawl, c’est orienter le parcours des moteurs de recherche du site pour :

  • lui permettre de trouver et indexer les pages importantes du site
  • lui éviter de perdre du temps à indexer des pages inutiles

Un crawl bien optimisé va donc favoriser le positionnement des pages stratégiques mais aussi booster le PageRank de ces pages (ce qui améliore le positionnement, la boucle est bouclée).

Travailler le contenu d’un site sans surveiller ses performances de crawl peut revenir à donner des coups d’épée dans l’eau. Passer du temps à optimiser des contenus que Google ne vient pas voir est tout à fait inutile.