Crawl

Définition :

Dans une stratégie SEO, le crawl consiste à l’exploration et l’analyse plus ou moins régulière des pages d’un site internet par les moteurs de recherche. Le but étant de les indexer par la suite, pour les analyser et leur donner une note de pertinence.

Il est important d’optimiser certains éléments pour que le crawl soit rapide et efficace :

  • Tri des pages importantes
  • Arborescence courte
  • Un plan du site détaillé
  • Web performance – temps de chargement des pages
  • Attributs nofollow et noindex – afin de ne pas perdre de temps sur les pages les moins importantes
  • Robots.txt
  • Balises de pagination
  • Maillage interne
  • Sitemap XML

Il est essentiel que les robots crawlent seulement le contenu de bonne qualité et le plus important. C’est pourquoi il est important de les mettre en avant et bloquer au crawl les pages qui le sont moins avec des attributs « nofollow » et « noindex ».