Robot / Crawler

Logiciel souvent appelé " spider ", " crawler " et " bot " utilisé par les moteurs de recherche afin de repérer et d'indexer dans leurs bases de données les pages web et le contenu des différents sites Internet. En français, depuis 2013, crawler est remplaçable par le mot collecteur.

Chaque moteur de recherche a un robot qui lui est propre. Le crawler de Google par exemple est appelé Googlebot. Le robot d’indexation porte également le nom de MSNBot pour MSN et Bing ou encore Slurp concernant Yahoo!

La mission qui consiste à visiter de manière automatisée les pages du web s’appelle le crawling.

Pour être référencée, une page doit donc être accessible pour les robots d’indexation. Obtenue à partir d’une démarche de soumission auprès du moteur, ou parce que le robot a eu accès à la page à partir d’un lien, la première visite du « spider » n’est qu’un prélude des nombreux passages des crawlers qui reviendrons par la suite, plus ou moins régulièrement, sur les pages web en fonction de la fréquence de mise à jour du site web.

Il est indispensable de comprendre et maitriser les règles du SEO pour permettre aux crawlers de remonter facilement les données dans leur base.

En savoir plus ?

• Robot.txt
• RSS (Really Simple Syndication)
• Sandbox