Comment fonctionnent les robots des moteurs de recherche ?

Les robots, aussi appelés "crawlers", "spiders" ou "bots", sont les outils qui relient les moteurs aux sites web. Ces petits programmes crawlent le Web à la recherche de nouveaux contenus et naviguent de liens en liens. Chaque nouvelle page mise en ligne est analysée et indexée. Ils détectent les nouveaux contenus mais également les mises à jour sur des pages déjà crawlées. Toutes ces données sont ensuite rapatriées dans les serveurs des moteurs.

Ces robots passent, selon les moteurs, plus ou moins fréquemment. Google est numéro un dans cette catégorie avec ses robots appelés Googlebot. Il peut en effet détecter des nouveautés en moins de 15 minutes et les indexer immédiatement dans son moteur. Une actualité peut donc se trouver rapidement en tête des résultats naturels. Il s'agit là d'une avancée remarquable dans l'histoire des moteurs : ce même acteur se contentait encore jusqu'en 2003 de passer une fois par mois sur les sites. Le moteur mettait à jour son index en fonction du calendrier des pleines lunes, une opération appelée la Google Dance.

L'obligation pour qu'un robot vienne sur son site : l'accessibilité. Textes, images, vidéos ou encore PDF : le robot de néglige aucun format. Seuls le JavaScript ou encore le format Flash restent mal assimilés par ce dernier. Les robots de tous les moteurs sont régis par certaines règles et plus ou moins influençables par les balises métas (méta-tags). Il est ainsi toujours possible de bloquer l'accès de pages web avec un fichier nommé "robots.txt". Ils existent différents programmes : ceux en charge de relever du contenu, l'actualité ou encore des produits mis en vente. Ces statistiques permettent de surveiller la visite des robots. Grâce à ce décompte, il est possible de se rendre compte que plus un site est mis à jour régulièrement, plus le robot reviendra vérifier l'actualisation des données. La fonctionnalité du robot se limite à la collecte. Il ne classe en aucun cas les données.