Comment fonctionnent les robots des moteurs de recherche ?

TÉLÉCHARGER NOTRE CATALOGUE

ou nous contacter au 01.86.95.27.81

En cliquant ci-dessus sur télécharger, vous acceptez nos conditions générales d'utilisation et notre politique de confidentialité.


Les robots, aussi appelés "crawlers", "spiders" ou "bots", sont les outils qui relient les moteurs aux sites web. Ces petits programmes crawlent le Web à la recherche de nouveaux contenus et naviguent de liens en liens. Chaque nouvelle page mise en ligne est analysée et indexée. Ils détectent les nouveaux contenus mais également les mises à jour sur des pages déjà crawlées. Toutes ces données sont ensuite rapatriées dans les serveurs des moteurs.

Ces robots passent, selon les moteurs, plus ou moins fréquemment. Google est numéro un dans cette catégorie avec ses robots appelés Googlebot. Il peut en effet détecter des nouveautés en moins de 15 minutes et les indexer immédiatement dans son moteur. Une actualité peut donc se trouver rapidement en tête des résultats naturels. Il s'agit là d'une avancée remarquable dans l'histoire des moteurs : ce même acteur se contentait encore jusqu'en 2003 de passer une fois par mois sur les sites. Le moteur mettait à jour son index en fonction du calendrier des pleines lunes, une opération appelée la Google Dance.

L'obligation pour qu'un robot vienne sur son site : l'accessibilité. Textes, images, vidéos ou encore PDF : le robot de néglige aucun format. Seuls le JavaScript ou encore le format Flash restent mal assimilés par ce dernier. Les robots de tous les moteurs sont régis par certaines règles et plus ou moins influençables par les balises métas (méta-tags). Il est ainsi toujours possible de bloquer l'accès de pages web avec un fichier nommé "robots.txt". Ils existent différents programmes : ceux en charge de relever du contenu, l'actualité ou encore des produits mis en vente. Ces statistiques permettent de surveiller la visite des robots. Grâce à ce décompte, il est possible de se rendre compte que plus un site est mis à jour régulièrement, plus le robot reviendra vérifier l'actualisation des données. La fonctionnalité du robot se limite à la collecte. Il ne classe en aucun cas les données.

Faire le choix de VISIPLUS academy c’est

Un réseau de 22 000 anciens participants

Un réseau de 22 000
anciens participants

100% elearning

100% des formations réalisables en digital learning

Un Taux de réussite aux examens de 94 %

300 formations pour se préparer au monde de demain

Taux d’emploi net à 6 mois de 96,7%

22 ans d'expérience dans la formation professionnelle

Plus de 500 entreprises partenaires

Plus de 50 formations
Éligibles CPF

Pas de professeur, seulement des intervenants professionnels

Pas de professeurs,
seulement des intervenants
professionnels

Formation réalisable pendant ou hors temps de travail

Formations réalisables pendant ou hors temps de travail

Des contenus pédagogiques « de pointe » et en lien fort avec le monde professionnel

Des contenus pédagogiques
« de pointe » et en lien fort
avec le monde professionnel