Guide des Métiers du Web Marketing et de la Communication Digitale

Retrouvez dans ce guide 50 fiches métiers, un panorama complet de formations initiales et continues liées au marketing digital et des témoignages de professionnels en poste.

Définition du terme : Robot / Crawler

Logiciel souvent appelé " spider ", " crawler " et " bot " utilisé par les moteurs de recherche afin de repérer et d'indexer dans leurs bases de données les pages web et le contenu des différents sites Internet. En français, depuis 2013, crawler est remplaçable par le mot collecteur.

Chaque moteur de recherche a un robot qui lui est propre. Le crawler de Google par exemple est appelé Googlebot. Le robot d’indexation porte également le nom de MSNBot pour MSN et Bing ou encore Slurp concernant Yahoo!

La mission qui consiste à visiter de manière automatisée les pages du web s’appelle le crawling.

Pour être référencée, une page doit donc être accessible pour les robots d’indexation. Obtenue à partir d’une démarche de soumission auprès du moteur, ou parce que le robot a eu accès à la page à partir d’un lien, la première visite du « spider » n’est qu’un prélude des nombreux passages des crawlers qui reviendrons par la suite, plus ou moins régulièrement, sur les pages web en fonction de la fréquence de mise à jour du site web.

Il est indispensable de comprendre et maitriser les règles du SEO pour permettre aux crawlers de remonter facilement les données dans leur base.


En savoir plus ?

Plus de 50 formations pour s’approprier le Digital de A à Z


Ils ont déjà suivi nos formations Web Marketing & Communication Digitale10 000 professionnels

arte
banque-populaire
casino
chambre-commerce-industrie
cnp
Ricard
Yahoo
Saint Gobain
axa
france5
hec-paris
la-depeche
La poste
Voyages SNCF
Décathlon
hilti
Editions Grasset
Ministère de la défense
Rians
Green Peace
Caisse des dépôts
Assurance Maladie
TNT
ouest-france
pierre-fabre
plaza-athenee
region-paca
rochebobois
sap
British Airways
walt-disney

live chat !

Merci d’entrer votre prénom, nom, email, société et votre message pour commencer à chatter avec nous.