Dans le monde d'aujourd'hui, Googlebot est devenu un sujet d'une grande pertinence et d'un grand intérêt. Au fil du temps, Googlebot a acquis une plus grande importance dans la société moderne, générant des débats, des opinions et des études approfondies sur son impact et sa pertinence dans différents aspects de la vie quotidienne. Depuis son émergence, Googlebot a retenu l’attention des experts, des passionnés et du grand public, devenant un sujet qui mérite d’être exploré en profondeur. Dans cet article, nous analyserons le contexte de Googlebot et son influence dans diverses sphères, offrant une perspective globale qui nous permet de comprendre sa portée et son importance aujourd'hui.
Les googlebots sont des robots d'indexation utilisés par le moteur de recherche Google afin de recenser et indexer les pages web.
Depuis 2019, Google offre une version "evergreen" de Google Bot basé sur Chromium. Google Bot va donc être mis à jour beaucoup plus régulièrement. La nouvelle version de Google Bot apporte plus d'un millier de nouvelles fonctionnalités[1][Lesquelles ?].
La chaîne de caractères permettant de les identifier en tant que User-Agent est, selon la tâche qu'ils effectuent, l'une des trois suivantes :
Googlebot/2.1 (+http://www.google.com/bot.html)
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Googlebot-Image/1.0
Il existe trois versions du user-agent de Googlebot en version mobile :
SAMSUNG-SGH-E250/1.0 Profile/MIDP-2.0 Configuration/CLDC-1.1 UP.Browser/6.2.3.3.c.1.101 (GUI) MMP/2.0 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
DoCoMo/2.0 N905i(c100;TB;W24H16) (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
[2]Google utilise un autre type de robot, dénommé Mediabot, qui analyse le contenu des pages intégrant un encart AdSense afin de fournir une publicité pertinente par rapport au contexte.
Dans Google Outils pour les webmasters, la fonction "Analyser comme Googlebot" permet de voir une page du site telle qu'elle est indexée par le Googlebot.