L’ampleur du trafic lié aux bots sur le web

Parmi les robots logiciels (ou bots) qui explorent de façon automatisée le web, les bots d’indexation des moteurs de recherche (crawlers) sont encore à l’origine du plus important volume de requêtes. Extracteurs du web, les bots d’IA ont, quant à eux, pour principale fonction de récupérer du contenu, afin d’entraîner les modèles de langage (LLM). Dans cette nouvelle économie de l’extraction, Google reste en tête avec Googlebot, lequel remplit à la fois les fonctions d’indexation pour son moteur de recherche et d’entraînement pour son modèle d’IA.