Dans le dernier épisode de Search Off The Record, Gary Illyes et Martin Splitt sont revenus sur les limites de crawl de Googlebot, révélant que ces limites sont bien plus flexibles qu’on ne le pensait. La limite des 15 Mo est une limite par défaut définie au niveau de l’infrastructure pour protéger les serveurs de Google. Elle n’est pas absolue : chaque équipe interne peut la modifier. Par exemple, Google Search la réduit à 2 Mo, tandis que pour les PDFs elle peut monter à 64 Mo.
Pourquoi ces limites existent : Ce n’est pas uniquement une question de bande passante, mais surtout de protection de l’infrastructure. Traiter un document trop volumineux (conversion, indexation…) peut surcharger les systèmes de Google.
Martin Splitt insiste sur le fait que Googlebot n’est pas un système figé et uniforme, mais fonctionne davantage comme un service configurable. Les paramètres peuvent varier selon le type de contenu (HTML, PDF, images), le projet, voire la vitesse d’indexation souhaitée.
Source : Search Engine Journal