Goossips SEO : fichier robots.txt


Google a mis à jour sa politique concernant le fichier robots.txt, précisant qu’il ne prend en charge que quatre champs : « user-agent », « allow », « disallow » et « sitemap ». Pour le dire autrement, les directives non supportées sont ainsi ignorées par les crawlers de Google. Cette clarification vise à encourager les propriétaires de sites web à éviter d’utiliser des directives non supportées.

Source : Search Engine Journal



Source link