Comment soumettre à nouveau un fichier Robots.txt mis à jour ou nouveau

robots txt

Notre agence gère conseil en recherche organique pour plusieurs fournisseurs SaaS du secteur. Un client avec lequel nous avons récemment commencé à travailler avait fait une pratique assez standard, plaçant son application sur un sous-domaine et déplaçant son site de brochure vers le domaine principal. Il s'agit d'une pratique courante car elle permet à la fois à votre équipe de production et à votre équipe marketing d'effectuer des mises à jour selon les besoins sans aucune dépendance de l'autre.

Comme première étape dans l'analyse de leur santé de recherche organique, nous avons enregistré la brochure et les domaines d'application dans Webmasters. C'est alors que nous avons identifié un problème immédiat. Toutes les pages de l'application étaient bloquées contre l'indexation par les moteurs de recherche. Nous avons accédé à leur entrée robots.txt dans Webmasters et avons instantanément identifié le problème.

Lors de la préparation de la migration, leur équipe de développement ne voulait pas que le sous-domaine de l'application soit indexé par recherche, elle a donc interdit l'accès aux moteurs de recherche. Le fichier robots.txt est un fichier trouvé à la racine de votre site - votredomaine.com/robots.txt - qui permet au moteur de recherche de savoir s'il doit ou non explorer le site. Vous pouvez écrire des règles pour autoriser ou interdire l'indexation sur l'ensemble du site ou sur des chemins spécifiques. Vous pouvez également ajouter une ligne pour spécifier votre fichier sitemap.

Le produit Robots.txt Le fichier contenait l'entrée suivante qui empêchait l'exploration et l'indexation du site dans les classements des résultats de recherche:

Agent utilisateur: * Interdire: /

Il aurait dû être écrit comme suit:

Agent utilisateur: * Autoriser: /

Ce dernier autorise tout moteur de recherche explorant le site à accéder à tout répertoire ou fichier du site.

Super… alors maintenant que le robots.txt Le fichier est parfait, mais comment Google sait-il et quand revérifieront-ils le site? Eh bien, vous pouvez absolument demander à Google de vérifier votre fichier robots.txt, mais ce n'est pas trop intuitif.

Accédez à la Console de recherche Google Search Console à la Exploration> Tester robots.txt. Vous verrez le contenu du fichier robots.txt le plus récemment analysé dans le testeur. Si vous souhaitez soumettre à nouveau votre fichier robots.txt, cliquez sur Soumettre et une fenêtre contextuelle apparaîtra avec quelques options.

renvoyer le fichier robots.txt

La dernière option est Demandez à Google de mettre à jour. Cliquez sur le bouton bleu Soumettre à côté de cette option, puis revenez au Exploration> Tester robots.txt option de menu pour recharger la page. Vous devriez maintenant voir le fichier robots.txt mis à jour avec un horodatage indiquant qu'il a de nouveau été analysé.

Si vous ne voyez pas de version mise à jour, vous pouvez cliquer sur Soumettre et sélectionner Afficher la version téléchargée pour accéder à votre fichier robots.txt réel. De nombreux systèmes mettront ce fichier en cache. En fait, IIS génère ce fichier de manière dynamique en fonction des règles entrées via leur interface utilisateur. Vous devrez probablement mettre à jour les règles et actualiser le cache pour publier un nouveau fichier robots.txt.

testeur-robots-txt

Que pensez-vous?

Ce site utilise Akismet pour réduire les spams. Découvrez comment sont traitées les données de vos commentaires..