Comment les moteurs de recherche trouvent, explorent et indexent votre contenu?

SEO

Je ne recommande pas souvent aux clients de créer leurs propres systèmes de commerce électronique ou de gestion de contenu en raison de toutes les options d'extensibilité invisibles qui sont nécessaires de nos jours - principalement axées sur la recherche et l'optimisation sociale. J'ai écrit un article sur comment sélectionner un CMS et je le montre toujours aux entreprises avec lesquelles je travaille qui sont tentées de créer leur propre système de gestion de contenu.

Cependant, il existe absolument des situations où une plate-forme personnalisée est une nécessité. Lorsque c'est la solution optimale, je pousse toujours mes clients à créer les fonctionnalités nécessaires pour optimiser leurs sites pour la recherche et les médias sociaux. Il y a essentiellement trois caractéristiques clés qui sont une nécessité.

  • Robots.txt
  • XML Sitemap
  • Métadonnées

Qu'est-ce qu'un fichier Robots.txt?

Robots.txt fichier - le robots.txt file est un fichier texte brut qui se trouve dans le répertoire racine du site et indique aux moteurs de recherche ce qu'ils doivent inclure et exclure des résultats de recherche. Ces dernières années, les moteurs de recherche ont également demandé que vous incluiez le chemin vers un plan de site XML dans le fichier. Voici un exemple du mien, qui permet à tous les robots d'explorer mon site et les dirige également vers mon plan de site XML:

User-agent: *
Sitemap: https://martech.zone/sitemap_index.xml

Qu'est-ce qu'un plan de site XML?

XML Sitemap - Tout comme HTML est destiné à être visualisé dans un navigateur, XML est écrit pour être digéré par programmation. Un plan de site XML est essentiellement un tableau de chaque page de votre site et de la date de sa dernière mise à jour. Les sitemaps XML peuvent également être connectés en guirlande… c'est-à-dire qu'un sitemap XML peut faire référence à un autre. C'est génial si vous souhaitez organiser et décomposer les éléments de votre site de manière logique (FAQ, pages, produits, etc.) dans leurs propres plans Sitemap.

Les plans Sitemap sont essentiels pour que vous puissiez informer efficacement les moteurs de recherche du contenu que vous avez créé et de la date de sa dernière modification. Le processus utilisé par un moteur de recherche lorsqu'il accède à votre site n'est pas efficace sans la mise en œuvre d'un plan de site et d'extraits de code.

Sans plan de site XML, vous risquez de ne jamais découvrir vos pages. Que faire si vous avez une nouvelle page de destination de produit qui n'est liée ni en interne ni en externe. Comment Google le découvre-t-il? Eh bien, tout simplement… tant qu'un lien ne sera pas trouvé, vous n'allez pas être découvert. Heureusement, les moteurs de recherche permettent aux systèmes de gestion de contenu et aux plates-formes de commerce électronique de leur déployer un tapis rouge!

  1. Google découvre un lien externe ou interne vers votre site.
  2. Google indexe la page et la classe en fonction de son contenu et du contenu et de la qualité du site du lien référent.

Avec un plan de site XML, vous ne laissez pas la découverte de votre contenu ou la mise à jour de votre contenu au hasard! Trop de développeurs essaient également de prendre des raccourcis qui les blessent. Ils publient le même extrait enrichi sur le site, fournissant des informations qui ne sont pas pertinentes pour les informations de la page. Ils publient un plan du site avec les mêmes dates sur chaque page (ou tous sont mis à jour lors des mises à jour d'une page), donnant aux moteurs de recherche des files d'attente pour qu'ils jouent avec le système ou qu'ils ne soient pas fiables. Ou ils ne cinglent pas du tout les moteurs de recherche… de sorte que le moteur de recherche ne se rend pas compte que de nouvelles informations ont été publiées.

Qu'est-ce que les métadonnées? Des microdonnées? Extraits riches?

Les extraits enrichis sont des microdonnées soigneusement balisées qui est caché au spectateur mais visible dans la page pour les moteurs de recherche ou les sites de médias sociaux à utiliser. C'est ce qu'on appelle les métadonnées. Google se conforme à Schema.org en tant que norme pour inclure des éléments tels que des images, des titres, des descriptions ... ainsi qu'une pléthore d'autres extraits informatifs tels que le prix, la quantité, les informations de localisation, les notes, etc. Le schéma améliorera considérablement la visibilité de votre moteur de recherche et la probabilité qu'un utilisateur clique par.

Facebook utilise le OpenGraph protocole (bien sûr, ils ne pourraient pas être les mêmes), Twitter a même un extrait de code pour spécifier votre profil Twitter. De plus en plus de plates-formes utilisent ces métadonnées pour prévisualiser les liens intégrés et d'autres informations lors de leur publication.

Vos pages Web ont une signification sous-jacente que les gens comprennent lorsqu'ils lisent les pages Web. Mais les moteurs de recherche ont une compréhension limitée de ce qui est discuté sur ces pages. En ajoutant des balises supplémentaires au code HTML de vos pages Web (balises qui disent: "Salut le moteur de recherche, ces informations décrivent ce film, ce lieu, cette personne ou cette vidéo en particulier", vous pouvez aider les moteurs de recherche et d'autres applications à mieux comprendre votre contenu et l'afficher de manière utile et pertinente. Les microdonnées sont un ensemble de balises, introduit avec HTML5, qui vous permet de le faire.

Schema.org, Qu'est-ce que MicroData?

Bien sûr, aucun de ceux-ci n'est requis… mais je les recommande vivement. Lorsque vous partagez un lien sur Facebook, par exemple, et qu'aucune image, aucun titre ou aucune description n'apparaît… peu de gens seront intéressés et cliqueront. Et si vos extraits de schéma ne sont pas dans chaque page, bien sûr, vous pouvez toujours apparaître dans les résultats de recherche… mais les concurrents peuvent vous battre lorsqu'ils ont des informations supplémentaires affichées.

Enregistrez vos sitemaps XML avec la Search Console

Si vous avez créé votre propre plateforme de contenu ou de commerce électronique, il est impératif que vous disposiez d'un sous-système qui interroge les moteurs de recherche, publie des microdonnées, puis fournit un plan de site XML valide pour le contenu ou les informations sur le produit à trouver!

Une fois que votre fichier robots.txt, vos sitemaps XML et vos extraits enrichis sont personnalisés et optimisés sur l'ensemble de votre site, n'oubliez pas de vous inscrire à la Search Console de chaque moteur de recherche (également appelée outil Webmaster) où vous pouvez surveiller la santé et la visibilité de votre site sur les moteurs de recherche. Vous pouvez même spécifier le chemin de votre sitemap si aucun n'est répertorié et voir comment le moteur de recherche le consomme, s'il y a ou non des problèmes avec celui-ci, et même comment les corriger.

Déployez le tapis rouge sur les moteurs de recherche et les médias sociaux et vous trouverez un meilleur classement de votre site, vos entrées sur les pages de résultats des moteurs de recherche cliquées davantage et vos pages partagées davantage sur les médias sociaux. Tout cela s'additionne!

Comment Robots.txt, Sitemaps et MetaData fonctionnent ensemble

Combiner tous ces éléments, c'est un peu comme dérouler le tapis rouge de votre site. Voici le processus d'analyse suivi par un bot et la manière dont le moteur de recherche indexe votre contenu.

  1. Votre site contient un fichier robots.txt qui fait également référence à l'emplacement de votre sitemap XML.
  2. Votre CMS ou système de commerce électronique met à jour le plan de site XML avec n'importe quelle page et publie la date ou modifie les informations de date.
  3. Votre CMS ou votre système de commerce électronique interroge les moteurs de recherche pour leur faire savoir que votre site a été mis à jour. Vous pouvez leur envoyer un ping directement ou utiliser RPC et un service comme Ping-o-matic pour pousser vers tous les moteurs de recherche clés.
  4. Le moteur de recherche revient instantanément, respecte le fichier Robots.txt, trouve des pages nouvelles ou mises à jour via le plan du site, puis indexe la page.
  5. Lorsqu'il indexe votre page, il utilise des microdonnées d'extraits enrichis pour améliorer la page de résultats du moteur de recherche.
  6. À mesure que d'autres sites pertinents renvoient à votre contenu, votre contenu est mieux classé.
  7. Lorsque votre contenu est partagé sur les réseaux sociaux, les informations d'extrait enrichi spécifiées peuvent vous aider à prévisualiser correctement votre contenu et à le diriger vers votre profil social.

2 Commentaires

  1. 1

    mon site Web ne peut pas indexer le nouveau contenu, je récupère le plan du site et les URL sur le webmaster mais je ne parviens toujours pas à améliorer cela. Est-ce un problème de backend google?

Que pensez-vous?

Ce site utilise Akismet pour réduire les spams. Découvrez comment sont traitées les données de vos commentaires..