Comment les moteurs de recherche trouvent, explorent et indexent votre contenu?

Je ne recommande pas souvent aux clients de créer leur propre système de commerce électronique ou de gestion de contenu en raison des options d'extensibilité inédites nécessaires de nos jours – principalement axées sur la recherche et l'optimisation sociale. J'ai écrit un article sur sélection d'un CMS, et je le montre toujours aux entreprises avec lesquelles je travaille et qui sont tentées de construire leur système de gestion de contenu.

Comment fonctionnent les moteurs de recherche?

Commençons par le fonctionnement des moteurs de recherche. Voici un excellent aperçu de Google.

Cependant, il existe absolument des situations où une plateforme personnalisée est une nécessité. Lorsque c'est la solution optimale, je pousse toujours mes clients à développer les fonctionnalités nécessaires pour optimiser leurs sites pour la recherche et les médias sociaux. Trois caractéristiques clés sont une nécessité.

• Robots.txt
• XML Sitemap
• Métadonnées

Qu'est-ce qu'un fichier Robots.txt?

Robots.txt fichier - le robots.txt file est un fichier texte brut dans le répertoire racine du site et indique aux moteurs de recherche ce qu'ils doivent inclure et exclure des résultats de recherche. Ces dernières années, les moteurs de recherche vous ont également demandé d'inclure le chemin d'accès à un plan de site XML dans le fichier. Voici un de mes exemples, qui permet à tous les robots d'explorer mon site et de les diriger également vers mon plan de site XML :

User-agent: *
Sitemap: https://martech.zone/sitemap_index.xml

Qu'est-ce qu'un plan de site XML?

XML Sitemap - Comme HTML est destiné à être visualisé dans un navigateur, XML est écrit pour être digéré par programme. Un XML Le plan du site est un tableau de chaque page de votre site et de la date de sa dernière mise à jour. Les plans de site XML peuvent également être connectés en série… c'est-à-dire qu'un plan de site XML peut faire référence à un autre. C'est très bien si vous souhaitez organiser et décomposer logiquement les éléments de votre site (FAQ, pages, produits, etc.) dans leurs propres plans de site.

Les plans de site sont essentiels pour informer efficacement les moteurs de recherche du contenu que vous avez créé et de la date de sa dernière modification. Le processus d'un moteur de recherche lorsqu'il accède à votre site n'est pas efficace sans la mise en œuvre d'un plan du site et d'extraits de code.

Sans plan de site XML, vous risquez que vos pages ne soient jamais découvertes. Que se passe-t-il si vous disposez d'une page de destination d'un nouveau produit qui n'est pas liée en interne ou en externe ? Comment Google le découvre-t-il ? Eh bien, jusqu'à ce qu'un lien vers celui-ci soit trouvé, vous ne serez pas découvert. Heureusement, les moteurs de recherche permettent aux systèmes de gestion de contenu et aux plateformes de commerce électronique de leur dérouler le tapis rouge !

1. Google découvre un lien externe ou interne vers votre site.
2. Google indexe la page et la classe en fonction de son contenu ainsi que du contenu et de la qualité du site du lien référent.

Avec un plan de site XML, vous ne laissez pas la découverte ou la mise à jour de vos contenus au hasard ! Trop de développeurs essaient de prendre des raccourcis qui leur nuisent également. Ils publient le même extrait enrichi sur tout le site, fournissant des informations qui ne sont pas pertinentes par rapport aux informations de la page. Ils publient un plan du site avec les mêmes dates sur chaque page (ou toutes mises à jour lors de la mise à jour d'une page), donnant aux moteurs de recherche des files d'attente indiquant qu'ils jouent avec le système ou qu'ils ne sont pas fiables. Ou alors ils ne cinglent pas du tout les moteurs de recherche… donc le moteur de recherche ne se rend pas compte que de nouvelles informations ont été publiées.

Qu'est-ce que les métadonnées? Des microdonnées? Extraits riches?

Les extraits enrichis sont des microdonnées soigneusement balisées caché du spectateur mais visible sur la page pour que les moteurs de recherche ou les sites de médias sociaux puissent l'utiliser. C’est ce qu’on appelle les métadonnées. Google se conforme à Schema.org comme norme pour inclure des éléments tels que des images, des titres, des descriptions et une pléthore d'autres extraits informatifs tels que le prix, la quantité, les informations de localisation, les notes, etc. Le schéma améliorera considérablement la visibilité de votre moteur de recherche et la probabilité qu'un utilisateur clique dessus.

Facebook utilise le OpenGraph protocole (bien sûr, ils ne peuvent pas être les mêmes), X a même un extrait pour spécifier votre profil X. De plus en plus de plateformes utilisent ces métadonnées pour prévisualiser les liens intégrés et d'autres informations lors de leur publication.

Vos pages Web ont une signification sous-jacente que les gens comprennent lorsqu'ils lisent les pages Web. Mais les moteurs de recherche ont une compréhension limitée de ce qui est discuté sur ces pages. En ajoutant des balises supplémentaires au code HTML de vos pages Web (balises qui disent: "Salut le moteur de recherche, ces informations décrivent ce film, ce lieu, cette personne ou cette vidéo en particulier", vous pouvez aider les moteurs de recherche et d'autres applications à mieux comprendre votre contenu et l'afficher de manière utile et pertinente. Les microdonnées sont un ensemble de balises, introduit avec HTML5, qui vous permet de le faire.

Schema.org, Qu'est-ce que MicroData?

Bien sûr, aucun de ceux-ci n'est requis… mais je les recommande vivement. Lorsque vous partagez un lien sur Facebook, par exemple, et qu'aucune image, aucun titre ou aucune description n'apparaît… peu de gens seront intéressés et cliqueront. Et si vos extraits de schéma ne sont pas dans chaque page, bien sûr, vous pouvez toujours apparaître dans les résultats de recherche… mais les concurrents peuvent vous battre lorsqu'ils ont des informations supplémentaires affichées.

Enregistrez vos sitemaps XML avec la Search Console

Si vous avez créé votre propre plate-forme de contenu ou de commerce électronique, il est impératif que vous disposiez d'un sous-système qui envoie une requête ping aux moteurs de recherche, publie des microdonnées, puis fournit un plan de site XML valide pour que le contenu ou les informations sur le produit soient trouvés !

Une fois votre fichier robots.txt, vos plans de site XML et vos extraits enrichis personnalisés et optimisés sur l'ensemble de votre site, n'oubliez pas de vous inscrire à chaque moteur de recherche. Recherche Console (Également connu sous le nom Webmaster outil) où vous pouvez surveiller la santé et la visibilité de votre site sur les moteurs de recherche. Vous pouvez même spécifier le chemin de votre plan Sitemap si aucun n'est répertorié et voir comment le moteur de recherche le consomme, s'il y a ou non des problèmes et même comment les corriger.

Déroulez le tapis rouge sur les moteurs de recherche et les réseaux sociaux, et vous verrez votre site mieux classé, vos entrées sur les pages de résultats des moteurs de recherche seront plus cliquées et vos pages seront davantage partagées sur les réseaux sociaux. Tout s'additionne !

Comment Robots.txt, Sitemaps et MetaData fonctionnent ensemble

Combiner tous ces éléments, c’est comme dérouler le tapis rouge pour votre site. Voici le processus d'exploration suivi par un robot ainsi que la manière dont le moteur de recherche indexe votre contenu.

1. Votre site contient un fichier robots.txt qui fait également référence à l'emplacement de votre sitemap XML.
2. Votre CMS ou système de commerce électronique met à jour le plan du site XML avec n'importe quelle page et publie ou modifie les informations sur la date.
3. Votre CMS ou système de commerce électronique envoie une requête ping aux moteurs de recherche pour les informer que votre site a été mis à jour. Vous pouvez leur envoyer une requête ping directement ou utiliser RPC et un service comme Ping-o-matic pour accéder à tous les moteurs de recherche clés.
4. Le moteur de recherche revient instantanément, respecte le fichier Robots.txt, trouve les pages nouvelles ou mises à jour via le plan du site, puis indexe la page.
5. Lors de l'indexation de votre page, il utilise le titre, la méta description, les éléments HTML5, les titres, les images, les balises alt et d'autres informations pour indexer correctement la page pour les recherches applicables.
6. Lors de l'indexation de votre page, il utilise le titre, la méta description et les microdonnées d'extraits enrichis pour améliorer la page de résultats du moteur de recherche.
7. À mesure que d'autres sites pertinents renvoient à votre contenu, votre contenu est mieux classé.
8. Lorsque votre contenu est partagé sur les réseaux sociaux, les informations d'extrait enrichi spécifiées peuvent vous aider à prévisualiser correctement votre contenu et à le diriger vers votre profil social.