Pas envie de lire ? Lancez l'audio pour écouter l'article !
Voiced by Amazon Polly

Il y a actuellement plus de 1,6 milliards de site web dans le monde, un nombre qui ne cesse de croître puisque plus de 2 millions de blog sont publiés de façon journalière. Avec ces chiffres, être présent sur la première page des résultats Google n’est pas un objectif facile à atteindre. Mais faudrait-il pour autant y renoncer lorsque vous mettez en ligne votre site internet ? Absolument pas ! En effet, la première des choses à faire est de vous assurer que votre site web apparait bien dans les résultats. En des termes techniques, il s’agit de vérifier qu’il a été bien indexé par les moteurs de recherche. Généralement, cette étape est automatiquement effectuée par des robots et vous n’avez souvent rien à faire. Toutefois, il y a parfois qu’il y ait des problèmes ou des erreurs comme l’indexation de pages inutiles ou obsolètes qui sont susceptibles d’impacter vos performances. En plus donc de vous montrer les étapes pour effectuer cette vérification, je vous donne quelques bonnes pratiques à suivre.

Indexation site web

Dans cette vidéo, je vous montre comment vérifier que vos pages de site web sont bien indexées dans Google:

Que comprendre par indexation ?

L’indexation est le processus par lequel le programme ou le robot d’un moteur de recherche passe sur un site web, le crawl ou le parcours et indexe son contenu. Par conséquent, lorsqu’on dit que votre site a été indexé, cela signifie que les robots des moteurs de recherche l’ont visité et ont copié son contenu pour le stocker dans les serveurs des moteurs de recherche.

Notez que le terme d’indexation que j’utilise ici désigne l’indexation Google avec son robot Googlebot.

Et ceci, puisqu’il est le moteur de recherche le plus utilisé par les internautes avec une part mondiale de 90,6 %. Néanmoins, gardez à l’esprit que le principe de fonctionnement est assez proche de celui des autres moteurs de recherche comme Yahoo, Bing et bien autres.

Le fonctionnement de l’index Google

Le principal objectif du crawl ou le scannage par le robot de Google est de comprendre la nature, le contenu et la qualité d’un site web. Ce qui lui permet par la suite de pouvoir associer cette page à une ou plusieurs intentions de recherche.

Mais en ce qui concerne le classement de la page en fonction des requêtes ou intentions de recherche, notez qu’elle dépend d’un grand nombre de critères définis par les algorithmes de Google.    

Par ailleurs, il existe deux autres types de robots d’indexation, en-dehors des robots des moteurs de recherche,. Sachez que vous n’avez pas forcément besoin de vous intéresser à ces derniers puisque le premier peut déjà pleinement vous aider à améliorer votre visibilité. Il s’agit des :

  • Robots des services web : Ils explorent un type de page en particulier dans le but d’en extraire une donnée précise. Il s’agit par exemple des backlinks pour majesticseo.
  • Robots de hackings : Ils s’occupent de tester les failles de sécurité des sites qu’ils parcourent et essaient de s’y introduire.

La taille de l’index Google et le budget de crawl

La taille de l’index Google

En 2016, Google a annoncé avoir dépassé la barre des 130 000 milliards d’URL en ce qui concerne la taille de sa base de données pour l’indexation. Ce qui implique que la marque a indexé autant de pages web et bien qu’il n’y ait pas les statistiques de cette année, il est facile de deviner que ce chiffre a été largement dépassé.

Il est important de noter que Google n’indexe que les pages « indexables » et non tout le web d’autant plus que le web est beaucoup trop vaste. De plus, avec des statistiques aussi impressionnantes, la firme se voit dans l’obligation de gérer un budget quotidien qui est dédié à l’exploration de nouvelles pages : le budget de crawl.

Le budget de crawl d’un site web

Le budget de crawl désigne le nombre de pages à indexer par jour pour chaque site et dépend de l’importance de celui-ci. Il est très utile de connaître ce budget afin de pouvoir bien positionner les pages les plus pertinentes de votre site web.

Pour cela, vous devez vous servir d’un outil très puissant développé par la firme : Google Search Console. Si vous ne savez pas comment configurer la Search Console, vous pouvez consulter cet article qui vous introduit aussi un autre puissant outil : Google Analytics.   

Après la configuration de votre compte, il vous suffit de cliquer sur l’onglet « Crawl » afin de voir les données. Cependant, gardez à l’esprit que le budget crawl évolue constamment, mais vous pouvez néanmoins avoir une moyenne qui vous servira dans vos analyses.

Par ailleurs, on distingue deux types de crawl liés à l’indexation Google d’un site web à savoir :

  • Le crawl allégé : Il s’effectue quotidiennement et ne prend en compte que les pages les plus importantes comme la homepage. Sa vérification est donc superficielle et elle est reconnue donc comme étant la version allégée ;
  • Le deep crawl : Il s’effectue environ chaque mois et alloue un budget beaucoup plus important, il s’agit donc de la version lourde puisqu’elle prend en compte aussi les nouvelles pages.

En dehors de ces types de crawl, il est important de savoir que Google à des préférences lorsqu’il s’agit d’indexer les pages web.     

L’index Mobile-First de Google

Le processus d’indexation de Google a connu un réel changement à partir des années 2016 et 2017. En effet, la firme a mis en place une nouvelle méthode d’indexation dénommée « index mobile first ».

Celle-ci préconise prioritairement l’utilisation de la version mobile d’une page afin de l’indexer et de la positionner. Et comme la firme l’indique elle-même, la plupart des internautes accèdent à Google via leur appareil mobile.

Par conséquent, les sites web responsives sont ceux qui jouissent actuellement d’une bonne indexation et ainsi d’un bon référencement. Ce qui implique que vous aussi vous devez avoir un site web responsive qui s’adaptent automatiquement aux écrans des appareils mobiles, si vous souhaitez améliorer votre indexation et votre référencement.

Pourquoi vérifier l’indexation des pages dans Google ?

Connaître l’indexation des pages dans Google vous permet d’identifier d’éventuels problèmes afin d’apporter rapidement les solutions adéquates.   

Identifier les pages qui ne devraient pas apparaître dans le SERPS

Il y a parfois des pages qui ne doivent pas apparaître dans les résultats de recherche pour plusieurs raisons. Il s’agit entre autres des pages comportant des informations privées ou des pages complètement inutiles puisque ne comportant aucune information pertinente. Dans le dernier cas, on distingue par exemple les pages issues d’une importation de thème démo.  

Identifier les modifications non prises en comptes

Lorsque vous effectuez des déplacements, renommez des répertoires ou modifiez des permaliens, il peut arriver que l’index Google pointe toujours vers l’ancienne destination. Et si vous ne détectez pas vite ces situations afin de les corriger, vous risquez de perdre le trafic organique que ces pages peuvent générer.

Identifier les sources d’erreur 404

Il arrive qu’il y ait des pages ou encore des médias comme des vidéos, des images… qui demeurent dans l’index Google même après que vous les ayez supprimés de votre site web. Ces pages ou médias sont susceptibles de générer des erreurs 404, qu’il vaut mieux vite régler.   

Vérifier la présentation de vos pages dans les résultats de Google

Procéder à la vérification de l’indexation de vos pages est assez intéressant puisque vous allez voir ce que les internautes vont trouver en recherchant des informations par rapport à votre site web.

Vous pouvez premièrement apprécier la manière dont elles s’affichent dans les résultats en tenant compte des titres et des balises meta descriptions. De plus, vous pourrez cliquer sur chacune d’elle pour vous assurez que vous atterrissez bien sur la bonne page et que les modifications que vous avez peut-être effectuées dernièrement ont été prises en compte.

Les bonnes pratiques pour améliorer l’indexation

Dans les résultats de recherche, 75% des internautes ne défilent jamais la première page, selon alioze. Ce qui implique évidemment que les pages web qui apparaissent en première position sont celles qui bénéficient de la plus grande partie du trafic.

L’idée étant d’apparaître aussi dans cette liste très restreinte, vous devez bien configurer votre site afin de faciliter son indexation et d’améliorer ainsi son référencement. Je vous invite donc à prendre en compte ces différentes pratiques qui sont susceptibles de vous aider.    

Une bonne structure des contenus

Ce facteur va permettre à vos visiteurs ainsi qu’aux crawlers de naviguer de manière fluide et logique dans tout votre site web. Veillez donc à bien construire votre structure sans oublier de mettre en avant vos pages les plus pertinentes, vos articles récents… dans le but d’alléger la tâche des robots.  

Un maillage interne impeccable

Vos contenus doivent être accessibles afin d’être indexés. Dans cette mesure, les pages dont les liens n’apparaîtront pas directement sur votre page d’accueil sont susceptibles de ne pas être rapidement indexés par le robot de Google.   

En effet, Google peut parfois mettre du temps à considérer vos différentes modifications. Mais en améliorant votre maillage interne, vous allez pouvoir le conduire facilement vers celles-ci et je vous recommande dans ce cas :

  • De mettre en place un système d’articles relatifs ou de produits associés ;
  • De créer une page « Plan de site » qui recense tous vos contenus ;
  • De créer un module des posts les plus commentés ou des articles à la une, etc.

N’oubliez pas aussi d’intégrer les liens de vos anciens articles sur vos nouveaux articles, surtout lorsqu’il est pertinent de le faire. Ce qui va permettre de leur redonner vie notamment s’ils sont trop enfouis dans votre site internet.

Création d’un fichier sitemap

Il regroupe tous les URL de votre site web et en le soumettant à Google, ce fichier peut énormément faciliter l’indexation de toutes les pages de votre site web. D’autant plus qu’il va toutes les connaître et qu’il va pouvoir y accéder automatiquement.

Notez néanmoins que ce fichier ne remplace nullement une bonne structure et un bon maillage interne. En revanche, une bonne combinaison des trois éléments est susceptible d’être très efficace surtout lorsque vous avez un grand nombre de pages web.

Eviter la duplication de contenu interne

A ce niveau, il s’agit des contenus identiques sur plusieurs pages de votre site web. En effet, la duplication des contenus a un impact très négatif sur l’indexation de vos différentes pages, même si elle est interne.

En réalité, vos visiteurs et Google vont trouver que vos contenus sont redondants et moins pertinents, ce qui va engendrer une indexation inefficace.  De plus, votre maillage interne sera assez mauvais puisque les informations les plus importantes ne sont pas mises en évidence.

Eviter les mauvais formats pour vos contenus

Certains formats ne sont pas toujours lisibles par Google et vous devez les connaître afin d’utiliser ceux que le moteur de recherche peut facilement gérer. Il s’agit par exemple :

  • Du flash : Qui est pratiquement illisible pour Google et que je vous suggère d’éviter ;
  • Du javascript : Qui n’est pas toujours interprété de manière optimale ;
  • Des PDF : Ce type de format est indexés, mais sont moins efficace qu’une vraie page avec du contenu texte ;

De bons liens externes

Même si vous avez respecté les pratiques précédentes, je vous invite à ajouter celle-ci. En effet, il s’agit de créer des liens vers les pages de votre sites internet afin de profiter :

  • D’une meilleure indexation ;
  • De la crédibilité ;
  • De la popularité ;
  • Du trafic et donc des clients…

Après avoir observé ces pratiques pour améliorer votre indexation par Google, il faut souvent vérifier que les différentes pages de votre site web soient correctement indexées.

Comment vérifier que votre site est bien indexé dans Google : Les étapes pour le faire vous-même

Afin de vous indiquer clairement les étapes à suivre, je vais me servir du site web de mon Agence SEO, Twaino.com.

1 Site Twaino Agence

Notez que les étapes sont assez simples et que vous pouvez effectuer cette vérification en quelques secondes voire quelques minutes si vous avez plusieurs pages.

De plus, mon site date plusieurs semaines et il a eu le temps d’être crawlé et indexé par les robots de Google.

1) Affichez toutes les pages web indexées sur Google

Pour vérifier l’indexation, rendez-vous sur le moteur de recherche Google et tapez « site: + nom de domaine ».

2 Lancer Google

Le mien donne ainsi : « site:twaino.com ».

3 Rentre site twaino.com dans Google

Cliquez ensuite sur le bouton « Rechercher » et sur la page des résultats, vous aurez toutes les pages relatives à votre site web et qui ont été indexées.

4 Consulter les resultats indexations

2) Procédez à l’analyse des différents liens

Le premier lien que vous allez voir dans les résultats de recherche est celui de Google Search Console, un outil puissant de Google qui permet d’avoir de manière plus précise les informations concernant l’indexation.

5 Premier resultat est google search console

Ensuite, vous avez toutes les pages qui ont été indexées par Google et si vous désirez aller plus loin, faites une vérification de chacun d’elles.

Vous pouvez par exemple vérifier les titres et les balises meta descriptions et cliquer aussi sur chacune d’elle pour vérifier que vous atterrissez bien sur la bonne page.

Profitez également pour identifier les pages obsolètes ou les pages inutiles qui ne sont pas pertinentes pour les internautes, mais qui sont néanmoins indexées et apparaissent dans les résultats de recherche.

3) Adoptez une action concernant vos pages indexées

Si aucune de vos pages ne présente de problème, alors tout fonctionne correctement. Mais lorsqu’il y a le moindre problème sur l’une des pages, mettez en œuvre toutes les mesures possibles, et ce, dans l’immédiat pour ne pas perdre le trafic que cette page est susceptible de générer.

6 Identifier les resultats non pertinents

A mon niveau par exemple, j’ai des pages qui apparaissent dans les résultats de Google et qui ne me servent à rien. En effet, il s’agit des pages provenant du thème démo que j’ai eu l’occasion d’importer. Il s’agit entre autres de :

  • New – Avada Seo – Twaino ;

8 Page News a supprimer

  • Careers – Avada SEO

9 Page carriere a supprimer

Leur apparition dans les résultats peut apporter des confusions et pour faire en sorte qu’elles n’apparaissent plus dans le SERPS, il suffit de les supprimer ou de les désindexer.   

7 Resultats tempalte Avada

Et voilà ! Vous venez de voir les pages de votre site web qui ont été indexées par Google.

10 Verifier les autres pages de resultats

Mais lorsque vous ne trouvez pas vos pages, vous pouvez effectuer les certaines actions.

11 Resultat Google Page 2

Comment faire indexer votre site web par Google lorsqu’il ne l’est pas encore ?

Il peut arriver que votre site web ne soit pas indexé par les robots de Google notamment parce qu’il est tout neuf. Au lieu de patienter le temps que votre site web soit indexé, vous pouvez accélérer le processus en adoptant l’une ou les deux options suivantes :  

  • Avoir un lien sur un site qui est déjà connu de Google ;
  • Informer Google de votre existence avec Google Search Console.

Avoir un lien sur un site déjà connu de Google

Les robots des moteurs de recherche fonctionnent en passant d’un site à l’autre ou d’une page à l’autre grâce aux liens. Vous pouvez donc utiliser ce principe à votre avantage en ayant un ou plusieurs liens qui pointent vers votre site web et qui soient sur des sites déjà connus ou indexés par Google.

Gardez à l’esprit que vous avez plus de chance de vite être indexé si les sites en question sont importants et jouissent d’un bon référencement.  

Informer Google de votre existence

Prendre les choses en main peut être parfois très utile que d’attendre que Google parcourt d’autres sites afin d’atterrir sur le vôtre. Il s’agit de soumettre votre site internet au moteur de recherche en vous servant de l’un de ses puissants outils : Google Search Console.

De plus, pour vous assurer que Google aille visiter les pages de votre site web, je vous recommande de lui soumettre aussi son sitemap. Avec le plugin Yoast SEO de WordPress, vous allez pouvoir générer facilement un sitemap.

Après l’avoir généré, il vous suffit de coller l’adresse issue de l’opération dans le champ réservé à cet effet par la Search Console. Ce formulaire en ligne peut également vous permettre de soumettre un URL à Google.  

Une fois que vous avez soumis votre site à Google via la Search Console, vous pouvez y retourner quelques jours pour contrôler s’il a été bien indexé cette fois-ci.

Sur la page d’accueil de l’outil, vous aurez un graphique qui vous indique le nombre d’URL indexées en rapport avec celles qui sont présentes sur le sitemap.

Quelques facteurs qui peuvent bloquer l’indexation de vos site web

Malgré que vous ayez effectué toutes les configurations nécessaires, il peut arriver que votre site web ne soit toujours pas indexé. En effet, il existe quelques configurations qui peuvent empêcher les moteurs de recherche d’indexer votre site ou certaines de vos pages.

Les réglages de WordPress

Vérifiez si vous n’empêchez pas les moteurs de recherche d’indexer votre site web via les options de WordPress. Pour cela, connectez-vous à votre Dashboard et cliquez sur la rubrique « Réglage » présente sur la barre latérale gauche.

Sélectionnez ensuite le l’option « Lecture » et vérifiez si la case « Demander aux moteurs de recherche de ne pas indexer ce site » est cochée ou pas. Si elle l’est, décochez-la pour permettre l’indexation.

Un site web en maintenance

Certains plugins comme ceux de « coming soon » proposent des options qui empêchent l’indexation de votre site web par les moteurs de recherche lorsque celui-ci est en maintenance. Et tant que la maintenance continue, l’indexation ne peut s’effectuer.

Si vous avez donc de tels plugins, n’hésitez pas à à les désactiver ou à les configurer correctement.

D’autres facteurs qui empêchent l’indexation

Il se peut aussi que vous ayez manipulé certains fichiers tels que :

  • robots.txt bloque l’accès des robots ;
  • .htaccess bloque l’accès des robots.

Si ces fichiers sont intacts, votre site ne devrait pas rencontrer des difficultés pour son indexation. Et il vous suffit de patienter encore quelques jours pour que toutes les pages de votre site web soient correctement indexées par les moteurs de recherche.

Conclusion

Lorsque vous créez un site web pour avoir beaucoup plus de visibilité, il est très important que celui-ci apparaisse dans les premiers résultats des moteurs de recherche. Mais encore faudrait qu’il puisse effectivement être présent dans les résultats. Il s’agit en réalité de son indexation qui est assuré par les robots des moteurs de recherche de façon automatique. Néanmoins, il est très utile d’effectuer souvent des vérifications, notamment pour déceler les problèmes éventuels ou pour s’assurer que ce sont uniquement les pages les plus pertinentes de votre site web qui ont été indexées. D’ailleurs, si vous avez l’ambition d’être dans les premiers résultats, vous ne devez rien négliger.