Google kan je vergelijken als een archiefkast. Er zitten wel geen documenten in het archief maar URL’s. Een correcte URL is er één die geïndexeerd is door Google. Hiermee wordt bedoeld dat Google je webpagina gezien én goedgekeurd heeft om in haar archief op te nemen. Wanneer je webpagina niet geïndexeerd wordt, dan heb je een probleem dat je moet oplossen.
Waarom pagina’s niet worden geïndexeerd
Er zijn veel verschillende soorten indexeringsproblemen waardoor webpagina’s niet worden getoond in de SERP.
In het pagina-indexeringsrapport van Google Search Console krijg je overzicht met redenen waarom je pagina’s niet worden weergegeven in Google. Enkele van deze probleemmeldingen zijn pagina’s met een 301- of 404-statuscode, pagina’s met een no-indextag, gevonden – momenteel niet geïndexeerd en gecrawld – momenteel niet geïndexeerd.
In deze blog gaan we wat dieper in op pagina’s die reeds gevonden of gecrawld zijn door Google, maar nog niet geïndexeerd.
Wat is Gevonden – momenteel niet geïndexeerd?
Gevonden – momenteel niet geïndexeerd is een probleemmelding in het Index Coverage report van Google Search Console. Dit type probleem bevindt zich in het onderdeel Index. In de uitgesloten URL’s, kan je je gevonden – momenteel niet geïndexeerde URLs vinden.
Waarom belanden ze daar ?
Wel, Google weet wel dat deze webpagina’s bestaan, maar heeft ze nog niet gecrawld. En dus ook nog niet geïndexeerd. Voor kleinere websites met degelijke content lost dit probleem is zich meestal van zelf.
Voordat Google een (nieuwe) webpagina kan crawlen, moet het eerst op de hoogte zijn van het bestaan ervan. URL’s worden meestal door Google ontdekt via interne links van bestaande pagina’s op de site zelf. Of andere websites die linken naar de (nieuwe) webpagina. XML-sitemaps, die alle pagina’s moeten bevatten om geïndexeerd te worden, kunnen hier ook bij helpen.
Door pagina’s te crawlen, bezoekt Google ze ook effectief en controleert de inhoud. Google heeft niet de middelen om alle pagina’s die het vindt, meteen te crawlen. Dit feit ligt ten grondslag aan veel crawl problemen die sites ondervinden.
Oorzaken van gevonden – momenteel niet geïndexeerd
Er zijn verschillende oorzaken waaruit het probleem ontstaat dat je URL’s niet geïndexeerd willen worden door Googlebot. Hieronder hebben wij ze opgesomd:
De kwaliteit en de hoeveelheid van de content
Google werkt met kwaliteit-drempels waaraan pagina’s moeten voldoen, omdat het niet alles op het web kan crawlen en indexeren.
Als je website meer content bevat dan Google bereid is om te crawlen, kan de zoekmachine sommige pagina’s op je domein beschouwen als “niet de moeite waard om te crawlen” en ze overslaan, waardoor andere, meer waardevolle content voorrang krijgt. Als gevolg daarvan kunnen deze URL’s worden gemarkeerd als Gevonden – momenteel niet geïndexeerd.
Sommige pagina’s van lage kwaliteit zijn terecht niet-indexeerbaar zijn, zoals:
- Verouderde inhoud (zoals zeer oude nieuwsartikelen)
- Pagina’s gegenereerd door een zoekvak op de website zelf
- Pagina’s gecreëerd door filter-toepassingen
- Dubbele inhoud (duplicate content)
- Automatisch gegenereerde content
- Door gebruikers geschreven revieuws (UGC)
Slechte interne linkstructuur
Bij een slechte interne linkstructuur vindt de Googlebot niet genoeg manieren om toegang te krijgen tot de inhoud die nog moet worden gecrawld.
Als Google niet genoeg links vindt die naar een URL leiden, kan het crawlen ervan worden overgeslagen omdat er onvoldoende signalen zijn die wijzen op het belang ervan.
Een goede interne linking draait om het verbinden van je pagina’s om een logische structuur te creëren die zoekmachines en gebruikers helpt de hiërarchie van de site te volgen. Interne links worden ook geassocieerd met hoe de architectuur van de site is opgezet.
Server Issues
Google kan problemen hebben om je website te crawlen doordat het technische manco’s ondervindt op je server. De reden hiervoor kan zijn dat de website overbelast is. Dit gebeurt omdat de crawlsnelheid, die van invloed is op het crawl budget, wordt aangepast aan de server mogelijkheden.
Hoe kan je gevonden – momenteel niet geïndexeerd oplossen?
Zoals al vermeld is in dit artikel, zijn er verschillende manieren waardoor je gevonden – momenteel niet geïndexeerd kan krijgen. De enige vraag is hoe kan je deze problemen oplossen.
Content kwaliteit
Eén van de problemen waardoor je in de gevonden – momenteel niet geïndexeerd lijst te staan is de kwaliteit van de content die je uitbrengt. Wanneer je gelijkaardige content of content die door Google gezien wordt als niet op niveau voor in de zoekresultaten te raken, dan zal het in de lijst komen te staan. Creëer unieke content, die waarde toevoegt aan de bezoeker van je website. People-first content die de lezer helpt, zal worden beloond.
Als je al veel content hebt op je website, is er ook nog een andere oplossing om de kwaliteit van de inhoud te verhogen. Je kan de inhoud snoeien, ook wel content pruning genoemd.
Interne links
Als Google niet genoeg links vindt die naar een URL leiden, kan het crawlen ervan worden overgeslagen. Dit komt doordat er onvoldoende signalen zijn die wijzen op het belang ervan. Dit kan worden opgelost door de interne linkstructuur te verbeteren
Server problemen
Wanneer je problemen hebt met de server, neem dan contact op met je hostingprovider. Serverproblemen kunnen ook veroorzaakt worden door slechte web prestaties.
In beide gevallen zijn de URL’s niet geïndexeerd, maar met crawled – momenteel niet geïndexeerd, heeft Google de pagina al bezocht. Met gevonden – momenteel niet geïndexeerd, is de pagina gevonden door Google maar nog niet gecrawld.
Gecrawld – momenteel niet geïndexeerd
Gevonden – momenteel niet geïndexeerd wordt vaak verward met gecrawld – momenteel niet geïndexeerd. Hoewel ze verbonden zijn, hebben ze een volledig andere betekenis.
Gecrawled – momenteel niet geïndexeerd wordt vaak veroorzaakt door een vertraging in het indexeren. Dit probleem lost zich vanzelf op. Het kan dus zijn dat er url’s in de lijst zitten die momenteel al geïndexeerd zijn. Je kan controleren of een pagina geïndexeerd is door de Google zoekoperator “site:” gevolgd door de url in te typen in zoekbar. Als de pagina wordt getoond, is deze geïndexeerd.
Als je merkt dat er url’s voor langere tijd in deze lijst zitten of als niet worden getoond in de zoekresultaten met “site:”. Dan is er een andere oorzaak.
Oorzaken van gecrawld – momenteel niet geïndexeerd
Problemen met content
Een reden dat een pagina werd gecrawld, maar nog niet geïndexeerd kan een gevolg zijn van content met lage kwaliteit. Pagina’s worden ook niet geïndexeerd als deze zeer gelijkend is aan reeds bestaande content, dit wordt dan duplicate content genoemd.
Slechte linkstructuur
Net zoals bij gevonden – niet geïndexeerd toont een goede interne linkstructuur het belang van de pagina’s. Webpagina’s met weinig interne links worden als minder belangrijk beschouwd door Google, waardoor ze vaak niet worden geïndexeerd.
Lage domeinautoriteit
Als bovenstaande oorzaken niet het probleem zijn, is het waarschijnlijk dat je pagina-autoriteit of domeinautoriteit te laag is. Door meer backlinks te krijgen naar je website en pagina’s verhoog je je autoriteit.
Gevolgen voor kleine en grote websites
Op de 1ste plaats: Het kan de SEO van je website negatief beïnvloeden!
De grote van de website kan een rol spelen voor de indexatie in de Google Search Console. De getroffen pagina’s kunnen er voor altijd in blijven omdat Google niet kan garanderen elke pagina te crawlen.
Kleine websites
Als je een kleinere website hebt – laten we zeggen met minder dan 10k URL’s – en je pagina’s hebben unieke inhoud van goede kwaliteit, zal de status gevonden – momenteel niet geïndexeerd, zichzelf vaak oplossen. Het kan zijn dat Google geen probleem ondervindt, maar de vermelde URL’s gewoon nog niet heeft gecrawld. Vaak zit er ook wat vertraging tussen te crawl en de indexering. Dus de status van gecrawld – momenteel niet geïndexeerd lost zichzelf ook vaak op.
Een andere reden waarom het weinig invloed heeft op kleine websites is de limiet van het crawl budget. Een crawl budget, is het maximum aantal URL’s van een website die Google crawlt en indexeert binnen een bepaalde tijdsspanne (dag). Bij kleinere websites zal er geen probleem zijn met het crawl budget limiet omdat er ook veel minder URL’s zijn om te crawlen.
Actie ondernemen? Bekijk regelmatig eens in GSC welke URLs erin komen & weet wat erin staat.
Blijft het aantal beperkt en stabiel en bevat het pagina’s waarvan je wil dat ze niet geïndexeerd worden (noindex of rel-canonicals), dan hoef je eigenlijk niets te doen.
Staan er toch URLs in die er niet in thuis horen, pas dan de oplossingen toe,besproken in dit artikel
Grote websites
Voor grotere websites kan het crawl budget wel een groot probleem veroorzaken. Websites die meer dan 100.000 URL’s bevatten, bevatten vaak webpagina’s die niet steeds even kwalitatief zijn en of duplicaten zijn van andere pagina’s op je sites. Deze pagina’s zijn onnodig in de ogen van Google.
Actie ? Als je website veel duplicate content bevat, kan je aan Google duidelijke maken welke pagina de belangrijkste is en geïndexeerd moet worden met hulp van een canonical-tag.
Migratie van grote website
Wat met een migratie van een grote website? Wanneer je je website migreert, moet je niet meteen de hele structuur verhuizen als die veel lege of onvoltooide pagina’s bevat die pas later zullen worden bijgewerkt. Het beste wat je kan doen is geleidelijk aan je website overzetten zodat je geen onnodige URL’s hebt op je website die gezien kunnen worden als gevonden – momenteel niet geïndexeerd.
Wanneer dat wel het geval is, zal Google je website anders bekijken en kan het zijn dat pagina’s die wel content bevatten niet geïndexeerd worden. Dat is iets wat je zeker wilt vermijden want Google zal je website zien als low-quality waardoor het een minder groot crawl-budget zal geven.
Invloed op SEO
Wanneer je pagina’s/URL niet geïndexeerd zijn door Google, is het ook zo dat je niet gevonden zal worden in de Search Engine Results Page. Wanneer je als groot bedrijf meer dan 100 verschillende URL’s hebt die niet gevonden worden waarbij er enkele webpagina’s tussen zitten die wel goed opgesteld zijn, dan wordt het gezien door Googlebot als waste maar dat is het in ieder geval niet.
Het is dus belangrijk om eens te kijken naar je GSC bij je gevonden – momenteel niet geïndexeerd zodat je zeker bent dat er geen enkele webpagina tussen zit waarvan je wilt dat het wel gezien wordt in de zoekresultaten.
