Crawl depth
Crawl depth staat voor de mate waarin een zoekmachine de pagina’s van een website indexeert. Dat betekent dat de zoekmachine je webpagina’s ordent in zijn database. De meeste websites bestaan uit meerdere pagina’s die op hun beurt weer uit verdere subpagina’s bestaan. Je kan dit vergelijken met de mappen en submappen op je computer. Heeft je website een heel groot aantal pagina’s? Dan kan dat een negatief effect hebben op de crawl depth van je website.
Over het algemeen geldt de regel dat hoe lager een bepaalde webpagina in de website-hiërarchie staat, hoe kleiner de kans is dat die webpagina hoog scoort tussen de zoekresultaten. Dat komt omdat er soms te veel pagina’s zijn voor een zoekmachine om efficiënt te crawlen. Daarom is een goede sitestructuur erg belangrijk. De homepagina van je website heeft een crawl depth van 0 en verschijnt daardoor het gemakkelijkst tussen de zoekresultaten. Webpagina’s die je met slechts één klik kan bereiken vanuit de homepagina krijgen een crawl depth van 1. De pagina’s die nog lager liggen krijgen een crawl depth van 2, 3, enzoverder. Webpagina’s met een crawl depth van 3 of lager zullen over het algemeen slechter scoren in de zoekresultaten. Dat komt omdat zoekmachines vaak niet in staat zullen zijn zo diep binnen een website te crawlen.
Hoe crawlt de zoekmachine je website?
De crawl depth van je webpagina’s is dus erg belangrijk. Maar hoe crawlt een zoekmachine nu net jouw website? Het crawlen van je website vormt slechts de eerste stap om te bepalen of jouw website tussen de zoekresultaten terecht komt. Tijdens het crawlen ontdekt de zoekmachine de content van jouw website. Daarna gaat het jouw website renderen en analyseren hoe goed de content op je webpagina’s nu net is. Daarna indexeert de zoekmachine de website zodat die tussen de mogelijke zoekresultaten terecht komt. Pas daarna, wanneer de website volledig geïndexeerd is, kan de zoekmachine bepalen of en vooral waar jouw webpagina’s terecht zullen komen tussen de zoekresultaten. Daarom is het net zo belangrijk om een website te hebben die makkelijk crawlbaar is. En dat hangt natuurlijk af van de crawl depth van je webpagina’s.
Daarnaast is het ook belangrijk dat je website vaak genoeg gecrawld wordt. Hoe vaak je website gecrawld wordt, de crawl frequentie, hangt af van het belang van je website voor de zoekmachine. Grote en belangrijke websites, met een lagere crawl depth, leveren veel meer bezoekers, en bijgevolg meer inkomsten, op voor de grote zoekmachines. Zij zijn immers afhankelijk van de inkomsten van advertenties. Onbelangrijke webpagina’s, met een crawl depth van meer dan drie, zullen veel minder snel gecrawld worden. Zorg dus altijd dat de crawl depth van je webpagina’s zo optimaal mogelijk is.
Tenslotte is ook de laadsnelheid van je website van belang. Wanneer een zoekmachine je website crawlt moet je website zo snel mogelijk draaien. Een tragere website maakt het moeilijker om te crawlen wat nefast kan zijn voor je positie tussen de zoekresultaten. Wil jij de laadsnelheid van jouw website testen? Met Google PageSpeed Insights weet jij meteen hoe snel je website laadt en krijg je tips om pijnpunten aan te pakken.
Crawl depth en SEO
De crawl depth heeft dus duidelijk een invloed op de positie van jouw website tussen de organische zoekresultaten. Hoe zorg je er dan voor dat jij helemaal bovenaan eindigt?
Pagina’s met de grootste autoriteit krijgen de meeste voorkeur van Google. Dat betekent dat ze de meeste links verzamelen. Je homepagina zal meestal de pagina zijn met de meeste links van je website. Pagina’s met een lagere crawl depth zullen daarentegen minder links verdienen, en zijn dan ook minder belangrijk voor zoekmachines. Jouw populairste pagina’s worden het snelst gecrawld en bieden aan zoekmachines nieuwe mogelijkheden om je website te crawlen.
Hierdoor zullen minder populaire pagina’s minder snel gecrawld worden, terwijl je misschien wel net wil dat die pagina’s tussen de zoekresultaten eindigen. Hoe los je dat op?
Crawl depth: oplossing minder populaire pagina’s
Zorg er eerst en vooral voor dat de structuur van je website op en top is. Hoe minder vaak je verder moet klikken om een bepaalde pagina te bereiken, hoe beter. Daardoor zorg je ervoor dat de crawl depth van elke pagina zo laag mogelijk is.
Daarnaast is het belangrijk je sitemap up to date te houden. Die geeft immers aan zoekmachines aan welke pagina’s je wil dat gecrawld worden. Zoekmachines zullen er altijd voor opteren om eerst de pagina’s in de sitemap te crawlen en indexeren. Bijkomend gebruik je best ook voldoende tags om je sitestructuur nog duidelijker te maken aan de zoekmachines. Dit maakt het makkelijker voor crawlers om je content sneller te ontdekken.
Niet alleen externe links maar ook de links binnen je eigen website zijn belangrijk voor de zoekmachines. Leg genoeg interne linken om te verzekeren dat je pagina’s sneller gecrawld zullen worden. Zorg er ook voor dat die links altijd ergens naartoe leiden. Omleidingspagina’s en 404-pagina’s zullen het crawlen enkel maar belemmeren en vertragen.
Daarom blijft het ook algemeen belangrijk om een goede paginasnelheid te hebben. Daardoor zijn crawlers minder lang aan het crawlen, waardoor een groter aantal pagina’s geïndexeerd raken.
Tenslotte is ook duplicate content nefast voor de crawl depth van je website. Door de crawler te verplichten telkens weer dezelfde content te overlopen verhinder je dat andere pagina’s voldoende gecrawld worden. En dat is alleen maar negatief voor je positie tussen de zoekresultaten.
Zorg er dus altijd voor dat je belangrijkste webpagina’s regelmatig genoeg gecrawld worden. Alleen zo krijg je een kans op de toppositie tussen de zoekresultaten!
Ontdek meer SEO-termen!