Crawl budget optimalisatie

crawl budget optimalisatie

Crawl budget optimalisatie

Deze pagina is eigenlijk een vervolg op onze blogpost over SEO Log File Analyse. Het kan dus interessant zijn om deze blog te gaan lezen. Na een dergelijke SEO analyse wordt je steeds geconfronteerd met de Low value URL’s of Duplicate content die een SEO Crawl budget van je website vervuilen. In dit artikel vertellen we jullie hoe je aan crawl budget optimalisatie kan doen. 

Wat is crawl budget optimalisatie? 

Onder crawl budget verstaan we het aantal crawl opdrachten, de tijd en de frequentie dat een zoekmachine bod besteedt aan het scannen van de content op jouw website. Uiteraard willen we dat Google en andere zoekmachines zo snel mogelijk veranderingen aan je webpagina kunnen opmerken en de content die jij belangrijk vindt dan ook terug kunnen vinden. 

Het is belangrijk dat we ervoor zorgen dat er geen technische belemmeringen zijn voor de Google bot en gebruikers. Daarnaast moeten we ook aandacht besteden aan de webstructuur en de instellingen van de robots.txt en meta-robots van individuele pagina’s.

Canonical tag 

De belangrijkste manier om met URL’s van een lage waarde om te gaan is volgens ons om gebruik te maken van een canonical tag. 

Wat is een canonical URL ook al weer? 

We geven jullie graag een voorbeeld. We hebben een webpagina met URL XYZ en ook nog enkele andere URL’s XXYZZ die er dus goed op lijken. Wanneer we nu een rel=’canonical’ tag toevoegen in de head van de URL’s XXYZZ. Hierdoor zeggen we tegen de zoekmachines “jullie moeten de URL XYZ indexeren en ranken. Het is XYZ die belangrijk is, de anderen niet.
Voorbeeld: 

Bovenstaande vier URL’s zijn helemaal verschillende, maar kunnen dus eigenlijk wel bijna dezelfde content bevatten. Als URL je enige juiste webpagina is, kan je door een stukje HTML-code in de <head> van URL 2,3 en 4 te  plaatsen aan Google laten weten dat pagina 2, 3 en 4 slechts een kopie zijn van 1 en ze dus enkel 1 moeten ranken. 

Dit door volgende stukje in de head te plaatsen: <link rel=”canonical”href=”https://www.voorbeeld.be/versie1> 

Het mooie van canonical-tags is uiteraard dat ze ook de linkwaarde doorgeven aan de hoofd-url.
Schematisch kunnen we dit als volgt voorstellen: 

Canonical-tag

Goed om te weten 

Het is gebruikelijk dat versie 1 naar zichzelf verwijst en dus ook de tag <link rel=”canonical”href=https://www.voorbeeld.be/versie1> in haar headsectie opneemt. Het kan uiteraard ook grensoverschrijdend gebruikt worden. Stel dat we ook identieke content op een ander domein hadden staan, dan kunnen we dus dezelfde rel=canonical tag plaatsen naar versie 1. 

Wanneer canonicalize? 

Maar wanneer gaan we dit nu eigenlijk effectief gaan gebruiken.
We kunnen dit gaan gebruik wanneer de content van twee of meerdere web-url’s zeer gelijkaardig of exacte kopieën zijn. Deze tag kan ook gebruikt worden wanneer we 2 webpagina’s hebben waarvan de content niet identiek is, maar deze wel over hetzelfde onderwerp gaan. Het kan hierbij dan interessant zijn om de oude versie naar te canoliseren naar de nieuwe versie.  Als laatste wordt dit soms ook gebruikt wanneer er een webpagina gerefreshed of ge-update wordt. 

Dit is dus eigenlijk de beste manier om aan een zoekmachine duidelijk te maken welke webpagina’s er echt belangrijk zijn. Maar ook de beste manier om aal crawl budget optimalisatie te doen. Er zijn uiteraard ook nog andere manieren die je kan gebruiken. 

301-redirect 

Wanneer we een 301-redirect krijgen we het volgende: Zodra bezoeker op pagina X, wordt deze automatisch omgeleid naar pagina Y. Het verschil met de canonical tag is dat de bezoeker op de oorspronkelijke pagina gehouden wordt. Door dit te doen, zeggen we eigenlijk tegen Google van versie  X was een vergissing. Je mag ze naar versie Y sturen want dit is de enige juist. 

URL-parameters 

Sommige websites zorgen ervoor dat we verschillende content kunnen inzetten via verschillende URL’s. Dit doen ze dan door de URL parameters in te zetten. 

Voorbeeld: wanneer een surfer op je landingspagina van je website komt, kan deze verschillende filteropties gebruiken. De combinatie krijgt een nieuwe URL, maar de inhoud in bijna dezelfde. 

Wanneer Google deze pagina’s met dubbele inhoud tegenkomt, zal hij de URL tonen die het beste scoort in de rankings. Aangezien dit vaak niet de URL is die je wil, kan je dus gebruik maken van de URL-parameters. Zo zal Google de webpagina ranken die jij wilt. Dit kan vooral handig zijn voor grote websites. We kunnen ons voorstellen dat de IT-afdeling niet meteen de mogelijkheid heeft om de canonical-logica op te leveren. Dus in de tussentijd kan het voor hen handig zijn om URL-parameters in te zetten. Je kan dit zelf heel eenvoudig doen via je Google Search Console account. Onder crawlen heb je een kopje URL-parameters. 

Robots.txt


Met het robots.text-bestandje kun je bepaalde delen van een website afschermen voor zoekrobots. Het is dus eigenlijk een trucje waarbij we bepaalde delen van onze website niet toegankelijk maken voor de zoekmachine-crawlers. Het is één van de oudste manieren die nu nog gebruikt worden. Helaas in vele gevallen ook al te oud. Wanneer we praten over duplicate content is het niet aangeraden om robots.txt te gebruiken. Want wanneer er op versie 2 eventuele ranking-signalen zouden binnenkomen, worden deze niet doorgestuurd naar versie 1. Terwijl dit met een rel=canonical, 301-redirect en URL-parameters wel al het geval is. Dezelfde redenering kunnen we ook volgen voor de meta-robots opdracht <follow,noindex>

404 en 302 

Probeer om geen 404 te gebruiken. Door deze te gebruiken verlies je alle linksignalen van versie 2. Gebruik daarom steeds een 301-redirect om de linking-power juist door te geven. Probeer uiteindelijk ook om 302, 307 en andere 3xx te vermijden. Google heeft gezegd dat ze die vaak op dezelfde manier behandelen als een een 301. In de praktijk merken we echter dat dit vaak niet het geval is. 

Moz

De SEO-specialist van Moz, Rand Fishkin, legt in onderstaand filmpje uit hoe bovenstaand problematiek nu juist in zijn werk gaat.

.

 

1 gedachte over “Crawl budget optimalisatie”

Plaats een reactie