Crawl Rate
De crawl rate zijn het aantal verzoeken dat een zoekmachine crawler per dag aan één website doet. Deze werd geïntroduceerd om de server overbelasting te verminderen. Dankzij geavanceerde algoritmen kan Google een optimaal crawl budget voor individuele sites bepalen en instellen.
Crawl rate limit
De crawl rate limiet is het aantal gelijktijdige parallelle verbindingen dat de Googlebot kan gebruiken om een website te crawlen. Evenals de tijd die we moeten wachten tussen de zoekopdrachten of verzoeken. Het kan afhankelijk zijn van een aantal verschillende factoren of deze omhoog of omlaag gaan.
Crawl snelheid verhogen
Het maken en indien van sitemaps is één van de eerste acties die we moeten ondernemen. Zo zal de site sneller ontdekt worden door de bots van een zoekmachine.
Werk de inhoud van je website regelmatig bij: sites die vaker hun content aanpassen, zullen ook meer gecrawld worden.
Server met een goede uptime: hostpagina’s op betrouwbare servers met een goede uptime. Als een website een lange tijd offline is, zullen de crawlers hun tijd die overeenkomstig is aanpassen en dus zal het moeilijker zijn om de inhoud sneller te indexeren.
Vermijd dubbele inhoud. Want Google zal je hiervoor straffen. Ze zullen uiteindelijk geen tijd meer besteden aan het zoeken van nieuwe inhoud op de site. De zoekmachine zal de site verbieden of de positie ervan verlagen.
Verkort de laadtijd van de site. Crawlen werkt met een beperkt budget. Wanneer het uploaden van afbeeldingen, video’s of grote bestanden te lang duurt, zal de crawler niet genoeg tijd hebben om je volledig inhoud te bekijken.
Het blokkeren van de toegang tot ongewenste pagina’s via Robots.txt, zoals beheerpagina’s, back-endmappen. Deze zijn niet geïndexeerd en daarom heeft hun tracken geen zin.
Het bouwen van links van hoge kwaliteit zal de crawlsnelheid van Google en de indexeringssnelheid van websites verbeteren.
Probeer een groter aandeel op sociale media te krijgen. Ze helpen de nieuwe inhoud snel te indexeren
Hoe duidelijk maken aan Google om je website te crawlen?
Voor zover we weten, worden URL’s met verschillende snelheden gecrawld. Sommige pagina’s worden dezelfde nacht gecrawld en geïndexeerd, terwijl andere pagina’s soms maanden moeten wachten hierop. De belangrijkste factoren hiervoor zijn de structuur, populariteit en traceerbaarheid.
Ontdek meer SEO-termen!