Google Bot

Googlebot? Crawler? Spider? Al die termen betekenen hetzelfde: het is de bot van Google die het web doorzoekt. Googlebot crawlt pagina’s via links. Het vindt en leest nieuwe en bijgewerkte inhoud en suggereert wat er aan de index moet worden toegevoegd.

Belang voor SEO

Een website kan maar gevonden worden indien de Googlebot de pagina’s kan crawlen, indexeren en ranken. Kunnen de crawlers niet bij bepaalde webpagina’s, dan zal de site daarvoor ook niet kunnen ranken in de zoekresultaten.

Elke website heeft er dus baat bij om de crawlbaarheid van haar URLs te controleren. De gemakkelijkste plaats om dit te doen is Google Search Console, waarbij je onder de rubriek “dekking” een zicht krijgt op aspecten als pagina’s met canonieke tags, met crawlafwijkingen, die 404 niet-gevonden zijn of omgeleid worden.

Hoe vaker Googlebot een website bezoekt, hoe interessanter. Immers, zo zal nieuwe en geüpdate content sneller opgepikt worden, waardoor de kans op ranken & meer online bezoekers ook toeneemt. Dit kan gecontroleerd worden via een SEO log file analyse.

Verder is het zo dat elke site een bepaald crawl budget heeft. Dit wil zeggen dat Google, zeker zeer grote websites, niet volledig zal crawlen. Om Google de juiste URLs te laten crawlen en overbodige niet, kan je Googlebot sturen via het robots.txt bestand.

Hoe werkt Googlebot?

Google werkt met 1000den computers om het internet in kaart te brengen. Googlebot ontdekt nieuwe webpagina’s via links en sitemaps. Indien de bot tijdens het crawlen van een website nieuwe links ontdekt, zet het die in een aparte lijst en zal ze tijdens zijn volgende bezoek ook crawlen. De crawler maakt ook annotaties van de 404 links en update haar index.

Googlebot tracht daarna de gevonden content te begrijpen en zal het eventueel (indien kwalitatief genoeg) toevoegen aan haar index. Die index mag je zien als het Google’s brein waar al haar kennis gelokaliseerd is.

Ontdek meer SEO-termen!