Spiders

SEO Spiders

Betekenis

  • SEO Spiders worden ook wel “webcrawlers”, “web spiders” of “seo robots” genoemd
  • Het is een zoekmachine-programma dat door de search engines wordt gebruikt om up-to-date te blijven met nieuwe dingen op het internet.
  • Ze zoeken voortdurend naar gewijzigde en verwijderde inhoud op webpagina’s op het word wide web.
  • Googlebot is bijvoorbeeld de naam van de SEO Spider van Google

Werking

  • Een SEO spider doorzoekt een website en tracht in kaart te brengen welke soort content het precies bevat
  • Wanneer de spider op een webpagina terechtkomt, zoekt deze eerst naar het robots.txt-bestand dat spiders vertelt welke delen van uw site mogen worden geïndexeerd en welke niet.
  • Dan probeert ze de content op de URL te crawlen en eventueel te indexeren
  • De volgende stap is om interne hyperlinks van de pagina in kaart te brengen.
  • Spiders kunnen deze links van de ene pagina naar de andere pagina meteen volgen, ofwel bij een volgende crawlbezoek.

Belang voor SEO ?

  • Vooraleer een webpagina kan ranken, moet het eerst kunnen gecrawld en geïndexeerd worden
  • Is dit niet het geval, dan kan die pagina ook niet zichtbaar in de zoekresultaten
  • Van belang is dat je de SEO spiders geen zinloze URLs laat spideren, zoals webpagina’s met content van lage kwaliteit. Immers, dit kan je crawl budget negatief beïnvloeden

Meer SEO termen

Andere interessante onderwerpen

SEO Quiz

Hoe sterk is jouw SEO kennis?

Blog

Volg Online Marketing op de voet

Gratis SEO Scan

Hoe sterk is de SEO op jouw website?

Nieuwsbrief

Blijf op de hoogte over SEO & SEA