Spiders

Spiders

Spider, ook wel “crawler” of “robot” genoemd, is een softwareprogramma dat door de zoekmachines wordt gebruikt om up-to-date te blijven met nieuwe dingen op het internet. Ze zoeken voortdurend naar gewijzigde en verwijderde inhoud op webpagina’s.

Wanneer de spider op uw webpagina terechtkomt, zoekt deze naar een robots.txt-bestand dat spiders vertelt welke delen van uw site moeten worden geïndexeerd en welke niet. De volgende stap is om uitgaande links van de pagina te verzamelen. Spiders volgen links van de ene pagina naar de andere pagina. Dit is de originele indicatie achter spiders.

Meer SEO termen

Andere interessante onderwerpen

SEO Quiz

Hoe sterk is jouw SEO kennis?

Blog

Volg Online Marketing op de voet

Gratis SEO Scan

Hoe sterk is de SEO op jouw website?

Nieuwsbrief

Blijf op de hoogte over SEO & SEA