SEO log File Analyse

Log file Analyse voor SEO

Log file analyse wordt op de eerste plaats toegepast in het kader van website beveiliging. Veel minder bekend is dat het ook erg interessant is om logfile analysis toe te passen in SEO of zoekmachine optimalisatie.

Wat is SEO Log file analyse precies ?

Log file analyse voor SEO is het proces waarbij je aan de hand van de logs van je website nagaat welke webpagina’s van je site precies opgepikt worden door search engines. In de website-logs staat immers informatie over elke website-interactie, zowel van mensen als van serach-bots.

Aan de hand van de log file(s) van je website, die elke webmaster je kan bezorgen of die je zelf kan downloaden van de server, en met behulp van een Analysis tool ( zoals bijvoorbeeld Screaming Frog ) kan je nagaan of je website wel correct functioneert qua SEO. Logs bevatten ongelofelijke accurate data die je toelaten veel beter te begrijpen hoe zoekmachines je internetsite interpreteren.

Log File Analyser

Waarom Log File analyse voor SEO belangrijk is ?

  • Controleert precies welke URLs wel en welke niet gecrawled kunnen worden door de search bots;
  • Controleert of ‘low-value-URLs’ worden gecrawled en geïndexeerd;
  • Checkt de response codes die zoekmachines tegenkomen tijdens het crawlen;
  • Identificeert crawl manco’s;
  • Detecteert aan welke pagina’s de zoekmachine voorrang geven & als de belangrijkste beschouwen;
  • Informeert je over een hele reeks vaak onbekende technische SEO problemen die je anders nooit had opgemerkt;
  • Ontdekt ‘crawl budget waste’
    • crawl budget’ : het aantal URLs die Google kan en wil crawlen. Deze hoeveelheid URLs wordt bepaald door de zogenaamde domain authority (DA).
    • hoe hoger de DA, hoe hoger het crawl budget dat een zoekmachine wil toewijzen aan een website.
    • mits dit crawl budget niet onbeperkt is, moeten we dus voorkomen dat Google niet relevante pagina’s aan het crawlen is.

Output nader bekeken

Crawled URLs identificeren

  • Welke URLs werden door de Search Engines nu eigenlijk gecrawled voor een bepaalde periode ?
  • Dit zijn dus webpagina’s waarvan zoekmachines weet dat ze bestaan
  • Weet dat naast de Google-bot, er nog andere search bots bestaan:
    • de bekendste hiervan is Bing-bot,
    • maar je hebt bijvoorbeeld ook Baidu (China) en Yandex (Rusland)

Low value URLs identificeren

URLs met lage waarde

  • Je ontdekt welke URLs frequent worden gecrawled
  • Hierbij ontdek je ongetwijfeld webpages die door de search-bots veel frequenter worden bezocht, maar die eigenlijk voor de site helemaal niet belangrijk zijn
  • Hiermee kan je het crawl-budget effecienter gaan inzetten

Minst / Vaakst gecrawled webpagina’s

  • Hoe frequent een searchbot een pagina bezoekt hangt onder meer af van de zogenaamde google freshness
  • Het is jammer genoeg niet vanzelf om je belangrijkste URLs vaker te laten crawlen
  • Daarom best handig om te ontdekken welke van je belangrijke pages frequent bezocht worden en welke juist niet, om alzo een eventueel onderliggend probleem te ontdekken

Bezoekfrequentie Bots

Search bots

  • Welke user-agents bezoeken de website het vaakst ?
  • Voor de meeste Europese websites is Googlebot veel belangrijker dan bijvoorbeeld de Baiduspider.
  • Wordt dit niet bevestigd in je logdata, dan is dit interessant om verder te onderzoeken, bijvoorbeeld door ons de robots.txt grondig onder de loep te nemen

Crawlfouten

404-logs

  • Je kan op eenvoudige manier eveneens een inzicht krijgen welke webpagina’s niet konden bekeken worden door de bots
  • Dit door te filter op ‘response-code=404’
  • Zitten er hoog-converterende URL’s tussen, dan weet je wat te doen

En zoveel meer

  • Je kan met Log file analyse voor SEO nog veel meer insights bekomen; het zou ons te veer leiden om ze allemaal te spreken
  • Weet dat je ook volgende data kan bekomen:
    • crawlfrequentie per subdirectory en productgroep
    • crawlhoeveel per dag / week / maand
    • check van search bots IP-adressen
    • ontdekken van URLs die ‘te zwaar’ en/of te traag zijn
    • welke spambots bezoeken je website

Besluit

Met een SEO log file analyse leer je veel beter te begrijpen hoe search engines een website precies crawlen en welke informatie ze erop vinden. Je ontdekt eventuele SEO problemen die op een andere manier veel moeilijker gevonden kunnen worden.

contact