[fusion_builder_container hundred_percent=”yes” overflow=”visible”][fusion_builder_row][fusion_builder_column type=”1_1″ layout=”1_1″ background_position=”left top” background_color=”” border_size=”” border_color=”” border_style=”solid” spacing=”yes” background_image=”” background_repeat=”no-repeat” padding_top=”” padding_right=”” padding_bottom=”” padding_left=”” margin_top=”0px” margin_bottom=”0px” class=”” id=”” animation_type=”” animation_speed=”0.3″ animation_direction=”left” hide_on_mobile=”no” center_content=”no” min_height=”none” last=”no” hover_type=”none” link=”” border_position=”all”][fusion_text columns=”” column_min_width=”” column_spacing=”” rule_style=”default” rule_size=”” rule_color=”” hide_on_mobile=”small-visibility,medium-visibility,large-visibility” class=”” id=”” animation_type=”” animation_direction=”left” animation_speed=”0.3″ animation_offset=””]

Crawler

Crawler

Een crawler, ook wel spider genoemd, is een soort spin die pagina’s binnen een website crawlt en indexeert. Elke zoekmachine heeft zijn eigen crawler, zo heet die van Google “Googlebot”.

Een zoekmachine stuurt de crawlers het wereldwijde web in om pagina’s te doorzoeken en de content te indexeren. Het belang van een goede linkstructuur en de aanwezigheid van een sitemap is om die reden groot.

Het belang van crawlers

Elke website heeft een bepaald crawlbudget bij een crawler. Belangrijke pagina’s op je website zullen vaker gecrawld worden. Om het crawlbudget onder controle te houden en ervoor te zorgen dat onbelangrijke pagina’s niet gecrawld worden, kan je de crawler op bepaalde delen van je website blokkeren.

Crawlers blokkeren

Er zijn verschillende manieren om crawers te verbieden om (bepaalde delen van) je website te crawlen en te indexeren.

Robots.txt

Met dit bestand kan je een deel van je website afsluiten voor zoekrobots om te voorkomen dat deze geïndexeerd worden. Het Robots.txt-bestand kan ook specifieke spiders blokkeren.

Meta Tag Robot

Deze tag wordt gebruikt voor het uitsluiten van specifieke pagina’s en staat meestal in de header van de pagina.

Canonical tag

Om aan te tonen wat de hoofd-url van een pagina is, wordt een canonical tag gebruikt. Deze wordt hoofdzakelijk toegepast bij pagina’s met dezelfde content. De canonical tag maakt duidelijk welke pagina wel geïndexeerd moet worden tussen twee duplicaten.

Meer SEO termen

[/fusion_text][fusion_text]

Andere interessante onderwerpen

[/fusion_text][/fusion_builder_column][fusion_builder_column type=”1_4″ layout=”1_4″ last=”no” spacing=”yes” center_content=”no” hide_on_mobile=”no” background_color=”” background_image=”” background_repeat=”no-repeat” background_position=”left top” hover_type=”none” link=”” border_position=”all” border_size=”0px” border_color=”” border_style=”” padding_top=”” padding_right=”” padding_bottom=”” padding_left=”” margin_top=”” margin_bottom=”” animation_type=”” animation_direction=”” animation_speed=”0.1″ animation_offset=”” class=”” id=”” min_height=””][fusion_flip_boxes columns=”1″ class=”” id=””][fusion_flip_box title_front=”SEO Quiz” title_back=”SEO Quiz” text_front=”Hoe sterk is jouw SEO kennis?” background_color_front=”#dd8f1a” title_front_color=”#ffffff” text_front_color=”#ffffff” background_color_back=”#add698″ title_back_color=”#ffffff” text_back_color=”#ffffff” border_size=”1px” border_color=”#ffffff” border_radius=”4px” icon=”fa-trophy” icon_color=”” circle=”yes” circle_color=”” circle_border_color=”” icon_rotate=”” icon_spin=”no” image=”” image_max_width=”35″ image_height=”35″ animation_type=”0″ animation_direction=”down” animation_speed=”1″ animation_offset=””]Speel de SEO Quiz[/fusion_flip_box][/fusion_flip_boxes][/fusion_builder_column][fusion_builder_column type=”1_4″ layout=”1_4″ last=”no” spacing=”yes” center_content=”no” hide_on_mobile=”no” background_color=”” background_image=”” background_repeat=”no-repeat” background_position=”left top” hover_type=”none” link=”” border_position=”all” border_size=”0px” border_color=”” border_style=”” padding_top=”” padding_right=”” padding_bottom=”” padding_left=”” margin_top=”” margin_bottom=”” animation_type=”” animation_direction=”” animation_speed=”0.1″ animation_offset=”” class=”” id=”” min_height=””][fusion_flip_boxes columns=”1″ class=”” id=””][fusion_flip_box title_front=”Blog” title_back=”Online Marketing Blog” text_front=”Volg Online Marketing op de voet” background_color_front=”#dd8f1a” title_front_color=”#ffffff” text_front_color=”#ffffff” background_color_back=”#add698″ title_back_color=”#ffffff” text_back_color=”#ffffff” border_size=”1px” border_color=”#ffffff” border_radius=”4px” icon=”fa-rss-square” icon_color=”” circle=”yes” circle_color=”” circle_border_color=”” icon_rotate=”” icon_spin=”no” image=”” image_max_width=”35″ image_height=”35″ animation_type=”0″ animation_direction=”down” animation_speed=”1″ animation_offset=””]Mis niets van SEO, SEA, Linkbuilding, enz[/fusion_flip_box][/fusion_flip_boxes][/fusion_builder_column][fusion_builder_column type=”1_4″ layout=”1_4″ last=”no” spacing=”yes” center_content=”no” hide_on_mobile=”no” background_color=”” background_image=”” background_repeat=”no-repeat” background_position=”left top” hover_type=”none” link=”” border_position=”all” border_size=”0px” border_color=”” border_style=”” padding_top=”” padding_right=”” padding_bottom=”” padding_left=”” margin_top=”” margin_bottom=”” animation_type=”” animation_direction=”” animation_speed=”0.1″ animation_offset=”” class=”” id=”” min_height=””][fusion_flip_boxes columns=”1″ class=”” id=””][fusion_flip_box title_front=”Gratis SEO Scan” title_back=”Gratis SEO Scan” text_front=”Hoe sterk is de SEO op jouw website?” background_color_front=”#dd8f1a” title_front_color=”#ffffff” text_front_color=”#ffffff” background_color_back=”#add698″ title_back_color=”#ffffff” text_back_color=”#ffffff” border_size=”1px” border_color=”#ffffff” border_radius=”4px” icon=”fa-apple” icon_color=”” circle=”yes” circle_color=”” circle_border_color=”” icon_rotate=”” icon_spin=”no” image=”” image_max_width=”35″ image_height=”35″ animation_type=”0″ animation_direction=”down” animation_speed=”1″ animation_offset=””]Vraag hier je gratis SEO analyse[/fusion_flip_box][/fusion_flip_boxes][/fusion_builder_column][fusion_builder_column type=”1_4″ layout=”1_4″ last=”yes” spacing=”yes” center_content=”no” hide_on_mobile=”no” background_color=”” background_image=”” background_repeat=”no-repeat” background_position=”left top” hover_type=”none” link=”” border_position=”all” border_size=”0px” border_color=”” border_style=”” padding_top=”” padding_right=”” padding_bottom=”” padding_left=”” margin_top=”” margin_bottom=”” animation_type=”” animation_direction=”” animation_speed=”0.1″ animation_offset=”” class=”” id=”” min_height=””][fusion_flip_boxes columns=”1″ class=”” id=””][fusion_flip_box title_front=”Nieuwsbrief” title_back=”Alle SEO & SEA nieuws” text_front=”Blijf op de hoogte over SEO & SEA” background_color_front=”#dd8f1a” title_front_color=”#ffffff” text_front_color=”#ffffff” background_color_back=”#add698″ title_back_color=”#ffffff” text_back_color=”#ffffff” border_size=”1px” border_color=”#ffffff” border_radius=”4px” icon=”fa-fighter-jet” icon_color=”” circle=”yes” circle_color=”” circle_border_color=”” icon_rotate=”” icon_spin=”no” image=”” image_max_width=”35″ image_height=”35″ animation_type=”0″ animation_direction=”down” animation_speed=”1″ animation_offset=””]Schrijf je in op onze Nieuwsbrief[/fusion_flip_box][/fusion_flip_boxes][/fusion_builder_column][fusion_builder_column type=”1_1″ layout=”1_1″ background_position=”left top” background_color=”” border_size=”” border_color=”” border_style=”solid” spacing=”yes” background_image=”” background_repeat=”no-repeat” padding_top=”” padding_right=”” padding_bottom=”” padding_left=”” margin_top=”0px” margin_bottom=”0px” class=”” id=”” animation_type=”” animation_speed=”0.3″ animation_direction=”left” hide_on_mobile=”no” center_content=”no” min_height=”none” last=”no” hover_type=”none” link=”” border_position=”all”][fusion_text][/fusion_text][/fusion_builder_column][/fusion_builder_row][/fusion_builder_container]