Googlebot

Googlebot is een robot die als taak heeft om websites door te crawlen en de inhoud te beoordelen om vervolgens de webpagina te indexeren. Ook de term spider wordt wel gebruikt en niet alleen nieuwe websites komen voor een bezoek van de robot in aanmerking, maar ook bestaande webpagina’s. Op deze wijze kunnen websites in de zoekmachine worden opgenomen.

Doorzoeken van webpagina’s

Het crawlen van de Googlebot houdt in dat alle pagina’s worden doorzocht om deze toe te voegen aan de index van Google. Er wordt onder meer door de robots gecontroleerd of er bijvoorbeeld nieuwe inhoud aanwezig is, maar ook worden links gecontroleerd op het functioneren en wordt er gekeken of de website nog wel werkt. Er wordt daarvoor door de spiders gebruik gemaakt van een algoritme.

Sitemap aanmaken

Het is mogelijk om Google behulpzaam te zijn om de site beter te kunnen doorzoeken. Dat kan door een sitemap aan te maken via het programma Google webmaster tools. In de root van de site kan met het gebruikmaken van een xml sitemap generator ook een sitemap geplaatst worden.

Indien het niet gewenst is dat een crawler de website indexeert, dan is daar een oplossing voor. Er dient dan een robots.txt aangemaakt te worden, waarin aan Google duidelijk gemaakt wordt dat de robot de website niet moet indexeren.

Bij de optie van noindex wordt het mogelijk om een bepaalde pagina of meerdere webpagina’s uit de resultaten van de zoekmachine te houden. Er dient dan een noindex metatag aan de broncode van de pagina worden toegevoegd. Bezoekers krijgen de webpagina dan niet te zien in de resultaten van Google.

Overigens geldt dan ook dat er door de Googlebot geen waarde zal worden toegekend aan uitgaande of inkomende links bij het toepassen van de optie noindex.