Noindex gebruiken is een manier om de robots van Google te laten weten dat een bepaalde webpagina niet wordt opgenomen in de resultaten van de zoekmachine. Dat kan gerealiseerd worden door de metatag toe te voegen aan de HTML-code van een webpagina.
Indien de metatag is toegekend dan zal de robot dat herkennen en zal de webpagina niet geïndexeerd worden voor opname in de zoekresultaten. Zelfs als andere sites een verwijzing naar de webpagina hebben, zal de webpagina niet zicht zijn in de zoekmachine.
Opdracht tot niet laten crawlen
Er kan aan de spiders van Google een opdracht worden gegeven om de inhoud van een webpagina niet te crawlen. Daarvoor kan het tekstbestand robot.txt gebruikt worden. Zo kunnen er nog veel meer opdrachten gegeven worden. Bijvoorbeeld door de nofollow optie toe te passen, waarbij een specifieke link niet gevolgd moet worden door de spiders.
Waarom niet indexeren?
Bij noindex gaat het om het niet opnemen van een webpagina in de zoekresultaten. Daar kunnen meerdere redenen voor zijn. Bijvoorbeeld als de website zich nog in de beginfase begint en weinig inhoud heeft, maar ook als er sprake is van dubbele content.
Indien er sprake is van twee webpagina’s met vrijwel dezelfde inhoud dan is het aan te raden om een van de pagina’s niet te laten indexeren. Zo wordt met een noindex in elk geval voorkomen dat Google concludeert dat er sprake is van duplicate content.
Overigens geldt dat het voor wel opnemen van een webpagina geen aparte opdracht hoeft te worden gegeven. De robots doorzoeken de site vanzelf. Het is wel mogelijk om duidelijkheid te bieden aan de spiders door bijvoorbeeld een sitemap toe te voegen. Op die manier kan een website sneller geïndexeerd worden.