Publika sökmotorer (som t ex Google) har spindlar/crawlers som kontinuerligt surfar runt på webben och indexerar innehåll. De sökmotorer som håller sig till spelreglerna respekterar headers och uppmärkning i sidors html-kod som specificerar om sidan ska indexeras eller inte och om länkar skall följas eller inte.

Vill man göra generella undantag från indexering som sträcker sig över flera sidor eller dyl kan man specificera regler i filen robots.txt. SiteVision tillhandahåller alltid en generell robots.txt-fil för alla domäner, se exempel nedan.

Innehållet i svaret som SiteVision skickar när någon frågar efter robots.txt kan utökas genom att lägga till en fil i SiteVision-installationen. Filen ska heta robots.txt och skall placeras under /custom/conf, se exempel nedan.

SiteVision letar med jämna intervall efter en eventuell robots.txt-fil under custom/conf och kontrollerar dess modifieringsdatum så att eventuella förändringar läses in kontinuerligt.

Innehållet i den egna filen läggs till sist i svaret som SiteVision skickar när någon frågar efter robots.txt, se gulmarkerd text i exemplet nedan.