help.sitevision.se hänvisar alltid till senaste versionen av Sitevision

Egen robots.txt-fil

Publika sökmotorer (som t ex Google) har spindlar/crawlers som kontinuerligt surfar runt på webben och indexerar innehåll. De sökmotorer som håller sig till spelreglerna respekterar headers och uppmärkning i sidors html-kod som specificerar om sidan ska indexeras eller inte och om länkar ska följas eller inte.

Vill du göra generella undantag från indexering som sträcker sig över flera sidor eller dylikt kan du specificera regler i filen robots.txt. SiteVision tillhandahåller alltid en generell robots.txt-fil för alla domäner, se exempel nedan.

Exempel på standardsvar när robots.txt efterfrågas

Exempel på standardsvar när robots.txt efterfrågas

Innehållet i svaret som Sitevision skickar när någon frågar efter robots.txt kan utökas genom att lägga till en fil i Sitevision-installationen. Filen ska heta robots.txt och ska placeras under /custom/conf, se exempel nedan.

Exempel på innehåll i egen robots.txt

Exempel på innehåll i egen robots.txt

Sitevision letar med jämna intervall efter en eventuell robots.txt-fil under custom/conf och kontrollerar dess modifieringsdatum så att eventuella förändringar läses in kontinuerligt.

Innehållet i den egna filen läggs till sist i svaret som Sitevision skickar när någon frågar efter robots.txt, se gulmarkerd text i exemplet nedan.

Exempel på svar när robots.txt efterfrågas och egen fil används

Exempel på svar när robots.txt efterfrågas och egen fil används

Den generella inställningen för om en enskild sida/delgren ska indexeras eller inte ställer du in via Inställning för sökträffar.

Denna sida publicerades:

Hjälpte informationen dig?