help.sitevision.no henviser alltid til den nyeste versjonen av Sitevision
Egen robots.txt-fil
Offentlige søkemotorer (som Google) har edderkopper/crawlere som kontinuerlig søker gjennom nettet og indekserer innhold. Søkemotorer som følger reglene, respekterer overskriftene og markeringen i en sides HTML-kode som angir om siden skal indekseres eller ikke, og om lenker skal følges eller ikke.
Hvis du vil gjøre generelle unntak for flersidig indeksering eller lignende, kan du spesifisere regler i robots.txt-filen. SiteVision leverer alltid en generisk robots.txt-fil for alle domener, se eksempelet nedenfor.
Eksempel på standard svar når robots.txt blir forespurt
Innholdet i svaret som Sitevision sender når noen ber om robots.txt, kan utvides ved å legge til en fil i Sitevision-installasjonen. Filen skal hete robots.txt og plasseres under /custom/conf, se eksempel nedenfor.
Eksempel på innhold i din egen robots.txt
Sitevision sjekker med jevne mellomrom om det finnes en robots.txt-fil under custom/conf og kontrollerer endringsdatoen, slik at eventuelle endringer lastes inn fortløpende.
Innholdet i den egendefinerte filen legges til på slutten av svaret som Sitevision sender når noen ber om robots.txt, se gul uthevet tekst i eksemplet nedenfor.
Eksempler på svar når robots.txt er forespurt og egendefinert fil brukes
Den generelle innstillingen for om en enkelt side/seksjon skal indekseres eller ikke, angis via Innstilling for søketreff.
Denne siden ble publisert:
Skriv ut siden