Manus:
Mit navn er Emil, og jeg vil i denne uge give dig et til, hvordan du skal huske at forhindre crawling af autogenererede sider såvel som din interne søgemaskine. Google skriver i deres retningslinjer, at man skal forhindre crawling af en autogenerede sider, fordi det ikke har nogen relevans for en bruger, når de lander på en autogenerede side, som ikke har noget indhold. Som du kan se her, har jeg taget en intern søgemaskine med fra en webshop. Når jeg søger på den interne søgemaskine, i dette tilfælde er det ordet sofa, så vil jeg få en helt ny side, som er autogenerede. Dette kan ses i URL’en, hvor der nu står catalogsearch/result/ og søgeordet, hvilket i dette tilfælde er sofa. Som du kan se, når du kigget skråt ned, er det en tynd side, og nogle gange vil der slet ikke være nogle produkter på. Derved kan en besøgende lande på en side, som ikke har nogen værdi for dem. Det skal vi selvfølgelig prøve at forhindre. Først skal vi dog tjekke, om du har nogle autogenerede sider. Derfor har jeg taget den del af URL’en, hvor der står catalogsearch, og smidt den ind i Google og skrevet inurl:catalogsearch site: biva.dk. Som I kan se, kommer der ikke nogle resultater frem, og det betyder, at denne side har lukket af for de dynamiske sider. Dette kan du forhindre ved at bruge din Robots.txt. Her har jeg skrevet catalogsearch, og det vil sige at alt det som indgår i den mappe, ikke vil blive crawlet af Google og dermed heller ikke indekseret. Robots.txt er ikke en indekseringsfjerner, så hvis du bruger Robots.txt, er du ikke helt sikker på at fjerne det fra indeks, men sandsynligheden er rimelig stor. Det var alt for denne gang, og næste gang vil Tommy komme på skærmen og fortælle om Adwords.
Tak fordi i kiggede med
