Hva er crawling og indeksering?
Google finner ikke nettsider på magisk vis. Googlebot beveger seg gjennom nettet ved å følge lenker fra side til side og lese innholdet den finner. Det er crawling. Deretter analyserer Google siden: hva handler den om, er den unik, er den verdt å vise frem? Sider som består vurderingen lagres i indeksen og kan dukke opp i søkeresultatene. Hele kjeden må fungere: finnes ikke siden i indeksen, eksisterer den ikke for Google.
Dette er kjernen i teknisk SEO. Innhold og lenker avgjør hvor høyt du rangerer, men crawling og indeksering avgjør om du i det hele tatt er med i konkurransen.
Verktøyene som styrer prosessen
- robots.txt: en fil på nettstedet ditt som forteller Googlebot hvilke deler den ikke skal crawle. Nyttig for adminsider, katastrofal hvis den ved et uhell blokkerer hele nettstedet.
- XML-sitemap: en innholdsfortegnelse over alle sidene dine som du sender inn til Google. De fleste publiseringsverktøy lager den automatisk på /sitemap.xml.
- noindex: en instruks i sidens kode som sier 'ikke vis denne siden i søk'. Riktig for takkesider og duplikater, ødeleggende hvis den blir liggende igjen på viktige sider etter en lansering.
- Intern lenking: Googlebot følger lenker. Sider ingen lenker til ('foreldreløse sider') blir sjelden funnet og enda sjeldnere indeksert.
Slik fungerer det i praksis
Google Search Console er kontrollpanelet ditt. Der ser du hvilke sider som er indeksert, hvilke som er utelatt og hvorfor, med statuser som 'Oppdaget – for øyeblikket ikke indeksert' eller 'Ekskludert av noindex-kode'. Du kan også be Google hente en bestemt side på nytt, praktisk når du har publisert eller endret noe viktig. For et lite norsk nettsted med under hundre sider er crawling sjelden et kapasitetsproblem. Problemene skyldes nesten alltid feil innstillinger eller manglende lenker, og en god nettstedstruktur løser det meste.
Konkret eksempel
En hytteutleier i Trysil lanserte ny nettside før vintersesongen, men trafikken uteble. I Search Console viste det seg at webdesigneren hadde glemt å fjerne noindex-koden fra testperioden. Alle de tolv hyttesidene var utestengt fra Google. Etter at koden ble fjernet og sitemapen sendt inn på nytt, var sidene indeksert i løpet av en drøy uke. Ut over vinteren kom de organiske bestillingene tilbake: 10–15 ekstra utleiedøgn i måneden à 3 500 kroner, altså 35 000–50 000 kroner måneden som hadde gått tapt til booking-portaler med 15 prosent provisjon.
Vanlige feil
- Glemt noindex eller passordbeskyttelse fra utviklingsfasen. Den vanligste årsaken til at nye nettsider er usynlige.
- En robots.txt som blokkerer for mye, for eksempel hele bildekatalogen eller CSS-filene Google trenger for å forstå siden.
- Viktige sider uten interne lenker, gjemt bak søkefelt eller menyer Googlebot ikke kan følge.
- Å aldri åpne Search Console. Indekseringsproblemer er gratis å oppdage og oftest enkle å fikse.
Slik kommer du i gang
- Søk 'site:dittdomene.no' i Google. Antall treff viser omtrent hvor mange sider som er indeksert.
- Sett opp Google Search Console og sjekk rapporten 'Sideindeksering' for feil og utelatte sider.
- Send inn sitemapen din (vanligvis dittdomene.no/sitemap.xml) i Search Console.
- Sørg for at hver viktige side har minst én intern lenke fra meny eller andre sider.
