Strežniški logi lahko pokažejo, ali je vašo spletno stran obiskal GPTBot, ClaudeBot ali drug AI crawler, ne povedo pa, ali ChatGPT, Gemini ali Perplexity vašo vsebino dejansko uporabljajo pri svojih odgovorih. Za to je treba spremljati AI citate, referral promet in vidnost v AI iskalnikih.
Večina lastnikov spletnih strani in SEO strokovnjakov ob prvem srečanju z AI iskalniki naredi enako napako. V strežniških logih poiščejo obisk GPTBot-a ali drugega AI crawlerja. Če ga ne najdejo, pogosto sklepajo, da jih ChatGPT ne pozna oziroma njihove vsebine ne uporablja, ampak tak zaključek je lahko napačen.
Strežniški logi povedo le, kateri roboti so obiskali vašo spletno stran. Ne povedo pa, ali je ChatGPT, Gemini, Perplexity ali drug AI iskalnik vašo vsebino dejansko uporabil pri pripravi odgovora za uporabnika.
Za razumevanje AI vidnosti je treba ločiti štiri različne stvari:
- obisk AI crawlerja,
- indeksiranje ali zajem vsebine,
- uporabo vsebine pri AI odgovoru,
- obisk uporabnika iz AI iskalnika.
Vsaka od njih predstavlja drugačen korak, zato samo pregled strežniških logov ne zadošča za oceno vaše dejanske vidnosti v AI iskalnikih.
Kaj vam strežniški logi o AI iskalnikih dejansko povedo in kako pridete do njih
Če želite preveriti, ali vašo spletno stran obiskujejo AI crawlerji, so strežniški logi eden najboljših virov podatkov. Vsak obisk robota ali uporabnika namreč na strežniku pusti zapis o tem, kaj je bilo zahtevano, kdaj se je obisk zgodil in kdo je zahtevo poslal.
Na SEO-Praktik.si smo za primer odprli strežniške loge in poiskali zapise AI crawlerjev.
Odprite strežniške loge
Če uporabljate cPanel (kot v našem primeru na SEO-Praktik.si), se najprej prijavite v nadzorno ploščo gostovanja in odprite razdelek Metrics. Nato izberite Raw Access, kjer so shranjeni surovi zapisi vseh obiskov vaše spletne strani.
Prenesite aktualne strežniške loge
Po kliku na Raw Access se prikaže seznam domen, za katere lahko prenesete trenutne strežniške loge. Če vaša spletna stran uporablja HTTPS (kar danes velja za skoraj vse strani), izberite različico z oznako SSL.
Na primeru SEO-Praktik.si smo prenesli datoteko seo-praktik.si (SSL), saj vsebuje vse zadnje obiske spletne strani, tudi obiske AI crawlerjev.
Odprite datoteko in poiščite ključne podatke
Po prenosu datoteko odprite v poljubnem urejevalniku besedila (npr. Notepad++, Visual Studio Code ali drugem urejevalniku). Na prvi pogled je lahko vsebina videti precej nepregledna, saj vsaka vrstica vsebuje več različnih podatkov o posameznem obisku spletne strani.
Za preverjanje AI crawlerjev pa ni treba razumeti celotnega zapisa.
Pri osnovni analizi sta najpomembnejša predvsem dva podatka:
- User-Agent, ki razkrije identiteto obiskovalca (npr. Googlebot, GPTBot ali ClaudeBot),
- URL (zahteva), ki pokaže, katero stran ali datoteko je crawler obiskal.
Ostali podatki, kot so IP naslov, čas obiska ali HTTP status, so uporabni predvsem pri podrobnejših analizah in odpravljanju težav.
Uporabno: Če vas zanima le, ali vašo spletno stran obiskujejo AI crawlerji, se osredotočite predvsem na polje User-Agent. Večine ostalih podatkov pri osnovnem preverjanju sploh ne boste potrebovali.
Kako v strežniških logih poiščete AI crawlerje
Če bi strežniške loge pregledovali vrstico za vrstico, bi lahko analiza trajala več ur. Na srečo večina urejevalnikov besedila omogoča iskanje po vsebini datoteke, zato lahko želene crawlerje najdete v nekaj sekundah.
Uporabite funkcijo Iskanje (CTRL + F) in poiščite ime posameznega AI crawlerja.
Izrazi, ki jih iščite
Za začetek priporočamo iskanje naslednjih User-Agentov:
| AI crawler | Kaj iskati v logih |
|---|---|
| ChatGPT | GPTBot |
| ChatGPT Search | OAI-SearchBot |
| Claude | ClaudeBot |
| Claude Search | Claude-SearchBot |
| Perplexity | PerplexityBot |
| Google AI | Google-Extended |
| Apple Intelligence | Applebot |
| ByteDance AI | Bytespider |
Če iskanje vrne zadetek, pomeni, da je izbrani AI crawler obiskal vaš strežnik.
Če zadetka ni, to sicer še ne pomeni, da vaša spletna stran ni vidna v ChatGPT ali drugem AI iskalniku. Zato brez panike.
Razlog za to bomo razložili v nadaljevanju.
Kaj smo našli na SEO-Praktik.si
| AI crawler | Število zabeleženih obiskov |
|---|---|
| GoogleOther (Google AI) | 85 |
| GPTBot (OpenAI) | 25 |
| ClaudeBot (Anthropic) | 16 |
| OAI-SearchBot (OpenAI Search) | 5 |
| Bytespider (ByteDance) | 2 |
| Meta ExternalAgent | 2 |
Poleg AI crawlerjev smo v istem obdobju zaznali tudi običajne iskalniške crawlerje, kot so Googlebot, Bingbot, Applebot in CCBot, kar je pričakovano za aktivno spletno stran.
Kaj pomenijo ti podatki
Rezultati potrjujejo, da AI crawlerji dejansko obiskujejo spletno stran SEO-Praktik.si in dostopajo do različnih URL-jev. To pomeni, da lahko preberejo vsebino, preverijo datoteki robots.txt in sitemap.xml ter obiščejo posamezne članke.
Vendar pa je pomembno poudariti, da prisotnost GPTBota ali ClaudeBota še ne pomeni, da bo ChatGPT ali Claude vašo vsebino citiral pri odgovoru uporabniku. Strežniški log potrjuje zgolj obisk crawlerja, ne pa tudi uporabo vsebine v generiranem odgovoru.
Pri analizi smo opazili tudi nekaj zanimivega. AI crawlerji so obiskali tudi URL-je, ki vračajo napako 404 (Not Found). To kaže, da sledijo starejšim povezavam ali povezavam z drugih spletnih strani. Če takšnih strani ne potrebujete več, je priporočljivo urediti 301 preusmeritve, saj boste tako izboljšali uporabniško izkušnjo in crawlerjem pomagali hitreje najti ustrezno vsebino.
Pomembno: Strežniški logi so odlično orodje za preverjanje ali AI crawlerji obiskujejo vašo spletno stran. Niso pa dokaz, da je vaša vsebina že vključena v odgovore ChatGPT, Gemini ali Perplexity.
Zakaj je spremljanje AI crawlerjev sploh smiselno, če še niso dokaz, da je vaša vsebina uporabljena pri AI odgovorih
Čeprav obisk GPTBota ali ClaudeBota še ne dokazuje, da bo vaša vsebina uporabljena v odgovorih AI iskalnikov, je spremljanje strežniških logov še vedno zelo koristno.
Prvi razlog je, da hitro ugotovite, ali AI crawlerji vašo spletno stran sploh obiskujejo. Če v daljšem obdobju ne zaznate niti enega obiska, je to lahko znak, da imajo crawlerji težave z dostopom ali da je njihovo obiskovanje zaradi različnih razlogov omejeno.
Drugi razlog je preverjanje, katere dele spletne strani crawlerji dejansko obiskujejo. Ali pregledujejo le datoteko robots.txt in zemljevid strani (sitemap.xml) ali pa dostopajo tudi do posameznih člankov, kategorij in drugih vsebin? Takšna analiza lahko razkrije, ali je struktura spletne strani primerna za učinkovito pregledovanje.
Tretji razlog je odkrivanje tehničnih težav. Med analizo logov SEO-Praktik.si smo na primer tudi na naši spletni strani opazili, da so AI crawlerji obiskali tudi nekaj URL-jev, ki vračajo napako 404 (Not Found). To je koristen signal za odpravo zastarelih povezav ali uvedbo ustreznih 301 preusmeritev.
Je pa res, da šele z dejanskimi AI citati, referral prometom in spremljanjem AI odgovorov, lahko dobite precej bolj zanesljivo sliko o svoji vidnosti v AI iskalnikih.
Povzetek: Strežniški logi niso merilo AI vidnosti, ampak diagnostično orodje. Povedo vam, ali AI crawlerji lahko dostopajo do vaše spletne strani in kako jo pregledujejo. Za dokaz dejanske AI vidnosti pa jih je treba kombinirati z drugimi meritvami.
Preverite še: