AI crawleri i hrvatski webshopovi 2026
U mjerenju od 24. rujna 2026. OAI-SearchBot, Claude-SearchBot i PerplexityBot smjeli su čitati 484 od 493 trgovine s čitljivom naslovnicom (98,2 %). No barem jedan AI crawler imenovan je u samo 43 od 455 datoteka robots.txt; u ostalih 412 AI crawleri slijede pravila napisana za sve botove.
Organization strukturirani podaci nalaze se na naslovnici kod 227 od 493 trgovine (46,0 %), oznaka OnlineStore kod 7, a stvarna llms.txt datoteka kod 53 (10,8 %). Kod 16 od 520 dostupnih trgovina vatrozid je naš jasno označeni zahtjev odbio već na naslovnici.
Autor Filip Lukovnjak, osnivač i inženjerObjavljeno 25. rujna 2026.
- Okvir · dostupno · čitljivo
- 537 · 520 · 493
- Prikupljeno
- 24. rujna 2026.
- Zadnja provjera
- 25. rujna 2026.
- Licenca podataka
- CC BY 4.0
01Pitanje
Što smo htjeli saznati
Kad kupac pita ChatGPT, Claude ili Perplexity gdje nešto kupiti, odgovor ovisi o dvije stvari: smije li AI crawler pročitati trgovinu i može li iz nje strojno razumjeti tko je trgovac. Mjerili smo obje, na istom okviru hrvatskih webshopova.
Smiju li AI tražilice čitati hrvatske webshopove i je li to zapisana odluka u robots.txt ili posljedica pravila za sve botove?
Koliko trgovina strojno kaže tko su, strukturiranim podacima Organization i datotekom llms.txt?
Koliko trgovina vatrozid zatvori prije nego što robots.txt uopće dođe na red?
02Glavni nalazi
Pristup je otvoren, identitet često nedostaje
Pristup, llms.txt i strukturirani podaci računaju se na 493 trgovine s čitljivom naslovnicom, pravila u robots.txt na 455 pročitanih datoteka, a vatrozid na 520 dostupnih trgovina. Uz postotke stoji 95 % interval pouzdanosti (Wilson).
Sve tri AI tražilice smiju čitati trgovinu
98,2 %, 95 % CI 96,6–99,0 %; OAI-SearchBot, Claude-SearchBot, PerplexityBot; trgovine s čitljivom naslovnicom
484/493
robots.txt imenuje barem jednog AI crawlera
9,5 %, 95 % CI 7,1–12,5 %; u ostalima AI crawleri slijede pravila za User-agent: *
43/455
Blokiran barem jedan crawler za treniranje
6,5 %, 95 % CI 4,6–9,0 %; 23 od 32 i dalje puštaju sve tri AI tražilice
32/493
Blokirana barem jedna AI tražilica
1,8 %, 95 % CI 1,0–3,4 %; 7 od 9 i dalje puštaju Googlebot
9/493
Organization JSON-LD na naslovnici
46,0 %, 95 % CI 41,7–50,5 %; OnlineStore 7/493, bez ikakvog JSON-LD-a 233/493
227/493
Stvarna llms.txt datoteka
10,8 %, 95 % CI 8,3–13,8 %; kod 31 od 53 u tekstu je potpis platforme ili SEO dodatka
53/493
Vatrozid odbio zahtjev već na naslovnici
3,1 %, 95 % CI 1,9–4,9 %; nazivnik su dostupne trgovine; kod 13 od 16 odbijen je i /robots.txt
16/520
Sva četiri osnovna signala
6,9 %, 95 % CI 5,0–9,5 %; sitemap u robots.txt, AI tražilice dopuštene, Organization JSON-LD i llms.txt
34/493
Kad trgovina odluči, češće zatvara treniranje nego pretragu. Od 32 trgovine koje blokiraju barem jedan crawler za treniranje, 23 i dalje puštaju sve tri AI tražilice. Obrnut slučaj je rjeđi: 9 trgovina blokira barem jednu AI tražilicu, a 7 od njih pušta Googlebot. Takva trgovina može biti u Googleovim rezultatima, a izostati iz odgovora AI tražilice koju blokira; OpenAI navodi da stranice isključene za OAI-SearchBot ne prikazuje u odgovorima ChatGPT pretrage.
llms.txt je rijedak i često nastaje automatski. Od 53 datoteke kod 31 tekst nosi potpis platforme ili SEO dodatka. Još 95 trgovina na /llms.txt odgovara s HTTP 200, a datoteke nema: 61 vraća prazan odgovor, a 34 HTML stranicu ili preusmjerenje. Prazni odgovori gotovo su svi s jedne platforme (55 od 61).
Vatrozid ponekad odlučuje umjesto trgovca. Kod 13 od 16 blokiranih trgovina odbijen je i /robots.txt, pa se njihova pravila ne mogu ni pročitati. 10 od 16 nosi isti potpis hosting zaglavlja, a blokirane su sve trgovine s tim potpisom (10 od 10). To upućuje na jedno zajedničko pravilo na razini hostinga. Još 5 trgovina ulazi u petlju preusmjeravanja za svaki klijent koji ne čuva kolačiće.
03Uzorak
Uzorak i okvir: 537, 520, 493
Svaki postotak na ovoj stranici ima jedan od četiri nazivnika. Okvir je popis domena, a svaki sljedeći korak isključuje trgovine koje nije bilo moguće izmjeriti. Isključene nisu pretpostavljene ni u jednom postotku.
- 01 · Okvir537domena s prve tri stranice javnog direktorija webtrgovine.hr, bez velikih trgovaca i marketplaceova
- 02 · Dostupno520naslovnica je vratila bilo kakav HTTP odgovorIsključeno 17: DNS 8, timeout 5, TLS pogreška 3, prekinuta veza 1
- 03 · Čitljivo493naslovnica je vratila čitljiv HTML; osnova za pristup, llms.txt i JSON-LDIsključeno 27: vatrozid 16, petlja preusmjeravanja 5, HTTP 404 3, HTTP 500 2, HTTP 503 1
- 04 · Pročitan robots.txt455datoteka je vratila 200 i čitljiva pravila; osnova za „imenovan”Ostalih 38: 4xx (crawler smije sve) 24, HTML ili preusmjerenje (bez pravila) 13, nedostupna datoteka (potpuna zabrana) 1
Okvir obuhvaća i sve trgovine iz Hrvatskog ecommerce benchmarka 2026. Pseudonimi se ne podudaraju s pseudonimima benchmarka, a rezultati za taj podskup su u odjeljku Ograničenja.
04Rezultati
Rezultati po crawleru i po signalu
Tablice se generiraju iz objavljenog skupa podataka pri izradi stranice. Namjena svakog crawlera povezana je na dokumentaciju njegova operatera.
Imenovan: od 455 pročitanih robots.txt datoteka. Blokiran: od 493 trgovine s čitljivom naslovnicom.
AI tražilice
OAI-SearchBot
Prikaz stranica u ChatGPT pretrazi
- Imenovan
- 18 (4,0 %)
- Blokiran
- 6 (1,2 %)
Claude-SearchBot
Kvaliteta rezultata Claude pretrage
- Imenovan
- 6 (1,3 %)
- Blokiran
- 4 (0,8 %)
PerplexityBot
Perplexity pretraga; prema operateru ne služi treniranju modela
- Imenovan
- 14 (3,1 %)
- Blokiran
- 6 (1,2 %)
Dohvat na zahtjev korisnika
ChatGPT-User
Dohvat na zahtjev korisnika; robots.txt se možda ne primjenjuje
- Imenovan
- 18 (4,0 %)
- Blokiran
- 8 (1,6 %)
Claude-User
Dohvat na zahtjev korisnika Claudea
- Imenovan
- 5 (1,1 %)
- Blokiran
- 4 (0,8 %)
Perplexity-User
Dohvat na zahtjev korisnika; prema operateru uglavnom zanemaruje robots.txt
- Imenovan
- 6 (1,3 %)
- Blokiran
- 4 (0,8 %)
Treniranje modela i skupovi podataka
GPTBot
Sadržaj za treniranje OpenAI modela
- Imenovan
- 27 (5,9 %)
- Blokiran
- 18 (3,7 %)
ClaudeBot
Sadržaj za treniranje Anthropic modela
- Imenovan
- 23 (5,1 %)
- Blokiran
- 18 (3,7 %)
Google-Extended
- Imenovan
- 18 (4,0 %)
- Blokiran
- 13 (2,6 %)
CCBot
Otvoreni repozitorij podataka s weba
- Imenovan
- 18 (4,0 %)
- Blokiran
- 16 (3,2 %)
Applebot-Extended
Isključenje iz treniranja Appleovih modela
- Imenovan
- 12 (2,6 %)
- Blokiran
- 10 (2,0 %)
meta-externalagent
Treniranje AI modela ili indeksiranje za proizvode
- Imenovan
- 16 (3,5 %)
- Blokiran
- 11 (2,2 %)
Amazonbot
Poboljšanje usluga; može služiti treniranju AI modela
- Imenovan
- 19 (4,2 %)
- Blokiran
- 16 (3,2 %)
Namjena nije provjerena
Bytespider
Namjenu nismo mogli provjeriti u dokumentaciji operatera
- Imenovan
- 23 (5,1 %)
- Blokiran
- 22 (4,5 %)
Kontrola: klasične tražilice
Googlebot
Google pretraga (kontrolni redak)
- Imenovan
- 15 (3,3 %)
- Blokiran
- 2 (0,4 %)
Bingbot
Indeksiranje za Bing (kontrolni redak)
- Imenovan
- 13 (2,9 %)
- Blokiran
- 3 (0,6 %)
| Signal | Trgovina | Udio |
|---|---|---|
| Sve tri AI tražilice dopuštene | 484/493 | 98,2 % |
| Blokirana barem jedna AI tražilica | 9/493 | 1,8 % |
| Blokiran barem jedan crawler za treniranje | 32/493 | 6,5 % |
| Googlebot blokiran | 2/493 | 0,4 % |
| Signal | Trgovina | Udio |
|---|---|---|
| Imenuje barem jednog AI crawlera | 43/455 | 9,5 % |
| Izričito blokira AI crawlera | 30/455 | 6,6 % |
| Izričito dopušta AI crawlera | 20/455 | 4,4 % |
| Navodi sitemap | 349/455 | 76,7 % |
| Sadrži Crawl-delay | 49/455 | 10,8 % |
| Imenuje anthropic-ai ili claude-web | 14/455 | 3,1 % |
| User-agent: * zabranjuje cijelu stranicu | 2/455 | 0,4 % |
| Signal | Trgovina | Udio |
|---|---|---|
| Stvarna llms.txt datoteka | 53/493 | 10,8 % |
| od toga s potpisom platforme ili dodatka | 31/53 | 58,5 % |
| Stvarna datoteka bez potpisa generatora | 22/493 | 4,5 % |
| HTTP 200 s praznim odgovorom | 61/493 | 12,4 % |
| HTTP 200 s HTML-om ili preusmjerenjem | 34/493 | 6,9 % |
| HTTP 4xx, datoteke nema | 343/493 | 69,6 % |
| Signal | Trgovina | Udio |
|---|---|---|
| Ima ikakav JSON-LD | 260/493 | 52,7 % |
| Organization i srodni tipovi | 227/493 | 46,0 % |
| WebSite | 193/493 | 39,1 % |
| OnlineStore | 7/493 | 1,4 % |
| Nema JSON-LD | 233/493 | 47,3 % |
| JSON-LD koji se ne može parsirati | 5/493 | 1,0 % |
| Signal | Trgovina | Udio |
|---|---|---|
| Vatrozid odbio zahtjev | 16/520 | 3,1 % |
| od toga odbijen i /robots.txt | 13/16 | 81,3 % |
| od toga isti potpis hosting zaglavlja | 10/16 | 62,5 % |
| Petlja preusmjeravanja bez kolačića | 5/520 | 1,0 % |
| HTTP greška naslovnice (404, 500, 503) | 6/520 | 1,2 % |
| Signal | Trgovina | Udio |
|---|---|---|
| Sva četiri signala | 34/493 | 6,9 % |
| Nijedan od tri: sitemap, Organization, llms.txt | 102/493 | 20,7 % |
| llms.txt vraća 200, a datoteke nema | 95/493 | 19,3 % |
05Metodologija
Kako smo mjerili
- Okvir
- 537 domena s prve tri stranice javnog direktorija webtrgovine.hr (popis sastavljen 24. kolovoza 2026.), bez velikih trgovaca i marketplaceova. Svih 60 trgovina iz Hrvatskog ecommerce benchmarka 2026 nalazi se u okviru.
- Zahtjevi
- Točno tri po trgovini: naslovnica, /robots.txt i /llms.txt, na hostu na koji je naslovnica preusmjerila (204 od 493 preusmjerava na drugi host). Jedan po jedan, najmanje 1 s razmaka, 10 s timeout. Nakon mrežne pogreške 24 domene su dobile jedan ponovni pokušaj.
- Identitet
- Korisnički agent FIN-STUDIO-research/1.0 (+https://finstudio.hr/istrazivanje) na svakom zahtjevu. Bez preglednikova korisničkog agenta, bez zaobilaženja izazova ili CAPTCHA-e i bez ičega iza prijave ili naplate.
- robots.txt
- Prema RFC 9309: grupe za isti token se spajaju, token se uspoređuje bez obzira na velika i mala slova, najdulje podudaranje pobjeđuje, a kod izjednačenja vrijedi Allow. 4xx znači da crawler smije sve, a 5xx ili mrežna pogreška potpunu zabranu. Presuda za putanje / i /zz-probe/product-page.
- llms.txt
- Računa se samo HTTP 200 s konačnim URL-om /llms.txt, bez HTML-a i s barem 20 znakova. Potpis generatora čita se iz teksta datoteke.
- JSON-LD
- Svi application/ld+json blokovi iz HTML-a naslovnice kako ga šalje poslužitelj, bez izvršavanja JavaScripta. Organization obuhvaća Organization, Corporation, OnlineBusiness, OnlineStore, Store, LocalBusiness i podtipove *Store.
- Vatrozid
- Naslovnica je blokirana ako odgovor nosi zaglavlje izazova, poznatu stranicu izazova ili CAPTCHA-e uz 4xx/202 ili mali odgovor, ili goli 403 ili 429. Blokirane stranice nismo ponovno dohvaćali drugim korisničkim agentom.
- Skupine crawlera
- AI tražilice: OAI-SearchBot, Claude-SearchBot, PerplexityBot. Dohvat na zahtjev korisnika: ChatGPT-User, Claude-User, Perplexity-User. Treniranje i skupovi podataka: GPTBot, ClaudeBot, Google-Extended, CCBot, Applebot-Extended, meta-externalagent, Amazonbot. Bytespider je u tablici, ali ni u jednoj skupini, jer njegovu namjenu nismo mogli provjeriti u dokumentaciji operatera.
- Pseudonimi
- Svaka trgovina ima stabilan pseudonim iz soljenog SHA-256 sažetka domene. Sol i tablica pseudonima nisu objavljeni, a nazivi platformi, CDN-ova i dodataka uklonjeni su iz javnih podataka.
- Izjava o interesu
- FIN STUDIO izrađuje webshopove i ima interes u ovoj temi. Zato su metodologija i podaci javni, a stranica ne imenuje nijednu trgovinu, domenu ni platformu.
06Ograničenja
Što ovi podaci ne kažu
- Direktorij, ne cijelo tržište. Brojke opisuju 537 webshopova s prve tri stranice direktorija webtrgovine.hr, bez velikih trgovaca. Trgovine koje se nigdje nisu prijavile nisu obuhvaćene, pa rezultat ne vrijedi za sve hrvatske webshopove.
- Jedna platforma nosi velik dio okvira. 55 od 493 trgovine s čitljivom naslovnicom radi na istoj hrvatskoj agencijskoj platformi i ponaša se jednako. Platformu ne imenujemo. Tablica ispod prikazuje nalaze sa skupinom i bez nje: prazni odgovori na /llms.txt gotovo su u cijelosti njezini (55 od 61), a ostali udjeli pomiču se za nekoliko postotnih bodova.
- Samo izjavljena pravila. Mjerimo što piše u robots.txt i kako stranica odgovara na jedan pošteno označen zahtjev. Ne mjerimo poštuju li AI crawleri pravila ni posjećuju li trgovinu. OpenAI navodi da se robots.txt možda ne primjenjuje na ChatGPT-User, a Perplexity da Perplexity-User uglavnom zanemaruje robots.txt.
- Vatrozid ovisi o tome tko pita. Pravi crawleri dolaze s objavljenih IP raspona i vatrozid ih može propustiti ondje gdje je naš zahtjev odbijen. Mjerili smo s jednog mjesta i blokirane stranice nismo pokušali dohvatiti preglednikovim korisničkim agentom, jer bi to značilo zaobilaženje blokade.
- Samo naslovnica. Organization podaci mogu postojati na drugim stranicama, a JSON-LD koji se ubacuje JavaScriptom (npr. kroz Tag Manager) nije ubrojen.
- Rubni slučaj parsera. Crawl-delay između dvije User-agent linije ovdje zatvara prvu grupu. Parseri se u tom slučaju ne slažu.
- Jedan trenutak i statistička nesigurnost. Snimka je od jednog dana, a robots.txt i llms.txt često se mijenjaju. Intervali pouzdanosti su 95 % (Wilson): za Organization podatke to je 41,7–50,5 %, pa ga iskazujemo samo kao udio u okviru od 493 trgovine.
| Signal | Cijeli okvir | Bez klastera | Podskup benchmarka |
|---|---|---|---|
| Sve tri AI tražilice dopuštene | 98,2 %484/493 | 97,9 %429/438 | 98,1 %52/53 |
| robots.txt imenuje AI crawlera | 9,5 %43/455 | 10,8 %43/400 | 13,0 %6/46 |
| Sitemap u robots.txt | 76,7 %349/455 | 73,5 %294/400 | 71,7 %33/46 |
| Organization JSON-LD | 46,0 %227/493 | 48,6 %213/438 | 47,2 %25/53 |
| Stvarna llms.txt datoteka | 10,8 %53/493 | 12,1 %53/438 | 15,1 %8/53 |
| llms.txt: 200 s praznim odgovorom | 12,4 %61/493 | 1,4 %6/438 | 3,8 %2/53 |
| Sva četiri signala | 6,9 %34/493 | 7,8 %34/438 | 7,5 %4/53 |
07Za vaš webshop
Što provjeriti na svom webshopu
Sedam provjera koje vlasnik trgovine može napraviti sam, bez nove platforme. Nijedna ne jamči prikaz u AI odgovorima; uklanjaju prepreke koje smo izmjerili.
Pogledajte što vaš robots.txt kaže AI crawlerima
Otvorite /robots.txt svoje trgovine. Ako OAI-SearchBot, Claude-SearchBot i PerplexityBot nemaju vlastitu grupu, za njih vrijede pravila napisana za sve botove (User-agent: *). To je u redu ako ste tako odlučili.
Odvojite AI pretragu od treniranja modela
Operateri ih razdvajaju: OpenAI pretragu vodi preko OAI-SearchBota, a treniranje preko GPTBota; Anthropic preko Claude-SearchBota i ClaudeBota. Zabrana crawlera za treniranje ne mora zatvoriti AI pretragu.
Pregledajte dugačke popise blokiranih botova
Crawler s vlastitom grupom ne čita pravila za *. Ako robots.txt sadrži popis zabranjenih botova preuzet s interneta, provjerite nije li na njemu i AI tražilica koju želite, i ponovite u imenovanim grupama zabrane koje vrijede za sve (npr. košaricu).
Pitajte hosting što vatrozid radi s AI crawlerima
robots.txt ne pomaže ako vatrozid odbije zahtjev prije nego što crawler pročita stranicu. Perplexity u dokumentaciji opisuje kako svoje crawlere dopustiti u vatrozidu prema objavljenim IP rasponima.
Neka /robots.txt vraća 200 i običan tekst
Prema RFC 9309 greška 5xx ili nedostupna datoteka znači potpunu zabranu za sve crawlere, a 4xx znači da crawler smije sve. HTML stranica umjesto datoteke ne sadrži nijedno valjano pravilo. Dodajte i liniju Sitemap: s adresom mape stranica.
Recite strojevima tko ste: Organization ili OnlineStore
Na naslovnicu dodajte JSON-LD s nazivom, logom, adresom i kontaktom. Google navodi da mu ti podaci pomažu razumjeti organizaciju i razlikovati je u rezultatima, a OnlineStore je schema.org tip za webshop.
llms.txt samo ako ima sadržaj
Google navodi da Google Search ne koristi llms.txt ni slične AI datoteke; prijedlog je namijenjen agentima. Ako datoteku objavite, neka /llms.txt vraća stvaran tekst; prazan odgovor ili HTML stranica s kodom 200 ne pomažu.
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow: /kosarica/
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /
User-agent: *
Disallow: /kosarica/
Sitemap: https://example.com/sitemap.xml08Podaci
Preuzmite podatke
Jedan redak po domeni, sa stabilnim pseudonimom umjesto domene. Nema naziva trgovina, URL-ova, naslova stranica ni teksta robots.txt i llms.txt datoteka, a nazivi platformi, CDN-ova i dodataka su uklonjeni.
- JSONai-crawleri-2026.json537 redaka, opis svakog polja i skupine crawlera u zaglavlju.
- CSVai-crawleri-2026.csvIstih 537 redaka u ravnom obliku, UTF-8 sa zaglavljem.
FIN STUDIO (2026). AI crawleri i hrvatski webshopovi 2026. 537 domena, prikupljeno 24. rujna 2026. (19:19–19:59 UTC). Verzija 2026.1, CC BY 4.0. https://finstudio.hr/istrazivanje/ai-crawleri-hrvatski-webshopovi-2026
Izvori
Dokumentacija operatera i standardi, provjereno 25. rujna 2026.
- IETF: RFC 9309: Robots Exclusion Protocol
- OpenAI: Overview of OpenAI Crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity Crawlers
- Google: Google's common crawlers
- Google Search Central: Google's Guide to Optimizing for Generative AI Features on Google Search
- Google Search Central: Organization Schema Markup
- Schema.org: OnlineStore
- Common Crawl: CCBot
- Apple: About Applebot
- Meta: Meta Web Crawlers
- Amazon: About AmazonBot
- Bing Webmaster Tools: Which crawlers does Bing use?
- llmstxt.org: The /llms.txt file
09Promjene
Promjene i provjere
- 25. rujna 2026.Prva objava. Podaci prikupljeni 24. rujna 2026. Izvori operatera provjereni 25. rujna 2026.
Ispravke objavljujemo na ovoj stranici s datumom. Pravila su opisana u uredničkoj politici.
Pitanja o AI crawlerima
Smiju li AI tražilice čitati hrvatske webshopove?
98,2 % u okviru od 493 trgovine s čitljivom naslovnicom: OAI-SearchBot, Claude-SearchBot i PerplexityBot smjeli su čitati 484 od 493 trgovine, mjereno 24. rujna 2026. No barem jedan AI crawler imenovan je u samo 43 od 455 datoteka robots.txt, pa kod ostalih 412 AI crawleri slijede pravila napisana za sve botove.
Treba li webshopu llms.txt?
Nije nužan. Google navodi da Google Search ne koristi llms.txt ni slične AI datoteke; prijedlog je namijenjen agentima koji koriste stranicu. U našem okviru stvarnu llms.txt datoteku ima 53 od 493 trgovine (10,8 %), a kod 61 od 493 trgovine adresa /llms.txt vraća HTTP 200 s praznim odgovorom. Ako je objavite, neka sadrži stvaran tekst.
Mogu li blokirati treniranje AI modela, a ostati vidljiv u AI pretrazi?
Da, operateri to razdvajaju. OpenAI treniranje vodi preko GPTBota, a ChatGPT pretragu preko OAI-SearchBota; Anthropic ima ClaudeBot za treniranje i Claude-SearchBot za pretragu; Perplexity navodi da PerplexityBot ne služi treniranju modela. Od 32 trgovine koje blokiraju barem jedan crawler za treniranje, 23 i dalje puštaju sve tri AI tražilice.
Smijem li koristiti podatke o AI crawlerima?
Da. Podaci su objavljeni pod licencom CC BY 4.0: slobodno ih koristite, prerađujte i citirajte uz navođenje izvora „FIN STUDIO, AI crawleri i hrvatski webshopovi 2026”, s poveznicom na ovu stranicu. Podaci ne sadrže domene ni nazive trgovina.