Šta je robots.txt
Robots.txt je tekstualni fajl u korenu sajta, na adresi „vas-sajt.rs/robots.txt“, u kome se botovima pretraživača kaže koje delove sajta smeju da čitaju. Pretraživači ga proveravaju pre nego što počnu da pretražuju sajt. Fajl je javan, i svako može da ga otvori.
Najjednostavniji robots.txt dozvoljava sve i pokazuje gde je sitemap:
User-agent: *
Allow: /
Sitemap: https://vas-sajt.rs/sitemap.xmlŠta robots.txt nije
Najčešći nesporazum je da robots.txt uklanja stranice iz pretrage. Ne uklanja. On zabranjuje botu da pročita stranicu, ali ako na tu stranicu vode linkovi, Google može da je prikaže u rezultatima, samo bez opisa. Ako želite da stranica ne bude u pretrazi, ona mora da bude dostupna botu i da ima oznaku „noindex“. Ako je istovremeno blokirana u robots.txt, Google nikad neće videti noindex.
Robots.txt nije ni bezbednosna mera. Navođenje „/admin/“ u robots.txt samo govori svima gde je administracija.
Kada blokirati delove sajta
Blokiranje ima smisla za delove sajta koji troše vreme pretraživača, a nemaju vrednost u pretrazi:
- rezultate interne pretrage,
- korpu, plaćanje i korisnički nalog u web prodavnici,
- beskonačne kombinacije filtera i sortiranja, ako nisu rešene na drugi način,
- tehničke putanje sistema koje nemaju sadržaj za korisnike.
Greške koje viđamo
„Disallow: /“ zaostao sa razvojne verzije
Tokom izrade sajta, razvojna verzija se zatvara jednom linijom koja blokira sve. Kada sajt ode u produkciju, linija ostane. Sajt je lep, radi, a Google ga ne vidi. Ovo je prva stvar koju proveravamo posle svakog redizajna.
Blokirani CSS i JavaScript
Stariji saveti su preporučivali blokiranje foldera sa skriptama i stilovima. Danas Google prikazuje stranicu kao pregledač, i ako ne može da učita stilove i skripte, vidi pokvarenu stranicu.
Blokirane stranice sa noindex oznakom
Kao što je rečeno, Google ne može da vidi noindex na stranici koju ne sme da pročita.
Pogrešna velika i mala slova i putanje
Pravila u robots.txt razlikuju velika i mala slova i tačno prate putanju. „/Blog/“ i „/blog/“ nisu isto.
Robots.txt i AI botovi
Pored Google-a i Bing-a, sajtove danas čitaju i botovi AI kompanija. Neki od njih prikupljaju sadržaj za treniranje modela, a neki pretražuju u realnom vremenu kada korisnik postavi pitanje. Svaki ima svoje ime koje se može navesti u robots.txt. Za firme koje žele da ih AI asistenti pominju i preporučuju, blokiranje ovih botova obično nije dobra ideja. Više o tome pišemo na stranici GEO optimizacija.
Kako proveriti
Otvorite „vas-sajt.rs/robots.txt“ u pregledaču i pročitajte ga. Ako vidite „Disallow: /“ ispod „User-agent: *“, sajt je zatvoren. U Google Search Console postoji izveštaj o robots.txt fajlu koji pokazuje da li ga Google uspešno čita i kada ga je poslednji put proverio. Provera robots.txt je deo svakog tehničkog SEO pregleda.
