Robots.txt Generator
Pravi čist robots.txt fajl za par sekundi. Reci pretraživačima koje dijelove sajta mogu crawl-ovati a koje da preskoče.
STEP 1
Allow-all ili restricted
Većina sajtova želi sve otvoreno osim admin područja.
STEP 2
Opciono putanje za disallow
Jedna po liniji.
STEP 3
Sitemap URL
Kritično za indeksiranje.
Napravi robots.txt
Frequently asked questions
Gdje stavljam robots.txt?
U root sajta, dostupno na https://tvojsajt.com/robots.txt. Podfolderi ne rade.
Da li robots.txt sprječava indeksiranje?
Ne. Sprječava crawling. Stranica blokirana u robots.txt može još biti indeksirana ako Google nadje link drugdje. Za sprječavanje indeksiranja koristi meta robots noindex.
Trebam li Crawl-delay?
Obično ne. Google ga ignoriše. Samo neki crawleri ga poštuju.
Razlika između Allow i Disallow?
Disallow blokira putanju. Allow eksplicitno dozvoljava. Allow je koristan za izuzetke unutar blokiranog direktorija.