Datoteka koja tražilicama daje upute koje dijelove web sjedišta smiju pretraživati, a koje ne.
Robots.txt (eng. robots.txt) je jednostavna datoteka u korijenu web sjedišta koja tražilicama daje upute koje dijelove smiju pretraživati, a koje ne.
Koristi se da se botovi usmjere na važan sadržaj, a da se izbjegne pretraživanje nevažnih ili privatnih dijelova.
Treba biti oprezan, jer pogrešna pravila mogu tražilicama slučajno blokirati važne stranice.
Zatražite kratku SEO analizu i saznajte gdje Vaša stranica gubi organski promet.
Zatražite analizu