Besedilna datoteka, shranjena na strežniku spletnega mesta, ki komunicira z iskalnimi pajki. Robotom za indeksiranje (pajki) je povedano, katere datoteke in mape so lahko ogledane in katere ne. Robots.txt lahko indeksirane strani spletnega skrbnika omeji na želene strani.