Robots.txt
Soubor robots.txt dává pokyny robotům vyhledávačů, které webové stránky a sekce mohou nebo nemohou procházet a indexovat. Tento soubor se nachází v kořenovém adresáři webu (nejvyšší složce v souborovém systému) a reguluje, jak by se roboti vyhledávačů měli chovat při procházení a indexování webu. Kromě informací o indexování webu soubor robots.txt obsahuje i URL adresu na XML sitemapu web.
Solidpixels generuje robots.txt automaticky pro každý web.