Robots.txt so datoteke, ki jih ustvarjalci strani uporabljajo za posredovanje navodil spletnim pajkom. Imenujemo jih tudi protokol za izključevanje spletnih pajkov (ang. The Robots Exclusion Protocol). Uporaba Robots.txt Služijo kot datoteke, kamor zabeležimo, katere...

