Home » Izdelava spletnih strani » Optimizacija strani » Besedilo v jeziku robotov – robots.txt

Besedilo v jeziku robotov – robots.txt

Robots.txt so datoteke, ki jih ustvarjalci strani uporabljajo za posredovanje navodil spletnim pajkom. Imenujemo jih tudi protokol za izključevanje spletnih pajkov (ang. The Robots Exclusion Protocol).

Robots-txtZakaj jih uporabljamo?
Služijo kot datoteke, kamor zabeležimo, katere mape in direktorije naj pajki ignorirajo v procesu indeksiranja. Če teh datotek ni v sklopu spletne strani, pajki sklepajo, da zanje ni nobenih posebnih navodil.

Navodila v obliki besedila za pajke se ustvari na osnovni domeni in končnico /robots.txt. Kliknite na povezavo na našo spletno stran za izdelavo spletnih strani za primer.


Kako deluje?

Ko želi iskalni pajek obiskati spletno stran, vzemimo http://spletnik.si, najprej preveri povezavo spletnik.si/robots.txt, kjer najde:

User-agent: *              * pomeni, da se ta navodila nanašajo na vse pajke
Disallow:                          brez oznake pomeni popoln dostop do vseh map in direktorijev


Pomembno:

– pajki lahko ignorirajo vaše datoteke /robots.txt –iskalni pajki, ki pregledujejo splet iz varnostnih razlogov,
– /robots.txt so javno vidne datoteke, zato lahko vsak vidi, katere sekcije strani želite prikriti pajkom; zato ne uporabljajte teh datotek za skrivanje informacij.


Kam jih shranimo?

Ko pajki iščejo robots.txt datoteke, izbrišejo vse znake do prve poševnice (če ta obstaja znotraj URL-ja) in dodajo robots.txt. To izgleda nekako tako: www.primer.si/trgovina/copati → Pajki bodo odstranili trgovine/copati, kar privede do takšnega URL naslova: www.primer.si/robots.txt. Torej te datoteke morate umestiti na server na takšno mesto, da bo to delovalo. Običajno je to tam, kjer dodate tudi domačo stran, je pa seveda odvisno od serverja.


Primeri zapisov

Znotraj teh datotek za iskalne robote lahko komunicirate različno:


Preprečiti vsem pajkom celoten dostop:

User-agent: *
Disallow: /


Omogočiti vsem pajkom celoten dostop:

User-agent: *
Disallow:
(ali preprosto pustite prazno datoteko ali robots.txt ne uporabite)


Izključiti vsem pajkom dostop do delov na serverju:

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /junk/


Onemogočiti dostop določenemu pajku:

User-agent: BadBot
Disallow: /


Omogočiti le enemu pajku:

User-agent: Google
Disallow: /
Govorili smo že, kako pomembna je tekstovna vsebina na spletni strani za optimizacijo strani. Robots.txt so še en dokaz, kako pomembno je z besedilom komunicirati s pajki. Le na tak način bomo lahko pajkom postavili prave meje, da ne bodo po svoje hiteli po naših straneh.
Se ne znajdete sami v komunikaciji s pajki? Pišite nam, mi bomo poiskali prave besede.
Lep dan!

Spletnik marketing

 

Leave a Reply

Your email address will not be published. Required fields are marked *

*