Kratki vodič za pisanje datoteke Robots.txt

Jedini način da stupite u kontakt s paukom tražilice ili puzavac, je kroz datoteku tzv robots.txt. Ili bolje. Kada Googleu pošaljete prijedlog svoje web stranice, on se suočava s jednostavno ogromnom količinom informacija.

Kako pregledati udžbenik tako velik da se osjećate kao da nikada nećete pronaći sve što vam treba? Savjetujete se trag. Pa: datoteka robots.txt je indeks vaše web stranice.

Ovo je dokument koji se lako ispunjava i govori tražilici što treba tražiti. Ukratko: pomoći ćete mu da shvati od čega se sastoji vaša stranica, tako da vam algoritam može dati rang koji je u skladu s poslom koji ste obavili.

Može li itko napisati datoteku robots.txt?

Kratak odgovor je da. Iskren odgovor je ne. Iako je gramatika datoteke robots.txt iznimno jednostavna, a njezin sastav sastoji se od nekoliko redaka, bolje je osloniti se na brigu stručnog webmastera koji zna gdje treba staviti ruku. Naposljetku, dovoljna je mala pogreška da ugrozi pozicioniranje vaše web stranice i stoga zaustavi sve SEO operacije prije nego što uopće počnu.

Prije nego počnete, znajte jednu stvar: svatko može pregledati datoteku robots.txt bilo koje web stranice tako što će napisati /robots.txt nakon domene. Možete čak i konzultirati Google!

Takvu datoteku možete napisati bez preuzimanja posebnog softvera. Zapravo, dovoljno je koristiti notepad i spremiti, pogodite što, u .txt formatu.

Napišimo zajedno robots.txt: zaglavlje

Krenimo od početka, kao što je uvijek logično. Otvaranje datoteke, odnosno zaglavlje, u potpunosti je posvećeno imenu pauka, ispred kojeg stoji mali tekst koji je uvijek isti. Pretpostavimo da želite da vas Google primijeti. Dakle, prvi red će biti:

Korisnički agent: Googlebot

Ovaj vrlo kratki niz govori Googleu da će ga sve što slijedi sigurno zanimati. U slučaju da želite da svi alati za indeksiranje koji čitaju ovu vrstu datoteke mogu pregledati dokument, zamijenite Googlebot jednostavnim *, a zvjezdica.

Sada kada ste naznačili koji pauk, tj. TKO, morat ćete naznačiti također ŠTO će morati čitati.

Svaka linija koda, po definiciji, odgovara radnji stroja. Podrazumijeva se da svaka naredba u datoteci robots.txt odgovara onome što stroj ne bi trebao raditi. A ovo je ključ koji vam omogućuje da napišete stvarno učinkovit. Govorimo o naredbi DISALLOW.

Što je naredba DISALLOW?

Il zabrana naredbe omogućuje vam rasuđivanje isključivanjem. Drugim riječima, kad se kaže da je prvo reći što se ne smije raditi – pa, rezonirate isključivanjem. Osim zabrane postoji i dopuštenje, što je iznimka od blokade.

Ako želite napisati dobru robotsku datoteku, morat ćete razmišljati obrnuto, pa ćete morati reći Googleu što ne smije čitati. Ako napišete:

Disallow:

Pauk će pročitati cijelu vašu stranicu, bez ikakvih kočnica.

Ako iza “Disallow:” umetnete kosu crtu (dakle Disallow: /), stranica neće biti upisana u tražilice, točka.

Zabrani: /direktorij/

Zamijenite imenik riječi s mapom za koju želite da vam se zabrani prikaz pauka. Isto možete učiniti s određenom datotekom.

Zabrani: /myfile.html

PAŽNJA na interpunkcija i slova, velikim ili malim slovima. Ova vrsta datoteke visoko cijeni takve "sitnice", ali one čine veliku razliku.

Zašto biste spriječili Google da čita veliki dio vaše stranice? Kada pišete datoteku ove vrste, važno je razumjeti koje se datoteke ne bi trebale pojavljivati ​​na tražilici, ali bez zloupotrebe. Međutim, znajte da će svatko tko zna točnu adresu te datoteke u svakom slučaju moći pristupiti njoj.

Što je naredba ALLOW?

U datoteku možete dodati iznimku s naredbom OSTAVITE. Gramatika je identična, ali će stvoriti neke iznimke za DISALLOW što će omogućiti pauku otvaranje zanimljivih granica istraživanja.

Mala ogledna datoteka:

Korisnički agent: Googlebot

Zabrani: /slike/

Dopusti: /images/holidays.jpg

U osnovi smo rekli Googlebotu da ne uzima u obzir mapu sa slikama, osim određene fotografije unutar nje, točnije one s praznika.

I to je to, ljudi. Napisali smo našu prvu datoteku robots.txt. Naravno, ono što ćemo učiniti za stvarno mjesto moglo bi biti malo drugačije, ali ne puno. Ako ste u nedoumici, uvijek potražite savjet od specijaliziranog webmastera. Savjetujemo vam da ga prije svega pokušate sami napisati i pošaljete njemu na provjeru, kako biste savladali osnove i bolje razumjeli kako vaša stranica funkcionira.

Kakva je korelacija između datoteke robots.txt i karti web-lokacije?

Karta stranice je datoteka koju generiraju posebni dodaci koja sadrži sve poveznice na stranici. Kada pauk uđe na stranicu, prvo čita robote, a zatim indeksira stranicu. Ako tijekom indeksiranja robot pronađe adresu karte web mjesta, cijeli će proces biti puno lakši.

Dodajte sljedeće u gornji kod:

Mapa: http://www.ilnomedeltuositobellissimo.com/sitemap.xml

U zaključku

Sve robotske datoteke su iste. To znači da će Robots datoteka napisana za Google također dobro funkcionirati za Bing i slijedi istu gramatiku.

Dobro organizirana datoteka robots.txt omogućuje vam da uštedite vrijeme indeksiranja. Nemojte se obeshrabriti: ovo je prvi korak prema uspjehu!