Robots.txt nedir ve nasıl kullanılır?

Robots.txt nedir?

Arama motorları, kullanıcıların yeni bir bilgi aradıklarında bilgiye ulaştıkları ve sorguladıkları bir araçtır. Web sitelerimizin arama motorlarında üst sıralarda yer alması, belirlediğimiz anahtar kelimelerde gösterilmesi, sitelerimizin için en iyi trafik kaynaklardan birisidir. Arama motorları sitelerimizi tararken örümcek (web spider) ismi verilen botları kullanır. Botlar sitelerimizi taradıktan sonra arama motorları da web sitelerimizi dizinlerine eklerler.

robots.txt Robots Exclusion Protocol (Robots Dışlama Protokolü) ismi verilen, bu botları dışlamak için kullanılan bir metin dosyasıdır. Arama motorlarının botlarına, hangi içeriğin taranacağını veya taranmayacağını bu metin dosyası ile bildiririz.

Robots.txt nasıl kullanılır?

Robots.txt dosyasında tüm botlara izin vermek için bir parametre yazılır ve genel kullanımı şu şekildedir;

User-agent: *

Bu girdi ile internet üzerinde çalışan tüm arama motorları botlarına izin vermiş oluruz.

Arama motorlarının botları web sitemizi ziyaret ettiğinde, web sitemizde ulaşılabilen tüm linkleri kendi dizinlerine eklerler. Web sitemizde arama motorlarının dizine eklenmemesini istediğimiz bir klasör veya link var ise aşağıdaki şekilde kapatabiliriz;

User-agent: *

Disallow: /gizli_klasor

Yukarıdaki ibare tüm arama motorlarına “gizli_klasor” adlı klasörün taranmamasını söyler. Robots.txt bir protokoldür, siz bunu yazdığınızda farklı arama motorları (mj12bot gibi) yine de klasörü dizinlerine ekleyebilir.

Arama motorlarına engellemek;

Arama motorlarının tümünü engellemek istediğimizde aşağıdaki ifadeyi robots.txt dosyamıza yazarız.

User-agent: *

Disallow: /

Belli bir arama motorunu engellemek istiyorsak, botun User-agent bilgisini robots.txt’ye yazarız.

User-agent: Googlebot

Disallow: /

veya

User-agent: bingbot
Disallow: /

robots.txt özellikle web tasarım ve web design işlemlerinde önemli bir yer tutar ve yanlış yapılandırılmış robots.txt arama motorlarında yer almamanıza yol açabilir.