Categories: Çeşitli

Robots.txt nedir ve nasıl kullanılır?

Robots.txt nedir?

Arama motorları, kullanıcıların yeni bir bilgi aradıklarında bilgiye ulaştıkları ve sorguladıkları bir araçtır. Web sitelerimizin arama motorlarında üst sıralarda yer alması, belirlediğimiz anahtar kelimelerde gösterilmesi, sitelerimizin için en iyi trafik kaynaklardan birisidir. Arama motorları sitelerimizi tararken örümcek (web spider) ismi verilen botları kullanır. Botlar sitelerimizi taradıktan sonra arama motorları da web sitelerimizi dizinlerine eklerler.

robots.txt Robots Exclusion Protocol (Robots Dışlama Protokolü) ismi verilen, bu botları dışlamak için kullanılan bir metin dosyasıdır. Arama motorlarının botlarına, hangi içeriğin taranacağını veya taranmayacağını bu metin dosyası ile bildiririz.

Robots.txt nasıl kullanılır?

Robots.txt dosyasında tüm botlara izin vermek için bir parametre yazılır ve genel kullanımı şu şekildedir;

User-agent: *

Bu girdi ile internet üzerinde çalışan tüm arama motorları botlarına izin vermiş oluruz.

Arama motorlarının botları web sitemizi ziyaret ettiğinde, web sitemizde ulaşılabilen tüm linkleri kendi dizinlerine eklerler. Web sitemizde arama motorlarının dizine eklenmemesini istediğimiz bir klasör veya link var ise aşağıdaki şekilde kapatabiliriz;

User-agent: *

Disallow: /gizli_klasor

Yukarıdaki ibare tüm arama motorlarına “gizli_klasor” adlı klasörün taranmamasını söyler. Robots.txt bir protokoldür, siz bunu yazdığınızda farklı arama motorları (mj12bot gibi) yine de klasörü dizinlerine ekleyebilir.

Arama motorlarına engellemek;

Arama motorlarının tümünü engellemek istediğimizde aşağıdaki ifadeyi robots.txt dosyamıza yazarız.

User-agent: *

Disallow: /

Belli bir arama motorunu engellemek istiyorsak, botun User-agent bilgisini robots.txt’ye yazarız.

User-agent: Googlebot

Disallow: /

veya

User-agent: bingbot
Disallow: /

robots.txt özellikle web tasarım ve web design işlemlerinde önemli bir yer tutar ve yanlış yapılandırılmış robots.txt arama motorlarında yer almamanıza yol açabilir.

pendc

Share
Published by
pendc

Recent Posts

MySQL ve MariaDB Arasındaki Temel Farklar

Veritabanını seçmenin performans, lisans ve güvenlik gibi konularda yarattığı zorlukları biliyoruz. Bu seçimi kolaylaştırmak için,…

1 hafta ago

Proxmox’da Otomatik Snapshot Nasıl Alınır?

Snapshot Nedir? Snapshot, bir sanal sunucunun (VM) mevcut çalışma hali, disk yapısı ve yapılandırmasının o…

1 hafta ago

Proxmox VE 8.4’ten 9’a Nasıl Geçilir?

Sunucu yönetiminde yeni sürümlere geçiş, her zaman iş sürekliliği için kritik bir adımdır. Proxmox VE…

1 hafta ago

Zabbix ile VMware vSphere İzleme Nasıl Yapılır ?

Sanallaştırma ortamlarında en çok kullanılan platformlardan biri VMware vSphere’dir. Ancak sistem doğru izlenmezse performans sorunları,…

3 hafta ago

VMware vSphere Foundation 9.0 Beta Sürümü Yayında

IT ekiplerinin karşılaştığı en büyük sorunlardan biri, farklı araç ve sistemler yüzünden operasyonların karmaşık hale…

3 hafta ago

Fidye Yazılımı Saldırılarından Korunma

Fidye Yazılımı Saldırısı Nedir? Fidye yazılımı saldırısı (ransomware) kötü niyetli kişilerin, belirli bir sistemin, dosyalarını…

3 ay ago