Robots.txt Dosyası

Robots.txt, web sitenizin kök dizinine yerleştirilen bir düz metin dosyasıdır. Arama motoru botlarına (örneğin Googlebot, Bingbot) sitenizde hangi sayfalara erişip hangilerine erişemeyeceklerini bildirir. Bu dosya SEO, güvenlik ve sunucu yükünü yönetmek için kritik bir araçtır.

Robots.txt Ne İşe Yarar?

Arama motoru botlarının sitenizi tarama davranışını yönlendirir.
Hangi klasör veya sayfaların taranmasını istediğinizi veya istemediğinizi belirtmenizi sağlar.
Sunucu yükünü azaltır ve gereksiz sayfaların taranmasını engeller.
Özel alanların gizliliğini korur (ör. /admin, /cart, /checkout gibi kullanıcıya özel sayfalar).
Yinelenen içeriklerin taranmasını önler; filtrelenmiş URL’ler arama motorlarında sıralama sorunlarına yol açabilir.

Örnek Kullanımlar

Disallow: Tarama izni verilmeyen dizin veya sayfa.
Allow: Disallow edilen klasörde istisna yapılacak sayfa veya dosya.
Sitemap: XML site haritasının yolu belirtilir.

Kurulum ve Kullanım

Durum: Robots.txt kullanımını aktif etmelisiniz.
Robots.txt İçeriği: Bu alana girmek istediğiniz metin veya kodu yazınız.