Robots.txt Dosyası
Robots.txt, web sitenizin kök dizininde bulunan ve arama motoru botlarına (Google, Yandex, Bing vb.) sitenizin hangi bölümlerini tarayıp hangi bölümlerini görmezden gelmeleri gerektiğini söyleyen bir kılavuz dosyadır. Doğru yapılandırılmış bir Robots.txt dosyası, sitenizin SEO performansını artırırken tarama bütçenizi (crawl budget) daha verimli kullanmanızı sağlar.
Robots.txt ayarlarına erişmek için: Ayarlar > Pazarlama ve Doğrulama > Robots.txt yolunu izleyin.
Robots.txt Ne İşe Yarar?
- Tarama Kontrolü: Botların sitenizi nasıl tarayacağını yönlendirir.
- Gereksiz Sayfaları Engelleme: Sepet, ödeme sayfası, üyelik paneli veya filtreli arama sonuçları gibi arama sonuçlarında çıkması anlamsız olan sayfaların taranmasını engeller.
- Sunucu Yükünü Yönetme: Botların gereksiz dosyaları tarayarak sunucunuzu yormasının önüne geçer.
- Gizlilik ve Güvenlik: Yönetim paneli (/admin) veya sistem dosyaları gibi kritik klasörlerin botlar tarafından keşfedilmesini zorlaştırır.
Temel Komutlar ve Kullanım Örnekleri
Robots.txt dosyasında en sık kullanılan komutlar şunlardır:
- User-agent: Komutun hangi bot için geçerli olduğunu belirtir (Tüm botlar için * kullanılır).
- Disallow: Tarama izni verilmeyecek olan dizin veya sayfayı belirtir.
- Allow: Disallow edilen bir klasör içinde taranmasına izin verilen özel bir istisnayı belirtir.
- Sitemap: Botlara sitenizin XML haritasının nerede olduğunu gösterir.
Örnek Bir Yapılandırma:
User-agent: *
Allow: /siteadresiniz.com/
Allow: /hakkimizda
Disallow: /uye*
Disallow: /sepet*
Disallow: /arama*
Disallow: /cerez-politikasi
Disallow: /gizlilik-ve-guvenlik
Disallow: /iptal-ve-iade-sartlari
Disallow: /uyelik-kurallari
Disallow: /kvkk-politikasi
Disallow: /siparis-on-bilgilendirme-kurallari
Disallow: /mesafeli-satis-sozlesmesi
Disallow: /ticari-elektronik-ileti-izni-aydinlatma-metni
Disallow: /sss
Disallow: /siparis-takip
Disallow: /havale-bildirimleri