Web sitenizin arama motorları tarafından nasıl taranacağını kontrol altına almak istiyorsanız, robots.txt dosyası en temel araçlardan biridir. Bu rehberde, robots.txt’nin ne olduğu, nasıl oluşturulacağı, örnek kullanım senaryoları ve SEO açısından dikkat edilmesi gereken noktaları detaylı şekilde ele alacağız.
Robots.txt Nedir?
Robots.txt, bir web sitesinin kök dizininde yer alan ve arama motoru botlarına (örümceklerine) hangi sayfaların veya dizinlerin taranabileceğini ya da taranamaması gerektiğini bildiren bir metin dosyasıdır.
Dosya adı küçük harflerle yazılır: robots.txt.
Yerleşim yeri sabittir: https://www.orneksite.com/robots.txt
Robots.txt Ne İşe Yarar?
- Belirli sayfaların veya dizinlerin arama motorları tarafından taranmasını engeller.
- Sunucu kaynaklarının gereksiz yere tüketilmesini önler.
- Özel veya düşük kaliteli sayfaların Google dizinine girmesini engeller.
- Tarama bütçesini daha verimli kullanarak önemli sayfaların daha sık taranmasını sağlar.
Robots.txt Nasıl Oluşturulur?
- Düz metin dosyası oluşturun.
Notepad veya benzeri bir metin editörü kullanarak oluşturabilirsiniz. - Temel sözdizimini öğrenin.
Robots.txt şu iki temel bileşenden oluşur:User-agent: Hangi arama motoru botunu hedeflediğinizi belirtir.Disallow: Hangi dizin veya sayfaların taranmasını istemediğinizi belirtir.
User-agent: * Disallow: /admin/ - İsteğe göre Allow ve Sitemap satırları ekleyin.
Allow: Özellikle izin verilecek sayfaları belirtir.Sitemap: XML site haritasının yolunu belirtir.
User-agent: * Disallow: /gizli/ Allow: /gizli/açik.html Sitemap: https://www.orneksite.com/sitemap.xml - UTF-8 formatında kaydedin.
Dosyayırobots.txtadıyla kaydedin ve UTF-8 karakter kodlamasıyla yükleyin. - Web sitenizin kök dizinine yükleyin.
Genellikle/public_html/veya/www/klasörüne yerleştirilir.
Robots.txt Örnekleri
Tüm botlara her şeyi serbest bırakmak:
makefileKopyalaDüzenleUser-agent: *
Disallow:
Tüm botlara her şeyi engellemek:
makefileKopyalaDüzenleUser-agent: *
Disallow: /
Sadece belirli bir botu engellemek (örneğin Bingbot):
makefileKopyalaDüzenleUser-agent: Bingbot
Disallow: /
Googlebot’a özel kurallar:
makefileKopyalaDüzenleUser-agent: Googlebot
Disallow: /test/
Allow: /test/açik.html
SEO Açısından Dikkat Edilmesi Gerekenler
- Disallow edilen sayfalar indekslenebilir.
Robots.txt sadece taramayı engeller, indekslemeyi değil. Eğer sayfa başka sitelerden link alıyorsa, Google bu sayfayı indeksleyebilir. noindexetiketi robots.txt ile çelişebilir.
Tarama engellenmişse, Google sayfaya erişemez ve noindex etiketini göremez. Bu nedenle hassas sayfaları hem noindex ile etiketleyin hem de taramaya açık bırakın.- 404 sayfaları veya geçici sayfalar için robots.txt kullanmayın.
Bu tür sayfalar zaten düşük öneme sahiptir ve robots.txt ile uğraşmanıza gerek yoktur. - JavaScript ve CSS dosyalarını engellemeyin.
Google sayfa yapısını anlamak için bu dosyalara ihtiyaç duyar. Tarama engellenirse sayfa yapısı yanlış anlaşılabilir.
Robots.txt Kontrol Araçları
- Google Search Console > Ayarlar > Robots.txt Test Aracı (eski özelliklerde yer alıyordu, şu an desteklenmiyor ama 3. parti araçlar kullanılabilir)
- Ücretsiz test araçları:
- https://technicalseo.com/tools/robots-txt/
- https://www.ryte.com/free-tools/robots-txt/
Sık Yapılan Hatalar
Disallow: /ifadesiyle tüm siteyi yanlışlıkla arama motorlarına kapatmak.- Taramaya kapalı sayfalara
noindexetiketi koyarak etkisiz bir çözüm uygulamak. - Sitemap URL’sini eklememek.
- Hatalı sözdizimi kullanmak (boşluk, karakter hataları).
Robots.txt, arama motorlarıyla iletişim kurmanın en yalın ve etkili yollarından biridir. Ancak yanlış kullanıldığında ciddi SEO sorunlarına yol açabilir. Bu nedenle dikkatli yapılandırılmalı, test edilmeli ve düzenli olarak güncellenmelidir.