Bir SEO Danışmanı ya da kendi web sitesine SEO çalışması yapmaya çalışan biri olabilirsiniz. Her iki seçenek için de geçerli bir durum söz konusudur, kavramları tanımak! Bu makalemizde çoğu kişinin merak ettiği, Robots.txt nedir ? Nasıl oluşturulur ? Sorularına çözüm bulacağız.
Yazımızda Neler Var ?
Robots.txt nedir ?
Bu aslında basit bir metin belgesinden ibarettir. Bizler bu metin belgesi içerisine komutlar eklemekteyiz. Robots.txt dosyamız, arama motoru robotlarına ilgili siteleri nasıl tarayacağını ifade etmektedir. Web adresimizi nasıl tarayacağını ve ilgili içeriklerimize erişme şeklini düzenleyen robot dışlama protokolünün çekirdeğidir.
Robots.txt dosyamız ile web adresimizin ya da sayfamızın hangi arama motorları tarafından taranıp taranmayacağına manuel olarak karar verebilmekteyiz. Sanıyorum kafanızda bir şeyler şekillenmeye başladı. O halde bu dosyanın işleyiş mantığından söz etmeye başlayalım.
Robots.txt İşleyiş Mantığı
Arama motorları, siteleri tararken bağlantıları takip ederler. Google’ın örümceğini hiç duymadınız mı? Bu örümcekler, bir web sitesine geldikleri zaman öncelikli olarak, Robots.txt dosyası ararlar. Bu dosyamız sayesinde ise web örümcekleri, önce onu okuyacaktır. Eğer bu dosyamız yok ise web sitemizi taramaya devam edecektir.
Bu türden bir dosyaya sahipsek bunu sitemizin dizinine aktarmamız gerekir. FTP (File Transfer Protocol – Dosya Transfer Protokolü) dosyamıza aktarmalıyız. FTP istemcisi olarak FileZilla ‘yı kullanabilirsiniz.
Arama motorlarının, sitemizde belirli dosyaları, sayfaları ya da kategorileri indexlemesini engelleyebiliriz.
Bir Robots.txt dosyasına sahip olmadığımızı kontrol etmenin kolay bir yolu var. İlgili sitenin, yalnızca alan adını yazıp sonuna, /robots.txt yazmamız bize bu merakımızı gidermeyi sağlayacaktır. Örneğin Weberro için,
weberro.com/robots.txt
Bunu tarayıcımızın, URL kısmına yazıp aratmalıyız. Herhangi bir .txt sayfası ile karşılaşmazsak bu türden bir dosyamızın olmadığını anlayabiliriz.
Web sitemizde hiçbir sayfayı indexe (arama sonuçlarına) kapatmak istemezsek bu dosyaya ihtiyacımız olmayabilir. Bu tamamen siz webmaster’ların stratejisine kalmış bir durumdur.
Nasıl Oluşturulur?
Bir Robots.txt dosyanız yoksa ya da var ama güncellemek istiyorsanız, şimdi bunun ne kadar kolay olduğunu göreceksiniz.
Öncelikle bir tane düz metin dosyası (.txt) oluşturalım. Bu dosyamızın ismi ise Robots.txt olmalıdır. Buradaki .txt metin belgesinin uzantısıdır. Dolayısıyla bu dosyamıza bu ismi yazmamız yeterli olacaktır. Bu dosyayı oluşturduktan sonra içerisine girelim. Ben aşağıda örnek olması açısından 3 farklı senaryo aktaracağım.
1. Senaryo
User-agent: * Allow: /
2. Senaryo
User-agent: * Disallow /
3. Senaryo
User-agent: * Disallow: /hakkimda Disallow: /iletisim
Şimdi ilk senaryomuzda arama motoru botları sitenin tamamına erişebilir ve dizinine ekleyebilir. İkinci senaryoda ise arama motoru botları, sitemizin taranmasını tümü ile reddedecektir. Üçüncü senaryomuzda ise arama motorları, ilgili web adresindeki, hakkımda ve iletişim sayfası hariç tüm sayfaları tarayacaktır.
Bu senaryoyu genişletmek size kalmış bir durumdur. Ancak işin genel mantığı bu yöndedir.
Bir Örnek Oluşturalım
Dosyamızı hemen beraber oluşturalım. Hemen masaüstüne sağ tıklayıp metin belgesi (.txt) oluşturdum. İsmini ise Robots.txt olarak kayıt ettim. Ancak dosya uzantılarını göremiyorsanız öncelikle bunu açmanı gerekir. Ardından içerisine girdim ve hakkımda sayfasının taranmasına gerek olmadığını düşündüğüm için bunu engellemek istedim. O halde şöyle yazmalıyım,
User-agent: * Disallow: /hakkimda
Ardından bu dosyayı kayıt ettim. En son işlem olarak FTP’ ye aktardım ve işlem bu kadar. FTP’ye nasıl atarım? Diyorsanız bunu da hemen aktarayım. FileZilla, isminde ücretsiz bir program var. Bunu indirip kök dizinimize ulaşabiliriz. Tam olarak public_html dosyasına Robots.txt dosyamızı ekleriz. Tarayıcıyı açarak URL kısmına weberro.com/robots.txt yazıp kontrol ederim. Bir yanlışlık varsa dosyamı güncellerim.
BONUS
Bonus bilgi olarak şunu eklemek istiyorum. Robots.txt dosyanızın en altına SiteMap yani Site Haritanızı ekleyiniz. Bu çeşitli otoriteler tarafından önerilmektedir. Ayrıca Google’da kendi sitesinde önermektedir. Hemen bir örnek aktaralım,
User-agent: * Disallow: /wp-admin/ Sitemap: https://weberro.com/sitemap.xml
Şeklinde oluşturmanızı öneririm.
