robots.txt Nedir?

robots.txt, web sitenizin kök dizininde bulunan ve arama motoru botlarına (Googlebot, Bingbot gibi) sitenizin hangi bölümlerini tarayabileceklerini, hangilerini taramamaları gerektiğini söyleyen düz metin bir dosyadır. Adresine https://www.siteniz.com/robots.txt yazarak her sitenin robots.txt'sine ulaşabilirsiniz.

Bu dosya bir "kapı görevlisi" gibi düşünülebilir: botlara nezaketen rehberlik eder. Ancak unutulmaması gereken önemli bir nokta vardır; robots.txt bir güvenlik aracı değildir. Bir sayfayı buradan engellemek onun Google'da hiç görünmeyeceği anlamına gelmez ve gizli kalmasını da garanti etmez.

robots.txt Ne İşe Yarar?

robots.txt'nin başlıca amacı, arama motorlarının tarama bütçesini verimli kullanmasını sağlamaktır. Yönetim panelleri, arama sonuç sayfaları, sepet ve ödeme sayfaları gibi SEO açısından değersiz alanları taramaya kapatarak, botların asıl önemli içeriğinize odaklanmasını sağlarsınız. Ayrıca site haritanızın adresini bu dosyada belirterek arama motorlarının haritanızı kolayca bulmasına yardımcı olursunuz.

robots.txt Temel Komutları

Dosya, basit komutlardan oluşur:

  • User-agent: Komutların hangi bota uygulanacağını belirtir. * işareti "tüm botlar" anlamına gelir.
  • Disallow: Belirtilen yolun taranmasını engeller.
  • Allow: Engellenen bir klasörün içindeki belirli bir yola izin verir.
  • Sitemap: Site haritanızın tam adresini bildirir.

Örnek robots.txt Dosyaları

Standart bir WordPress sitesi için önerilen yapı:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.siteniz.com/sitemap_index.xml

Bu yapı, yönetim panelini taramaya kapatırken temaların ve eklentilerin düzgün çalışması için gerekli olan admin-ajax.php dosyasına izin verir.

Tüm siteyi taramaya açan en basit yapı:

User-agent: *
Disallow:

Buradaki boş Disallow komutu "hiçbir şeyi engelleme" anlamına gelir.

Dikkat — tüm siteyi engelleyen tehlikeli yapı:

User-agent: *
Disallow: /

Tek bir / işareti, tüm sitenizin taranmasını engeller. Bu satır yanlışlıkla eklendiğinde sitenizin Google'dan tamamen düşmesine yol açar; bu yüzden çok dikkatli olun.

robots.txt Nasıl Oluşturulur?

WordPress'te

WordPress varsayılan olarak sanal bir robots.txt üretir. Yoast SEO veya Rank Math eklentisinin "Araçlar > Dosya Düzenleyici" bölümünden bu dosyayı görüntüleyip düzenleyebilirsiniz. Eklenti, değişiklikleri sizin için kaydeder ve doğru konuma yerleştirir.

Elle Oluşturma

Not Defteri gibi bir metin editörü açın, komutları yazın ve dosyayı robots.txt adıyla (uzantısı .txt olacak şekilde) kaydedin. Ardından FTP veya hosting dosya yöneticisiyle sitenizin kök dizinine (public_html) yükleyin. Dosya mutlaka kökte olmalıdır; alt klasördeki bir robots.txt geçersiz sayılır.

robots.txt'yi Test Etme

Dosyanızı yayınladıktan sonra Google Search Console'daki robots.txt Test Aracı ile söz diziminizi kontrol edin. Bu araç, hatalı komutları ve yanlışlıkla engellediğiniz önemli sayfaları size gösterir. Yayına almadan önce mutlaka test etmenizi öneririz; çünkü küçük bir yazım hatası bile sitenizin tamamını arama sonuçlarından düşürebilir.

robots.txt ve SEO İlişkisi

robots.txt'nin SEO'daki rolü çoğu zaman yanlış anlaşılır. Bu dosya sıralamanızı doğrudan yükseltmez; asıl işlevi tarama bütçesini (crawl budget) yönetmektir. Google, her siteye sınırlı bir tarama kaynağı ayırır. Eğer botlar zamanlarını filtreli arama sonuçları, sonsuz takvim sayfaları veya yönetim alanları gibi değersiz adreslerde harcarsa, asıl önemli içeriğiniz daha geç taranır. Doğru yapılandırılmış bir robots.txt, botları değerli sayfalara yönlendirerek dolaylı bir SEO avantajı sağlar.

Özellikle büyük e-ticaret siteleri için bu kritik bir konudur. Renk, beden ve sıralama filtrelerinin oluşturduğu sayısız parametreli URL, tarama bütçesini hızla tüketebilir. Bu tür parametreli adresleri robots.txt ile yönetmek, sitenizin verimli taranmasını sağlar.

Gelişmiş Kullanım Örnekleri

Temel komutların ötesinde bazı kullanışlı kalıplar vardır. Belirli bir dosya türünü engellemek için kalıp (wildcard) kullanabilirsiniz:

User-agent: *
Disallow: /*.pdf$

Bu komut, tüm PDF dosyalarının taranmasını engeller. Belirli bir parametreyi içeren adresleri engellemek için:

Disallow: /*?filtre=

Farklı botlara farklı kurallar da tanımlayabilirsiniz. Örneğin yalnızca bir görsel botunu engellemek isterseniz ilgili "User-agent" satırını hedeflersiniz. Ancak unutmayın: kurallar yukarıdan aşağıya değil, en spesifik eşleşmeye göre uygulanır ve bir hata tüm sitenizi etkileyebilir. Bu yüzden gelişmiş kuralları yayına almadan önce mutlaka test aracında deneyin.

robots.txt Yönetiminde Dikkat Edilmesi Gerekenler

robots.txt güçlü bir dosyadır ve doğru kullanıldığında sitenizin verimli taranmasını sağlar; ancak yanlış bir satır tüm görünürlüğünüzü tehlikeye atabilir. Bu yüzden birkaç temel kurala uymak gerekir: dosyayı her zaman kök dizinde tutun, engellemek istediğiniz yolları net belirtin, site haritanızın adresini eklemeyi unutmayın ve her değişiklikten sonra mutlaka test aracıyla doğrulayın. Engellediğiniz bir sayfanın aramada tamamen kaybolmasını istiyorsanız robots.txt yerine noindex etiketi kullanmanız gerektiğini de aklınızda tutun.

Sıkça Sorulan Sorular (SSS)

robots.txt bir güvenlik aracı mıdır?

Hayır. robots.txt yalnızca botlara nezaketen rehberlik eder ve bir güvenlik aracı değildir. Bir sayfayı buradan engellemek, onun gizli kalacağını ya da Google'da hiç görünmeyeceğini garanti etmez. Gerçek koruma için parola veya noindex gibi yöntemler gerekir.

robots.txt dosyası nerede bulunmalıdır?

Dosya mutlaka sitenizin kök dizininde (public_html) bulunmalı ve https://www.siteniz.com/robots.txt adresinden erişilebilmelidir. Alt klasördeki bir robots.txt geçersiz sayılır.

robots.txt sıralamamı yükseltir mi?

Doğrudan yükseltmez. Asıl işlevi tarama bütçesini yönetmektir. Botları değersiz sayfalardan uzaklaştırıp değerli içeriğe yönlendirerek dolaylı bir SEO avantajı sağlar.

Sonuç

robots.txt, arama motoru botlarını sitenizde doğru yönlendiren küçük ama kritik bir dosyadır. Doğru yapılandırıldığında tarama bütçenizi değerli sayfalara odaklar; yanlış bir satır ise tüm sitenizi aramadan düşürebilir. Komutları sade tutun, site haritanızı ekleyin ve her değişiklikten sonra test etmeyi asla atlamayın.

İlgili Yazılar