Robots.txt, arama motoru botlarına sitende hangi URL’lere erişebileceklerini söyleyen bir dosyadır. Google, robots.txt’in esas kullanımının crawl trafiğini yönetmek olduğunu; “sayfayı Google’dan gizlemek” için güvenli bir yöntem olmadığını özellikle vurgular.

Bu rehberde hedefimiz: Googlebot’u ve AdSense tarayıcısını engellemeden, WordPress’te en temiz robots.txt düzenini kurmak.

1) Robots.txt ne işe yarar, ne işe yaramaz?

Yapar: Botların hangi yolları tarayacağını/ taramayacağını söyler (crawl yönetimi).
Yapmaz: Bir sayfayı kesin olarak Google sonuçlarından kaldırmaz. Bir sayfayı index’ten uzak tutmak istiyorsan noindex kullanman gerekir.

Önemli: Noindex’in çalışması için Google’ın sayfayı tarayabilmesi gerekir. (Robots.txt ile tamamen kapatırsan noindex’i göremeyebilir.)

2) AdSense için kritik: Mediapartners-Google engellenmemeli

Google’ın AdSense tarayıcısı Mediapartners-Google (ads crawler) sayfanın içeriğini analiz etmek için siteni ziyaret eder.
Robots.txt içinde şu satırlar varsa AdSense reklamları/inceleme sıkıntıya girer:

User-agent: Mediapartners-Google
Disallow: /

Google, çözüm olarak bu engeli kaldırmanı açıkça söylüyor.

3) Dosya nerede olmalı? (en sık hata)

Robots.txt mutlaka kökte olmalı:
https://siteadiniz.com/robots.txt
Alt klasöre koyamazsın (ör. /pages/robots.txt olmaz).

4) WordPress’te robots.txt nasıl oluşur?

WordPress fiziksel bir robots.txt dosyası yoksa, robots çıktısını “dinamik/virtual” üretebilir; ayrıca bu çıktıyı değiştirmek için robots_txt filtresi vardır.
Not: Fiziksel robots.txt dosyası varsa (root’a koyduğun), o dosya esas alınır (çoğu kurulumda beklenen davranış budur).

5) WordPress için “en güvenli” robots.txt örneği (AdSense uyumlu)

Bu örnek; içerik siteleri için genelde sorunsuz başlangıçtır:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php# WordPress arama sonuçları (isteğe bağlı - crawl yükünü azaltır)
Disallow: /?s=
Disallow: /search/# Sitemap (Rank Math / Yoast genelde otomatik üretir)
Sitemap: https://siteadiniz.com/sitemap_index.xml

Neden iyi?

Admin alanını taratmaz (gereksiz).
admin-ajax.php gibi birçok tema/eklenti için gerekli endpoint’i açık bırakır.
Arama sonuç sayfaları çoğu sitede “thin/tekrar” üretir; taramayı azaltmak mantıklı olabilir.
Sitemap’i belirtmek Google’ın önerdiği iyi uygulamalardan biridir.

6) “Sakın yapma” listesi (çok yaygın hatalar)

A) Mediapartners-Google’ı engellemek

AdSense için direkt sorun çıkarır.

B) CSS/JS’yi (özellikle wp-includes) kapatmak

Google, CSS/JS’nin taranmasını engellemenin sayfayı doğru “render” etmeyi zorlaştırabileceğini defalarca vurguladı. (Özellikle eski “Disallow: /wp-includes/” şablonları risklidir.)

C) “Gizlemek için robots.txt”

Google açıkça “robots.txt gizleme mekanizması değildir” diyor; gizlemek istiyorsan noindex veya erişim kontrolü (şifre) kullan.

7) Robots.txt’i nasıl test edeceksin? (Search Console)

Search Console’da robots.txt report ile Google’ın robots.txt’ini görüp hata/uyarıları izleyebilirsin; ayrıca acil durumda “recrawl” isteyebilirsin.

Pratik kontrol

siteadiniz.com/robots.txt açılıyor mu?
Search Console → robots.txt report → hata var mı?
“Blocked by robots.txt” görüyorsan, yanlış Disallow satırını bulup düzelt.

8) Bonus: WooCommerce varsa (kullanıyorsan)

Eğer ileride mağaza açarsan şu sayfalar genelde indexlenmemelidir (checkout/cart gibi). Bunları robots.txt ile taramayı azaltabilir veya SEO eklentisiyle noindex kullanabilirsin (noindex daha “kesin” yöntemdir).