robots.txt testi

robots.txt siteni Google'a kapatıyor mu?

Adresi yazın; sitenizin robots.txt dosyasını okuyup bütün arama motoru botlarını sitenin tamamından engelleyen bir kural olup olmadığını söyleyelim. Ücretsiz, kayıt gerekmez, hiçbir şey saklanmaz.

Her kontrolde tek sayfa. Sayfayı tarayıcı açmadan, bir arama motoru botu gibi çekeriz ve hiçbir şey saklamayız.

Ne kontrol ediliyor

robots.txt, sitenizin kök dizininde duran ve arama motoru botlarına hangi yolları taramamaları gerektiğini söyleyen düz bir metin dosyasıdır. Araç, bütün botlara uygulanan "User-agent: *" grubuna bakar. O grupta "Disallow: /" satırı varsa sitenin tamamı taramaya kapalıdır.

Neden önemli

Bu satır çoğu zaman test ortamına bilerek konur ve site canlıya taşınırken unutulur. Google taramayı durdurur: sayfalar bir süre dizinde kalabilir ama içerikleri güncellenmez, yeni sayfalar hiç eklenmez. Trafik bir gecede değil, haftalar içinde sessizce düşer; bu yüzden fark edilmesi geç olur.

Nasıl düzeltilir

  1. Dosyayı tarayıcıda açın: siteadresiniz.com/robots.txt.
  2. "User-agent: *" altındaki "Disallow: /" satırını kaldırın ya da yalnızca kapatmak istediğiniz yolları yazın (örneğin "Disallow: /wp-admin/").
  3. Search Console'daki robots.txt raporundan Google'ın dosyanın hangi sürümünü gördüğünü kontrol edin ve yeniden tarama isteyin.
Sık sorulanlar

Aklınıza takılabilecekler.

"Disallow: /" her zaman bir hata mıdır?

Hayır. Test ve hazırlık ortamlarında doğru olan budur. Sorun, aynı dosyanın canlı siteye taşınmasıdır.

Sitemde robots.txt yok, bu bir sorun mu?

Hayır. Dosya yoksa botlar her şeyi taramaya izinli sayılır; bu araç da bunu sorunsuz olarak gösterir.

Yalnızca bir bota (örneğin yapay zekâ botlarına) koyduğum engel ne olacak?

Araç yalnızca bütün botları ilgilendiren "User-agent: *" grubuna bakar. Tek bir bota konan engel bir tercihtir, kaza değildir; bu yüzden hata olarak işaretlenmez.

Bir kez değil, her gün.

Bu kontrol bugünün fotoğrafı. Crawlens aynı kontrolleri müşteri sitelerinizde düzenli olarak çalıştırır ve bir şey bozulduğunda size kanıtıyla haber verir.

Ücretsiz izlemeye başla ↗