Robots.txt Oluşturucu
Arama motoru botlarını ve AI tarayıcılarını yönetin. Allow/Disallow kurallarını kolayca oluşturun, hazır robots.txt dosyanızı indirin.
Hızlı Önayarlar
Kurallar
Ek Ayarlar
robots.txt Çıktısı
User-agent: * Allow: /
Robots.txt Oluşturucu Özellikleri
AI Bot Engelleme
GPTBot, CCBot, anthropic-ai ve Google-Extended'i tek tıkla engelleyin.
Preset Kurallar
Hazır şablonlarla (e-ticaret, blog, tam engel) hızlıca başlayın.
Çoklu User-agent
Farklı botlar için farklı kurallar tanımlayın.
Sitemap Entegrasyonu
Sitemap URL'nizi robots.txt'e otomatik ekleyin.
Allow/Disallow
Hangi dizinlerin taranacağını veya engelleneceğini belirleyin.
Standart Format
Tüm arama motorlarının anlayacağı doğru robots.txt formatı.
Robots.txt Nasıl Oluşturulur?
- 1
Preset seçin veya kural ekleyin
Hazır preset butonlarından birini seçin ya da "Kural Ekle" ile özel kurallar oluşturun.
- 2
User-agent belirleyin
Kuralın hangi bot için geçerli olduğunu yazın. Hepsine uygulamak için "*" kullanın.
- 3
Dizinleri engelleyin veya izin verin
Allow veya Disallow seçeneğini seçip hangi yolun kural kapsamında olduğunu yazın.
- 4
Sitemap URL ekleyin
Sitemap URL alanına sitemap.xml adresinizi girerek robots.txt'e ekleyin.
- 5
İndirin ve yükleyin
robots.txt dosyasını sitenizin kök dizinine (example.com/robots.txt) yükleyin.
Sık Sorulan Sorular
Robots.txt ne işe yarar?
Robots.txt, arama motoru botlarına sitenizin hangi bölümlerini tarayıp tarayamayacaklarını söyler. Admin panelleri, giriş sayfaları ve içerik yönetim alanları gibi özel bölümleri indekslenmeden korumak için kullanılır.
Robots.txt engellemek güvenlik sağlar mı?
Hayır. Robots.txt yalnızca "iyi niyetli" botlara yönelik bir talimattır; kötü niyetli tarayıcılar buna uymak zorunda değildir. Gerçek güvenlik için kimlik doğrulama ve sunucu taraflı erişim kontrolü kullanın.
AI botlarını robots.txt ile engelleyebilir miyim?
Evet. GPTBot (OpenAI), CCBot (Common Crawl), anthropic-ai (Claude) ve Google-Extended gibi AI eğitim botlarını Disallow ile engelleyebilirsiniz. Bu botlar robots.txt kurallarına uymakla yükümlüdür.
Disallow: / kullanırsam ne olur?
Tüm botlara tüm sayfaları Disallow yaparsanız Google sitenizi tamamen indeksleyemez. Sitenizin Google arama sonuçlarında hiç görünmemesi anlamına gelir. Yalnızca gizlemek istediğiniz dizinleri engelleyin.
Robots.txt ile canonical arasındaki fark nedir?
Robots.txt taramayı engeller; bot sayfaya hiç gitmez. Canonical ise taramayı engellemez, yalnızca hangi URL'nin yetkili olduğunu söyler. Benzer içerik için canonical, hassas alanlar için robots.txt kullanın.