robots.txt Nedir? Nasıl Yazılır? (2026 Kapsamlı Rehber)

Web sitenizi arama motorlarından tamamen gizleyebilir, belirli sayfaların taranmasını engelleyebilir veya botlara yol gösterebilirsiniz — hepsini birkaç satır metin dosyasıyla. Bu dosyanın adı robots.txt'tir. Nedir, nasıl çalışır, nasıl yazılır; tüm detayları bu rehberde bulacaksınız.

robots.txt Nedir?

robots.txt, web sitenizin kök dizininde yer alan ve arama motoru botlarına (crawler) hangi sayfaları tarayıp tarayamayacaklarını bildiren düz metin dosyasıdır. Robots Exclusion Protocol (REP) standardına dayanır ve 1994'ten bu yana web'in temel altyapı kurallarından biridir.

Dosyaya her zaman şu adresten ulaşılır:

https://example.com/robots.txt

Google, Bing, Yandex ve diğer tüm sorumlu arama motorları bu dosyayı siteyi taramaya başlamadan önce kontrol eder.

robots.txt Nasıl Çalışır?

Googlebot bir siteyi taramaya karar verdiğinde ilk adım olarak robots.txt dosyasını indirir. Dosyayı okur ve hangi URL'lerin ona izin verildiğini belirler. Ardından yalnızca izin verilen URL'leri tarar.

Önemli bir ayrım: robots.txt bir güvenlik duvarı değildir. Dosya, kurallara uyan "iyi" botları yönetir. Kötü niyetli botlar (spam botlar, içerik hırsızlıkları yapan crawlerlar) bu kuralları genellikle görmezden gelir. Gerçek güvenlik için sunucu taraflı engelleme gereklidir.

robots.txt Nasıl Yazılır?

Temel Yapı

robots.txt dosyası User-agent ve Disallow / Allow direktiflerinden oluşur:

User-agent: *
Disallow: /admin/
Allow: /admin/public-page/

User-agent Direktifi

Hangi bota kural uygulayacağınızı belirtir.

User-agent: *           # Tüm botlar için geçerli
User-agent: Googlebot   # Sadece Google botu için
User-agent: Bingbot     # Sadece Bing botu için
User-agent: GPTBot      # Sadece OpenAI botu için

Disallow Direktifi

Taranmasını istemediğiniz URL'leri belirtir.

Disallow: /admin/       # /admin/ ile başlayan tüm URL'ler
Disallow: /gizli.html   # Tek bir sayfa
Disallow: /             # Tüm site (dikkatli kullanın!)
Disallow:               # Hiçbir şeyi engelleme (boş = tüm izin)

Allow Direktifi

Disallow ile engellediğiniz bir dizin içindeki belirli sayfaları açmak için kullanılır.

User-agent: Googlebot
Disallow: /uygulama/
Allow: /uygulama/paylasim/

Bu örnekte Googlebot /uygulama/ altındaki tüm sayfaları atlayacak, yalnızca /uygulama/paylasim/ sayfasını tarayabilecek.

Sitemap Direktifi

Sitemap dosyanızın konumunu tüm botlara bildirmenin en kolay yolu:

Sitemap: https://example.com/sitemap.xml

Bu satır robots.txt'in herhangi bir yerine eklenebilir.

Crawl-delay Direktifi

Botların istekler arasında kaç saniye bekleyeceğini ayarlar. Sunucusu yavaş veya küçük siteler için kullanışlıdır. Ancak Google bu direktifi resmi olarak desteklemez; yalnızca Bing ve bazı diğer botlar uygular.

User-agent: Bingbot
Crawl-delay: 10

robots.txt Örnekleri

1. Temel Örnek — Her Şeye İzin Ver

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

2. Yönetim Panelini Gizle

User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /dashboard/

Sitemap: https://example.com/sitemap.xml

3. AI Botlarını Engelle

OpenAI, Common Crawl ve diğer AI training botlarını engellemek için:

User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

4. E-ticaret Sitesi

User-agent: *
Disallow: /sepet/
Disallow: /odeme/
Disallow: /hesabim/
Disallow: /arama?
Disallow: /filtrele?
Disallow: /cdn-cgi/

Allow: /urunler/
Allow: /kategoriler/

Sitemap: https://example.com/sitemap.xml

Dikkat: Arama ve filtre sayfaları (/arama?, /filtrele?) genellikle duplicate content oluşturur, bunları engellemek iyi bir uygulamadır.

5. Blog Sitesi

User-agent: *
Disallow: /tag/
Disallow: /yazar/
Disallow: /sayfa/
Disallow: /wp-json/

Sitemap: https://example.com/sitemap.xml

Etiket, yazar ve sayfalama sayfaları düşük değerli içerikler olarak kabul edilir; tarama bütçesini (crawl budget) bunlara harcamamak genellikle tercih edilir.

robots.txt ile Kontrol Edilebilecek Popüler Botlar

robots.txt ile Yapılan Yaygın Hatalar

Hata 1: Yanlışlıkla Tüm Siteyi Engellemek

User-agent: *
Disallow: /

Bu tek satır sitenizin Google'dan tamamen çıkmasına neden olur. Canlı ortama yanlışlıkla push edilen bu kural birçok sitenin Google'dan silinmesine yol açmıştır. Daima robots.txt değişikliklerini test edin.

Hata 2: robots.txt'i Gizli Sayfaların Güvenlik Önlemi Sanmak

robots.txt, sayfa içeriklerini gizlemez. Disallow ettiğiniz bir URL hâlâ başka sitelerden link alırsa Google bu URL'nin var olduğunu bilir, içeriğini bilmese de. Gerçek gizlilik için noindex meta etiketi veya sunucu taraflı kimlik doğrulama kullanın. İkisi arasındaki farkı noindex ve nofollow etiketleri rehberimizde ayrıntılı anlattık.

Hata 3: CSS ve JavaScript Dosyalarını Engellemek

Google, sayfanın nasıl göründüğünü anlamak için CSS ve JS dosyalarını render eder. Bu dosyaları engellemek Google'ın mobil uyumluluk ve Core Web Vitals değerlendirmesini bozar.

# YANLIŞ — Bu CSS/JS'yi engeller
User-agent: *
Disallow: /assets/
Disallow: /static/

Hata 4: Sitemap URL'sini Belirtmemek

robots.txt'e Sitemap direktifi eklemek, arama motorlarının sitemap'inizi bulmasını kolaylaştırır ve indeksleme sürecini hızlandırır.

Hata 5: www ve www-olmayan Sürümler Arasında Tutarsızlık

robots.txt yalnızca erişildiği domain için geçerlidir. www.example.com/robots.txt ve example.com/robots.txt farklı dosyalardır. Her iki versiyonu da tutarlı tutun.

robots.txt'i Test Etmek

Google Search Console ile Test

1. Google Search Console'da Eski Araçlar > robots.txt Test Aracı bölümüne gidin.
2. URL girin ve bota göre test yapın.
3. "Engellendi" / "İzin verildi" sonucunu görün.

URL İncelemesi

Search Console'da URL Denetimi aracıyla belirli bir URL'nin Googlebot tarafından erişilebilir olup olmadığını test edebilirsiniz.

robots.txt ile noindex Farkı

Bu iki kavram sıkça karıştırılır:

Kritik kural: Disallow ettiğiniz bir sayfaya noindex ekleyemezsiniz çünkü bot sayfayı zaten taramaz. Sayfanın dizine alınmasını kesinlikle istemiyorsanız hem taranmasına izin verip hem de noindex ekleyin.

Sık Sorulan Sorular

robots.txt olmasa ne olur?
Arama motoru botları tüm siteyi tarar. Bu genellikle küçük siteler için sorun değildir, ancak büyük veya hassas içerikli sitelerde yönetimsiz tarama sorunlara yol açabilir.

robots.txt dosyam ne kadar sürede etkili olur?
Googlebot robots.txt dosyasını genellikle günde birkaç kez kontrol eder. Değişiklik yaptıktan sonra 1-2 gün içinde etkili olur.

Tüm botlar robots.txt'e uyar mı?
Google, Bing, DuckDuckGo gibi büyük arama motorları kurallara uyar. Spam botlar ve bazı veri toplama araçları uyumsuz olabilir.

robots.txt dosyasının boyutu önemli mi?
Evet. Google robots.txt dosyasının ilk 500 KB'ını işler. Büyük dosyalar için gereksiz kuralları temizleyin.

robots.txt Dosyanızı Hemen Oluşturun

Doğru kurallar yazmak zor gelmişse ücretsiz robots.txt oluşturucumuzu kullanın. Sürükle-bırak tarzı arayüzle kuralları ekleyin, AI botları tek tıkla engelleyin ve hazır dosyanızı indirin.

Bir sonraki adım olarak sitemap XML rehberimizi incelemenizi öneririz — robots.txt ve sitemap birlikte çalışır.

İlgili içerikler: Teknik SEO Kontrol Listesi • noindex ve nofollow Etiketleri • Crawl Bütçesi Nedir?