Crawl Bütçesi (Tarama Bütçesi) Nedir? SEO'ya Etkisi ve Optimizasyon

Crawl Bütçesi Nedir?

Crawl bütçesi (tarama bütçesi), Googlebot'un belirli bir zaman diliminde sitenizi taramak için ayırdığı kaynak miktarıdır. Google, her siteye sonsuz tarama yapamaz — sunucu kapasitesi ve algoritma önceliklendirmesi, Googlebot'un hangi sayfaları ne sıklıkla tarayacağını belirler.

Crawl bütçesi iki bileşenden oluşur:

• Crawl rate limit (Tarama hız sınırı): Googlebot'un sitenizin sunucusunu aşırı yüklememek için uyguladığı hız sınırı
• Crawl demand (Tarama talebi): Google'ın sitenizi tarama isteği — yüksek kaliteli ve sık güncellenen siteler daha yüksek tarama talebi çeker

Crawl Bütçesi Kim İçin Önemli?

Küçük siteler (birkaç yüz sayfa) için crawl bütçesi genellikle sorun değildir — Googlebot bu siteleri hızlı tarar.

Crawl bütçesi bu siteler için kritiktir:

• 10.000+ sayfaya sahip büyük siteler
• E-ticaret siteleri (binlerce ürün sayfası)
• News/haber siteleri (sık güncellenen içerik)
• Faceted navigation kullanan siteler (filtreler, kategoriler)
• Duplicate content sorunu olan siteler

Googlebot Sitenizi Nasıl Tarar?

Googlebot, internet üzerindeki siteleri sürekli gezerek içerikleri keşfeder ve indeksler. Bu süreç üç adımda gerçekleşir:

1. Crawl (Tarama): Googlebot sayfayı ziyaret eder ve HTML'i okur
2. Render: JavaScript render ederek tam sayfayı görür
3. Index: Sayfa Google'ın veritabanına eklenir

Tarama bütçenizin büyük kısmı değersiz sayfalara harcanıyorsa, önemli sayfalarınız yeterince taranmayabilir.

Tarama Bütçesini Boşa Harcayan Sorunlar

1. Duplicate Content Sayfaları

Aynı içeriği farklı URL'lerde sunan sayfalar (örn. parametre ile oluşan URL'ler):

/urunler?renk=kırmızı
/urunler?renk=mavi
/urunler?sira=fiyat
/urunler?sayfa=2

Bu URL'lerin hepsi Googlebot tarafından ayrı sayfa olarak taranır ve bütçeyi tüketir.

Çözüm: Canonical tag veya robots noindex ile bu URL'leri kontrol edin.

2. URL Parametreleri

Filtre, sıralama veya izleme parametreleri benzer içerikle farklı URL'ler oluşturur. Google Search Console'da URL parametre yönetimini kullanın.

3. Thin Content Sayfaları

Çok az içerik barındıran sayfalar (boş kategori sayfaları, etiket arşivleri) bütçeyi tüketir.

4. Düşük Kaliteli veya Gereksiz Sayfalar

• Eski, silinmiş ürün sayfaları
• Kullanıcı için değeri olmayan sistem sayfaları
• Test veya geliştirme sayfaları

5. Kırık Linkler

404 döndüren sayfalar Googlebot'u boşu boşuna ziyaret ettirir.

6. Yavaş Sunucu Yanıt Süresi

Yavaş sunucu, Googlebot'un bir sayfada daha uzun beklemesine ve dolayısıyla daha az sayfa taramasına neden olur.

Crawl Bütçesini Optimize Etme Yolları

1. Robots.txt ile Gereksiz Sayfaları Engelle

Robots.txt ile Googlebot'un tarama yapmaması gereken bölümleri belirtin. Robots.txt nedir ve nasıl yazılır yazımızda detayları ele aldık.

User-agent: Googlebot
Disallow: /arama/
Disallow: /filtre/
Disallow: /uye/
Disallow: /sepet/
Disallow: /?renk=

Robots.txt Oluşturucumuzu kullanarak sitenize özel robots.txt dosyası hazırlayabilirsiniz.

2. Sitemap'i Güncel ve Temiz Tutun

Sitemap'inizde sadece indekslenmesini istediğiniz, güncel ve kaliteli sayfalar olsun. Sitemap XML nedir konusunda ayrı bir rehber hazırladık.

• 404 döndüren URL'leri sitemap'ten kaldırın
• Canonical olmayan URL'leri eklemeyin
• Noindex sayfaları sitemap'e eklemeyin

3. Sayfa Hızını Artırın

Hızlı yanıt veren sunucu, Googlebot'un aynı bütçeyle daha fazla sayfa taramasını sağlar. Seo ve sayfa hızı ilişkisi hakkında yazdık.

Hedef sunucu yanıt süresi: < 200ms (TTFB)

4. Düşük Değerli Sayfaları Noindex Yap

Taranmasını istemediğiniz ama erişilebilir kalması gereken sayfalara noindex ekleyin:

<meta name="robots" content="noindex, follow">

5. Canonical Tag ile Duplicate'leri Çöz

Parametre URL'lerinin kanonik versiyonu için canonical tag kullanın:

<!-- /urunler?renk=kırmızı sayfasında -->
<link rel="canonical" href="https://site.com/urunler/">

Google Search Console'da Tarama Raporları

GSC, Googlebot tarama verilerini gösterir:

Yol: Ayarlar > Tarama İstatistikleri

Bu raporda şunları görebilirsiniz:

• Günlük tarama isteği sayısı
• Tarama yanıt kodları (200, 301, 404, 5xx dağılımı)
• Tarama süresi (ms cinsinden)
• Tarama bant genişliği kullanımı

İdeal durum:

• 200 yanıtları büyük çoğunlukta
• 404 ve 5xx hataları çok az
• Tarama süresi düşük

Crawl Bütçesi Log Analizi

Sunucu log dosyalarını inceleyerek Googlebot'un hangi sayfaları ne sıklıkla taradığını görebilirsiniz.

Log dosyasında Googlebot satırı örneği:

66.249.66.1 - - [28/May/2026:10:23:45 +0300] "GET /blog/seo-nedir HTTP/1.1" 200 12345 "-" "Googlebot/2.1 (+http://www.google.com/bot.html)"

Analiz için:

• Sık taranan sayfalar hangisi? (iyi)
• Asla taranmayan önemli sayfalar var mı? (sorun)
• Engellenmiş olması gereken sayfalar taranıyor mu? (sorun)

E-Ticaret Siteleri için Crawl Budget Yönetimi

E-ticaret siteleri, faceted navigation (filtre kombinasyonları) nedeniyle en fazla crawl budget sorunu yaşayan platformlardır.

Örnek sorun:

/laptoplar?brand=apple&ram=16gb&disk=512ssd
/laptoplar?brand=apple&ram=8gb
/laptoplar?disk=512ssd&renk=silver

Her filtre kombinasyonu yeni URL oluşturuyorsa, binlerce gereksiz URL Googlebot'u yorar.

Çözümler:

1. JavaScript ile filtre URL'lerini parametre olarak değil, # ile göster (indexlenmiyor)
2. Robots.txt ile parametre URL'lerini engelle
3. Canonical tag ile parametreli sayfaları ana kategori sayfasına bağla

Sonuç

Crawl bütçesi optimizasyonu, özellikle büyük siteler için teknik SEO'nun kritik bir parçasıdır.

Öncelikli adımlar:

1. Robots.txt'i düzenleyin — gereksiz bölümleri Googlebot'tan kaçının
2. Sitemap'i temizleyin — sadece değerli sayfalar olsun
3. Duplicate content'i çözün — canonical ve parametre yönetimi
4. Sunucu hızını artırın — Googlebot daha fazla sayfa tarayabilsin
5. GSC tarama raporlarını izleyin — düzenli kontrol edin

Sitenizin teknik SEO sağlığını kontrol edin → Ücretsiz SEO Analiz aracımız robots.txt, canonical, yönlendirme ve daha fazlasını analiz eder.