Web sitenizde yeni ürünler, hizmet sayfaları veya kapsamlı içerikler yayınlıyor; ancak bu sayfaların Google tarafından geç keşfedildiğini mi görüyorsunuz? Özellikle geniş URL envanterine sahip sitelerde, sorunun bir bölümü arama motorlarının hangi adresleri taramak için kaynak harcadığıyla ilgili olabilir.
Tarama bütçesi optimizasyonu, arama motorlarının siteyi tararken kullandığı kaynakların verimliliğini artırmak için yapılan teknik iyileştirmelerdir. Gereksiz URL üretimini kontrol etmek, erişim sorunlarını gidermek ve önemli içeriklerin keşfedilmesini kolaylaştırmak bu çalışmanın temelini oluşturur.
Bu rehberde tarama bütçesinin nasıl çalıştığını, hangi işletmeler için öncelikli olduğunu ve teknik uygulamaların nasıl ölçülmesi gerektiğini ele alıyoruz.
Tarama Bütçesi Nedir, Nasıl Belirlenir?
Tarama bütçesi, Google’ın bir siteyi taramak için ayırdığı zaman ve kaynakları ifade eder. Sabit bir günlük sayfa kotası olarak düşünülmemelidir. İki temel bileşeni bulunur:
- Tarama kapasitesi sınırı: Google’ın sunucuyu aşırı yüklemeden gerçekleştirebileceği taramanın sınırıdır.
- Tarama talebi: Google’ın içeriklerin güncelliği, niteliği ve diğer etkenler doğrultusunda siteyi tarama isteğidir.
Sunucu kapasitesi yeterli olsa bile tarama talebi düşükse daha fazla tarama gerçekleşmeyebilir. Ayrıca bir sayfanın taranması, dizine ekleneceği anlamına gelmez. Tarama sonrasında içeriğin ayrıca değerlendirilmesi gerekir. Google tarama bütçesi dokümantasyonu
İşletmeler açısından hedef, bot ziyaretlerini gelişigüzel artırmak yerine ticari açıdan önemli sayfaların erişilebilirliğini ve keşfini iyileştirmektir.
Hangi Siteler İçin Önceliklidir?
Tarama bütçesi çalışmaları özellikle büyük ve sık güncellenen sitelerde önem kazanır. Geniş ürün katalogları, yoğun filtreleme seçenekleri ve sürekli büyüyen içerik arşivleri inceleme gerektirebilir.
Google, ileri seviye rehberini öncelikle çok büyük siteler, günlük değişen on binlerce sayfası bulunan siteler ve URL’lerinin önemli bölümü “Keşfedildi - şu anda dizine eklenmiş değil” durumunda olan siteler için konumlandırır. Sayısal örnekler kesin eşikler değildir. Küçük ve sayfaları zamanında taranan sitelerde kapsamlı bir tarama bütçesi projesi öncelikli olmayabilir. Google’ın kapsam açıklaması
Şu belirtiler teknik inceleme için başlangıç noktasıdır:
- Yeni ürünlerin keşfinde tekrarlayan gecikmeler.
- Filtre ve sıralama adreslerinin URL envanterinde baskın hâle gelmesi.
- Önemli sayfaların uzun süre ziyaret edilmemesi.
- Bot isteklerinin yoğun biçimde yönlendirmelere veya hata sayfalarına gitmesi.
Bu belirtiler tek başına teşhis değildir. İçerik kalitesi, iç bağlantılar ve indeksleme kuralları da değerlendirilmelidir.
Tarama Bütçesi Sorunu Nasıl Teşhis Edilir?
Sağlıklı bir analiz, Search Console verilerini sunucu kayıtları ve site taramasıyla birlikte yorumlar.
Google Search Console ile Genel Durumu İnceleyin
Tarama İstatistikleri raporunda toplam istekler, indirilen veri miktarı, ortalama yanıt süresi ve ana makine durumu incelenebilir. Yanıt kodu, dosya türü ve tarama amacı kırılımları da değişimin nereden kaynaklandığını anlamaya yardımcı olur.
Örneğin, istek sayısındaki düşüşle birlikte yanıt süreleri yükseliyorsa altyapı tarafı araştırılmalıdır. Ancak tek bir grafikten neden-sonuç ilişkisi kurulmaz. Bu rapor, eksiksiz bir URL bazlı erişim kaydı olarak kullanılmamalıdır. Search Console Tarama İstatistikleri rehberi
Sunucu Log Analizi ile Gerçek Erişimleri Değerlendirin
Sunucu veya CDN erişim kayıtları üzerinden şu sorulara yanıt aranabilir:
- Botlar hangi URL gruplarına geliyor?
- Ürün, kategori ve hizmet sayfaları ne sıklıkla ziyaret ediliyor?
- Parametreli adresler toplam isteklerin ne kadarını oluşturuyor?
- Tekrarlayan hata ve yönlendirme örüntüleri var mı?
Analizde bot kimliği doğrulanmalı; yalnızca “Googlebot” yazan kullanıcı aracısı bilgisine güvenilmemelidir. CDN kullanılan yapılarda yalnızca kaynak sunucunun kayıtları tüm istekleri göstermeyebilir.
Önerilen yaklaşım, kayıtları ürün, kategori, blog, filtre ve dahili arama gibi gruplara ayırmaktır. Böylece teknik bulgular işletmenin öncelikleriyle karşılaştırılabilir.
Tarama Bütçesi Optimizasyonu Nasıl Yapılır?
1. URL Envanterini ve Filtre Kombinasyonlarını Kontrol Edin
Bir e-ticaret kategorisi; renk, beden, marka ve sıralama seçenekleriyle çok sayıda URL üretebilir. Kontrolsüz kombinasyonlar, botların benzer sonuç kümelerini tekrar tekrar taramasına yol açabilir.
Örneğin:
/ayakkabi//ayakkabi/?renk=siyah/ayakkabi/?renk=siyah&beden=42/ayakkabi/?renk=siyah&beden=42&sirala=fiyat
Her parametreli URL için aynı karar verilmemelidir. Organik aramada karşılığı bulunan, kullanıcıya anlamlı bir liste sunan filtre sayfaları ayrı değerlendirilebilir.
Uygulamada şu ayrım yapılmalıdır:
| URL türü | Değerlendirme yaklaşımı |
|---|---|
| Arama talebine karşılık gelen kategori veya filtre | Bağımsız açılış sayfası olarak değerlendirin |
| Yalnızca ürün sırasını değiştiren adres | Yinelenme ve tarama ihtiyacını inceleyin |
| Sınırsız kombinasyon üreten filtre | URL üretimini ve tarama erişimini sınırlandırın |
| Geçersiz ya da sonuçsuz filtre kombinasyonu | Uygun HTTP durum kodunu döndürün |
Google, taranması gereken filtreli yapılarda tutarlı parametre düzenini; geçersiz ve sonuçsuz kombinasyonlarda ise 404 yanıtını önerir. Filtreli gezinme dokümantasyonu
2. robots.txt, noindex ve Canonical İşlevlerini Ayırın
Bu araçlar farklı amaçlara hizmet eder. Birbirlerinin yerine kullanılmaları teknik sorun oluşturabilir.
| Araç | Temel işlev | Kritik ayrıntı |
|---|---|---|
robots.txt | Tarama erişimini yönetir | Tek başına arama sonuçlarından kaldırmayı garanti etmez |
noindex | Sayfanın dizine alınmasını engeller | Google’ın kuralı görebilmesi için sayfayı tarayabilmesi gerekir |
rel="canonical" | Benzer içerikler için tercih edilen URL’yi belirtir | Kesin bir tarama engeli değildir |
Bir sayfaya noindex ekleyip aynı anda robots.txt üzerinden erişimi kapatırsanız Google bu etiketi okuyamayabilir. Dizinden çıkarma ile taramayı sınırlandırma hedefleri için uygulama sırası buna göre planlanmalıdır. Google noindex rehberi
Canonical ise yinelenen veya çok benzer içeriklerin birleştirilmesinde kullanılır. İç bağlantılar, site haritası ve canonical işaretleri aynı tercih edilen URL’yi desteklemelidir. Birbirinden farklı sayfaları topluca tek adrese canonical ile bağlamak uygun değildir. Google canonical rehberi
3. XML Site Haritalarını Temizleyin
Site haritaları, Google’a hangi URL’leri önemli gördüğünüzü bildirmenin yollarından biridir. Haritada arama sonuçlarında görünmesini istediğiniz tercih edilen adreslere yer verin.
Kontrol listesi:
- Canonical tercihleriyle tutarlı URL’ler kullanın.
- Yönlendirilmiş ve kaldırılmış eski adresleri temizleyin.
- İndekslenmesini istemediğiniz sayfaları ayırın.
lastmodtarihini anlamlı içerik güncellemelerini yansıtacak şekilde üretin.
Tüm URL’lerin tarihini her gün değiştirmek, gerçek güncellemeleri göstermeyen bir sinyal oluşturur. Ayrıca Google, site haritalarındaki priority ve changefreq değerlerini kullanmaz. Site haritası göndermek tarama veya indeksleme garantisi sağlamaz. Google site haritası rehberi
Operasyonel takip için ürün, kategori ve içerik haritalarını ayrı gruplamak yararlı olabilir.
4. İç Bağlantıları Öncelikli Sayfalara Göre Düzenleyin
Analizde yalnızca URL sayısına odaklanmayın. Önemli sayfaların site içindeki konumunu da inceleyin.
Önerilen kontroller şunlardır:
- Öncelikli kategorilere ana gezinmeden erişilebiliyor mu?
- İlgili rehberler ürün ve hizmet sayfalarına bağlanıyor mu?
- İç bağlantılar doğrudan güncel hedefe gidiyor mu?
- Hiçbir sayfadan bağlantı almayan önemli URL’ler var mı?
Örneğin, ticari değeri yüksek bir hizmet sayfası yalnızca site haritasında bulunuyorsa ilgili hizmet kategorisine ve destekleyici blog içeriklerine eklenmesi değerlendirilmelidir.
5. Sunucu ve Yönlendirme Sorunlarını Giderin
Yavaş yanıtlar, 5xx hataları ve 429 yanıtları tarama kapasitesini etkileyebilir. Uzun yönlendirme zincirleri de gereksiz işlem oluşturur. Google bu alanların iyileştirilmesini tarama verimliliği kapsamında önerir. Google teknik önerileri
Uygulama ekibi için bulguları URL şablonu ve zaman aralığıyla raporlayın. “Site yavaş” ifadesi yerine “filtreli kategori isteklerinde yoğun saatlerde yanıt süresi artıyor” gibi test edilebilir bir tanım kullanın.
Yönlendirme incelemesinde de başlangıç adresi, ara adımlar ve nihai hedef birlikte kaydedilmelidir.
Başarı Hangi Metriklerle Ölçülür?
Toplam tarama sayısının yükselmesi tek başına başarı değildir. Gereksiz URL istekleri azalırken toplam hacim düşebilir.
Proje takibinde şu ölçümler kullanılabilir:
| Metrik | Değerlendirme amacı |
|---|---|
| Öncelikli URL’lere gelen isteklerin payı | Taramanın iş açısından değerli sayfalara dağılımı |
| Yayın ile ilk doğrulanmış bot ziyareti arasındaki süre | Yeni içeriklerin keşif hızı |
| Gereksiz parametre URL’lerine gelen istekler | Kontrolsüz URL üretiminin etkisi |
| Hata ve yönlendirme isteklerinin payı | Teknik erişim verimliliği |
| Öncelikli sayfaların indekslenme durumu | Tarama sonrasındaki sürecin takibi |
| Organik gösterimler ve dönüşümler | İşletme sonuçlarının değerlendirilmesi |
Bu metrikler proje için önerilen ölçümlerdir; Google’ın verdiği bir “tarama bütçesi puanı” değildir.
Öncesi ve sonrası karşılaştırmalarında aynı URL gruplarını kullanın. Kampanyaları, ürün sayısındaki değişimleri ve site taşınmalarını kaydedin. Organik büyümeyi değerlendirirken eş zamanlı içerik ve SEO çalışmalarının etkisini de hesaba katın.
Örnek Uygulama: Filtre URL’leri Büyüyen Bir E-Ticaret Sitesi
Bu senaryo yöntemi açıklamak için hazırlanmıştır; müşteri sonucu değildir.
Bir e-ticaret sitesinde 30.000 ürün bulunmasına rağmen tarama envanterinde yüz binlerce filtre ve sıralama adresi görüldüğünü varsayalım.
Önerilen çalışma sırası:
- Log kayıtlarıyla filtre URL’lerinin gerçekten ne kadar tarandığını doğrulayın.
- Organik trafik veya dönüşüm sağlayan filtre sayfalarını ayırın.
- Yinelenen ve gereksiz kombinasyonları belirleyin.
- Her URL grubu için uygun tarama ve indeksleme kararını verin.
- Kuralları sınırlı bir bölümde test edin.
- Önemli ürünlerin erişimini ve keşif süresini izleyerek uygulamayı genişletin.
Tüm parametreleri tek kuralla kapatmak, değerli açılış sayfalarını da etkileyebilir. Kararlar URL kalıbıyla birlikte sayfanın işlevine dayanmalıdır.
SEO Performans ile Tarama Bütçesi Optimizasyonu
SEO Performans’ın tarama bütçesi optimizasyonu hizmetini değerlendirirken başlangıç noktası, sitenizdeki sorunun ve ticari önceliklerin netleştirilmesidir. Analiz talebinizde geciken ürünleri, büyüyen filtre yapılarını veya gözlemlediğiniz erişim sorunlarını paylaşabilirsiniz.
Projenin ihtiyaçlarına göre belirlenecek çalışma kapsamı; URL envanteri incelemesi, erişim kayıtlarının değerlendirilmesi, robots.txt ve canonical kontrolleri, site haritaları ve uygulama sonrası ölçüm başlıklarını içerebilir.
Hedef, geliştirme ekibinin uygulayabileceği somut kararlar oluşturmaktır: Hangi URL grubu değişmeli, neden değişmeli ve sonuç nasıl doğrulanmalı?
Sıkça Sorulan Sorular
Tarama bütçesi optimizasyonu sıralamayı garanti eder mi?
Hayır. Teknik erişimin iyileşmesi, içeriklerin değerlendirilmesini kolaylaştırabilir; ancak taranan her sayfa dizine eklenmez. Sıralama veya trafik artışı garantisi olarak sunulmamalıdır. Google tarama ve indeksleme açıklaması
noindex kullanmak taramayı engeller mi?
Hayır. noindex bir indeksleme kuralıdır. Google’ın bu kuralı işleyebilmesi için sayfaya erişmesi gerekir. Google noindex dokümantasyonu
Canonical eklenen URL artık taranmaz mı?
Canonical bir tercih sinyalidir; taramayı kesin olarak durdurmaz. Google, tercih edilen URL’yi belirlerken başka sinyalleri de değerlendirir. Google canonical dokümantasyonu
Analiz talebi için hangi bilgiler paylaşılmalı?
Web sitenizin adresi, kullandığınız altyapı, yaklaşık sayfa sayısı ve gözlemlediğiniz sorunlar başlangıç için yararlıdır. Ayrıntılı inceleme kapsamına göre Search Console verileri ve erişim kayıtları ayrıca değerlendirilebilir.
Önemli Sayfalarınızın Keşfini Zorlaştıran Sorunları Belirleyin
Yeni içeriklerinizin geç keşfedilmesi veya gereksiz URL’lerin çoğalması, daha yakından incelenmesi gereken teknik işaretlerdir. İlk adım, sorunun nereden kaynaklandığını verilerle belirlemektir.
Web sitenizi ve yaşadığınız sorunları SEO Performans ile paylaşın; tarama bütçesi optimizasyonu ihtiyacınızı değerlendirmek için başvurun.
Ücretsiz SEO Analizi Talep Et