Web sitenizin önemli sayfaları Google tarafından taranamıyor veya arama motoru botları gereksiz URL'lerle zaman mı harcıyor? Sorunun kaynağı yanlış yapılandırılmış bir robots.txt dosyası olabilir. Robots.txt nasıl yazılır sorusunun cevabı, yalnızca birkaç komut eklemekten değil, hangi içeriklerin taranması gerektiğini doğru belirlemekten geçer.
Bu rehberde robots.txt dosyasının çalışma mantığını, Googlebot kurallarını, farklı web sitesi türleri için örnek yapılandırmaları ve yaygın SEO hatalarını inceleyeceğiz. Ayrıca dosyanızı 2026 yılında Google'ın güncel yönergelerine uygun şekilde nasıl test edebileceğinizi açıklayacağız.
Robots.txt Nedir ve SEO Açısından Neden Önemlidir?
Robots.txt, web sitesinin kök dizininde bulunan ve arama motoru tarayıcılarına hangi URL yollarını tarayıp tarayamayacaklarını bildiren düz metin dosyasıdır. Robots Exclusion Protocol (REP) adı verilen standart temelinde çalışır.
Googlebot bir web sitesini taramadan önce robots.txt dosyasındaki ilgili kuralları kontrol eder. Bu kurallar, tarama erişimini yönetmeye yardımcı olur ancak tek başına sayfaların Google dizininde bulunup bulunmayacağını belirlemez.
Robots.txt Dosyasının Temel Görevleri
- Tarama yönetimi: Arama motorlarının belirli dizinlere ve URL yollarına erişimini düzenler.
- Gereksiz taramaları azaltma: Arama sonuçları, filtre kombinasyonları ve benzer düşük değerli URL'lerin taranmasını sınırlayabilir.
- Sunucu kaynaklarını koruma: Özellikle yüksek URL hacmine sahip sitelerde gereksiz bot isteklerinin azaltılmasına katkı sağlayabilir.
- XML site haritasını belirtme: Sitemap yönergesi üzerinden site haritasının konumunu tarayıcılara bildirebilir.
Robots.txt doğrudan bir sıralama faktörü değildir. Bununla birlikte yanlış yapılandırıldığında önemli sayfaların taranmasını engelleyerek organik görünürlüğü olumsuz etkileyebilir.
Özellikle büyük web sitelerinde tarama verimliliğinin değerlendirilmesi, kapsamlı bir teknik SEO optimizasyonu çalışmasının önemli parçalarından biridir.
Robots.txt ile Noindex Arasındaki Fark
Robots.txt ve noindex sıklıkla karıştırılır. Oysa farklı aşamalarda görev yaparlar: robots.txt tarama erişimini, noindex ise uygun şekilde algılandığında arama sonuçlarında dizine eklenmeyi kontrol eder.
| Özellik | Robots.txt | Noindex |
|---|---|---|
| Temel amacı | Tarama erişimini kontrol etmek | Dizine eklenmeyi engellemek |
| Uygulama yeri | Kök dizindeki robots.txt | HTML meta etiketi veya HTTP başlığı |
| Sayfanın taranması | Engellenebilir | Yönergenin görülmesi için tarama gerekir |
| Google sonuçlarında görünme | Tek başına kesin olarak engellemez | Google algıladığında dizine eklenmesini engeller |
| Tipik kullanım | Gereksiz URL yolları | Arama sonuçlarından çıkarılacak sayfalar |
Önemli: Bir URL robots.txt ile engellendiğinde Google sayfanın içindeki noindex yönergesini göremeyebilir. Bu nedenle dizinden çıkarılmak istenen bir sayfaya aynı anda robots.txt engeli uygulamak doğru bir başlangıç yöntemi değildir.
Robots.txt Nasıl Yazılır? Adım Adım Kurulum
Geçerli bir robots.txt dosyası oluşturmak için özel bir yazılıma ihtiyacınız yoktur. Düz metin editörü ve sitenizin kök dizinine erişim yeterlidir. Ancak kuralları canlı ortamda uygulamadan önce hedef URL'leri belirlemek gerekir.
1. Taranacak ve Engellenecek Alanları Belirleyin
Öncelikle web sitenizdeki URL yapılarını inceleyin. Ürün, kategori, hizmet ve blog sayfaları genellikle taranabilir olmalıdır. Site içi arama sonuçları, belirli filtre kombinasyonları ve teknik işlem URL'leri ise duruma göre sınırlandırılabilir.
Her dizinin otomatik olarak engellenmesi gerekmez. Örneğin ürünlerin görünmesi için gerekli JavaScript veya CSS dosyalarının engellenmesi, Google'ın sayfayı doğru işlemesini zorlaştırabilir.
2. Robots.txt Dosyasını Oluşturun
Bilgisayarınızda bir metin editörü açın ve dosyayı robots.txt adıyla, UTF-8 kodlamasında kaydedin. Word gibi özel biçimlendirme ekleyen kelime işlemciler yerine düz metin düzenleyicisi kullanın.
Başlangıç için herhangi bir tarama kısıtlaması getirmeyen şu yapı kullanılabilir:
User-agent: *
Disallow:
Sitemap: https://www.example.com/sitemap.xml
Bu örnekte yıldız karakteri tüm tarayıcıları ifade eder. Boş Disallow satırı herhangi bir yolu engellemez. Sitemap adresi ise örnektir; kendi sitenizin gerçek XML site haritası adresiyle değiştirilmelidir.
3. Dosyayı Kök Dizine Yükleyin
Oluşturduğunuz dosyayı sitenizin ana makinesinin kök dizinine yerleştirin. Örneğin https://www.example.com/robots.txt adresinden erişilebilir olması gerekir.
Dosyanın alt klasörde bulunması yeterli değildir. Ayrıca www, www olmayan alan adı ve farklı alt alan adları kendi kapsamlarında değerlendirilir. HTTPS üzerindeki dosya, HTTP adreslerini otomatik olarak yönetmez.
4. Dosyanın Erişilebilirliğini Kontrol Edin
Tarayıcı üzerinden robots.txt adresini açın ve metnin görüntülendiğini doğrulayın. Sunucunun HTTP 200 yanıtı verdiğini, dosyanın HTML hata sayfasına yönlenmediğini ve beklenen kuralları içerdiğini kontrol edin.
Yayın öncesi son adımda Google Search Console üzerinden robots.txt raporunu inceleyin. Ayrıca kritik sayfaların taranabilirliğini URL Denetleme aracıyla değerlendirin.
Robots.txt Komutları ve Kullanım Örnekleri
Robots.txt dosyasında Google tarafından desteklenen temel alanlar User-agent, Disallow, Allow ve Sitemap yönergeleridir. Her komutun amacı ve eşleşme davranışı farklıdır.
User-agent: Hangi Botun Etkileneceğini Belirler
User-agent komutu, sonraki kuralların hangi tarayıcı için geçerli olduğunu belirtir. Yıldız karakteri tüm botları kapsayan genel grubu, Googlebot ise Google'ın ana web tarayıcısını ifade eder.
User-agent: Googlebot
Disallow: /ozel-dizin/
Bu örnek Googlebot'un belirtilen dizini taramasını engeller. Ancak Google'ın farklı amaçlara yönelik diğer tarayıcılarının davranışlarını ayrıca değerlendirmek gerekebilir.
Disallow: Belirli URL Yollarını Engeller
Disallow komutu, taranmasını istemediğiniz URL yollarını belirtir. Örneğin aşağıdaki yapı, /arama/ dizini ve bu dizinin altındaki URL'ler için tarama engeli tanımlar.
User-agent: *
Disallow: /arama/
Bir dizini engellemeden önce o alanda organik trafik getiren veya getirme potansiyeli bulunan sayfalar olup olmadığını kontrol edin. Yanlış kullanılan tek bir kural, çok sayıda önemli URL'yi etkileyebilir.
Allow: Engellenen Alanlarda İstisna Tanımlar
Allow komutu, daha genel bir engelin içinde belirli URL'lere erişim verilmesini sağlar. Google, eşleşen kurallar arasında daha spesifik olanı uygular; eşit uzunluktaki çelişkili eşleşmelerde Allow tercih edilir.
User-agent: *
Disallow: /dokumanlar/
Allow: /dokumanlar/genel-rehber.pdf
Bu yapı, dokümanlar dizinini genel olarak kapatırken belirtilen PDF dosyasının taranmasına izin verir.
Sitemap: XML Site Haritasını Bildirir
Sitemap satırı, arama motorlarının site haritasını bulmasını kolaylaştırır. Bu yönergede göreli yol yerine tam URL kullanılmalıdır.
Sitemap: https://www.example.com/sitemap.xml
Site haritasına URL eklemek, o sayfanın mutlaka taranacağı veya dizine alınacağı anlamına gelmez. Robots.txt kuralları, canonical sinyalleri ve sayfa erişilebilirliğiyle tutarlı bir yapı oluşturulmalıdır.
Joker Karakterler ve URL Eşleştirme
Google'ın robots.txt yorumlamasında yıldız (*) karakteri birden fazla karakterle eşleşebilir. Dolar ($) işareti ise URL yolunun sonunu belirtmek için kullanılır.
User-agent: *
Disallow: /*?sort=
Disallow: /*.pdf$
İlk kural, yolun ardından sort parametresinin geldiği örnek URL'leri hedefler. İkinci kural ise yolu .pdf ile biten URL'lerin taranmasını engeller. Bu tür kalıplar kullanılmadan önce gerçek URL örnekleriyle test edilmelidir.
Google'ın robots.txt dosyalarında Crawl-delay ve Noindex yönergelerini desteklemediğini de unutmayın. Tarama hızını veya dizine ekleme durumunu bu komutlarla yönetmeye çalışmak beklenen sonucu vermeyecektir.
WordPress, E-Ticaret ve Kurumsal Siteler İçin Örnekler
Her web sitesi için kullanılabilecek tek bir ideal robots.txt şablonu yoktur. Kurallar; içerik yönetim sistemine, URL mimarisine ve arama motorlarının erişmesi gereken kaynaklara göre şekillendirilmelidir.
WordPress Sitesi İçin Robots.txt Örneği
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.example.com/sitemap_index.xml
Bu örnekte WordPress yönetim dizininin taranması sınırlandırılırken bazı ön yüz işlevlerinde kullanılabilen admin-ajax.php dosyasına izin verilir. Sitemap adresi kullanılan SEO eklentisine veya site haritası altyapısına göre değişebilir.
WordPress sistemlerinde robots.txt sanal olarak da oluşturulabilir. Düzenleme yöntemini belirlemeden önce mevcut dosyanın fiziksel mi yoksa uygulama tarafından üretilen bir çıktı mı olduğunu kontrol edin.
E-Ticaret Sitesi İçin Robots.txt Örneği
User-agent: *
Disallow: /sepet/
Disallow: /odeme/
Disallow: /arama/
Disallow: /*?sort=
Sitemap: https://www.example.com/sitemap.xml
E-ticaret sitelerinde çok sayıda filtre, sıralama ve arama URL'si oluşabilir. Bu adreslerin kontrolsüz taranması, botların aynı veya birbirine oldukça benzer içerikleri tekrar tekrar ziyaret etmesine neden olabilir.
Ancak tüm filtreli sayfaları kapatmak her zaman doğru değildir. Örneğin arama talebi bulunan marka, renk veya ürün özelliklerine yönelik kategori URL'leri organik görünürlük açısından değerli olabilir.
Bu nedenle e-ticaret SEO optimizasyonu çalışmalarında önce filtre URL'leri sınıflandırılmalı, ardından tarama ve indeksleme stratejisi belirlenmelidir.
Kurumsal Web Sitesi İçin Robots.txt Örneği
User-agent: *
Disallow: /site-ici-arama/
Disallow: /gecici-raporlar/
Sitemap: https://www.example.com/sitemap.xml
Kurumsal sitelerde hizmet, sektör, referans ve bilgi merkezi sayfalarının yanlışlıkla engellenmemesi önceliklidir. Birden fazla dil veya ülkeye yönelik alt alan adları kullanılıyorsa her ana makinenin robots.txt kapsamı ayrıca incelenmelidir.
Bu örneklerdeki dizin adları temsili olarak verilmiştir. Özellikle ödeme alanlarının güvenliği robots.txt ile sağlanamaz; yetkilendirme, oturum yönetimi ve gerekli sunucu tarafı erişim kontrolleri kullanılmalıdır.
Robots.txt Dosyasında En Sık Yapılan SEO Hataları
Robots.txt dosyasındaki hatalar küçük görünse de geniş URL gruplarını etkileyebilir. Özellikle site yayını, altyapı değişikliği ve taşıma işlemlerinde kontrol edilmesi gereken kritik riskler bulunur.
Tüm Siteyi Yanlışlıkla Taramaya Kapatmak
User-agent: *
Disallow: /
Bu yapı, kurallara uyan botların tüm siteyi taramasını engeller. Test ortamlarında bilinçli kullanılabilir ancak canlı sitede kalması ciddi organik görünürlük sorunlarına yol açabilir.
CSS ve JavaScript Kaynaklarını Engellemek
Google sayfaları işlerken CSS ve JavaScript kaynaklarından yararlanabilir. Bu kaynakları topluca engellemek, özellikle JavaScript ile oluşturulan içeriklerin doğru işlenmesini zorlaştırabilir.
Güvenlik gerekçesi olmadan geniş kaynak engelleri uygulamak yerine, gerçekten gereksiz dosyaları ayrı ayrı değerlendirin.
Robots.txt Dosyasını Gizlilik Aracı Sanmak
Robots.txt dosyası herkese açıktır. Dosyaya gizli yönetim yollarını yazmak, bu yolları dış dünyadan gizlemez; aksine adreslerinin öğrenilmesini kolaylaştırabilir.
Özel bilgiler için kimlik doğrulama ve yetkilendirme mekanizmaları kullanılmalıdır. Robots.txt bir güvenlik duvarı değildir.
URL Büyük-Küçük Harf Farklarını Atlamak
Google'ın robots.txt yol eşleştirmesi büyük-küçük harfe duyarlıdır. Bu nedenle /Katalog/ ve /katalog/ aynı kural kapsamında değerlendirilmeyebilir.
Dosyanızı gerçek URL yapısına göre hazırlayın. Özellikle çok dilli ve özel URL yönlendirmeleri bulunan projelerde farklı varyasyonları test edin.
Sunucu Hatalarını Göz Ardı Etmek
Robots.txt dosyasının sürekli sunucu hatası döndürmesi tarama süreçlerini etkileyebilir. Google, 5xx yanıtları veya bağlantı sorunları karşısında geçici olarak taramayı durdurabilir ya da azaltabilir.
Site taşıma ve sunucu değişiklikleri sırasında bu kontrollerin yapılması önemlidir. Düzenli SEO denetimi ve raporlama süreçleriyle hatalı kurallar ve erişim sorunları erken tespit edilebilir.
Robots.txt Testi ve Performans Takibi Nasıl Yapılır?
Dosyayı oluşturmak sürecin yalnızca ilk aşamasıdır. Doğru çalıştığını doğrulamak ve sonrasında tarama davranışını izlemek gerekir.
Google Search Console ile Kontrol
- Google Search Console hesabınızda ilgili web sitesi mülkünü açın.
- Ayarlar bölümünden robots.txt raporunu inceleyin.
- Google'ın gördüğü dosya sürümünü ve erişim durumunu kontrol edin.
- Önemli URL'ler için URL Denetleme aracındaki tarama bilgilerini değerlendirin.
- Gerekli düzeltmelerden sonra dosyanın yeniden alınmasını isteyin ve sonuçları takip edin.
Search Console'un robots.txt raporu, dosyanın erişilebilirliği ve Google'ın gördüğü içerik hakkında bilgi sağlar. Her URL kuralını etkileşimli olarak test eden eski bağımsız robots.txt Tester aracının güncel bir karşılığı olarak değerlendirilmemelidir.
Takip Edilmesi Gereken SEO Metrikleri
| Metrik | Neyi Gösterir? | Kontrol Yöntemi |
|---|---|---|
| Engellenen URL'ler | Tarama erişimi kapalı sayfalar | Search Console sayfa indeksleme raporu |
| Googlebot istekleri | Tarama etkinliğindeki değişim | Tarama istatistikleri ve sunucu logları |
| İndekslenebilir sayfalar | Önemli URL'lerin indeksleme durumu | URL Denetleme ve indeksleme raporları |
| Organik tıklamalar | Google Arama'dan gelen trafik | Search Console performans raporu |
Robots.txt değişikliklerinden sonra yalnızca organik trafik artışına odaklanmayın. Öncelikle hedef URL'lerin doğru şekilde taranıp taranmadığını ve önemli sayfalarda beklenmeyen erişim engelleri oluşup oluşmadığını doğrulayın.
Yayın Öncesi Robots.txt Kontrol Listesi
- Dosya doğru ana makinenin kök dizininde bulunuyor mu?
- Dosya adı robots.txt ve kodlaması UTF-8 mi?
- Canlı siteyi tamamen engelleyen bir kural var mı?
- Önemli hizmet, ürün ve kategori URL'leri taranabilir mi?
- Sayfanın işlenmesi için gerekli CSS ve JavaScript kaynakları erişilebilir mi?
- Allow ve Disallow kuralları gerçek URL örneklerinde doğru eşleşiyor mu?
- Sitemap adresi geçerli, erişilebilir ve güncel mi?
- Değişiklik öncesinde dosyanın yedeği alındı mı?
Özellikle büyük web sitelerinde dosya değişikliklerini sürüm kontrolüne almak, olası hatalarda önceki yapılandırmaya dönmeyi kolaylaştırır.
Google'ın güncel teknik gereksinimlerini doğrulamak için resmî robots.txt teknik dokümantasyonunu da inceleyebilirsiniz.
Sık Sorulan Sorular
Robots.txt dosyası olmazsa ne olur?
Robots.txt dosyasının bulunması zorunlu değildir. Başka erişim kısıtlamaları bulunmadığında arama motorları sitenizdeki erişilebilir URL'leri tarayabilir. Dosya özellikle tarama erişimini bilinçli olarak yönetmek istediğinizde önem kazanır.
Robots.txt dosyası Google sıralamasını etkiler mi?
Robots.txt doğrudan bir sıralama faktörü değildir. Ancak önemli sayfaları yanlışlıkla engellemek Google'ın bu sayfalara erişmesini ve içeriklerini değerlendirmesini zorlaştırabilir. Bu nedenle dolaylı SEO etkileri olabilir.
Robots.txt ile bir sayfa Google'dan kaldırılabilir mi?
Hayır, robots.txt tek başına Google sonuçlarından kaldırma garantisi sağlamaz. Google, başka sayfalardan bağlantı verilen engellenmiş bir URL'yi içerik göstermeden listeleyebilir. Dizinden çıkarma için erişilebilir sayfada noindex kullanılması veya uygun HTTP durum kodlarının uygulanması değerlendirilmelidir.
WordPress robots.txt dosyası nerede bulunur?
WordPress'te dosya sitenin kök adresindeki /robots.txt yolundan görüntülenebilir. Bazı kurulumlarda fiziksel dosya yerine WordPress tarafından üretilen sanal bir çıktı kullanılır. Düzenleme işlemi kullanılan sunucu altyapısına ve SEO eklentisine göre değişebilir.
Robots.txt değişiklikleri Google tarafından ne zaman görülür?
Google robots.txt dosyasını genellikle önbelleğe alır ve normal koşullarda yaklaşık 24 saatlik sürelerle yenileyebilir. Bağlantı veya sunucu sorunlarında bu süre uzayabilir. Güncellenen dosyanın yeniden alınması Search Console üzerinden talep edilebilir ancak anlık uygulanma garanti edilmez.
Sonuç: Doğru Robots.txt Yapılandırmasıyla Taramayı Yönetin
Robots.txt nasıl yazılır sorusunun temel cevabı; doğru User-agent gruplarını belirlemek, Disallow ve Allow kurallarını dikkatli oluşturmak, dosyayı kök dizine yerleştirmek ve gerçek URL'lerle test etmektir.
2026 yılında başarılı bir robots.txt stratejisi, gereksiz URL taramalarını sınırlandırırken değerli içeriklerin erişilebilir kalmasını sağlamaya odaklanmalıdır. Bu yaklaşım özellikle binlerce URL'ye sahip e-ticaret ve kurumsal sitelerde önem taşır.
Web sitenizin robots.txt dosyası doğru yapılandırılmış mı? Seo Performans olarak tarama engellerini, indeksleme sorunlarını ve teknik SEO risklerini birlikte değerlendiriyoruz. Sitenize özel analiz ve uygulanabilir iyileştirme planı için Teknik SEO Optimizasyonu hizmetimizi inceleyebilirsiniz.