Robots.txt Nedir ?
Robots.txt, arama motoru örümceklerinin web sitenizi taramasını yönetmek için kullanılan bir dosyadır. Bu dosya, web sitenizin hangi sayfalarının taranabileceğini ve hangilerinin taranamayacağını belirler. Robots.txt dosyası, arama motoru örümceklerinin web sitenizi taramasını yönetmek için kullanılırken, web sayfalarınızı arama sonuçlarından çıkarmak için kullanılmaz.
Robots.txt dosyası, web sitenizin ana dizininde bulunur ve arama motorları tarafından otomatik olarak taranır. Robots.txt dosyası, basit bir metin dosyasıdır ve herhangi bir metin düzenleyicisiyle oluşturulabilir.