Robot.txt Nedir?
Robot.txt dosyası, web sitelerinin hangi sayfalarının arama motorları tarafından taranmasına veya taranmamasına izin verdiğini belirten bir metin dosyasıdır. Bu dosya, web sitenizin kök dizininde bulunur ve arama motoru botlarına web sitenizdeki içeriği tarama ve dizine ekleme sırasında talimatlar verir.
Robot.txt dosyası, web sitenizin performansını ve SEO’sunu iyileştirmek için kullanışlı bir araçtır.