Robots.txt
Robots.txt, web yöneticilerinin web tarama botlarına (robotlara) web sitelerindeki sayfaları nasıl tarayacaklarını ve dizine ekleyeceklerini bildirmek için oluşturdukları bir metin dosyasıdır. Dosya web sitesinin kök dizinine yerleştirilir ve botlara web sitesinde barındırılan hangi dizinlere veya dosyalara erişmemeleri veya taramamaları gerektiğini söylemek için Robots Exclusion Standardını kullanır. Tarayıcı trafiğini kontrol etmeye yardımcı olur, ancak önemli sayfaların yanlışlıkla engellenmesini önlemek için dikkatli kullanılmalıdır.