Arama motoru botları için robots.txt dosyanızı saniyeler içinde oluşturun; sitemap ve crawl-delay ayarlarını ekleyin.
SEO/analiz botlarını engelle (opsiyonel)
User-agent: * Disallow: /admin Disallow: /panel
Aracın arka planda ne yaptığını şeffafça anlatıyoruz.
Seçimleriniz sunucuya gitmez; robots.txt metni anında tarayıcınızda oluşturulur.
User-agent, Allow/Disallow, Crawl-delay ve Sitemap satırları robots.txt standardına uygun üretilir.
Çıktıyı kopyalayın veya robots.txt olarak indirip sitenizin kök dizinine yükleyin.
Sitenizin kök dizinine; örn. https://siteniz.com/robots.txt adresinden erişilebilir olmalıdır.