robots.txt Oluşturucu

Arama motoru botları için tarama kurallarını ve sitemap yollarını içeren robots.txt dosyaları hazırlayın.

robots.txt
User-agent: *
Disallow: /admin/
Disallow: /private/

robots.txt Oluşturucu Hakkında — Ayrıntılı Kılavuz

Kategori: DevOps ve Standartlar %100 Tarayıcıda Yerel

robots.txt Generator, web tarayıcılarına ve arama motoru botlarına yol göstermek için Robot Engelleme Standardı kurallarını (`robots.txt`) görsel olarak oluşturur. Allow ve Disallow yönergeleriyle belirli botları (Googlebot, Bingbot, Baiduspider) veya evrensel kullanıcı aracılarını (`User-agent: *`) hedefleyin.

Sunucu trafiğindeki ani artışları hafifletmek için `Crawl-delay` aralıklarını yapılandırın, XML Sitemap yollarını bildirin ve WordPress ile Drupal gibi popüler CMS platformları için yerleşik şablonlardan yararlanarak standart `robots.txt` dosyalarını anında dışa aktarın.

#robots #seo #txt #website #generator

Temel Özellikler ve Yetenekler

  • Evrensel (`*`) veya hedeflenen arama motoru tarayıcıları için özel yönergeler yapılandırır
  • Gizli yönetim dizinlerini korumak için Allow ve Disallow yol kalıplarına yönelik görsel girdi
  • Crawl-delay zamanlaması ve açık Sitemap URL bildirimleri için yerleşik parametreler
  • Gerçek zamanlı önizleme, anında kopyalama ve dosya indirme özellikleriyle popüler web platformlarına yönelik hazır ayarlar

Nasıl Kullanılır

  1. 1

    Hedef User-agent'ı seçin (veya varsayılan `User-agent: *` değerini koruyun).

  2. 2

    Gizli dizinler (ör. `/admin/`, `/api/`) için Disallow kuralları, herkese açık yollar içinse Allow kuralları ekleyin.

  3. 3

    XML site haritası URL'nizi belirtin ve dosyayı alan adınızın kök dizinine kaydetmek için Download robots.txt butonuna tıklayın.

Yaygın Kullanım Alanları

  • → Arama motorlarının yönetim panellerini ve yinelenen arama sorgusu URL'lerini dizine eklemesini engelleme
  • → Tarayıcıların tüm yeni web sayfalarını keşfetmesi için resmi XML site haritası konumunu bildirme
  • → Hazırlık (staging) ve üretim öncesi alan adlarını organik arama dizinlerine tamamen kapatma

İlgili Araçlar

Sıkça Sorulan Sorular ve Gizlilik

robots.txt gizli dosyalar için bir güvenlik mekanizması olarak kullanılabilir mi?

Hayır. robots.txt dosyası herkese açık şekilde erişilebilir durumdadır. Saygın web botları için yalnızca gönüllü bir kılavuzdur; kimlik doğrulama veya erişim kısıtlamalarını zorunlu kılmaz.

Tüm tarayıcıların hazırlık (staging) web sitemi taramasını nasıl engellerim?

Kurallara uyan botlara alan adındaki hiçbir içeriği taramamalarını bildirmek için `User-agent: *` ve ardından `Disallow: /` kuralını belirtin.