robots.txt Oluşturucu Hakkında — Ayrıntılı Kılavuz
robots.txt Generator, web tarayıcılarına ve arama motoru botlarına yol göstermek için Robot Engelleme Standardı kurallarını (`robots.txt`) görsel olarak oluşturur. Allow ve Disallow yönergeleriyle belirli botları (Googlebot, Bingbot, Baiduspider) veya evrensel kullanıcı aracılarını (`User-agent: *`) hedefleyin.
Sunucu trafiğindeki ani artışları hafifletmek için `Crawl-delay` aralıklarını yapılandırın, XML Sitemap yollarını bildirin ve WordPress ile Drupal gibi popüler CMS platformları için yerleşik şablonlardan yararlanarak standart `robots.txt` dosyalarını anında dışa aktarın.
Temel Özellikler ve Yetenekler
- Evrensel (`*`) veya hedeflenen arama motoru tarayıcıları için özel yönergeler yapılandırır
- Gizli yönetim dizinlerini korumak için Allow ve Disallow yol kalıplarına yönelik görsel girdi
- Crawl-delay zamanlaması ve açık Sitemap URL bildirimleri için yerleşik parametreler
- Gerçek zamanlı önizleme, anında kopyalama ve dosya indirme özellikleriyle popüler web platformlarına yönelik hazır ayarlar
Nasıl Kullanılır
- 1
Hedef User-agent'ı seçin (veya varsayılan `User-agent: *` değerini koruyun).
- 2
Gizli dizinler (ör. `/admin/`, `/api/`) için Disallow kuralları, herkese açık yollar içinse Allow kuralları ekleyin.
- 3
XML site haritası URL'nizi belirtin ve dosyayı alan adınızın kök dizinine kaydetmek için Download robots.txt butonuna tıklayın.
Yaygın Kullanım Alanları
- → Arama motorlarının yönetim panellerini ve yinelenen arama sorgusu URL'lerini dizine eklemesini engelleme
- → Tarayıcıların tüm yeni web sayfalarını keşfetmesi için resmi XML site haritası konumunu bildirme
- → Hazırlık (staging) ve üretim öncesi alan adlarını organik arama dizinlerine tamamen kapatma
İlgili Araçlar
HTML Meta Etiketleri Oluşturucu
SEO, Open Graph ve Twitter Cards için uyumlu ve eksiksiz HTML meta etiketleri oluşturun.
.gitignore Oluşturucu
Node.js, Python, Java, Go ve popüler geliştirme ortamları için hazır .gitignore dosyaları oluşturun.
Açık Kaynak Lisans Oluşturucu
MIT, Apache 2.0, GPL, BSD ve popüler açık kaynak lisans metinlerini projenize göre özelleştirin.
README.md Oluşturucu
GitHub projeleriniz için rozetler, kurulum ve kullanım bölümleri içeren profesyonel README dosyaları oluşturun.
Conventional Commit Yardımcısı
Standartlara uygun, düzenli ve profesyonel Git commit mesajları oluşturun.
SemVer Hesaplayıcı ve Karşılaştırıcı
Semantic Versioning (SemVer) kurallarına göre sürüm numaralarını karşılaştırın ve aralıkları doğrulayın.
Sıkça Sorulan Sorular ve Gizlilik
robots.txt gizli dosyalar için bir güvenlik mekanizması olarak kullanılabilir mi?
Hayır. robots.txt dosyası herkese açık şekilde erişilebilir durumdadır. Saygın web botları için yalnızca gönüllü bir kılavuzdur; kimlik doğrulama veya erişim kısıtlamalarını zorunlu kılmaz.
Tüm tarayıcıların hazırlık (staging) web sitemi taramasını nasıl engellerim?
Kurallara uyan botlara alan adındaki hiçbir içeriği taramamalarını bildirmek için `User-agent: *` ve ardından `Disallow: /` kuralını belirtin.