Robots.txt Nedir?
Robots.txt, bir web sitesinin kök dizininde bulunan ve arama motoru botlarına (crawlers) hangi sayfaları tarayıp tarayamayacaklarını belirten bir metin dosyasıdır. SEO (Arama Motoru Optimizasyonu) açısından oldukça önemli bir rol oynar çünkü web yöneticileri, bu dosya aracılığıyla arama motorlarının belirli sayfaları dizine ekleyip eklememesini kontrol edebilirler.
Arama motoru botları, web sitenizi taramaya başladığında ilk olarak robots.txt dosyasını kontrol ederler. Eğer belirli sayfalar veya dizinler için bir kısıtlama varsa, botlar bu talimatlara uyarak ilgili alanları dizine eklemez.
Robots.txt Ne İşe Yarar?
Gizlilik ve Güvenlik
Özel veya duyarlı sayfaların arama motorları tarafından dizine eklenmesini engelleyerek güvenliği artırabilirsiniz.
Kaynak Yönetimi
Arama motoru botlarının gereksiz sayfaları taramasını engelleyerek sunucu kaynaklarını daha verimli kullanabilirsiniz.
SEO Optimizasyonu
Gereksiz veya yinelenen içerikleri hariç tutarak web sitenizin SEO performansını iyileştirebilirsiniz.
Site Haritası Yönlendirmesi
XML site haritasının konumunu belirterek arama motorlarının siteyi daha verimli taramasını sağlayabilirsiniz.
Robots.txt Nasıl Oluşturulur?
Robots.txt Dosyası Nasıl Yazılır?
Robots.txt dosyası, belirli direktifleri içeren basit bir metin dosyasıdır. Temel komutlar şunlardır:
- User-agent: Arama motoru botlarının kimliklerini tanımlar.
- Disallow: Botların erişmesini istemediğiniz sayfa veya dizinleri belirtir.
- Allow: (Opsiyonel) Disallow ile engellenmiş bir dizindeki belirli bir sayfaya erişime izin verir.
- Sitemap: XML site haritasının URL’sini belirtir.
Robots.txt Örnekleri
Tüm Botlara Tüm Sayfalara Erişimi Engellemek
User-agent: *
Disallow: /
Bu kod, tüm arama motoru botlarının siteyi taramasını tamamen engeller.
Tüm Botlara Belirli Bir Dizin veya Sayfayı Engellemek
User-agent: *
Disallow: /admin/
Disallow: /gizli-dosya.html
Bu kod, /admin/ dizinine ve gizli-dosya.html sayfasına botların erişmesini engeller.
Google Bot’una Özel Kurallar
User-agent: Googlebot
Disallow: /ozel-bolum/
Bu kod, yalnızca Google botunun /ozel-bolum/ dizinini taramasını engeller.
XML Site Haritası Eklemek
User-agent: *
Sitemap: https://www.siteadiniz.com/sitemap.xml
Bu komut, arama motorlarına site haritanızın konumunu bildirir.
Robots.txt Dosyası Nasıl Yüklenir?
Dosyayı Oluşturun
Yeni bir metin dosyası açın ve adını robots.txt olarak belirleyin.
Kuralları Yazın
Yukarıdaki örneklerden uygun olanı seçerek gerekli kuralları ekleyin.
Sunucuya Yükleyin
Robots.txt dosyanızı, web sitenizin ana dizinine (root directory) yükleyin.
Doğrulama Yapın
Robots.txt dosyanızın doğru çalışıp çalışmadığını kontrol etmek için Google Search Console Robots.txt Tester aracını kullanabilirsiniz.
Robots.txt Kullanırken Dikkat Edilmesi Gerekenler
Yanlış Yapılandırmadan Kaçının
Hatalı bir Disallow komutu, arama motorlarının sitenizi tamamen dizine eklememesine neden olabilir.
Duyarlı Verileri Koruma Konusunda Yanlış Beklentiye Girmeyin
Robots.txt yalnızca arama motorlarının sayfaları taramasını engeller, ancak doğrudan URL’ye erişimi engellemez.
Kapsamlı Testler Yapın
Robots.txt dosyanızın beklenildiği gibi çalıştığını doğrulamak için test araçlarını kullanın.
Güncel Tutun
Web sitenizde yapısal değişiklikler olduğunda robots.txt dosyanızı da güncelleyin.
Sonuç
Robots.txt, web sitenizin SEO yönetiminde kritik bir araçtır. Doğru yapılandırıldığında hem arama motoru botlarının verimli çalışmasını sağlar hem de sitenizin güvenliğini ve performansını artırır. Ancak, hatalı kullanımı web sitenizin dizinlenmesini olumsuz etkileyebilir. Bu nedenle, robots.txt dosyanızı dikkatlice oluşturmalı ve düzenli olarak kontrol etmelisiniz.