Crawl budget (tarama bütçesi), SEO stratejisi içerisinde en belirgin paya sahip alanlardan biridir ve tarama bütçesini efektif kullanarak arama motoru botlarının internet sitemizi anlamlandırma sürecine yardımcı olmak için kullanabileceğimiz araçlardan biri de robots.txt’dir.
Robots.txt Nedir
Kaliteli içerikleri sitenizde barındırdığınız ve gelir elde edebileceğiniz bir web siteniz varsa Robots.txt sizin için oldukça önemlidir. Web sitenizde hangi kategorilerin veya sayfaların kullanılmasını istediğiniz bir araçtır. Genel anlamı ile söyleyecek olursak, Robots.txt, tarayıcılar için bir tür kullanım kılavuzu işlevi görür. Web tarayıcılarının, indeksleme için hangi sayfaların ve dosyaların taranabileceğini ve hangilerinin taranamayacağını bilmesini sağlar.
Genellikle robots.txt, web sitenize gelen tarayıcı trafiğini kontrol etmek için kullanılır, bu nedenle istemedikleri sayfaya yönlenmek ya da bozuk sayfalarınız varsa bunların indekslerini kapatmanıza yarayan bir tür araçtır. Robots.txt dosyalarının en iyi kullanımı, ses veya komut dosyaları gibi web sitesi öğelerinin Google’da görünmesini engellemektir. Amacınız içeriğin taranmasını engellemekse noindex işlevini kullanmanız yeterli olacaktır, farklı bir işlev sağlayacaksınız bunu yazımızı okuyarak öğrenebilirsiniz.
Robots.txt Ne İşe Yarar ?
Robots.txt aslında her sitede bulunması gereken başlangıç araçlarından bir tanesidir. Sadece Robots.txt değil sitemap ile birlikte sitenizin daha iyi bir kullanıcı deneyimi sunması ve Google’a tanıtmak açısından büyük önem taşır. Gereksiz sayfaları engellemenin en önemli yolu Robots.txt’yi sizde mutlaka kurmalısınız. Robots.txt, web sitesini taramasını veya arama motorlarında hepsini bir arada dizine eklemesini engellemenize olanak tanır. robots.txt dosyası, arama motoruna bir sayfadaki içeriği taramamasını söyler.
Bazen bir arama motoru sayfaları tarar veya URL’lere işaret eden çok sayıda bağlantı olduğunu görür. Bu, kullanıcı aracılarına ve botlara bu sayfaların yetkili olduğunu söyler. Bu nedenle, dizine eklenirler ve bir meta açıklama kullanılarak Google’da ilk sayfalarda çıkmak için Google’a bildiri oluşturmaktadırlar. Robots.txt dosyanızda ne kadar çok satır varsa, sitenizin tamamında işlevleriniz için o kadar fazla taraması gereken dosya olduğunu unutmayın. Bu, genel anlamda bir gecikme yaratabilir ve sayfalarınızın hızını tam olarak yavaşlatabilir, bu nedenle çok fazla dosyaya izin vermeme gibi düzenlemeler yaparken dikkat edin. Yavaş hızlar genellikle sayfalarınızın düşük sıralanmasına veya kullanıcı deneyimini engellemesine neden olur.
Robots.txt Neden Kullanılır ?
- Örneğin, bir web sitesinin bazı bölümlerinin gizliliğini korumak istediğinizde.
- Google’da yinelenen içeriğin görünmesini önlemek için.
- Site haritalarının konumunu belirtmek için.
- Hatalı veya gereksiz sayfaların indekslenmesini istemediğinizde.
Robots.txt Komutları Nasıl Oluşturulur ve Kullanılır?
Robotx.txt dosyamızın ne anlama geldiğini anladıysak şimdi komutların ne anlama geldiğine yakından bakalım. Bunlar, tarayıcılarının hangi içeriğe eriştiğini ve nereye izinsiz giriş yapamayacağınızın işaretini Google’a bildirme yöntemidir. Bilinmesi gereken üç ana komut var ve hepsini ele alacağız. Bunun öncesinde Robots.txt dosyası nasıl oluşturulur buna değinelim. İlk olarak sitenizde robots.txt dosyasının var olup olmadığını tespit etmek için site adresinizin sonuna /robots.txt yazarak kontrol edebilirsiniz.
- İlk olarak yapmanız gereken yeni bir metin dosyası oluşturmak ve adını Robots.txt olarak değiştirmek olacak. Daha sonra sizlere örnekte vereceğimiz gibi kodları yazıp kaydedebilirsiniz.
- Daha sonra web sitenizin kök klasörüne yükleyin
- Burada kolay bir şekilde yapmak istiyorsanız Wordpress eklentilerini de kullanabilirsiniz.
- Wordpress eklentileri içinde Yoast Seo eklentisini yüklerseniz otomatik bir şekilde hem sitemap hemde robots.txt dosyanız oluşmuş olacaktır.
Allow – İzin Verme
İlk paragraflarda bahsettiğimiz durumda belirtildiği gibi, Google’ın dizine eklemesini istemeyeceğiniz bazı dosyalar olabilir. Allow etiketi bu amaçla oluşturulmuş olup izin vereceğiniz dosyaları belirtmek için bu etiketi kullanabilirsiniz. İzin verme seçeneği, tarayıcıların belirttiğiniz sayfa veya dosyanın yasak olduğunu bilmesini sağlar. Multimedya ve tasarım öğeleri gibi özelliklerin dizine eklenmesini ve Google’da görünmesini engellemek için izin verme komutunu kullanın.
Disallow – İzin vermek
Burada bilmeniz gereken en önemli detay Robot.txt dosyasının birincil amacı tarayıcılarının bilgilendirmek iken değil taramak için işlemini gerçekleştirdiğini unutmayın. Robot.txt izin ver komutu, genellikle bir sayfaya izin verme komutu verildiğinde kullanılır, ancak söz konusu sayfa, taramak istediğiniz belirli öğelere sahip olabilir; örneğin, tarayıcıların genel ana sayfanızı taramasına izin vermemek, belirli bir sayfayı taramalarını istemek gibi değişimler ya da düzenlemeleri siz belirleyebilirsiniz.
Noindex Etiketi
Noindex etiketi genel anlamda daha çok Robot.txt dosyasına yerleştirilmek yerine meta etikete gömülür. Google, robot.txt dosyanızı bulmadan önce, noindex komutunuzla karşılaşabilir ve hangi içeriğin atlanacağını yani indekslenmeyeceğini tam olarak anlamasını sağlar.
Sayfalarınıza noindex komutu eklemenin iki yolu vardır. Birincisi, başlığınıza ekleyerek tüm tarayıcılara hangi sayfaların dizine eklenmeyeceğini söylemektir. İkincisi ise içeriği özellikle Google’ın dışında tutmak istiyorsanız, bunun yerine ekleyebilirsiniz.
WordPress için örnek robots.txt dosyası
WordPress için kullanabileceğiniz ister büyük işletme olun isterseniz de yeni başlamış bir içerik web sitesine sahip olun fark etmez, sizler için robot.txt dosyası örneği aşağıda verilmiştir:
- Allow: /wp-content/uploads/
- Disallow: /wp-content/plugins/
- Disallow: /wp-admin/
- Site Haritası: https://example.com/sitemap_index.xml
