Robots.txt Nedir, Nasıl Oluşturulur?

Robots.txt, arama motorlarına bir sitenin nasıl taranacağı hakkında açıklama yapan, botlara bir yol haritası çizen metin dosyalarıdır. Aynı zamanda REP yani robot dışlama protokolünün de bir parçası olan robots.txt dosyası genellikle site sahipleri tarafından göz ardı edilen ya da nasıl oluşturulduğuna dair bilgilerin eksik olduğu bir durumdur.

Robots.txt dosyası SEO açısından da oldukça önemlidir. SEO çalışmalarınızdan daha yüksek bir verim almak için bu sağladığı birçok avantaj vardır. Bu yazımızda robots.txt dosyasının ne olduğunu, nasıl oluşturulduğunu ve SEO açısından enden önemli olduğunu sizlerle paylaşacağız.

Robots.txt Nedir?

Robots.txt, arama motorları örümceklerinin bir web sitesini nasıl tarayacağını gösteren metin dosyasıdır. Örümceklerin siteyi nasıl taraması gerektiğini, içeriklere nasıl ulaşacağını ve içerikleri nasıl dizine ekleyeceğini gösterir. Aynı zamanda bağlantılar karşısında örümceklerin ne yapması gerektiğini konusunda ilgili sayfalar, alt dizinler ve sitenin geneliyle ilgili talimatlar verir. Örneğin bu talimatlar; bir bağlantı karşısında örümceklere “bu bağlantıyı takip et” ya da “bu bağlantıyı takip etme” şeklinde olabilir.

Daha basit ve genel anlamda bu dosyanın ne olduğunu anlatmak gerekirse arama motorlarına ait botlara adeta bir yol haritası görevi görür. Botların nereden nasıl ilerleyeceğini gösterir. Eğer doğru bir şekilde bu talimatlar yani komutlar dosya içerisinde oluşturulursa arama motorlarına ait botlar sizin belirleyeceğiniz talimatlara göre sitenizi tarayacaktır. Bu işleme verilen genel ad ise robot engelleme standardı ya da protokolüdür.

Bir web sitesinin bazı yapı taşları vardır. Robots.txt dosyaları da bu yapı taşlarından biridir. Dosya içerisinde yer aşan her şeyin doğru bir şekilde ayarlanması gerekir. Aksi takdirde yanlış hazırlanan bir talimat sonucunda taranmasını istemediğiniz şeyler taranarak dizine eklenir. Bundan dolayı da dosyada yer alan komutların doğru ve dikkatli bir şekilde oluşturulması ilk şarttır.

Robots.txt Nasıl Oluşturulur?

• Dosyayı oluştururken ilk adımda masaüstünde boş bir txt dosyası oluşturmanız ve adını robot.txt yapmanız gerekir.
• Oluşturduğunuz dosyayı açıp ilk satıra User-agent:* tanımlamasını ekleyin. Bu tanımla ile birlikte yapacağınız sınırlamalar ve komutların tüm arama motorları için geçerli olduğunu gösterir.
• İlk tanımlamanın ardından “Disallow:” yazmalısınız. Bunu ekledikten sonra sınırlama getirmek istediğiniz kısımları ekleyin. Eğer bir tanımlama sınırı olmazsa arama motorlarına ait örümcekler tüm web sitenizi tarayarak dizine ekleyecektir.
• Bir sonraki adımda dosyaya sitemap eklemelisiniz. Bu sayede botlar sitenize daha kolay bir şekilde ulaşacaktır. Örneğin; https://www.siteadı/sitemap_index.xml şeklinde ekleyebilirsiniz.
• Site haritanızı ekledikten sonra indekslenmesini istemediğiniz sayfalar için tanımlama yapabilirsiniz. Bunun için Disallow: /page/ şeklinde bir tanımlama sapmanız gerekir.

Yukarıda genel anlamda bir robots.txt dosyasının nasıl oluşturulacağını anlattık. Ancak robots.txt dosyasında yukarıdakilere ek olarak karşılaşabileceğiniz bazı terimler vardır.

• Allow: Googlebot için geçerli bir durumdur. Dosyaya eklediğiniz zaman izin vereceğiniz sayfa ya da alt kalsör dışında Googlebot’a tarama izni verilmez.
• Crawl-delay: Örümceklere tarama işleminden önce kaç milisaniye beklemesi gerektiğini gösteren komuttur. Ancak Googlebot crawl-delay komutunu onaylamaz. Bunun yerine tarama hızını ayarlayabilmek için Search Console’u kullanmanız gerekir.

Robots.txt Dosyası Sitenin Hangi Kısmında Yer Almalı?

Arama motorları örümcekleri bu dosyasının nerede olduğunu bilir. Dosyayı bulurken de ana dizin, kök domain ya da ana sayfaya bakarlar. Fakat botlar www.siteadı.com/robots.txt adresinde dosyayı bulamazsa sitede dosyanın olmadığını ve sitenin tamamının taranacağını kabul ederek tarama yapar. Bu adres yerine dosya www.siteadı.com/index/robots.txt veya www.siteadı.com/homepage/robots.txt adreslerinde yer alsa dahi robotlar dosyaya ulaşamayacaktır. Bu durumda da robotlar dosyanın olmadığını düşünerek sitede tarama yapar. Bu yüzdende dosyayı ana dizine ya da kök domaine eklemeniz gerekir.

SEO Açısından Robots.txt Dosyasının Önemi

Robots.txt dosyası sitelerin bazı kısımlarına olan erişimi düzenlemenizi sağlar. Bu anlamda da bu dosyaların bazı faydaları vardır. Bunlar aşağıdaki gibi sıralanabilir:

1. Sitede yer alan görünmesini istemediğiniz kısımların gizli kalmasını sağlayabilirsiniz. Örneğin sitede yer alan kopya içeriklerin arama sonuçlarında görünmesini engelleyebilirsiniz.
2. Site haritasındaki konumları belirtmenizi sağlar.
3. Botların aynı anda yapacağı işlemlerde aşırı yükleme sonucu sunucuda sorunlar ortaya çıkabilir. Tarama gecikmesi ile bu sorunun önüne geçebilirsiniz.
4. İstediğiniz sayfaların ve bağlantıları dosyada engelleyerek taranmasını da engellersiniz. Bu sayede istemediğiniz bağlantılar ve kaynaklar dizine eklenmeyecektir.
5. Hassas verilerin arama sonuçlarında gösterilmesini engelleyebilirsiniz.
6. Arama motorları tarama işlemi sırasında dosya içeriğini önbellekler. Önbelleğe alınan içerik de günlük en az 1 defa güncellenir. Fakat dosyada değişim yaparsanız ve güncelleme hızını artırmak isterseniz bunu Google’a göndererek hızı artırabilirsiniz.

Kısacası sitenizin hangi kısımlarının taranıp taranmayacağını belirleyerek indekslenen içeriklerin, dosyaların yada sayfaların kontrolünü elinizde bulundurabilirsiniz. Ancak bütün bunları yaparken çok dikkatli olmalısınız. Çünkü yapacağınız yanlışlar tüm indekslerinizin silinmesini de yol açabilir.