Sitenize robots.txt dosyası nasıl eklenir?

Bir robot metin dosyası veya (genellikle yanlışlıkla robot.txt dosyası olarak adlandırılır) robots.txt dosyası her web sitesi için bir zorunluluktur. Sitenizin kök klasörüne bir robots.txt dosyası eklemek çok basit bir işlemdir ve bu dosyanın bulunması aslında arama motorlarına bir ‘kalite işareti’ dir. Sitenizde kullanılabilen robots.txt seçeneklerine bakalım.

Robot metin dosyası nedir?

Bir robots.txt dosyası, arama motorlarına bir siteye gitmelerine izin verilmediğini söyleyen bir ASCII veya düz metin dosyasıdır – Robot Hariç Tutma Standardı olarak da bilinir. Bu belgede listelenen dosya veya klasörler, arama motoru örümcekleri tarafından taranmaz ve dizine eklenmez. Bir robots.txt dosyasına, hatta boş bir taneye sahip olmak, arama motorlarının sitenize izin verildiğini ve siteye ücretsiz erişimlerinin olabileceğini kabul eder. Ana alan adınıza ve sitenizdeki tüm alt alan adlarına bir robot metin dosyası eklemenizi öneririz.

Biçimlendirme için Robots.txt seçenekleri

Bir robots.txt yazmak kolay bir işlemdir. Şu basit adımları izleyin:

Not Defteri’ni, Microsoft Word’ü veya herhangi bir metin düzenleyicisini açın ve dosya türü uzantısı olarak .txt’yi seçtiğinizden emin olarak dosyayı ‘robotlar’ olarak kaydedin, Word’de ‘Düz Metin’i seçin).

Ardından, dosyanıza aşağıdaki iki metin satırını ekleyin:

Kullanıcı-aracı: *

İzin verme:

‘Kullanıcı aracısı’, robotlar veya arama motoru örümcekleri için kullanılan başka bir kelimedir. Yıldız işareti (*), bu çizginin tüm örümcekler için geçerli olduğunu belirtir. Burada, İzin Verme satırında listelenen hiçbir dosya veya klasör yoktur, bu da sitenizdeki her dizine erişilebileceğini gösterir. Bu temel bir robot metin dosyasıdır.

Arama motoru örümceklerinin tüm sitenizden engellenmesi de robots.txt seçeneklerinden biridir. Bunu yapmak için şu iki satırı dosyaya ekleyin:

Kullanıcı-aracı: *

İzin verme: /

Örümcekleri sitenizin belirli alanlarından engellemek istiyorsanız, robots.txt dosyanız aşağıdaki gibi görünebilir:

Kullanıcı-aracı: *

Disallow: / database /

Disallow: / scripts /

Yukarıdaki üç satır, tüm robotlara veritabanındaki hiçbir şeye erişmelerine izin verilmediğini ve komut dosyalarının dizinlerini veya alt dizinlerini belirtir. Her Disallow satırı için yalnızca bir dosya veya klasörün kullanılabileceğini unutmayın. İstediğiniz kadar İzin Verme satırı ekleyebilirsiniz.

blogger robot txt Arama motoru dostu XML site haritası dosyanızı robotlar metin dosyasına eklediğinizden emin olun. Bu, örümceklerin site haritanızı bulmasını ve sitenizin tüm sayfalarını kolayca dizine eklemesini sağlar. Bu sözdizimini kullanın:

Site Haritası: http://www.alanadim.com/sitemap.xml

Tamamlandığında, robots.txt dosyanızı kaydedin ve sitenizin kök dizinine yükleyin. Örneğin, alan adınız www.alanadim.com ise, dosyayı www.alanadim.com/robots.txt adresine yerleştireceksiniz.

Dosya yerleştirildikten sonra, hatalar için robots.txt dosyasını kontrol edin . blogger robot txt