Robots.txt Dosyası

Doğru kullanıldığında robots.txt dosyası, arama motoru botlarının (ör. Googlebot) sitenizi nasıl tarayacağını kontrol etmenize yardımcı olur. Ancak hatalı kullanıldığında, sitenizin arama motorlarında tamamen görünmez hale gelmesine de neden olabilir.

Bu Sayfada

• Arama Motoru Taraması ve Dizin Oluşturma
• Robots.txt Dosyası Nedir? 
• Robots.txt Dosyasını Düzenleme

Arama Motoru Taraması ve Dizin Oluşturma

Arama motorları (Google, Bing vb.), siteleri iki aşamalı bir süreçle işler:

1. Tarama (Crawling)
   Arama motoru botları sitenizi ziyaret eder, sayfalarınızı ve bağlantılarınızı gezer. Hangi sayfaların taranabileceği robots.txt dosyası üzerinden kontrol edilir.

2. Dizin Oluşturma (Indexing)
   Tarama sırasında bulunan sayfalar, arama motorunun dizinine eklenir. Bir sayfanın dizinde yer alıp almaması, sadece robots.txt dosyasına değil; sayfadaki içerik, meta etiketler, canonical yapı vb. birçok faktöre bağlıdır.

Robots.txt Dosyası Nedir?

robots.txt, sitenizin kök dizininde yer alan ve şu adresten erişilen bir dosyadır:

• https://alanadiniz.com/robots.txt

Bu dosya, arama motoru botlarına şu konularda talimat verir:

• Hangi URL yollarını tarayabilecekleri (Allow)

• Hangi URL yollarını taramamaları gerektiği (Disallow)

• Hangi site haritasını (sitemap) kullanmaları gerektiği (Sitemap)

• Bazı botlar için özel kurallar (ör. belirli botları sınırlandırma)

Bu talimatlar öneri niteliğindedir; saygın arama motoru botları (Googlebot gibi) bu kurallara genellikle uysa da, botlar teknik olarak robots.txt kurallarına uymak zorunda değildir ve bazı botlar bu dosyayı görmezden gelebilir.

Robots.txt Dosyasını Düzenleme

ikas'ta Robots.txt dosyasına Satış Kanalları > [Kullandığınız Satış Kanalı] > SEO ve Alan Adı alanında bulunan Robots.txt Dosyası alanının yanında bulunan Robots.txt Düzenle butonuna tıklayarak ulaşabilirsiniz. 

Bu ekrandan:

• Varsayılan robots.txt içeriğini görüntüleyebilir

• İsterseniz "Varsayılan Robots.txt Dosyasını Kullan" seçeneğini kapatarak kendi robots.txt içeriğinizi yazabilirsiniz.

Varsayılan dosyadaki başlıca kuralların amacı:

• Disallow: /admin
  Yönetici panelinizin arama motorları tarafından taranmamasını sağlar.

• Disallow: /cart, Disallow: /checkout
  Sepet ve ödeme adımlarının dizine eklenmesini ve taranmasını engeller. Bu sayfalar, SEO açısından değer üretmez ve güvenlik/gizlilik açısından dizine girmemelidir.

• Disallow: /account, Disallow: /account/*
  Müşteri hesap sayfalarının taranmamasını sağlar.

• Disallow: /_next/data/*
  Teknik Next.js veri yollarını (front-end için kullanılan dahili yollar) taramadan çıkarır; bunlar son kullanıcıya görünmeyen, teknik URL’lerdir.

• Sitemap: https://alanadiniz.com/sitemap.xml
  Arama motorlarına site haritanızın nerede olduğunu bildirir. Bu sayede ürün, kategori, sayfa ve blog URL’leriniz daha hızlı keşfedilir.

Bu varsayılan yapı, çoğu ikas mağazası için hem güvenli hem de SEO açısından sağlıklı bir tarama davranışı sunar.

Çoğu mağaza için varsayılan robots.txt ayarlarını değiştirmeye gerek yoktur.

Robots.txt dosyasını yalnızca:

• Teknik SEO konusunda deneyimliyseniz veya bir SEO ajansı/uzmanı ile çalışıyorsanız,

• Belirli sayfa/ları taramadan çıkarmak için net bir ihtiyacınız varsa,

• Arama motoru botlarının davranışını planlı olarak değiştirmek istiyorsanız

düzenlemeniz önerilir.

Şu durumlarda robots.txt dosyasını düzenlememeniz daha sağlıklıdır:

• Sadece “daha hızlı indexlensin” veya “daha iyi sıralansın” düşüncesiyle satır eklemek istiyorsanız,

• Teknik içeriğini tam olarak anlamadığınız kuralları internetten kopyalayıp yapıştırmayı düşünüyorsanız,

• Hangi botun ne yaptığından emin değilseniz.