İndexleme Neden Önemlidir

Yaptığımız web sitelerinde indexleme arama sonuçları yönünden oldukça önemlidir. Herhangi bir siteyi incelediğimizde google, yandex ve diğer arama motorları ulaşabildiği bütün sayfaları indexler ve arama sonuçlarında bunları gösterir. Biz bu arama sonuçlarında bazı sayfaların çıkmasını istemeyebiliriz.
Bunu şöyle açıklayalım, mesela google arama çubuğuna "site:bizimsitemiz.com" yazdığınız zaman sitenizdeki indexlerin tamamı listelenecektir. Çıkan listede indexlenmesini istemediğimiz linkler varsa bunları engellemek için robots.txt dosyasını kullanıyoruz. robots.txt dosyası var ise açıp, yok ise oluşturup içerisine şu satırları yazıyoruz. İlk satıra "User-agent:*" satırı ve genellikle yıldız işareti kullanılır. Yıldız işareti yerine hangi kullanıcılara yani hangi ajanlara izin vereceğimizi yazarız. Buradaki kullanıcı kavramı arama motoru botlarını temsil eder. Mesela "Slurp" botu yahoo, "Googlebot" botu google, "Bingbot" bing botu, "Yandexbot" yandex botu adı üstünde. Hangi arama motoruna izin vereceksek yada yasaklayacaksak o botun ismini gireriz. Genelde bütün arama motorları için aynı ayarları kullanacağımız için "*" yıldız işareti kullanılır. İkinci satıra ise "Disallow: /admin", izin vermemek anlamına gelen disallow komutunu girip ve botların girmesini istemediğimiz klasörleri alt alta listeleyeceğiz. Bende en son yaptığım sitede robots.txt dosyasını unuttuğum için hala google ın indexlediği linkleri temizlemekle meşgulüm. go-opencart.com kurucusu Yılmaz Hocama teşekkür ediyorum hatırlattığı için. Velhasıl hazırlamış olduğunuz sitelerde mutlaka indexlemek istemediğiniz dosyalara botların erişimini engellemelisiniz.
robotst.txt dosyamızı sunucumuzda oluşturduktan sora onu Google Search Console içinde istediğimiz google mülküne girip robots.txt Test Aracı içerisinden tanıtmamız gerekiyor.
Eğer sitemizdeki hatalı linkleri düzeltmezsek veya google ın önceden bozuk olarak indexlediği linkleri Search Console dan temizlemezsek, bozuk ve ulaşılamayan linklerin çokluğuna göre google puanımız düşer ve google sıralamasında arka sıralara düşeriz.

Buda opencart için örnek bir robots.txt dosyasının içeriği. ​

PHP:

[font=verdana]User-agent: *
Disallow: /admin/
Disallow: /system/
Disallow: /download/
Disallow: /vqmod/[/font]