Site Ekle

 

Tarmot Gezgin

Tarmot Gezgin, Tarmot'un web tarama botudur (bazen "örümcek" olarak da adlandırılır). Tarama, Tarmot Gezgin’in Tarmot dizinine eklenecek yeni ve güncel sayfaları bulmasını sağlayan işlemdir.

Web’deki milyarlarca sayfayı bulup getirmek (veya "taramak") için muazzam sayıda bilgisayardan yararlanırız. Tarmot Gezgin, algoritmaya dayalı bir işlem kullanır: Hangi sitelerin ne sıklıkta taranacağı ve her siteden kaç sayfa alınacağı bilgisayar programları tarafından belirlenir.

Tarmot Gezgin'in tarama işlemi, önceki tarama işlemlerinde oluşturulan web sayfası URL’lerinin listesiyle başlar ve web yöneticileri tarafından sağlanan Site haritası verileriyle artar. Tarmot Gezgin, bu web sitelerini ziyaret ettiğinde her sayfadaki bağlantıları (SRC ve HREF) tespit eder ve bunları taranacak sayfalar listesine ekler. Yeni siteler, mevcut sitelerdeki değişiklikler ve geçersiz bağlantılar belirlenerek Tarmot dizinini güncellemek için kullanılır.

Tarmot Gezgin'in site içeriğinizi nasıl aldığını öğrenme

Tarmot, sitenizle ilgilenebilecek Tarmot Arama kullanıcılarının sitenizi bulabilmesi amacıyla web içeriğinizi almak için yazılım programları ve algoritmalarının bir birleşimini kullanır. Bu şekilde, Tarmot'un içeriğinizi aldığı süreçler çoğunlukla otomatik olarak gerçekleşir ve sizin çok az şey yapmanızı gerektirir.

Tarama, Tarmot Arama sonuçları için herkese açık web içeriğini toplayan Tarmot'ın yürüttüğü bir süreçtir. Tarama süreci için Tarmot, Tarmot Gezgin adı verilen ve web sitelerini otomatik olarak bulup alan özelleştirilmiş yazılımlar kullanır.

Tarmot Gezgin nasıl engellenir?

Tarmot Gezgin'in sitenizi ziyaret etmesini önlemenin hızlı yolu, aşağıdaki iki satırı sunucunuzun ana dizinindeki robots.txt dosyasına koymaktır:

User-agent: TarmotGezgin
Disallow: /


Alternatif olarak, sitenizi ziyaret eden Tarmot Gezgin'in sıklığını, botumuzdan art arda gelen iki istek arasındaki kabul edilebilir minimum gecikmeyi aşağıdaki gibi (robots.txt dosyasında) belirterek kontrol edebilirsiniz:

User-agent: TarmotGezgin
Crawl-Delay: 3


Tarama Gecikmesi (Crawl-Delay) parametresinin değeri gün cinsindendir (Örnek olarak Crawl-Delay: 3 belirtildiğinde sitedeki tüm sayfaları 3 günde bir gez demektir.)

Tarmot Gezgin opsiyonel kontrol komutları neledir?

Request-rate: 1/5 ( her 5 saniyede maksimum 1 sayfa)

Visit-time: 0600-0845 ( sadece 06:00 ile 08:45 UTC (GMT) saatleri arasında ziyaret edilme talebi)
İletişim Site Ekle | Gizlilik ve Şartlar