TR
Hemen başlayın

Sözlük

Kazıma ve otomasyon

robots.txt

Bir sitenin kökünde bulunan ve tarayıcı robotlarına hangi yollardan uzak durmalarını tercih ettiğini söyleyen dosya; zorla uygulanan bir engel olmaktan çok bir teamüldür.

robots.txt, bir sitenin otomatik ziyaretçilerin nasıl davranmasını istediğini, hangi yolları atlamalarını, bazen ne kadar yavaş taramalarını belirtmek için kök dizininde yayımladığı düz bir metin dosyasıdır. İyi davranan crawler'ların izlediği köklü bir gelenektir ve arama motorları ona sıkı sıkıya uyar.

Ne işe yaradığını net görmek önemlidir: bir erişim denetimi sağlamaz. robots.txt rica eder ve hiçbir şeyi zorla uygulamaz; izin verilmeyen bir yola yapılan isteği teknik olarak hiçbir şey durdurmaz. Yine de onu görmezden gelmek hem kötü bir uygulamadır hem de pratik bir risktir, çünkü crawler'lardan kaçınmalarını istediği yollara trafik gelen bir site, ziyaretçinin kötü davranan bir bot olduğuna dair kolay bir sinyal elde eder.

Mantıklı yorum, robots.txt'nin hoş karşılanan otomasyonun sınırını çizdiğidir. Onun içinde kalmak bir crawler'ı işaretlenmiş kötüye kullanım yerine hoş görülen trafik kategorisinde tutar.

Mekanik olarak basittir ve onlarca yıl değişmeden ayakta kalmasının bir nedeni de budur. Gruplar, kuralların hangi crawler için geçerli olduğunu belirten bir User-agent satırıyla başlar, ardından yol öneklerini listeleyen Disallow ve Allow satırları gelir. User-agent satırındaki yıldız işareti, daha özel olarak hitap edilmeyen herkes anlamına gelir. Birçok site bir Sitemap satırı da yayımlar ve bu gerçekten yararlıdır: sitenin gerçekten bulunmasını istediği URL'lerin yapılandırılmış bir listesini gösterir.

Yarattığı tuzak amacının tersidir ve kendini zeki sanan insanları yakalar. Kaçınılacak yerler yerine ilginç yerlerin listesi olarak okunduğunda, izin verilmeyen bir yol orada değerli bir şeyin saklandığına dair bir ipucu gibi görünür. Çok daha sık olarak durum bunun tersidir: hiçbir meşru crawler'ın talep etmeyeceği bir yol; bu da onu talep eden her şeyi kolayca tanımlanabilir yapar. Dosyayı bir harita gibi kullanmak bile bile bir bal küpüne yürümektir.

Bir güvenlik önlemi olarak da tasarlanmadığını net görmek gerekir. İzin verilmeyen bir yol hâlâ herkese açık olarak erişilebilirdir; bu yüzden herkes onu talep edebilir ve hiçbir şey onları durdurmaz. Hassas bir şeyin konumunu robots.txt'de yayımlamak, kimsenin bakmamasını kibarca rica ederken onu herkese duyurur; bu iki dünyanın en kötüsüdür.

Benimsediğimiz ve bir taban olarak önereceğimiz pratik tutum: okuyun, disallow kurallarına uyun, belirttiği tarama gecikmesine uyun ve sunduğu site haritasını kullanın. Uyum neredeyse hiçbir şeye mal olmaz, sizi bir sitenin hoş gördüğü trafik kategorisinde tutar ve bir adresi kötü davranıyor olarak en güvenilir şekilde işaretleyen sinyalden kaçınmanızı sağlar.

Sık sorulan sorular

robots.txt'yi görmezden gelmek yasa dışı mı?

Bir gelenektir; hukuki durum yargı bölgesine göre değişir ve bir sitenin hizmet şartlarıyla etkileşebilir. Bu da onu bir sözlüğün yanıtlayacağı bir konu olmaktan çıkarıp bir avukatın sorusu yapar. Pratik yanıt ayrıdır ve daha nettir: onu görmezden gelmek bir adresin işaretlenmesinin en güvenilir yollarından biridir, çünkü izin verilmeyen yollar tam olarak hiçbir meşru ziyaretçinin talep etmediği yerlerdir.

robots.txt gerçekten bir şeyi engeller mi?

Hayır. Yayımlanmış bir ricadır ve hiçbir erişimi denetlemez. İzin verilmeyen her yol herkese açık olarak erişilebilir kalır ve birine yapılan isteği teknik olarak hiçbir şey engellemez. Hassas bir şeyi orada listelemenin ters tepmesinin nedeni de budur: konumu herkese duyurur ve onu korumak için nezakete güvenir.

robots.txt bana iyi verinin nerede olduğunu söyleyebilir mi?

Tuzakların nerede olduğunu söyleyebilir ve yararlı olan bu tersine okumadır. Hiçbir şeyin bağlantı vermediği izin verilmeyen bir yol güçlü bir bal küpü adayıdır, çünkü orada yalnızca dosyayı görmezden gelen otomasyon görünür. Gerçekten yararlı satır Sitemap'tir; sitenin aktif olarak keşfedilmesini istediği URL'lerin yapılandırılmış bir listesini gösterir.

Bir robots.txt dosyasını nasıl okurum?

Crawler'a göre gruplandırılmıştır. Bir User-agent satırı sonraki kuralların kime uygulandığını belirtir; yıldız işareti özel olarak hitap edilmeyen herkes anlamına gelir ve altında Disallow ve Allow satırları yol öneklerini listeler. Size uygulanan grubu bulun, genellikle yıldız işaretli gruptur ve o kurallara uyun. Bir Sitemap satırı herhangi bir yerde görünebilir ve herkes için geçerlidir.

Geri dön: sözlüğün tamamı.

HProxy.

Tanımlar sizi ancak bir yere kadar götürür. Çalıştır ve gerçek hedefler.

Konut proxy'leri GB başına 0,23 $ itibarıyla, kullandıkça ödeyin, bakiyenin süresi asla dolmaz.

HProxy