TR
Hemen başlayın

Sözlük

Tespit ve itibar

Bal küpü

Otomasyon için kurulmuş bir tuzak, insanların göremediği bir bağlantı veya alan; onunla etkileşime giren her şeyi bot olarak işaretler.

Bal küpü, otomasyon için kurulmuş bir yemdir. Site sayfaya bir insanın algılayamayacağı ve bu yüzden asla dokunmayacağı bir şey koyar, ardından ona dokunan her şeyi bir programın kanıtı sayar. Tartışılacak bir belirsizlik yoktur ve onu bu kadar temiz bir sinyal yapan da budur: bir insan görünmez bir alanı basitçe doldurmaz.

Biçimleri, bir kez öğrendiğinizde sıradandır. Ekran dışına yerleştirilmiş veya sıfır boyut verilmiş bir bağlantı; işaretlemede vardır, ekranda yoktur. CSS ile gizlenmiş, bazen form dolduran bir betiğe cazip görünecek şekilde adlandırılmış bir form alanı. Görünür gezinmenin hiçbir yerinde bulunmayan bir URL. Ve klasik olanı, robots.txt'de izin verilmeyen olarak listelenmiş bir yol; iyi davranan bir crawler onu asla talep etmez ve bu yüzden talep eden her şeyi ele verir.

Sonuncusu üzerinde durmaya değer, çünkü insanların robots.txt'nin ne işe yaradığına dair varsayımını tersine çevirir. Uzak durulacak yerlerin listesi yerine ilginç yerlerin listesi olarak ele alındığında, tam olarak hangi isteklerin sizi işaretleyeceğinin haritasına dönüşür. Bir sitenin neyi sakladığını bulmak için onu okumak, bile bile tuzağa yürümenin güvenilir bir yoludur.

Bu savunmanın zarafeti, titizliği ele veren işarete dönüştürmesidir. Otomasyonunuz mekanik olarak ne kadar eksiksizse, bir insanın asla karşılaşmayacağı bir şeyi tetikleme olasılığı o kadar kesindir; yani bir crawler'ı veri toplamada iyi yapan niteliğin kendisi onu kolayca tanımlanır kılar. Tetiklendikten sonra sonuç genellikle adrese düşer; tek bir dikkatsiz çalıştırmanın bir IP'yi ardından gelen her şey için bozabilmesinin nedeni budur.

Onlardan kaçınmak, her şeyi kapsamak yerine seçici davranma meselesidir. Gerçekten görünür ve gezinilebilir olanı izleyin, robots.txt'yi bir dizin gibi okumak yerine bir talimat olarak dikkate alın, işlenmiş bir sayfanın göstermediği alanları göndermeyin ve DOM'da bulunup ekranda görünmeyen her öğeden şüphelenin. Bir okuyucunun makul olarak yapacağını taklit eden bir web crawler'ı hem daha kibardır hem de yakalanması daha zordur.

Sık sorulan sorular

Bir bal küpünü tetiklemeden önce nasıl fark ederim?

Yalnızca işaretlemeyi ayrıştırmak yerine sayfayı işleyin, ardından bir insanın göremeyeceği veya ulaşamayacağı her şeyi yok sayın: display none, visibility hidden, sıfır genişlik veya yükseklik, sıfır opaklık taşıyan ya da ekranın çok dışına konumlandırılmış öğeler. İşlemeden ham HTML ayrıştırıyorsanız, görsel sayfanın içermediği tuzakları içeren bir belge üzerinde çalışıyorsunuzdur; tekniğin istismar ettiği boşluk tam olarak budur.

robots.txt bana bal küplerinin nerede olduğunu söyler mi?

Çoğu zaman onları listeler ve onu bu şekilde kullanmak insanların yakalanma biçimidir. Hiçbir görünür bağlantının işaret etmediği izin verilmeyen bir yol güçlü bir yem adayıdır, çünkü uyumlu bir crawler onu asla talep etmez ve orada yalnızca dosyayı görmezden gelen otomasyon görünür. Dosyayı ilginç URL'lere giden bir kestirme olarak kullanmayın; nereye gidilmeyeceğine dair bir talimat olarak ele alın.

Birini tetikledikten sonra ne olur?

Bu siteye bağlıdır ve çoğu zaman anında bir engel gelmez. Bazıları adresi işaretler ve daha sonra harekete geçer, bazıları bozulmuş veya uydurma içerik sunmaya başlar; böylece topladığınız veri sessizce yanlış olur, bazıları da anti-bot sistemindeki puanınızı yükseltir; böylece sonraki her istek daha fazla şüpheyle karşılanır. Gözle görülür bir şey olmaması, hiçbir şey olmadığının kanıtı sayılmaz.

IP'mi döndürmek bir bal küpü işaretini geri alır mı?

İşareti o belirli adresten kaldırır; işaret yalnızca IP'ye karşı kaydedildiyse bu yardımcı olur. Site istemcinin parmak izini de aldıysa yardımcı olmaz, çünkü aynı parmak izinin yeni bir adreste gelmesi yerinde kalmaktan daha güçlü bir sinyaldir. Ve tuzağı tetikleyen davranış hakkında hiçbir şey yapmaz; bu yüzden bir sonraki adres de onu tetikler.

Geri dön: sözlüğün tamamı.

HProxy.

Sözümüze güvenmek zorunda değilsiniz. Kendiniz Ölçün.

Tarayıcınızda canlı adrese karşı çalışır. Kayıt yok, liste saklanmaz.

HProxy