TR
Hemen başlayın

Sözlük

Tespit ve itibar

Bot karşıtı sistem

Sitelerin otomasyonu gerçek kullanıcılardan ayırmak için kullandığı, ağ, parmak izi ve davranış kontrollerinin birleştiği katmanlı bir savunma.

Bir anti-bot sistemi, IP engel listesinin yerini alan şeydir. Bir engel listesi tek bir soruyu tek bir sinyalle yanıtlar ve adresi değiştirerek kolayca aşılır. Modern bir sistem bir düzine soru sorar, yanıtları ağırlıklandırır ve tek bir karar üretir; bir engel listesini yenen taktiklerin ona karşı neredeyse hiçbir işe yaramamasının nedeni budur.

Girdiler her katmandan aynı anda gelir ve bu üst üste bindirme tasarımın kendisidir. Ağ katmanında adresin sahibi kim ve itibarı ne; proxy tespitinin kapsadığı alanın aynısı. Taşıma katmanında TLS parmak izi, çünkü Chrome kullanıcı aracısı giymiş bir Python el sıkışması fark edilmesi hiçbir şeye mal olmayan bir çelişkidir. Uygulama katmanında tarayıcı parmak izi: canvas, WebGL, yazı tipleri, saat dilimi ve bunlardan herhangi birinin IP'nin bulunduğunu iddia ettiği yerle çelişip çelişmediği. Ardından davranış: tempo, işaretçi hareketi, kaydırma, varlıkların yüklenip yüklenmediği, gezinme yolunun bir insanın izleyebileceği bir yol olup olmadığı.

Karar nadiren doğrudan bir engeldir ve insanları en çok şaşırtan kısım budur. Seçenekleri olan bir sistem çoğu zaman size maliyet çıkaran ve kendisine çıkarmayan en ucuz yanıtı seçer: bir CAPTCHA sunmak, içeriği sessizce bozmak, eski fiyatlar döndürmek, sonuçları atlamak veya kazıyıcı zaman aşımına uğrayana kadar yanıtı yavaşlatmak. Sorunsuz yüklenen ve ince biçimde yanlış veri içeren bir sayfa, bir 403'ten çok daha etkili bir savunmadır, çünkü haftalarca fark etmeyebilirsiniz.

Savunmalar da hareket eder. Kurallar yeniden ayarlanır, yeni sinyaller eklenir, eşikler trafikle kayar ve geçen ay işe yarayan bir teknik hiçbir duyuru olmadan çalışmayı bırakabilir. Stratejiyi belirleyen yapısal gerçek budur: bir bulmacayı bir kez çözmüyorsunuz; size haber vermeden değişen bir şeye karşı bir konumu sürdürüyorsunuz.

Bu yüzden zor bir hedef için dürüst tavsiye daha iyi bir proxy almaktan daha geniştir. Bunu bir kılık değiştirme yerine bir denetim olarak düşünün: isteğinizin her katmanından aynı hikâyeyi anlatması beklenir ve sistem anlatmayanı arar. İstemciniz ne olduğunu iddia ediyorsa el sıkışmada gerçekten o olmalı, makul bir makine bildirmeli, söylediği yerle tutarlı bir adreste durmalı ve sayfada iddia edilen insanın yetişebileceği bir hızda ilerlemelidir. Hedef, gözle görülür biçimde çelişen hiçbir şeyin olmamasıdır; görünmezlik hiçbir zaman hedef olmadı.

Ve onunla kendi başınıza mücadele etmenin mantıklı olmaktan çıktığı bir nokta vardır. Erişimi korumak, asıl ürününüzü geliştirebilecek birinin sürekli emeğini gerektiriyorsa, tam olarak bu konuda uzmanlaşmış bir kazıyıcı API'si genellikle mühendislik zamanından daha ucuzdur ve bir ay boyunca sessizce yanlış veri toplamaktan çok daha ucuzdur.

HProxy bunu nasıl ele alıyor

Katmanlardan birini satıyoruz ve bunu açıkça söyleriz: iyi bir adres taban seviyenizi yükseltir ve yığının daha yukarısında kendisiyle çelişen bir istemciyi kurtaramaz. Bir IP'nin her hedefi çözdüğünü iddia etmek yerine proxy'lerin yanında bir kazıyıcı API'si çalıştırmamızın nedeni de budur.

Sık sorulan sorular

Bir konut proxy'si tek başına bir anti-bot sistemini aşabilir mi?

Hafif korumaya karşı çoğu zaman evet, çünkü ağ itibarı en ağır girdilerden biridir ve güvenilir bir adres sizi sınamanın en ucuz nedenini ortadan kaldırır. Ciddi korumaya karşı hayır. Sistem TLS parmak izinizi, tarayıcı parmak izinizi ve davranışınızı da okur ve bunlardan herhangi birinin adresle çelişmesi tek başına yeterlidir. Adres gereklidir ve yeterli sayılmaz.

Kazıyıcım neden haftalarca çalışıp sonra birden durdu?

Genellikle sizin tarafınızda bir değişiklik olmadan savunma değiştiği için. Eşikler yeniden ayarlanır, yeni sinyaller eklenir ve kurallar sürekli güncellenir; bu yüzden çizginin hemen üstünde duran bir kurulum, sizin tarafınızda hiçbir şey değişmeden çizginin altına düşebilir. Gerçekten durup durmadığını veya yalnızca bozulmuş içerik döndürmeye başlayıp başlamadığını kontrol etmeye de değer; ikincisi gözden kaçması çok daha kolay bir arızadır.

Engellenmek yerine bozulmuş içerik sunulup sunulmadığını nasıl anlarım?

Güvendiğiniz bir istekle karşılaştırın. Aynı URL'yi normal bir bağlantıda sıradan bir tarayıcı üzerinden getirin ve anlamlı alanları karşılaştırın: fiyatlar, sonuç sayıları, stok durumu, bir listedeki öğe sayısı. Sessiz bozulma HTTP düzeyinde başarı gibi görünür; bu yüzden durum kodlarınızdaki veya hata günlüklerinizdeki hiçbir şey bunu size söylemez, yalnızca bir karşılaştırma söyler.

Daha yavaş gitmek daha mı iyi?

Genellikle evet ve elinizdeki en çok hafife alınan ayardır. Hacim ve düzenlilik güçlü sinyallerdir ve ikisi de tamamen sizin kontrolünüzdedir. Temponuza, kendisi de bir örüntü olan sabit bir gecikme yerine gerçek bir değişkenlik eklemek size zamana mal olur ve hiçbir proxy satın alımının ortadan kaldıramayacağı bir sinyali ortadan kaldırır.

Anti-bot sistemleri arama motoru crawler'larını da engeller mi?

Genellikle hayır, çünkü çoğu site dizine eklenmek ister. Bilinen crawler'lar genellikle tanımlanır ve izin verilir; bir sitenin önbellekteki bir arama sonucunda ardına kadar açık görünüp sizi hemen sınamasının nedeni budur. İzin, benzer bir kullanıcı aracısı sunan herhangi bir şeye verilmez; belirli, doğrulanmış bir crawler'a verilir ve onlardan biri olduğunu iddia etmek ters DNS ile kolayca kontrol edilebilir.

Geri dön: sözlüğün tamamı.

HProxy.

Sözümüze güvenmek zorunda değilsiniz. Kendiniz Ölçün.

Tarayıcınızda canlı adrese karşı çalışır. Kayıt yok, liste saklanmaz.

HProxy