Cloudflare
Web'in büyük bir kısmının önünde duran ve kazıyıcıların karşılaştığı en yaygın bot karşıtı sınamaların bazılarını içeren bir CDN ve güvenlik katmanı.
Cloudflare, bir CDN ve güvenlik proxy'si olarak web sitelerinin çok büyük bir kısmının önünde durur; bu da bot savunmasını otomasyonun karşılaştığı en yaygın engellerden biri yapar. Bir istek otomatik göründüğünde Cloudflare gerçek siteye ulaşılmadan önce bir sınama koyabilir: bir JavaScript kontrolü, yönetilen bir sınama, bazen bir CAPTCHA.
Cloudflare site için bir ters proxy olduğundan, karşı karşıya olduğunuz şey Cloudflare'in kendi savunmasıdır. Bu savunma her ciddi anti-bot sisteminin tarttığı sinyallerin aynısını tartar: IP itibarı, TLS parmak izi, tarayıcı davranışı. Bir veri merkezi adresi, temiz bir konut adresinden çok daha kolay sınama çeker.
Pratik sonuç değişmez: güvenilir bir adres, gerçek bir tarayıcı parmak izi ve aceleci olmayan davranış, bunlardan yalnızca birinin geçemediği yerden birlikte geçer; en zor yapılandırmalar için de amaca yönelik bir kazıyıcı uç noktası çoğu zaman pragmatik yoldur.
Anlamaya değer yapısal nokta, korumanın her site tarafından yapılandırılabilir olmasıdır; tek ve sabit bir engel sayılmaz. Site işletmecileri kendi güvenlik düzeylerini, kendi kurallarını ve kendi eşiklerini seçer; onun arkasındaki bir sitenin tamamen açık, bir başkasının sizi hemen sınamasının nedeni budur. Arkasındaki hiçbir şeyi kazıyamayacağınız veya hepsini kazıyabileceğiniz sonucu, platformun kendisinden çok birinin seçtiği bir ayardan genelleme yapar.
Aldığınız yanıtın iki seçenekle sınırlı olmadığı anlamına da gelir. Yapılandırmaya bağlı olarak bir istek normal şekilde sunulabilir, siz fark etmeden çözülen sessiz bir JavaScript kontrolüne tabi tutulabilir, etkileşimli bir sınama gösterilebilir, hız sınırına takılabilir veya doğrudan reddedilebilir. Bunlardan hangisini gerçekten aldığınızı okumak, her 200 dışı yanıtı aynı duvar olarak görmekten çok daha fazlasını neyi değiştireceğiniz hakkında söyler.
Bir adresin izini süren herkes için gerçekten yararlı bir sonuç: ters proxy olarak çalıştığı için gördüğünüz adresler ona aittir. Bir sitenin IP'si üzerinde yapılan bir sorgu çoğu zaman CDN'i döndürür; bu beklenen davranıştır ve hiçbir şeyin kanıtı sayılmaz.
En zor yapılandırmalar hakkındaki dürüst tutumumuz, çünkü bize gerçekten sorulan soru bu: temiz bir konut adresi taban seviyenizi yükseltir ve sonucu tek başına belirlemez, çünkü ağ katmanının üstündeki kontroller ne olursa olsun devam eder. Bir hedef yeterince agresif yapılandırıldığında gerçekçi seçenekler amaca yönelik bir kazıma uç noktası, varsa resmî bir API veya sitenin otomatik erişim istemediğini kabul etmektir. Buna yanıt olarak daha pahalı bir proxy satmak doğru olmaz.
Sık sorulan sorular
Cloudflare neden kazıyıcımı engelliyor da tarayıcımı engellemiyor?
Çünkü tarayıcınız ile betiğiniz adres dışındaki her şeyde farklıdır. Bir HTTP kütüphanesinin TLS parmak izi bir tarayıcınınkiyle eşleşmez, başlık sırası farklıdır, istemci ipuçları eksiktir ve hiçbir insan etkileşimi yoktur. Bunlar isteğiniz siteye ulaşmadan önce okunur; aynı IP'nin birinde başarılı olup diğerinde başarısız olmasının nedeni budur.
Konut proxy'leri Cloudflare'i aşar mı?
Sizi sınamanın en güçlü nedenlerinden birini ortadan kaldırırlar ve hafif yapılandırılmış sitelerde bu çoğu zaman tek başına yeterlidir. Agresif yapılandırılmış sitelerde yetmez, çünkü parmak izi ve davranış kontrolleri adresiniz ne kadar güvenilir olursa olsun çalışır. Taban seviyenizi yükseltir; sonucu üstteki katmanlar belirler.
Cloudflare arkasındaki farklı siteler neden bu kadar farklı davranıyor?
Çünkü her işletmeci kendi güvenlik düzeyini, kurallarını ve eşiklerini yapılandırır. Ayarları olan bir platformdur; bu yüzden ikisi de aynı ürünü kullanırken bir site tamamen açık, bir başkası hemen düşmanca olabilir. Platformdan genelleme yapmak yerine belirli siteyi test edin.
Beni engelleyen Cloudflare mı yoksa web sitesi mi?
Genellikle kenar sunucusu, sitenin işletmecisinin seçtiği kurallara göre hareket eder. Ters proxy olduğu için karar genellikle sitenin kendi uygulaması herhangi bir şey görmeden önce verilir; bir engelin anlık olabilmesinin ve kaynak sunucuda isteğinize dair hiçbir kaydın bulunmayabilmesinin nedeni budur. Sitenin adresi üzerinde yapılan bir sorgunun barındırıcı yerine CDN'i döndürmesini de açıklar.
Geri dön: sözlüğün tamamı.

