TR
Hemen başlayın

Sözlük

Kazıma ve otomasyon

Hız sınırlama

Bir sitenin tek bir kaynağın belirli bir zaman aralığında yapabileceği istek sayısına koyduğu sınır; bir kazıyıcının karşılaştığı en yaygın engel.

Hız sınırlama, tek bir kaynağın bir şeyleri ne kadar hızlı isteyebileceğine konan bir sınırdır. Onu aşın, sunucu pencere sıfırlanana kadar size hizmet vermeyi bırakır; çoğu zaman 429 Too Many Requests yanıtıyla. Herhangi bir istemcinin herkesin ihtiyaç duyduğu kapasiteyi tüketmesini önlemek için vardır ve sizin hakkınızda hiçbir görüşü olmayan sunucular tarafından uygulanır.

Belirleyici özelliği niyete kör olmasıdır ve içselleştirilmeye değer kısım budur. Sayaç düşmanca mı yoksa yalnızca yoğun mu olduğunuzu bilmez. Kaynak başına istekleri sayar ve sayıya göre hareket eder; tamamen meşru yüksek hacimli işlerin onu kötüye kullanım kadar kolay tetiklemesinin nedeni budur. İyi davranmak sizi aritmetikten muaf tutmaz.

Sayaç neredeyse her zaman tanımlayıcı bir şeye bağlıdır: bir IP adresi, bir API anahtarı, bir hesap veya bir oturum. Hangi anahtarı kullandığı seçeneklerinizin ne olduğuna karar verir ve bunu varsaymak yerine öğrenmeye değer. Bir site adres başına sınırlıyorsa istekleri bir havuza yaymak işe yarar. API anahtarı başına sınırlıyorsa daha fazla adres hiçbir şeyi değiştirmez ve farklı bir anahtara veya daha yavaş bir tempoya ihtiyacınız olur.

Dönen bir proxy'nin var olma nedeni budur ve ne yaptığının dürüst tanımı şudur: trafiğinizi tek bir sayaçta yoğunlaştırmanızı önler; sınır aynı kalır. Bir proxy havuzuna bölünmüş aynı toplam hacim, her adresi asla yaklaşmadığı bir eşiğin rahatça altında bırakır. Aritmetik yeniden düzenlendi, o kadar.

Aldığınız yanıt size çok şey söyler ve onu doğru okumak günler kazandırır. Bir 429 genellikle tam olarak ne kadar bekleneceğini belirten bir Retry-After başlığı taşır; bu, bir sitenin kurallarını açıkça söylemesidir. Ona uymak hem kibar hem etkili davranıştır, çünkü onu yok sayıp hemen yeniden denemek geçici bir kısıtlamayı daha uzun bir engele tırmandıran şeydir.

Yine de her sınır kendini duyurmaz ve sessiz olanı tehlikeli olandır. Seçenekleri olan bir bot karşıtı sistem çoğu zaman reddetmek yerine kaliteyi düşürür: daha yavaş yanıtlar, kesilmiş sonuç setleri, bayat önbellek verileri veya sessizce atlanmış kayıtlar. İstekleriniz 200 döndürmeye devam eder ve veri setiniz yanlıştır. Hacimli web kazıma yapan herkes durum kodlarına güvenmek yerine sonuçları bilinen iyi bir referansla karşılaştırmalıdır.

En az takdir edilen çözüm basitçe değişkenlikle yavaşlamaktır. Sabit bir gecikme kendi başına tespit edilebilir bir örüntüdür ve tempodaki gerçek değişkenlik hem sınırların altında kalır hem de daha az mekanik görünür. Zaman alır ve zaman genellikle kısıtlanmanın, sınanmanın ve sonunda engellenmenin tırmanan maliyetinden daha ucuzdur.

Sık sorulan sorular

429 hatası ne anlama gelir?

Too Many Requests: sunucunun neye göre sayıyorsa onun için izin verilen miktarı aştınız ve pencere sıfırlandığında size yeniden hizmet verecek. Tam olarak ne kadar bekleneceğini belirten bir Retry-After başlığı olup olmadığını kontrol edin. Bu geçici bir rettir ve onu öyle ele alıp geri çekilmek genellikle gereken tek şeydir.

Daha fazla proxy hız sınırlamasını her zaman çözer mi?

Yalnızca sınır IP adresi başına sayılıyorsa. Bir API anahtarına, bir hesaba veya bir oturum çerezine bağlıysa adres eklemek hiçbir şeyi değiştirmez, çünkü sayaç adresinize hiç bakmadı. Onu çözmek için kapasite satın almadan önce sınırın neye bağlı olduğunu belirleyin, yoksa yanlış boyutu ölçeklendirirsiniz.

Bir sitenin hız sınırını nasıl bulurum?

Bazen API belgelerinde veya sınırı, kalan izni ve sıfırlanma zamanını belirten yanıt başlıklarında yayımlanır. Yayımlanmadığı yerde onu deneyerek ve dikkatle bulun: makul herhangi bir eşiğin çok altında başlayın, kademeli olarak artırın ve ilk 429'u veya bozulmuş içeriğin ilk işaretini izleyin. Sınırı keşfetmek için bir siteye bilerek yüklenmek hem kabadır hem de daha uzun bir engel kazanmanın iyi bir yoludur.

IP'leri döndürmek mi daha iyi, yavaşlamak mı?

İkisi de; farklı yarıları çözerler. Rotasyon hacmin tek bir sayaçta yoğunlaşmasını önler; gerçek değişkenlikle yavaşlamak ise trafiğin örüntüsünü ele alır ve rotasyon buna karşı hiçbir şey yapmaz. Makine düzenliliğinde bir kadansı koruyacak kadar hızlı dönmek yine bir makine gibi görünür, yalnızca birçok adres giymiş bir makine.

Hız sınırlama sessiz olabilir mi?

Evet ve karşı korunmaya en çok değer arıza budur. Bazı siteler reddetmek yerine kaliteyi düşürür: daha yavaş yanıtlar, daha az sonuç, bayat önbellek değerleri veya sessizce eksik kayıtlar; hepsi tamamen normal bir 200 ile döner. Günlüklerinizdeki hiçbir şey bunu işaretlemez. Tek güvenilir savunma, toplanan verilerinizi temiz olduğunu bildiğiniz bir istekle düzenli olarak karşılaştırmaktır.

Geri dön: sözlüğün tamamı.

HProxy.

Tanımlar sizi ancak bir yere kadar götürür. Çalıştır ve gerçek hedefler.

Konut proxy'leri GB başına 0,23 $ itibarıyla, kullandıkça ödeyin, bakiyenin süresi asla dolmaz.

HProxy