TR
Hemen başlayın

Sözlük

Kazıma ve otomasyon

Yeniden deneme mantığı

Bir kazıyıcının başarısız istekleri nasıl ele aldığı; kötü yapıldığında bant genişliğini boşa harcar ve engelleri tırmandırır, iyi yapıldığında geçici hataların çoğunu sessizce kurtarır.

Yeniden deneme mantığı, bir istek başarısız olduğunda kazıyıcınızın yaptığı şeydir ve kararsız bir ağdan sağ çıkan bir veri hattı ile geçici bir aksaklığı bir faturaya ve bir engele dönüştüren bir veri hattı arasındaki farktır. Ölçekte başarısızlıklar kaçınılmazdır: düşen bir bağlantı, yavaş bir kaynak sunucu, anlık bir hız sınırı ve çoğu geçicidir; bu yüzden yeniden denemek doğrudur. Kötü yeniden denemek, kazımada kendi kendine açılan en yaygın yaralardan biridir.

Temel disiplin geri çekilmedir: hemen yüklenmek yerine her deneme arasında daha uzun beklemek. Üstel geri çekilme, gecikmeyi her seferinde ikiye katlayan ve birçok işçinin aynı anda yeniden denememesi için biraz rastgelelik eklenen yöntem, yükü yayar ve zorlanan bir hedefe toparlanma alanı verir. Anında yeniden denemek tersini yapar: zaten başarısız olan şeyin üstüne daha fazla istek yığar ve yumuşak bir hız sınırının sert bir engele dönüşmesi tam olarak böyle olur. Başarısızlık size yavaşlamanızı söylüyordu ve anında bir yeniden deneme hızlanarak yanıt verir.

Başarısızlığı okumak akıllı bir yeniden denemeyi aptalca olandan ayıran şeydir ve farklı başarısızlıklar farklı yanıtları hak eder. Retry-After başlığıyla gelen bir 429 kesin bir talimattır: o kadar bekleyin, tahmine gerek yok. Bir 503 geri çekilmeli bir yeniden denemeye değer. Bir bağlantı zaman aşımı yalnızca farklı bir çıkış gerektirebilir. Ancak bir 403, bir CAPTCHA veya bozulmuş içerik sizin hakkınızda verilmiş bir karardır ve onu aynı adres, aynı parmak iziyle değiştirmeden yeniden denemek yalnızca engeli doğrulamak için para harcamaktır. Bunlar bir şeyi değiştirmeyi gerektirir: yeni bir adres veya farklı bir yaklaşım.

Gigabayt başına faturalandırmada unutulması kolay bir maliyet boyutu vardır. Yanıtının çoğunu aktardıktan sonra başarısız olan bir istek size o trafiğe yine de mal oldu; bu yüzden kararsız bir hedefe karşı agresif bir yeniden deneme politikası fazladan hiçbir şey toplamadan bir bant genişliği faturasını katlayabilir. Denemelere bir üst sınır, aralarında geri çekilme ve geçici olmayan başarısızlıkları yeniden denemeyi durduran bir kural, nezaketin ötesinde, istekleri kurtaran bir yeniden deneme politikası ile maliyetlerinizi sessizce ikiye katlayan bir politika arasındaki farktır.

Sık sorulan sorular

Üstel geri çekilme nedir?

Denemeler arasındaki beklemenin her seferinde, genellikle ikiye katlanarak arttığı ve birçok işçinin aynı anda yeniden denememesi için genellikle biraz rastgelelik eklenen bir yeniden deneme stratejisi. Yükü yayar ve zorlanan bir hedefe toparlanma alanı verir; anında yeniden denemelerin başarısız olduğu yerde başarılı olmasının nedeni budur. Geçici istek başarısızlıklarını ele almak için standart, mantıklı varsayılandır.

Başarısız olan her isteği yeniden denemeli miyim?

Hayır ve yaygın hata budur. Geçici başarısızlıkları, zaman aşımlarını, 503'leri, Retry-After gecikmesinden sonra bir 429'u yeniden deneyin, çünkü bunlar ikinci denemede çoğu zaman başarılı olur. Bir 403'ü, bir CAPTCHA'yı veya bozulmuş içeriği değiştirmeden yeniden denemeyin: bunlar sizin hakkınızda verilmiş kararlardır; bu yüzden aynı adres ve parmak iziyle yeniden denemek yalnızca engeli doğrulamak için ödeme yapmaktır. Bir şeyi değiştirin veya durun.

Kötü yeniden deneme mantığı proxy maliyetlerimi artırabilir mi?

Gigabayt başına faturalandırmada önemli ölçüde. Yanıtının çoğunu aktardıktan sonra başarısız olan bir istek size o bant genişliğine zaten mal oldu; bu yüzden kararsız bir hedefe karşı agresif yeniden denemeler hiçbir şey toplamadan faturayı katlar. Denemeleri sınırlayın, aralarında geri çekilin ve geçici olmayan başarısızlıkları yeniden denemeyi bırakın; bu, yeniden denemeleri bir maliyet çarpanından gerçek bir kurtarmaya dönüştürür.

Geri dön: sözlüğün tamamı.

HProxy.

Tanımlar sizi ancak bir yere kadar götürür. Çalıştır ve gerçek hedefler.

Konut proxy'leri GB başına 0,23 $ itibarıyla, kullandıkça ödeyin, bakiyenin süresi asla dolmaz.

HProxy