TR
Hemen başlayın

Sözlük

Kazıma ve otomasyon

JavaScript işleme

Sayfaların yüklendikten sonra içeriklerini tarayıcıda oluşturma süreci; HTML'yi çekmenin size veri mi yoksa boş bir kabuk mu getireceğine bu karar verir.

İstek başarılı olur, HTML gelir ve veri içinde yoktur. Aynı sayfayı bir tarayıcıda görüntüleyin; her şey oradadır. Hiçbir şey arızalanmadı: site istemci tarafında işliyor; yani getirdiğiniz belge neredeyse boş bir sahnedir ve içerik, yüklemeden sonra veri getirip sayfaya yazan JavaScript tarafından oluşturulur. HTTP istemciniz tarayıcının aldığının tam olarak aynısını aldı; ardından tarayıcı, istemcinizin yapmadığı bir iş yaptı.

Bir sitenin hangi mimariyi kullandığı her kazımanın ilk teşhis sorusudur ve saniyeler içinde yanıtlanabilir. Tarayıcının kaynağı görüntüle özelliği belgeyi teslim edildiği hâliyle gösterir; geliştirici araçlarının öğe denetçisi betikler çalıştıktan sonraki ağacı gösterir. Fiyat ikincisinde olup birincisinde yoksa istemci tarafı işlemeye bakıyorsunuzdur. Ağ sekmesi ardından daha yararlı gerçeği gösterir: betiklerin veriyi NEREDEN aldığı; bu neredeyse her zaman istemcinizin doğrudan yapabileceği düzenli bir JSON isteğidir.

Bu gözlem bütün araç kutusunu sıraya koyar. İşlenen bir sayfaya en iyi yanıt genellikle işlemeden kaçınmaktır: alttaki veri uç noktasını çağırın ve yapılandırılmış alanları aktarımın küçük bir kısmıyla alın. Neredeyse onun kadar iyi bir yol: sunucuda işlenen çerçeveler tüm durumlarını teslim edilen HTML'nin içinde bir JSON bloğu olarak gömer; güncel nesil React ve Next.js siteleri onu bir script etiketinde taşır ve o bloğu ayrıştırmak hiçbir şey çalıştırmadan sayfanın bildiği her şeyi verir. Yalnızca ikisi de yoksa ağır seçenek yerini hak eder: sayfayı gerçekten çalıştıran headless bir tarayıcı, getirdiği maliyet ve tespit edilebilirlikle birlikte.

Ara durum ayrı bir notu hak eder, çünkü artık yaygın olan odur. Sunucuların gerçek HTML teslim ettiği ve betiklerin ardından etkileşim eklediği örüntü olan hydration, pek çok modern sayfanın ham belgeden kazınabilir OLDUĞU anlamına gelir ve boş kabuk dönemi kısmen sona ermiştir. Tuzak tersine döner: getirme anında mevcut olan içerik yüklemeden sonra yine DEĞİŞTİRİLEBİLİR; fiyatlar daha taze bir istekle güncellenir, bölgesel varyantlar yerleştirilir; bu yüzden bir kullanıcının gördüğüyle eşleşmek, getirilen HTML eksiksiz görünse bile bazen işlemeyi gerektirir.

Proxy planlaması için işleme her şeyi çoğaltır. İşlenen bir sayfa yüklemesi düzinelerce istek yapar, betikler, veri çağrıları, varlıklar ve her biri çıkışınızdan geçer; bu yüzden gigabayt başına faturalandırma işlemeyi en sert şekilde hisseder ve gerçek tarayıcı davranışı dahil ek yüzey, tespit sistemlerinin bir sonraki baktığı yerin ta kendisidir. Karar, her hedef için ayrı verilecek kadar önemlidir: gerektiren sayfaları işleyin, diğer her yerde veri katmanını getirin.

Sık sorulan sorular

Bir sayfanın kazınması için JavaScript işleme gerekip gerekmediğini nasıl anlarım?

Teslim edilen belgeyi canlı ağaçla karşılaştırın: kaynağı görüntüle ile öğe denetçisi. Yalnızca betikler çalıştıktan sonra bulunan veri istemci tarafı işleme demektir. Ardından ağ sekmesini açın ve verinin nereden geldiğini bulun; genellikle doğrudan çağırabileceğiniz bir JSON uç noktası görünür ve bu keşif işleme sorusunu çoğu zaman anlamsız kılar.

Headless bir tarayıcı olmadan bir JavaScript sitesini kazıyabilir miyim?

Çoğu zaman evet. Sayfanın kendi veri uç noktaları doğrudan çağrılabilir ve sunucuda işlenen çerçeveler tüm durumlarını HTML'nin içinde JSON olarak gömer; tek bir ayrıştırmayla okunabilir. Headless bir tarayıcı, verinin gerçekten yalnızca çalıştırmadan sonra var olduğu sayfalar için doğru son çaredir; modern görünen her şeyde varsayılan ilk hamle olarak kullanılmamalıdır.

Hydration nedir ve kazıma için neden önemlidir?

Hydration, sunucunun eksiksiz HTML teslim ettiği ve istemci betiklerinin ardından üstüne etkileşim eklediği örüntüdür. Önemlidir, çünkü bu tür sayfalar getirilen belgeden kazınabilir; boş kabuk varsayımını tersine çevirir. Bir uyarıyla: betikler teslim edilen içeriği yüklemeden sonra yine de değiştirebilir; bu yüzden canlı güncellenen verilerde ayrıştırdığınız ile bir kullanıcının şu anda gördüğü birbirinden kayabilir.

JavaScript işleme daha fazla bant genişliğine mal olur mu?

Önemli ölçüde. Bir sayfayı çalıştırmak, çıkışınız üzerinden betik, veri ve varlık isteklerinin tam bir çağlayanını tetikler; bu, yalnızca belgeyi getirmenin kolayca bir büyüklük mertebesi ötesidir ve gigabayt başına konut fiyatlandırması bunu doğrudan paraya dönüştürür. Gereksiz kaynak türlerini engellemek bunun büyük kısmını geri kazandırır, işlemeyi atlayıp veri katmanını tercih etmek ise neredeyse tamamını.

Geri dön: sözlüğün tamamı.

HProxy.

Tanımlar sizi ancak bir yere kadar götürür. Çalıştır ve gerçek hedefler.

Konut proxy'leri GB başına 0,23 $ itibarıyla, kullandıkça ödeyin, bakiyenin süresi asla dolmaz.

HProxy