TR
Hemen başlayın

Sözlük

Kazıma ve otomasyon

Sayfalama

Bir sitenin uzun bir listeyi birçok sayfaya veya yüklemeye nasıl böldüğü; bir kazımanın sessizce veri kaçırma veya bir tarayıcı robotunu tuzağa düşürme olasılığı en yüksek kısmı.

Sayfalama, bir sitenin uzun bir listeyi bir kerede yerine parça parça sunma biçimidir ve kazımaların sessizce ters gittiği yerdir. İlk sayfayı almak kolaydır; tüm sayfaları, her birini tam olarak bir kez ve hepsine sahip olduğunuzu bilerek almak asıl iştir ve aldatıcı biçimde tuzaklarla doludur. Eksik veri setlerinin çoğu biraz yanlış ele alınmış sayfalamadan doğar.

Mekanizma değişir ve doğru yaklaşım da onunla birlikte değişir. Klasik numaralı sayfalar veya bir sonraki bağlantısı dostça durumdur: bağlantı kaybolana kadar izleyin. Ofset tabanlı sayfalama, sayfa 2, sayfa 3, basittir ama liste altınızda değiştiğinde bozulur; istekler arasında öğeler kaydıkça sessizce öğe atlar veya çoğaltır. Her yanıtın size bir sonraki için bir belirteç verdiği imleç tabanlı sayfalama sağlam modern biçimdir ve veri uç noktasını doğrudan çağırmanın en çok karşılığını verdiği biçimdir. Ve sonsuz kaydırmanın hiç sayfası yoktur: içerik kaydırdıkça yüklenir; bu da genellikle işlemeniz gereken bir sayfa yerine bulup çağırabileceğiniz bir arka plan isteği demektir.

Son nokta en yüksek kaldıraçlı hamledir ve işleme ve API girdileriyle bağlantılıdır. Sonsuz kaydırma ve dinamik yüklenen listeler sonsuza dek kaydıran headless bir tarayıcı gerektiriyormuş gibi görünür, ama kaydırma neredeyse her zaman altta sayfalanmış bir veri isteği tetikler ve o isteği sayfa veya imleç parametresiyle doğrudan çağırmak size tüm listeyi temiz parçalar hâlinde, bir tarayıcı yönetmekten daha hızlı ve daha ucuza verir. Sayfalamayı ağ sekmesinde bulmak, zor bir kazımanın kolay bir kazımaya dönüştüğü an çoğu zaman budur.

İki arıza biçimi çok yaygın oldukları için adlandırılmayı hak eder. Birincisi çok erken durmaktır: boş bir sayfayı veya eksik bir sonraki bağlantısını tutarsız biçimde ele alıp verinin dörtte üçüyle sessizce bitirmek; toplanan toplamı sitenin iddia ettiği sayıyla doğrulamanın önemli olmasının nedeni budur. İkincisi, crawler girdisinin anlattığı crawler tuzağıdır: çok yönlü filtreler ve takvimler sınırlı içerikten sonsuz geçerli sayfa üretir; bu yüzden kapsam sınırları olmadan sayfalamak bir crawler'ı sonsuz bir alana yürütür. Sayfalama, kapsamın hem çok az hem de çok fazla tarafında kazanıldığı veya kaybedildiği yerdir.

Sık sorulan sorular

Bir listenin yalnızca ilk sayfasını değil tüm sayfalarını nasıl kazırım?

Yöntemi eşleştirin. Klasik sayfalamada bir sonraki bağlantıları kaybolana kadar izleyin; numaralı sayfalarda ofsetleri dikkatlice artırın ve istekler arasında kayan öğelere dikkat edin; imleç tabanlı sayfalamada her yanıtın size verdiği belirteci izleyin, en güvenilir olanı budur. Sonsuz kaydırma için kaydırdıkça tetiklenen arka plan isteğini bulun ve onu sayfa veya imleç parametresiyle doğrudan çağırın.

Sonsuz kaydırmalı sayfaları nasıl kazırım?

Genellikle hiç kaydırmadan. Sonsuz kaydırma, sayfanın altına ulaştığınızda arka planda sayfalanmış bir veri isteği tetikler; bu yüzden ağ sekmesini açın, o isteği bulun ve tüm listeyi temiz parçalar hâlinde çekmek için onu sayfa veya imleç parametresiyle doğrudan çağırın. Bu, sonsuzca kaydırmak için headless bir tarayıcı yönetmekten daha hızlı, daha ucuz ve daha az kırılgandır.

Kazıyıcım neden sayfalar arasında veri kaçırıyor?

Çoğu zaman biraz yanlış ele alınmış sayfalama yüzünden: tutarsız boş bir sayfada veya eksik bir sonraki bağlantısında erken durmak ya da istekler arasında değişen bir listeye karşı ofset kullanmak; böylece öğeler atlanır veya çoğaltılır. Toplanan toplamı sitenin bildirdiği sayıyla doğrulayın ve sessiz boşluklara çok daha az yatkın olan imleç tabanlı sayfalamayı veya doğrudan bir veri uç noktasını tercih edin.

Geri dön: sözlüğün tamamı.

HProxy.

Tanımlar sizi ancak bir yere kadar götürür. Çalıştır ve gerçek hedefler.

Konut proxy'leri GB başına 0,23 $ itibarıyla, kullandıkça ödeyin, bakiyenin süresi asla dolmaz.

HProxy