Başsız tarayıcı
Görünür bir pencere olmadan çalışan gerçek bir tarayıcı; otomasyonda JavaScript ağırlıklı sayfaları işlemek için kullanılır.
Headless tarayıcı, bir insanın göreceği grafik pencere olmadan çalışan eksiksiz bir tarayıcıdır, Chrome veya Firefox. Sayfaları gerçek bir tarayıcı gibi işler, JavaScript'lerini çalıştırır ve aynı DOM'u oluşturur; onu yöneten bir insan yerine koddur. Düz bir HTTP isteğinin okuyamadığı siteleri kazımak için araç olmasının nedeni budur.
Dezavantajı, headless modun iz bırakmasıdır. Geçmişte headless işaretinin kendisi tespit edilebiliyordu ve bugün bile bir headless örneğinde gerçek bir kullanıcı oturumunun eklentileri, tam işleme tuhaflıkları ve etkileşim örüntüleri genellikle eksiktir; parmak izi bunların hepsini yakalayabilir.
Yani bir headless tarayıcı işleme için gereklidir ve fark edilmeden kalmak için tek başına yetmez. Ağ ipucunu düzeltmek için bir konut proxy'si, gerisini düzeltmek için parmak izi ve davranış yönetimiyle birlikte kullanılır.
Maliyet tarafı genellikle hafife alınır ve gigabayt başına faturalandırmada bütçeyi sessizce mahveden şey odur. Bir tarayıcı sayfayı bir tarayıcının yaptığı gibi getirir: her resim, yazı tipi, stil sayfası, izleme betiği ve video ön yüklemesi. Yararlı verisi elli kilobaytlık HTML olan bir ürün sayfası toplamda iki veya üç megabayt çekebilir. Bunu konut bant genişliği üzerinde büyük bir işle çarpın; faturanın asıl konusu proxy yerine tarayıcı olur.
Diğer her boyutta da daha ağırdır. Bir headless tarayıcı örneği yüzlerce megabayt bellek ve gerçek CPU tüketir, bir HTTP isteği ise neredeyse hiçbir şey tüketmez; bu yüzden aynı makinede sürdürebileceğiniz eşzamanlılık bir büyüklük mertebesi düşer. Bu kısıt çoğu zaman istek başına hız farkından daha önemlidir.
Bu da sorulmaya değer ilk soruyu bir tanesini iyi çalıştırmanın yolundan, ona gerçekten ihtiyacınız olup olmadığına çevirir. JavaScript ile işleniyor gibi görünen pek çok sayfa, sayfanın kendisinin çağırdığı bir JSON uç noktasıyla beslenir ve o uç noktayı doğrudan çağırmak aynı veriyi işleme olmadan, boyutun küçük bir kısmıyla döndürür. Onu ağ sekmesinde bulmak, bir kazıma projesinin çoğu zaman en değerli saatidir.
İşlemeye gerçekten ihtiyacınız olduğunda, ayrıştırmayacağınız şeyi engelleyin. Her büyük otomasyon çerçevesi istekleri kaynak türüne göre yakalayabilir; resimleri, yazı tiplerini, medyayı ve stil sayfalarını reddetmek, asıl peşinde olduğunuz DOM'u bozmadan bant genişliğini büyük ölçüde azaltır.
Sık sorulan sorular
Kazımak için headless bir tarayıcıya ihtiyacım var mı?
Yalnızca veri JavaScript çalışana kadar gerçekten var olmadığında ve bu göründüğünden daha seyrek olur. Sayfanın doğrudan çağırabileceğiniz bir JSON uç noktasıyla beslenip beslenmediğini kontrol edin, çünkü bu aynı veriyi hiç işleme olmadan çok daha küçük ve hızlı döndürür. Daha basit bir yol olmadığını doğruladığınızda bir tarayıcıya başvurun.
Headless bir tarayıcı kullanırken bant genişliğini nasıl azaltırım?
İstekleri yakalayın ve ayrıştırmayacağınız kaynak türlerini engelleyin: resimler, medya, yazı tipleri ve genellikle stil sayfaları. Her büyük çerçeve bunu destekler. Bu, DOM'u bozmadan sayfa ağırlığını çoğu zaman bir büyüklük mertebesi azaltır; gigabayt başına konut faturalandırmasında bunun önemi çok büyüktür.
Web siteleri headless bir tarayıcıyı tespit edebilir mi?
Evet ve onu görünmez gerçek bir tarayıcı gibi görmek olağan hatadır. Geçmişteki headless işaretinin ötesinde bir örnek; sunduğu özelliklerde, mevcut eklenti ve yazı tiplerinde, işleme davranışında ve hepsinden önemlisi insan etkileşiminin tamamen yokluğunda farklılık gösterme eğilimindedir: fare hareketi yok, kaydırma yok, okuma duraklaması yok. Davranış onu herhangi bir tek özellikten daha güvenilir şekilde ele verir.
Headless bir tarayıcı HTTP isteklerinden daha mı yavaş?
Hem zaman hem kaynak açısından çarpıcı biçimde. Bir belgeyi getirmek yerine bütün bir sayfayı indirir ve işler, her örnek de yüzlerce megabayt bellek ve gerçek CPU tüketir. Pratik sonuç, tek bir makinede sürdürebileceğiniz eşzamanlılığın kabaca bir büyüklük mertebesi düşmesidir.
Geri dön: sözlüğün tamamı.

