TR
Hemen başlayın

Sözlük

Kazıma ve otomasyon

Veri ayrıştırma

Çekilen bir yanıtı yapılandırılmış veriye dönüştürmek; kazımanın ağdan sonra gerçekleşen ve tamamen farklı nedenlerle bozulan yarısı.

Getirme, proxy'leri, engelleri ve yeniden denemeleriyle kazımanın gürültülü yarısıdır; ayrıştırma, değerin gerçekten ortaya çıktığı sessiz yarıdır. Bir yanıt bayt olarak gelir: işaretleme, JSON, bazen daha kötüsü. Ayrıştırma, bu varış ile temiz bir satır arasındaki her şeydir: kod çözme, ağaç oluşturma, seçim, normalleştirme, doğrulama. Veri hatları genellikle getirme hızlarıyla değerlendirilir ve ayrıştırma kaliteleri yüzünden ölür.

HTML için ayrıştırmak, etiketlerin kapatılmadığı ve iç içe geçmenin bir temenniden ibaret olduğu gerçek web'e tahammül eden bir ayrıştırıcıyla bir belge ağacı oluşturmak demektir. Düzgün ayrıştırıcılar bu tür işaretlemeyi tarayıcıların yaptığı gibi onarır; düzenli ifadelerle doğaçlama çıkarma, ilk öznitelik beklenmedik bir sırada görünene kadar çalışır; işaretleme üzerinde regex'in topluluğun klasik uyarı hikâyesi olmasının nedeni budur. Bir ağaç oluştuğunda gösterme dilleri devreye girer ve seçimin üzerinde duracağı sağlam bir zemin olduğunda ayrıştırmanın işi biter.

En iyi ayrıştırma hamlesi çoğu zaman HTML'yi tamamen atlamaktır. Modern sayfalar verilerini zaten yapılandırılmış biçimde taşır: sayfanın kendi betiklerini besleyen JSON yanıtları, belgeye gömülü durum blokları ve sitelerin arama motorları için yayımladığı makine tarafından okunabilir açıklamalar; bir script etiketinde ürün adı, fiyat ve stok durumu, herkese açık bir sözlüğe göre etiketlenmiş olarak. Bunları okumak seçici arkeolojisi olmadan tipli alanlar verir ve düzenlerden çok daha seyrek değişirler, çünkü başka mekanizmalar onlara dayanır.

Kodlama her şeyin altındaki tuzaktır. Baytlar bir karakter kodlaması aracılığıyla metne dönüşür ve yanlış olanı varsaymak mojibake üretir: teknik olarak başarılı olmuş bir ayrıştırmanın bozuk para birimi işaretleri ve aksanlı harfleri. Bildirilen karakter setleri ara sıra yalan söyler; sıkıştırılmış yanıtların her şeyden önce açılması gerekir; ve sayılar yerel ayar kılığında gelir: 1.299,00 ile 1,299.00 hangi işaretin ondalık olduğu konusunda anlaşamaz. Normalleştirme, fiyatları bir sayıya ve para birimine, tarihleri saat dilimini bilen bir biçime dönüştürmek, boşlukları daraltmak da ayrıştırmadır ve onu atlamak işi yalnızca verilerinizin her tüketicisine taşır.

Dayanıklı veri hatlarını ayıran disiplin, getirmeyle yetinmeyip ÇIKTIYI doğrulamaktır. Açıkça ürün satan bir sayfada sıfır fiyat bulan bir ayrıştırma bir sinyaldir: ya düzen değişti ya da site size gerçek sayfadan farklı bir şey sundu. Boş alanları başarı olarak kaydeden bir veri hattı bir depoyu kendinden emin boşluklarla doldurur. Ayrıştırma hataları gürültülü olduklarında ucuz, sessiz olduklarında yıkıcıdır; bu yüzden onları gürültülü kurun.

Sık sorulan sorular

HTML'yi neden düzenli ifadelerle ayrıştırmamalıyım?

Çünkü işaretlemenin yapısı, iç içe geçme, herhangi bir sırada isteğe bağlı öznitelikler, tarayıcıların onardığı kapatılmamış etiketler, düzenli ifadelerin izleyemediği şeyin ta kendisidir. Bir sayfadan sağ çıkan örüntüler kardeş sayfalarında paramparça olur. Gerçek HTML ayrıştırıcıları karmaşayı bir ağaca onarır, ardından seçiciler ona güvenilir şekilde hitap eder ve regex iyi olduğu iş için yararlı kalır: çıkarılmış tek tek dizeleri temizlemek.

Bir web sayfasından ayrıştırılması en kolay veri hangisidir?

Sayfanın zaten veri olarak yayımladığı veri. Birçok site arama motorları için makine tarafından okunabilir açıklamalar gömer; ad, fiyat, stok durumu, bir script etiketinin içinde etiketlenmiş JSON olarak ve çok daha fazlası durumlarını sayfanın kendi betiklerinin tükettiği JSON olarak gönderir. İkisi de seçici çalışması olmadan tipli alanlar verir ve ikisi de düzenlerden daha kararlıdır, çünkü başka sistemler onlara dayanır.

Kazıdığım metin neden bozuk karakterler gösteriyor?

Bir kodlama uyumsuzluğu: baytlar, genellikle yanlış veya eksik bir bildirime güvenilerek yanlış karakter setiyle çözülmüştür. Sonuç mojibake'dir: aksi hâlde başarılı bir ayrıştırmada bozuk aksanlar ve para birimi işaretleri. Gerçek kodlamayı tespit edip ona uyun, kod çözmeden önce sıkıştırmayı açın ve hatanın hemen görüldüğü İngilizce dışı metin içeren sayfalarda test edin.

Ayrıştırıcımın hâlâ çalıştığını nasıl bilirim?

Durum kodlarıyla yetinmeyip çıktıları doğrulayın. Beklenen alanların gerçekten görünmesini şart koşun: fiyatlar sayısal, tarihler makul, görünür şekilde öğe içeren sayfalarda sayılar sıfırın üstünde ve görünmediklerinde alarm verin. Düzen değişiklikleri ve sessizce bozulmuş yanıtların ikisi de boş veya yanlış alanlarla başarılı getirmeler olarak görünür; bu yüzden tek güvenilir tuzak telini verinin kendisi üzerinde doğrulama yapmak oluşturur.

Geri dön: sözlüğün tamamı.

HProxy.

Tanımlar sizi ancak bir yere kadar götürür. Çalıştır ve gerçek hedefler.

Konut proxy'leri GB başına 0,23 $ itibarıyla, kullandıkça ödeyin, bakiyenin süresi asla dolmaz.

HProxy