Hakk på nettet uten en nettleser

Det er et tradisjonelt problem. Du vil ha data for bruk i programmet, men det er på en nettside. Noen nettsteder har en API, selvfølgelig, men vanligvis er du på egen hånd. Du kan tonne på hele siden via HTTP, så vel som å analysere det. Eller du kan bruke noen verktøy til å “skrape” nettstedet. En fascinerende metode for å gjøre dette er Woob – Web utenfor nettlesere.

Systemet benytter en rekke backends skreddersydd på bestemte nettsteder. Det er en samling av offisielle backends, så vel som du kan også produsere din egen. Når du har en backend, kan du konfigurere den så vel som å bruke den fra Python. Her er et eksempel på å oppdage en bankkontosaldo:

>>> fra woob.core import woob
>>> fra woob.capabilities.bank Import Capbank
>>> W = woob ()
>>> W.LOAD_BACKENDS (CAPBANK)
{‘Societegenerale’: , ‘CreditMutuel’: }
>>> PPRINT (liste (w.iter_accounts ()))
[,
,
]
>>> ACC = Neste (iter (w.iter_accounts ()))
>>> ACC.Balance.
Desimal (’87 .32 ‘)
Oppføringen av tilbudt backends er imponerende, men til slutt vil du ha produsere dine egne moduler. Heldigvis er det mye dokumentasjon om nøyaktig hvordan du gjør det. Rammen gjør at du kan publisere data til nettstedet, så vel som raskt sjekket ut resultatene. Hver backend har også en test som kan finne om en modifikasjon i nettstedet bryter koden, som er et typisk problem med slike ordninger.

Vi så ikke en hackaday backend. I tillegg dårlig. Det er imidlertid mange applikasjonseksempler, både konsollbasert, så vel som å benytte QT. For eksempel kan du bla etter filmer, håndtere oppskrifter eller dating nettsteder.

Selvfølgelig er det mange metoder som er mulig for dette problemet. Kanskje du trenger å oppdage når neste tog går.

Leave a Reply

Your email address will not be published. Required fields are marked *