Zpět na přehled skriptů

Skript 04

The Guardian

Využití Guardian Content API, práce se strukturovanými JSON daty a heuristická extrakce lokalit pomocí regulárních výrazů.

Princip řešení

Skript využívá Guardian Content API jako strukturovaný zdroj zpravodajských dat. Oproti klasickému scrapingu HTML stránky je API stabilnější a poskytuje data přímo ve formátu JSON. Skript získává články, zpracovává vybrané textové položky a hledá v nich jazykové vzory, které mohou označovat lokalitu.

Vstupy a prostředí

  • Guardian Content API jako zdroj strukturovaných dat.
  • JSON odpovědi obsahující metadata článků.
  • Python a knihovna requests pro komunikaci s API.
  • Regulární výrazy pro identifikaci textových vzorů.
  • Nominatim pro převod názvů lokalit na souřadnice.

Zpracování dat

  • Odeslání dotazu na API podle zadaných parametrů.
  • Získání titulku, byline, textu a dalších dostupných polí.
  • Vyhledání vzorů typu „in London“ nebo „from Paris“.
  • Výběr nejpravděpodobnější lokality.
  • Geokódování a export do prostorového formátu.

Regex extrakce

Heuristická metoda založená na regulárních výrazech je rychlá a nenáročná. Hodí se pro texty, ve kterých se lokality objevují v relativně předvídatelných jazykových konstrukcích. V práci byly využity vzory založené na předložkách, například „in“ nebo „from“, a extrakce probíhala z více částí článku.

Výhodou je jednoduchost implementace a snadná kontrola pravidel. Nevýhodou je nižší schopnost zachytit kontext a riziko, že skript vybere název, který lokalitou není.