Zpět na přehled skriptů

Skript 03

Deutsche Welle

Zpracování RSS kanálu, identifikace geografických entit pomocí spaCy a převod nalezených lokalit na souřadnice.

Princip řešení

Skript pracuje s RSS kanálem Deutsche Welle, který poskytuje články ve strukturovaném XML formátu. RSS je vhodný zdroj, protože obsahuje základní metadata článků, například titulek, odkaz, datum publikace a stručný popis. Tyto textové části jsou následně analyzovány pomocí metody Named Entity Recognition.

Vstupy a prostředí

  • RSS feed Deutsche Welle.
  • Knihovna feedparser pro převod XML feedu na objektovou reprezentaci.
  • Knihovna spaCy pro rozpoznávání pojmenovaných entit.
  • Entity typu GPE a LOC jako kandidátní geografické lokality.
  • Nominatim pro geokódování výsledných názvů míst.

Zpracování dat

  • Načtení položek RSS kanálu.
  • Získání titulku, popisu, odkazu a data publikace.
  • Rozpoznání geografických entit v textu pomocí NER.
  • Ohodnocení kandidátních lokalit podle výskytu a typu textu.
  • Export výsledků do formátu GeoJSON.

NER a hodnocení lokalit

Extrakce byla doplněna o jednoduché ohodnocení kandidátních lokalit. Vyšší váhu mají lokality nalezené v titulku, víceslovné názvy a výrazy odpovídající geografickým entitám. Naopak krátké nebo méně spolehlivé výrazy mohou být penalizovány.

Výhodou tohoto řešení je poměrně jednoduché a opakovatelné zpracování bez nutnosti používat placené API velkých jazykových modelů. Omezením je závislost na kvalitě jazykového modelu spaCy a na tom, zda je lokalita v RSS položce skutečně uvedena.