Zpět na přehled skriptů

Skript 02

ČT24

Získávání zpravodajských článků, načítání dynamického obsahu a extrakce lokalit pomocí velkých jazykových modelů.

Princip řešení

Skript pro ČT24 využívá XML sitemapu, která obsahuje seznam URL adres článků. Díky tomu není nutné web procházet běžným crawlingem přes odkazy. Vybrané články jsou filtrovány podle data a následně načteny pomocí Selenium WebDriver, protože část obsahu může být dostupná až po vykonání JavaScriptu v prohlížeči.

Vstupy a prostředí

  • XML sitemap ČT24 se seznamem článků.
  • Python se Selenium WebDriverem a webdriver-managerem.
  • Headless režim prohlížeče pro automatizované načítání obsahu.
  • API velkých jazykových modelů OpenAI, Gemini nebo Claude.
  • Nominatim pro geokódování nalezených lokalit.

Zpracování dat

  • Načtení a filtrování URL adres ze sitemapy.
  • Stažení výsledného obsahu stránky po vykonání JavaScriptu.
  • Extrakce titulku, textu a dalších částí článku.
  • Odeslání textu AI modelu s požadavkem na strukturovaný JSON výstup.
  • Geokódování extrahovaných lokalit a export do GeoJSON.

AI extrakce lokalit

U článků ČT24 byla použita metoda založená na velkých jazykových modelech. Model dostává text článku a má vrátit hlavní lokalitu nebo seznam relevantních lokalit ve strukturované podobě. Výhodou tohoto přístupu je schopnost pracovat s kontextem článku, nikoliv pouze s jednotlivými geografickými názvy.

Výstupem skriptu je datová vrstva obsahující články a jejich lokalizaci. Takto připravená data lze zobrazit ve webové mapě, filtrovat a dále prostorově analyzovat. Nevýhodou řešení je vyšší výpočetní a finanční náročnost při použití API modelů a závislost na kvalitě odpovědí modelu.