Lekce 2.3

Datové formáty a scraping

Struktura JSON, XML a CSV a k čemu se který hodí, úskalí CSV, co je scraping a čím se liší od práce s API.

Doporučené úlohy na doma

Rozvrh

Zapište svůj rozvrh na jeden den ve všech třech formátech: jako schedule.json, schedule.xml a schedule.csv. U každé hodiny uveďte aspoň čas, předmět a učebnu a v jednom předmětu použijte čárku nebo uvozovky. Hotovo je, když se XML i JSON otevřou ve Firefoxu bez chyby a CSV má v textovém editoru stejný počet záznamů jako váš rozvrh.

Skutečný web

Vyzkoušejte Web Scraper na skutečné stránce s daty, která se pravidelně mění, třeba na programu kina, jídelníčku školní jídelny nebo výsledcích sportovní ligy. Nejdřív zjistěte, jestli web nenabízí API nebo export dat a co o robotech říká jeho robots.txt. Pak nechte průvodce najít data na jedné stránce výpisu a výsledek vyexportujte do CSV. Hotovo je, když máte v Google Sheets všechny údaje jedné stránky výpisu a víte, jestli by bylo scrapovat vůbec potřeba.

Scraper umí web zatížit

Books to Scrape je postavený pro nácvik a snese cokoli, skutečný web ne. Scraper stahuje stránky mnohem rychleji než člověk, a kdo ho pustí na stovky stránek nebo detailů, zatěžuje cizí server. Správci webů na to reagují: adresu, ze které scraper přichází, zablokují a stránku pak nenačtete ani v běžném prohlížeči. Když scrapujete ze školní sítě, může zákaz dopadnout na celou školu. Scrapujte proto jen jednu stránku výpisu, bez stránkování a bez procházení detailů, interval mezi požadavky nezkracujte a scraping nespouštějte opakovaně. Když robots.txt nebo podmínky užití webu automatické stahování zakazují, vyberte si jiný web.