Automatické zpracování dat pomocí KNIME Analytics Platform

Ing. Vladimír Löffler

Text © 2021, Ing. Vladimír Löffler

Grafická úprava a sazba © 2021, Lukáš Vik

Obálka © 2021, Petra Löfflerová

1. vydání © 2021, Lukáš Vik – E-knihy hned

ISBN ePub formátu: 978-80-7536-324-4 (ePub)

ISBN PDF formátu: 978-80-7536-325-1 (PDF)

ISBN MOBI formátu: 978-80-7536-326-8 (MOBI)

Konverze do elektronických formátů:

webdesignér Lukáš Vik

https://www.lukasvik.cz

1. Úvod

Začínají dvacátá léta 21. století. Nová industriální revoluce již běží na plné obrátky a tempo zavádění přelomových technologií bude v následujících letech jen zrychlovat. Rychlá adaptace na probíhající změny světa je klíčovým faktorem úspěchu firem i jednotlivců. Schopnost efektivně shromažďovat a vyhodnocovat všudypřítomná data pomalu přestává být konkurenční výhodou, ale spíše podmínkou nutnou pro fungování a přežití na současných turbulentních trzích. Tento fakt dramaticky zvyšuje nároky na pracovní sílu a její „datovou gramotnost“.

Aspekt odbornosti a produktivního využití potenciálu lidí

Roste počet oborů, u kterých je automaticky předpokládána schopnost zpracovávat data. Inzeráty typu „přijmeme skladníka, znalost MS Excelu podmínkou“ jsou již běžnou součástí pracovního trhu. Jsou dokonce obory, kde práce s daty časově převáží vlastní odbornou práci. Plánovači, účetní, personalisté, pracovníci controllingu, zásobovači i jiní odborníci dostávají svou mzdu z části za provádění svého hlavního oboru, a pak za svou „druhou odbornost“ - opakované načítání, spojování, rozdělování, transformace a ukládání dat. Podstatná část těchto operací s daty není kreativní, ale naopak „otrocká“, opakující se každý den, každý týden, každý měsíc…

Věříme, že otrocká práce, včetně sofistikované otrocké práce s daty, do 21. století nepatří. Věříme, že hodnota pracovníků je v jejich schopnosti provádět kreativní činnosti, a že odborník by měl mít možnost soustředit se na svou hlavní odbornost. Věříme, že pracovní doba by měla být využívána pro odbornou práci, a ne na „trápení se“ s tabulkami. Opakované vytváření tabulek a reportů však mnohdy tvoří značnou část pracovní náplně řady odborníků.

Proč by hodnota účetního, kontrolora kvality, plánovače výroby, logistika, nebo manažera měla být závislá na tom, jak umí vyrábět tabulky?

Aspekt času

Existují ovšem tabulky, reporty a analýzy, které jsou velmi užitečné, a informace v nich obsažené mohou vést ke snížení nákladů, ke zvýšení výnosů, nebo pomáhají managementu pružněji a efektivněji reagovat na každodenní situace. Jsou však k dispozici jen občas (týdně, měsíčně, ročně), protože je náročné je vytvářet každý den, nebo dokonce na požádání. Několikadenní příprava měsíčního reportu, kdy jsou stahována, spojována, čištěna a transformována data z několika zdrojů, nebývá ničím výjimečným.

Věříme, že hlavní přidaná hodnota podnikových reportů je v tom, že co nejvíce odráží aktuální stav firmy. Tak je možné pružně reagovat na změny světa a firmu efektivně řídit. Věříme, že potřebná data by měla být k dispozici v lidsky čitelné podobě v podstatě na požádání (a nikoli jednou týdně nebo měsíčně). Rovněž věříme, že zpracování dat má být automatizováno v nejvyšší možné míře, což nejen eliminuje chyby a prostoje, ale navíc umožní odborníkům soustředit se na svůj obor, a manažery podpoří v jejich snaze dobře vést svůj podnik.

Velmi efektivním nástrojem nejen pro automatizaci zpracování dat (od individuálního použití až po použití v nadnárodních korporacích) je Knime Analytics Platform.

Knime Analytics Platform

Knime Analytics Platform je aplikace původně vyvinutá na univerzitě ve švýcarské Kostnici (University of Konstanz) a řadu let patří mezi nejlepší světové platformy pro zpracování a analýzu dat, strojové učení a datovou vědu.

Knime patří mezi open source software, a k jeho používání není třeba komerční licence (tzn. Knime je k dispozici zdarma). Pro rozsáhlé použití Knimu existuje i komerční licence, která umožňuje spolupráci v týmu, obsahuje webový portál pro publikování automatických reportů (podobně jako např. Microsoft Power BI) a také Knime Server, pro pokročilé řízení automatických workflow.

(blíže viz Knime Open Source Story: https://www.knime.com/knime-open-source-story)

Jak Knime pracuje s daty?

Knime používá grafické rozhraní pro vytvoření tzv. workflow, kdy jednotlivé kroky workflow, tak zvané uzly, provádí zamýšlené operace s daty. (Pokud znáte prostředí MS Excelu, můžete si Knime workflow představit jako přehledné grafické Makro, nebo jako transformační proces v MS Excel Power Query.) Nastavení uzlů je intuitivní a nevyžaduje znalosti programování. Způsob práce s uzly je interaktivní a uživatelsky příjemný.

Příklad jednoduchého Knime workflow:

Workflow lze vytvářet pro individuální analytické úkoly, nebo pro opakovaná spouštění – pro asistovanou, nebo autonomní automatizaci. Kroky workflow můžeme spouštět postupně (s průběžnou kontrolou výsledků kroků), nebo celé – jedním kliknutím. Workflow je také možné volat externě (z jiného programu), nebo naplánovat pomocí plánovače s automatickým spuštěním ve vybraném čase.

Analytická cesta

Knime workflow umožňuje vytvořit a uchovat kompletní analytický postup, kterým ze surových, nezpracovaných dat postupně vznikají data organizovaná, zpracovaná přesně podle našich potřeb. To může být velmi výhodné, pokud nějakou analýzu provádíme jen jednou za delší období, nebo pokud se zadání pokaždé jen mírně odlišuje. Pak, i když takové analytické workflow nemusí být vhodné pro automatizaci, nám vizualizovaná analytická cesta pomůže rychle se zorientovat a naši analýzu efektivně dokončit.

Co publikace obsahuje

V této publikaci bychom se rádi věnovali především automatizaci zpracování dat – poloautomatickým a autonomním datovým workflow. Postupně se seznámíme se základními stavebními kameny automatizace – proměnnými, smyčkami a větvením. Také si ukážeme, jak naše datová workflow optimalizovat, ošetřit proti chybám, a jak je automaticky spouštět.

Jednotlivé kapitoly se věnují teorii i praxi. Snažili jsme se o vyvážený přístup, proto je každý výklad doplněn příkladem, který je možné prakticky vyzkoušet.

Teorie

- Vysvětlení problematiky

- Příklady použití s detailním rozborem jednotlivých operací

- Poznámky a postřehy z praxe

- Odkazy na další příklady a zdroje informací

Praxe

Věříme, že interaktivní výuka je pro studenty nejpřínosnější. Připravili jsme proto sdílenou složku, ze které si můžete stáhnout balíček, který obsahuje všechna probíraná workflow (20 plně funkčních Knime workflow), včetně použitých dat.

Poznámka:

Žádný z příkladů nevyžaduje placenou verzi Knimu (tzn. nevyžaduje Knime Server).

Použité symboly (platí pro tištěnou a PDF verzi; formáty e-pub a mobi obsahují pouze text)

Knime a operační systémy

Příklady uvedené v jednotlivých kapitolách byly připraveny převážně v Knime 4.2 pro MS Windows 10. Pracovat s Knimem je možné a podporované i pod operačními systémy Linux a macOS.

Testovali jsme Knime na Ubuntu 18.04 LTS (Linux) a na macOS Big Sur (Apple macOS), ale vrátili jsme se k verzi pro MS Windows 10. Důvod byl ten, že v prostředí MS Windows 10 byl Knime stabilní, což o Linuxové a macOS verzi nemůžeme s čistým svědomím potvrdit.

2. Začínáme

V následujících kapitolách se postupně věnujeme vysvětlení základních stavebních kamenů automatických datových workflow, což jsou:

Vážení čtenáři, právě jste dočetli ukázku z knihy Automatické zpracování dat pomocí KNIME Analytics Platform.
Pokud se Vám líbila, celou knihu si můžete zakoupit v našem e-shopu.