Datový sklad je centrální databáze, do které proudí všechna vaše data (analytika, CRM, reklamy, e-maily, prodeje). Místo propojování nástroje s nástrojem posílají všechny nástroje data do skladu. Sklad se stává jediným zdrojem pravdy. Reportovací nástroje i týmy čerpají ze skladu, ne z jednotlivých nástrojů. Tím mizí izolovaná data a otevírá se složitá analýza napříč nástroji. Tato kapitola popisuje, kdy a jak datový sklad vybudovat.
Co datový sklad je a co dělá
Datový sklad tvoří: (1) centrální databáze (například BigQuery nebo jiný cloudový sklad), (2) datové toky, které přenášejí data z nástrojů do skladu, (3) schémata, která data jednotně uspořádají, (4) přístupová vrstva, kde analytici a nástroje sklad dotazují.
Přínosy: jediný zdroj pravdy, flexibilní dotazy (nejste omezeni vestavěnými reporty nástroje), uchování historických dat, nákladová efektivita ve velkém měřítku (levnější než platit každému nástroji za úložiště), schopnost pokročilé analytiky (strojové učení, předpovědi).
Architektura datového skladu
Surová vrstva: přesná kopie dat ze zdrojových systémů. Bez transformace. Zachovává původní data pro případ, že je budete potřebovat znovu zpracovat.
Přípravná vrstva: data se čistí, odstraňují se duplicity a ověřují se. Nesrovnalosti se opravují. Data jsou konzistentní, ale ještě nejsou připravena k analýze.
Analytická vrstva: data se převedou do tabulek navržených pro analýzu. Příklady: tabulky faktů (konverze s klíči do dalších dimenzí), tabulky dimenzí (zákazníci, produkty, kampaně). Právě na tyto tabulky se analytici dotazují.
Jak nastavit datový sklad
Krok 1: Vyberte platformu skladu.
BigQuery (Google): jednoduchý, vhodný pro většinu firem, platí se za GB, na které se dotazujete.
Výkonný komerční cloudový sklad: silný, drahý, vhodný pro velké firmy se složitými potřebami.
Cloudový sklad od velkého poskytovatele cloudu: silný, ve velkém měřítku levnější než předchozí varianta.
Open source databáze: zdarma, vhodná pro malé až střední objemy dat.
Krok 2: Získejte data ze svých nástrojů.
Použijte nástroje ETL (Extract-Transform-Load): služby pro přenos dat a orchestrační nástroje. Tyto nástroje se připojí ke zdrojovým systémům a automaticky kopírují data do skladu (denně, hodinově, v reálném čase).
Krok 3: Navrhněte schéma.
Definujte tabulky a vztahy: tabulka customers, tabulka orders, tabulka order_items, tabulka campaigns. Jak spolu souvisejí? Tento návrh určuje, na jaké otázky můžete efektivně odpovídat.
Krok 4: Nastavte přístup a správu.
Kdo se smí na sklad dotazovat? Mají přístup ke všem datům, nebo jen k datům svého oddělení? Nastavte oprávnění. Zdokumentujte schéma, aby analytici věděli, co data znamenají. Sledujte dotazy, aby výkon zůstal dobrý.
Kdy datový sklad vybudovat
Příliš brzy: 1 až 2 nástroje, tým o 3 lidech. Režie je příliš vysoká.
Správný čas: 5 a více nástrojů, tým o 5 a více lidech, pravidelné složité otázky napříč nástroji. Náklady na sklad ospravedlní ušetřený čas a získané poznatky.
Nutnost: 10 a více nástrojů, tým o 10 a více lidech, kultura řízená daty. Sklad je nezbytná infrastruktura.
Výzvy při zavádění datového skladu
Složitost: sklady jsou technicky složité. K provozu potřebují datové inženýry. Pro malé firmy je těžké je najít.
Kvalita dat: z odpadu nevznikne nic dobrého. Špatná data ve skladu = špatné poznatky. Ověřování a čištění dat je zásadní.
Náklady: mohou být vysoké (BigQuery může ve velkém měřítku stát $100-1000+ měsíčně). K udržení nákladů pod kontrolou je potřeba optimalizace a správa.
Mám vybudovat datový sklad, nebo použít vestavěné integrace BI nástroje?
Integrace BI nástrojů: jednoduché, rychlé na nastavení (hodiny), omezené možnosti úprav. Sklad: víc práce na nastavení (týdny či měsíce), velmi flexibilní, škáluje. Pro 3 až 4 nástroje stačí integrace BI. Pro 5 a více nástrojů nebo složité analýzy se sklad vyplatí. Začněte integracemi a ke skladu přejděte, až jim přerostete.
Kolik stojí datový sklad?
BigQuery: $6.25 za TB, na které se dotazujete (přibližně). Výkonný komerční sklad: $2-4 za využitý výpočetní kredit (podle velikosti skladu). Cloudový sklad od velkého poskytovatele: $1-4 za hodinu. Náklady se liší podle objemu dat a složitosti dotazů. U většiny firem: $500-2000 měsíčně ve velkém měřítku. U menších firem: $50-500 měsíčně. Počítejte i s prací datových inženýrů (nejdražší část).
Jaký je rozdíl mezi datovým skladem a datovým jezerem?
Sklad: strukturovaný, vyčištěný, optimalizovaný pro dotazy. Jezero: nestrukturované, surové, ukládá všechno (levnější). Sklady jsou pro analytiku. Jezera slouží k ukládání surových dat. Moderní přístup: jezero + sklad (surová data v jezeře, vyčištěná ve skladu). Začněte skladem a k jezeru přejděte, pokud náklady na úložiště vzrostou.
Jak zajistit kvalitu dat ve skladu?
Pravidla ověřování: kontrolujte duplicity, prázdné hodnoty a hodnoty mimo rozsah. Testujte datové toky: odpovídají toky očekávaným součtům? Pravidelně auditujte: porovnávejte součty ve skladu se součty ve zdrojových systémech. Opravujte rozdíly. Dokumentujte anomálie. Odpovědnost za kvalitu dat svěřte jednomu člověku nebo týmu.
Mohu se skladu ptát na ad hoc otázky, i když nejsem datový inženýr?
Ano, pokud je schéma dobře navržené a zdokumentované. Pro odpovědi pište dotazy v SQL. Pro netechnické lidi: použijte BI nástroje s předpřipravenými přehledy. U ad hoc otázek: SQL píší datoví inženýři nebo analytičtí inženýři. Přijměte roli analytického inženýra (spojuje datové inženýrství a analýzu), aby byl přístup dostupnější.
Jak často mají být data ve skladu obnovována?
Standardem je denně (spouští se přes noc). Reálný čas je možný, ale drahý. Pro většinu analytiky stačí denně. Pro provozní přehledy (prodejní pipeline) může být potřeba hodinově nebo v reálném čase. Začněte denně a na hodinové obnovování přejděte, jen když to firma potřebuje a může si ho dovolit.