„Život je celkem jednoduchý, ale my trváme na jeho komplikování.“ Nesmrtelná slova Konfucia rezonují každému, kdo se kdy pokusil shromáždit užitečné informace z dat protokolu.
Existují konsenzuální definice toho, co přesně analýza protokolů je, ale zjednodušené a pochopitelné vysvětlení by mohlo být: zorganizování záznamů protokolu do lidem přívětivého zobrazení a podpora firemních rozhodnutí na základě toho, co zjistíte.
Jeden GB dat protokolu odpovídá téměř 700 tisícům stran textu. Ruční pročtení by trvalo téměř tři roky nebo asi tolik času, kolik byste potřebovali na přečtení knihy Válka a mír 571krát za sebou (a je otázka, co by bylo horší).
A pokud si uvědomíte, že se i v malých firmách vygeneruje každý den minimálně několik gigabajtů... Je to apokalyptická představa analýzy dat.
Stačí tedy říci, že by snaha zjistit nějaký smysl ze všech vašich protokolů bez nějaké podpory automatické asistence vedla k zahlcení informacemi, ztrátě času a vážné demoralizaci zaměstnanců.
Investice do specializované platformy pro analýzu protokolů, ať v podobě interně vyvíjeného softwaru, nebo od nezávislého dodavatele, by měla být vážně posuzována na ředitelské úrovni pravomocí.
Řešení tedy vypadá jednoduše: stačí najít nebo vytvořit platformu pro automatickou analýzu, že? Tady je ale potřeba být opatrný. Přijetí nevhodné platformy by mohlo problém jen zhoršit. Neintuitivní vizualizace a statistická zobrazení mohou vést k hodinám sledování obrazovek a mnoha starostem.
Platformy pro analýzu protokolů by měly vyřešit problém přetížení informacemi tak, že rozdělí množství záznamů do stravitelných, relevantních skupin při současné ignoraci nerelevantních dat. Položky se mohou seskupovat podle společných charakteristik nebo vzorů, např. vykonané akce nebo vykonávající uživatelé.
Při vývoji platformy pro analýzu nebo při výběru již hotového řešení mějte na paměti následující funkce:
* Široký záběr – zajistěte, aby byly podporovány všechny typy protokolů, které potřebujete, včetně protokolů pocházejících z různých operačních systémů, typů zařízení a jazyků.
* Agregace – záznamy protokolu jsou strukturované a zapisované různými způsoby v závislosti na místě jejich původu. Agregace pomáhá odstranit tento chaos tím, že nachází souvislosti mezi podobnými protokoly podle jejich sdílených vzorů či charakteristik, např. vykonané akce nebo vykonávající uživatelé. Funkce agregace by měla umožňovat určitou úroveň přizpůsobení, například ukládání protokolů do uživatelsky definovaných skupin pro průběžnou referenci.
* Vyhledávání – užitečná funkce vyhledávání je více než jen prosté textové pole, které vrací odpovídající data protokolu. Je důležité, aby dotazy nevrátily jen data odpovídající danému vyhledávání, ale aby také uživatelům umožnily snadný přístup ke kontextu těchto výsledků, tj. co se stalo bezprostředně před a po záznamu uvedeném v protokolu.
* Varování – systém by měl upozornit uživatele na opakované chyby, systémové anomálie a na nepřítomnost typických událostí. Ověřte, zda lze nastavení varování přizpůsobit různým způsobům doručení, časovým intervalům a prioritám.
* Automatizace – ve většině systémů analyzujících protokoly závisejí výše uvedené funkce na ruční obsluze a na naprogramování uživatelem. Rostoucí rozsah a složitost údajů protokolů však vyvolaly nutnost zahrnout do nejpokročilejších platforem analýzu strojového učení. Produktivní platforma by měla dokázat:
- Inteligentně se seznámit s rutinními toky protokolů ve firmě
- Použít tuto inteligenci k automatickému zachycení anomálií a chyb, které se vyskytují v reálném čase
- Generovat nezávisle varování
- Poskytnout plán pro vyřešení identifikovaných problémů
- Prezentovat trendy dat v intuitivních vizualizacích
Technologie se mohou rok od roku dramaticky měnit, ale čas stále odpovídá penězům. Méně času stráveného ručním lovem chyb a systémových událostí přináší dřívější a rychlejší vydání produktů, více času na vývoj inovačních funkcí a spokojenější uživatele. To jsou základní přínosy z perspektivy DevOps, ale analýza protokolů je rozmanité umění a má překvapivě široký rozsah použití.
Další přínosy kromě DevOps a IT
Flexibilní systém pro analýzu protokolů by se mohl stát jediným zdrojem analytiky pro všechna oddělení organizace. Zde jsou tři příklady z mnoha:
- Bezpečnostní inženýři mohou využívat vyhledávací nástroje analytické platformy k nalezení podezřelých akcí nebo narušení. Ideální platforma by měla ukládat vyhledávací dotazy pro opakované použití a automatizovat vyhledávání pro běžný rozsah bezpečnostních kontrol.
- Dodržování předpisů – analýza protokolů dokáže udržet váš produkt v souladu s řadou zákonů a silná automatizační komponenta umí zrychlit proces auditování a kontroly.
- Marketing a UX – nástroje jako Google Analytics a HubSpot se mohou obecně považovat za nenahraditelné pro analýzu využití a angažovanosti. Analýza protokolu však poskytuje stejné základní údaje: přenosy od uživatelů, odkazy, doba využití, počet kliknutí – všechny jsou v protokolu.
Přestože budou některá oddělení odolávat experimentování s tím, co vnímají jen jako vývojářský nástroj, kolektivní vnímání na ředitelské úrovni by mohlo rozproudit krev při zmínce o nákladech jen za jednu víceúčelovou analytickou platformu. Tím se omezí provozní náklady spojené s nákupem mnoha analytických softwarů pro různé týmy.
Vyvíjet, nebo koupit?
Trh je doslova zaplaven hotovými analytickými systémy, které se liší v cenách, kvalitě a univerzálnosti. Mějte na paměti úroveň technické podpory, kterou nabízí každý z nich, zejména pokud plánujete používat platformu pro oddělení bez vývojářských zkušeností.
Pro větší organizace, které mají čas, lidský kapitál a finanční zdroje potřebné k vlastnímu vývoji, umožňuje tento přístup přizpůsobení se na míru pro váš konkrétní obor a technologickou architekturu vaší firmy.
Pokud jde o váš první vývoj vlastního softwaru, zvažte následující statistiku během analýzy nákladů a přínosů: obor podnikového softwaru pro analýzy dat dosáhne během dalších dvou let obratu téměř 200 miliard dolarů. To naznačuje obecné (i když ne výhradní) preference směrem ke komerčnímu, a nikoliv k vlastními silami vyvíjenému softwaru.
Ne každý z vaší organizace má dřívější zkušenosti s analýzou protokolů, ale lze předpokládat znalost jejího hlavního cíle. Ve světě big dat je analýza protokolů jen dalším odrazem univerzálních potřeb současných firem. Znamená to vzít velké množství informací, které naše technická prostředí generují, a vydestilovat z nich základní informace potřebné pro neustálé zlepšování vašeho produktu.
Tento příspěvek vyšel v Security Worldu 4/2017. Časopis (starší čísla i předplatné těch nadcházejících) si můžete objednat na adrese našeho vydavatelství.
PŘEDPLATNÉ
ČLÁNKY DO MAILU