Data z protokolů odkrývají neznámé skutečnosti

Malé týmy IT stejně jako ty velké závisejí při odstraňování problémů, vyšetřování bezpečnostních incidentů a dalších důležitých úlohách na aktuálnosti informací.

Zvýraznění a rychlé a efektivní přednostní vyřešení problémů může znamenat rozdíl mezi krizí a úspěšným provozem firmy, bez ohledu na velikost. Velká část těchto důležitých aktuálních informací přichází v podobě dat protokolů (log).

Je důležité si uvědomit, že „malý tým IT“ neznamená malý objem dat. Mnoho menších IT týmů a jejich systémy generují každý den mnoho gigabajtů protokolů. S omezením rozpočtu a personálu však menší týmy IT čelí specifickým problémům, pokud jde o analýzy protokolů.

Drobné IT týmy jsou, a není divu, zcela běžné ve soustě malých firem (a dokonce i v některých velkých organizacích). Podle nedávné zprávy společnosti Spicework o trendech přijetí technologií mají společnosti s méně než 99 zaměstnanci obvykle mezi svými pracovníky průměrně jen dva až tři IT profesionály.

Data protokolů jsou jakýmsi supermanem IT údajů: slabá a neokázalá zvenku, ale skrývají nesmírnou sílu. Protokoly zachycují životně důležité skutečnosti týkající se vaší firmy. Poskytují rozhodující záznamy veškerého dění od oblíbenosti produktů až po stav zabezpečení a výkonu vaší sítě.

Analýza dat protokolu správně transformuje způsob rozhodování a dokonce i způsob fungování firmy. Tato data až příliš často leží bez užitku na serverech a čekají, až je někdo objeví. Ale tak to nemusí být – malé organizace a týmy IT prostě potřebují způsob, jak je využít.

Pochopení dat protokolů

Jedním z největších problémů, kterým týmy IT čelí v souvislosti s daty protokolů, je prostá agregace dat a nalezení vzájemných souvislostí. Neexistují zde žádné datové standardy.

Každá zakázková aplikace má vlastní protokoly. Dostupné nástroje často mají vážná omezení, jako je například omezení znaků pro soubory protokolu, které se vracejí.

Když máte mezi zaměstnanci jen dva až tři IT profesionály, stávají se agregace a korelace všech dat protokolů vytvářených ve společnosti kolosálním úkolem.

Tato úloha se dále ztěžuje současnými technologiemi, které pracují tak rychle, že se nová data protokolů vytvářejí nepřetržitě 24 hodin denně 7 dní v týdnu, a to v každé aplikaci a systému ve vaší infrastruktuře.

Chce-li váš tým IT úspěšně využívat data protokolů, musíte nejprve najít vhodný způsob jejich správy.

Shromažďování a centralizace

Agregace dat protokolů do jednoho místa – protože jsou generovaná aplikacemi, infrastrukturou a distribuovanými prostředími – je k získání komplexního pohledu na IT nezbytná.

Nutnost prohledávat jednotlivé oddělené sklady dat a ručně hledat souvislosti může být časově náročná, zejména když nefunguje klíčová služba.

Například posílání všech protokolů syslog a událostí Windows do jednoho místa znamená, že se můžete zbavit nutnosti používat při řešení problému několik jednotlivých nástrojů.

Automatizace sběru dat protokolu a centralizace je výchozím bodem k získání větší hodnoty z vašich dat. (Viz tabulku s příklady dat, která oddělení IT potřebují shromažďovat a centralizovat.)

Většina nástrojů a ručních přístupů vyžaduje, aby uživatelé normalizovali či vybírali konkrétní data ze souborů protokolů, což zabírá čas a ztrácí se tím podstatný kontext. Lepším přístupem je shromažďovat a v reálném čase uchovávat data v jejich nezpracované podobě v nativním formátu, aby bylo možné zodpovědět nečekané otázky.

To však může být náročné. Neexistují žádné standardní formáty pro data protokolů. Téměř každý systém, aplikace a zařízení zabezpečení bude mít jiný formát dat protokolu.

Tabulkové kalkulátory a nástroje BI nelze přímo použít k analýze dat protokolů z různorodých systémů. Ve chvíli, kdy se vytvoří schéma nebo se data vloží do řádků a sloupců, čeká uživatele tabulkových kalkulátorů a nástrojů BI hora práce nad rámec pouhého přidání dat protokolu z dalších systémů.

Nejhorším scénářem je pak požadavek kontextu z originálního souboru protokolu, jen aby se zjistilo, že při normalizaci dat či při jejich extrakci, transformaci a načítání (ETL) došlo ke ztrátě kontextu.

Hledání a monitoring

Prohledávání dat protokolů s cílem najít problém se v podstatě rovná hledání jehly v kupce sena. A stejně, jako by někdo mohl použít magnet při hledání té jehly, potřebují malé týmy IT snadný způsob, jak vybrat potřebné soubory protokolů. Měly by to být soubory, které ukazují, že se něco pokazilo, že došlo k chybě systému nebo k narušení zabezpečení.

Řešení tohoto problému je jednoduché a známe ho velmi dobře všichni – hledání. Dostupnost vyhledávací funkce, která dokáže prozkoumat centralizovaná data protokolů, odstraňuje nutnost používat grep nebo tabulkový kalkulátor ke hledání IT problémů.

Představte si, že jednoduše zadáte slovo „error“ nebo „fail*“ a dostanete jako odpověď všechny relevantní soubory protokolů ze všech vašich systémů.

Přestože schopnost hledat problémy významně šetří čas a snižuje náklady, skutečný přínos spočívá v přechodu mezi reaktivním a proaktivním přístupem. Proaktivním vyhledáváním událostí obsahujících klíčová slova „error“ nebo „fail*“ a varováním v případě, když se vyskytnou, mohou týmy IT identifikovat a řešit problémy dříve, než se rozrostou do podoby plnohodnotného požárního poplachu.

Vizualizace a reporty

Vytvoření informačních panelů a reportů pro všechna relevantní data poskytuje rychlý přehled o zdravotním stavu IT a problémech. Například vytvoření vizualizací chyb pomůže týmu IT lépe stanovit priority a řešit nejprve největší závady.

Přirozeným vývojem je přejít od jednotlivých vizualizací k informačním panelům, které zahrnují několik vizualizací na základě zobrazení živých a historických dat. Informační panely jsou základnou pro týmy IT pro monitorování více prahových hodnot a podmínek na bázi trendů.

Je důležité si uvědomit, že identifikace a detailní zkoumání problémů přímo z informačních panelů je základem pro efektivní pracovní postupy při správě a využívání dat protokolů. Možnost proklikat se z tabulky či grafu přímo k surovým datům snižuje čas potřebný k řešení problémů a pomáhá týmům přejít z reaktivního přístupu na proaktivní.

Centrální shromažďování a analýza dat protokolů jsou pouze výchozím bodem. Skutečný přínos začne poté, co se týmům podaří vymanit se z režimu podobnému požárnímu cvičení a proces zautomatizovat.

Eliminace manuálního vyhledávání

Posun za hranice, které představují grep a manuální vyhledávání v protokolech, sníží průměrnou dobu potřebnou na řešení problémů a uvolní personál IT k práci na důležitějších projektech.

Pamatujte, že schopnost přistupovat k datům protokolů a eliminovat separaci, kterou tvoří datová sila, jež se vyskytují ve všech systémech a aplikacích, je rozhodující pro získání přehledu potřebného k řešení problémů a k pochopení plné hodnoty dat protokolů.

Hledání v jedné či dvou aplikacích, nebo dokonce jen v jednom systému může skončit odstraněním symptomů problému, a nikoli hlavní příčiny. Kromě toho zkoumání jednotlivých protokolů a zdrojů snižuje přínos efektivity, která plyne z odstranění manuálního procesu.

Monitoring systémů, aplikací a KPI

Prevence je příslovečně tisíckrát efektivnější než řešení následků. Proaktivní sledování, zda se v datech webu a aplikací nevyskytují problémy, pomůže týmům IT vymanit se z režimu hašení požárů.

Monitorování výskytu problémů a spouštění upozornění, když není splněn klíčový ukazatel výkonu nebo je systém nefunkční, zásadním způsobem transformuje fungování týmů IT z reaktivního na proaktivní.

Tato transformace hraje významnou roli v pomoci týmům IT, aby využívaly své omezené zdroje na identifikaci příležitostí k optimalizaci systémů a aplikací, a ne až k reakcím na problémy.

Přechod na proaktivní režim v konečném důsledku umožní týmu, aby se více věnoval strategické práci, jako je například zvýšení zabezpečení IT.

Zlepšení zabezpečení IT

Protože data protokolů obsahují rozhodující záznamy o aktivitě v celé vaší infrastruktuře a sítích, mají také informace, které by mohly indikovat podvody, narušení a útoky APT. Použití dat protokolů k podpoře zabezpečení IT může urychlit šetření v oblasti zabezpečení a pomoci určit příčinu narušení.

Použití tabulkového kalkulátoru nebo jiného nástroje využívajícího řádky a sloupce pro data protokolů může zpomalit vyšetřování narušení, nebo může dokonce způsobit neúmyslné odstranění dat, která jsou pro případ klíčová, protože důležitá data někdy nezapadají do určitého schématu.

Řešení problémů se zabezpečením může být také časově citlivé. Schopnost rychlého vyhledávání v datech protokolů a obdržení varování při výskytu anomální aktivity představuje stěžejní funkce pro prevenci a zastavení útoku.

Stejně jako Clark Kent, který vyrostl z mírného mladíka ze Středozápadu a stal se z něj plnohodnotný superhrdina – Superman, by měla i data protokolů projít transformací ze skromné zpětné vazby k mocnému nástroji pomáhajícímu pochopit a řešit složité problémy.

Pamatujte si: Jenom to, že jste malou firmou nebo máte malý tým IT, ještě neznamená, že nemůžete přeskočit vysokou budovu nebo letět rychleji než vlak.

Tento příspěvek vyšel v Security Worldu 4/2016. Časopis (starší čísla i předplatné těch nadcházejících) si můžete objednat na adrese našeho vydavatelství.