Budúcnosť analýz aplikácií alebo prostredí?

Implementácia Elastic Stack v T-Systems Slovakia

Prečo je moja databáza pomalá? Funguje naša reklamná kampaň? Kedy by sme mali naplánovať údržbu systému, aby sme ovplyvnili minimum používateľov? Ktorý produkt najviac predávame? Rýchle a ustavičné zmeny - to je hlavná črta 21. storočia. V konzumnom svete a obzvlášť na IT trhu je kľúčom k úspechu reagovať na potreby zákazníkov rýchlo a flexibilne. Musíme byť pripravení zodpovedať otázky klientov proaktívne, dokonca aj vopred. V opačnom prípade to urobí konkurencia.

Data mining je jednou z tém budúcnosti, no big data a virtualizácia už teraz víria vody na globalizovanom IT trhu. Ako analyzovať dáta a eventy v reálnom čase? Túto schopnosť nám hravo ponúka open source aplikácia Elastic Stack. Hoci je tento nástroj vysoko flexibilný a dokonale škálovateľný, nebude fungovať bez skúseného IT experta. Radovan Ondáš či Michal Krissak takýmito expertmi z Telekom IT nepochybne sú. Rado Ondáš, Middleware Engineer, Quality and Tech Lead u nás pracuje už 7 rokov. Práci s týmto inovatívnym riešením sa venuje takmer dva roky. Aké sú postrehy a skúsenosti, na ktoré prišiel spolu s kolegom, Michalom Krissakom?

Pri analýze dát riešime tieto hlavné problémy s aktuálnou analýzou logov

• Nekonzistentnosť údajov v logoch či dátach
• Heterogénne časové formáty dát
• Decentralizované logy, ku ktorým je potrebné dostať sa z viacerých zdrojov
• Potreba množstva expertov

Prečo práve aplikácia Elastic Stack?

Umožňuje v dátach vyhľadávať efektívne, rýchlo a zmysluplným spôsobom. Toto riešenie používa nástroje, ktoré nám poskytujú možnosť komplexne analyzovať dáta v rôznych dimenziách. Súčasne ich vieme transformovať do prehľadnej a zrozumiteľnej grafickej podoby.

Typická architektúra

Logstash unifikuje dáta z rôznych zdrojov

Tento nástroj slúži na centralizáciu a spracovanie všetkých dát z rôznych serverov a dátových vstupov. Dokáže normalizovať formáty a transformovať ich do jednotnej podoby, modifikovať (pridať/zmazať) dáta pomocou rôznych rozšírení a v neposlednom rade aj anonymizovať dôležité údaje.

Elastic Search

Ide o vyhľadávací a analytický nástroj, ktorý je ľahko škálovateľný a distribuovateľný. Navyše, poskytuje možnosť prehľadávať dáta real-time, čo je obrovskou výhodou pri prevencii situácií, ktoré môžu v bežnej IT prevádzke nastať. Zároveň pokrýva neštruktúrované dáta či časové línie. Medzi jeho prednosťami môžeme spomenúť aj to, že ide o full textový vyhľadávač. A navyše open source.

Kibana

Vďaka tejto vychytávke máme k dispozíci množstvo vizualizácií dát, ktoré vieme zdieľať, kam potrebujeme priamo v aktuálnom čase. Inštalácia je jednoduchá a interpretácia výsledkov je pre IT expertov veľmi intuitívna a prehľadná.

Beats

Táto platforma celý Elastic Stack obohacuje o ‚agentov‘, ktorí umožňujú sledovať ďalšie zdroje dát. Či už chceme analyzovať dáta ukladané do zvláštnych súborov, metriky infraštruktúry a systémov či analýzu sieťových paketov, vďaka tejto platforme ľahko udržíme rytmus svojich dát.

Hoci je X-Pack platený produkt, stojí za zváženie

Investícia do rozšírených produktov pridáva štyri ďalšie produkty – Watcher, Marvel, Security a Graph. Z týchto sú najzaujímavejšie práve prvé dva produkty. Watcher stráži dáta a poskytuje notifikácie, prípadne aj opatrenia, ktoré potrebné prijať na normalizovanie stavu. Dôležite je len správne nadefinovať parametre a Watcher sa postará o zvyšok. Marvel pomáha ElasticSearch bežať optimálne. Pomôže vám predvídať problémy a riešiť ich ešte skôr, ako sa rozvinú.

Ako používame Elastic Stack v Telekom IT v T-Systems Slovakia?

Health check aplikácií

Normálny stav behu aplikácie analyzovaný z nazbieraných dát

Porucha pri Health Check-u aplikácie

Apache HTTPD server

Apache HTTPD server pri normálnom fungovaní sa správa takto. Je jasne vidieť denný režim aplikácie. Dáta o webserveri sú poskytované priamo zo server-status informácií.

Situácia pri zaťažení Apache servera je nasledovná.

Pomocou implementácie health-check-u Apache HTTPD, sme mohli sledovať uvedenie populárneho telefónu na trh. Čas oznámenia sa odzrkadlil logicky aj na zaťažení infraštruktúry.

Výkonnosť databázy

S pomocou databázových špecialistov pripravujeme aj analýzu databáz, založenú na získavaní vnútorných databázových metrík. Napríklad Class a events a ich priemerný čas vykonávania.

Implementácia analýzy aplikácie You and Me

Pilotná implementácia pre aplikáciu You and Me (medzinárodný interaktívny intranet DTAG) prebehla začiatkom roka. Po úspešnom testovacom prostredí sa aktuálne zavádza ElasticStack aj na produkcii. To nám umožní sledovanie výkonu a správania sa aplikácie z nového pohľadu. Sledujú sa všetky dôležité logy a metriky aplikácie, ktoré sú viditeľné na jednom mieste a prístupné ľuďom bez toho, aby sa prihlásili na server. Ak sa Elast Stack osvedčí ako efektívna inovácia na medzinárodnej aplikácii You and Me, ktorú používa celé Deutsche Telekom, budeme ju čoskoro používať na ďalšie aplikácie pre zákazníkov. 

Radovan Ondáš, Middleware Engineer, Quality and Tech Lead

Middleware consultant v T-Systems Slovakia

https://sk.linkedin.com/in/radoondas