Data i Data Analytics predstavljaju sveprisutne koncepte u današnjem svetu tehnologije i biznisa
Od osnovnih principa prikupljanja i obrade podataka do složenih tehnika analize i vizuelizacije, Data Analytics pruža uvid u kritične informacije koje su neophodne za donošenje informisanih odluka.
Počnimo od početka: šta su to podaci?
Data ili data? [“day-tuh” or “da-tuh”]
Na početku su jedini podaci (u digitalnom smislu) bili oni koji su unošeni ručno – primer tabele. Tokom poslednjih godina zbog razvoja mreža (4G, 5G, optika, Wi-Fi 5 i 6), dostupnosti telefona i računara i napretka u IoT doživljavamo eksploziju i eksponencijalni rast količine generisanih podataka i naše mogućnosti da ih sačuvamo.
Postoje mnogi načini da se klasifikuju i podele podaci, ali u skladu s njihovim izgledom i poreklom, mogu se grubo podeliti na dve grupe:
Mogu biti strukturirani (kao što su podaci u tabelama baza podataka) ili nestrukturirani (kao što su podaci u tekstualnom obliku, slike, video-zapisi, zvuk itd.). U digitalnoj eri, ogromne količine podataka se stvaraju i čuvaju svakodnevno, a ti podaci se sve više koriste za donošenje odluka u različitim oblastima, od biznisa do nauke i društva.
Zato danas postoji velika potreba za stručnjacima u oblasti obrade podataka i analitici podataka.
Data Analytics
Analitika podataka je proces analize i interpretacije podataka (pretvaranja sirovih podataka) radi dobijanja korisnih informacija. Uključuje različite metode za analizu podataka, kao što su statistička analiza, mašinsko učenje, veštačka inteligencija i druge tehnike. Cilj analitike podataka je da se iz podataka izvuku zaključci koji će pomoći u unapređenju procesa i povećanju efikasnosti u različitim oblastima.
Sudeći po iskustvima vodećih data-driven kompanija u svetu, kao što su Netflix, Spotify i Twitter, koje koriste upravo Google Cloud servise za prikupljanje i analizu podataka, upravljanje podacima uz pomoć Google Cloud-a je lako i cenovno prihvatljivo
Prikupljanje, skladištenje i analiza obuhvataju dosta alata (neretko skupih) i široko znanje više tehnologija, tako da se kao logičan izbor nameće XaaS model, odnosno iznajmljivanje infrastrukture i servisa kada postoji potreba za njima.
Ne postoji jedan cloud provajder koji se može smatrati najboljim, budući da svaki ima svojih prednosti i nedostataka. Međutim, neki od vodećih cloud provajdera za usluge analitike podataka uključuju Amazon Web Services (AWS), Microsoft Azure i Google Cloud. Ovi provajderi nude širok spektar usluga analitike podataka, uključujući skladištenje, vizuelizaciju, mašinsko učenje i obradu velikih podataka, kao i veliki ekosistem alata i integraciju trećih strana. Izbor cloud provajdera koji će za usluge analitike podataka zavisiće od različitih faktora, kao što su specifične potrebe organizacije, nivo stručnosti tima i troškovi usluga. Ono po čemu se Google Cloud definitivno ističe jeste njihovo višedecenijsko iskustvo u radu s podacima, kao i BigQuery i Vertex AI kao jedni od najkorišćenijih i najsofisticiranijih proizvoda.
Google Cloud
Data Analytics na Google Cloud-u obično se sastoji od nekoliko koraka, uključujući prikupljanje podataka, skladištenje podataka, obradu podataka i analizu podataka.
Prvi korak je prikupljanje podataka, što se može obaviti putem različitih kanala, poput IoT senzora, Web stranica, društvenih mreža ili drugih izvora podataka. Podaci se zatim obrađuju i prenose u Google Cloud za skladištenje.
Drugi korak je skladištenje podataka, koje se obično obavlja putem usluge Google Cloud Storage. Podaci se mogu sačuvati u različitim formatima, uključujući strukturirane i nestrukturirane podatke.
Treći korak je obrada podataka, koja se može obaviti putem alata kao što su Google Cloud Dataflow. Ovi alati omogućuju obradu velike količine podataka i različite transformacije, poput filtriranja podataka, grupisanja podataka ili spajanja podataka iz različitih izvora.
Četvrti korak je analiza podataka, koja se obično obavlja putem usluge Google BigQuery. BigQuery omogućuje korisnicima da izvrše složene upite nad velikim količinama podataka i izvuku uvide iz podataka. Takođe je moguće koristiti alate poput Google Data Studio za vizuelizaciju podataka i izradu izveštaja.
Google Cloud takođe nudi druge usluge za analizu podataka, kao što je Google Vertex AI, koji korisnicima omogućuje interaktivno istraživanje i analizu podataka pomoću Jupyter beležnica, te Google Cloud Machine Learning, koji korisnicima omogućuje izgradnju modela za mašinsko učenje i veštačku inteligenciju.
Da li je Google Cloud dostupan u Srbiji i regionu?
Jedini Google Premier partner na ovim prostorima, kao i vodeći partner u Evropi, jeste kompanija Devoteam koja pruža širok spektar cloud usluga, uključujući analizu podataka. Neki od projekata koje je Devoteam realizovao sa Google Cloud-om za analizu podataka i mašinsko učenje su:
Carrefour: Carrefour se suočio sa izazovom korišćenja velike količine podataka o svojim klijentima kako bi u realnom vremenu donosili brze odluke, a da pri tom ne šalju neželjene poruke svojim klijentima. Međutim, zastarela big data tehnologija na licu mesta predstavljala je prepreku za data tim u Carrefour-u. Da bi prevazišli ovaj problem, Carrefour je odlučio da pregleda svoju arhitekturu podataka i da kombinuje sve dostupne podatke bez dupliranja. Kao partnere na ovom projektu, Carrefour je izabrao Devoteam G Cloud i Google Cloud. Cilj je bio da se olakša pristup podacima, dobiju vredne informacije u realnom vremenu i da se ujedine modeli podataka. Devoteam G Cloud je predložio korišćenje Flycs akceleratora podataka i analitike da ubrza implementaciju Carrefour centra podataka, a Carrefour je izabrao Flycs zbog robusnosti framework-a i sposobnosti da reši probleme replikacije podataka i pojednostavi ETL proces. Zahvaljujući Flycs-u, Carrefour je uspeo da ubrza implementaciju svog centra podataka za šest meseci, olakšao deljenje podataka i upravljanje skladištem podataka.
Tradera: Cilj je bio migrirati data warehouse sa on-premise rešenja na skalabilno i serverless rešenje. Rešenje je bilo da se koristi BigQuery u okviru Google Cloud platforme za analizu njihovog poslovanja. Data Warehouse Modernisation metodologija korišćena je za pripremu detaljnog opisa kako će migracija biti izvršena. Nakon uspešnog proof-of-concept-a, stručnjaci su izvršili migraciju infrastrukture i transformisali podatke u BigQuery-u bez gubitka tačnosti podataka. Projekat je završen uspešno, rezultirajući povećanjem performansi ETL-a četiri puta, lako nadgledanje ETL pipeline-a putem Grafane i povećanu transparentnost kroz kontrolu izvora. Tradera sada pokreće većinu svojih zadataka na Google Cloud-u koristeći BigQuery za analizu svog poslovanja.
RBFA: Kraljevska belgijska fudbalska asocijacija (RBFA) želela je da postane organizacija koja se oslanja na podatke, sa ciljem da bolje služi svojim interesnim grupama. Međutim, njihovi podaci su bili u silosima, a njihov IT tim je primao previše zahteva za podacima i uvidima, bez prave strategije podataka i analitike ili skladišta podataka. Da bi se to rešilo, predložena je strategija zasnovanu na četiri koraka: definisanju vizije, implementaciji jezera podataka (data lake), prikupljanju uvida i razvoju pametnih usluga. Prateći ove korake, RBFA bi mogla da prikupi uvide i analitiku, stvori 360° pregled interesnih grupa i implementira alat za segmentaciju kako bi pružila ciljane i personalizovane komunikacije. Ovo je omogućilo stvaranje pametnih usluga, uključujući automatizovanje komunikacija i personalizovanog sadržaja u mobilnoj aplikaciji. Motor preporuka se integriše da bi se dodatno poboljšalo personalizovano iskustvo. Sve odluke o bezbednosti su donete uz nadzor službenika za zaštitu podataka RBFA i njenog ICT tima.
Randstad: Randstad Group Belgium se suočio sa izazovom prelaska sa čistog izveštavanja na sveobuhvatno poslovno razumevanje i želeo je da modernizuje svoju strategiju analitike podataka, kako bi omogućio automatizovanje donošenja odluka. Identifikovao je Google Cloud kao rešenje koje poseduje sposobnosti da reši njihove izazove i zajedno sa partnerom Devoteam G Cloud, stvorio Cloud-native arhitekturu podataka, koja se sastoji od data lake-a, staging područja, data warehouse-a, data mart-a i serving layer-a u self-service okruženju, koje vizuelno prikazuje podatke za zaposlene. Novostvoreni data framework automatizuje veliki broj procesa i koristi Google Cloud proizvode poput Cloud Storage-a, BigQuery-a i Pub/Sub-a, da bi maksimizovao napore i brzo reagovao na nove tehnologije. Sa ovim podešavanjem, Randstad Group Belgium može da prati evoluciju Cloud-a i brzo reiterira po potrebi.
Jedini Google Premier partner na ovim prostorima, kao i vodeći partner u Evropi, jeste kompanija Devoteam
Najčešći korisnici su firme iz telekoma, energetski sektor, distribucija i logistika, zdravstvo, banke, osiguravajuće kuće.
Izazovi koji su uspešno rešeni u ovim industrijama su:
- kako bezbedno (redundantno i enkriptovano) čuvati enormne količine podataka;
- kako očistiti, transformisati i usmeriti podatke postojećim alatima i
- kako brzo uraditi preliminarnu analizu, primeniti mašinski model, pripremiti vizuelizaciju.
Međutim, mogućnosti za primenu podataka nisu isključivo vezane za nabrojane industrije – one su brojne i granični faktor je naša kreativnost i znanje iz oblasti.
Sudeći po vodećim data-driven kompanijama, kao što su Netflix, Spotify i Twitter, koje koriste upravo Google Cloud servise, upravljanje podacima uz pomoć Google Cloud-a je lako i cenovno prihvatljivo.
Podataka je sve više, jer konstantno raste broj korisnika, kao i broj uvezanih uređaja koji ih generišu. Ali i vi već vidite kod vas neke skupove podataka iz kojih bi se mogla izvući korist analiziranjem?
Autor: Miloš Karanović, Cloud Consultant Devoteam Serbia
