NetApp i S3 – lokalni podaci i S3 u ONTAP-u

U današnjem IT ekosistemu, hibridni klaud postao je sinonim za fleksibilnost i efikasnost velikih preduzeća. Kada primenjujete nove usluge ili pokrećete aplikacije sa različitima potrebama, klaud pruža nivo fleksibilnosti koji vam omogućava da platite za ono što vam je potrebno, kada vam zatreba, dok lokalne komponente povećavaju sigurnost i kontrolu nad vašim podacima. Podaci su ovde dakle u centru pažnje, njima treba upravljati, ali ih i obezbediti. Moguće je izvesti čitavu infrastrukturu u klaud, ali ne i odgovornost za poslovne podatke. Korisnici, zato, treba da kontrolišu šta se dešava sa podacima bez obzira gde se oni nalaze.

Lokalni podaci i S3 u ONTAP-u

Pomenućemo pojavu novog objektnog S3 storidža na ONTAP-u. NetApp ONTAP 9.8 podržava Amazon Simple Storage Service (S3), tačnije podskup AWS S3 API akcija i omogućava podacima da budu predstavljeni kao objekti na sistemima zasnovanim na ONTAP-u, kao što su AFF, FAS ali i ONTAP Select.

Sve veći broj korisnika ima potrebu da ONTAP podržava objektni storidž koristeći S3. Iako ove tehnologije odlično idu rame uz rame sa radnim opterećenjima velikog kapaciteta,  ipak postoje i nativne S3 aplikacije za analitiku, veštačku inteligenciju, mašinsko učenje i edge-to-core ingest za kojima potreba sve više raste. Upravljanje stroidžom za sva ova opterećenja moguće je uz poznati ONTAP System Manager.

Arhitektura i ostale funkcije

Objektni storidž je ime za arhitekturu koja upravlja podacima kao objektima, za razliku od onih koji upravljaju podacima na principu fajlova ili blokova. Objekti se „čuvaju” u jedinstvenim kontejnerima koji se nazivaju baketi (bucket – kofa). Karakteristika ovog storidža je performantnost, ali pre svega skalabilnost, te često možemo da vidimo i petabajte podataka u jednom baketu.

Kao što se vidi u priloženom dijagramu, arhitektura je sačinjena od storidž virtuelne mašine (SVM) koja u sebi sadrži sam baket podataka, kao i Object store server, čiji je zadatak da upravlja podacima kao objektima. U istom virtuelnom serveru odigrava se i upravljanje samim baketima, kao i korisničkim dozvolama, i moguće je imati samo jedan Object store server po SVM-u. Servisne polise (Service policy) predstavljaju set mrežnih servisa koji se dodeljuju svakom SVM-u koji su zahtevani od strane Data LIF-a kako bi mogao da podrži protokole klijentskih aplikacija. Svaki Data LIF je zapravo logički protokol koji je neophodan za transfer podataka.

Kada govorimo o samim baketima, arhitektura koja ih podržave zove se FlexGroup volume, inovacija koja je predstavljena kao deo ONTAP 9.1 scale-out NAS fajl sistema. FlexGroup volumeni nemaju prostorno ograničenje osim onog koje postavlja sam hardver, odnosno ONTAP i predstavljaju jedinstveni namespace koji se sastoji od mnoštva volumena, ali kojima se upravlja kao jednim volumenom. Pojedinačni objekti u baketima se nalaze u pomenutim podvolumenima i nisu podeljeni među volumenima ili nodovima. Sam baket ima minimalni kapacitet od 96 gigabajta, a same FlexGroup-e nemaju ograničenje osim hardverskog, ali su testirane na 10-nodnom klasteru, sa 20 PB podataka i 400 milijardi fajlova. ONTAP S3 podržava do 12.000 baketa, ali najbolje prakse sugerišu da ne bi trebalo stavljati više od 1.000 baketa na jednu fleks grupu. Potrebno je obratiti pažnju da je ovaj kapacitet baketa po felks grupi novitet koji dolazi tek od ONTAP verzije 9.8. Maksimalni kapacitet pojedinačnih objekata  u Amazon S3 je 5TB, dok ONTAP S3 podržava objekte do 16TB. Takođe, i performanse pojedinačnih baketa je moguće podesiti, one variraju od 15.000 do 50.000 IOPS-a.

Što se tiče same bezbednosti lokalnih podataka NetApp Storage Encryption (NSE), NetApp Volume Encryption (NVE), kao i NetApp Aggregate Encryption (NAE) rade podjednako dobro na objektima upisanim u bakete u ONTAP , ali nisu neophodni za S3 ONTAP. Takođe, TLS/SSL enkripcija je u startu omogućena generisanjem sertifikata od strane samog sistema, i ne preporučuje se komunikacija na liniji client-object store/SVM bez TLS enkripcije. Takođe, S3 u ONTAP-u zahteva korišćenje Signature Version 4.

Implementacija: S3 u ONTAP-u

Kada govorimo o konkretnoj implementaciji ovih tehnologija, kompanija Braineering prošle godine otpočela je projekat integracije storidž sistema zasnovanih na tehnologiji objektnog S3 storidža na ONTAP-u, u već postojeći produkcioni sistem u renomiranoj visokotehnološkoj kompaniji iz Srbije. Cilj sistema je da omogući bezbedan, skalabilan, performantan i tehnološki napredan storidž sistem za ovu kompaniju, koja na dnevnom nivou u svom produkcionom okruženju proizvede više desetina terabajta podataka.

Implementirani storidž sistem sastoji se od dva nivoa storidža. Prvi nivo najperformantnijih diskova ima kapacitet 264 TB SSD NVMe diskova, u teoriji se naziva i produkcioni nivo (tier 1), odnosno primarni storidž sistem. Drugi nivo, često nazivan sekundarni (tier 2), koji se koristi i u produkcione svrhe ali i u bezbednosne svrhe, kao što su oporavak od katastrofe i replikacija, poseduje znatno veći kapacitet, odnosno nešto više od 3,5 PB, ili nešto manje od 3600 TB sirovog kapaciteta na HDD SATA diskovima. Svaki nivo poseduje više agregata, ili grupa fizičkih diskova, kojima je moguće logički manipulisati kao celinama iz centralne konzole pomoću NetApp tehnologija. Primarni nivo ima dva agregata, dok sekundarni ima čak 10. Na sledećoj slici pruža se uvid u karakteristike lokalnih diskova.

Pomenutim agregatima trenutno upravljaju 2 SVM-a, od kojih se jedan koristi u razvojne svrhe, a drugi kao skladište produkcionih objektnih baketa. Kao što smo već pomenuli, sami baketi se u ONTAP-u vide kao FlexGroup-e koje se sastoje od Flex volumena čiji je prostor ograničen na 100 TB. Kombinacijom volumena u grupe omogućen je pomenuti zahtev za skalabilnošću ovih skladišta produkcionih podataka.

Zajedno s našom ekspertizom, gorenavedena rešenja i proširene tehničke mogućnosti ONTAP operativnog sistema otvaraju širok spektar izbora za korisničke podatke i put ka istinskom hibridnom oblaku velikih razmera, jer daju mogućnost da odaberete šta je najbolje za vaše aplikacije i finansije. Opcije, dakle, variraju od lokalnog tradicionalnog storidža, za koji smo upravo naveli jedan primer implementacije, preko NPS (near-the-cloud NetApp Private Storage) bliskog cloud-u, do Cloud Volumes ONTAP softverskih servisa za storidž u oblaku.

Korisna adresa: rs.braineering.com

Autor: Nikša Stepanović, marketing coordinator, Braineering IT Solutions doo