Terwijl voor veel organisaties big data vooral iets voor de lange termijn zijn, maken ze nu al deel uit van het dagelijks leven bij VITO. Voor de opslag van zijn data, 5 PB archieven, koos de Vlaamse onderzoeksorganisatie voor NetApp en zijn Data ONTAP-besturingssysteem.

Onophoudelijk onderzoeksgegevens verwerken, verspreiden en vervolgens opslaan. Dat is de missie van VITO’s Remote Sensing Unit. Deze data zijn afkomstig van sensoren en camera’s geïnstalleerd aan boord van satellieten en vliegtuigen met of zonder piloot én van verschillende instrumenten. Ze zijn bedoeld om studies uit te voeren over de evolutie van de wereldwijde en continentale vegetatie, de natuurrampen en de land- en bosbouw.

Het is vooral in het onderzoeksdomein van de vegetatie dat VITO internationale faam verwierf als leverancier van beelden over de evolutie van het aardoppervlak. Zo nam het RS deel aan het 100% Belgisch satellietproject Proba-V (Project for ONboard Autonomy) voor monitoring van de aardse vegetatie die resoluties haalt van 1 km tot 300 m, en zelfs 100 m sinds april 2015.

Opslag en distributie

Om de opslag van deze gegevens te verzekeren, maakt het RS sinds 2013 gebruik van een infrastructuur van meer dan 550 fysieke servers geïnstalleerd volgens het principe van insluiting van warme lucht/koude lucht – virtualisatie is er nog niet aan de orde, ondanks het feit dat de opensourceoplossing Docker in testfase is.

Deze servers zijn vooral gebaseerd op Linux, gezien VITO duidelijk voor open source gekozen heeft. Ze worden gekoppeld aan een 3-ledige opslag: de high-end opslag (in fase van ontmanteling), de goedkopere opslag en de opslag van het 3e niveau op tapes. Samen goed voor niet minder dan 5 PB archieven en 2,5 PB data op disks in het specifieke van het RS, dat bestuurd wordt door een team van 4 administrators en dat meerdere honderden servers telt.

Sinds 2011 zijn twee scale-out NAS geïnstalleerd door de integrator SAIT die het opslagcontract binnenhaalde. Omdat we multivendor willen zijn om de ‘vendor lock-in’ te vermijden en we opslagcomplexiteit willen beperken, hebben we bij aanvang gekozen voor HPE, daarna en zijn besturingssysteem Data ONTAP voor de opslag van gegevens geleverd door de satelliet Proba-V”, zegt Johan Vereecken, Project Manager VITO Remote Sensing. “De satellietbeelden vertegenwoordigen zo’n 26 GB ruwe data per dag en dat sinds de lancering van de satelliet in 2013. Deze ruwe data worden verwerkt en leveren een veelheid aan producten met toegevoegde waarde. Gezien het center in 1998 begon met het leveren van data dankzij instrumenten aan boord van de satellieten SPOT 4 en SPOT 5 (bovenop data van andere satellieten) werden er langetermijnarchieven ingevoerd.”

Vandaag stockeert het NetApp-platform meer dan 1,5 PB data op 6 opslagcontrollers die geclusterd werden om een virtuele omgeving te vormen. Deze oplossing garandeert een grote schaalbaarheid en laat toe te beantwoorden aan de huidige en toekomstige noden van het RS. Want bovenop ruwe data, stockeert het platform intermediaire verwerkingsgegevens die bedoeld zijn voor later gebruik. De verfijning van algoritmes en analysetools kan inderdaad leiden tot een aanpassing van de datasets om er meer precieze informatie uit te halen, of voor syntheses van data over langere periodes.

Intelligence

Merk op dat de NAS en SAN workloads op een transparante manier worden gerouteerd binnen het cluster, zodat een extreme applicatiebeschikbaarheid gegarandeerd is. Maar er is ook het eigen besturingssysteem Data ONTAP van NetApp, geïnstalleerd op de fysieke opslagplatformen. “De hardware is nauw verbonden met de software waarin de echte intelligentie schuilt”, vervolgt Johan Vereecken. “Data ONTAP laat toe om zowel de opslag te beheren die exclusief bedoeld is voor gebruik door interne medewerkers als de opslag in het externe netwerk in het DMZ.” De interne infrastructuur van VITO bestaat uit VLANs die verbonden zijn door een redundant backbone netwerk en via firewalls geconnecteerd zijn met zowel diverse publieke netwerken (waaronder Belnet met name, die aansluit op het Europese netwerk GEANT, daarna naar het buitenland dankzij Internet2, Orient Plus en GeonetCast) als VLANs van partners.

Clustered Data ONTAP beheert zowel de NetApp hardware als die van andere leveranciers [HPE in dit geval, n.v.d.r.] om een uniform platform te creëren binnen een heterogene omgeving”, voegt , Managing Director Benelux van NetApp, nog toe. “Daardoor wordt het opslagbeheer vereenvoudigd en de gegevensbeveiliging versterkt.”

Een van de grote troeven van NetApp is zijn openheid. VITO wil zowel multivendor als multitechnologie zijn en wil vermijden vast te hangen aan een specifieke leverancier. Dat is trouwens de reden waarom we voor 99% op Linux draaien!”, voegt Johan Vereecken toe.

Evolutie

Vandaag biedt NetApp Data ONTAP native aan in grote cloudomgevingen. De strategie van NetApp op het vlak van de cloud is de klant toe te laten naar de cloud over te stappen, maar ook om er terug uit te stappen”, preciseert nog Sven Schoenaerts. Blijft dat VITO meent dat de migratie naar de cloud nog voorbarig is, vooral omdat zijn klanten eisen dat data intern gestockeerd zijn en de operabiliteit van de cloud moeilijk blijft, rekening houdend met de gestockeerde en verwerkte datavolumes.

“Voor NetApp is VITO een atypische klant omwille van zijn specifieke technologische competenties”, zegt nog de Benelux-baas van NetApp. “Maar het zet ons aan om nieuwe functionaliteiten te ontwerpen voor ons platform. En terwijl ons distributiemodel voor 90% indirect is, is het belangrijk voor NetApp om de noden en verwachtingen van de klant op lange termijn te begrijpen en te communiceren met de gebruikerscommunity. NetApp heeft ook het voordeel dat het exclusief gespecialiseerd is in opslag, onafhankelijk is en dicht bij zijn klanten staat.”

Marc Husquinet

Summary
VITO: big data dankzij NetApp
Article Name
VITO: big data dankzij NetApp
Description
Terwijl voor veel organisaties big data vooral iets voor de lange termijn zijn, maken ze nu al deel uit van het dagelijks leven bij VITO.
Author
Solutions Magazine