De flexibiliteit van de cloud gebruiken om big data sneller te ontwikkelen

door | mrt 10, 2018 | technologie | 0 Reacties

Voor een telecomoperator ontwikkelde Micropole een bigdataproject dat uitgaat van een serie AWS-services. De resultaten overtreffen de verwachtingen.

De cloud is dé facilitator van big data! Meer organisaties zouden zich tot big data bekeren als die sneller, eenvoudiger en vooral goedkoper binnen hun bereik zouden komen. Uit een IDC-onderzoek is gebleken dat bedrijven vrezen niet over de nodige middelen te beschikken om de opslag, het beheer, de opvraagbaarheid en de bescherming van gegevens te garanderen. Terecht zien bedrijven op tegen de enorme investeringen die ze moeten doen vooraleer ze van deze nieuwe mogelijkheden kunnen profiteren. Maar er is een uitweg uit deze impasse: de cloud. Bij een klant, een telecombedrijf, zette Micropole binnen een paar weken een big data-onderzoeksproject op – en er waren niet meer dan acht weken nodig om dat operationeel te maken op een complete infrastructuur in de AWS-omgeving (Amazon Web Services).

Vrijwel elk bedrijf kan concurrentievoordeel halen uit de gegevens waartoe het toegang heeft. Maar niet elk bedrijf heeft de expertise om de noodzakelijke fysieke infrastructuur te bouwen en te beheren. Thomas Dallemagne, Big Data Practice Leader bij Micropole, vindt het gebruik van de cloud heel wat efficiënter. Via de cloud kunnen alle bedrijven, groot of klein, van elke omvang, de infrastructuur uitrollen die ze nodig hebben en wanneer ze die nodig hebben. ‘Naar zijn aard is de cloud flexibel. De toegewezen infrastructuur kan zowel naar boven als naar beneden bijgesteld worden. Provisioningtijden worden geregeld. Het is dus mogelijk om sneller op activiteitspieken te anticiperen. Daardoor kan met name bepaald worden wanneer bandbreedte en opslagcapaciteit moeten worden aangepast.

AWS-catalogus

Het big data-project bij deze operator ging in mei 2017 van start en liep een paar weken, om zo nauwkeurig mogelijk zicht te krijgen op het bereik ervan en op de te implementeren tools. ‘Als het gaat over de cloud, dan denken we aan servers, VM’s. Minder aan applicaties. Samen met onze klant hebben we de beste tools in de AWS-catalogus geselecteerd. Het doel was, op basis van onze behoeftenanalyse, flexibele en niet dure IT-middelen te vinden om snel elke soort bigdata-applicatie, waaronder datawarehousing, navigatietrajectanalyse, fraudedetectie, aanbevelingsmachines, op de context afgestemde ETL’s en dergelijke te kunnen op- of terugschalen, waarbij alleen betaald hoeft te worden voor wat echt wordt verbruikt. Niet alleen zijn we erin geslaagd elke vorm van extra investering te vermijden, we hebben ook een oplossing bedacht die, in termen van TCO, 75% goedkoper is dan een on-premise-oplossing!

Hoe dat er structureel uitziet? De oplossing berust op de DBMS in kolommen Amazon Redshift, die gekenmerkt wordt door een massale parallelle verwerking op basis van een DBMS in kolommen; Redshift gebruikt datacompressie en zonemapping om de benodigde hoeveelheid I/O voor zoekopdrachten te verminderen. De gegevens worden automatisch opgeslagen in Amazon S3 (Simple Storage Service), continu en incrementeel. Een ander geselecteerd hulpmiddel is Amazon EMR, een Hadoop-infrastructuur waarmee grote hoeveelheden gegevens op Amazon-platforms eenvoudig, snel en goedkoop verwerkt kunnen worden. EMR beheert een breed scala aan bigdatagebruiksmogelijkheden op een veilige en betrouwbare manier, zoals loganalyse, webindexering, data-transformaties, machine learning, financiële analyse, wetenschappelijke simulatie en bio-informatica onderzoek.

GDPR By Design

De keuze voor een oplossing op AWS was snel gemaakt. ‘Misschien dat bedrijven eerder nog steeds aarzelden bij of zelfs weigerachtig stonden tegenover de public-cloudoptie, maar dat is nu niet langer het geval,’ verzekert Thomas Dallemagne. ‘AWS-klanten kunnen iedere gewenste bigdata-analysetoepassing maken en alle workloads ondersteunen, ongeacht het volume, de snelheid en de diversiteit van de gegevens.’ Met meer dan 50 services en de honderden functies die elk jaar worden toegevoegd, biedt AWS alles wat een bedrijf nodig heeft om big data in de cloud te verzamelen, op te slaan, te verwerken, te analyseren en te visualiseren.

Beter nog: dankzij dit project kan de klant voldoen aan de GDPR by Design. AWS-services zijn al in overeenstemming met de Algemene Verordening Gegevensbescherming die op 25 mei van kracht wordt. Met name de naleving door AWS van ISO 27018 – de eerste internationale norm specifiek voor de bescherming van persoonsgegevens in de cloud – is gevalideerd door een onafhankelijke evaluatie-instantie.

Dit project is allereerst technisch van aard, maar heeft ook een organisatorisch aspect. De klant heeft de manier van werken van sommige van zijn teams moeten herzien, aangezien taken van vroeger overbodig zijn geworden. Tegelijkertijd opent dit project ontelbare deuren in termen van mogelijkheden voor gegevensverwerking. We betreden het tijdperk van data 2.0, door en door hybride, te beginnen met big data, machine learning en AI.

In Maart Solutions Magazine

Oplossingen Magazine wijdt binnenkort speciale verslagen over de veiligheid van mobiele toepassingen :GDPR, Samenwerking & video, Home Protection

> Ik wil dat zichtbaarheid op dit onderwerp
> Abonneer u op de maandelijkse papieren

PUB

EMC

 
 

kompass
Summary
De flexibiliteit van de cloud gebruiken om big data sneller te ontwikkelen
Article Name
De flexibiliteit van de cloud gebruiken om big data sneller te ontwikkelen
Description
Voor een telecomoperator ontwikkelde Micropole een bigdataproject dat uitgaat van een serie AWS-services. De resultaten overtreffen de verwachtingen.
Author
Solutions Magazine