close

Anmelden

Neues Passwort anfordern?

Anmeldung mit OpenID

16.55 BDS15 Müller AM Frank Lohr EMC

EinbettenHerunterladen
Hadoop-as-a-Service (HDaaS)
Flexible und skalierbare Referenzarchitektur
Arnold Müller – freier IT Mitarbeiter und Geschäftsführer
Lena Frank – Systems Engineer @ EMC
Marius Lohr – Systems Engineer @ EMC
© Copyright 2015 EMC Corporation. All rights reserved.
Fallbeispiel: CIO eines DAX Unternehmens
klassische IT Dienste:
© Copyright 2015 EMC Corporation. All rights reserved.
neue IT Dienste:
Die Möglichkeiten
neue
Geschäftsfelder
Umsatzsteigerung
Risikominimierung
hjdfhjdsfh
Verbesserung
operatives Geschäft
© Copyright 2015 EMC Corporation. All rights reserved.
Die Herausforderungen
Kostendruck ggü.
Cloud Anbietern
Fehlendes Wissen
über Hadoop
Infrastrukturen
Schnelles
Deployment
Anforderungen und
Workloads
mehrere
Mandanten
Hochverfügbarkeit
und
Datensicherheit
© Copyright 2015 EMC Corporation. All rights reserved.
Klassische Hadoop Architektur
Sqoop
PIG
Job Tracker
Data Node + Compute Node
Mahout
Task Tracker
Data Node + Compute Node
Hive
HBase
DataNode
NameNode
2nd NameNode
Data Node + Compute Node
Ethernet
NameNode
Data Node + Compute Node
© Copyright 2015 EMC Corporation. All rights reserved.
Data Node + Compute Node
Data Node + Compute Node
Klassische Hadoop Architektur
•
dedizierte Serverumgebung mit lokalem Storage
•
•
•
Effizienz
•
schlechte CPU Auslastung da auf Lastspitzen zugeschnitten
•
3-fach Spiegelung (300% Brutto) durch Hadoop Architektur
Skalierungsmöglichkeiten
•
•
starres Verhältnis von Compute Node zu Data Node
Fehlertoleranz bei Namenode
•
•
Hardware und Kapazität nur für Hadoop Daten gedacht
NameNode ist nicht geschützt
Enterprise Class Dienste
•
Fehlende Datensicherungskonzepte wie Snapshots, Replikation, Backup
•
Keine logische Trennung von Mandanten
© Copyright 2015 EMC Corporation. All rights reserved.
Hadoop Architektur mit konsolidiertem HDFS Storage
Sqoop
PIG
Job Tracker
Hive
Task Tracker
Compute Node
Compute Node
Compute Node
© Copyright 2015 EMC Corporation. All rights reserved.
DataNode
H
D
F
S
data node
Compute Node
Ethernet
Compute Node
NameNode
HBase
name node
Compute Node
Mahout
Project Serengeti
• Open-Source Projekt
• Schnelles Deployment von Hadoop Clustern in virtuellen
Umgebungen
vCenter
VM
VM
Management
Server
Templates
Hadoop
Node
Hadoop
Node
vSphere + Serengeti
Host
© Copyright 2015 EMC Corporation. All rights reserved.
Host
Host
Host
Hadoop-as-a-Service Referenzarchitektur
Compute Node
Orchestration
& Chargeback
Compute Node
User
Management
Compute Node
H
D
F
S
Hadoop
vCenter
data node
© Copyright 2015 EMC Corporation. All rights reserved.
Serengeti
Name node
physikalisch
virtuell
Self Service
Portal
Infrastructure
Mgmnt
HDaaS Workflow
Data
Scientist
7: Access and Analyze
6: Notify
1: Request
SELF
SERVICE
PORTAL
3: Invoke
6: Notify
4b: Provision
Compute
4a: Provision Storage
2: Validate
USER/
TENANT
MGMT
ORCHES
TRATOR
HDFS/
REST
API
AD
© Copyright 2015 EMC Corporation. All rights reserved.
Hadoop
Cluster
Shared
HDFS
Storage
SERENG
ETI
5: Instantiate
PIVOHD
TAL
PIVO-HD
WORKER
HD
MASTER
TAL
HD
WORKER
MASTER
Vorteile einer entkoppelten und virtualisierten Hadoop
Infrastruktur
unabhängige Skalierung der Infrastruktur
• Compute und Data Nodes voneinander unabhängig erweiterbar
bessere Ausnutzung der IT Infrastruktur
• >80% Storage Utilization, verbesserte CPU Utilization
• parallele Workloads von non-Hadoop Applikationen auf gleicher
Hardware
Data Scientist
Virtualisierte
Hadoop Cluster
Shared HDFS
Storage
automatisierte Bereitstellung und einfaches Management
• konsolidierter HDFS Speicher
• Compute Templates als Basis für schnelles Deployment
Mandantentrennung
• Logische Trennung der Datenzugriffe
• Logische Trennung der Compute Nodes
Fehlertoleranzen für Name Nodes
• Name Node ist Bestandteil des HDFS
Hadoop-as-a-Service
Referenzarchitektur
© Copyright 2015 EMC Corporation. All rights reserved.
zusätzlicher Schutz der Daten
• Snapshots, Replikation, Backup
Haben Sie noch Fragen?
© Copyright 2015 EMC Corporation. All rights reserved.
Autor
Document
Kategorie
Uncategorized
Seitenansichten
2
Dateigröße
2 381 KB
Tags
1/--Seiten
melden