Skip to main content

Data Lake

Leistungsoptimiert für Big Data-Analysen

Das vom Pentaho-Gründer James Dixon entwickelte Data Lake-Konzept ist für die Ausführung großer Analysesysteme ausgelegt. Die Technologie ist zum Abfragen und Untersuchen von Daten im Petabytebereich vorgesehen, die einen hohen Verarbeitungsdurchsatz erfordern. Im Data Lake-Speicher abgelegte Daten können anschließend problemlos mit Hadoop-Technologien wie MapReduce, Spark, Tez oder Hive analysiert werden.

Die Definition von Data Lake schreibt keine bestimmte Speichertechnologie vor, sondern nur Anforderungen. Während Data Lakes in der Regel gleichbedeutend mit Hadoop diskutiert werden  - – welches eine hervorragende Wahl für viele Data Lake Aufgabenstellungen ist –  kann ein Data Lake tatsächlich auf verschiedenen Technologien wie NoSQL (HBase, MongoDB), Object Stores (Amazon S3) oder RDBMS beruhen.

Ein wesentlicher Vorteil von Data Lake-Speichern ist, dass sie beliebige Daten ohne vorherige Umwandlung im systemeigenen Format speichern können. Konkret bedeutet dies, dass es nicht notwendig ist, vor dem Laden der Daten ein Schema zu definieren. Die Definition eines Schemas erfolgt direkt zum Zeitpunkt der Analyse durch die Interpretation der Daten. Damit wird das Schema - im Gegensatz zum traditionellen Data Warehouse Ansatz - erst beim eigentlichen Lesen der Daten gebildet (Schema on Read). Das erlaubt eine hohe Flexibilität der Analysen und eine starke Vereinfachung des Data Ingest.

Ihr Vorteil

Der Data Lake-Speicher bewältigt eine hohe Zahl von Schreibvorgängen mit geringen Datenmengen bei niedriger Latenz. Daher eignet sich diese Lösung ideal für Szenarien, in denen Daten nahezu in Echtzeit und zu möglichst geringen Kosten verarbeitet werden müssen – z. B. bei Analysen von Websites und über das Internet of Things verbundene Geräte und Sensoren. NoSQL-Datenbanken wie spaltenbasierte und Schlüssel-Wert-Speicher können ebenfalls in Data Lakes integriert werden.

it-novum GmbH Deutschland

Hauptsitz: Edelzeller Straße 44, 36043 Fulda

Niederlassung: Siemensdamm 50, 13629 Berlin

Niederlassung: Ruhrallee 9, 44139 Dortmund

 

info@it-novum.com

+49 661 103 - 322

+49 661 103 - 597

it-novum Niederlassung Österreich

Office Park 7 / Top 802

1300 Wien-Flughafen

 

 

info@it-novum.at

+43 1 227 87 - 139

+43 1 227 87 - 200