Plattform
Die Open Source Datenplattform
Kombination von best practices
Beliebte Data Apps, einfach zu verwenden
Stackable bietet Dir eine abgestimmte Auswahl der besten Open-Source Data-Apps wie Kafka, Druid, Trino oder Spark. Speichere, verarbeite und visualisiere Deine Daten mit den neuesten Versionen. Bleibe auf der Höhe der Zeit, nicht hinter ihr.
Alle Data-Apps arbeiten nahtlos zusammen und können im Handumdrehen hinzugefügt oder entfernt werden. Basierend auf Kubernetes läuft es in allen Umgebungen – on prem oder in der Cloud.
Erstelle einzigartige und unternehmensweite Datenarchitekturen. Die Plattform unterstützt z.B. moderne Data Warehouses, Data Lakes, Event Streaming, Machine Learning oder Data Meshes.
Operatoren der Plattform
Stackable Module sind reguläre Kubernetes-Operatoren. Wegen der ausgezeichneten Performance, dem geringen Speicherbedarf sowie der Speicher- und Thread-Sicherheit haben uns dabei für die Programmiersprache Rust entschieden.
Der Stackable Kafka Operator ermöglicht das automatisierte Ausrollen und Verwalten von Apache-Kafka in Kubernetes-Clustern. Er unterstützt die Stackable Autorisierung und Überwachung.
Der Stackable Druid Operator für Kubernetes verwaltet Apache Druid-Cluster. Apache Druid ist eine Echtzeit-Datenbank zur Unterstützung moderner Analyseanwendungen.
Der Spark Operator ermöglicht, einen Spark-Cluster auf Kubernetes im Standalone-Modus auszurollen. Er bietet auch die Möglichkeit, Spark-Aufträge auf dem Cluster zu starten.
Der Stackable Apache Superset Operator verwaltet Apache Superset. Apache Superset ist eine moderne Plattform zur Datenexploration und -visualisierung. Mit Stackable wird Superset für die Zusammenarbeit mit Trino und Apache Druid konfiguriert.
Der Stackable Trino Operator bietet vorkonfigurierten Zugriff auf HDFS oder einen beliebigen S3-kompatiblen Cloud-Speicher. Trino erlaubt föderierte Abfragen aus einer Vielzahl von Datenquellen.
Der Stackable Airflow Operator verwaltet Apache Airflow-Cluster. Airflow ist eine Workflow-Engine, die das programmatische Erstellen, Ausführen und überwachen von Daten-Pipelines erlaubt und Ihr Ersatz, wenn Sie Apache Oozie verwenden.
Der Stackable Nifi Operator ermöglicht das automatisierte Ausrollen und Verwalten von Apache Nifi. Nifi unterstützt leistungsstarke und skalierbare Datenflüsse.
Der Stackable OPA (OpenPolicyAgent) Operator verwaltet OPA-Server. Mit OPA können flexibel Regeln und Richtlinien für den Daten-Zugriff „as Code“ definiert werden.
Der Stackable Hbase Operator verwaltet Apache HBase-Cluster. HBase ist ein verteilter, skalierbarer Big-Data-Speicher.
Der Stackable HDFS Operator verwaltet Apache HDFS-Cluster. HDFS ist ein verteiltes Dateisystem, das den Zugriff auf Daten mit hohem Durchsatz ermöglicht.
Der Stackable Hive Operator verwaltet Apache Hive. Derzeit unterstützt es den Hive Metastore. Die Data-Warehouse-Software Apache Hive erleichtert das Lesen, Schreiben und Verwalten großer Datensätze, die sich in einem verteilten Speicher befinden, mit SQL.
Der Stackable ZooKeeper Operator ermöglicht das automatisierte Ausrollen und Verwalten von Apache ZooKeeper-Ensembles. Apache Zookeeper wird von vielen Big-Data-Produkten als äußerst zuverlässiger Koordinator verteilter Systeme eingesetzt.
OPERATOREN DER PLATTFORM
Stackable Module sind reguläre Kubernetes-Operatoren. Wegen der ausgezeichneten Performance, dem geringen Speicherbedarf sowie der Speicher- und Thread-Sicherheit haben uns dabei für die Programmiersprache Rust entschieden.
Der Stackable Kafka Operator ermöglicht das automatisierte Ausrollen und Verwalten von Apache-Kafka in Kubernetes-Clustern. Er unterstützt die Stackable Autorisierung und Überwachung.
Der Stackable Druid Operator für Kubernetes verwaltet Apache Druid-Cluster. Apache Druid ist eine Echtzeit-Datenbank zur Unterstützung moderner Analyseanwendungen.
Der Spark Operator ermöglicht, einen Spark-Cluster auf Kubernetes im Standalone-Modus auszurollen. Er bietet auch die Möglichkeit, Spark-Aufträge auf dem Cluster zu starten.
Der Stackable Apache Superset Operator verwaltet Apache Superset. Apache Superset ist eine moderne Plattform zur Datenexploration und -visualisierung. Mit Stackable wird Superset für die Zusammenarbeit mit Trino und Apache Druid konfiguriert.
Der Stackable Trino Operator bietet vorkonfigurierten Zugriff auf HDFS oder einen beliebigen S3-kompatiblen Cloud-Speicher. Trino erlaubt föderierte Abfragen aus einer Vielzahl von Datenquellen.
Der Stackable Airflow Operator verwaltet Apache Airflow-Cluster. Airflow ist eine Workflow-Engine, die das programmatische Erstellen, Ausführen und überwachen von Daten-Pipelines erlaubt und Ihr Ersatz, wenn Sie Apache Oozie verwenden.
Der Stackable Nifi Operator ermöglicht das automatisierte Ausrollen und Verwalten von Apache Nifi. Nifi unterstützt leistungsstarke und skalierbare Datenflüsse.
Der Stackable OPA (OpenPolicyAgent) Operator verwaltet OPA-Server. Mit OPA können flexibel Regeln und Richtlinien für den Daten-Zugriff „as Code“ definiert werden.
Der Stackable Hbase Operator verwaltet Apache HBase-Cluster. HBase ist ein verteilter, skalierbarer Big-Data-Speicher.
Der Stackable HDFS Operator verwaltet Apache HDFS-Cluster. HDFS ist ein verteiltes Dateisystem, das den Zugriff auf Daten mit hohem Durchsatz ermöglicht.
Der Stackable Hive Operator verwaltet Apache Hive. Derzeit unterstützt es den Hive Metastore. Die Data-Warehouse-Software Apache Hive erleichtert das Lesen, Schreiben und Verwalten großer Datensätze, die sich in einem verteilten Speicher befinden, mit SQL.
Der Stackable ZooKeeper Operator ermöglicht das automatisierte Ausrollen und Verwalten von Apache ZooKeeper-Ensembles. Apache Zookeeper wird von vielen Big-Data-Produkten als äußerst zuverlässiger Koordinator verteilter Systeme eingesetzt.
So geht's
Von einfachen bis zu komplexen Umgebungen mit Infrastructure-as-Code
Stackable bietet die Flexibilität, sowohl einfache als auch komplexe Datenszenarien zu definieren. So oder so, die Einrichtung ist immer so einfach wie hier:
1. In Schritt eins wählst Du die Stackable-Operatoren für die Data-Apps aus, die du für deine Datenplattform benötigst und installierst sie mit stackablectl oder direkt über Helm.
2. In Schritt zwei installierst Du Deine Data-Apps im Kubernetes Cluster, indem Du die passenden Konfigurationen (CRDs) mit stackablectl oder direkt über kubectl an die Operatoren übergibst.
Alle diese Definitionen werden als Infrastructure-as-Code verwaltet, sodass auch die Einrichtung testbar und wiederholbar bleibt und eine Standardisierung ermöglicht.
1. Operatoren und...
2. ... Konfigurationen
1. Operatoren und...
2. ... Konfigurationen
Der Stackable Operator framework ist eine Rust-Bibliothek, die die schnelle und einheitliche Entwicklung von Kubernetes-Controllern und Operatoren unterstützt.
Das Stackable Docker Image Repository enthält Docker-Dateien und Skripte zur Erstellung von Basis-Images von Open-Source-Produkten, die von Stackable unterstützt werden und in Stackable verwendet werden können.
Newsletter
Zum Newsletter anmelden
Mit dem Stackable Newsletter bist Du immer auf dem Laufenden, wenn es um Updates rund um Stackable geht!