Fivetran präsentiert Managed Data Lake Service für große Datenmengen und KI-Workloads

Neues Angebot verbessert Qualit?t, Vollst?ndigkeit und Aktualit?t von Unternehmensdaten und reduziert Komplexit?t bei Datenintegration bei Generativer-KI- und LLM-Projekten

M?nchen, 11. Juni 2024 – Fivetran, der weltweit f?hrende Anbieter f?r Data Movement, bietet ab sofort einen Managed Data Lake Service an, der das Data Lake Management f?r Unternehmen jeder Gr??e automatisiert und vereinfacht. Hierf?r unterst?tzt Fivetran ?ber 500 vorgefertigte sowie kundenspezifische Datenquellen und integriert diese nahtlos in alle wichtigen Data-Lake-Ziele. Hinzu kommen leistungsstarke Prozesse f?r Change Data Capture, Normalisierung, Verdichtung und Deduplizierung. Der Managed Data Lake Service von Fivetran ist aktuell auf Amazon S3, Azure Data Lake Storage (ADLS) und Microsoft OneLake verf?gbar.

Der Fivetran Managed Data Lake Service vereinfacht das Management von Data Lakes, indem er Kundendaten automatisch in g?ngige offene Formate (z. B. Apache Iceberg oder Delta Lake) konvertiert, bevor sie in einen Data Lake geladen werden. Zusammen mit der laufenden Tabellenverwaltung und -pflege von Fivetran k?nnen Kunden die einfache Abfragbarkeit und Benutzerfreundlichkeit eines Cloud Data Warehouse mit der Flexibilit?t und dem Umfang eines Data Lakes kombinieren. Da kein anderer Datenanbieter Data Lakes auf diese Art und Weise verwaltet, profitieren nur Fivetran-Kunden sowohl von den niedrigen Kosten von Data Lakes als auch der Struktur und den Berichtsfunktionen von Data Warehouses. Sie k?nnen ihren Data Lake einfach mit abfragebereiten Daten aufbauen. Diese k?nnen von der externen Tabellenfunktion von Data Warehouses gelesen werden, ohne dass Datens?tze an mehrere Orte verschoben oder dupliziert werden m?ssen. Dies unterst?tzt eine ganze Reihe von Anwendungsf?llen, inklusive analytischer, operativer und GenAI-Workloads.

Der neue Fivetran Managed Data Lake Service konvertiert nicht nur Daten und zentralisiert sie im Data Lake, sondern bietet auch einen End-to-End Data Lake Management Service, der Low-Level-Datenmanagementaufgaben vollst?ndig automatisiert. “Fivetran ?bernimmt das schwierige Change-Data-Management, die PII-Erkennung, Deduplizierung und andere Low-Level Tabellenpflege. Damit m?ssen Entwickler keine Zeit mehr mit Arbeiten verschwenden, die sich automatisieren lassen”, so George Fraser, CEO von Fivetran. “Indem wir saubere, zentralisierte und optimierte Daten aus jeder Quelle bereitstellen, wollen wir sowohl Anwender als auch Data Scientists produktiver machen.”

Dieses Level an Automatisierung und Wartung ist f?r viele Unternehmen entscheidend. Nick Chmura, Head of Data bei Luma Financial Technologies, erkl?rt: “Die automatisierte Tabellenpflege ist f?r uns das Killer-Feature von Fivetran, weil wir so viele verschiedene Konnektoren haben. Wenn wir versuchen w?rden, ein Change Data Capture zu erstellen und zu verwalten, w?rde uns das untragbar viel Zeit kosten.”

Der Fivetran Managed Data Lake Service hilft bei der Umwandlung von klassischerweise nicht verwalteten Data Lakes in organisierte, verwaltete und kontinuierlich optimierte Datenspeicher. Dank nativer Integrationen von Data Catalogs wie AWS Glue, Databricks Unity Catalog und Microsoft Purview k?nnen Nutzer wichtige Datens?tze aus dem Data Lake schnell finden, darauf zugreifen und diese verwalten. Von dort aus k?nnen Nutzer mittels kompatibler Compute Engines wie Databricks, Snowflake, Starburst oder Redshift die Daten mit Python, SQL oder anderen unterst?tzten Sprachen abfragen und ?ndern. Zudem k?nnen sie die Daten mit Tools wie dbt transformieren, mit Power BI visualisieren oder mit AWS Sagemaker, Azure Machine Learning oder Databricks Mosaic AI KI-/ML-Modelle erstellen und einsetzen.

Der Fivetran Managed Data Lake Service unterst?tzt ?ber 500 Datenquellen, darunter On-Premises- und Cloud-Datenbanken wie Postgres, MySQL, Oracle und SAP sowie SaaS-Anwendungen, Data Warehouses, Events und Dateien. Dar?ber hinaus erstellt Fivetran auch kundenspezifische Konnektoren, sodass garantiert jede Datenquelle unterst?tzt wird, ohne dass wertvolle technische Ressourcen f?r das Pipeline-Management oder die Entwicklung von Konnektoren gebraucht werden. So k?nnen Kunden ihre Daten im Data Lake vereinheitlichen – unabh?ngig davon, wo diese sich aktuell befinden.

“Wir freuen uns sehr, dass Fivetran Delta Lake als direktes Ziel unterst?tzt”, so Himanshu Raja, Director of Product bei Databricks. “Dadurch k?nnen Kunden Fivetran jetzt nutzen, um ein offenes Lakehouse mit Delta Lake powered by Databricks Data Intelligence Platform aufzubauen. Wir freuen uns auch ?ber die anstehende Integration von Fivetran mit Unity Catalog, die Out-of-the-Box Governance und Sicherheit f?r alle von Fivetran generierten Tabellen bieten wird.”

Zu den Vorteilen des Fivetran Managed Data Lake Service geh?ren:
– Mehr Kontext und Erkenntnisse sowie bessere Datenerfassung f?r Anwender und Data Scientists dank zentralisierter, demokratisierter und abfragebereiter Daten.
– H?here betriebliche Effizienz durch automatische Daten-Konvertierung in offene Tabellenformate (Delta Lake / Apache Iceberg) mit robusten Data-Catalog- und Governance-Funktionen.
– Reduzierter Workload f?r Entwickler, da Fivetran Tabellenaktualisierungen, PII-Erkennung, Deduplizierung und andere automatisierbare Low-Level-Aufgaben zur Tabellenpflege ?bernimmt.
– Geringere Kosten durch die Automatisierung der Datenmigration aus veralteten Data Warehouses, die Nutzer an propriet?re Datenformate binden.
– Unkomplizierte Datenreplikation mit der Garantie von sauberen Datens?tzen, bei denen jede ?nderung vollst?ndig erfasst ist.

Aufgrund steigender Nachfrage nach fortschrittlicher KI verzeichnet Fivetran ein deutliches Wachstum und zunehmendes Kundeninteresse an Data-Lake-Destinationen, vor allem bei gro?en Unternehmen. Dies unterstreicht die dringende Notwendigkeit an kosteneffizienten und flexiblen Datenarchitekturen, mit denen Kunden KI- und Machine-Learning-Projekt erfolgreich umzusetzen k?nnen.
“Auch Starburst sieht weiterhin ein starkes Momentum f?r offene Architekturen. Die Icehouse Architektur wird durch die Adaption von Iceberg in den Fivetran Managed Data Lakes Service best?tigt”, erkl?rt Anders Holden, Director of Product Management bei Starburst Data. “Der neue Fivetran-Service vereinfacht den Ingestion-Prozess und beseitigt die Komplexit?t rund um das Data Lake Management. Unternehmen, die Starburst f?r schnelle SQL-Analysen in ihrem Data Lake nutzen, werden schneller Erkenntnisse gewinnen und einen optimierten Datenpipeline-Prozess haben, w?hrend sie gleichzeitig Zeit sparen und Kosten reduzieren.”

Der Fivetran Managed Data Lake Service ist ab sofort verf?gbar. Fivetran-Nutzer k?nnen den Managed Data Lake Service von Juni bis August kostenlos testen. Weitere Informationen zu der Sommeraktion “Summer at the Lakehouse” finden Sie im Blog zur Ank?ndigung des Fivetran Managed Data Lake Service.

Keywords:Fivetran, Managed Data Lake Service,Change Data Capture,