Konzeptionierung und Implementierung von KI-bereiten Lakehouse-Architekturen mit Delta Lake und dem Medallion-Pattern, Entwurf von Datenmodellen unter Berücksichtigung von Metadaten und einem semantischen Layer, Einführung von Data Mesh und Datenprodukten, Aufbau zuverlässiger Ingestions- und Transformationsprozesse mittels z.B. Auto Loader und/oder Delta Live Tables sowie Integration von Datenqualitätsprüfungen und SLAs * Integration mit vor- und nachgelagerten Systemen (z. B. Kafka/Confluent, Event Hubs, REST-APIs, ADLS/S3; BI-Tools wie Power BI und Databricks SQL Warehouses), genauso wie Orchestrierung und Aufsatz von Monitoring von Workflows (z.B. Databricks Workflows, Airflow, Azure Data Factory) und FinOps für Cloud Datenplattformen * Definition und Konfiguration und der Data Governance Funktionalitäten: Kataloge, Schemata, Berechtigungen, Data Lineage, ...
mehr