Konzeptionierung und Implementierung von KI-bereiten Lakehouse-Architekturen mit Delta Lake und dem Medallion-Pattern, Entwurf von Datenmodellen unter Berücksichtigung von Metadaten und einem semantischen Layer, Einführung von Data Mesh und Datenprodukten, Aufbau zuverlässiger Ingestions- und Transformationsprozesse mittels z.B. Auto Loader und/oder Delta Live Tables sowie Integration von Datenqualitätsprüfungen und SLAs * Integration mit vor- und nachgelagerten Systemen (z. B. Kafka/Confluent, Event Hubs, REST-APIs, ADLS/S3; BI-Tools wie Power BI und Databricks SQL Warehouses), genauso wie Orchestrierung und Aufsatz von Monitoring von Workflows (z.B. Databricks Workflows, Airflow, Azure Data Factory) und FinOps für Cloud Datenplattformen * Entwicklung von End-to-End-Datenpipelines auf Databricks und ähnlichen Lösungen (bevorzugt mit Erfahrung in Azure), unter Verwendung von PySpark und SQL ...
mehr