Konzeptionierung und Implementierung von KI-bereiten Lakehouse-Architekturen mit Delta Lake und dem Medallion-Pattern, Entwurf von Datenmodellen unter Berücksichtigung von Metadaten und einem semantischen Layer, Einführung von Data Mesh und Datenprodukten, Aufbau zuverlässiger Ingestions- und Transformationsprozesse mittels z.B. Auto Loader und/oder Delta Live Tables sowie Integration von Datenqualitätsprüfungen und SLAs * Entwicklung von End-to-End-Datenpipelines auf Databricks und ähnlichen Lösungen (bevorzugt mit Erfahrung in Azure), unter Verwendung von PySpark und SQL für Batch- und Streaming-Verarbeitung sowie Implementierung von DataOps-Praktiken inkl. CI/CD, automatisierten Tests und Deployment-Strategien für skalierbare Datenplattformen - Ebenso Anwendung von „Security, Privacy and Compliance by Design" (DSGVO, BaFin-Vorgaben) und Implementierung von ...
mehr