Entwicklung von End-to-End-Datenpipelines auf Databricks und ähnlichen Lösungen (bevorzugt mit Erfahrung in Azure), unter Verwendung von PySpark und SQL für Batch- und Streaming-Verarbeitung sowie Implementierung von DataOps-Praktiken inkl. CI/CD, automatisierten Tests und Deployment-Strategien für skalierbare Datenplattformen * Integration mit vor- und nachgelagerten Systemen (z. B. Kafka/Confluent, Event Hubs, REST-APIs, ADLS/S3; BI-Tools wie Power BI und Databricks SQL Warehouses), genauso wie Orchestrierung und Aufsatz von Monitoring von Workflows (z.B. Databricks Workflows, Airflow, Azure Data Factory) und FinOps für Cloud Datenplattformen
mehr