Du nutzt die vorhandene LBBW-Cloud-Infrastruktur, um darauf leistungsfähige Services für LLMs, RAG, Agentic AI und MCP-Server bereitzustellen, optimal in unsere IT-Landschaft zu integrieren und mit Monitoring-, Logging- und Tracing-Lösungen abzusichern. * Anbindung relevanter Datenquellen (z.B. Datenbanken, DWH, Datalake, Dokumenten-Repositories) inklusive Rollen- und Berechtigungskonzepten sowie Mitarbeit an Security- und Guardrail-Konzepten (ID- und API-Management, Content Filtering, Schutz vor Datenabfluss * Aufbau und Weiterentwicklung von Observability-Konzepten für AI-Services (Latenz, Fehlerraten, Ressourcen, Kosten, Nutzungsmuster) inklusive Implementierung von Monitoring-, Logging- und Tracing-Lösungen (z.B. Azure Monitor, Application Insights, Dashboards, Alerts, SLIs/SLOs) sowie Mitarbeit an Auto-Scaling-, Limits-, Quotas- und Cost-Alerting-Konzepten
mehr