AI Center of Excellence: So bauen Sie ein KI-Kompetenzzentrum auf

Ein AI Center of Excellence (AI CoE), auf Deutsch KI-Kompetenzzentrum, ist die feste organisatorische Einheit, die den Einsatz von KI in einem Unternehmen steuert: Sie priorisiert Anwendungsfälle, setzt Regeln, betreibt die Plattform, befähigt die Beschäftigten und misst die Wirkung. Genau diese Klammer fehlt vielen Unternehmen, die KI inzwischen breit nutzen.

Denn die Nutzung ist angekommen: 57 % der Unternehmen ab 20 Beschäftigten setzen KI ein, nach 36 % im Vorjahr (Bitkom-KI-Studie, 14. September 2026). Die Wirkung ist es nicht: Kein Unternehmen gibt dort an, das Potenzial vollständig auszuschöpfen, 59 % schöpfen es nach eigener Einschätzung überhaupt nicht aus. International zeigt die McKinsey-Erhebung „State of AI“ (November 2025, n=1.993) dasselbe Muster: 88 % der Organisationen nutzen KI in mindestens einer Funktion, aber nur rund 6 % erzielen einen nennenswerten EBIT-Effekt, und knapp zwei Drittel haben noch nicht begonnen, KI unternehmensweit zu skalieren.

Gleichzeitig steigen die Budgets. Gartner erwartet für 2026 weltweite KI-Ausgaben von 2,59 Billionen US-Dollar (+47 %, Prognose vom 19. Mai 2026). Bereits im Juni 2025 hatte Gartner vorhergesagt, dass über 40 % der agentischen KI-Projekte bis Ende 2027 abgebrochen werden, wegen steigender Kosten, unklarem Geschäftswert und fehlender Risikokontrolle.

Dieser Leitfaden zeigt, was ein AI Center of Excellence leisten muss, welche drei Betriebsmodelle für deutsche Unternehmen funktionieren, welche Rollen Sie besetzen müssen, wie ein realistischer 90-Tage-Aufbau aussieht und welche fünf Fehler CoE-Initiativen früh scheitern lassen. Stand: September 2026; rechtliche Hinweise ersetzen keine Rechtsberatung.

In den Jahren 2023 und 2024 sind in deutschen Unternehmen typischerweise drei Wellen aufeinandergeprallt: eine Bottom-up-Welle durch ChatGPT-Privataccounts und Schatten-KI-Nutzung; eine Tool-Welle mit Microsoft Copilot, ChatGPT Enterprise und einzelnen branchenspezifischen Lösungen; und eine Beratungs-Welle mit Workshops, Strategiepapieren und Use-Case-Inventaren, die in der Praxis selten in operative Wirkung übersetzt wurden.

Das Ergebnis 2026 ist eine paradoxe Lage: Fast jedes Unternehmen hat KI im Haus, aber kaum eines hat KI im Griff. Laut Bitkom-KI-Studie (September 2026) haben zwei Drittel der KI-nutzenden Unternehmen ihre Wettbewerbsposition verbessert (66 %), 45 % sehen einen messbaren Beitrag zum Unternehmenserfolg. Auf der anderen Seite berichtete in der Bitkom-Umfrage „Digitalisierung der Wirtschaft" (März 2026) ein Drittel von deutlich höheren Kosten als erwartet, und 19 % gaben an, wegen KI Stellen abgebaut zu haben. Solche Veränderungen müssen strukturell begleitet werden, sie dürfen nicht nebenher passieren.

Vier Treiber machen 2026 den Übergang von „KI-Initiative" zu „KI-Organisation" zur strategischen Pflicht:

1. Tool-Proliferation und Schatten-KI. Wer keine zentralisierte Tool- und Datenstrategie hat, bekommt sie über die Hintertür – mit unkontrollierten Free-Tier-Accounts. Mehr dazu im Leitfaden zu Shadow AI im Unternehmen.

2. Wirtschaftlichkeitsdruck. Mit jedem weiteren Anwendungsfall wachsen Modell-, Infrastruktur- und Integrationskosten. Als großen Kostenpunkt nennen KI-Anwender vor allem Infrastruktur (51 %), Datenaufbereitung (50 %) und Integration (41 %), Token-Kosten nur 8 % (Bitkom, September 2026). Ohne zentrale Steuerung ist Kostenkontrolle für KI nicht abbildbar, siehe unseren Leitfaden zu FinOps für KI.

3. Regulatorische Verdichtung. Maßnahmen zur KI-Kompetenz (Art. 4) sind seit Februar 2025 Pflicht, die Transparenzpflichten (Art. 50) gelten seit August 2026, Hochrisiko-Pflichten nach Anhang III ab Dezember 2027 und nach Anhang I ab August 2028. Diese Fristen sind seit dem Digital Omnibus verbindlich (Verordnung (EU) 2026/1744, in Kraft seit 27. Juli 2026). Wer sie strukturell abbilden will, braucht eine zuständige Stelle.

4. Wettbewerbsdruck. McKinsey dokumentiert, dass 64 % der Unternehmen Innovationsgewinne durch KI sehen, aber nur 39 % einen EBIT-Effekt nennen, und der liegt meist unter 5 %. Für die Mitte entsteht dadurch realer Zeitdruck.

Ein AI Center of Excellence ist keine Abteilung mit KI-Etikett – und auch kein neuer Data-Science-Hub. IBM definiert es als „organisatorische Struktur, die die Einführung, Optimierung und Steuerung von KI in einem Unternehmen fördert" (IBM). Microsoft beschreibt im Cloud Adoption Framework den CoE als „internes Team von Experten, das erfolgreiche und wertvolle KI-Ergebnisse fördert und fragmentierte oder ungeregelte KI-Einführung verhindert."

Praxis-tauglich übersetzt: Das AI CoE ist die organisatorische Klammer, die KI-Strategie, Plattform, Governance, Enablement und Wirkungsmessung in einer adressierbaren Einheit bündelt. Es ist die Stelle, an die ein Geschäftsbereich kommt, wenn er einen Use Case bauen will – und die Stelle, die der Datenschutzbeauftragte anruft, wenn die Bundesnetzagentur eine Anfrage stellt.

Drei Abgrenzungen sind 2026 wichtig:

Der Microsoft Cloud Adoption Framework macht einen wichtigen Punkt deutlich, der gerne übersehen wird: Ein erfolgreiches CoE wandelt sich über die Zeit. In der frühen Phase ist es typischerweise zentralisiert und stark steuernd – es schafft Standards, Templates, Governance-Rahmen und priorisiert Use Cases zentral. Mit zunehmender KI-Reife verlagert sich der Schwerpunkt auf eine beratende Rolle: Fachbereiche entwickeln selbst, das CoE setzt Leitplanken, fördert Wissenstransfer und sichert Compliance.

Diese Evolution erspart einen häufigen Implementierungsfehler: Wer den CoE als dauerhaften Single-Point-of-Decision baut, schafft genau das Bottleneck, das er eigentlich vermeiden sollte.

Eine 12-Personen-CoE-Struktur in einem 80-MA-Mittelständler überfordert die Organisation. Ein KI-Beauftragter in Teilzeit in einem 3.000-MA-Konzern bleibt wirkungslos. Die Praxis zeigt drei Modelle, die sich nach Unternehmensgröße und KI-Reife klar unterscheiden:

Wichtiger als die exakte Größe ist die Anbindung an die Geschäftsleitung. In der McKinsey-Studie 2025 ist die zentrale Differenzierung der High Performer nicht die CoE-Größe, sondern die explizite Verantwortung auf C-Level (Chief AI Officer, COO, CIO mit AI-Mandat oder direkter Berichtspfad zum CEO). Ein CoE ohne sichtbare Führungs-Owner endet typisch als „Diskussions-Forum" – und ist nach 12 Monaten still gestellt.

Für den klassischen deutschen Mittelstand zwischen 250 und 2.500 Mitarbeitenden ist das Hub-and-Spoke-Modell 2026 der bewährte Standard. Es kombiniert eine schlanke zentrale Steuerung (Strategie, Plattform, Governance) mit dezentralen Champions in den Fachbereichen, die als Multiplikatoren und Use-Case-Owner agieren. Diese Konstruktion vermeidet das Bottleneck eines „CoE-Gatekeepers" – Microsoft warnt explizit davor, das CoE als dauerhafte Kontrollinstanz auszulegen.

Was muss ein CoE eigentlich tun? Microsoft, IBM, Xebia und die operativen Erfahrungen aus deutschen Mittelstands- und Konzern-Implementierungen ergeben ein konsistentes Bild von sechs Pflichtfunktionen. Jede einzelne ist verzichtbar; aber wer drei oder mehr davon nicht abdeckt, hat kein CoE, sondern ein Schaufenster.

Die ehrlichste Diagnose eines CoE-Status-Quo bekommt man, wenn man diese sechs Funktionen einmal pro Quartal mit „etabliert / im Aufbau / nicht vorhanden" durchspielt. Wer das in einem Vorstands-/Geschäftsführungs-Termin tut, sieht binnen 20 Minuten, wo die Organisation wirklich steht – und wo die nächsten 90 Tage Schwerpunkte liegen müssen.

Die Rollenstruktur skaliert mit dem gewählten Modell. Im Hub-and-Spoke-Modell zwischen 250 und 2.500 MA sieht ein produktiv arbeitendes CoE 2026 typischerweise so aus:

Drei Praxis-Hinweise zur Besetzung:

Zuerst der Executive Sponsor, dann das Team. Wer den CoE-Lead anstellt, bevor das C-Level-Mandat klar ist, baut auf weichem Boden. Die McKinsey-Daten sind eindeutig: Bei den High Performern ist die KI-Verantwortung sichtbar und namentlich auf der obersten Führungsebene verankert.

„T-Shape"-Profile schlagen reine Spezialisten. Klassische Data Scientists liefern selten den Business-Translation-Hebel, den ein CoE braucht. Profile mit Beratungshintergrund plus solider technischer Tiefe (oder umgekehrt: Engineers mit Geschäftsverständnis) wirken in der Praxis dramatisch stärker.

Champions sind nicht „Freiwillige" – sie sind nominiert. Wer Champions als Hobby behandelt, verliert sie binnen sechs Monaten. Die produktivsten Organisationen widmen 10–30 % der Champion-Arbeitszeit explizit dem KI-Mandat, dokumentieren das in der Zielvereinbarung und machen es im Performance-Review sichtbar. Mehr zum Themenrahmen: unser Artikel zum KI-Beauftragten 2026.

Niemand braucht eine 24-Monats-Foliensammlung, um anzufangen. Ein produktiver CoE-Start gelingt 2026 in drei klar abgrenzbaren 30-Tage-Schritten – mit jeweils einem klaren Abschluss-Artefakt am Ende jedes Sprints.

Die hier genannten 90 Tage sind kein theoretischer Idealfall. Sie funktionieren in der Praxis nur, wenn drei Voraussetzungen erfüllt sind: ein sichtbares CEO-/Geschäftsführungs-Mandat, eine Mindest-Personalausstattung (mindestens CoE-Lead in Vollzeit, plus ein bis zwei dedizierte Mitstreiter mit klar zugeschnittenem Zeitbudget) und ein realistisches Investitions-Commitment für die ersten zwölf Monate. Wer mit „wir probieren das mal nebenbei" startet, ist nach 90 Tagen typischerweise dort, wo er an Tag 1 stand – nur mit mehr Frustration.

Für die Bestandsaufnahme in den ersten 30 Tagen eignet sich der Selbsttest aus dem Artikel zum KI-Reifegrad. Wie ab Tag 61 aus Pilotprojekten Regelbetrieb wird, beschreibt der Leitfaden vom Pilot in die Produktion.

Das CoE ist die Stelle, die die Pflichten der KI-Verordnung in Abläufe übersetzt. Die Fristen sind seit dem Digital Omnibus verbindlich: Die Übersicht basiert auf der KI-Verordnung in der Fassung der Verordnung (EU) 2026/1744, in Kraft seit 27. Juli 2026.

Die wichtigste praktische Konsequenz: Ein CoE, das 2026 nicht mindestens Art. 4 (KI-Kompetenz) und Art. 50 (Transparenz, seit August 2026) sauber abbildet, ist nicht „im Aufbau" – es ist unvollständig.

Die Hochrisiko-Verschiebung über den Digital Omnibus klingt nach Atempause, ist aber strukturell trügerisch. Wer einen Personalauswahl-Bot, ein Kreditscoring-System oder eine kritische Infrastruktur-Komponente mit KI plant, hat bis zum 2. Dezember 2027 wenig Zeit – realistisch ist das die Lieferzeit eines einzigen ernsthaften Hochrisiko-Projekts inkl. Konformitätsbewertung und EU-Datenbank-Registrierung. Vertiefung in unserem Leitfaden zu Art. 50 und den Transparenzpflichten.

KI-Investitionen ohne KPIs sind 2026 nicht mehr verteidigbar. Aber: Klassische SaaS-Metriken (Lizenzen aktiviert, MAU, Logins) sagen nichts über Wirkung. Was wirklich zählt, sind drei KPI-Ebenen, die ein CoE konsistent über alle Use Cases trackt:

Drei Praxis-Hinweise zur Wirkungsmessung:

Erstens: Baseline vor Go-Live messen. Wer den Status quo nicht dokumentiert, bevor ein KI-Use-Case produktiv geht, hat anschließend nichts, woran sich Wirkung messen ließe. Eine einzige Stichprobenwoche reicht in den meisten Fällen aus – aber sie muss vor dem Roll-out passieren.

Zweitens: Aggregation auf Team- statt Personen-Ebene. Personenbezogene Auswertungen der KI-Nutzung sind regulatorisch heikel und mitbestimmungspflichtig. Für die Steuerung reichen meist Auswertungen je Team oder Bereich; welche Auswertungen zulässig sind, regeln Sie in der Betriebsvereinbarung. Wie Sie Antwortqualität und Betrieb technisch überwachen, zeigt der Artikel zu KI-Observability und LLM-Evaluation. Hintergrund: Anhang III Punkt 4 des EU AI Act kann individuelle Performance-Bewertung über KI-Telemetrie als Hochrisiko-System einstufen.

Drittens: Quartals-Review als nicht-verhandelbares Ritual. Ein CoE ohne sichtbares Quartals-Review verschwindet aus der Aufmerksamkeit der Geschäftsleitung – und damit aus dem Budget. Ein 60-Minuten-Termin mit harten Zahlen und drei klaren Entscheidungs­vorlagen pro Quartal ist die wirksamste Versicherung gegen den langsamen Tod der KI-Initiative.

Aus dem Microsoft Cloud Adoption Framework, den McKinsey-Befunden zu High Performern und aus Plotdesk-Projekten im Mittelstand ergeben sich fünf Fehler, die einen Großteil der gescheiterten CoE-Initiativen erklären.

Plotdesk verbindet eine KI-Plattform mit einem Umsetzungsteam für den Mittelstand. Für ein CoE heißt das: Es bekommt nicht nur eine technische Grundlage, sondern auch Menschen, die die ersten Anwendungsfälle mit in den Betrieb bringen, bis das eigene Team sie selbst trägt.

Die Plattform als Rückgrat des CoE. Eine dedizierte Instanz in der EU oder im eigenen Tenant, mehr als 100 Modellvarianten aus zehn Provider-Typen pro Team steuerbar, Anmeldung über Ihr Verzeichnis, Rollen und mehr als 40 Berechtigungen, Audit-Logs sowie Nutzungs- und Kostenanalysen je Bereich. Das deckt die Pflichtfunktionen Plattform, Governance und Wirkungsmessung technisch ab. ERP, Fileserver und ältere Datenbanken werden über Plotdesk Connect angebunden; eigene Anwendungen entstehen als Canvas-Anwendung, im Studio oder als Plugin.

Das Vorgehen als Taktgeber. Die Zusammenarbeit folgt vier Schritten: 01 KI-Potenzialanalyse, 02 Proof of Value auf Ihren Daten, 03 Produktive Lösung mit Integration in Prozesse und Berechtigungen, 04 Systematischer Ausbau. Das passt zum 90-Tage-Plan oben: Die Potenzialanalyse füttert die Diagnose, der Proof of Value liefert den ersten produktiven Anwendungsfall.

Befähigung. Für die Maßnahmen zur KI-Kompetenz nach Art. 4 stehen Lernangebote im Learning Hub bereit, mit denen Sie Schulungen rollenbezogen durchführen und nachvollziehbar dokumentieren. Die Außenperspektive stammt aus mehr als 1.200 umgesetzten Use Cases in 15 Branchen. Für Führungsteams, die zuerst das Betriebsmodell klären wollen, gibt es den KI-Strategie-Workshop (4 Stunden remote oder 1 Tag vor Ort) mit Top-Use-Cases, Nutzenschätzung und Roadmap.

2026 ist nicht das Jahr der KI-Einführung – das war 2023 und 2024. 2026 ist das Jahr, in dem sich entscheidet, welche Unternehmen aus ihrer KI-Nutzung strukturelle Wettbewerbsvorteile ziehen und welche im Pilot Loop hängenbleiben.

Drei Sätze als Zusammenfassung:

Erstens: Die Nutzung ist da. 57 % der deutschen Unternehmen ab 20 Beschäftigten setzen KI ein, 88 % der Organisationen weltweit. Die Frage „sollen wir KI machen?" ist beantwortet. Die Frage „wie steuern wir es?" ist offen.

Zweitens: Ein AI CoE ist nicht ein zusätzliches Kontrollgremium – es ist die organisatorische Klammer, die aus fragmentierten Initiativen ein Operating Model macht. Sechs Pflichtfunktionen (Strategie, Governance, Plattform, Use-Case-Delivery, Enablement, Wirkungsmessung), drei Betriebsmodelle (KI-Beauftragter, Hub-and-Spoke, dedizierte AI-Organisation), klar besetzte Rollen mit C-Level-Mandat.

Drittens: Die teuerste Architekturentscheidung 2026 ist nicht die falsche Plattform – sie ist das fehlende Operating Model. Wer KI-Lizenzen kauft, ohne ein CoE aufzustellen, kauft Adoption ohne Steuerung – und landet 12 Monate später mit höheren Kosten als erwartet (so berichtet es laut Bitkom jedes dritte Unternehmen), wachsender Schatten-KI und einer Geschäftsleitung, die zu Recht nach ROI fragt.

Die produktivsten deutschen Unternehmen werden 2026 nicht die mit den meisten KI-Tools sein. Es werden die sein, die ein sichtbares CoE haben, eine klare 12-Monats-Roadmap, EU-AI-Act-Mapping pro Use Case, eine ehrliche Wirkungsmessung und ein Operating Model, das so klar ist, dass die Geschäftsleitung jedes Quartal in 60 Minuten weiß, wo der Hebel steht.

Wer noch vor dem CoE steht, beginnt mit dem Leitfaden KI im Unternehmen einführen; wer wissen will, wie weit die eigene Organisation schon ist, mit dem KI-Reifegrad-Selbsttest.