Open-Source-LLMs im Unternehmen: Wann sich Self-Hosting lohnt

Vor zwei Jahren hieß KI im Mittelstand praktisch immer: ein Vertrag mit einem großen US-Anbieter. 2026 ist daraus eine echte Auswahl geworden. Mistral hat im Dezember 2025 mit Mistral Large 3 ein Flaggschiff unter Apache 2.0 veröffentlicht, OpenAI mit gpt-oss erstmals seit GPT-2 wieder offene Gewichte, DeepSeek liefert V4 mit einer Million Token Kontext unter MIT-Lizenz, und das Schweizer Apertus-Modell zeigt, dass ein vollständig offengelegtes europäisches Modell technisch machbar ist.

Damit wird aus einer IT-Frage eine Architekturentscheidung: Welche Aufgaben laufen über offene Modelle, welche über proprietäre Modelle, und wo laufen sie? Dieser Leitfaden beantwortet das mit geprüften Modellständen, einer ehrlichen Wirtschaftlichkeitsbetrachtung und einer Hybridstrategie, die im Mittelstand tatsächlich funktioniert.

Der Begriff ist unscharf geworden: Er reicht von „Gewichte herunterladbar, kommerzielle Nutzung eingeschränkt" bis zu „Gewichte, Trainingscode und Daten offengelegt". Für eine belastbare Entscheidung genügt es, drei Kategorien zu unterscheiden.

Die Open Source Initiative hat mit ihrer Definition offener KI 2024 versucht, den Begriff zu schärfen: Erst Gewichte, Code und eine Beschreibung der Trainingsdaten zusammen ergeben Open Source. Nach diesem Maßstab sind viele kommerziell genutzte Modelle eben keine Open-Source-Modelle. Für die Praxis ist das weniger ein Namensstreit als eine Compliance-Frage: Je weniger offengelegt ist, desto mehr Restrisiko bleibt bei Ihnen.

Produktionsreif sind 2026 vor allem Mistral Large 3 und Medium 3.5, DeepSeek V4, gpt-oss und Apertus, jeweils mit unterschiedlichen Lizenzen. Die Übersicht zeigt Lizenz und EU-Eignung nach den Modellkarten der Anbieter, Stand September 2026.

Modellstände ändern sich schnell: Prüfen Sie Lizenz und Version vor jeder Festlegung erneut.

Kurz gesagt: Bei klar umrissenen Aufgaben ist der Abstand praktisch verschwunden, bei offenen, mehrstufigen Aufgaben besteht er weiter. Vier Beobachtungen aus Modellkarten und Benchmarks:

• Schlussfolgern ist weitgehend eingeholt. OpenAI gibt in der Modellkarte zu gpt-oss-120b an, dass das Modell bei Kern-Reasoning-Benchmarks nahe an o4-mini herankommt, und das bei einem Speicherbedarf, der auf eine einzelne 80-GB-GPU passt.
• Programmieren: die Spitze liegt vorn, der Abstand ist messbar klein. Mistral gibt für Medium 3.5 in der Modellkarte 77,6 Prozent auf SWE-bench Verified an. Die proprietären Spitzenmodelle liegen darüber, für Standardaufgaben in der Entwicklung reicht der offene Stand aber aus.
• Lange Kontexte sind kein Alleinstellungsmerkmal mehr. DeepSeek V4 bietet eine Million Token unter MIT-Lizenz. Entscheidend ist ohnehin nicht die Länge, sondern die Trefferqualität über lange Dokumente hinweg.
• Multimodalität und Werkzeugnutzung: proprietär vorn. Bei Bildverständnis mit anschließendem Schlussfolgern, bei Browser- und Rechnerzugriff und bei agentischen Abläufen mit vielen Schritten ist die Reife der großen Anbieter weiterhin höher.

Drei Wege sind praktisch relevant, und sie unterscheiden sich weniger in der Modellqualität als im Betriebsaufwand und im Compliance-Profil.

Weg A ist im Mittelstand der pragmatische Start. Die europäischen Anbieter machen dabei konkrete Zusagen: STACKIT nennt die Region Germany South und hält fest, dass Daten und Abfragen weder gespeichert noch zum Training verwendet werden.

OVHcloud wirbt mit „Zero Data Retention" und schließt die Nutzung der Daten zum Modelltraining aus. IONOS betreibt den AI Model Hub in deutschen Rechenzentren. Prüfen Sie die Zusagen im Vertrag, nicht auf der Produktseite.

Weg B ist 2026 erstmals breit verfügbar. Die Industrial AI Cloud von Telekom und NVIDIA läuft seit dem 4. Februar 2026 in München mit knapp 10.000 Blackwell-GPUs und bis zu 0,5 ExaFLOPS; als Partner nennt die Telekom unter anderem Siemens, SAP, Agile Robots und PhysicsX.

Die AWS European Sovereign Cloud ist seit dem 14. Januar 2026 in Brandenburg allgemein verfügbar, wird von in der EU ansässigem Personal betrieben und ist mit 7,8 Milliarden Euro hinterlegt.

Dazu kommt die Allianz von SAP und Mistral vom 18. November 2025, die Mistral-Modelle in die SAP-Plattform bringt.

Weg C ist für die meisten Mittelständler eine Falle. Er verlangt GPU-Kapazität rund um die Uhr, Überwachung, Prüfdatensätze, Sicherheitsprüfungen und einen erneuten Abgleich bei jedem Modellwechsel. Nach unserer Erfahrung aus Mittelstandsprojekten rechnet sich der eigene Betrieb gegenüber einer europäischen Managed-API erst bei sehr hohen, gleichmäßigen Mengen, und auch dann erst mit fest eingeplanter Betriebsmannschaft. Diese Schwelle ist eine Erfahrungsschätzung, keine belegte Kennzahl.

Die Antwort hängt an drei Größen: Menge, Sensibilität und vorhandene Betriebskapazität. Drei Konstellationen, die in der Praxis wiederkehren:

1. Mittelständler mit 100 bis 500 Beschäftigten, Chat und Wissenssuche. Sinnvoll ist eine europäische Managed-API für die einfacheren Aufgaben, kombiniert mit einem proprietären Spitzenmodell für den anspruchsvollen Rest. Eigener Modellbetrieb lohnt sich hier in aller Regel nicht.
2. Industrieunternehmen mit regulierten Daten. Wissensbasen aus der Entwicklung, Serviceautomatisierung, technischer Vertrieb. Sinnvoll ist eine souveräne EU-Infrastruktur für die regulierten Pfade und ein zusätzlicher Zugang zu Spitzenmodellen für alles andere.
3. Abgeschottete Umgebungen, Behörden, Verteidigung. Hier führt kein Weg am eigenen Betrieb vorbei. Der Aufwand ist hoch, aber alternativlos.

Zwei Kostenposten werden in Eigenbetriebs-Rechnungen fast immer unterschätzt. Erstens das Personal: Ohne feste Kapazität für Betrieb, Bereitschaft und Modellpflege ist produktives Self-Hosting riskant. Zweitens der Leerlauf: Eine GPU-Instanz kostet auch dann, wenn niemand fragt. Wie Sie beides sauber gegenrechnen, steht im Artikel zu FinOps für KI.

Offene Modelle sind teilweise entlastet, aber nicht freigestellt, und die Entlastung betrifft die Anbieter der Modelle, nicht deren Anwender.

Art. 53 Abs. 2 der KI-Verordnung nimmt Anbieter von Modellen, deren Parameter und Nutzungsinformationen unter einer freien und quelloffenen Lizenz veröffentlicht sind, von Teilen der Dokumentationspflichten aus. Die Ausnahme entfällt, sobald ein Modell als Modell mit systemischem Risiko eingestuft wird. Die Pflicht zu einer Urheberrechts-Policy und zu einer Zusammenfassung der Trainingsdaten bleibt auch für offene Modelle bestehen.

Für Unternehmen, die ein offenes Modell einsetzen, gilt die Betreiberperspektive: KI-Kompetenz nach Art. 4, Transparenz nach Art. 50 dort, wo Menschen mit dem System interagieren oder Inhalte erzeugt werden, und die Hochrisiko-Regeln, wo sie einschlägig sind. Ein internes Verzeichnis der eigenen KI-Anwendungen ist dafür gute Praxis und erleichtert jede spätere Prüfung, auch wenn es als solches nicht vorgeschrieben ist.

In Deutschland ist die Bundesnetzagentur als zentrale Aufsicht für die Marktüberwachung benannt und betreibt dafür einen KI-Service-Desk. Wer 2026 eine Plattform aufsetzt, sollte die eigenen Anwendungsfälle einordnen, bevor Fristen relevant werden.

Welche Regeln in welcher Reihenfolge greifen, ordnet der Compliance-Leitfaden zu DSGVO und KI-Verordnung ein. Konkrete Transparenzpflichten behandelt der Artikel zu Artikel 50. Diese Einordnung ersetzt keine Rechtsberatung.

DeepSeek ist technisch eines der stärksten offenen Modelle und gleichzeitig datenschutzrechtlich umstritten. Die Unterscheidung, auf die es ankommt: Es geht um den Dienst des Anbieters, nicht um die Gewichte.

Die Berliner Beauftragte für Datenschutz und Informationsfreiheit hat die DeepSeek-Apps am 27. Juni 2025 gemeinsam mit den Aufsichtsbehörden aus Baden-Württemberg, Rheinland-Pfalz und Bremen nach Art. 16 des Digital Services Act bei Apple und Google als rechtswidrigen Inhalt gemeldet. Begründung: Personenbezogene Daten werden an chinesische Auftragsverarbeiter übermittelt, ohne dass die Anforderungen an Drittlandübermittlungen erfüllt sind.

Wer die V4-Gewichte unter MIT-Lizenz herunterlädt und auf europäischer Infrastruktur betreibt, löst genau dieses Problem strukturell: Es findet keine Übermittlung an den Anbieter statt. Zwei Restrisiken bleiben und gehören dokumentiert. Erstens die allgemeinen Sicherheitsfragen zu Modellen, deren Trainingsdaten nicht offengelegt sind. Zweitens die politische Dimension: In sicherheitsrelevanten Branchen fällt die eigene Risikoabwägung häufig zugunsten europäischer oder US-amerikanischer offener Modelle aus.

Die produktivste Architektur 2026 ist weder rein offen noch rein proprietär, sondern eine bewusste Aufteilung nach Menge, Sensibilität und Wert je Anfrage. Vier Muster haben sich bewährt:

1. Suche offen, Antwort proprietär. Einbettungen und Suche laufen auf offenen Modellen, die finale Antwort erzeugt ein Spitzenmodell. Das senkt die Kosten der Hochvolumen-Schritte, ohne die Antwortqualität anzutasten.
2. Nach Komplexität steuern. Einfache Klassifikation auf einem kleinen offenen Modell, komplexe Synthese auf einem Spitzenmodell. Voraussetzung ist ein Prüfdatensatz, der die Zuordnung belegt, statt sie zu behaupten. Hintergründe im Multi-Modell-Leitfaden.
3. Eine Plattform, mehrere Anbieter. Offene und proprietäre Modelle laufen über dieselbe Oberfläche, dieselben Rechte und dieselben Protokolle. Ohne diese Klammer entstehen genau die Insellösungen, die später niemand auditieren kann.
4. Abgeschottet für den harten Kern. Konstruktionsdaten, Rezepturen oder Quelltexte aus Auftragsentwicklung laufen auf einem selbst betriebenen offenen Modell, alles andere im normalen Betrieb.

Die meisten Fehlentscheidungen bei offenen Modellen entstehen nicht in der Technik, sondern bei Lizenz, Datenfluss und Betrieb. Diese vier Muster begegnen uns in Projekten regelmäßig.

Eine belastbare Entscheidung für oder gegen offene Modelle stützt sich auf eigene Messdaten statt auf Ranglisten. Drei Phasen über etwa ein Quartal reichen dafür in der Regel aus.

Wie Sie die Qualität dabei sauber messen, statt sie zu schätzen, beschreibt der Artikel zu Evaluation und Beobachtbarkeit.

Plotdesk verbindet eine KI-Plattform mit einem Umsetzungsteam für den Mittelstand und bringt offene und proprietäre Modelle in einer Plattform zusammen. Über den Model Garden stehen mehr als 100 Modellvarianten aus zehn Provider-Typen zur Verfügung, darunter offene Modelle wie Mistral, gpt-oss oder DeepSeek, wahlweise über EU-Inferenz oder selbst betrieben über OpenAI-kompatible Endpunkte wie vLLM, sowie die proprietären Spitzenmodelle.

Welche Modelle ein Team nutzen darf, wird pro Team, Gruppe und Anwendung freigegeben.

Der Betrieb ist dediziert je Kunde: als Plotdesk Cloud, von Plotdesk betrieben und in der EU gehostet, als Private Cloud oder im eigenen Tenant, zum Beispiel in Azure. Dazu kommen ein DSGVO-konformer Auftragsverarbeitungsvertrag mit EU-Datenresidenz, Single Sign-On, Rollen und mehr als 40 Berechtigungen sowie Audit-Logs. Nutzungs- und Kostenanalysen je Team und Bereich zeigen, wohin die Mengen laufen. Das ist die Grundlage sowohl für Ihr internes KI-Verzeichnis als auch für die Kostensteuerung.

Bestehende Systeme bleiben, wo sie sind: ERP, Fileserver, Ticket-System oder ältere Datenbanken werden über Plotdesk Connect angebunden. Und weil Modellschicht und Plattformschicht getrennt sind, ist ein Wechsel des Modells oder des Hosting-Wegs kein Migrationsprojekt. Wie sich das in gewachsene Landschaften einfügt, zeigt der Leitfaden zur Integration bestehender Systeme.

Offene Sprachmodelle sind 2026 eine ernsthafte Option für den Mittelstand, aber keine pauschal bessere Wahl. Den Ausschlag geben Lizenz, Datenklasse und Betriebskapazität.

Wer offene Modelle einsetzt, weil sie gerade gut klingen, baut sich Betriebsaufwand auf. Wer sie ignoriert, verschenkt Spielraum bei Kosten, Datenkontrolle und Unabhängigkeit von einzelnen Anbietern.

Drei Dinge nehmen Sie mit: Die Lizenz entscheidet vor der Technik, besonders bei Llama 4. Die Hybridarchitektur ist die produktive Antwort, nicht die Grundsatzentscheidung. Und Self-Hosting ist eine Betriebsverpflichtung, die sich nur bei klarem Anlass lohnt.

Wer entlang dieser drei Punkte entscheidet, kommt zu einer Architektur, die Modellwechsel übersteht, statt bei jedem neuen Modell erneut zur Debatte zu stehen. Die strategische Einordnung liefert der Leitfaden zu souveräner KI im Mittelstand.