On-Premise KI: Modelle nutzen, ohne dass Daten das Haus verlassen

Die meisten Unternehmen, die bei KI zögern, zweifeln nicht an der Technologie. Sie haben gesehen, was sie kann. Der Blocker ist ein einziger Satz — von der Rechtsabteilung, vom Betriebsrat oder aus einem Kundenvertrag: „Unsere Daten dürfen nicht auf fremden Servern landen." Geschäftsgeheimnisse, Kundendaten, medizinische Daten, Verträge unter NDA — für viele Unternehmen ist dieser Satz nicht verhandelbar. Zu Recht.

Die gute Nachricht: Er ist kein Grund mehr, auf KI zu verzichten. Offene Modelle sind gut genug geworden und das Tooling reif genug, um ernsthafte KI komplett im eigenen Netzwerk zu betreiben. Die Nuance liegt im Wann — denn „On-Premise" ist ein Ende eines Spektrums, und die ehrliche Antwort liegt für manche Unternehmen eine Stufe davor.

Was „Daten verlassen das Haus" wirklich bedeutet

Jede KI-Option liegt irgendwo auf einem Spektrum — entscheidend ist, wer Ihre Daten technisch sehen kann:

Öffentliche APIs (OpenAI, Anthropic, Google). Ihre Prompts — inklusive aller Dokumente, die Sie einfügen oder anhängen — wandern auf die Server des Anbieters, meist in die USA. Business-Tarife versprechen, dass Ihre Daten nicht fürs Training verwendet werden, und diese Zusagen sind real. Aber das vertragliche Versprechen, nicht mit Daten zu trainieren, ist nicht dasselbe wie Daten, die nie dort sind. Bei personenbezogenen Daten geben Sie sie an einen Auftragsverarbeiter außerhalb Ihrer Infrastruktur — mit allem, was die DSGVO daran hängt. Für viele Anwendungsfälle ist das völlig in Ordnung. Für die sensiblen ist es genau der Satz, zu dem die Rechtsabteilung Nein gesagt hat.

Enterprise-Cloud-KI (Azure OpenAI, AWS Bedrock). Dieselben Frontier-Modelle, aber in einer Cloud-Region Ihrer Wahl — auch EU-Regionen — unter Enterprise-Verträgen: kein Training mit Ihren Daten, Kontrolle über Aufbewahrung, Audit-Trails. Das ist rechtlich und technisch eine echte andere Position als eine öffentliche API, und für viele regulierte Unternehmen reicht sie. Aber man sollte präzise bleiben: Ihre Daten verlassen weiterhin Ihre Infrastruktur und werden von einem Dritten verarbeitet. „EU-Region" verkleinert die Angriffsfläche — den Auftragsverarbeiter beseitigt sie nicht.

Privates Deployment (On-Premise oder Private Cloud). Ein offenes Modell — Llama, Mistral, Qwen und ihre Verwandten — auf Hardware, die Sie kontrollieren: Ihr Serverraum, gemietete dedizierte Maschinen, Ihre Virtual Private Cloud. Prompts, Dokumente und Antworten überqueren nie Ihre Netzwerkgrenze. Keine API-Aufrufe an niemanden. Das ist die einzige Stufe, auf der „Daten verlassen das Haus nicht" wörtlich und technisch wahr ist — keine Vertragsklausel, sondern eine Architektur-Tatsache.

Die richtige Stufe ist eine Geschäftsentscheidung, keine Ideologie. Interner Chat über öffentliche Dokumentation? Eine öffentliche API reicht. Fragen über Kundenverträge beantworten? Das ist ein anderes Gespräch.

Was 2026 wirklich auf eigener Hardware läuft

Die häufigste Frage: „Ist ein Modell, das wir selbst betreiben können, wirklich gut — oder ein Spielzeug?" Ehrliche Antwort nach Größenklasse:

Kleine Modelle (7–9B Parameter). Laufen auf einer einzelnen guten GPU — oder einer gut ausgestatteten Workstation. Vor zwei Jahren war diese Klasse eine Kuriosität; heute erledigt sie Klassifikation, Extraktion, Zusammenfassungen, strukturierte Datenaufgaben und internen Chat zuverlässig. Wenn Ihr Anwendungsfall „lies diesen Dokumenttyp und zieh die Felder heraus" ist, macht das ein kleines Modell den ganzen Tag — zum Strompreis.

Mittlere Modelle (30–70B). Die Arbeitspferd-Klasse für Unternehmens-Assistenten — starkes Reasoning, gutes Deutsch, solide Tool-Nutzung. Braucht ein bis zwei ernsthafte GPUs (eine Hardware-Klasse, die ein Mittelständler absolut besitzen oder als dedizierten Server mieten kann). Kombiniert mit RAG über Ihre Dokumente lebt hier das „unser internes ChatGPT, aber privat".

Große offene Modelle (100B+, Mixture-of-Experts). Nahezu Frontier-Qualität mit offenen Gewichten gibt es inzwischen. Das braucht einen Multi-GPU-Server und echte Ops-Aufmerksamkeit, und die meisten Unternehmen brauchen es nicht — aber für die, die es brauchen, liegt die Option auf dem Tisch. Ganz ohne API.

Der Trend zählt mehr als die Momentaufnahme: Jedes Jahr rutscht die Qualität, die früher eine Frontier-API brauchte, eine Hardware-Klasse nach unten. Was vor zwei Jahren ein GPU-Cluster war, passt heute auf zwei Karten.

RAG vs. Fine-Tuning — die meisten brauchen zuerst RAG

Diese beiden werden ständig verwechselt, und die Verwechslung kostet Geld.

RAG (Retrieval-Augmented Generation) bedeutet: Das Modell wird überhaupt nicht mit Ihren Daten trainiert. Ihre Dokumente werden indexiert; bei einer Frage werden die relevanten Passagen gefunden und dem Modell als Kontext mitgegeben — es antwortet daraus, mit Quellenangabe. Ihr Wissen bleibt in einer Datenbank unter Ihrer Kontrolle, ist sofort aktuell, wenn sich Dokumente ändern, und die Zugriffskontrolle kann Ihre bestehenden Berechtigungen spiegeln: Das Modell sieht nur, was der fragende Mitarbeiter sehen darf. Das ist es, was 80 % der Unternehmen tatsächlich meinen, wenn sie „KI, die unser Geschäft kennt" sagen.

Fine-Tuning verändert das Modell selbst — Tonalität, Formattreue, Fachvokabular, Verhalten bei Spezialaufgaben. Es ist das richtige Werkzeug, wenn das Modell sich anders verhalten soll, nicht nur Dinge wissen soll. Es ist kein Wissensspeicher: Verträge in ein Modell zu trainieren ist langsamer, teurer, schwerer zu aktualisieren und undichter, als sie abzurufen. Wir machen Fine-Tuning, wenn der Fall es wirklich verlangt — und raten davon ab, wenn RAG das Problem für einen Bruchteil des Aufwands löst.

Der übliche Weg: erst RAG. Fine-Tuning später, wenn die Daten dafür sprechen.

Wie ein echtes privates Deployment aussieht

Kein Forschungsprojekt — inzwischen eine ziemlich standardisierte Architektur:

• Ein Modell-Server (z. B. vLLM) mit Ihrem offenen Modell auf Ihrer Hardware, mit einer internen API, die nur Ihre Systeme erreichen.
• Ein Embedding-Modell + Vektordatenbank mit Ihren indexierten Dokumenten — ebenfalls Ihres, ebenfalls drinnen.
• Eine Retrieval-Schicht mit Zugriffskontrolle: Anfragen respektieren dieselben Berechtigungen, die Ihre Dateiablagen und Systeme ohnehin durchsetzen. Die Fragen des Praktikanten finden nicht die Unterlagen der Geschäftsführung.
• Die Oberfläche — ein Chat-UI, oder besser: KI direkt in den Werkzeugen, mit denen Ihr Team ohnehin arbeitet (das ist der agentische Teil).
• LLMOps: Monitoring, Evaluation, Modell-Updates. Modelle werden alle paar Monate besser; ein privates Deployment braucht einen langweiligen, getesteten Upgrade-Pfad — keinen eingefrorenen Stand.

Das Deployment-Ziel ist flexibel: eigener Serverraum, gemietete dedizierte Hardware in einem deutschen Rechenzentrum oder eine Private Cloud — die Architektur ist dieselbe, die Grenze ist, was zählt.

Die ehrlichen Trade-offs

Private KI kostet echtes Geld: Hardware oder dediziertes Hosting, Aufbau und laufender Betrieb. Eine öffentliche API kostet Cent-Beträge pro Anfrage, und jemand anderes betreibt sie. Deshalb:

• Wenn Ihre Daten wirklich unkritisch sind — öffentliche Doku, Marketing-Texte — nehmen Sie eine API und halten Sie es einfach.
• Wenn Sie reguliert sind, aber Azure in der EU mit Enterprise-Vertrag Ihre Rechtsabteilung zufriedenstellt, ist das eine legitime Antwort — wir bauen darauf, ohne Ihnen einen Server aufzuschwatzen.
• Wenn die Daten das Geschäft sind — Kundendaten, Verträge, IP, alles, was Sie keinem Fremden mailen würden — ist das private Deployment die saubere Antwort. Und es ist nichts Exotisches mehr.

Was wir nicht tun: so tun, als passte eine Antwort für alle. Die Stufe ist eine Entscheidung, die wir mit Ihnen treffen — anhand Ihrer echten Daten, Verträge und Budgets. Kein Paket von der Stange.

Wo wir ins Spiel kommen

Wir sind eine Softwareagentur aus Köln und bauen KI-Systeme — agentische Workflows, RAG über Unternehmensdokumente und private Modell-Deployments mit vollem LLMOps. Wir haben diesen Stack Ende-zu-Ende gebaut: Model-Serving, Retrieval mit berechtigungsbewusstem Zugriff und Integration in die Systeme, in denen Ihr Team tatsächlich arbeitet. Auf Deutsch, Englisch oder Türkisch, für Unternehmen in DACH und darüber hinaus.

Wenn der Satz „Daten dürfen das Haus nicht verlassen" KI in Ihrem Unternehmen blockiert hat: Das muss er nicht mehr. Beschreiben Sie unserem Projekt-Assistenten Ihre Situation oder sprechen Sie direkt mit uns — Sie bekommen eine ehrliche Einschätzung, welche Stufe passt, was sie kostet und was der Betrieb verlangt.