Cloud-KI und eine vollständig lokale Lösung im Vergleich. Dieselbe Aufgabe, zwei unterschiedliche Wege für deine Informationen.
Dasselbe Beispiel in beiden Diagrammen
„Fasse diesen internen Bericht zusammen.“
01Informationen senden
02Anfrage verarbeiten
03Antwort zurücksenden
Bereit
Cloud-KI
Beim Anbieter betrieben
Firmennetzwerk · vor Ort
Dein Team + deine KI-Agenten
Nutzer + Firmendaten
FirmendatenFrage + Kontext
KI-AntwortZurück an dein Team
Außerhalb deines Firmennetzwerks
Dein eigener Server
Anwendungen und Firmendaten
KI-Anfragen laufen daran vorbei
KI-Modell läuft lokal
Lokale Datenverarbeitung
Infrastruktur des Anbieters
Externe KI-Anbieter
OpenAI, Anthropic, Microsoft Azure, DeepSeek oder AWS Bedrock
KI-Modell beim Anbieter
Ausgewählte Informationen verlassen dein Netzwerk.Verarbeitung bei einem externen KI-Anbieter.
Lokale KI
Auf eigener Hardware
Firmennetzwerk · vor Ort
Dein Team + deine KI-Agenten
Nutzer + Firmendaten
FirmendatenFrage + Kontext
KI-AntwortZurück an dein Team
Innerhalb deines Firmennetzwerks
Dein eigener Server
Anwendungen und Firmendaten
KI-Anfragen laufen daran vorbei
KI-Modell läuft lokal
Lokale Datenverarbeitung
Keine externen KI-Aufrufe
Die Informationen bleiben in deinem Netzwerk.Nutzer, Server und Modell innerhalb derselben Grenze.
Anfrage + ausgewählte FirmendatenKI-Antwort
Beispielhafter Ablauf · keine echten Daten · kein Geschwindigkeitsvergleich
Die gezeigte lokale Lösung arbeitet vollständig lokal. Modell, Dokumentverarbeitung und Suche laufen im Firmennetzwerk. Externe KI-Aufrufe sind deaktiviert. Cloud-Ausweichdienste, Websuche und andere angebundene Dienste brauchen eine eigene Prüfung des Datenflusses. Die Diagramme zeigen Verarbeitungsorte, ohne Länder oder die Art der Netzwerkverbindung festzulegen.
Was sich im Alltag ändert
Dieselbe Aufgabe. Andere Zuständigkeiten.
Der Verarbeitungsort verändert den Datenweg, den Betrieb und die Kosten, die du einplanen solltest.
Welche Informationen werden gesendet?
Cloud-KI
Die Frage und die von der Anwendung beigefügten Inhalte, etwa Berichtstext oder Chatverlauf, gehen an den ausgewählten Cloud-Dienst.
Lokale KI
Dieselben Informationen gelangen zu deinem eigenen Server. In der gezeigten Lösung bleiben Verarbeitung und Antworten im Firmennetzwerk.
Wer betreibt die KI?
Cloud-KI
Der Anbieter betreibt Modell und Infrastruktur. Dein Unternehmen verwaltet weiterhin die Anwendung, Benutzerkonten und Dateneinstellungen.
Lokale KI
Dein Unternehmen oder ein gewählter IT-Partner betreibt Server und Modell, einschließlich Zugriffsrechten, Updates, Überwachung und Backups.
Welche Kosten entstehen?
Cloud-KI
Service- oder Nutzungsgebühren sowie Integration und Support. Verfügbare Kapazität und Vertragsbedingungen hängen vom Anbieter ab.
Lokale KI
Hardware, Strom, Wartung und Support. Modellgröße und die Zahl gleichzeitiger Nutzer bestimmen die benötigte Kapazität.
Wichtige Unterschiede
Die Netzwerkgrenze verstehen.
Verrät der Modellname, wohin unsere Daten gehen?
Der Hosting-Dienst bestimmt das Ziel. Azure OpenAI läuft zum Beispiel in der Umgebung von Microsoft. Auch ein lokal installierbares Modell nutzt den Cloud-Weg, wenn du seine gehostete API aufrufst. Erst der konkrete Dienst und seine Konfiguration legen fest, wo die Verarbeitung stattfindet.
Verarbeitung, Speicherung und Modelltraining sind unterschiedliche Nutzungen. Die Regeln hängen vom Produkt, Vertrag und den Einstellungen ab. OpenAI erklärt zum Beispiel, dass API-Daten standardmäßig nicht zum Modelltraining genutzt werden, sofern du nicht zustimmst. Aufbewahrungsregeln sind gesondert zu betrachten.
Ja, wenn Modell, Dokumentverarbeitung, Suche und benötigte Daten lokal verfügbar und externe Dienste deaktiviert sind. Für Einrichtung und Updates braucht es einen geplanten Weg zur Dateiübertragung. Zugriffsrechte, Backups und die Prüfung von KI-Antworten gehören weiterhin zum Betrieb.
Brauchen wir einen eigenen Serverraum?
Für einen kleinen Piloten kann ein geeigneter Arbeitsplatzrechner oder einzelner Server genügen. Größere Modelle und mehr gleichzeitige Nutzer benötigen mehr Speicher und Rechenleistung. Wir legen das System anhand deiner Aufgaben aus und testen es, bevor wir eine Anschaffung empfehlen.
Welche Hardware und welche Grafikkarte braucht lokale KI?
Entscheidend ist der Grafikspeicher (VRAM) der Grafikkarte: Das Modell muss vollständig hineinpassen. Kleine Modelle mit 7 bis 9 Milliarden Parametern laufen in komprimierter Form auf einer Karte mit 8 bis 16 GB. Mittlere Modelle mit 30 bis 70 Milliarden Parametern brauchen etwa 24 bis 48 GB, also eine große Karte oder zwei Karten. Mehr gleichzeitige Nutzer erfordern zusätzliche Kapazität. Welche Modellgröße Ihre Aufgabe braucht, zeigt ein Test mit Ihren eigenen Dokumenten.
Funktioniert lokale KI wie ChatGPT?
In der Bedienung ja: Sie stellen eine Frage im Chatfenster und erhalten eine ausformulierte Antwort. Der Unterschied liegt im Modell und im Ort der Verarbeitung. Lokal läuft ein offenes Modell wie Llama, Mistral oder Qwen auf Ihrer Hardware. Solche Modelle fassen zuverlässig zusammen, lesen Daten aus Dokumenten aus und beantworten Fragen zu internen Unterlagen. Bei sehr anspruchsvollen Aufgaben sind die größten Cloud-Modelle stärker. Websuche und Bilderzeugung sind lokal nicht automatisch enthalten.
Kann lokale KI mit unserer eigenen Wissensdatenbank arbeiten?
Ja. Das Verfahren heißt RAG: Ihre Dokumente werden indexiert, zu jeder Frage sucht das System die passenden Stellen und gibt sie dem Modell mit. Die Antwort nennt ihre Quellen. Das Modell wird dabei nicht mit Ihren Daten trainiert. Zugriffsrechte lassen sich übernehmen, sodass jede Person nur findet, was sie sehen darf. Nach diesem Prinzip arbeitet auch Aven, unser KI-Agent für Firmenwissen.
Erzähl uns von einer wiederkehrenden Aufgabe und davon, wo die passenden Informationen liegen. Wir helfen dir, ein klar begrenztes Pilotprojekt und eine belastbare Entscheidungsgrundlage zu definieren.