KI-Modelle selbst hosten: Datenschutzkonforme KI

Der Einsatz von KI-Sprachmodellen über Cloud-Dienste ist schnell und unkompliziert – aber er bringt ein grundlegendes Problem mit sich: Daten verlassen das Unternehmensnetz. Für viele Anwendungsfälle – interne Dokumente, Kundendaten, Quellcode, Finanzdaten – ist das keine akzeptable Option. Lokale KI-Modelle schaffen Abhilfe: Das Modell läuft auf eigener Infrastruktur, kein Token verlässt die eigene Umgebung.

Mit dem Aufkommen leistungsfähiger Open-Source-Modelle wie Mistral, Deepseek, Gemma oder LLaMA ist das Selbst-Hosting von LLMs heute keine akademische Übung mehr, sondern eine praxistaugliche Alternative für Unternehmen jeder Größe. Das Tool, das diesen Prozess am stärksten vereinfacht hat, ist Ollama.

Was ist Ollama?

Ollama ist ein Open-Source-Tool, das das Deployment und den Betrieb von Sprachmodellen auf lokaler Hardware auf wenige Befehle reduziert. Es verwaltet Modell-Downloads, Hardware-Ressourcen (CPU, GPU, Apple Silicon) und stellt eine lokale REST-API bereit, die weitgehend kompatibel mit der OpenAI API ist. Das bedeutet: Anwendungen, die für die OpenAI API entwickelt wurden, können mit minimalem Anpassungsaufwand auf ein lokal betriebenes Modell umgestellt werden.

Ollama unterstützt Windows, macOS und Linux und ist damit sowohl für Entwickler-Workstations als auch für Serverumgebungen geeignet.

Installation und erster Start

Die Installation ist bewusst einfach gehalten. Unter Linux genügt ein einzelner Befehl:

curl -fsSL https://ollama.com/install.sh | sh

Anschließend kann ein Modell direkt heruntergeladen und gestartet werden:

ollama run mistral

Ollama lädt das Modell automatisch herunter und startet eine interaktive Sitzung. Für den Serverbetrieb läuft Ollama als Systemdienst und stellt eine REST-API auf Port 11434 bereit.

Verfügbare Modelle

Ollama unterstützt eine wachsende Bibliothek an Open-Source-Modellen. Für den Unternehmenseinsatz besonders relevant:

• Mistral und Mixtral: Sehr gute Allgemeinleistung, starke europäische Sprachunterstützung, effizient auch auf CPU-Hardware.
• Deepseek-R1: Herausragende Reasoning-Fähigkeiten, vergleichbar mit führenden proprietären Modellen – als Open-Source-Modell frei verfügbar.
• Gemma 3 (Google): Kompakte Modelle, optimiert für ressourcenschonenden Betrieb, auch auf Standard-Hardware ohne dedizierte GPU nutzbar.
• LLaMA 3 (Meta): Leistungsstarke Allzweckmodelle in verschiedenen Größen – von 8B bis 70B Parametern.
• Phi-4 (Microsoft): Besonders effiziente Kleinmodelle, die auf ressourcenbeschränkter Hardware erstaunliche Leistung erbringen.

Die Modellgröße (gemessen in Parametern) beeinflusst direkt den Ressourcenbedarf: Ein 7B-Modell läuft auf einem normalen Notebook mit 16 GB RAM, ein 70B-Modell benötigt dedizierte GPU-Hardware.

Hardware-Anforderungen

Die wichtigste Variable ist der verfügbare Arbeitsspeicher (RAM oder VRAM):

GPU-Betrieb (NVIDIA CUDA, AMD ROCm oder Apple Metal) ist deutlich schneller als CPU-Betrieb, aber nicht zwingend erforderlich. Für viele Unternehmensanwendungen, bei denen Antwortzeit keine kritische Rolle spielt, ist CPU-Betrieb ausreichend.

Integration in bestehende Systeme

Die von Ollama bereitgestellte REST-API folgt dem OpenAI-Format. Eine einfache Anfrage sieht so aus:

import requests

response = requests.post(
    "http://localhost:11434/api/chat",
    json={
        "model": "mistral",
        "messages": [
            {"role": "user", "content": "Fasse dieses Dokument zusammen: ..."}
        ]
    }
)
print(response.json()["message"]["content"])

Diese API-Kompatibilität ermöglicht die nahtlose Integration mit bestehenden Tools und Frameworks, die für OpenAI entwickelt wurden – darunter LangChain, LlamaIndex oder direkte API-Clients.

Für den Einsatz mit MCP (Model Context Protocol) können lokale Ollama-Modelle als Backend für MCP-Hosts konfiguriert werden – was vollständig lokale, datenschutzkonforme Agentic-AI-Deployments ermöglicht.

Betrieb im Unternehmensumfeld

Für produktive Unternehmensdeployments empfehlen sich einige zusätzliche Überlegungen:

• Reverse Proxy: Nginx oder Traefik vorschalten, um TLS-Verschlüsselung und Authentifizierung zu ergänzen – Ollamas eingebauter Server hat keine native Authentifizierung.
• Containerisierung: Ollama ist als Docker-Image verfügbar und lässt sich problemlos in bestehende Container-Infrastrukturen integrieren.
• Modell-Management: Ollama verwaltet Modelle lokal; in Unternehmensumgebungen empfiehlt sich eine zentrale Modelldistribution, um konsistente Versionen sicherzustellen.
• Monitoring: Die API gibt grundlegende Performance-Metriken zurück; für tiefergehendes Monitoring empfiehlt sich die Integration mit bestehenden Monitoring-Lösungen.

Grenzen des lokalen Betriebs

Lokales Hosting ist kein Allheilmittel. Die wichtigsten Einschränkungen:

• Leistungsgrenze: Die leistungsfähigsten Modelle (GPT-4-Klasse) sind nicht als Open Source verfügbar. Der Qualitätsunterschied zu proprietären Modellen ist real, wird aber mit jeder Modellgeneration kleiner.
• Infrastrukturaufwand: Betrieb, Updates und Verfügbarkeit liegen in der eigenen Verantwortung.
• Skalierung: Bei vielen gleichzeitigen Anfragen skaliert Self-Hosting schwieriger als Cloud-Dienste.

Fazit

Lokale KI-Modelle mit Ollama sind heute eine ernsthafte Option für Unternehmen, die Datenschutz und Kontrolle über Cloud-Komfort stellen. Die Einstiegshürde ist gering, die Integration in bestehende Systeme dank OpenAI-kompatibler API einfach. Besonders in Kombination mit Mistral oder Deepseek-R1 lassen sich Anwendungsfälle realisieren, die noch vor einem Jahr zwingend proprietäre Cloud-Dienste erfordert hätten.