Technik

Ollama Installation auf Windows: Komplette Anleitung 2026

Ollama Installation auf Windows, Terminal mit laufendem KI-Modell auf einem PC
Mit Ollama lassen sich große Sprachmodelle vollständig lokal auf dem eigenen Windows-PC installieren, verwalten und nutzen.

Die Ollama Installation auf Windows ist einfacher als viele denken und öffnet die Tür zu leistungsstarken KI-Sprachmodellen, die vollständig lokal auf dem eigenen PC laufen. Kein Cloud-Abo, keine Datenweitergabe, keine laufenden Kosten: Wer einmal die Ollama Installation abgeschlossen hat, kann Modelle wie Llama 3, Mistral, DeepSeek oder Gemma direkt auf seinem Rechner starten. Diese Anleitung erklärt Schritt für Schritt, wie die Ollama Installation unter Windows funktioniert, welche Modelle sich empfehlen und wie man sie im Alltag verwendet. Weitere Technik-Anleitungen finden Sie in unserem Ratgeber.

Was ist Ollama? Lokale KI auf dem eigenen PC

Ollama ist ein quelloffenes Werkzeug, das es ermöglicht, große Sprachmodelle (LLMs) auf dem eigenen Computer zu betreiben, ohne Internetzugang, ohne Cloud-Dienst und ohne monatliche Gebühren. Das Projekt wird aktiv weiterentwickelt und unterstützt Windows, macOS und Linux. Die Ollama Installation richtet einen lokalen Server ein, der über eine einfache Kommandozeilen-Schnittstelle und eine REST-API angesprochen werden kann. Mit über 500 verfügbaren Modellen und einer wachsenden Entwickler-Community ist Ollama heute das meistgenutzte Tool für lokale KI-Modelle weltweit.

Warum Ollama statt Cloud-KI?

Während Dienste wie ChatGPT oder Claude Anfragen an externe Server schicken, bleiben bei Ollama alle Daten lokal. Das hat mehrere Vorteile: Datenschutz (keine Daten verlassen den eigenen PC), Offline-Nutzung (kein Internet nötig nach dem Download), keine Kosten nach der einmaligen Einrichtung und volle Kontrolle über das verwendete Modell. Wer beruflich mit sensiblen Daten arbeitet, profitiert besonders von der lokalen Ollama Installation. Anwälte, Ärzte oder Buchhalter können Dokumente analysieren lassen, ohne dass ein einziges Zeichen an externe Dienste übertragen wird. Auch Programmierer, die Code-Assistenten wie Copilot kennen, schätzen die Möglichkeit, eine vollständig private Alternative auf dem eigenen Rechner zu betreiben. Was große Sprachmodelle sind, erklärt Wikipedia ausführlich. Mehr über KI-Tools im Alltag finden Sie bei uns.

Systemvoraussetzungen für die Ollama Installation

Bevor mit der Ollama Installation begonnen wird, sollte sichergestellt sein, dass der PC die Mindestanforderungen erfüllt. Ollama läuft auch auf reiner CPU, profitiert aber stark von einer modernen Grafikkarte. Eine GPU mit ausreichend VRAM beschleunigt die Antwortgenerierung der Modelle erheblich und macht den Unterschied zwischen einem langsamen Tipp-Erlebnis und flüssigen, schnellen Antworten.

Windows-Anforderungen

Die offiziellen Mindestanforderungen für die Ollama Installation auf Windows:

  • Betriebssystem: Windows 10 (Version 22H2 oder neuer) oder Windows 11, Home oder Pro
  • Speicherplatz: Mindestens 4 GB für die Ollama Installation selbst, plus Speicher für die Modelle (je nach Modell 2 bis 40 GB)
  • RAM: Mindestens 8 GB empfohlen, 16 GB für komfortables Arbeiten mit 7B-Modellen
  • Internet: Nur zum Herunterladen der Modelle erforderlich, danach vollständig offline nutzbar

GPU-Unterstützung

Ollama nutzt die Grafikkarte für deutlich schnellere Inferenz. Die Ollama Installation erkennt unterstützte GPUs automatisch:

  • NVIDIA: Treiber Version 452.39 oder neuer erforderlich. Empfohlen: GeForce RTX 3000er-Serie oder neuer mit mindestens 8 GB VRAM
  • AMD Radeon: ROCm v7-fähige Treiber oder Vulkan-fähige AMD-Radeon-Treiber. Hinweis: RDNA2/RX-6000-Karten nutzen unter Windows Vulkan als Standard
  • Ohne GPU: Reine CPU-Nutzung ist möglich, aber deutlich langsamer. Für kleine Modelle (1,5B bis 3B Parameter) noch gut brauchbar

Mit dem Befehl ollama ps kann nach der Ollama Installation jederzeit überprüft werden, ob ein laufendes Modell die GPU oder die CPU nutzt. Wer keine dedizierte Grafikkarte besitzt, kann Ollama trotzdem sinnvoll einsetzen: Für einfache Textaufgaben, Zusammenfassungen oder schnelle Fragen reichen auch kleine Modelle auf der CPU völlig aus. Hardware-Empfehlungen für KI-Anwendungen stellen wir auch in unserem Guide vor.

Ollama Installation auf Windows: Schritt für Schritt

Die Ollama Installation unter Windows dauert nur wenige Minuten. Es gibt zwei Wege: der klassische Installer und die PowerShell-Methode.

Methode 1: Installer herunterladen

Der einfachste Weg für die Ollama Installation ist der direkte Download des Installers:

  1. Die offizielle Website ollama.com aufrufen und auf Download for Windows klicken
  2. Die Datei OllamaSetup.exe wird heruntergeladen
  3. Doppelklick auf OllamaSetup.exe und den Anweisungen folgen
  4. Die Ollama Installation benötigt keine Administratorrechte und installiert sich ins Benutzerverzeichnis
  5. Nach Abschluss läuft Ollama automatisch im Hintergrund als Windows-Dienst

Nach der Ollama Installation erscheint das Ollama-Symbol in der Windows-Taskleiste (System Tray). Die API ist ab sofort unter http://localhost:11434 erreichbar. Ein Klick auf das Symbol öffnet ein kleines Menü, über das der Dienst gestoppt, neugestartet oder nach Updates gesucht werden kann. Ollama aktualisiert sich unter Windows automatisch im Hintergrund, sodass stets die neueste Version mit allen Sicherheits- und Leistungsverbesserungen läuft.

Methode 2: PowerShell-Installation

Alternativ lässt sich die Ollama Installation direkt über PowerShell durchführen. Dafür PowerShell als Administrator öffnen und folgenden Befehl eingeben:

irm https://ollama.com/install.ps1 | iex

Eine weitere Option ist die Installation über den Windows-Paketmanager winget. Dieser ist ab Windows 10 standardmäßig verfügbar und erlaubt die Ollama Installation mit einem einzigen Befehl:

winget install Ollama.Ollama

Der Vorteil der winget-Methode liegt darin, dass spätere Updates ebenfalls automatisiert durchgeführt werden können: winget upgrade Ollama.Ollama bringt Ollama stets auf den neuesten Stand.

Installationsverzeichnisse unter Windows

Nach der Ollama Installation legt das Programm folgende Verzeichnisse an:

  • %HOMEPATH%\.ollama — Modelle und Konfiguration (Standardspeicherort)
  • %LOCALAPPDATA%\Ollama — Logs und automatische Updates
  • %LOCALAPPDATA%\Programs\Ollama — Programmdateien

Ollama Installation: Modelle herunterladen und starten

Nach der erfolgreichen Ollama Installation wird die Windows-Eingabeaufforderung (cmd), PowerShell oder das Windows-Terminal geöffnet. Modelle werden mit dem Befehl ollama pull heruntergeladen oder direkt mit ollama run gestartet und bei Bedarf automatisch geladen. Wichtig: Beim ersten Start eines Modells ist eine Internetverbindung zwingend erforderlich, da das Modell heruntergeladen werden muss. Nach dem Download ist kein Internet mehr nötig.

Erstes Modell herunterladen

Um zum Beispiel das beliebte Llama 3.2-Modell (3B Parameter, ca. 2 GB) zu starten, reicht folgender Befehl:

ollama run llama3.2

Ollama prüft automatisch, ob das Modell bereits lokal vorhanden ist, und lädt es andernfalls herunter. Der Download läuft im Terminal mit einer Fortschrittsanzeige. Danach öffnet sich direkt der interaktive Chat-Modus, in dem Fragen eingegeben werden können. Mit Strg+D oder dem Befehl /bye wird der Chat beendet, das Modell bleibt jedoch noch 5 Minuten im RAM geladen.

Modelle vorab separat herunterladen

Wer ein Modell nur herunterladen, aber noch nicht starten möchte, nutzt ollama pull:

ollama pull mistral

Das ist besonders nützlich, wenn mehrere Modelle auf einmal vorbereitet werden sollen. Über ollama.com/library sind aktuell über 500 Modelle verfügbar, darunter spezialisierte Varianten für Code-Generierung (qwen2.5-coder), Bildverarbeitung (llava) oder mathematisches Denken (deepseek-r1). Bestimmte Modelle gibt es in verschiedenen Quantisierungsstufen, zum Beispiel llama3.1:8b-q4_K_M. Die Standard-Quantisierung Q4_K_M bietet dabei die beste Balance zwischen Modellgröße und Antwortqualität und wird für die meisten Anwendungsfälle empfohlen. Modelle im Vergleich stellen wir auch in einem separaten Guide vor.

„Ollama macht lokale KI so zugänglich wie nie zuvor: Ein einziger Befehl genügt, um ein leistungsstarkes Sprachmodell auf dem eigenen PC zu starten." (KI-Entwickler-Community)

Populäre Modelle nach der Ollama Installation im Überblick

Nach der Ollama Installation stellt sich die Frage, welches Modell für welchen Einsatzzweck geeignet ist. Die folgende Tabelle gibt einen Überblick über die beliebtesten Modelle und ihre Stärken.

Modelle im Vergleich: Empfehlungen nach Hardware

ModellGrößeVRAM empfohlenStärkenOllama-Befehl
Llama 3.2 (3B)ca. 2 GB4 GB / CPUSchnell, für schwache Hardwareollama run llama3.2
Llama 3.1 (8B)ca. 5 GB8 GB VRAMVielseitig, gute Qualitätollama run llama3.1
Mistral (7B)ca. 4 GB6 GB VRAMCode, schnelle Antwortenollama run mistral
Gemma 3 (4B)ca. 3 GB4 GB VRAMEffizient, von Googleollama run gemma3:4b
DeepSeek-R1 (7B)ca. 4 GB8 GB VRAMLogik, Mathematik, Analyseollama run deepseek-r1:7b
Qwen 2.5 (7B)ca. 4 GB6 GB VRAMMehrsprachig, langer Kontextollama run qwen2.5:7b

Modell-Empfehlung für schwache Hardware

Wer einen älteren PC ohne dedizierte GPU oder mit wenig RAM hat, sollte nach der Ollama Installation zunächst kleine Modelle wie Llama 3.2 (3B), Gemma 3 (2B) oder Qwen 2.5 (0.5B) testen. Diese laufen auch auf reiner CPU mit 8 GB RAM noch brauchbar schnell. KI auf älteren PCs nutzen erklärt unser Technik-Guide.

Ollama Installation Modelle, Terminal-Fenster mit ollama list Ausgabe und verschiedenen Modellen
Mit ollama list werden alle lokal installierten Modelle angezeigt. Nach der Ollama Installation können Modelle jederzeit heruntergeladen und gewechselt werden.

Alle wichtigen Ollama-Befehle im Überblick

Nach der Ollama Installation stehen folgende Befehle in der Kommandozeile zur Verfügung. Sie werden in cmd, PowerShell oder dem Windows-Terminal eingegeben. Das Windows-Terminal (kostenlos im Microsoft Store) ist dabei die komfortabelste Option, da es Tabs, Farbcodierung und einen modernen Look bietet. Alle Ollama-Befehle sind identisch, egal welches Terminal verwendet wird.

Modelle verwalten

  • ollama list: Zeigt alle lokal gespeicherten Modelle mit Name, Größe und Erstellungsdatum
  • ollama pull llama3.1: Lädt ein Modell herunter, ohne es zu starten
  • ollama rm mistral: Löscht ein Modell und gibt den Speicherplatz frei
  • ollama show llama3.1: Zeigt Details zu einem Modell (Parameter, Lizenz, Beschreibung)
  • ollama cp llama3.1 mein-assistent: Kopiert ein Modell unter einem neuen Namen, zum Beispiel für eigene Anpassungen

Modelle ausführen und steuern

  • ollama run llama3.1: Startet den interaktiven Chat-Modus
  • ollama run llama3.1 "Erkläre mir Python": Einzelne Anfrage direkt aus der Kommandozeile
  • ollama ps: Zeigt alle aktuell laufenden Modelle und ob GPU oder CPU genutzt wird
  • ollama stop llama3.1: Entlädt ein Modell aus dem RAM
  • ollama serve: Startet den Ollama-Server manuell, falls er nicht automatisch läuft

Modell-Speicherort anpassen (OLLAMA_MODELS)

Standardmäßig speichert Ollama alle Modelle in %HOMEPATH%\.ollama\models. Wer Modelle auf einem anderen Laufwerk (z. B. einer schnellen SSD mit mehr Platz) speichern möchte, setzt nach der Ollama Installation die Umgebungsvariable OLLAMA_MODELS. Dazu unter Windows die Systemsteuerung öffnen, nach „Umgebungsvariablen" suchen und eine neue Benutzervariable anlegen:

Variable: OLLAMA_MODELS Wert: D:\OllamaModels

Nach einem Neustart des Ollama-Dienstes werden alle neuen Modelle automatisch im angegebenen Verzeichnis gespeichert. Bereits heruntergeladene Modelle können manuell in den neuen Pfad verschoben werden. Windows-Einstellungen für Technik-Nutzer erklärt unser Guide.

Ollama Installation und die REST API nutzen

Ein großer Vorteil der Ollama Installation ist die eingebaute REST API, die auf http://localhost:11434 läuft. Dadurch kann Ollama von eigenen Skripten, Anwendungen oder Tools wie Open WebUI angesprochen werden. Die API ist vollständig mit der OpenAI-API kompatibel, was die Integration in bestehende Projekte besonders einfach macht.

API-Anfrage mit PowerShell

Eine einfache Testanfrage an die Ollama API direkt aus PowerShell nach der Ollama Installation:

Invoke-WebRequest -Uri "http://localhost:11434/api/generate" ` -Method POST ` -ContentType "application/json" ` -Body '{"model":"llama3.2","prompt":"Hallo, wer bist du?","stream":false}' | Select-Object -ExpandProperty Content

Die Antwort kommt als JSON zurück. Für Python-Entwickler ist das Paket ollama (via pip install ollama) der bequemste Weg, um nach der Ollama Installation Modelle direkt in eigenen Skripten zu nutzen. Python für KI-Einsteiger stellen wir in einem eigenen Artikel vor.

Open WebUI: Grafische Oberfläche für Ollama

Wer nach der Ollama Installation keine Kommandozeile nutzen möchte, kann Open WebUI installieren, eine grafische Chat-Oberfläche im Stil von ChatGPT, die direkt im Browser läuft. Open WebUI verbindet sich automatisch mit der Ollama API auf localhost:11434 und erlaubt das Wechseln zwischen Modellen, das Verwalten von Chat-Verläufen und das Hochladen von Dokumenten zur Analyse. Die Installation von Open WebUI erfolgt über Docker Desktop für Windows und dauert ebenfalls nur wenige Minuten. Mit dieser Kombination hat man nach der Ollama Installation einen vollwertigen, privaten KI-Assistenten, der optisch keinen Unterschied zu kommerziellen Diensten macht. Open WebUI einrichten erklärt unser weiterführender Guide.

Häufige Fragen zur Ollama Installation

Benötigt die Ollama Installation Administratorrechte?

Nein. Die Ollama Installation mit OllamaSetup.exe benötigt keine Administratorrechte und installiert sich vollständig im Benutzerverzeichnis. Das macht die Ollama Installation besonders interessant für Nutzer in Unternehmensumgebungen, wo Adminrechte oft eingeschränkt sind. Lediglich bestimmte Netzwerkkonfigurationen, das Freischalten der API für andere Geräte im lokalen Netzwerk oder das manuelle Einrichten von Systemumgebungsvariablen erfordern gelegentlich erhöhte Rechte. Software ohne Adminrechte installieren erklärt unser Ratgeber.

Wie viel Speicher brauche ich nach der Ollama Installation für Modelle?

Das hängt stark vom gewählten Modell ab. Kleine Modelle wie Llama 3.2 (3B) benötigen rund 2 GB, mittelgroße wie Llama 3.1 (8B) oder Mistral (7B) etwa 4 bis 5 GB, und große Modelle (70B) können 40 GB und mehr belegen. Ollama speichert Modelle standardmäßig in %HOMEPATH%\.ollama\models, was bei mehreren installierten Modellen schnell viel Platz auf dem Systemlaufwerk belegen kann. Es empfiehlt sich daher, nach der Ollama Installation früh die Umgebungsvariable OLLAMA_MODELS auf ein Laufwerk mit ausreichend Platz zu setzen. Für einen komfortablen Start empfiehlt sich ein freier Speicherplatz von mindestens 20 GB. Speicherplatz optimal verwalten erklärt unser Guide.

Läuft Ollama nach der Installation automatisch beim Windows-Start?

Ja. Nach der Ollama Installation trägt sich der Dienst als Autostart-Eintrag in Windows ein. Das Ollama-Symbol erscheint beim Systemstart automatisch in der Taskleiste. Wenn Ollama nicht automatisch gestartet werden soll, kann der Autostart-Eintrag über den Windows-Taskmanager (Reiter „Autostart") oder über die Windows-Einstellungen unter „Apps" deaktiviert werden. Ollama lässt sich danach jederzeit manuell über die Anwendung oder mit dem Befehl ollama serve starten.

Kann ich nach der Ollama Installation mehrere Modelle gleichzeitig nutzen?

Ollama lädt standardmäßig das zuletzt gestartete Modell in den Speicher und entlädt inaktive Modelle nach 5 Minuten automatisch. Mit der Umgebungsvariable OLLAMA_MAX_LOADED_MODELS kann nach der Ollama Installation eingestellt werden, wie viele Modelle gleichzeitig im RAM bleiben sollen. Das macht besonders Sinn, wenn genug VRAM oder RAM vorhanden ist. Ollama konfigurieren und optimieren erklärt ein eigener Ratgeber.

Die Ollama Installation auf Windows ist in wenigen Minuten erledigt und gibt sofortigen Zugang zu hunderten leistungsstarker KI-Modelle, die vollständig lokal und ohne laufende Kosten laufen. Von der einfachen Textgenerierung bis zur Code-Analyse, vom mehrsprachigen Assistenten bis zum Reasoning-Modell für komplexe Aufgaben: Die Vielfalt der verfügbaren Modelle macht Ollama zum idealen Einstieg in die Welt der lokalen KI. Die aktive Community rund um Ollama sorgt dafür, dass neue Modelle schnell verfügbar werden und das Programm selbst stetig verbessert wird. Wer die Ollama Installation einmal durchgeführt hat, wird schnell merken, wie viel Potenzial auf dem eigenen PC schlummert, und nie wieder auf den Datenschutz beim Umgang mit KI verzichten wollen. Alle KI-Anleitungen finden Sie gesammelt in unserem Technik-Bereich. KI im Alltag einsetzen erklärt unser weiterführender Guide.