Technical Documentation

Ollama

Diese Anleitung führt Sie durch die Einrichtung von Ollama, einem Tool, mit dem Sie große Sprachmodelle (LLMs) wie Llama 2, Mistral und weitere direkt auf Ihrem eigenen Computer ausführen können.

Warum Ollama?

Lokal gehostet: Ihre Daten verbleiben auf Ihrem Rechner.
Kostenlos: Sie sind nicht auf externe Verarbeitung angewiesen, keine Nutzungsgebühren.

Installation

Ollama installieren

- Linux: - Laden Sie die neueste Version für Ihre Distribution von der Ollama Releases-Seite herunter. - Machen Sie die heruntergeladene Datei ausführbar (z.B. chmod +x ollama_linux_amd64) und verschieben Sie sie in ein Verzeichnis in Ihrem PATH (z.B. /usr/local/bin).
  - macOS:
    - Laden Sie die neueste .dmg-Datei von der Ollama Releases-Seite herunter.
    - Öffnen Sie die .dmg-Datei und ziehen Sie die Ollama-App in Ihren Programme-Ordner.
  - Windows (WSL2):
    - Installieren Sie WSL2, indem Sie den Anweisungen hier folgen.
    - Führen Sie innerhalb Ihrer WSL2-Distribution die oben beschriebenen Linux-Installationsschritte aus.

2. Installation überprüfen:

Öffnen Sie Ihr Terminal und führen Sie folgenden Befehl aus:

ollama --version

Dieser sollte die installierte Ollama-Version anzeigen.

Ein LLM ausführen

1. Ein Modell herunterladen:

Ollama bietet eine kuratierte Bibliothek von LLMs. Um ein Modell herunterzuladen, verwenden Sie den Befehl ollama pull. Um beispielsweise Llama 2 7B herunterzuladen:

ollama pull llama2

Dies lädt das Modell herunter und speichert es lokal.

2. Das Modell ausführen:

Sobald das Modell heruntergeladen ist, können Sie mit der Interaktion beginnen:

Bash

ollama run llama2

Sobald Ollama läuft, können Sie entweder im Terminal oder unter http://localhost:11434 damit interagieren.

3. Modell wechseln (Optional)

Sie können ein anderes Modell herunterladen/ausführen mit dem Befehl ollama run <modelname>;

Eine vollständige Liste der verfügbaren Modelle finden Sie hier: https://github.com/ollama/ollama?tab=readme-ov-file#model-library