Zum Inhalt springen

Anwendungen → Ollama + Qdrant

Private KI-Modelle und Vektorspeicher, auf Ihrem eigenen Server.

Ollama führt Open-Source-Sprachmodelle lokal auf Ihrem ReefOffice-Server aus. Qdrant speichert Vektor-Embeddings, die Ihre Dokumente durchsuchbar machen. Zusammen betreiben sie private KI — keine Daten verlassen jemals Ihren Server.

Was Ollama und Qdrant machen

Ollama übernimmt die Berechnung — es lädt und führt Open-Source-KI-Modelle (LLaMA, Mistral, Qwen, Phi, Gemma und hunderte weitere) direkt auf Ihrem Server aus. Qdrant bietet den Speicher — es speichert Vektor-Embeddings für semantische Suche in Ihren Dokumenten.

Warum Ollama und Qdrant auf ReefOffice

1

Lokale KI-Modellausführung

Ollama führt hunderte Open-Source-Modelle auf Ihrer Server-CPU oder GPU aus — LLaMA, Mistral, Qwen, Gemma, Phi, DeepSeek und mehr. Keine API-Aufrufe an externe Anbieter, keine Daten, die Ihre Infrastruktur verlassen.

2

Vektorsuche für Ihre Dokumente

Qdrant speichert Vektor-Embeddings Ihrer Dateien, Rechnungen, Verträge und Notizen. Semantische Suche findet Dokumente nach Bedeutung, nicht nur nach Schlüsselwörtern.

3

Private KI-Antworten

Bei Private AI-Plänen generiert Ollama Antworten aus Ihrem Dokumentenkorpus. Die Antworten werden auf Ihrem Server aus Ihren indizierten Dokumenten generiert.

4

Modellflexibilität

Wählen Sie das Modell, das zu Ihrem Anwendungsfall passt. Führen Sie ein kleines, schnelles Modell für alltägliche Chats oder ein größeres Modell für komplexe Aufgaben aus.

5

Bereit für GPU-Beschleunigung

Private AI-Pläne enthalten dedizierte GPU-Kapazität auf der ReefOffice-Infrastruktur in Deutschland. Für rein lokale Setups nutzt Ollama die CPU.

6

Automatische Dokumentenindizierung

Jeder ReefOffice-Plan indiziert Ihre Dokumente automatisch mit bge-m3-Embeddings über Qdrant. Neue Dateien in Nextcloud, Paperless und Dolibarr werden ohne manuelle Einrichtung verarbeitet.

Technisches Detail

Wie es funktioniert

Ollama nutzt llama.cpp für effiziente lokale Inferenz mit GPU-Beschleunigung und quantisierten Modellen (GGUF-Format). Auf ReefOffice läuft es als nativer NixOS-Dienst. Qdrant ist eine hochperformante Vektordatenbank in Rust.

Wie es in Ihren Stack passt

Ollama betreibt Open WebUI für privaten ChatGPT-ähnlichen Chat und Hermes Agent für autonome KI-Aufgaben. Qdrant bietet die Vektorsuche für die ReefOffice-Dokumentensuche und Activepieces-Automatisierungen.

Häufig gestellte Fragen

Wird lokale KI schnell genug für den täglichen Gebrauch sein? +

Für Dokumentsuche und -indizierung, ja. Für Chat und KI-Antworten hängt die Leistung von der Modellgröße und Hardware ab. Private AI-Pläne enthalten GPU-Kapazität.

Wie viel Speicher verbrauchen KI-Modelle? +

Modelle variieren von 1,5 GB (klein quantisiert) bis über 40 GB (70B-Modell). Die für Ihren Plan empfohlenen Modelle werden vorinstalliert.

Kann ich einen externen KI-Anbieter anstelle lokaler Modelle nutzen? +

Ja. Bei Plänen ohne lokale GPU können Sie einen externen KI-Anbieter-Schlüssel anschließen (OpenAI, Anthropic, Mistral AI). Die Dokumentsuche bleibt lokal über Qdrant.

Bereit für private KI?

Buchen Sie eine Demo und sehen Sie, wie Ollama und Qdrant auf ReefOffice Ihnen private KI-Funktionen bieten — Dokumentsuche und lokale Modellausführung auf Ihrem eigenen Server.

Demo anfragen