QuickLLM - Anleitung

QuickLLM Benutzerhandbuch

QuickLLM behält Inferenz, Konversationen, Dokumente, Embeddings, Retrieval und generierten Text auf Ihrem Gerät und macht dabei die Modellpassung und den Zweck jeder Netzwerkverbindung sichtbar.

Erste Schritte

Führen Sie die Gerätediagnose aus und wählen Sie ein passendes Modell.
Laden Sie das Modell herunter, verifizieren Sie es und laden Sie es in den Speicher.
Starten Sie eine Konversation und wählen Sie ein Profil.
Erstellen Sie optional eine Knowledge Base, fügen Sie vertrauenswürdige Dokumente hinzu und prüfen Sie die Zitate.
Exportieren Sie wichtige Arbeit oder erstellen Sie ein verschlüsseltes Backup, bevor Sie Daten verschieben oder löschen.

Tipp: Wählen Sie einen kleineren Kontext oder ein kleineres Modell, statt eine Konfiguration zu erzwingen, die nicht in den Speicher passt.

Überblick über die Oberfläche

Bereich	Zweck
Chat	Konversationsliste, Auswahl von Modell, Profil und Knowledge, Nachrichten, Zitate, Kontext, Senden und Stopp.
Modelle	Katalog, Suche, Kompatibilität, Downloads, installierte Dateien, Profile, Adapter und Laufzeitstatus.
Wissen	Knowledge Bases, Dokumente, Extraktion, Indexierung, Retrieval-Tests, Grounding und Zitate.
Templates & Actions	Wiederverwendbare Prompts, typisierte Workflows, mobile Teilen-Eingabe, Ergebnisprüfung und Speicherpfade.
Dienstprogramme	Diagnose, Downloads, Desktop-API, Backup und Wiederherstellung, Schnellaktion, Einstellungen, Hilfe, Datenschutz und Lizenzen.

Modelle, die passen – Antworten, die nachvollziehbar sind

QuickLLM unterscheidet gemessene Gerätefähigkeit von Schätzungen und hält belegte Antworten mit lokalen Dokumentauszügen verknüpft, statt unbelegte Zitate zu erfinden.

Privater lokaler Chat: Führen Sie Konversationen über die integrierte lokale Inferenz – mit sichtbarem Modell, Profil, Knowledge, Kontext, Generierung und Stopp-Status.
Modellpassung: Messen Sie die Gerätefähigkeit, vergleichen Sie Speicher- und Ablagebedarf, laden Sie verifizierte Modelle herunter und lassen Sie sich nicht unterstützte Konfigurationen erklären.
Knowledge Bases: Lesen Sie unterstützte Dokumente ein, erstellen Sie lokale Indizes, rufen Sie belegte Auszüge ab und öffnen Sie Zitate an ihrer Quelle.
Profile und LoRA: Speichern Sie Kombinationen aus Modell, Kontext, Sampling, Backend und Adapter für wiederholbare Arbeit.
Templates und Actions: Verwenden Sie private Prompts wieder und führen Sie Workflows für geteilten Text aus, deren Ergebnisse zum Kopieren, Teilen oder Weiterführen bereitstehen.
Portable Kontrolle: Exportieren Sie Konversationen, betreiben Sie bei ausdrücklicher Aktivierung eine lokale Desktop-API und erstellen Sie verschlüsselte Backup- und Wiederherstellungsdateien.

Hinweis: Heruntergeladene Modelle und Quelldokumente können eigenen Lizenzen und Nutzungsbeschränkungen unterliegen. Prüfen Sie diese vor Nutzung oder Weitergabe.

Einstellungen

Öffnen Sie die Einstellungen, um die folgenden app-spezifischen Optionen zu prüfen:

Native Engine, Backend, Threads, Kontext, Cache, Speicher und Modelleinstellungen
Wissensextraktion, Embeddings, Retrieval, Grounding und Zitierverhalten
Lokale Desktop-API, Netzwerk, mobiles Teilen, Templates und Actions
Datenschutz, verschlüsseltes Backup, Löschung, Erscheinungsbild, Kurzbefehle, Diagnose und Lizenzen

Testphase, Free und Pro bieten denselben Funktionsumfang. Pro entfernt mobile Werbung und den täglichen Unterstützungshinweis auf dem Desktop.

Tastenkürzel

Verwenden Sie auf Apple-Plattformen die Command-Taste, wo die App ein angezeigtes Ctrl-Kürzel auf den primären Modifikator der Plattform abbildet. Maßgeblich bleibt die Kurzbefehlsseite in der App.

Kurzbefehl	Aktion
`Cmd/Ctrl + N`	Neue Konversation
`Cmd/Ctrl + K`	Konversationen durchsuchen
`Cmd/Ctrl + M`	Modell wählen
`Cmd/Ctrl + B`	Knowledge Base wählen
`Cmd/Ctrl + Alt/Option + I`	Konversationsdetails
`Esc`	Generierung stoppen

Tipps & Tricks

Wählen Sie einen kleineren Kontext oder ein kleineres Modell, statt eine Konfiguration zu erzwingen, die nicht in den Speicher passt.

Nutzen Sie striktes Grounding, wenn eine Antwort innerhalb der indexierten Quellen bleiben muss.

Öffnen Sie Zitate und vergleichen Sie den extrahierten Auszug, bevor Sie sich auf eine generierte Aussage verlassen.

Bewahren Sie Backup-Passphrasen getrennt von der verschlüsselten Backup-Datei auf.

Fehlerbehebung

Problem	Was zu prüfen ist
Ein Modell lässt sich nicht laden	Prüfen Sie Kompatibilität, Speicherschätzung, Ablagekapazität, Dateiverifizierung, gewähltes Backend und eine andere aktive Modellsitzung.
Die Generierung ist langsam	Nutzen Sie die Gerätediagnose, ein kleineres Modell oder einen kleineren Kontext, ein passendes Backend und gemessene statt angenommener Leistung.
Knowledge liefert keine Antwort	Prüfen Sie Dokumentextraktion, Indexstatus, Retrieval-Test, Filter und ob die Quelle tatsächlich Belege enthält.
Ein Backup lässt sich nicht wiederherstellen	Prüfen Sie Passphrase, Dateiintegrität, Schema-Kompatibilität, freien Speicherplatz und die Wiederherstellungsübersicht, bevor Sie aktuelle Daten ersetzen.

Datenschutz

Prompts, Konversationen, Dokumente, Embeddings, Retrieval und generierter Text bleiben auf dem Gerät.
Die Netzwerknutzung beschränkt sich auf angeforderte Katalog- und Suchabfragen, Modell-Downloads, Update-Prüfungen oder einen von Ihnen ausdrücklich aktivierten API-Endpunkt.
Über die mobile Teilen-Funktion übergebene Eingaben sind temporär, und externe Originale werden nie gelöscht.
App-eigene Workspace-Daten und verwaltete Kopien lassen sich über den geprüften Datenschutz-Ablauf entfernen.

Ihre Verantwortung: Geben Sie die optionale Desktop-API nicht über eine vertrauenswürdige Grenze hinaus frei und nutzen Sie Modelle und Dokumente nicht entgegen ihren Lizenzen.