Uživatelská příručka QuickLLM
QuickLLM uchovává inferenci, konverzace, dokumenty, embeddings, vyhledávání i generovaný text v zařízení a zřetelně ukazuje vhodnost modelu a účel sítě.
Začínáme
- Spusťte diagnostiku zařízení a vyberte vhodný model.
- Stáhněte, ověřte a načtěte model.
- Zahajte konverzaci a vyberte Profile.
- Volitelně vytvořte Knowledge Base, přidejte důvěryhodné dokumenty a ověřte citace.
- Před přesunem či odstraněním dat exportujte důležitou práci nebo vytvořte šifrovanou zálohu.
Doporučení: Než vynutíte konfiguraci, která se nevejde do paměti, vyberte menší kontext nebo model.
Přehled rozhraní
| Oblast | Účel |
|---|---|
| Konverzace | Seznam konverzací, výběr modelu/Profile/Knowledge, zprávy, citace, kontext, Odeslat a Zastavit. |
| Modely | Katalog, hledání, kompatibilita, stahování, nainstalované soubory, Profiles, adaptéry a stav běhu. |
| Znalosti | Knowledge Bases, dokumenty, extrakce, indexování, testy vyhledávání, ukotvení a citace. |
| Šablony & Actions | Opakovaně použitelné výzvy, typované postupy, vstup sdílený z mobilu, kontrola výsledků a cesty uložení. |
| Nástroje | Diagnostika, stahování, místní API počítače, záloha/obnova, rychlá akce, Nastavení, Nápověda, soukromí a licence. |
Modely, které se vejdou, odpovědi, které lze dohledat
QuickLLM rozlišuje naměřené možnosti zařízení od odhadů a propojuje ukotvené odpovědi s místními úryvky dokumentů, místo aby vymýšlel nepodložené citace.
- Soukromý místní chat: Spouštějte konverzace přes zabalenou místní inferenci s viditelným modelem, Profile, Knowledge, kontextem, generováním a stavem Zastavit.
- Vhodnost modelu: Změřte možnosti zařízení, porovnejte nároky na paměť a úložiště, stáhněte ověřené modely a zjistěte důvody nepodporovaných konfigurací.
- Znalostní báze: Načtěte podporované dokumenty, vytvořte místní indexy, vyhledejte podložené úryvky a otevírejte citace u zdroje.
- Profiles a LoRA: Ukládejte kombinace modelu, kontextu, vzorkování, backendu a adaptéru pro opakovanou práci.
- Šablony a Actions: Opakovaně používejte soukromé výzvy a spouštějte postupy nad sdíleným textem, jejichž výsledky lze kopírovat, sdílet nebo vložit do konverzace.
- Přenosné ovládání: Exportujte konverzace, spouštějte výslovně povolené místní API počítače a vytvářejte šifrované soubory zálohy a obnovy.
Poznámka: Stažené modely a zdrojové dokumenty mohou mít samostatné licence a omezení použití. Před použitím nebo další distribucí je zkontrolujte.
Nastavení
Otevřete Settings a projděte následující ovládací prvky aplikace:
- Nativní jádro, backend, vlákna, kontext, mezipaměť, úložiště a předvolby modelu
- Extrakce znalostí, embeddings, vyhledávání, ukotvení a chování citací
- Místní API počítače, síť, mobilní sdílení, šablony a actions
- Soukromí, šifrovaná záloha, odstranění, vzhled, zkratky, diagnostika a licence
Trial, Free i Pro nabízejí stejnou sadu funkcí. Pro odstraňuje mobilní reklamy a denní připomenutí podpory na počítači.
Klávesové zkratky
Na platformách Apple používejte klávesu Command tam, kde aplikace mapuje zobrazenou zkratku Ctrl na hlavní modifikátor platformy. Rozhodující je stránka zkratek přímo v aplikaci.
| Zkratka | Akce |
|---|---|
| Cmd/Ctrl + N | Nová konverzace |
| Cmd/Ctrl + K | Hledat konverzace |
| Cmd/Ctrl + M | Vybrat model |
| Cmd/Ctrl + B | Vybrat Knowledge Base |
| Cmd/Ctrl + Alt/Option + I | Podrobnosti konverzace |
| Esc | Zastavit generování |
Tipy & triky
Než vynutíte konfiguraci, která se nevejde do paměti, vyberte menší kontext nebo model.
Pokud odpověď musí vycházet výhradně z indexovaných zdrojů, použijte přísné ukotvení.
Než se spolehnete na vygenerované tvrzení, otevřete citace a porovnejte extrahovaný úryvek.
Hesla k zálohám uchovávejte odděleně od šifrovaného souboru zálohy.
Řešení potíží
| Problém | Co zkontrolovat |
|---|---|
| Model nelze načíst | Zkontrolujte kompatibilitu, odhad paměti, úložiště, ověření souboru, vybraný backend a jinou aktivní relaci modelu. |
| Generování je pomalé | Použijte diagnostiku zařízení, menší model nebo kontext, vhodný backend a naměřený, nikoli předpokládaný výkon. |
| Knowledge nenachází odpověď | Zkontrolujte extrakci dokumentu, stav indexu, test vyhledávání, filtry a zda zdroj skutečně obsahuje důkaz. |
| Zálohu nelze obnovit | Před nahrazením aktuálních dat ověřte heslo, integritu souboru, kompatibilitu schématu, volné místo a přehled obnovy. |
Soukromí
- Výzvy, konverzace, dokumenty, embeddings, vyhledávání a generovaný text zůstávají v zařízení.
- Síť se používá jen pro vyžádaný katalog/hledání, stažení modelu, kontrolu aktualizací nebo výslovně povolený koncový bod API.
- Vstupy sdílené z mobilu jsou dočasné a externí originály se nikdy neodstraňují.
- Data pracovního prostoru aplikace a spravované kopie lze odstranit prostřednictvím kontrolovaného postupu ochrany soukromí.
Vaše odpovědnost: Nevystavujte volitelné API počítače mimo důvěryhodné prostředí a nepoužívejte modely ani dokumenty v rozporu s jejich licencemi.