Používateľská príručka QuickLLM
QuickLLM uchováva inferenciu, rozhovory, dokumenty, embeddingy, vyhľadávanie a vygenerovaný text vo vašom zariadení a zároveň zreteľne informuje o vhodnosti modelu a účele sieťového pripojenia.
Začíname
- Spustite diagnostiku zariadenia a vyberte vhodný model.
- Stiahnite, overte a načítajte model.
- Začnite rozhovor a vyberte Profile.
- Voliteľne vytvorte Knowledge Base, pridajte dôveryhodné dokumenty a overte citácie.
- Pred presunom alebo odstránením údajov exportujte dôležitú prácu alebo vytvorte šifrovanú zálohu.
Tip: Skôr než vynútite konfiguráciu, ktorá sa nezmestí do pamäte, vyberte menší kontext alebo model.
Prehľad rozhrania
| Oblasť | Účel |
|---|---|
| Rozhovor | Zoznam rozhovorov, výber modelu/Profile/Knowledge, správy, citácie, kontext, odoslanie a zastavenie. |
| Modely | Katalóg, vyhľadávanie, kompatibilita, stiahnuté a nainštalované súbory, Profiles, adaptéry a stav spustenia. |
| Znalosti | Knowledge Bases, dokumenty, extrakcia, indexovanie, testy vyhľadávania, ukotvenie a citácie. |
| Šablóny & akcie | Opakovane použiteľné pokyny, typované pracovné postupy, zdieľaný vstup z mobilu, kontrola výsledku a cesty uloženia. |
| Nástroje | Diagnostika, sťahovanie, lokálne rozhranie API počítača, zálohovanie/obnova, rýchla akcia, Nastavenia, Pomocník, súkromie a licencie. |
Vhodné modely, dohľadateľné odpovede
QuickLLM rozlišuje namerané možnosti zariadenia od odhadov a ukotvené odpovede prepája s lokálnymi úryvkami dokumentov namiesto vymýšľania nepodložených citácií.
- Súkromný lokálny rozhovor: Spúšťajte rozhovory pomocou zabudovanej lokálnej inferencie s viditeľným modelom, Profile, Knowledge, kontextom, generovaním a stavom zastavenia.
- Vhodnosť modelu: Zmerajte možnosti zariadenia, porovnajte nároky na pamäť a úložisko, sťahujte overené modely a získajte vysvetlenie nepodporovaných konfigurácií.
- Znalostné databázy: Načítajte podporované dokumenty, vytvorte lokálne indexy, vyhľadajte ukotvené úryvky a otvárajte citácie pri ich zdroji.
- Profiles a LoRA: Uložte kombinácie modelu, kontextu, vzorkovania, backendu a adaptéra na opakovateľnú prácu.
- Templates a Actions: Opakovane používajte súkromné pokyny a spúšťajte pracovné postupy so zdieľaným textom, ktorých výsledky možno skopírovať, zdieľať alebo vložiť do rozhovoru.
- Prenosná správa: Exportujte rozhovory, po výslovnom povolení spustite lokálne rozhranie API počítača a vytvárajte šifrované súbory záloh a obnovy.
Poznámka: Stiahnuté modely a zdrojové dokumenty môžu mať samostatné licencie a obmedzenia používania. Pred použitím alebo ďalším šírením si ich prečítajte.
Nastavenia
Otvorte Nastavenia a prejdite si tieto možnosti aplikácie:
- Natívny mechanizmus, backend, vlákna, kontext, vyrovnávacia pamäť, úložisko a predvoľby modelov
- Extrakcia znalostí, embeddingy, vyhľadávanie, ukotvenie a správanie citácií
- Lokálne rozhranie API počítača, sieť, zdieľanie z mobilu, Templates a Actions
- Súkromie, šifrovaná záloha, odstraňovanie, vzhľad, skratky, diagnostika a licencie
Skúšobná verzia, Free aj Pro ponúkajú rovnakú sadu funkcií. Pro odstraňuje mobilné reklamy a denné pripomenutie podpory na počítači.
Klávesové skratky
Na platformách Apple používajte kláves Command tam, kde aplikácia mapuje zobrazenú skratku Ctrl na hlavný modifikátor platformy. Záväzná zostáva stránka skratiek priamo v aplikácii.
| Skratka | Akcia |
|---|---|
| Cmd/Ctrl + N | Nový rozhovor |
| Cmd/Ctrl + K | Hľadať v rozhovoroch |
| Cmd/Ctrl + M | Vybrať model |
| Cmd/Ctrl + B | Vybrať Knowledge Base |
| Cmd/Ctrl + Alt/Option + I | Podrobnosti rozhovoru |
| Esc | Zastaviť generovanie |
Tipy & triky
Skôr než vynútite konfiguráciu, ktorá sa nezmestí do pamäte, vyberte menší kontext alebo model.
Ak musí odpoveď zostať výhradne v rámci indexovaných zdrojov, použite prísne ukotvenie.
Predtým, než sa spoľahnete na vygenerované tvrdenie, otvorte citácie a porovnajte extrahovaný úryvok.
Prístupové heslá k zálohám uchovávajte oddelene od súboru šifrovanej zálohy.
Riešenie problémov
| Problém | Čo skontrolovať |
|---|---|
| Model sa nedá načítať | Skontrolujte kompatibilitu, odhad pamäte, úložisko, overenie súboru, vybraný backend a inú aktívnu reláciu modelu. |
| Generovanie je pomalé | Použite diagnostiku zariadenia, menší model alebo kontext, vhodný backend a nameraný, nie predpokladaný výkon. |
| Knowledge neobsahuje odpoveď | Skontrolujte extrakciu dokumentu, stav indexu, test vyhľadávania, filtre a to, či zdroj skutočne obsahuje dôkaz. |
| Zálohu nemožno obnoviť | Pred nahradením aktuálnych údajov overte prístupové heslo, neporušenosť súboru, kompatibilitu schémy, voľné miesto a kontrolu obnovy. |
Súkromie
- Pokyny, rozhovory, dokumenty, embeddingy, vyhľadávanie a vygenerovaný text zostávajú v zariadení.
- Sieť sa používa iba na vyžiadaný katalóg alebo vyhľadávanie, stiahnutie modelu, kontrolu aktualizácií alebo koncový bod API, ktorý výslovne povolíte.
- Vstupy z mobilného zdieľania sú dočasné a externé originály sa nikdy neodstraňujú.
- Údaje pracovného priestoru vo vlastníctve aplikácie a spravované kópie možno odstrániť prostredníctvom kontrolovaného postupu ochrany súkromia.
Vaša zodpovednosť: Voliteľné rozhranie API počítača nesprístupňujte mimo dôveryhodného prostredia a nepoužívajte modely ani dokumenty v rozpore s ich licenciami.