Användarhandbok för QuickLLM
QuickLLM håller inferens, konversationer, dokument, inbäddningar, hämtning och genererad text på din enhet samtidigt som modellpassning och nätverkets syfte synliggörs.
Kom i gång
- Kör enhetsdiagnostik och välj en modell som passar.
- Ladda ner, verifiera och läs in modellen.
- Starta en konversation och välj en Profil.
- Skapa valfritt en kunskapsbas, lägg till betrodda dokument och verifiera källhänvisningar.
- Exportera viktigt arbete eller skapa en krypterad säkerhetskopia innan du flyttar eller tar bort data.
Tips: Välj en mindre kontext eller modell innan du tvingar fram en konfiguration som inte ryms i minnet.
Översikt över gränssnittet
| Område | Syfte |
|---|---|
| Chatt | Konversationslista, modell-/Profil-/kunskapsval, meddelanden, källhänvisningar, kontext, Skicka och Stoppa. |
| Modeller | Katalog, sökning, kompatibilitet, nedladdningar, installerade filer, Profiler, adaptrar och körtidsstatus. |
| Knowledge | Kunskapsbaser, dokument, extrahering, indexering, hämtningstester, grundning och källhänvisningar. |
| Mallar & Åtgärder | Återanvändbara uppmaningar, typade arbetsflöden, mobil delningsinmatning, resultatgranskning och sökvägar för sparande. |
| Verktyg | Diagnostik, nedladdningar, lokal API för datorn, säkerhetskopiering/återställning, snabbåtgärd, Inställningar, Hjälp, integritet och licenser. |
Modeller som passar, svar du kan spåra
QuickLLM skiljer uppmätt enhetskapacitet från uppskattningar och håller grundade svar kopplade till utdrag ur lokala dokument i stället för att hitta på källhänvisningar utan stöd.
- Privat lokal chatt: Kör konversationer genom paketerad lokal inferens med synlig status för modell, Profil, Kunskap, kontext, generering och Stoppa.
- Modellanpassning: Mät enhetskapacitet, jämför minnes- och lagringsbehov, ladda ner verifierade modeller och förklara konfigurationer som inte stöds.
- Kunskapsbaser: Importera dokument som stöds, bygg lokala index, hämta grundade utdrag och öppna källhänvisningar vid källan.
- Profiler och LoRA: Spara kombinationer av modell, kontext, sampling, backend och adapter för repeterbart arbete.
- Mallar och åtgärder: Återanvänd privata uppmaningar och kör arbetsflöden för delad text som håller resultat tillgängliga för kopiering, delning eller konversation.
- Portabel kontroll: Exportera konversationer, kör en lokal API för datorn när den uttryckligen aktiverats och skapa krypterade säkerhetskopierings- och återställningsfiler.
Obs: Nedladdade modeller och källdokument kan ha separata licenser och användningsbegränsningar. Granska dem före användning eller vidaredistribution.
Inställningar
Öppna Settings för att granska följande appspecifika kontroller:
- Inställningar för inbyggd motor, backend, trådar, kontext, cache, lagring och modell
- Kunskapsextrahering, inbäddningar, hämtning, grundning och källhänvisningsbeteende
- Skrivbordsbaserat lokalt API, nätverk, mobil delning, mallar och åtgärder
- Integritet, krypterad säkerhetskopia, radering, utseende, kortkommandon, diagnostik och licenser
Trial, Free och Pro använder samma funktionella uppsättning. Pro tar bort mobilannonser och den dagliga supportpåminnelsen på skrivbordet.
Kortkommandon
På Apple-plattformar använder du Command där appen mappar en visad Ctrl-genväg till plattformens primära modifierartangent. Sidan med kortkommandon i appen är vägledande.
| Genväg | Åtgärd |
|---|---|
| Cmd/Ctrl + N | Nytt samtal |
| Cmd/Ctrl + K | Sök i samtal |
| Cmd/Ctrl + M | Välj modell |
| Cmd/Ctrl + B | Välj kunskapsbas |
| Cmd/Ctrl + Alt/Option + I | Samtalsdetaljer |
| Esc | Stoppa generering |
Tips & trick
Välj en mindre kontext eller modell innan du tvingar fram en konfiguration som inte ryms i minnet.
Använd strikt förankring när ett svar måste hålla sig inom de indexerade källorna.
Öppna citeringar och jämför det extraherade utdraget innan du förlitar dig på ett genererat påstående.
Förvara lösenfraser för säkerhetskopior åtskilda från den krypterade säkerhetskopian.
Felsökning
| Problem | Vad du ska kontrollera |
|---|---|
| En modell kan inte läsas in | Kontrollera kompatibilitet, minnesuppskattning, lagring, filverifiering, vald backend och om en annan modellsession är aktiv. |
| Genereringen går långsamt | Använd enhetsdiagnostik, en mindre modell eller kontext, en lämplig backend och uppmätt prestanda i stället för antagen. |
| Knowledge har inget svar | Granska dokumentextrahering, indexstatus, hämtningstest, filter och om källan faktiskt innehåller belägg. |
| En säkerhetskopia kan inte återställas | Verifiera lösenfrasen, filintegriteten, schemakompatibiliteten, ledigt utrymme och återställningsgranskningen innan du ersätter aktuella data. |
Integritet
- Prompter, samtal, dokument, inbäddningar, hämtning och genererad text stannar på enheten.
- Nätverksanvändning begränsas till begärd katalog/sökning, modellnedladdning, uppdateringskontroll eller en API-slutpunkt som du uttryckligen aktiverar.
- Inmatningar från mobil delning är tillfälliga och externa original raderas aldrig.
- Appens egna arbetsyteuppgifter och hanterade kopior kan tas bort via det granskade integritetsflödet.
Ditt ansvar: Exponera inte det valfria skrivbords-API:et utanför en betrodd gräns och använd inte modeller eller dokument i strid med deras licenser.