QuickLLM-brugervejledning
QuickLLM holder inferens, samtaler, dokumenter, embeddings, genfinding og genereret tekst på din enhed, samtidig med at modeltilpasning og netværksformål er synlige.
Kom godt i gang
- Kør enhedsdiagnostik, og vælg en model, der passer.
- Download, verificér og indlæs modellen.
- Start en samtale, og vælg en Profile.
- Opret eventuelt en Knowledge Base, tilføj pålidelige dokumenter, og verificér kildehenvisninger.
- Eksportér vigtigt arbejde, eller opret en krypteret sikkerhedskopi, før du flytter eller sletter data.
Tip: Vælg en mindre kontekst eller model, før du tvinger en konfiguration, der ikke passer i hukommelsen.
Overblik over brugerfladen
| Område | Formål |
|---|---|
| Chat | Samtaleliste, valg af model/Profile/Knowledge, meddelelser, kildehenvisninger, kontekst, Send og Stop. |
| Modeller | Katalog, søgning, kompatibilitet, downloads, installerede filer, Profiles, adaptere og kørselstilstand. |
| Viden | Knowledge Bases, dokumenter, udtrækning, indeksering, genfindingstests, forankring og kildehenvisninger. |
| Templates & Actions | Genanvendelige prompts, typede arbejdsgange, mobil delingsinput, resultatgennemgang og gemmestier. |
| Hjælpefunktioner | Diagnostik, downloads, desktop API, sikkerhedskopiering/gendannelse, hurtighandling, Settings, Help, privatliv og licenser. |
Modeller, der passer, svar, du kan spore
QuickLLM skelner mellem målt enhedskapacitet og estimater og holder forankrede svar knyttet til lokale dokumentuddrag i stedet for at opfinde kildehenvisninger uden belæg.
- Privat lokal chat: Kør samtaler gennem pakket lokal inferens med synlig tilstand for model, Profile, Knowledge, kontekst, generering og Stop.
- Modeltilpasning: Mål enhedskapacitet, sammenlign behov for hukommelse og lagerplads, download verificerede modeller, og forklar ikkeunderstøttede konfigurationer.
- Knowledge Bases: Indlæs understøttede dokumenter, opbyg lokale indekser, hent forankrede uddrag, og åbn kildehenvisninger ved deres kilde.
- Profiles og LoRA: Gem kombinationer af model, kontekst, sampling, backend og adaptere til gentageligt arbejde.
- Templates og Actions: Genbrug private prompts, og kør arbejdsgange for delt tekst, der holder resultater tilgængelige for kopiering, deling eller samtale.
- Bærbar kontrol: Eksportér samtaler, kør en lokal desktop API, når den udtrykkeligt er aktiveret, og opret krypterede filer til sikkerhedskopiering og gendannelse.
Bemærk: Downloadede modeller og kildedokumenter kan have separate licenser og brugsbegrænsninger. Gennemgå dem før brug eller videredistribution.
Indstillinger
Åbn Indstillinger for at gennemgå følgende appspecifikke kontroller:
- Indstillinger for oprindelig motor, backend, tråde, kontekst, cache, lagerplads og model
- Udtrækning af viden, embeddings, genfinding, forankring og adfærd for kildehenvisninger
- Lokal desktop API, netværk, mobil deling, templates og actions
- Privatliv, krypteret sikkerhedskopi, sletning, udseende, genveje, diagnostik og licenser
Prøveperiode, Free og Pro har samme funktionelle indhold. Pro fjerner mobilreklamer og den daglige støttepåmindelse på computeren.
Tastaturgenveje
På Apple-platforme bruges Command, når appen knytter en viste Ctrl-genvej til platformens primære modifikatortast. Genvejssiden i appen er altid den gældende reference.
| Genvej | Handling |
|---|---|
| Cmd/Ctrl + N | Ny samtale |
| Cmd/Ctrl + K | Søg i samtaler |
| Cmd/Ctrl + M | Vælg model |
| Cmd/Ctrl + B | Vælg Knowledge Base |
| Cmd/Ctrl + Alt/Option + I | Samtaleoplysninger |
| Esc | Stop generering |
Tips & tricks
Vælg en mindre kontekst eller model, før du tvinger en konfiguration, der ikke passer i hukommelsen.
Brug streng forankring, når et svar skal holde sig inden for de indekserede kilder.
Åbn kildehenvisninger, og sammenlign det udtrukne uddrag, før du stoler på en genereret påstand.
Opbevar adgangssætninger til sikkerhedskopier adskilt fra den krypterede sikkerhedskopifil.
Fejlfinding
| Problem | Hvad du skal tjekke |
|---|---|
| En model kan ikke indlæses | Kontrollér kompatibilitet, hukommelsesestimat, lagerplads, filverificering, valgt backend og en anden aktiv modelsession. |
| Genereringen er langsom | Brug enhedsdiagnostik, en mindre model eller kontekst, en passende backend og målt frem for antaget ydeevne. |
| Knowledge har intet svar | Gennemgå dokumentudtrækning, indeksstatus, genfindingstest, filtre og om kilden faktisk indeholder dokumentation. |
| En sikkerhedskopi kan ikke gendannes | Verificér adgangssætningen, filintegriteten, skemakompatibiliteten, ledig plads og gendannelsesgennemgangen, før du erstatter aktuelle data. |
Privatliv
- Prompts, samtaler, dokumenter, embeddings, genfinding og genereret tekst forbliver på enheden.
- Netværksbrug er begrænset til anmodet katalog/søgning, modeldownload, opdateringskontrol eller et API-slutpunkt, du udtrykkeligt aktiverer.
- Input fra mobil deling er midlertidigt, og eksterne originaler slettes aldrig.
- Arbejdsområdedata, der ejes af appen, og administrerede kopier kan fjernes via den gennemgåede arbejdsgang for privatliv.
Dit ansvar: Eksponér ikke den valgfri desktop API ud over en betroet grænse, og brug ikke modeller og dokumenter i strid med deres licenser.