Brukerveiledning for QuickLLM
QuickLLM holder inferens, samtaler, dokumenter, embeddinger, gjenfinning og generert tekst på enheten din, samtidig som modelltilpasning og nettverksformål er synlige.
Kom i gang
- Kjør enhetsdiagnostikk og velg en modell som passer.
- Last ned, verifiser og last inn modellen.
- Start en samtale og velg en Profile.
- Opprett eventuelt en Knowledge Base, legg til pålitelige dokumenter og verifiser kildehenvisninger.
- Eksporter viktig arbeid eller opprett en kryptert sikkerhetskopi før du flytter eller sletter data.
Tips: Velg en mindre kontekst eller modell før du tvinger frem en konfigurasjon som ikke passer i minnet.
Oversikt over grensesnittet
| Område | Formål |
|---|---|
| Chat | Samtaleliste, valg av modell/Profile/Knowledge, meldinger, kildehenvisninger, kontekst, Send og Stop. |
| Modeller | Katalog, søk, kompatibilitet, nedlastinger, installerte filer, Profiles, adaptere og kjøretidstilstand. |
| Knowledge | Knowledge Bases, dokumenter, ekstraksjon, indeksering, gjenfinningstester, forankring og kildehenvisninger. |
| Maler & Actions | Gjenbrukbare ledetekster, typede arbeidsflyter, mobil delingsinndata, resultatgjennomgang og lagringsbaner. |
| Verktøy | Diagnostikk, nedlastinger, lokal skrivebords-API, sikkerhetskopiering/gjenoppretting, hurtighandling, Settings, Help, personvern og lisenser. |
Modeller som passer, svar du kan spore
QuickLLM skiller målt enhetskapasitet fra estimater og holder forankrede svar koblet til lokale dokumentutdrag i stedet for å finne på kildehenvisninger uten dekning.
- Privat lokal chat: Kjør samtaler med medfølgende lokal inferens med synlig modell-, Profile-, Knowledge-, kontekst-, genererings- og Stop-tilstand.
- Modelltilpasning: Mål enhetskapasitet, sammenlign minne- og lagringsbehov, last ned verifiserte modeller og forklar konfigurasjoner som ikke støttes.
- Knowledge Bases: Ta inn støttede dokumenter, bygg lokale indekser, hent forankrede utdrag og åpne kildehenvisninger ved kilden.
- Profiles og LoRA: Lagre kombinasjoner av modell, kontekst, sampling, backend og adapter for repeterbart arbeid.
- Maler og Actions: Gjenbruk private ledetekster og kjør arbeidsflyter med delt tekst som gjør resultatene tilgjengelige for kopiering, deling eller samtale.
- Bærbar kontroll: Eksporter samtaler, kjør en lokal API på skrivebordet når den er eksplisitt aktivert, og opprett krypterte filer for sikkerhetskopiering og gjenoppretting.
Merk: Nedlastede modeller og kildedokumenter kan ha separate lisenser og bruksbegrensninger. Gå gjennom dem før bruk eller videredistribusjon.
Innstillinger
Åpne Innstillinger for å gå gjennom disse appspesifikke kontrollene:
- Innstillinger for opprinnelig motor, backend, tråder, kontekst, hurtigbuffer, lagring og modell
- Atferd for kunnskapsuttrekk, embeddinger, gjenfinning, forankring og kildehenvisninger
- Lokal skrivebords-API, nettverk, mobil deling, maler og handlinger
- Personvern, kryptert sikkerhetskopi, sletting, utseende, snarveier, diagnostikk og lisenser
Prøveperiode, Free og Pro har samme funksjonelle innhold. Pro fjerner mobilannonser og den daglige støttepåminnelsen på datamaskinen.
Hurtigtaster
På Apple-plattformer brukes Command når appen knytter en vist Ctrl-snarvei til plattformens primære modifikatortast. Snarveissiden i appen er alltid den gjeldende referansen.
| Hurtigtast | Handling |
|---|---|
| Cmd/Ctrl + N | Ny samtale |
| Cmd/Ctrl + K | Søk i samtaler |
| Cmd/Ctrl + M | Velg modell |
| Cmd/Ctrl + B | Velg Knowledge Base |
| Cmd/Ctrl + Alt/Option + I | Samtaledetaljer |
| Esc | Stopp generering |
Tips & triks
Velg en mindre kontekst eller modell før du tvinger frem en konfigurasjon som ikke passer i minnet.
Bruk streng forankring når et svar må holde seg innenfor de indekserte kildene.
Åpne siteringene og sammenlign det hentede utdraget før du stoler på en generert påstand.
Oppbevar reservepassfraser adskilt fra den krypterte sikkerhetskopifilen.
Feilsøking
| Problem | Hva du bør sjekke |
|---|---|
| En modell kan ikke lastes inn | Kontroller kompatibilitet, minneestimat, lagringsplass, filverifisering, valgt backend og en annen aktiv modelløkt. |
| Genereringen går sakte | Bruk enhetsdiagnostikk, en mindre modell eller kontekst, en passende backend og målt ytelse fremfor antatt ytelse. |
| Kunnskapen har ikke noe svar | Gå gjennom dokumentuttrekk, indeksstatus, gjenfinningstest, filtre og om kilden faktisk inneholder belegg. |
| En sikkerhetskopi kan ikke gjenopprettes | Kontroller passfrasen, filintegriteten, skjemakompatibiliteten, ledig plass og gjennomgangen av gjenopprettingen før du erstatter gjeldende data. |
Personvern
- Prompter, samtaler, dokumenter, innebygginger, gjenfinning og generert tekst forblir på enheten.
- Nettverksbruk er begrenset til forespurt katalog/søk, modellnedlasting, oppdateringskontroll eller et API-endepunkt du uttrykkelig aktiverer.
- Delte inndata fra mobil er midlertidige, og eksterne originaler slettes aldri.
- Appens arbeidsområdedata og administrerte kopier kan fjernes gjennom den gjennomgåtte personvernarbeidsflyten.
Ditt ansvar: Ikke eksponer det valgfrie skrivebords-API-et utenfor en betrodd grense, og ikke bruk modeller eller dokumenter i strid med lisensene deres.