Ghid de utilizare QuickLLM
QuickLLM păstrează pe dispozitiv inferența, conversațiile, documentele, înglobările, regăsirea și textul generat, indicând clar adecvarea modelului și scopul rețelei.
Primii pași
- Rulați diagnosticele dispozitivului și alegeți un model potrivit.
- Descărcați, verificați și încărcați modelul.
- Începeți o conversație și alegeți un Profil.
- Opțional, creați o Bază de cunoștințe, adăugați documente de încredere și verificați citările.
- Exportați lucrările importante sau creați o copie de siguranță criptată înainte de a muta ori șterge date.
Sfat: Alegeți un context sau model mai mic înainte de a forța o configurație care nu încape în memorie.
Prezentarea interfeței
| Zonă | Scop |
|---|---|
| Conversație | Lista conversațiilor, selecția modelului/Profilului/Cunoștințelor, mesaje, citări, context, Trimitere și Oprire. |
| Modele | Catalog, căutare, compatibilitate, descărcări, fișiere instalate, Profiluri, adaptoare și starea mediului de rulare. |
| Cunoștințe | Baze de cunoștințe, documente, extragere, indexare, teste de regăsire, ancorare și citări. |
| Șabloane & Acțiuni | Solicitări reutilizabile, fluxuri tipizate, intrări partajate de pe mobil, verificarea rezultatelor și căi de salvare. |
| Utilitare | Diagnostice, descărcări, API desktop, copie de siguranță/restaurare, acțiune rapidă, Setări, Ajutor, confidențialitate și licențe. |
Modele potrivite, răspunsuri trasabile
QuickLLM distinge capacitatea măsurată a dispozitivului de estimări și păstrează răspunsurile ancorate legate de fragmentele documentelor locale, în loc să inventeze citări fără suport.
- Chat local privat: Rulați conversații prin inferență locală inclusă, cu modelul, Profilul, Cunoștințele, contextul, generarea și starea Oprire vizibile.
- Adecvarea modelului: Măsurați capacitatea dispozitivului, comparați necesarul de memorie și stocare, descărcați modele verificate și explicați configurațiile neacceptate.
- Baze de cunoștințe: Ingerați documente acceptate, construiți indecși locali, regăsiți fragmente ancorate și deschideți citările la sursă.
- Profiluri și LoRA: Salvați combinații de model, context, eșantionare, backend și adaptor pentru lucru repetabil.
- Șabloane și Acțiuni: Reutilizați solicitări private și rulați fluxuri cu text partajat, care păstrează rezultatele disponibile pentru copiere, distribuire sau conversație.
- Control portabil: Exportați conversații, rulați un API local desktop când este activat explicit și creați fișiere criptate pentru copie de siguranță și restaurare.
Notă: Modelele descărcate și documentele sursă pot avea licențe și restricții de utilizare distincte. Verificați-le înainte de utilizare sau redistribuire.
Setări
Deschideți Setări pentru a consulta următoarele opțiuni specifice aplicației:
- Motor nativ, backend, fire de execuție, context, cache, stocare și preferințe pentru modele
- Extragerea Cunoștințelor, înglobări, regăsire, ancorare și comportamentul citărilor
- API local desktop, rețea, partajare mobilă, șabloane și acțiuni
- Confidențialitate, copii de siguranță criptate, ștergere, aspect, scurtături, diagnostice și licențe
Trial, Free și Pro folosesc același set de funcții. Pro elimină reclamele mobile și mementoul zilnic de sprijin de pe desktop.
Comenzi rapide de la tastatură
Pe platformele Apple, folosiți Command acolo unde aplicația asociază o comandă rapidă Ctrl afișată cu modificatorul principal al platformei. Pagina de comenzi rapide din aplicație rămâne referința oficială.
| Comandă rapidă | Acțiune |
|---|---|
| Cmd/Ctrl + N | Conversație nouă |
| Cmd/Ctrl + K | Căutați conversații |
| Cmd/Ctrl + M | Alegeți modelul |
| Cmd/Ctrl + B | Alegeți Baza de cunoștințe |
| Cmd/Ctrl + Alt/Option + I | Detaliile conversației |
| Esc | Opriți generarea |
Sfaturi & trucuri
Alegeți un context sau model mai mic înainte de a forța o configurație care nu încape în memorie.
Folosiți ancorarea strictă atunci când un răspuns trebuie să rămână în limitele surselor indexate.
Deschideți citările și comparați fragmentul extras înainte de a vă baza pe o afirmație generată.
Păstrați frazele de acces pentru copiile de siguranță separat de fișierul criptat al copiei.
Depanare
| Problemă | Ce trebuie verificat |
|---|---|
| Un model nu se poate încărca | Verificați compatibilitatea, estimarea memoriei, stocarea, verificarea fișierului, backendul selectat și existența unei alte sesiuni de model active. |
| Generarea este lentă | Folosiți diagnosticele dispozitivului, un model sau context mai mic, un backend adecvat și performanța măsurată, nu presupusă. |
| Cunoștințele nu oferă un răspuns | Verificați extragerea documentelor, starea indexului, testul de regăsire, filtrele și dacă sursa conține efectiv dovezi. |
| O copie de siguranță nu poate fi restaurată | Verificați fraza de acces, integritatea fișierului, compatibilitatea schemei, spațiul liber și examinarea restaurării înainte de a înlocui datele curente. |
Confidențialitate
- Solicitările, conversațiile, documentele, înglobările, regăsirea și textul generat rămân pe dispozitiv.
- Utilizarea rețelei se limitează la catalogul/căutarea solicitate, descărcarea modelului, verificarea actualizărilor sau un endpoint API pe care îl activați explicit.
- Intrările partajate de pe mobil sunt temporare, iar originalele externe nu sunt șterse niciodată.
- Datele spațiului de lucru deținute de aplicație și copiile administrate pot fi eliminate prin fluxul de confidențialitate verificat.
Responsabilitatea dvs.: Nu expuneți API-ul desktop opțional dincolo de o limită de încredere și nu folosiți modele sau documente contrar licențelor acestora.