QuickLLM-gebruikershandleiding
QuickLLM houdt inferentie, gesprekken, documenten, embeddings, retrieval en gegenereerde tekst op uw apparaat en maakt zichtbaar of een model past en waarvoor het netwerk wordt gebruikt.
Aan de slag
- Voer apparaatdiagnostiek uit en kies een passend model.
- Download, verifieer en laad het model.
- Start een gesprek en kies een Profile.
- Maak desgewenst een Knowledge Base, voeg vertrouwde documenten toe en controleer bronverwijzingen.
- Exporteer belangrijk werk of maak een versleutelde back-up voordat u gegevens verplaatst of verwijdert.
Tip: Kies een kleinere context of een kleiner model voordat u een configuratie forceert die niet in het geheugen past.
Overzicht van de interface
| Gebied | Doel |
|---|---|
| Chat | Gesprekkenlijst, keuze van model/Profile/Knowledge, berichten, bronverwijzingen, context, Verzenden en Stoppen. |
| Modellen | Catalogus, zoeken, compatibiliteit, downloads, geïnstalleerde bestanden, Profiles, adapters en runtimestatus. |
| Kennis | Knowledge Bases, documenten, extractie, indexering, retrievaltests, grounding en bronverwijzingen. |
| Sjablonen & acties | Herbruikbare prompts, getypeerde workflows, mobiele deelinvoer, resultaatbeoordeling en opslagpaden. |
| Hulpprogramma's | Diagnostiek, downloads, desktop-API, back-up/herstel, snelle actie, Instellingen, Help, privacy en licenties. |
Modellen die passen, antwoorden die u kunt herleiden
QuickLLM onderscheidt gemeten apparaatcapaciteit van schattingen en houdt onderbouwde antwoorden gekoppeld aan lokale documentfragmenten in plaats van niet-ondersteunde bronverwijzingen te verzinnen.
- Privé lokale chat: Voer gesprekken uit via ingebouwde lokale inferentie met zichtbare status voor model, Profile, Knowledge, context, generatie en Stoppen.
- Geschiktheid van modellen: Meet de apparaatcapaciteit, vergelijk geheugen- en opslagbehoeften, download geverifieerde modellen en leg niet-ondersteunde configuraties uit.
- Kennisbanken: Importeer ondersteunde documenten, bouw lokale indexen, haal onderbouwde fragmenten op en open bronverwijzingen bij de bron.
- Profiles en LoRA: Sla combinaties van model, context, sampling, backend en adapter op voor herhaalbaar werk.
- Templates en Actions: Hergebruik privéprompts en voer workflows voor gedeelde tekst uit waarbij resultaten beschikbaar blijven om te kopiëren, delen of in een gesprek te gebruiken.
- Draagbare controle: Exporteer gesprekken, voer een lokale desktop-API uit wanneer u deze expliciet inschakelt en maak versleutelde back-up- en herstelbestanden.
Opmerking: Gedownloade modellen en brondocumenten kunnen afzonderlijke licenties en gebruiksbeperkingen hebben. Controleer deze vóór gebruik of herdistributie.
Instellingen
Open Instellingen om de volgende app-specifieke bedieningselementen te bekijken:
- Native engine, backend, threads, context, cache, opslag en modelvoorkeuren
- Knowledge-extractie, embeddings, retrieval, grounding en gedrag van bronverwijzingen
- Lokale desktop-API, netwerk, mobiel delen, templates en actions
- Privacy, versleutelde back-up, verwijdering, weergave, sneltoetsen, diagnostiek en licenties
Proefversie, Gratis en Pro bieden dezelfde functionele functies. Pro verwijdert mobiele advertenties en de dagelijkse ondersteuningsherinnering op desktop.
Sneltoetsen
Gebruik op Apple-platforms Command wanneer de app een weergegeven Ctrl-sneltoets aan de primaire modificatietoets van het platform koppelt. De sneltoetspagina in de app blijft leidend.
| Sneltoets | Actie |
|---|---|
| Cmd/Ctrl + N | Nieuw gesprek |
| Cmd/Ctrl + K | Gesprekken doorzoeken |
| Cmd/Ctrl + M | Model kiezen |
| Cmd/Ctrl + B | Knowledge Base kiezen |
| Cmd/Ctrl + Alt/Option + I | Gespreksdetails |
| Esc | Genereren stoppen |
Tips & trucs
Kies een kleinere context of een kleiner model voordat u een configuratie forceert die niet in het geheugen past.
Gebruik strikte grounding wanneer een antwoord binnen de geïndexeerde bronnen moet blijven.
Open bronverwijzingen en vergelijk het geëxtraheerde fragment voordat u op een gegenereerde bewering vertrouwt.
Bewaar wachtzinnen voor back-ups apart van het versleutelde back-upbestand.
Problemen oplossen
| Probleem | Wat u moet controleren |
|---|---|
| Een model kan niet worden geladen | Controleer compatibiliteit, geheugenschatting, opslag, bestandsverificatie, geselecteerde backend en een andere actieve modelsessie. |
| Het genereren is traag | Gebruik apparaatdiagnostiek, een kleiner model of kleinere context, een geschikte backend en gemeten in plaats van veronderstelde prestaties. |
| Knowledge heeft geen antwoord | Controleer documentextractie, indexstatus, retrievaltest, filters en of de bron daadwerkelijk bewijs bevat. |
| Een back-up kan niet worden hersteld | Controleer de wachtzin, bestandsintegriteit, schemacompatibiliteit, vrije ruimte en herstelbeoordeling voordat u huidige gegevens vervangt. |
Privacy
- Prompts, gesprekken, documenten, embeddings, retrieval en gegenereerde tekst blijven op het apparaat.
- Netwerkgebruik is beperkt tot aangevraagde catalogus/zoekacties, modeldownloads, updatecontroles of een API-eindpunt dat u expliciet inschakelt.
- Mobiele deelinvoer is tijdelijk en externe originelen worden nooit verwijderd.
- Werkruimtegegevens van de app en beheerde kopieën kunnen via de beoordeelde privacyworkflow worden verwijderd.
Uw verantwoordelijkheid: Stel de optionele desktop-API niet buiten een vertrouwde grens beschikbaar en gebruik modellen en documenten niet in strijd met hun licenties.