DeskLLM - Handleiding

Aan de slag

1. Een Model Downloaden

DeskLLM heeft een taalmodel nodig om te werken. Klik bij de eerste start op het downloadpictogram in de onderste werkbalk om de Model Manager te openen.

Recommend tab — Kies een model dat bij je computer past:

Klik op Download op een willekeurige modelkaart. De downloadvoortgang wordt in realtime getoond.

Browse tab — Zoek op Hugging Face naar een willekeurig GGUF-model met een trefwoord.

2. Beginnen met Chatten

1. Selecteer een model uit het dropdownmenu in de onderste werkbalk
2. Klik op het laadpictogram (het model wordt automatisch geladen bij het eerste bericht als het nog niet geladen is)
3. Typ je bericht en druk op Return om te verzenden
4. De AI antwoordt in realtime, token voor token

Overzicht van de Interface

Zijbalk

Schakel in/uit met het hamburgerpictogram (linksboven). Toont je chatsessies.

• Klik op een sessie om ernaar over te schakelen
• Rechtsklik voor Rename of Delete
• Klik op + New Chat om een nieuw gesprek te starten

Chatgebied

• Jouw berichten verschijnen rechts (gekleurde bubbels)
• AI-antwoorden verschijnen links
• Klik op het kopieerpictogram bij elk bericht om het naar het klembord te kopiëren
• Druk op Shift + Return voor een nieuwe regel zonder te verzenden

Onderste Werkbalk

Modelbeheer

Open met het downloadpictogram in de werkbalk.

• Downloaded tab — Toont alle modellen op je schijf. Verwijder modellen die je niet meer nodig hebt om ruimte vrij te maken.
• Recommend tab — Samengestelde lijst van populaire modellen met één-klik-download. De benodigde schijfruimte wordt vóór het downloaden getoond.
• Browse tab — Zoek direct op Hugging Face. Filter op naam en blader door beschikbare GGUF-bestanden voor elke repository.

Waar Modellen Worden Opgeslagen

Instellingen

Toegang via het tandwielpictogram (linksonder) of via het app-menu.

De juiste instellingen kiezen

• Temperature — Lager (0.1–0.3) voor feitelijke antwoorden. Hoger (0.7–1.0) voor creatief schrijven.
• Max Tokens — Verhoog voor langere antwoorden. 512 is goed voor de meeste gesprekken.
• Context Size — Grotere waarden laten het model meer van het gesprek onthouden, maar gebruiken meer RAM.

REST API

DeskLLM draait een lokale API-server die compatibel is met het OpenAI-formaat. Andere apps op je computer kunnen deze gebruiken.

Endpoint: http://localhost:8800

Voorbeeld (curl)

curl http://localhost:8800/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "messages": [{"role": "user", "content": "Hello!"}],
    "stream": true
  }'

Voorbeeld (Python)

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8800/v1", api_key="none")
response = client.chat.completions.create(
    model="local",
    messages=[{"role": "user", "content": "Hello!"}]
)
print(response.choices[0].message.content)

Sneltoetsen

Tips

• Wissel vrijelijk van model — Je kunt op elk moment midden in een gesprek van model wisselen.
• System prompt — Pas hem aan voor verschillende gebruikssituaties: vertaler, programmeerassistent, schrijfhulp, enz.
• Meerdere sessies — Houd aparte gesprekken voor verschillende onderwerpen. De zijbalk maakt wisselen makkelijk.
• Offline gebruik — Zodra een model is gedownload, werkt DeskLLM volledig offline.
• API-integratie — Gebruik de ingebouwde API om DeskLLM te koppelen met andere tools, scripts of apps op je machine.

Probleemoplossing

Privacy

• Alle AI-verwerking gebeurt lokaal op je computer
• Er worden geen gegevens naar externe servers gestuurd
• Chatgeschiedenis wordt alleen op je lokale schijf opgeslagen
• Modellen worden gedownload van Hugging Face (de enige netwerktoegang)