DeskLLM - Veiledning

Komme i gang

1. Last ned en modell

DeskLLM trenger en språkmodell for å fungere. Ved første oppstart klikker du på nedlastingsikonet i den nederste verktøylinjen for å åpne Model Manager.

Recommend tab — Velg en modell som passer datamaskinen din:

Klikk Download på et hvilket som helst modellkort. Nedlastingsfremdriften vises i sanntid.

Browse tab — Søk på Hugging Face etter en hvilken som helst GGUF-modell med nøkkelord.

2. Begynn å chatte

1. Velg en modell fra rullegardinmenyen i den nederste verktøylinjen
2. Klikk på last-ikonet (modellen lastes automatisk ved første melding hvis den ikke er lastet)
3. Skriv meldingen din og trykk Return for å sende
4. AI-en svarer i sanntid, token for token

Oversikt over grensesnittet

Sidepanel

Veksle med hamburger-ikonet (øverst til venstre). Viser chat-øktene dine.

• Klikk på en økt for å bytte til den
• Høyreklikk for å velge Rename eller Delete
• Klikk + New Chat for å starte en ny samtale

Chat-område

• Dine meldinger vises til høyre (fargede bobler)
• AI-svar vises til venstre
• Klikk på kopier-ikonet på en hvilken som helst melding for å kopiere den til utklippstavlen
• Trykk Shift + Return for ny linje uten å sende

Nedre verktøylinje

Modellhåndtering

Åpne med nedlastingsikonet i verktøylinjen.

• Downloaded tab — Lister alle modeller på disken din. Slett modeller du ikke lenger trenger for å frigjøre plass.
• Recommend tab — Kuratert liste over populære modeller med ett-klikks nedlasting. Diskplass vises før nedlasting.
• Browse tab — Søk direkte på Hugging Face. Filtrer etter navn og bla gjennom tilgjengelige GGUF-filer for ethvert repository.

Hvor modeller lagres

Innstillinger

Få tilgang fra tannhjulsikonet (nederst til venstre) eller appmenyen.

Velge de riktige innstillingene

• Temperature — Lavere (0,1–0,3) for faktiske svar. Høyere (0,7–1,0) for kreativ skriving.
• Max Tokens — Øk for lengre svar. 512 er bra for de fleste samtaler.
• Context Size — Større verdier lar modellen huske mer av samtalen, men bruker mer RAM.

REST API

DeskLLM kjører en lokal API-server som er kompatibel med OpenAI-formatet. Andre apper på datamaskinen din kan bruke den.

Endpoint: http://localhost:8800

Eksempel (curl)

curl http://localhost:8800/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "messages": [{"role": "user", "content": "Hello!"}],
    "stream": true
  }'

Eksempel (Python)

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8800/v1", api_key="none")
response = client.chat.completions.create(
    model="local",
    messages=[{"role": "user", "content": "Hello!"}]
)
print(response.choices[0].message.content)

Tastatursnarveier

Tips

• Bytt modeller fritt — Du kan bytte modeller midt i en samtale når som helst.
• System prompt — Tilpass det for ulike bruksområder: oversetter, kodeassistent, skrivehjelper osv.
• Flere økter — Hold separate samtaler for ulike emner. Sidepanelet gjør det enkelt å bytte.
• Offline bruk — Når en modell er lastet ned, fungerer DeskLLM helt offline.
• API-integrasjon — Bruk det innebygde API-et til å koble DeskLLM med andre verktøy, skript eller apper på maskinen din.

Feilsøking

Personvern

• All AI-behandling skjer lokalt på datamaskinen din
• Ingen data sendes til en ekstern server
• Chathistorikk lagres kun på din lokale disk
• Modeller lastes ned fra Hugging Face (den eneste nettverkstilgangen)