DeskLLM - Guide

Komma igång

1. Ladda ner en modell

DeskLLM behöver en språkmodell för att fungera. Vid första starten klickar du på nedladdningsikonen i det nedre verktygsfältet för att öppna Model Manager.

Recommend tab — Välj en modell som passar din dator:

Klicka på Download på valfritt modellkort. Nedladdningens framsteg visas i realtid.

Browse tab — Sök på Hugging Face efter valfri GGUF-modell med nyckelord.

2. Börja chatta

1. Välj en modell från rullgardinsmenyn i det nedre verktygsfältet
2. Klicka på laddningsikonen (modellen laddas automatiskt vid första meddelandet om den inte är laddad)
3. Skriv ditt meddelande och tryck på Return för att skicka
4. AI:n svarar i realtid, token för token

Översikt över gränssnittet

Sidofält

Växla med hamburgerikonen (uppe till vänster). Visar dina chattsessioner.

• Klicka på en session för att växla till den
• Högerklicka för att Rename eller Delete
• Klicka på + New Chat för att starta en ny konversation

Chattområde

• Dina meddelanden visas till höger (färgade bubblor)
• AI-svar visas till vänster
• Klicka på kopieringsikonen på valfritt meddelande för att kopiera det till urklipp
• Tryck på Shift + Return för en ny rad utan att skicka

Nedre verktygsfältet

Modellhantering

Öppna med nedladdningsikonen i verktygsfältet.

• Downloaded tab — Listar alla modeller på din disk. Ta bort modeller du inte längre behöver för att frigöra utrymme.
• Recommend tab — Kuraterad lista över populära modeller med nedladdning med ett klick. Diskutrymme visas före nedladdning.
• Browse tab — Sök direkt på Hugging Face. Filtrera efter namn och bläddra bland tillgängliga GGUF-filer för valfritt arkiv.

Var modeller lagras

Inställningar

Nås från kugghjulsikonen (nere till vänster) eller appens meny.

Välj rätt inställningar

• Temperature — Lägre (0.1–0.3) för faktabaserade svar. Högre (0.7–1.0) för kreativt skrivande.
• Max Tokens — Öka för längre svar. 512 är bra för de flesta konversationer.
• Context Size — Större värden låter modellen komma ihåg mer av konversationen, men använder mer RAM.

REST API

DeskLLM kör en lokal API-server som är kompatibel med OpenAI-formatet. Andra appar på din dator kan använda den.

Endpoint: http://localhost:8800

Exempel (curl)

curl http://localhost:8800/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "messages": [{"role": "user", "content": "Hello!"}],
    "stream": true
  }'

Exempel (Python)

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8800/v1", api_key="none")
response = client.chat.completions.create(
    model="local",
    messages=[{"role": "user", "content": "Hello!"}]
)
print(response.choices[0].message.content)

Tangentbordsgenvägar

Tips

• Byt modeller fritt — Du kan byta modeller mitt i en konversation när som helst.
• System prompt — Anpassa den för olika användningsfall: översättare, kodassistent, skrivhjälp osv.
• Flera sessioner — Håll separata konversationer för olika ämnen. Sidofältet gör det enkelt att växla.
• Offline-användning — När en modell är nedladdad fungerar DeskLLM helt offline.
• API-integration — Använd det inbyggda API:et för att ansluta DeskLLM med andra verktyg, skript eller appar på din maskin.

Felsökning

Integritet

• All AI-bearbetning sker lokalt på din dator
• Ingen data skickas till någon extern server
• Chatthistorik lagras endast på din lokala disk
• Modeller laddas ner från Hugging Face (den enda nätverksåtkomsten)