DeskLLM - Průvodce

Začínáme

1. Stáhněte model

DeskLLM potřebuje k fungování jazykový model. Při prvním spuštění klikněte na ikonu stahování v dolním panelu nástrojů, abyste otevřeli Model Manager.

Recommend tab — Vyberte model, který se hodí k vašemu počítači:

Klikněte na Download u libovolné karty modelu. Průběh stahování je zobrazen v reálném čase.

Browse tab — Prohledejte Hugging Face pro libovolný GGUF model podle klíčového slova.

2. Začněte chatovat

1. Vyberte model z rozbalovacího menu v dolním panelu nástrojů
2. Klikněte na ikonu načtení (model se načte automaticky při první zprávě, pokud není načten)
3. Napište zprávu a stiskněte Return pro odeslání
4. AI odpovídá v reálném čase, token po tokenu

Přehled rozhraní

Postranní panel

Přepněte ikonou hamburgeru (vlevo nahoře). Zobrazuje vaše chat relace.

• Klikněte na relaci pro přepnutí
• Klikněte pravým tlačítkem pro Rename nebo Delete
• Klikněte na + New Chat pro zahájení nové konverzace

Oblast chatu

• Vaše zprávy se zobrazují vpravo (barevné bubliny)
• Odpovědi AI se zobrazují vlevo
• Klikněte na ikonu kopírování u libovolné zprávy pro zkopírování do schránky
• Stiskněte Shift + Return pro nový řádek bez odeslání

Dolní panel nástrojů

Správa modelů

Otevřete ikonou stahování v panelu nástrojů.

• Downloaded tab — Seznam všech modelů na vašem disku. Smažte modely, které již nepotřebujete, abyste uvolnili místo.
• Recommend tab — Kurátorovaný seznam populárních modelů s jednoklikovým stažením. Místo na disku se zobrazuje před stahováním.
• Browse tab — Prohledávejte Hugging Face přímo. Filtrujte podle názvu a procházejte dostupné GGUF soubory pro libovolné úložiště.

Kde jsou modely uloženy

Nastavení

Přístup z ikony ozubeného kola (vlevo dole) nebo z menu aplikace.

Volba správného nastavení

• Temperature — Nižší (0.1–0.3) pro faktické odpovědi. Vyšší (0.7–1.0) pro kreativní psaní.
• Max Tokens — Zvyšte pro delší odpovědi. 512 je dobré pro většinu konverzací.
• Context Size — Větší hodnoty umožňují modelu pamatovat si více konverzace, ale využívají více RAM.

REST API

DeskLLM provozuje lokální API server kompatibilní s formátem OpenAI. Ostatní aplikace na vašem počítači jej mohou používat.

Endpoint: http://localhost:8800

Příklad (curl)

curl http://localhost:8800/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "messages": [{"role": "user", "content": "Hello!"}],
    "stream": true
  }'

Příklad (Python)

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8800/v1", api_key="none")
response = client.chat.completions.create(
    model="local",
    messages=[{"role": "user", "content": "Hello!"}]
)
print(response.choices[0].message.content)

Klávesové zkratky

Tipy

• Volně přepínejte modely — Můžete změnit modely uprostřed konverzace kdykoli.
• System prompt — Přizpůsobte jej pro různé případy použití: překladač, asistent kódování, pomocník psaní atd.
• Více relací — Udržujte oddělené konverzace pro různá témata. Postranní panel usnadňuje přepínání.
• Použití offline — Jakmile je model stažen, DeskLLM funguje zcela offline.
• Integrace API — Použijte vestavěné API k propojení DeskLLM s jinými nástroji, skripty nebo aplikacemi na vašem počítači.

Řešení problémů

Soukromí

• Veškeré zpracování AI probíhá lokálně na vašem počítači
• Žádná data nejsou odesílána na žádný externí server
• Historie chatu je uložena pouze na vašem lokálním disku
• Modely jsou stahovány z Hugging Face (jediný síťový přístup)