DeskLLM - Útmutató

Kezdő lépések

1. Töltsön le egy modellt

A DeskLLM-nek nyelvi modellre van szüksége a működéshez. Az első indításkor kattintson a letöltés ikonra az alsó eszköztárban a Model Manager megnyitásához.

Recommend tab — Válasszon egy modellt, amely megfelel a számítógépének:

Kattintson a Download gombra bármely modellkártyán. A letöltési folyamat valós időben jelenik meg.

Browse tab — Keressen a Hugging Face-en bármilyen GGUF modellt kulcsszó alapján.

2. Kezdjen csevegni

1. Válasszon egy modellt a legördülő listából az alsó eszköztárban
2. Kattintson a betöltés ikonra (a modell automatikusan betöltődik az első üzenetnél, ha még nincs betöltve)
3. Írja be az üzenetét, és nyomja meg a Return gombot az elküldéshez
4. Az AI valós időben válaszol, tokenenként

Felület áttekintése

Oldalsáv

Kapcsolja a hamburger ikonnal (bal felső sarok). Megjeleníti a chat munkameneteit.

• Kattintson egy munkamenetre az átváltáshoz
• Kattintson jobb gombbal a Rename vagy Delete használatához
• Kattintson a + New Chat gombra új beszélgetés indításához

Csevegő terület

• Az ön üzenetei a jobb oldalon jelennek meg (színes buborékok)
• Az AI válaszai a bal oldalon jelennek meg
• Kattintson a másolás ikonra bármely üzenetnél, hogy a vágólapra másolja
• Nyomja meg a Shift + Return gombot új sorhoz küldés nélkül

Alsó eszköztár

Modellkezelés

Nyissa meg a letöltés ikonnal az eszköztárban.

• Downloaded tab — Felsorolja az összes modellt a lemezén. Törölje a már nem szükséges modelleket a hely felszabadításához.
• Recommend tab — Válogatott lista a népszerű modellekről egykattintásos letöltéssel. A lemezterület letöltés előtt látható.
• Browse tab — Keressen közvetlenül a Hugging Face-en. Szűrjön név szerint, és böngésszen az elérhető GGUF fájlok között bármely tárházhoz.

Hol tárolódnak a modellek

Beállítások

Hozzáférés a fogaskerék ikonnal (bal alsó) vagy az alkalmazás menüjéből.

Megfelelő beállítások kiválasztása

• Temperature — Alacsonyabb (0.1–0.3) tényszerű válaszokhoz. Magasabb (0.7–1.0) kreatív íráshoz.
• Max Tokens — Növelje hosszabb válaszokhoz. Az 512 a legtöbb beszélgetéshez megfelelő.
• Context Size — Nagyobb értékekkel a modell több beszélgetésre emlékezik, de több RAM-ot használ.

REST API

A DeskLLM helyi API szervert futtat OpenAI formátummal kompatibilis módon. A számítógépén lévő más alkalmazások használhatják.

Endpoint: http://localhost:8800

Példa (curl)

curl http://localhost:8800/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "messages": [{"role": "user", "content": "Hello!"}],
    "stream": true
  }'

Példa (Python)

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8800/v1", api_key="none")
response = client.chat.completions.create(
    model="local",
    messages=[{"role": "user", "content": "Hello!"}]
)
print(response.choices[0].message.content)

Billentyűparancsok

Tippek

• Szabadon váltson modellt — Bármikor válthat modellt a beszélgetés közepén.
• System prompt — Testreszabhatja különböző felhasználási esetekhez: fordító, kódolási asszisztens, írássegítő stb.
• Több munkamenet — Tartson külön beszélgetéseket különböző témákról. Az oldalsáv megkönnyíti a váltást.
• Offline használat — Ha egy modell letöltésre került, a DeskLLM teljesen offline működik.
• API integráció — Használja a beépített API-t a DeskLLM más eszközökkel, szkriptekkel vagy alkalmazásokkal való összekapcsolásához a gépén.

Hibaelhárítás

Adatvédelem

• Minden AI feldolgozás helyileg történik a számítógépén
• Semmilyen adat nem kerül külső szerverre
• A chat előzmények csak a helyi lemezen tárolódnak
• A modellek a Hugging Face-ről kerülnek letöltésre (egyetlen hálózati hozzáférés)