DeskLLM - Ghid

Primii pași

1. Descărcați un model

DeskLLM are nevoie de un model lingvistic pentru a funcționa. La prima lansare, faceți clic pe pictograma de descărcare din bara de instrumente de jos pentru a deschide Model Manager.

Recommend tab — Alegeți un model care se potrivește computerului dvs.:

Faceți clic pe Download pe orice card de model. Progresul descărcării este afișat în timp real.

Browse tab — Căutați pe Hugging Face orice model GGUF după cuvânt cheie.

2. Începeți să discutați

1. Selectați un model din meniul derulant din bara de instrumente de jos
2. Faceți clic pe pictograma de încărcare (modelul se încarcă automat la primul mesaj dacă nu este încărcat)
3. Tastați mesajul și apăsați Return pentru a trimite
4. AI răspunde în timp real, token cu token

Prezentare generală a interfeței

Bară laterală

Comutați cu pictograma hamburger (stânga sus). Afișează sesiunile de chat.

• Faceți clic pe o sesiune pentru a comuta la ea
• Faceți clic dreapta pentru Rename sau Delete
• Faceți clic pe + New Chat pentru a începe o conversație nouă

Zona de chat

• Mesajele dvs. apar în dreapta (bule colorate)
• Răspunsurile AI apar în stânga
• Faceți clic pe pictograma de copiere pe orice mesaj pentru a-l copia în clipboard
• Apăsați Shift + Return pentru o linie nouă fără a trimite

Bară de instrumente de jos

Gestionarea modelelor

Deschideți cu pictograma de descărcare din bara de instrumente.

• Downloaded tab — Listează toate modelele de pe disc. Ștergeți modelele de care nu mai aveți nevoie pentru a elibera spațiu.
• Recommend tab — Listă curată de modele populare cu descărcare cu un singur clic. Spațiul pe disc este afișat înainte de descărcare.
• Browse tab — Căutați direct pe Hugging Face. Filtrați după nume și răsfoiți fișierele GGUF disponibile pentru orice depozit.

Unde sunt stocate modelele

Setări

Acces din pictograma roată dințată (stânga jos) sau din meniul aplicației.

Alegerea setărilor potrivite

• Temperature — Mai scăzut (0.1–0.3) pentru răspunsuri factuale. Mai ridicat (0.7–1.0) pentru scriere creativă.
• Max Tokens — Măriți pentru răspunsuri mai lungi. 512 este bun pentru majoritatea conversațiilor.
• Context Size — Valori mai mari permit modelului să-și amintească mai mult din conversație, dar folosesc mai multă RAM.

REST API

DeskLLM rulează un server API local compatibil cu formatul OpenAI. Alte aplicații de pe computerul dvs. îl pot folosi.

Endpoint: http://localhost:8800

Exemplu (curl)

curl http://localhost:8800/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "messages": [{"role": "user", "content": "Hello!"}],
    "stream": true
  }'

Exemplu (Python)

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8800/v1", api_key="none")
response = client.chat.completions.create(
    model="local",
    messages=[{"role": "user", "content": "Hello!"}]
)
print(response.choices[0].message.content)

Comenzi rapide de la tastatură

Sfaturi

• Schimbați modele liber — Puteți schimba modele în timpul conversației oricând.
• System prompt — Personalizați-l pentru diferite cazuri de utilizare: traducător, asistent de codare, ajutor pentru scriere etc.
• Sesiuni multiple — Păstrați conversații separate pentru subiecte diferite. Bara laterală facilitează comutarea.
• Utilizare offline — Odată descărcat un model, DeskLLM funcționează complet offline.
• Integrare API — Folosiți API-ul încorporat pentru a conecta DeskLLM cu alte instrumente, scripturi sau aplicații de pe mașina dvs.

Depanare

Confidențialitate

• Toată procesarea AI are loc local pe computerul dvs.
• Niciun fel de date nu sunt trimise pe niciun server extern
• Istoricul chatului este stocat doar pe discul dvs. local
• Modelele sunt descărcate de pe Hugging Face (singurul acces la rețea)