DeskLLM - Panduan

Bermula

1. Muat Turun Model

DeskLLM memerlukan model bahasa untuk berfungsi. Pada pelancaran pertama, klik ikon muat turun di bar alat bawah untuk membuka Model Manager.

Recommend tab — Pilih model yang sesuai dengan komputer anda:

Klik Download pada mana-mana kad model. Kemajuan muat turun ditunjukkan dalam masa nyata.

Browse tab — Cari Hugging Face untuk mana-mana model GGUF mengikut kata kunci.

2. Mula Bersembang

1. Pilih model dari menu lungsur turun di bar alat bawah
2. Klik ikon muat (model dimuat secara automatik pada mesej pertama jika belum dimuat)
3. Taipkan mesej anda dan tekan Return untuk menghantar
4. AI bertindak balas dalam masa nyata, token demi token

Gambaran Antara Muka

Bar Sisi

Togol dengan ikon hamburger (kiri atas). Memaparkan sesi sembang anda.

• Klik sesi untuk beralih kepadanya
• Klik kanan untuk memilih Rename atau Delete
• Klik + New Chat untuk memulakan perbualan baharu

Kawasan Sembang

• Mesej anda muncul di sebelah kanan (gelembung berwarna)
• Respons AI muncul di sebelah kiri
• Klik ikon salin pada mana-mana mesej untuk menyalinnya ke papan klip
• Tekan Shift + Return untuk baris baharu tanpa menghantar

Bar Alat Bawah

Pengurusan Model

Buka dengan ikon muat turun di bar alat.

• Downloaded tab — Menyenaraikan semua model pada cakera anda. Padamkan model yang anda tidak perlukan lagi untuk membebaskan ruang.
• Recommend tab — Senarai pilihan model popular dengan muat turun satu klik. Ruang cakera ditunjukkan sebelum memuat turun.
• Browse tab — Cari terus di Hugging Face. Tapis mengikut nama dan layari fail GGUF yang tersedia untuk mana-mana repository.

Tempat Model Disimpan

Tetapan

Akses dari ikon roda gear (kiri bawah) atau menu aplikasi.

Memilih Tetapan yang Betul

• Temperature — Lebih rendah (0.1–0.3) untuk jawapan fakta. Lebih tinggi (0.7–1.0) untuk penulisan kreatif.
• Max Tokens — Tingkatkan untuk respons yang lebih panjang. 512 sesuai untuk kebanyakan perbualan.
• Context Size — Nilai yang lebih besar membolehkan model mengingati lebih banyak perbualan, tetapi menggunakan lebih banyak RAM.

REST API

DeskLLM menjalankan pelayan API tempatan yang serasi dengan format OpenAI. Aplikasi lain pada komputer anda boleh menggunakannya.

Endpoint: http://localhost:8800

Contoh (curl)

curl http://localhost:8800/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "messages": [{"role": "user", "content": "Hello!"}],
    "stream": true
  }'

Contoh (Python)

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8800/v1", api_key="none")
response = client.chat.completions.create(
    model="local",
    messages=[{"role": "user", "content": "Hello!"}]
)
print(response.choices[0].message.content)

Pintasan Papan Kekunci

Petua

• Tukar model dengan bebas — Anda boleh menukar model di tengah-tengah perbualan pada bila-bila masa.
• System prompt — Sesuaikan untuk pelbagai kes penggunaan: penterjemah, pembantu pengekodan, pembantu menulis, dll.
• Berbilang sesi — Asingkan perbualan untuk topik berbeza. Bar sisi memudahkan untuk beralih.
• Penggunaan luar talian — Setelah model dimuat turun, DeskLLM berfungsi sepenuhnya luar talian.
• Integrasi API — Gunakan API terbina dalam untuk menyambungkan DeskLLM dengan alat, skrip atau aplikasi lain pada mesin anda.

Penyelesaian Masalah

Privasi

• Semua pemprosesan AI berlaku secara tempatan pada komputer anda
• Tiada data dihantar ke mana-mana pelayan luar
• Sejarah sembang disimpan hanya pada cakera tempatan anda
• Model dimuat turun dari Hugging Face (satu-satunya akses rangkaian)