DeskLLM - Panduan

Memulai

1. Unduh Model

DeskLLM membutuhkan model bahasa untuk bekerja. Pada peluncuran pertama, klik ikon unduh di bilah alat bawah untuk membuka Model Manager.

Recommend tab — Pilih model yang sesuai dengan komputer Anda:

Klik Download pada kartu model mana saja. Kemajuan unduhan ditampilkan secara real time.

Browse tab — Cari Hugging Face untuk model GGUF apa pun berdasarkan kata kunci.

2. Mulai Mengobrol

1. Pilih model dari menu dropdown di bilah alat bawah
2. Klik ikon muat (model dimuat secara otomatis pada pesan pertama jika belum dimuat)
3. Ketik pesan Anda dan tekan Return untuk mengirim
4. AI merespons secara real time, token demi token

Ikhtisar Antarmuka

Bilah Sisi

Alihkan dengan ikon hamburger (kiri atas). Menampilkan sesi obrolan Anda.

• Klik sesi untuk beralih ke sesi tersebut
• Klik kanan untuk memilih Rename atau Delete
• Klik + New Chat untuk memulai percakapan baru

Area Obrolan

• Pesan Anda muncul di sebelah kanan (gelembung berwarna)
• Respons AI muncul di sebelah kiri
• Klik ikon salin pada pesan apa pun untuk menyalinnya ke clipboard
• Tekan Shift + Return untuk baris baru tanpa mengirim

Bilah Alat Bawah

Manajemen Model

Buka dengan ikon unduh di bilah alat.

• Downloaded tab — Mencantumkan semua model di disk Anda. Hapus model yang tidak Anda perlukan lagi untuk membebaskan ruang.
• Recommend tab — Daftar pilihan model populer dengan unduhan satu klik. Ruang disk ditampilkan sebelum pengunduhan.
• Browse tab — Cari langsung di Hugging Face. Filter berdasarkan nama dan jelajahi file GGUF yang tersedia untuk repository mana pun.

Tempat Model Disimpan

Pengaturan

Akses dari ikon roda gigi (kiri bawah) atau menu aplikasi.

Memilih Pengaturan yang Tepat

• Temperature — Lebih rendah (0.1–0.3) untuk jawaban faktual. Lebih tinggi (0.7–1.0) untuk penulisan kreatif.
• Max Tokens — Tingkatkan untuk respons yang lebih panjang. 512 cocok untuk sebagian besar percakapan.
• Context Size — Nilai yang lebih besar memungkinkan model mengingat lebih banyak percakapan, tetapi menggunakan lebih banyak RAM.

REST API

DeskLLM menjalankan server API lokal yang kompatibel dengan format OpenAI. Aplikasi lain di komputer Anda dapat menggunakannya.

Endpoint: http://localhost:8800

Contoh (curl)

curl http://localhost:8800/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "messages": [{"role": "user", "content": "Hello!"}],
    "stream": true
  }'

Contoh (Python)

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8800/v1", api_key="none")
response = client.chat.completions.create(
    model="local",
    messages=[{"role": "user", "content": "Hello!"}]
)
print(response.choices[0].message.content)

Pintasan Keyboard

Tips

• Beralih model dengan bebas — Anda dapat mengubah model di tengah percakapan kapan saja.
• System prompt — Sesuaikan untuk berbagai kasus penggunaan: penerjemah, asisten coding, pembantu menulis, dll.
• Beberapa sesi — Pisahkan percakapan untuk topik yang berbeda. Bilah sisi memudahkan untuk beralih.
• Penggunaan offline — Setelah model diunduh, DeskLLM bekerja sepenuhnya offline.
• Integrasi API — Gunakan API bawaan untuk menghubungkan DeskLLM dengan alat, skrip, atau aplikasi lain di mesin Anda.

Pemecahan Masalah

Privasi

• Semua pemrosesan AI terjadi secara lokal di komputer Anda
• Tidak ada data yang dikirim ke server eksternal mana pun
• Riwayat obrolan disimpan hanya di disk lokal Anda
• Model diunduh dari Hugging Face (satu-satunya akses jaringan)