Panduan Pengguna QuickLLM
QuickLLM menjaga inferensi, percakapan, dokumen, embedding, pengambilan, dan teks yang dihasilkan tetap di perangkat Anda, sambil membuat kecocokan model dan tujuan jaringan terlihat jelas.
Memulai
- Jalankan diagnostik perangkat dan pilih model yang cocok.
- Unduh, verifikasi, dan muat modelnya.
- Mulai percakapan dan pilih sebuah Profile.
- Bila perlu, buat Knowledge Base, tambahkan dokumen tepercaya, dan verifikasi kutipannya.
- Ekspor pekerjaan penting atau buat cadangan terenkripsi sebelum memindahkan atau menghapus data.
Tips: Pilih konteks atau model yang lebih kecil sebelum memaksakan konfigurasi yang tidak muat di memori.
Sekilas Antarmuka
| Area | Tujuan |
|---|---|
| Chat | Daftar percakapan, pilihan model/Profile/Knowledge, pesan, kutipan, konteks, Send, dan Stop. |
| Model | Katalog, pencarian, kompatibilitas, unduhan, berkas terpasang, Profile, adapter, dan status runtime. |
| Knowledge | Knowledge Base, dokumen, ekstraksi, pengindeksan, uji pengambilan, pengaitan sumber, dan kutipan. |
| Templat & Action | Prompt yang dapat dipakai ulang, alur kerja bertipe, masukan berbagi di seluler, tinjauan hasil, dan jalur penyimpanan. |
| Utilitas | Diagnostik, unduhan, API desktop, cadangan/pemulihan, tindakan cepat, Settings, Help, privasi, dan lisensi. |
Model yang Cocok, Jawaban yang Dapat Ditelusuri
QuickLLM membedakan kemampuan perangkat yang terukur dari sekadar perkiraan, dan menjaga jawaban bersumber tetap terhubung ke cuplikan dokumen lokal alih-alih mengarang kutipan yang tidak berdasar.
- Chat lokal yang privat: Jalankan percakapan melalui inferensi lokal yang dipaketkan dengan status model, Profile, Knowledge, konteks, pembuatan, dan Stop yang terlihat.
- Kecocokan model: Ukur kemampuan perangkat, bandingkan kebutuhan memori dan penyimpanan, unduh model terverifikasi, dan pahami penjelasan untuk konfigurasi yang tidak didukung.
- Knowledge Base: Serap dokumen yang didukung, bangun indeks lokal, ambil cuplikan bersumber, dan buka kutipan pada sumbernya.
- Profile dan LoRA: Simpan kombinasi model, konteks, sampling, backend, dan adapter untuk pekerjaan yang berulang.
- Templat dan Action: Gunakan ulang prompt privat dan jalankan alur kerja teks berbagi yang menjaga hasilnya tetap siap disalin, dibagikan, atau dilanjutkan dalam percakapan.
- Kendali yang portabel: Ekspor percakapan, jalankan API lokal desktop bila diaktifkan secara eksplisit, dan buat berkas cadangan serta pemulihan terenkripsi.
Catatan: Model yang diunduh dan dokumen sumber dapat memiliki lisensi dan pembatasan penggunaan tersendiri. Tinjaulah sebelum menggunakan atau mendistribusikannya kembali.
Pengaturan
Buka Pengaturan untuk meninjau kontrol khusus aplikasi berikut:
- Preferensi mesin native, backend, thread, konteks, cache, penyimpanan, dan model
- Ekstraksi Knowledge, embedding, pengambilan, pengaitan sumber, dan perilaku kutipan
- API lokal desktop, jaringan, berbagi di seluler, templat, dan action
- Privasi, cadangan terenkripsi, penghapusan, tampilan, pintasan, diagnostik, dan lisensi
Trial, Free, dan Pro memakai rangkaian fitur fungsional yang sama. Pro menghilangkan iklan seluler dan pengingat dukungan harian di desktop.
Pintasan Papan Ketik
Di platform Apple, gunakan Command bila aplikasi memetakan pintasan Ctrl yang ditampilkan ke modifier utama platform. Halaman pintasan di dalam aplikasi tetap menjadi acuan utama.
| Pintasan | Aksi |
|---|---|
| Cmd/Ctrl + N | Percakapan baru |
| Cmd/Ctrl + K | Cari percakapan |
| Cmd/Ctrl + M | Pilih model |
| Cmd/Ctrl + B | Pilih Knowledge Base |
| Cmd/Ctrl + Alt/Option + I | Detail percakapan |
| Esc | Hentikan pembuatan |
Tips & Trik
Pilih konteks atau model yang lebih kecil sebelum memaksakan konfigurasi yang tidak muat di memori.
Gunakan pengaitan sumber yang ketat ketika sebuah jawaban harus tetap berada dalam sumber yang terindeks.
Buka kutipannya dan bandingkan cuplikan yang diekstrak sebelum mengandalkan klaim yang dihasilkan.
Simpan frasa sandi cadangan terpisah dari berkas cadangan terenkripsinya.
Pemecahan Masalah
| Masalah | Yang perlu diperiksa |
|---|---|
| Sebuah model tidak dapat dimuat | Periksa kompatibilitas, perkiraan memori, penyimpanan, verifikasi berkas, backend yang dipilih, dan sesi model lain yang sedang aktif. |
| Pembuatan teks lambat | Gunakan diagnostik perangkat, model atau konteks yang lebih kecil, backend yang sesuai, serta kinerja yang terukur alih-alih yang diasumsikan. |
| Knowledge tidak menemukan jawaban | Tinjau ekstraksi dokumen, status indeks, uji pengambilan, saringan, dan apakah sumbernya memang memuat buktinya. |
| Sebuah cadangan tidak dapat dipulihkan | Verifikasi frasa sandi, integritas berkas, kompatibilitas skema, ruang kosong, dan tinjauan pemulihan sebelum mengganti data saat ini. |
Privasi
- Prompt, percakapan, dokumen, embedding, pengambilan, dan teks yang dihasilkan tetap berada di perangkat.
- Penggunaan jaringan terbatas pada katalog/pencarian yang diminta, unduhan model, pemeriksaan pembaruan, atau endpoint API yang Anda aktifkan secara eksplisit.
- Masukan berbagi di seluler bersifat sementara dan berkas asli eksternal tidak pernah dihapus.
- Data ruang kerja milik aplikasi dan salinan terkelola dapat dihapus melalui alur kerja privasi yang ditinjau.
Tanggung jawab Anda: Jangan memaparkan API desktop opsional ke luar batas tepercaya, atau menggunakan model dan dokumen bertentangan dengan lisensinya.