Panduan Pengguna QuickLLM
QuickLLM menyimpan inferens, perbualan, dokumen, embeddings, pengambilan dan teks yang dijana pada peranti anda sambil menjadikan kesesuaian model dan tujuan rangkaian jelas.
Bermula
- Jalankan diagnostik peranti dan pilih model yang sesuai.
- Muat turun, sahkan dan muatkan model.
- Mulakan perbualan dan pilih Profile.
- Secara pilihan, cipta Knowledge Base, tambah dokumen dipercayai dan sahkan sitasi.
- Eksport kerja penting atau cipta sandaran disulitkan sebelum memindahkan atau memadam data.
Petua: Pilih konteks atau model yang lebih kecil sebelum memaksa konfigurasi yang tidak muat dalam memori.
Gambaran Keseluruhan Antara Muka
| Kawasan | Tujuan |
|---|---|
| Sembang | Senarai perbualan, pemilihan model/Profile/Knowledge, mesej, sitasi, konteks, Send dan Stop. |
| Model | Katalog, carian, keserasian, muat turun, fail dipasang, Profiles, penyesuai dan keadaan masa jalan. |
| Knowledge | Knowledge Bases, dokumen, pengekstrakan, pengindeksan, ujian pengambilan, asas dan sitasi. |
| Templates & Actions | Prom boleh guna semula, aliran kerja bertaip, input perkongsian mudah alih, semakan hasil dan laluan simpanan. |
| Utiliti | Diagnostik, muat turun, API desktop, sandar/pulih, tindakan pantas, Settings, Help, privasi dan lesen. |
Model yang Sesuai, Jawapan yang Boleh Dijejaki
QuickLLM membezakan keupayaan peranti yang diukur daripada anggaran dan memastikan jawapan berasaskan dipautkan kepada petikan dokumen setempat, bukan mereka sitasi yang tidak disokong.
- Sembang setempat peribadi: Jalankan perbualan melalui inferens setempat berpakej dengan keadaan model, Profile, Knowledge, konteks, penjanaan dan Stop yang jelas.
- Kesesuaian model: Ukur keupayaan peranti, bandingkan keperluan memori dan storan, muat turun model yang disahkan dan terangkan konfigurasi yang tidak disokong.
- Knowledge Bases: Serap dokumen yang disokong, bina indeks setempat, dapatkan petikan berasas dan buka sitasi pada sumbernya.
- Profiles dan LoRA: Simpan gabungan model, konteks, pensampelan, bahagian belakang dan penyesuai untuk kerja yang boleh diulang.
- Templates dan Actions: Guna semula prom peribadi dan jalankan aliran kerja teks dikongsi yang memastikan hasil tersedia untuk salin, kongsi atau perbualan.
- Kawalan mudah alih: Eksport perbualan, jalankan API setempat desktop apabila didayakan secara jelas dan cipta fail sandaran serta pemulihan yang disulitkan.
Nota: Model yang dimuat turun dan dokumen sumber mungkin mempunyai lesen serta sekatan penggunaan berasingan. Semaknya sebelum digunakan atau diedarkan semula.
Tetapan
Buka Settings untuk menyemak kawalan khusus aplikasi berikut:
- Enjin asli, bahagian belakang, utas, konteks, cache, storan dan keutamaan model
- Pengekstrakan Knowledge, embeddings, pengambilan, asas dan tingkah laku sitasi
- API setempat desktop, rangkaian, perkongsian mudah alih, templat dan tindakan
- Privasi, sandaran disulitkan, pemadaman, penampilan, pintasan, diagnostik dan lesen
Trial, Free dan Pro menggunakan set ciri berfungsi yang sama. Pro mengalih keluar iklan mudah alih dan peringatan sokongan desktop harian.
Pintasan Papan Kekunci
Pada platform Apple, gunakan Command apabila aplikasi memetakan pintasan Ctrl yang dipaparkan kepada pengubah suai utama platform. Halaman pintasan dalam aplikasi kekal berkuasa.
| Pintasan | Tindakan |
|---|---|
| Cmd/Ctrl + N | Perbualan baharu |
| Cmd/Ctrl + K | Cari perbualan |
| Cmd/Ctrl + M | Pilih model |
| Cmd/Ctrl + B | Pilih Knowledge Base |
| Cmd/Ctrl + Alt/Option + I | Butiran perbualan |
| Esc | Hentikan penjanaan |
Petua & Helah
Pilih konteks atau model yang lebih kecil sebelum memaksa konfigurasi yang tidak muat dalam memori.
Gunakan asas ketat apabila jawapan mesti kekal dalam sumber yang diindeks.
Buka sitasi dan bandingkan petikan yang diekstrak sebelum bergantung pada tuntutan yang dijana.
Simpan frasa laluan sandaran berasingan daripada fail sandaran disulitkan.
Penyelesaian Masalah
| Masalah | Perkara untuk disemak |
|---|---|
| Model tidak dapat dimuatkan | Semak keserasian, anggaran memori, storan, pengesahan fail, bahagian belakang yang dipilih dan sesi model aktif yang lain. |
| Penjanaan perlahan | Gunakan diagnostik peranti, model atau konteks yang lebih kecil, bahagian belakang yang sesuai dan prestasi yang diukur, bukan diandaikan. |
| Knowledge tiada jawapan | Semak pengekstrakan dokumen, status indeks, ujian pengambilan, penapis dan sama ada sumber benar-benar mengandungi bukti. |
| Sandaran tidak dapat dipulihkan | Sahkan frasa laluan, integriti fail, keserasian skema, ruang kosong dan semakan pemulihan sebelum menggantikan data semasa. |
Privasi
- Prom, perbualan, dokumen, embeddings, pengambilan dan teks yang dijana kekal pada peranti.
- Penggunaan rangkaian dihadkan kepada katalog/carian yang diminta, muat turun model, semakan kemas kini atau titik akhir API yang anda dayakan secara jelas.
- Input perkongsian mudah alih adalah sementara dan bahan asal luaran tidak pernah dipadamkan.
- Data ruang kerja milik App dan salinan terurus boleh dialih keluar melalui aliran kerja privasi yang disemak.
Tanggungjawab anda: Jangan dedahkan API desktop pilihan melangkaui sempadan dipercayai atau gunakan model dan dokumen bercanggah dengan lesen mereka.