Посібник користувача QuickLLM
QuickLLM зберігає інференс, розмови, документи, ембеддинги, пошук і згенерований текст на вашому пристрої, водночас наочно показуючи відповідність моделі та призначення мережі.
Початок роботи
- Запустіть діагностику пристрою та виберіть модель, яка підходить.
- Завантажте, перевірте та завантажте модель у пам’ять.
- Почніть розмову та виберіть профіль.
- За бажанням створіть базу знань, додайте надійні документи та перевірте посилання на джерела.
- Експортуйте важливу роботу або створіть зашифровану резервну копію перед переміщенням чи видаленням даних.
Порада: Виберіть менший контекст або модель, перш ніж примусово використовувати конфігурацію, що не вміщується в пам’яті.
Огляд інтерфейсу
| Область | Призначення |
|---|---|
| Чат | Список розмов, вибір моделі/профілю/бази знань, повідомлення, посилання на джерела, контекст, Надіслати та Зупинити. |
| Моделі | Каталог, пошук, сумісність, завантаження, установлені файли, профілі, адаптери та стан середовища виконання. |
| Knowledge | Бази знань, документи, вилучення, індексування, тести пошуку, прив’язка до джерел і посилання на джерела. |
| Шаблони & дії | Повторно використовувані запити, типізовані робочі процеси, мобільний спільний ввід, перегляд результатів і шляхи збереження. |
| Утиліти | Діагностика, завантаження, локальний API для комп’ютера, резервне копіювання/відновлення, швидка дія, Налаштування, Довідка, конфіденційність і ліцензії. |
Моделі, які підходять, і відповіді, які можна відстежити
QuickLLM відрізняє виміряні можливості пристрою від оцінок і пов’язує обґрунтовані відповіді з локальними уривками документів, а не вигадує непідтверджені посилання.
- Приватний локальний чат: Ведіть розмови через вбудований локальний інференс із видимим станом моделі, профілю, знань, контексту, генерації та зупинення.
- Відповідність моделі: Вимірюйте можливості пристрою, порівнюйте потреби в пам’яті та сховищі, завантажуйте перевірені моделі й пояснюйте непідтримувані конфігурації.
- Бази знань: Імпортуйте підтримувані документи, створюйте локальні індекси, отримуйте обґрунтовані уривки та відкривайте посилання в їхньому джерелі.
- Профілі та LoRA: Зберігайте комбінації моделі, контексту, семплінгу, бекенду й адаптера для повторюваної роботи.
- Шаблони та дії: Повторно використовуйте приватні запити та запускайте робочі процеси зі спільним текстом, щоб результати залишалися доступними для копіювання, поширення або розмови.
- Переносне керування: Експортуйте розмови, запускайте локальний API для комп’ютера, коли це явно ввімкнено, і створюйте зашифровані файли резервного копіювання та відновлення.
Примітка: Завантажені моделі та вихідні документи можуть мати окремі ліцензії й обмеження використання. Ознайомтеся з ними перед використанням або розповсюдженням.
Налаштування
Відкрийте Налаштування, щоб переглянути такі елементи керування, специфічні для застосунку:
- Нативний рушій, бекенд, потоки, контекст, кеш, сховище та налаштування моделі
- Вилучення знань, ембеддинги, пошук, прив’язка до джерел і поведінка посилань
- Локальний API для комп’ютера, мережа, мобільне поширення, шаблони та дії
- Конфіденційність, зашифроване резервне копіювання, видалення, вигляд, комбінації клавіш, діагностика та ліцензії
Пробна, безплатна та Pro-версія використовують однаковий набір функціональних можливостей. Pro прибирає мобільну рекламу та щоденне нагадування про підтримку настільної версії.
Комбінації клавіш
На платформах Apple використовуйте Command, коли застосунок зіставляє показану комбінацію Ctrl з основним модифікатором платформи. Сторінка комбінацій у застосунку залишається авторитетним джерелом.
| Комбінація | Дія |
|---|---|
| Cmd/Ctrl + N | Нова розмова |
| Cmd/Ctrl + K | Пошук розмов |
| Cmd/Ctrl + M | Вибрати модель |
| Cmd/Ctrl + B | Вибрати базу знань |
| Cmd/Ctrl + Alt/Option + I | Відомості про розмову |
| Esc | Зупинити генерацію |
Поради & підказки
Виберіть менший контекст або модель, перш ніж примусово використовувати конфігурацію, що не вміщується в пам’яті.
Використовуйте сувору прив’язку до джерел, коли відповідь має обмежуватися індексованими джерелами.
Відкривайте посилання на джерела та порівнюйте вилучений уривок, перш ніж покладатися на згенероване твердження.
Зберігайте паролі резервних копій окремо від зашифрованого файлу резервної копії.
Усунення несправностей
| Проблема | Що перевірити |
|---|---|
| Модель не завантажується | Перевірте сумісність, оцінку пам’яті, сховище, перевірку файлу, вибраний бекенд і наявність іншого активного сеансу моделі. |
| Генерація повільна | Використовуйте діагностику пристрою, меншу модель або контекст, відповідний бекенд і виміряну, а не припущену продуктивність. |
| У базі знань немає відповіді | Перевірте вилучення документа, стан індексу, тест пошуку, фільтри й те, чи справді джерело містить докази. |
| Резервну копію не вдається відновити | Перевірте пароль, цілісність файлу, сумісність схеми, вільне місце та перегляд відновлення перед заміною поточних даних. |
Конфіденційність
- Запити, розмови, документи, ембеддинги, пошук і згенерований текст залишаються на пристрої.
- Використання мережі обмежується запитаними каталогом/пошуком, завантаженням моделі, перевіркою оновлень або кінцевою точкою API, яку ви явно вмикаєте.
- Вхідні дані мобільного поширення тимчасові, а зовнішні оригінали ніколи не видаляються.
- Дані робочого простору, що належать програмі, та керовані копії можна видалити за допомогою перевіреного процесу конфіденційності.
Ваша відповідальність: Не відкривайте необов’язковий локальний API для комп’ютера за межами довіреної межі й не використовуйте моделі та документи всупереч їхнім ліцензіям.