DeskLLM - Посібник

Початок роботи

1. Завантажте модель

DeskLLM потребує мовну модель для роботи. При першому запуску клацніть значок завантаження на нижній панелі інструментів, щоб відкрити Model Manager.

Recommend tab — Виберіть модель, яка підходить вашому комп'ютеру:

Клацніть Download на будь-якій картці моделі. Прогрес завантаження показується в реальному часі.

Browse tab — Шукайте на Hugging Face будь-яку модель GGUF за ключовим словом.

2. Почніть спілкуватися

1. Виберіть модель з випадаючого меню на нижній панелі інструментів
2. Клацніть значок завантаження (модель завантажується автоматично при першому повідомленні, якщо не завантажена)
3. Введіть повідомлення та натисніть Return, щоб надіслати
4. AI відповідає в реальному часі, токен за токеном

Огляд інтерфейсу

Бічна панель

Перемикайте значком гамбургера (зверху ліворуч). Показує ваші чат-сесії.

• Клацніть сесію, щоб переключитися на неї
• Клацніть правою кнопкою для Rename або Delete
• Клацніть + New Chat, щоб почати нову розмову

Область чату

• Ваші повідомлення з'являються праворуч (кольорові бульбашки)
• Відповіді AI з'являються ліворуч
• Клацніть значок копіювання на будь-якому повідомленні, щоб скопіювати його в буфер обміну
• Натисніть Shift + Return для нового рядка без надсилання

Нижня панель інструментів

Управління моделями

Відкривається значком завантаження на панелі інструментів.

• Downloaded tab — Список усіх моделей на вашому диску. Видаляйте моделі, які вам більше не потрібні, щоб звільнити місце.
• Recommend tab — Кураторський список популярних моделей із завантаженням одним кліком. Простір на диску показується перед завантаженням.
• Browse tab — Шукайте безпосередньо на Hugging Face. Фільтруйте за назвою та переглядайте доступні файли GGUF для будь-якого репозиторію.

Де зберігаються моделі

Налаштування

Доступ через значок шестерні (внизу ліворуч) або з меню програми.

Вибір правильних налаштувань

• Temperature — Нижче (0.1–0.3) для фактичних відповідей. Вище (0.7–1.0) для творчого письма.
• Max Tokens — Збільшуйте для довших відповідей. 512 підходить для більшості розмов.
• Context Size — Більші значення дозволяють моделі пам'ятати більше з розмови, але використовують більше RAM.

REST API

DeskLLM запускає локальний API сервер, сумісний з форматом OpenAI. Інші програми на вашому комп'ютері можуть його використовувати.

Endpoint: http://localhost:8800

Приклад (curl)

curl http://localhost:8800/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "messages": [{"role": "user", "content": "Hello!"}],
    "stream": true
  }'

Приклад (Python)

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8800/v1", api_key="none")
response = client.chat.completions.create(
    model="local",
    messages=[{"role": "user", "content": "Hello!"}]
)
print(response.choices[0].message.content)

Гарячі клавіші

Поради

• Вільно перемикайте моделі — Ви можете змінювати моделі посеред розмови в будь-який час.
• System prompt — Налаштуйте його для різних випадків використання: перекладач, помічник з кодування, помічник з письма тощо.
• Кілька сесій — Тримайте окремі розмови для різних тем. Бічна панель полегшує перемикання.
• Офлайн-використання — Після завантаження моделі DeskLLM працює повністю офлайн.
• Інтеграція з API — Використовуйте вбудований API для з'єднання DeskLLM з іншими інструментами, скриптами або програмами на вашому комп'ютері.

Усунення несправностей

Конфіденційність

• Уся обробка AI відбувається локально на вашому комп'ютері
• Жодні дані не надсилаються на жоден зовнішній сервер
• Історія чату зберігається лише на вашому локальному диску
• Моделі завантажуються з Hugging Face (єдиний мережевий доступ)