DeskLLM - Руководство

Начало работы

1. Загрузите модель

Для работы DeskLLM нужна языковая модель. При первом запуске нажмите значок загрузки на нижней панели инструментов, чтобы открыть Model Manager.

Recommend tab — Выберите модель, подходящую для вашего компьютера:

Нажмите Download на любой карточке модели. Прогресс загрузки отображается в реальном времени.

Browse tab — Ищите на Hugging Face любую модель GGUF по ключевому слову.

2. Начните общение

1. Выберите модель из выпадающего списка на нижней панели
2. Нажмите значок загрузки модели (модель загружается автоматически при первом сообщении, если ещё не загружена)
3. Введите сообщение и нажмите Return, чтобы отправить
4. ИИ отвечает в реальном времени, токен за токеном

Обзор интерфейса

Боковая панель

Переключайте значком гамбургера (вверху слева). Показывает ваши сеансы чата.

• Нажмите на сеанс, чтобы переключиться на него
• Щёлкните правой кнопкой для Rename или Delete
• Нажмите + New Chat, чтобы начать новый разговор

Область чата

• Ваши сообщения отображаются справа (цветные пузыри)
• Ответы ИИ отображаются слева
• Нажмите значок копирования у любого сообщения, чтобы скопировать его в буфер обмена
• Нажмите Shift + Return для новой строки без отправки

Нижняя панель инструментов

Управление моделями

Открывается значком загрузки на панели инструментов.

• Downloaded tab — Список всех моделей на вашем диске. Удалите модели, которые больше не нужны, чтобы освободить место.
• Recommend tab — Подобранный список популярных моделей с загрузкой в один клик. Размер на диске показывается перед загрузкой.
• Browse tab — Поиск напрямую на Hugging Face. Фильтр по имени и просмотр доступных GGUF-файлов в любом репозитории.

Где хранятся модели

Настройки

Доступ через значок шестерёнки (внизу слева) или меню приложения.

Выбор правильных настроек

• Temperature — Ниже (0.1–0.3) для фактических ответов. Выше (0.7–1.0) для творческого письма.
• Max Tokens — Увеличьте для более длинных ответов. 512 подходит для большинства разговоров.
• Context Size — Большие значения позволяют модели помнить больше из разговора, но требуют больше RAM.

REST API

DeskLLM запускает локальный API-сервер, совместимый с форматом OpenAI. Другие приложения на вашем компьютере могут его использовать.

Endpoint: http://localhost:8800

Пример (curl)

curl http://localhost:8800/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "messages": [{"role": "user", "content": "Hello!"}],
    "stream": true
  }'

Пример (Python)

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8800/v1", api_key="none")
response = client.chat.completions.create(
    model="local",
    messages=[{"role": "user", "content": "Hello!"}]
)
print(response.choices[0].message.content)

Сочетания клавиш

Советы

• Меняйте модели свободно — Вы можете менять модели в середине разговора в любой момент.
• System prompt — Настройте его под разные сценарии: переводчик, помощник по программированию, помощник для письма и т. д.
• Несколько сеансов — Ведите отдельные разговоры по разным темам. Боковая панель упрощает переключение.
• Использование офлайн — После загрузки модели DeskLLM работает полностью офлайн.
• Интеграция API — Используйте встроенный API, чтобы соединить DeskLLM с другими инструментами, скриптами или приложениями на вашей машине.

Устранение неполадок

Конфиденциальность

• Вся обработка ИИ происходит локально на вашем компьютере
• Никакие данные не отправляются на внешние серверы
• История чата хранится только на вашем локальном диске
• Модели загружаются с Hugging Face (единственный сетевой доступ)