与完全运行在您桌面上的 AI 模型聊天。无需联网，数据不会离开您的设备。
入门
1. 下载模型
DeskLLM 需要语言模型才能工作。首次启动时，单击底部工具栏中的下载图标以打开 Model Manager。
Recommend tab — 选择适合您电脑的模型：
| 类别 | RAM | 最适合 |
|---|---|---|
| Ultra Light | 4 GB+ | 快速回答，资源占用最少 |
| Light | 8 GB+ | 日常任务，后台助手 |
| Standard | 16 GB+ | 聊天、写作、摘要 |
| High-End | 32 GB+ | 复杂推理、代码生成 |
在任何模型卡片上单击 Download。下载进度会实时显示。
Browse tab — 通过关键字在 Hugging Face 上搜索任何 GGUF 模型。
2. 开始聊天
- 在底部工具栏的下拉菜单中选择一个模型
- 单击加载图标（如果未加载，则在首次发送消息时自动加载）
- 输入消息并按 Return 发送
- AI 会逐个 token 实时响应
界面概览
侧边栏
使用左上角的汉堡图标切换。显示您的聊天会话。
- 单击会话以切换
- 右键单击以 Rename 或 Delete
- 单击 + New Chat 开始新对话
聊天区
- 您的消息 显示在右侧（彩色气泡）
- AI 响应 显示在左侧
- 单击任何消息上的复制图标将其复制到剪贴板
- 按 Shift + Return 换行而不发送
底部工具栏
| 元素 | 描述 |
|---|---|
| 模型下拉菜单 | 选择要使用的模型 |
| 下载图标 | 打开 Model Manager |
| 加载 / 卸载图标 | 手动加载或卸载当前模型 |
| 状态标签 | 响应期间显示 “Generating…” |
模型管理
使用工具栏中的下载图标打开。
- Downloaded tab — 列出磁盘上的所有模型。删除不再需要的模型以释放空间。
- Recommend tab — 精选的热门模型列表，可一键下载。下载前显示磁盘空间。
- Browse tab — 直接搜索 Hugging Face。按名称过滤并浏览任何仓库可用的 GGUF 文件。
模型存储位置
| OS | 路径 |
|---|---|
| macOS | ~/Library/Application Support/DeskAssist/llm_models/ |
| Windows | %APPDATA%/DeskAssist/llm_models/ |
设置
从左下角的齿轮图标或应用菜单访问。
| 设置 | 描述 | 默认值 |
|---|---|---|
| Temperature | 创造性级别（0.0 = 专注，1.0+ = 创造性） | 0.7 |
| Max Tokens | 最大响应长度 | 512 |
| Context Size | 模型可见的对话历史量 | 2048 |
| System Prompt | 每次对话前给模型的指令 | “You are a helpful assistant.” |
| API Enabled | 启动本地 REST API 服务器 | On |
| API Port | API 服务器的端口号 | 8800 |
选择合适的设置
- Temperature — 较低（0.1–0.3）适合事实性回答。较高（0.7–1.0）适合创意写作。
- Max Tokens — 增加以获得更长的响应。512 适合大多数对话。
- Context Size — 较大的值让模型记住更多对话内容，但占用更多 RAM。
REST API
DeskLLM 运行一个与 OpenAI 格式兼容的本地 API 服务器。您电脑上的其他应用可以使用它。
端点： http://localhost:8800
示例 (curl)
curl http://localhost:8800/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"messages": [{"role": "user", "content": "Hello!"}],
"stream": true
}'示例 (Python)
from openai import OpenAI
client = OpenAI(base_url="http://localhost:8800/v1", api_key="none")
response = client.chat.completions.create(
model="local",
messages=[{"role": "user", "content": "Hello!"}]
)
print(response.choices[0].message.content)键盘快捷键
| 操作 | macOS | Windows |
|---|---|---|
| 显示 / 隐藏窗口 | Ctrl + Cmd + F8 | Ctrl + Alt + F8 |
| 发送消息 | Return | Return |
| 换行 | Shift + Return | Shift + Return |
| 新建聊天 | Cmd + N | Ctrl + N |
提示
- 自由切换模型 — 您可以在对话中随时更改模型。
- 系统提示 — 针对不同用例自定义：翻译器、编码助手、写作助手等。
- 多个会话 — 为不同主题保留单独的对话。侧边栏让切换变得容易。
- 离线使用 — 模型下载后，DeskLLM 完全离线工作。
- API 集成 — 使用内置 API 将 DeskLLM 与您机器上的其他工具、脚本或应用连接。
故障排除
| 问题 | 解决方案 |
|---|---|
| 模型无法加载 | 检查可用 RAM。较小的量化（Q4_K_M）使用较少内存。 |
| 响应缓慢 | 尝试较小的模型。关闭其他占用内存的应用。 |
| 输出乱码 | 降低 temperature。尝试不同的模型。 |
| 下载失败 | 检查网络连接。再试一次 — 下载会自动恢复。 |
| 应用无法启动 | 删除设置文件并重新启动。 |
隐私
- 所有 AI 处理都在您的电脑上本地进行
- 不会向任何外部服务器发送数据
- 聊天历史仅存储在您的本地磁盘上
- 模型从 Hugging Face 下载（唯一的网络访问）