QuickLLM - 指南

QuickLLM 用户指南

QuickLLM 将推理、对话、文档、嵌入、检索与生成的文本全部保留在您的设备上,同时让模型适配情况与网络用途清晰可见。

快速上手

  1. 运行设备诊断,选择一个适合本机的模型。
  2. 下载、校验并加载模型。
  3. 开始对话并选择一个预设。
  4. 也可以创建知识库、添加可信文档,并核对引用。
  5. 在移动或删除数据之前,导出重要成果或创建加密备份。
小提示: 在强行使用超出内存的配置之前,请先选择更小的上下文或更小的模型。

界面概览

区域用途
对话对话列表、模型/预设/知识库选择、消息、引用、上下文、发送与停止。
模型模型目录、搜索、兼容性、下载、已安装文件、预设、适配器与运行时状态。
Knowledge知识库、文档、内容提取、索引、检索测试、依据与引用。
模板 & 操作可复用提示词、类型化工作流、移动端分享输入、结果确认与保存路径。
实用工具诊断、下载、桌面 API、备份/恢复、快捷操作、设置、帮助、隐私与许可信息。

适合本机的模型,可追溯的答案

QuickLLM 会区分实测的设备能力与估算值,并让有依据的回答始终关联到本地文档摘录,而不是凭空编造引用。

  • 私密的本地对话: 通过内置的本地推理进行对话,模型、预设、知识库、上下文、生成与停止状态一目了然。
  • 模型适配: 实测设备能力,比较内存与存储需求,下载经过校验的模型,并解释哪些配置无法支持。
  • 知识库: 导入受支持的文档,构建本地索引,检索有依据的摘录,并可直接打开引用出处。
  • 预设与 LoRA: 保存模型、上下文、采样、后端与适配器的组合,便于重复使用。
  • 模板与操作: 复用私密提示词,运行基于共享文本的工作流,结果可随时复制、分享或转入对话。
  • 便携可控: 导出对话,在明确启用后运行桌面本地 API,并创建加密的备份与恢复文件。
注意: 下载的模型与源文档可能有各自的许可与使用限制。使用或再分发前请先确认。

设置

打开设置即可查看以下应用专属控制项:

  • 原生引擎、后端、线程、上下文、缓存、存储与模型偏好设置
  • 知识提取、嵌入、检索、依据与引用行为
  • 桌面本地 API、网络、移动端分享、模板与操作
  • 隐私、加密备份、删除、外观、快捷键、诊断与许可信息

试用版、免费版与 Pro 版拥有相同的功能集。Pro 版会移除移动端广告和桌面端每日支持提醒。

键盘快捷键

在 Apple 平台上,当应用将显示的 Ctrl 快捷键映射到平台主修饰键时,请使用 Command。以应用内的快捷键页面为准。

快捷键操作
Cmd/Ctrl + N新建对话
Cmd/Ctrl + K搜索对话
Cmd/Ctrl + M选择模型
Cmd/Ctrl + B选择知识库
Cmd/Ctrl + Alt/Option + I对话详情
Esc停止生成

提示 & 技巧

在强行使用超出内存的配置之前,请先选择更小的上下文或更小的模型。
当答案必须严格限定在已索引的来源内时,请使用严格依据模式。
在依赖生成的结论之前,请打开引用并对照提取出的原文摘录。
请将备份口令与加密备份文件分开保管。

疑难解答

问题排查要点
模型无法加载请检查兼容性、内存估算、存储空间、文件校验、所选后端,以及是否还有另一个模型会话处于活动状态。
生成速度慢请使用设备诊断,改用更小的模型或上下文、选择合适的后端,并以实测结果而非主观推测为准。
知识库没有给出答案请检查文档提取、索引状态、检索测试、筛选条件,以及来源中是否真的包含相关证据。
备份无法恢复在替换当前数据之前,请确认口令、文件完整性、结构兼容性、可用空间以及恢复前的确认信息。

隐私

  • 提示词、对话、文档、嵌入、检索与生成的文本都保留在设备上。
  • 网络使用仅限于您主动发起的目录/搜索请求、模型下载、更新检查,或您明确启用的 API 端点。
  • 移动端分享的输入内容是临时的,外部原始文件绝不会被删除。
  • 应用自有的工作区数据及其管理副本,可通过带确认步骤的隐私流程删除。
您的责任: 请勿将可选的桌面 API 暴露到可信边界之外,也不要以违反许可的方式使用模型与文档。