與完全在您桌面上執行的 AI 模型聊天。無需網路，資料不會離開您的裝置。
入門
1. 下載模型
DeskLLM 需要語言模型才能運作。首次啟動時，點擊底部工具列中的下載圖示以開啟 Model Manager。
Recommend tab — 選擇適合您電腦的模型：
| 類別 | RAM | 最適合 |
|---|---|---|
| Ultra Light | 4 GB+ | 快速回答，最少資源 |
| Light | 8 GB+ | 日常任務，背景助理 |
| Standard | 16 GB+ | 聊天、寫作、摘要 |
| High-End | 32 GB+ | 複雜推理、程式碼生成 |
在任何模型卡片上點擊 Download。下載進度會即時顯示。
Browse tab — 透過關鍵字在 Hugging Face 上搜尋任何 GGUF 模型。
2. 開始聊天
- 在底部工具列的下拉式選單中選擇模型
- 點擊載入圖示（如未載入，首次傳送訊息時會自動載入）
- 輸入您的訊息並按 Return 傳送
- AI 會逐個 token 即時回應
介面總覽
側邊欄
使用左上角的漢堡圖示切換。顯示您的聊天會話。
- 點擊會話以切換
- 右鍵點擊以 Rename 或 Delete
- 點擊 + New Chat 開始新對話
聊天區
- 您的訊息 顯示在右側（彩色氣泡）
- AI 回應 顯示在左側
- 點擊任何訊息上的複製圖示以複製到剪貼簿
- 按 Shift + Return 換行而不傳送
底部工具列
| 元素 | 描述 |
|---|---|
| 模型下拉式選單 | 選擇要使用的模型 |
| 下載圖示 | 開啟 Model Manager |
| 載入 / 卸載圖示 | 手動載入或卸載目前模型 |
| 狀態標籤 | 回應期間顯示 “Generating…” |
模型管理
使用工具列中的下載圖示開啟。
- Downloaded tab — 列出磁碟上的所有模型。刪除不再需要的模型以釋放空間。
- Recommend tab — 精選的熱門模型清單，可一鍵下載。下載前會顯示磁碟空間。
- Browse tab — 直接搜尋 Hugging Face。依名稱篩選並瀏覽任何儲存庫可用的 GGUF 檔案。
模型儲存位置
| OS | 路徑 |
|---|---|
| macOS | ~/Library/Application Support/DeskAssist/llm_models/ |
| Windows | %APPDATA%/DeskAssist/llm_models/ |
設定
從左下角的齒輪圖示或應用程式選單存取。
| 設定 | 描述 | 預設值 |
|---|---|---|
| Temperature | 創造性等級（0.0 = 專注，1.0+ = 創意） | 0.7 |
| Max Tokens | 最大回應長度 | 512 |
| Context Size | 模型可見的對話歷史量 | 2048 |
| System Prompt | 每次對話前給予模型的指令 | “You are a helpful assistant.” |
| API Enabled | 啟動本地 REST API 伺服器 | On |
| API Port | API 伺服器的連接埠號碼 | 8800 |
選擇合適的設定
- Temperature — 較低（0.1–0.3）適合事實性回答。較高（0.7–1.0）適合創意寫作。
- Max Tokens — 增加以獲得更長的回應。512 適合大多數對話。
- Context Size — 較大的值讓模型記住更多對話內容，但會使用更多 RAM。
REST API
DeskLLM 執行一個與 OpenAI 格式相容的本地 API 伺服器。您電腦上的其他應用程式可以使用它。
端點： http://localhost:8800
範例 (curl)
curl http://localhost:8800/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"messages": [{"role": "user", "content": "Hello!"}],
"stream": true
}'範例 (Python)
from openai import OpenAI
client = OpenAI(base_url="http://localhost:8800/v1", api_key="none")
response = client.chat.completions.create(
model="local",
messages=[{"role": "user", "content": "Hello!"}]
)
print(response.choices[0].message.content)鍵盤快速鍵
| 動作 | macOS | Windows |
|---|---|---|
| 顯示 / 隱藏視窗 | Ctrl + Cmd + F8 | Ctrl + Alt + F8 |
| 傳送訊息 | Return | Return |
| 換行 | Shift + Return | Shift + Return |
| 新增聊天 | Cmd + N | Ctrl + N |
提示
- 自由切換模型 — 您可以在對話中隨時變更模型。
- 系統提示 — 針對不同用途自訂：翻譯器、編碼助手、寫作助手等。
- 多個會話 — 為不同主題保留分開的對話。側邊欄讓切換變得容易。
- 離線使用 — 模型下載後，DeskLLM 完全離線運作。
- API 整合 — 使用內建 API 將 DeskLLM 與您機器上的其他工具、腳本或應用程式連接。
疑難排解
| 問題 | 解決方案 |
|---|---|
| 模型無法載入 | 檢查可用 RAM。較小的量化（Q4_K_M）使用較少記憶體。 |
| 回應緩慢 | 嘗試較小的模型。關閉其他佔用記憶體的應用程式。 |
| 輸出亂碼 | 降低 temperature。嘗試不同的模型。 |
| 下載失敗 | 檢查網路連線。再試一次 — 下載會自動恢復。 |
| 應用程式無法啟動 | 刪除設定檔並重新啟動。 |
隱私
- 所有 AI 處理皆在您的電腦上本地進行
- 不會傳送資料到任何外部伺服器
- 聊天記錄僅儲存在您的本機磁碟上
- 模型從 Hugging Face 下載（唯一的網路存取）