DeskLLM - Hướng dẫn

Bắt đầu

1. Tải xuống mô hình

DeskLLM cần một mô hình ngôn ngữ để hoạt động. Khi khởi chạy lần đầu, hãy nhấp vào biểu tượng tải xuống trên thanh công cụ phía dưới để mở Model Manager.

Recommend tab — Chọn mô hình phù hợp với máy tính của bạn:

Nhấp Download trên bất kỳ thẻ mô hình nào. Tiến trình tải xuống được hiển thị theo thời gian thực.

Browse tab — Tìm kiếm Hugging Face cho bất kỳ mô hình GGUF nào theo từ khóa.

2. Bắt đầu trò chuyện

1. Chọn một mô hình từ menu thả xuống trên thanh công cụ phía dưới
2. Nhấp vào biểu tượng tải (mô hình tự động tải khi gửi tin nhắn đầu tiên nếu chưa tải)
3. Nhập tin nhắn của bạn và nhấn Return để gửi
4. AI phản hồi theo thời gian thực, từng token một

Tổng quan giao diện

Thanh bên

Bật/tắt bằng biểu tượng hamburger (góc trên bên trái). Hiển thị các phiên trò chuyện của bạn.

• Nhấp vào một phiên để chuyển sang phiên đó
• Nhấp chuột phải để chọn Rename hoặc Delete
• Nhấp + New Chat để bắt đầu cuộc trò chuyện mới

Khu vực trò chuyện

• Tin nhắn của bạn xuất hiện ở bên phải (bong bóng màu)
• Phản hồi của AI xuất hiện ở bên trái
• Nhấp vào biểu tượng sao chép trên bất kỳ tin nhắn nào để sao chép vào clipboard
• Nhấn Shift + Return để xuống dòng mới mà không gửi

Thanh công cụ phía dưới

Quản lý mô hình

Mở bằng biểu tượng tải xuống trên thanh công cụ.

• Downloaded tab — Liệt kê tất cả các mô hình trên đĩa của bạn. Xóa các mô hình bạn không còn cần để giải phóng dung lượng.
• Recommend tab — Danh sách được tuyển chọn các mô hình phổ biến với tải xuống một cú nhấp chuột. Dung lượng đĩa được hiển thị trước khi tải xuống.
• Browse tab — Tìm kiếm trực tiếp Hugging Face. Lọc theo tên và duyệt các tệp GGUF có sẵn cho bất kỳ repository nào.

Nơi lưu trữ mô hình

Cài đặt

Truy cập từ biểu tượng bánh răng (góc dưới bên trái) hoặc menu ứng dụng.

Chọn cài đặt phù hợp

• Temperature — Thấp hơn (0.1–0.3) cho câu trả lời thực tế. Cao hơn (0.7–1.0) cho viết sáng tạo.
• Max Tokens — Tăng cho phản hồi dài hơn. 512 phù hợp cho hầu hết các cuộc trò chuyện.
• Context Size — Giá trị lớn hơn cho phép mô hình ghi nhớ nhiều hơn về cuộc trò chuyện, nhưng sử dụng nhiều RAM hơn.

REST API

DeskLLM chạy một máy chủ API cục bộ tương thích với định dạng OpenAI. Các ứng dụng khác trên máy tính của bạn có thể sử dụng nó.

Endpoint: http://localhost:8800

Ví dụ (curl)

curl http://localhost:8800/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "messages": [{"role": "user", "content": "Hello!"}],
    "stream": true
  }'

Ví dụ (Python)

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8800/v1", api_key="none")
response = client.chat.completions.create(
    model="local",
    messages=[{"role": "user", "content": "Hello!"}]
)
print(response.choices[0].message.content)

Phím tắt

Mẹo

• Chuyển đổi mô hình tự do — Bạn có thể thay đổi mô hình giữa cuộc trò chuyện bất cứ lúc nào.
• System prompt — Tùy chỉnh cho các trường hợp sử dụng khác nhau: phiên dịch, trợ lý mã hóa, trợ lý viết, v.v.
• Nhiều phiên — Giữ các cuộc trò chuyện riêng biệt cho các chủ đề khác nhau. Thanh bên giúp dễ dàng chuyển đổi.
• Sử dụng ngoại tuyến — Khi mô hình đã được tải xuống, DeskLLM hoạt động hoàn toàn ngoại tuyến.
• Tích hợp API — Sử dụng API tích hợp sẵn để kết nối DeskLLM với các công cụ, tập lệnh hoặc ứng dụng khác trên máy của bạn.

Khắc phục sự cố

Quyền riêng tư

• Tất cả xử lý AI diễn ra cục bộ trên máy tính của bạn
• Không có dữ liệu nào được gửi đến bất kỳ máy chủ bên ngoài nào
• Lịch sử trò chuyện chỉ được lưu trữ trên đĩa cục bộ của bạn
• Các mô hình được tải xuống từ Hugging Face (truy cập mạng duy nhất)