DeskLLM - คู่มือ

เริ่มต้นใช้งาน

1. ดาวน์โหลดโมเดล

DeskLLM ต้องการโมเดลภาษาเพื่อทำงาน เมื่อเปิดใช้งานครั้งแรก ให้คลิกไอคอนดาวน์โหลดในแถบเครื่องมือด้านล่างเพื่อเปิด Model Manager

Recommend tab — เลือกโมเดลที่เหมาะกับคอมพิวเตอร์ของคุณ:

คลิก Download บนการ์ดโมเดลใดๆ ความคืบหน้าการดาวน์โหลดจะแสดงแบบเรียลไทม์

Browse tab — ค้นหาโมเดล GGUF ใดๆ บน Hugging Face ด้วยคำสำคัญ

2. เริ่มแชท

1. เลือกโมเดลจากเมนูดรอปดาวน์ในแถบเครื่องมือด้านล่าง
2. คลิกไอคอนโหลด (โมเดลจะโหลดอัตโนมัติเมื่อส่งข้อความครั้งแรกหากยังไม่ได้โหลด)
3. พิมพ์ข้อความของคุณและกด Return เพื่อส่ง
4. AI ตอบสนองแบบเรียลไทม์ ทีละโทเคน

ภาพรวมของอินเทอร์เฟซ

แถบด้านข้าง

สลับด้วยไอคอนแฮมเบอร์เกอร์ (มุมซ้ายบน) แสดงเซสชันแชทของคุณ

• คลิกเซสชันเพื่อสลับไปยังเซสชันนั้น
• คลิกขวาเพื่อ Rename หรือ Delete
• คลิก + New Chat เพื่อเริ่มการสนทนาใหม่

พื้นที่แชท

• ข้อความของคุณ ปรากฏที่ด้านขวา (ฟองอากาศมีสี)
• คำตอบของ AI ปรากฏที่ด้านซ้าย
• คลิกไอคอนคัดลอกบนข้อความใดๆ เพื่อคัดลอกไปยังคลิปบอร์ด
• กด Shift + Return เพื่อขึ้นบรรทัดใหม่โดยไม่ต้องส่ง

แถบเครื่องมือด้านล่าง

การจัดการโมเดล

เปิดด้วยไอคอนดาวน์โหลดในแถบเครื่องมือ

• Downloaded tab — แสดงรายการโมเดลทั้งหมดบนดิสก์ของคุณ ลบโมเดลที่ไม่ต้องการเพื่อเพิ่มพื้นที่
• Recommend tab — รายการที่คัดสรรของโมเดลยอดนิยมพร้อมดาวน์โหลดด้วยคลิกเดียว แสดงพื้นที่ดิสก์ก่อนดาวน์โหลด
• Browse tab — ค้นหา Hugging Face โดยตรง กรองตามชื่อและเรียกดูไฟล์ GGUF ที่มีอยู่สำหรับที่เก็บใดๆ

ตำแหน่งจัดเก็บโมเดล

การตั้งค่า

เข้าถึงจากไอคอนเฟือง (มุมซ้ายล่าง) หรือเมนูแอป

การเลือกการตั้งค่าที่เหมาะสม

• Temperature — ต่ำกว่า (0.1–0.3) สำหรับคำตอบที่อิงข้อเท็จจริง สูงกว่า (0.7–1.0) สำหรับการเขียนเชิงสร้างสรรค์
• Max Tokens — เพิ่มเพื่อให้คำตอบยาวขึ้น 512 เหมาะสำหรับการสนทนาส่วนใหญ่
• Context Size — ค่าที่มากขึ้นช่วยให้โมเดลจำการสนทนาได้มากขึ้น แต่ใช้ RAM มากขึ้น

REST API

DeskLLM รันเซิร์ฟเวอร์ API ภายในเครื่องที่เข้ากันได้กับรูปแบบ OpenAI แอปอื่นๆ บนคอมพิวเตอร์ของคุณสามารถใช้งานได้

เอนด์พอยต์: http://localhost:8800

ตัวอย่าง (curl)

curl http://localhost:8800/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "messages": [{"role": "user", "content": "Hello!"}],
    "stream": true
  }'

ตัวอย่าง (Python)

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8800/v1", api_key="none")
response = client.chat.completions.create(
    model="local",
    messages=[{"role": "user", "content": "Hello!"}]
)
print(response.choices[0].message.content)

ทางลัดคีย์บอร์ด

เคล็ดลับ

• สลับโมเดลได้อย่างอิสระ — คุณสามารถเปลี่ยนโมเดลกลางการสนทนาได้ทุกเมื่อ
• System prompt — ปรับแต่งสำหรับกรณีการใช้งานที่แตกต่างกัน: ผู้แปล ผู้ช่วยเขียนโค้ด ผู้ช่วยเขียน เป็นต้น
• เซสชันหลายรายการ — เก็บการสนทนาแยกกันสำหรับหัวข้อต่างๆ แถบด้านข้างทำให้สลับได้ง่าย
• ใช้งานออฟไลน์ — เมื่อโมเดลถูกดาวน์โหลดแล้ว DeskLLM ทำงานออฟไลน์ได้อย่างสมบูรณ์
• การรวม API — ใช้ API ในตัวเพื่อเชื่อมต่อ DeskLLM กับเครื่องมือ สคริปต์ หรือแอปอื่นๆ บนเครื่องของคุณ

การแก้ไขปัญหา

ความเป็นส่วนตัว

• การประมวลผล AI ทั้งหมดเกิดขึ้นภายในเครื่องของคุณ
• ไม่มีการส่งข้อมูลไปยังเซิร์ฟเวอร์ภายนอกใดๆ
• ประวัติการแชทถูกจัดเก็บไว้บนดิสก์ในเครื่องของคุณเท่านั้น
• โมเดลถูกดาวน์โหลดจาก Hugging Face (การเข้าถึงเครือข่ายเพียงอย่างเดียว)