DeskLLM - מדריך

תחילת העבודה

1. הורד מודל

DeskLLM זקוק למודל שפה כדי לעבוד. בהפעלה הראשונה, לחץ על סמל ההורדה בסרגל הכלים התחתון כדי לפתוח את Model Manager.

Recommend tab — בחר מודל שמתאים למחשב שלך:

לחץ Download בכל כרטיס מודל. התקדמות ההורדה מוצגת בזמן אמת.

Browse tab — חפש בHugging Face עבור כל מודל GGUF לפי מילת מפתח.

2. התחל לצ'וטט

1. בחר מודל מהתפריט הנפתח בסרגל הכלים התחתון
2. לחץ על סמל הטעינה (המודל נטען אוטומטית בהודעה הראשונה אם לא נטען)
3. הקלד את ההודעה שלך ולחץ Return לשליחה
4. ה-AI מגיב בזמן אמת, טוקן אחר טוקן

סקירת הממשק

סרגל הצד

החלף עם סמל ההמבורגר (משמאל למעלה). מציג את סשני הצ'אט שלך.

• לחץ על סשן כדי לעבור אליו
• לחץ ימני כדי לבצע Rename או Delete
• לחץ על + New Chat כדי להתחיל שיחה חדשה

אזור הצ'אט

• ההודעות שלך מופיעות מימין (בועות צבעוניות)
• תגובות AI מופיעות משמאל
• לחץ על סמל ההעתקה בכל הודעה כדי להעתיקה ללוח
• לחץ Shift + Return לשורה חדשה ללא שליחה

סרגל הכלים התחתון

ניהול מודלים

פתח עם סמל ההורדה בסרגל הכלים.

• Downloaded tab — מציג את כל המודלים בדיסק שלך. מחק מודלים שאינך זקוק להם יותר כדי לפנות מקום.
• Recommend tab — רשימה מנופה של מודלים פופולריים עם הורדה בלחיצה אחת. שטח הדיסק מוצג לפני ההורדה.
• Browse tab — חפש בHugging Face ישירות. סנן לפי שם ועיין בקבצי GGUF הזמינים בכל מאגר.

היכן מאוחסנים המודלים

הגדרות

גש מסמל גלגל השיניים (משמאל למטה) או מתפריט האפליקציה.

בחירת ההגדרות הנכונות

• Temperature — נמוך יותר (0.1–0.3) לתשובות עובדתיות. גבוה יותר (0.7–1.0) לכתיבה יצירתית.
• Max Tokens — הגדל לקבלת תגובות ארוכות יותר. 512 טוב לרוב השיחות.
• Context Size — ערכים גדולים יותר מאפשרים למודל לזכור יותר מהשיחה, אך משתמשים ביותר RAM.

REST API

DeskLLM מפעיל שרת API מקומי תואם לפורמט OpenAI. אפליקציות אחרות במחשב שלך יכולות להשתמש בו.

נקודת קצה: http://localhost:8800

דוגמה (curl)

curl http://localhost:8800/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "messages": [{"role": "user", "content": "Hello!"}],
    "stream": true
  }'

דוגמה (Python)

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8800/v1", api_key="none")
response = client.chat.completions.create(
    model="local",
    messages=[{"role": "user", "content": "Hello!"}]
)
print(response.choices[0].message.content)

קיצורי מקלדת

טיפים

• החלף מודלים בחופשיות — אתה יכול לשנות מודלים באמצע השיחה בכל עת.
• System prompt — התאם אותו למקרי שימוש שונים: מתרגם, עוזר קוד, עוזר כתיבה וכו'.
• סשנים מרובים — שמור שיחות נפרדות לנושאים שונים. סרגל הצד מקל על המעבר.
• שימוש לא מקוון — ברגע שמודל הורד, DeskLLM פועל לחלוטין לא מקוון.
• אינטגרציית API — השתמש ב-API המובנה כדי לחבר את DeskLLM עם כלים, סקריפטים או אפליקציות אחרות במכונה שלך.

פתרון בעיות

פרטיות

• כל עיבוד ה-AI מתרחש מקומית במחשב שלך
• שום נתונים לא נשלחים לשום שרת חיצוני
• היסטוריית הצ'אט מאוחסנת רק בדיסק המקומי שלך
• המודלים מורדים מ-Hugging Face (הגישה היחידה לרשת)