DeskLLM - गाइड

पूरी तरह आपके डेस्कटॉप पर चलने वाले AI मॉडल्स से चैट करें। इंटरनेट की आवश्यकता नहीं, डेटा आपके डिवाइस से बाहर नहीं जाता।

शुरुआत

1. मॉडल डाउनलोड करें

DeskLLM को काम करने के लिए एक भाषा मॉडल की आवश्यकता है। पहली बार लॉन्च पर, Model Manager खोलने के लिए नीचे टूलबार में डाउनलोड आइकन पर क्लिक करें।

Recommend tab — अपने कंप्यूटर के लिए उपयुक्त मॉडल चुनें:

श्रेणी	RAM	के लिए सर्वोत्तम
Ultra Light	4 GB+	त्वरित उत्तर, न्यूनतम संसाधन
Light	8 GB+	दैनिक कार्य, पृष्ठभूमि सहायक
Standard	16 GB+	चैट, लेखन, सारांश
High-End	32 GB+	जटिल तर्क, कोड जनरेशन

किसी भी मॉडल कार्ड पर Download क्लिक करें। डाउनलोड प्रगति रीयल टाइम में दिखाई देती है।

Browse tab — कीवर्ड के द्वारा Hugging Face पर किसी भी GGUF मॉडल को खोजें।

2. चैटिंग शुरू करें

नीचे टूलबार के ड्रॉपडाउन से एक मॉडल चुनें
लोड आइकन पर क्लिक करें (यदि लोड नहीं है, तो पहले संदेश पर मॉडल स्वचालित रूप से लोड हो जाता है)
अपना संदेश टाइप करें और भेजने के लिए Return दबाएँ
AI रीयल टाइम में, टोकन-दर-टोकन प्रतिक्रिया देता है

इंटरफ़ेस अवलोकन

साइडबार

हैमबर्गर आइकन (ऊपर-बाएँ) से टॉगल करें। आपके चैट सत्र दिखाता है।

स्विच करने के लिए सत्र पर क्लिक करें
Rename या Delete के लिए राइट-क्लिक करें
नई बातचीत शुरू करने के लिए + New Chat क्लिक करें

चैट क्षेत्र

आपके संदेश दाईं ओर दिखाई देते हैं (रंगीन बबल)
AI प्रतिक्रियाएँ बाईं ओर दिखाई देती हैं
क्लिपबोर्ड पर कॉपी करने के लिए किसी भी संदेश के कॉपी आइकन पर क्लिक करें
भेजे बिना नई पंक्ति के लिए Shift + Return दबाएँ

नीचे टूलबार

तत्व	विवरण
मॉडल ड्रॉपडाउन	उपयोग करने के लिए मॉडल चुनें
डाउनलोड आइकन	Model Manager खोलें
लोड / अनलोड आइकन	वर्तमान मॉडल को मैन्युअल रूप से लोड या अनलोड करें
स्थिति लेबल	प्रतिक्रिया के दौरान “Generating…” दिखाता है

मॉडल प्रबंधन

टूलबार में डाउनलोड आइकन से खोलें।

Downloaded tab — आपकी डिस्क पर सभी मॉडल सूचीबद्ध करता है। जगह खाली करने के लिए जिन मॉडलों की अब आवश्यकता नहीं है उन्हें हटा दें।
Recommend tab — एक-क्लिक डाउनलोड के साथ लोकप्रिय मॉडलों की चयनित सूची। डाउनलोड से पहले डिस्क स्थान दिखाया जाता है।
Browse tab — Hugging Face को सीधे खोजें। नाम से फ़िल्टर करें और किसी भी रिपॉजिटरी के लिए उपलब्ध GGUF फ़ाइलें ब्राउज़ करें।

मॉडल कहाँ संग्रहीत हैं

OS	पथ
macOS	`~/Library/Application Support/DeskAssist/llm_models/`
Windows	`%APPDATA%/DeskAssist/llm_models/`

सेटिंग्स

गियर आइकन (नीचे-बाएँ) या ऐप मेनू से एक्सेस करें।

सेटिंग	विवरण	डिफ़ॉल्ट
Temperature	रचनात्मकता स्तर (0.0 = केंद्रित, 1.0+ = रचनात्मक)	0.7
Max Tokens	अधिकतम प्रतिक्रिया लंबाई	512
Context Size	मॉडल कितना बातचीत इतिहास देखता है	2048
System Prompt	हर बातचीत से पहले मॉडल को दिए गए निर्देश	“You are a helpful assistant.”
API Enabled	स्थानीय REST API सर्वर शुरू करें	On
API Port	API सर्वर के लिए पोर्ट संख्या	8800

सही सेटिंग्स चुनना

Temperature — तथ्यात्मक उत्तरों के लिए कम (0.1–0.3)। रचनात्मक लेखन के लिए अधिक (0.7–1.0)।
Max Tokens — लंबी प्रतिक्रियाओं के लिए बढ़ाएँ। अधिकांश बातचीत के लिए 512 अच्छा है।
Context Size — बड़े मान मॉडल को बातचीत का अधिक स्मरण रखने देते हैं, लेकिन अधिक RAM का उपयोग करते हैं।

REST API

DeskLLM OpenAI प्रारूप के साथ संगत एक स्थानीय API सर्वर चलाता है। आपके कंप्यूटर के अन्य ऐप्स इसका उपयोग कर सकते हैं।

एंडपॉइंट: http://localhost:8800

उदाहरण (curl)

curl http://localhost:8800/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "messages": [{"role": "user", "content": "Hello!"}],
    "stream": true
  }'

उदाहरण (Python)

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8800/v1", api_key="none")
response = client.chat.completions.create(
    model="local",
    messages=[{"role": "user", "content": "Hello!"}]
)
print(response.choices[0].message.content)

कीबोर्ड शॉर्टकट

क्रिया	macOS	Windows
विंडो दिखाएँ / छिपाएँ	`Ctrl` + `Cmd` + `F8`	`Ctrl` + `Alt` + `F8`
संदेश भेजें	`Return`	`Return`
नई पंक्ति	`Shift` + `Return`	`Shift` + `Return`
नई चैट	`Cmd` + `N`	`Ctrl` + `N`

सुझाव

स्वतंत्र रूप से मॉडल बदलें — आप किसी भी समय बातचीत के बीच में मॉडल बदल सकते हैं।
System prompt — विभिन्न उपयोग मामलों के लिए इसे अनुकूलित करें: अनुवादक, कोडिंग सहायक, लेखन सहायक, इत्यादि।
एकाधिक सत्र — विभिन्न विषयों के लिए अलग बातचीत रखें। साइडबार स्विच करना आसान बनाता है।
ऑफ़लाइन उपयोग — एक बार मॉडल डाउनलोड हो जाने के बाद, DeskLLM पूरी तरह ऑफ़लाइन काम करता है।
API एकीकरण — अपनी मशीन पर अन्य टूल्स, स्क्रिप्ट्स, या ऐप्स के साथ DeskLLM को जोड़ने के लिए अंतर्निहित API का उपयोग करें।

समस्या निवारण

समस्या	समाधान
मॉडल लोड नहीं होगा	उपलब्ध RAM जाँचें। छोटा क्वांटाइज़ेशन (Q4_K_M) कम मेमोरी का उपयोग करता है।
धीमी प्रतिक्रियाएँ	एक छोटा मॉडल आज़माएँ। अन्य मेमोरी-भारी ऐप्स बंद करें।
विकृत आउटपुट	temperature कम करें। एक अलग मॉडल आज़माएँ।
डाउनलोड विफल	इंटरनेट कनेक्शन जाँचें। फिर से प्रयास करें — डाउनलोड स्वचालित रूप से फिर से शुरू होते हैं।
ऐप शुरू नहीं होगा	सेटिंग्स फ़ाइल हटाएँ और फिर से लॉन्च करें।

गोपनीयता

सभी AI प्रसंस्करण आपके कंप्यूटर पर स्थानीय रूप से होता है
किसी भी बाहरी सर्वर पर कोई डेटा नहीं भेजा जाता
चैट इतिहास केवल आपकी स्थानीय डिस्क पर संग्रहीत होता है
मॉडल Hugging Face से डाउनलोड किए जाते हैं (एकमात्र नेटवर्क पहुँच)