DeskLLM - Οδηγός

Ξεκινώντας

1. Λήψη μοντέλου

Το DeskLLM χρειάζεται ένα γλωσσικό μοντέλο για να λειτουργήσει. Στην πρώτη εκκίνηση, κάντε κλικ στο εικονίδιο λήψης στην κάτω γραμμή εργαλείων για να ανοίξετε τον Model Manager.

Recommend tab — Επιλέξτε ένα μοντέλο που ταιριάζει στον υπολογιστή σας:

Κάντε κλικ στο Download σε οποιαδήποτε κάρτα μοντέλου. Η πρόοδος της λήψης εμφανίζεται σε πραγματικό χρόνο.

Browse tab — Αναζητήστε στο Hugging Face οποιοδήποτε μοντέλο GGUF με λέξη-κλειδί.

2. Ξεκινήστε συνομιλία

1. Επιλέξτε ένα μοντέλο από το αναπτυσσόμενο μενού στην κάτω γραμμή εργαλείων
2. Κάντε κλικ στο εικονίδιο φόρτωσης (το μοντέλο φορτώνεται αυτόματα στο πρώτο μήνυμα εάν δεν έχει φορτωθεί)
3. Πληκτρολογήστε το μήνυμά σας και πατήστε Return για αποστολή
4. Η τεχνητή νοημοσύνη απαντά σε πραγματικό χρόνο, token προς token

Επισκόπηση διεπαφής

Πλαϊνή μπάρα

Εναλλάξτε με το εικονίδιο hamburger (επάνω αριστερά). Εμφανίζει τις συνεδρίες συνομιλίας σας.

• Κάντε κλικ σε μια συνεδρία για να μεταβείτε σε αυτήν
• Κάντε δεξί κλικ για να επιλέξετε Rename ή Delete
• Κάντε κλικ στο + New Chat για να ξεκινήσετε νέα συνομιλία

Περιοχή συνομιλίας

• Τα μηνύματά σας εμφανίζονται στα δεξιά (έγχρωμες φούσκες)
• Οι απαντήσεις τεχνητής νοημοσύνης εμφανίζονται στα αριστερά
• Κάντε κλικ στο εικονίδιο αντιγραφής σε οποιοδήποτε μήνυμα για να το αντιγράψετε στο πρόχειρο
• Πατήστε Shift + Return για νέα γραμμή χωρίς αποστολή

Κάτω γραμμή εργαλείων

Διαχείριση μοντέλων

Ανοίξτε με το εικονίδιο λήψης στη γραμμή εργαλείων.

• Downloaded tab — Παραθέτει όλα τα μοντέλα στον δίσκο σας. Διαγράψτε μοντέλα που δεν χρειάζεστε πλέον για να ελευθερώσετε χώρο.
• Recommend tab — Επιλεγμένη λίστα δημοφιλών μοντέλων με λήψη ενός κλικ. Ο χώρος στον δίσκο εμφανίζεται πριν τη λήψη.
• Browse tab — Αναζήτηση απευθείας στο Hugging Face. Φιλτράρετε κατά όνομα και περιηγηθείτε στα διαθέσιμα αρχεία GGUF για οποιοδήποτε repository.

Πού αποθηκεύονται τα μοντέλα

Ρυθμίσεις

Πρόσβαση από το εικονίδιο γραναζιού (κάτω αριστερά) ή το μενού της εφαρμογής.

Επιλογή των σωστών ρυθμίσεων

• Temperature — Χαμηλότερο (0.1–0.3) για πραγματικές απαντήσεις. Υψηλότερο (0.7–1.0) για δημιουργική γραφή.
• Max Tokens — Αυξήστε για μεγαλύτερες απαντήσεις. Το 512 είναι καλό για τις περισσότερες συνομιλίες.
• Context Size — Μεγαλύτερες τιμές επιτρέπουν στο μοντέλο να θυμάται περισσότερα από τη συνομιλία, αλλά χρησιμοποιούν περισσότερη RAM.

REST API

Το DeskLLM εκτελεί έναν τοπικό διακομιστή API συμβατό με τη μορφή OpenAI. Άλλες εφαρμογές στον υπολογιστή σας μπορούν να τον χρησιμοποιήσουν.

Endpoint: http://localhost:8800

Παράδειγμα (curl)

curl http://localhost:8800/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "messages": [{"role": "user", "content": "Hello!"}],
    "stream": true
  }'

Παράδειγμα (Python)

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8800/v1", api_key="none")
response = client.chat.completions.create(
    model="local",
    messages=[{"role": "user", "content": "Hello!"}]
)
print(response.choices[0].message.content)

Συντομεύσεις πληκτρολογίου

Συμβουλές

• Αλλάξτε μοντέλα ελεύθερα — Μπορείτε να αλλάξετε μοντέλα στη μέση μιας συνομιλίας ανά πάσα στιγμή.
• System prompt — Προσαρμόστε το για διαφορετικές περιπτώσεις χρήσης: μεταφραστής, βοηθός κωδικοποίησης, βοηθός γραφής κ.λπ.
• Πολλαπλές συνεδρίες — Διατηρήστε ξεχωριστές συνομιλίες για διαφορετικά θέματα. Η πλαϊνή μπάρα το κάνει εύκολο.
• Χρήση εκτός σύνδεσης — Μόλις γίνει λήψη ενός μοντέλου, το DeskLLM λειτουργεί εντελώς εκτός σύνδεσης.
• Ενσωμάτωση API — Χρησιμοποιήστε το ενσωματωμένο API για να συνδέσετε το DeskLLM με άλλα εργαλεία, scripts ή εφαρμογές στον υπολογιστή σας.

Αντιμετώπιση προβλημάτων

Απόρρητο

• Όλη η επεξεργασία τεχνητής νοημοσύνης γίνεται τοπικά στον υπολογιστή σας
• Δεν αποστέλλονται δεδομένα σε εξωτερικό διακομιστή
• Το ιστορικό συνομιλιών αποθηκεύεται μόνο στον τοπικό σας δίσκο
• Τα μοντέλα κατεβαίνουν από το Hugging Face (η μόνη πρόσβαση δικτύου)