DeskLLM - Przewodnik

Pierwsze kroki

1. Pobierz model

DeskLLM potrzebuje modelu językowego do działania. Przy pierwszym uruchomieniu kliknij ikonę pobierania w dolnym pasku narzędzi, aby otworzyć Model Manager.

Recommend tab — Wybierz model, który pasuje do twojego komputera:

Kliknij Download na dowolnej karcie modelu. Postęp pobierania jest pokazywany w czasie rzeczywistym.

Browse tab — Przeszukuj Hugging Face dla dowolnego modelu GGUF według słowa kluczowego.

2. Rozpocznij rozmowę

1. Wybierz model z rozwijanej listy w dolnym pasku narzędzi
2. Kliknij ikonę ładowania (model ładuje się automatycznie przy pierwszej wiadomości, jeśli nie został załadowany)
3. Wpisz wiadomość i naciśnij Return, aby wysłać
4. AI odpowiada w czasie rzeczywistym, token po tokenie

Przegląd interfejsu

Pasek boczny

Przełączaj ikoną hamburgera (lewy górny róg). Pokazuje twoje sesje czatu.

• Kliknij sesję, aby się do niej przełączyć
• Kliknij prawym przyciskiem myszy, aby Rename lub Delete
• Kliknij + New Chat, aby rozpocząć nową rozmowę

Obszar czatu

• Twoje wiadomości pojawiają się po prawej stronie (kolorowe dymki)
• Odpowiedzi AI pojawiają się po lewej stronie
• Kliknij ikonę kopiowania na dowolnej wiadomości, aby skopiować ją do schowka
• Naciśnij Shift + Return, aby przejść do nowej linii bez wysyłania

Dolny pasek narzędzi

Zarządzanie modelami

Otwórz ikoną pobierania w pasku narzędzi.

• Downloaded tab — Lista wszystkich modeli na twoim dysku. Usuń modele, których już nie potrzebujesz, aby zwolnić miejsce.
• Recommend tab — Wyselekcjonowana lista popularnych modeli z pobieraniem jednym kliknięciem. Miejsce na dysku jest pokazywane przed pobraniem.
• Browse tab — Przeszukuj bezpośrednio Hugging Face. Filtruj po nazwie i przeglądaj dostępne pliki GGUF dla dowolnego repozytorium.

Gdzie są przechowywane modele

Ustawienia

Dostęp z ikony koła zębatego (lewy dolny róg) lub z menu aplikacji.

Wybór odpowiednich ustawień

• Temperature — Niższa (0.1–0.3) dla rzeczowych odpowiedzi. Wyższa (0.7–1.0) dla kreatywnego pisania.
• Max Tokens — Zwiększ dla dłuższych odpowiedzi. 512 jest dobre dla większości rozmów.
• Context Size — Większe wartości pozwalają modelowi pamiętać więcej z rozmowy, ale zużywają więcej RAM.

REST API

DeskLLM uruchamia lokalny serwer API kompatybilny z formatem OpenAI. Inne aplikacje na twoim komputerze mogą z niego korzystać.

Endpoint: http://localhost:8800

Przykład (curl)

curl http://localhost:8800/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "messages": [{"role": "user", "content": "Hello!"}],
    "stream": true
  }'

Przykład (Python)

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8800/v1", api_key="none")
response = client.chat.completions.create(
    model="local",
    messages=[{"role": "user", "content": "Hello!"}]
)
print(response.choices[0].message.content)

Skróty klawiszowe

Wskazówki

• Swobodnie zmieniaj modele — Możesz zmienić model w trakcie rozmowy w dowolnym momencie.
• System prompt — Dostosuj go do różnych zastosowań: tłumacz, asystent kodowania, pomocnik pisania itp.
• Wiele sesji — Prowadź oddzielne rozmowy na różne tematy. Pasek boczny ułatwia przełączanie.
• Użycie offline — Po pobraniu modelu DeskLLM działa całkowicie offline.
• Integracja z API — Użyj wbudowanego API, aby połączyć DeskLLM z innymi narzędziami, skryptami lub aplikacjami na twoim komputerze.

Rozwiązywanie problemów

Prywatność

• Cała obróbka AI odbywa się lokalnie na twoim komputerze
• Żadne dane nie są wysyłane na żaden zewnętrzny serwer
• Historia czatu jest przechowywana tylko na twoim lokalnym dysku
• Modele są pobierane z Hugging Face (jedyny dostęp do sieci)