DeskLLM - Opas

Aloitus

1. Lataa malli

DeskLLM tarvitsee kielimallin toimiakseen. Ensimmäisellä käynnistyskerralla napsauta latauskuvaketta alapalkissa avataksesi Model Managerin.

Recommend tab — Valitse malli, joka sopii tietokoneeseesi:

Napsauta Download millä tahansa mallikortilla. Latauksen edistyminen näkyy reaaliajassa.

Browse tab — Etsi mitä tahansa GGUF-mallia Hugging Facesta avainsanalla.

2. Aloita keskustelu

1. Valitse malli alapalkin pudotusvalikosta
2. Napsauta lataa-kuvaketta (malli latautuu automaattisesti ensimmäisen viestin yhteydessä, jos sitä ei ole vielä ladattu)
3. Kirjoita viestisi ja paina Return lähettääksesi
4. Tekoäly vastaa reaaliajassa, token kerrallaan

Käyttöliittymän yleiskatsaus

Sivupalkki

Vaihda näkyvyys hampurilaiskuvakkeella (vasen yläkulma). Näyttää chat-istuntosi.

• Napsauta istuntoa vaihtaaksesi siihen
• Napsauta hiiren oikealla painikkeella valitaksesi Rename tai Delete
• Napsauta + New Chat aloittaaksesi uuden keskustelun

Chat-alue

• Sinun viestisi näkyvät oikealla (värilliset kuplat)
• Tekoälyn vastaukset näkyvät vasemmalla
• Napsauta minkä tahansa viestin kopioi-kuvaketta kopioidaksesi sen leikepöydälle
• Paina Shift + Return lisätäksesi rivinvaihdon ilman lähettämistä

Alapalkki

Mallien hallinta

Avaa työkalupalkin latauskuvakkeesta.

• Downloaded tab — Listaa kaikki levyllesi tallennetut mallit. Poista mallit, joita et enää tarvitse, vapauttaaksesi tilaa.
• Recommend tab — Kuratoitu lista suosituista malleista yhdellä napsautuksella ladattavissa. Levytila näytetään ennen lataamista.
• Browse tab — Etsi suoraan Hugging Facesta. Suodata nimellä ja selaa minkä tahansa repositoryn käytettävissä olevia GGUF-tiedostoja.

Missä mallit tallennetaan

Asetukset

Avaa rataskuvakkeesta (vasen alakulma) tai sovelluksen valikosta.

Oikeiden asetusten valinta

• Temperature — Pienempi (0,1–0,3) faktoihin perustuviin vastauksiin. Suurempi (0,7–1,0) luovaan kirjoittamiseen.
• Max Tokens — Suurenna pidempiä vastauksia varten. 512 sopii useimpiin keskusteluihin.
• Context Size — Suuremmat arvot antavat mallin muistaa enemmän keskustelusta, mutta käyttävät enemmän RAM-muistia.

REST API

DeskLLM käyttää OpenAI-yhteensopivaa paikallista API-palvelinta. Muut tietokoneesi sovellukset voivat käyttää sitä.

Endpoint: http://localhost:8800

Esimerkki (curl)

curl http://localhost:8800/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "messages": [{"role": "user", "content": "Hello!"}],
    "stream": true
  }'

Esimerkki (Python)

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8800/v1", api_key="none")
response = client.chat.completions.create(
    model="local",
    messages=[{"role": "user", "content": "Hello!"}]
)
print(response.choices[0].message.content)

Pikanäppäimet

Vinkkejä

• Vaihda malleja vapaasti — Voit vaihtaa malleja milloin tahansa kesken keskustelun.
• System prompt — Mukauta sitä eri käyttötapauksiin: kääntäjä, koodausavustaja, kirjoitusavustaja jne.
• Useita istuntoja — Pidä erilliset keskustelut eri aiheille. Sivupalkki helpottaa vaihtamista.
• Offline-käyttö — Kun malli on ladattu, DeskLLM toimii täysin offline-tilassa.
• API-integrointi — Käytä sisäänrakennettua APIa yhdistääksesi DeskLLM:n muihin koneesi työkaluihin, skripteihin tai sovelluksiin.

Vianetsintä

Yksityisyys

• Kaikki tekoälyn käsittely tapahtuu paikallisesti tietokoneellasi
• Mitään tietoja ei lähetetä millekään ulkoiselle palvelimelle
• Chat-historia tallennetaan vain paikalliselle levyllesi
• Mallit ladataan Hugging Facesta (ainoa verkkoyhteys)