DeskLLM - Rehber

Başlarken

1. Bir model indirin

DeskLLM çalışmak için bir dil modeline ihtiyaç duyar. İlk başlatıldığında, alt araç çubuğundaki indirme simgesine tıklayarak Model Manager'ı açın.

Recommend tab — Bilgisayarınıza uygun bir model seçin:

Herhangi bir model kartında Download'a tıklayın. İndirme ilerlemesi gerçek zamanlı olarak gösterilir.

Browse tab — Hugging Face'te anahtar kelime ile herhangi bir GGUF modelini arayın.

2. Sohbete başlayın

1. Alt araç çubuğundaki açılır menüden bir model seçin
2. Yükleme simgesine tıklayın (model yüklenmemişse ilk mesajda otomatik olarak yüklenir)
3. Mesajınızı yazın ve göndermek için Return'e basın
4. Yapay zeka, gerçek zamanlı olarak token token yanıt verir

Arayüze Genel Bakış

Kenar Çubuğu

Hamburger simgesiyle (sol üst) açıp kapatın. Sohbet oturumlarınızı gösterir.

• Geçiş yapmak için bir oturuma tıklayın
• Sağ tıklayarak Rename veya Delete seçin
• Yeni bir konuşma başlatmak için + New Chat'e tıklayın

Sohbet Alanı

• Mesajlarınız sağda görünür (renkli baloncuklar)
• Yapay zeka yanıtları solda görünür
• Herhangi bir mesajdaki kopyala simgesine tıklayarak panoya kopyalayabilirsiniz
• Göndermeden yeni satır için Shift + Return'e basın

Alt Araç Çubuğu

Model Yönetimi

Araç çubuğundaki indirme simgesiyle açın.

• Downloaded tab — Diskinizdeki tüm modelleri listeler. Yer açmak için artık ihtiyacınız olmayan modelleri silin.
• Recommend tab — Tek tıkla indirilebilen popüler modellerin seçilmiş listesi. Disk alanı indirmeden önce gösterilir.
• Browse tab — Doğrudan Hugging Face'te arama yapın. İsme göre filtreleyin ve herhangi bir repository için mevcut GGUF dosyalarına göz atın.

Modellerin Saklandığı Yer

Ayarlar

Dişli simgesi (sol alt) veya uygulama menüsünden erişin.

Doğru Ayarları Seçme

• Temperature — Olgusal yanıtlar için daha düşük (0.1–0.3). Yaratıcı yazma için daha yüksek (0.7–1.0).
• Max Tokens — Daha uzun yanıtlar için artırın. 512, çoğu konuşma için iyidir.
• Context Size — Daha büyük değerler, modelin konuşmanın daha fazlasını hatırlamasını sağlar, ancak daha fazla RAM kullanır.

REST API

DeskLLM, OpenAI formatıyla uyumlu bir yerel API sunucusu çalıştırır. Bilgisayarınızdaki diğer uygulamalar bunu kullanabilir.

Endpoint: http://localhost:8800

Örnek (curl)

curl http://localhost:8800/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "messages": [{"role": "user", "content": "Hello!"}],
    "stream": true
  }'

Örnek (Python)

from openai import OpenAI

client = OpenAI(base_url="http://localhost:8800/v1", api_key="none")
response = client.chat.completions.create(
    model="local",
    messages=[{"role": "user", "content": "Hello!"}]
)
print(response.choices[0].message.content)

Klavye Kısayolları

İpuçları

• Modelleri serbestçe değiştirin — İstediğiniz zaman konuşma ortasında modelleri değiştirebilirsiniz.
• System prompt — Farklı kullanım durumları için özelleştirin: çevirmen, kodlama asistanı, yazma yardımcısı vb.
• Birden çok oturum — Farklı konular için ayrı konuşmalar tutun. Kenar çubuğu geçişi kolaylaştırır.
• Çevrimdışı kullanım — Bir model indirildikten sonra DeskLLM tamamen çevrimdışı çalışır.
• API entegrasyonu — DeskLLM'i makinenizdeki diğer araçlara, scriptlere veya uygulamalara bağlamak için yerleşik API'yi kullanın.

Sorun Giderme

Gizlilik

• Tüm yapay zeka işlemleri yerel olarak bilgisayarınızda gerçekleşir
• Hiçbir veri harici sunucuya gönderilmez
• Sohbet geçmişi yalnızca yerel diskinizde saklanır
• Modeller Hugging Face'ten indirilir (tek ağ erişimi)