Podręcznik użytkownika QuickLLM
QuickLLM przechowuje wnioskowanie, rozmowy, dokumenty, embeddingi, wyszukiwanie i wygenerowany tekst na Twoim urządzeniu, jednocześnie jasno pokazując dopasowanie modelu i cel użycia sieci.
Pierwsze kroki
- Uruchom diagnostykę urządzenia i wybierz model, który pasuje.
- Pobierz, zweryfikuj i załaduj model.
- Rozpocznij rozmowę i wybierz Profil.
- Opcjonalnie utwórz Bazę wiedzy, dodaj zaufane dokumenty i zweryfikuj cytowania.
- Wyeksportuj ważną pracę lub utwórz szyfrowaną kopię zapasową przed przeniesieniem lub usunięciem danych.
Wskazówka: Wybierz mniejszy kontekst lub model, zanim wymusisz konfigurację, która nie mieści się w pamięci.
Przegląd interfejsu
| Obszar | Przeznaczenie |
|---|---|
| Czat | Lista rozmów, wybór modelu/Profilu/Wiedzy, wiadomości, cytowania, kontekst, Wyślij i Zatrzymaj. |
| Modele | Katalog, wyszukiwanie, zgodność, pobieranie, zainstalowane pliki, Profile, adaptery i stan środowiska uruchomieniowego. |
| Knowledge | Bazy wiedzy, dokumenty, ekstrakcja, indeksowanie, testy wyszukiwania, ugruntowanie i cytowania. |
| Szablony & działania | Wielokrotnego użytku prompty, typowane przepływy pracy, dane wejściowe udostępniania mobilnego, przegląd wyników i ścieżki zapisu. |
| Narzędzia | Diagnostyka, pobieranie, lokalne API komputera, kopia zapasowa/przywracanie, szybka akcja, Ustawienia, Pomoc, prywatność i licencje. |
Modele, które pasują, odpowiedzi, które można prześledzić
QuickLLM odróżnia zmierzone możliwości urządzenia od szacunków i utrzymuje ugruntowane odpowiedzi połączone z lokalnymi fragmentami dokumentów, zamiast wymyślać niepoparte cytowania.
- Prywatny czat lokalny: Prowadź rozmowy za pomocą dołączonego lokalnego wnioskowania z widocznym stanem modelu, Profilu, Wiedzy, kontekstu, generowania i Zatrzymaj.
- Dopasowanie modelu: Mierz możliwości urządzenia, porównuj wymagania dotyczące pamięci i pamięci masowej, pobieraj zweryfikowane modele i wyjaśniaj nieobsługiwane konfiguracje.
- Bazy wiedzy: Importuj obsługiwane dokumenty, twórz lokalne indeksy, pobieraj ugruntowane fragmenty i otwieraj cytowania u źródła.
- Profile i LoRA: Zapisuj kombinacje modelu, kontekstu, próbkowania, backendu i adaptera dla powtarzalnej pracy.
- Szablony i Actions: Ponownie wykorzystuj prywatne prompty i uruchamiaj przepływy pracy ze współdzielonym tekstem, które zachowują wyniki dostępne do skopiowania, udostępnienia lub rozmowy.
- Przenośna kontrola: Eksportuj rozmowy, uruchamiaj lokalne API komputera po wyraźnym włączeniu oraz twórz szyfrowane pliki kopii zapasowej i przywracania.
Uwaga: Pobrane modele i dokumenty źródłowe mogą podlegać odrębnym licencjom i ograniczeniom użytkowania. Zapoznaj się z nimi przed użyciem lub redystrybucją.
Ustawienia
Otwórz Ustawienia, aby przejrzeć następujące opcje aplikacji:
- Ustawienia natywnego silnika, backendu, wątków, kontekstu, pamięci podręcznej, pamięci masowej i modelu
- Ekstrakcja wiedzy, embeddingi, wyszukiwanie, ugruntowanie i zachowanie cytowań
- Lokalne API komputera, sieć, udostępnianie mobilne, szablony i akcje
- Prywatność, szyfrowana kopia zapasowa, usuwanie, wygląd, skróty, diagnostyka i licencje
Wersja próbna, Free i Pro mają ten sam zestaw funkcji. Pro usuwa reklamy mobilne i codzienne przypomnienie o wsparciu na komputerze.
Skróty klawiaturowe
Na platformach Apple używaj klawisza Command tam, gdzie aplikacja przypisuje wyświetlany skrót Ctrl do głównego modyfikatora platformy. Rozstrzygająca pozostaje strona skrótów w aplikacji.
| Skrót | Działanie |
|---|---|
| Cmd/Ctrl + N | Nowa rozmowa |
| Cmd/Ctrl + K | Wyszukaj rozmowy |
| Cmd/Ctrl + M | Wybierz model |
| Cmd/Ctrl + B | Wybierz Bazę wiedzy |
| Cmd/Ctrl + Alt/Option + I | Szczegóły rozmowy |
| Esc | Zatrzymaj generowanie |
Porady & wskazówki
Wybierz mniejszy kontekst lub model, zanim wymusisz konfigurację, która nie mieści się w pamięci.
Stosuj ścisłe oparcie na źródłach, gdy odpowiedź musi pozostawać w granicach zindeksowanych źródeł.
Otwórz cytowania i porównaj wyodrębniony fragment, zanim oprzesz się na wygenerowanym twierdzeniu.
Przechowuj zapasowe hasła dostępu oddzielnie od zaszyfrowanego pliku kopii zapasowej.
Rozwiązywanie problemów
| Problem | Co sprawdzić |
|---|---|
| Nie można wczytać modelu | Sprawdź zgodność, szacowane użycie pamięci, pamięć masową, weryfikację pliku, wybrany backend oraz inną aktywną sesję modelu. |
| Generowanie jest wolne | Użyj diagnostyki urządzenia, mniejszego modelu lub kontekstu, odpowiedniego backendu oraz zmierzonej, a nie zakładanej wydajności. |
| Baza wiedzy nie zawiera odpowiedzi | Sprawdź ekstrakcję dokumentu, stan indeksu, test wyszukiwania, filtry oraz to, czy źródło rzeczywiście zawiera dowody. |
| Nie można przywrócić kopii zapasowej | Zweryfikuj hasło dostępu, integralność pliku, zgodność schematu, wolne miejsce oraz podgląd przywracania przed zastąpieniem bieżących danych. |
Prywatność
- Polecenia, rozmowy, dokumenty, osadzenia, wyszukiwanie i wygenerowany tekst pozostają na urządzeniu.
- Korzystanie z sieci ogranicza się do żądanego katalogu/wyszukiwania, pobierania modelu, sprawdzania aktualizacji lub punktu końcowego API, który wyraźnie włączysz.
- Dane udostępniane z urządzenia mobilnego są tymczasowe, a zewnętrzne oryginały nigdy nie są usuwane.
- Dane obszaru roboczego należące do aplikacji i zarządzane kopie można usunąć za pomocą sprawdzonego procesu ochrony prywatności.
Twoja odpowiedzialność: Nie udostępniaj opcjonalnego API desktopowego poza zaufaną granicą ani nie używaj modeli i dokumentów niezgodnie z ich licencjami.