A „futtasd a saját AI barátnődet” kifejezés úgy hangzik, mintha egyetlen programról lenne szó. A gyakorlatban három egymással beszélő részből áll, és ha érted, melyik mit csinál, megspórolsz a bosszúság nagy részét.
A három rész
Mi kivel beszél egy tipikus helyi beállításban.
A felület az, amit látsz: csevegőablakok, karakterek, avatárok, beállítások. A SillyTavern a szokásos választás karakteres chathez. A böngésződben fut, a karaktereket és a chateket fájlként tárolja a lemezeden, és szinte bármelyik háttérprogramhoz csatlakozhat. Maga nem generál szöveget.
A háttérprogram tölti be a modellt és generálja a válaszokat. A KoboldCpp egyetlen, telepítés nélküli program, amely a szerepjátékosok körében azért népszerű, mert minden generálási beállítást megmutat. Az Ollama a legkönnyebb mód arra, hogy néhány paranccsal modellt futtass. Az LM Studio egy asztali alkalmazás barátságos modellböngészővel. Bármelyik kiszolgálja a modellt egy helyi címen, amelyhez a felület csatlakozik.
A modell egy nagy fájl, általában GGUF formátumban, amelyet a Hugging Face-ről töltesz le. A paraméterekben mért mérete (8B, 12B, 24B) és a kvantálása dönti el, milyen jó, és milyen hardver kell hozzá.
A hardverkérdés
Azt, hogy egy modell jól fut-e, a videomemória (VRAM) dönti el. A modellnek bele kell férnie, plusz hely kell magának a beszélgetésnek. A kvantálás zsugorítja a modelleket, hogy beférjenek: a „Q4_K_M” a gyakori kompromisszum a méret és a minőség között.
| Modellméret | Kb. memória Q4-en | Tipikus hardver | Mire számíts |
|---|---|---|---|
| 7-8B | 5-6 GB | 8 GB-os videokártya | Koherens, gyors, hosszú jelenetekben elfelejti a részleteket |
| 12-14B | 9-10 GB | 12 GB-os kártya | Érezhetően jobb karakterek és próza |
| 22-24B | 14-16 GB | 16-24 GB-os kártya | Közel a jó üzemeltetett appokhoz szerepjátékban |
| 70B | 40 GB+ | Két kártya vagy nagy memóriájú Mac | Kiváló, lassú és drága |
Ezek az értékek hozzávetőlegesek: a hosszabb kontextus ráadásul több memóriát kér. Az Apple Silicon Mac-ek megosztják a memóriát a processzor és a grafika között, így egy 32 GB-os MacBook olyan modelleket futtathat, amelyeket egy 12 GB-os videokártya nem. Az a modell, amelyik nem fér be, a fő processzorra kerül, és vánszorogni kezd: ha a válaszok másodpercenként pár szóval érkeznek, válts kisebb modellre, mielőtt keményebb kvantálást próbálsz. Egy kisebb, jó minőségű modell általában jobb, mint egy túlzottan összenyomott nagyobb.
Amit nyersz
- Adatvédelem, amely nem szabályzaton múlik. Semmi nem hagyja el a gépet. Nincs megőrzési idő, nincs betanítás, nincs munkatársi hozzáférés, később nincs mit törölni.
- Nincs szűrő a modell sajátján kívül. Te választod a modellt, köztük kifejezetten szerepjátékra hangoltakat. A tartalomra vonatkozó jogi alj rád is érvényes, de nem tesz rá szabályokat egy üzemeltető.
- Nincs előfizetés és nincsenek kreditek. Generálj, amennyit akarsz.
- Karakterek, amelyek a tieid. A karakterkártyák közönséges PNG-képek, a karakterlappal beágyazva. Felületek között mozognak, és egy frissítés nem veheti el őket.
- Stabilitás. Egy modell, amely ma működik, öt év múlva is ugyanúgy működik. Senki nem cserélheti ki alattad, ezt a kockázatot írja le: amikor az AI társad egyik napról a másikra megváltozik.
Amit feladsz
- Beállítási idő. Egy este az első működő chatig, és hetek bütykölés, ha élvezed.
- A memória a te dolgod. Az üzemeltetett appok csendben összegeznek és tényeket tárolnak rólad. Helyben ezt a SillyTavern lorebookjaival, összegzéseivel és karakterjegyzeteivel kezeled, ugyanaz a három mechanizmus, mint amit elmagyaráz: hogyan működik az AI társ memóriája, csak a kezelőszervek láthatók.
- A képek és a hang külön projekt. A képgeneráláshoz saját modell kell, és általában több videomemória, a hanghoz beszédfelismerő és szintetizáló eszközök. Mind lehetséges, egyik sem automatikus.
- A mobil kényelmetlen. A felületet megnyithatod a telefonodról az otthoni Wi-Fin. Otthonon kívül használva ki kell tenned a számítógépedet az internetre, ami körültekintést kíván.
- Minőségi plafon. A legjobb üzemeltetett modellek nagyobbak, mint bármi, amit a legtöbben otthon futtathatnak, főleg a hosszú távú következetességben.
A középút és a bökkenője
Sokan a saját gépükön futtatják a SillyTavernt, de helyi modell helyett fizetős felhős API-hoz kötik. Megkapod a felület irányíthatóságát és a karakterfájlokat, sokkal nagyobb modelleket, és üzenetenkénti árazást, amely könnyű használatnál olcsó lehet.
De nem privát. Minden üzenet az API szolgáltatójához megy, az ő naplózási, megőrzési és tartalmi szabályai szerint, amelyek a szerepjátéktartalomra gyakran szigorúbbak, mint a dedikált társalkalmazásoké. Ez más kompromisszum, nem helyi megoldás.
Biztonsági alapok
- A szoftvert csak a hivatalos projektoldalakról töltsd le, GitHubról vagy a projekt saját oldaláról.
- A modelleket jól ismert feltöltőktől töltsd le a Hugging Face-ről, és részesítsd előnyben a GGUF fájlokat, amelyek modelladatot tartalmaznak, nem kódot.
- Olvasd el a modell licencét. Némelyik korlátozza a kereskedelmi használatot, néhány bizonyos tartalmakat.
- Tartsd a SillyTavernt a saját gépedhez vagy otthoni hálózatodhoz kötve, hacsak nem állítottál be jelszót, és nem érted, mit teszel ki.
A SillyTavernt nyíltan fejlesztik a GitHubon.
Kinek való
Futtass helyben társat, ha az adatvédelem a fő szempontod, már van erős hardvered, vagy ugyanúgy élvezed a konfigurálást, mint a használatot. Maradj az üzemeltetett appnál, ha hangot, képeket és hosszú memóriát szeretnél készen, vagy főleg a telefonodon chatelsz. Erről az útról szól az első app kiválasztásáról szóló útmutatónk. Sokan mindkettőt használják: üzemeltetett appot a kényelemért, és helyi megoldást azokhoz a beszélgetésekhez, amelyeket inkább sehol nem tárolnának.