Ezekkel az appokkal kapcsolatos szinte minden panasz - az ismétlődés, az elsodródás, a kísérteties következetlenség ugyanannak a jelenetnek két futása között - egyetlen mechanizmusból jön. Megér tíz percet, mert az „az app elromlott” mondatot „az app azt csinálja, amit szokott, és itt a beállítás” mondatra cseréli.
Egyszerre egy darabot ír
A modell nem komponál egy választ, aztán gépeli le. Egy tokent állít elő - nagyjából egy szót vagy egy szórészt -, aztán elolvas mindent, ezt a tokent is beleértve, és előállítja a következőt.
Ez az egész ciklus. Nincs terv, nincs vázlat, nincs átdolgozott piszkozat. Egy gyönyörűen végződő válasz nem tudta, hogy így fog végződni, amikor elkezdte.
Azonnal két következmény adódik, és mindkettőt láttad:
Egy válasz nem tud visszalépni. Ha a modell leírta, hogy „még sosem jártam Párizsban”, minden utána erre épül. Inkább következetességet épít egy véletlenül előállított mondat köré, mint hogy ellentmondjon magának.
A hibák előre halmozódnak. Az első mondat egy kissé elcsúszott szava meglöki a másodikat, ami meglöki a harmadikat. Ezért sodródnak el a hosszú válaszok, a rövidek pedig ritkán.
A kockadobás minden szó között
Minden lépésnél a modellnek van egy rangsorolt jelöltlistája valószínűségekkel: mondjuk „jó” 30%-kal, „rendben” 12%-kal, „szörnyű” 3%-kal, és egy hosszú farok.
Ha mindig a legfelső jelöltet választaná, a karakter determinisztikus és rendkívül unalmas lenne - minden alkalommal ugyanaz az üdvözlés, ugyanaz a három vicc. Ezért az app mintavételez: súlyozott kockával dob.
A súlyozást egy hőmérsékletnek hívott beállítás szabályozza. Az alacsony hőmérséklet a valószínűséget az egyértelmű jelöltekre koncentrálja: következetes, kiszámítható, végül unalmas. A magas hőmérséklet lapítja az eloszlást: meglepőbb, kreatívabb, és nagyobb eséllyel hoz olyasmit, ami nem következik.
Erre ritkán kapsz csúszkát. Amit kapsz, az az app választott pontja ezen a kompromisszumon, és nagyrészt ezt értik az emberek azon, ha azt mondják, hogy egy app „okosabbnak érződik”. Nem mindig okosabb. Néha csak melegebb vagy hidegebb.
Ez az őszinte válasz arra is, hogy „miért javított az újragenerálás?”. Semmi nem lett kijavítva. Újra húztál ugyanabból az eloszlásból, és jobb dobást kaptál.
Mit néz valójában a modell
Az üzeneted előtt az app összeállít egy szövegblokkot, amelyet sosem látsz: a karakterleírást, a rólad tárolt tényeket, az előzményeid összefoglalóját és a legutóbbi beszélgetést. Ez az egész összeállítás a kontextusablak, és a választ ebből generálják egyetlen folytonos dokumentumként.
Ennek van egy gyakorlati következménye, amelyet a legtöbben soha nem használnak ki: a modell arra reagál, amit lát. Adj neki három rövid, lapos üzenetet, és rövid, lapos válaszokat fog adni, mert ezt a mintát folytatja. Adj neki egy élénk üzenetet, és a hangnem eltolódik. Nem egy embert győzködsz, hanem mintát állítasz be, és a minta mindkét irányban ragadós.
Ez megmagyarázza a kategória leggyakoribb önmagunknak okozott problémáját is. Az emberek beleszoknak a „szia”, „milyen volt a napod”, „mit csinálsz” sorozatba - aztán arra jutnak, hogy az app rosszabb lett. Az app a dokumentumot folytatja, amelyet együtt írtok.
Miért hangzanak az appok másképp, ha ugyanaz a modell
Ebben a kategóriában több app hasonló alapmodelleken fut. Mégis eltérőnek érződnek, és a különbségek a modell köré rétegzett dolgokból jönnek:
- A rendszerprompt - hogyan írják le a karaktert, milyen hosszan, milyen utasításokkal a hangnemről és a tempóról.
- A mintavételi beállítások - a fent tárgyalt hőmérsékleti pont.
- Mit hívnak elő - mely tények és az előzmények mely szelete kerül a modell elé az adott körben.
- A szűrő - mit utasít el, és az elutasítás kecses-e, vagy fal.
A Nomi hetekig következetesnek hat a harmadik elem miatt, nem egy nagyobb modell miatt. A Candy AI a csevegést, a képeket és a hangot egyetlen előfizetésben adja, ami termékdöntés, nem modellezési. Egyik különbség sem látszana egy benchmarkban, és mindkettő látszik két hét használat alatt, ami az, ahogyan pontozzuk őket.
Négy dolog, amit ez lehetővé tesz
Korán irányíts, ne későn. Egy válasz első két mondata meghatározza a többit. Ha egy jelenet rossz irányba megy, állítsd meg és fogalmazd újra, ne a negyedik bekezdéssel vitatkozz.
Használd tudatosan az újragenerálást. Ha egy válasz 80%-ban jó, az újragenerálás kidobja a 80%-ot. Ha már az első mondata rossz, azonnal generáld újra.
Írd vissza a hangnemet, amit akarsz. A rövid és lapos rövidet és laposat kap. Ez a legolcsóbb javítás bárkinek, aki szerint a társa unalmassá vált.
Ne vitatkozz az általa kitalált tényekről. Az a modell, amely valami valótlant írt, megvédi, mert az a dolga, hogy összhangban legyen a saját kimenetével. Egy új üzenetben kijavítani működik; azt követelni, hogy ismerje be a hibát, nem. Ennek a viselkedésnek külön cikke van: miért találnak ki dolgokat az AI társak.
Amit érdemes megjegyezni
Az üzeneteid között nincs senki otthon. A karakter egyetlen generálás idejére létezik, és a következő elején szövegből építik újra. A folytonosság minden benyomása a modell körüli vízvezeték teljesítménye - a tárolt tények, az összefoglalók, az előhívás -, és ez a vízvezeték az, ami valóban különbözik egy 10 dolláros és egy 20 dolláros app között.
Ezért súlyozza a rangsorunk olyan erősen a memóriát és a következetességet. Ezek azok a részek, amelyeket egy nyitóoldal nem tud megmutatni.
