A „moderálás” egy dolognak hangzik. A társappokban legalább négy, különböző sebességgel működő, különböző embereket érintő rétegről van szó.
A négy réteg
Minden réteg kevesebb tartalmat lát, de részletesebben.
1. Valós idejű szűrők. Minden üzenetet, amelyet küldesz, és minden választ, amelyet a modell ír, automata osztályozók ellenőrizhetnek, mielőtt megjelenik. Ezek a tiltott kategóriákat fogják meg – bármit, ami kiskorúakat érint, bizonyos erőszakos tartalmat, önsértési jeleket –, és vagy blokkolják az üzenetet, vagy lágyítják a választ, vagy figyelmeztetést mutatnak. Innen jönnek az elutasítások és a krízis-kártyák; a tartalomszűrőkről szóló cikkünk elmagyarázza, miért indulnak el néha jelenet közben.
2. Beszélgetésszintű megjelölés. Ettől külön a rendszerek egész beszélgetéseket vagy fiókokat pontozhatnak mintákra: ismételt kísérletek a szűrő megkerülésére, zaklatás, jelek arra, hogy kiskorú használ felnőtt appot. A megjelölés nem büntetés; jegyzet arról, hogy egy ember megnézheti.
3. Emberi átvizsgálás. A bizalmi és biztonsági munkatársak, gyakran alvállalkozóknál, a megjelölt beszélgetések, felhasználói jelentések és fellebbezések egy részét átnézik. Néhány cég a minőség ellenőrzésére vagy modellek tanítására hétköznapi beszélgetésekből is mintát vesz. Ezt a réteget írják le az adatvédelmi tájékoztatók az „to improve our services” vagy „to enforce our terms” jellegű fordulatokkal.
4. Jogi megkeresések. Bíróságok, rendőrség és szabályozók jogi határozattal kérhetnek adatot. A cégek a saját szabályzatuk és a helyi jog szerint válaszolnak.
Mi vált ki általában emberi pillantást
| Kiváltó ok | Miért |
|---|---|
| Kiskorúakat érintő tartalom | A legtöbb országban jogi kötelesség; gyakran továbbjelentik |
| Önsértés vagy öngyilkosság jelei | Krízisprotokollok, amelyeket több amerikai államban törvény ír elő |
| Valódi személyek elleni fenyegetések | Lehetséges valós kár |
| A saját jelentésed vagy támogatási jegyed | Te kérted, hogy valaki megnézze |
| Ismételt szűrőmegkerülési kísérletek | A felhasználási feltételek érvényesítése |
| Véletlenszerű minőségi mintavétel | Termékfejlesztés, ha a szabályzat engedi |
Mit tesznek hozzá az új törvények
Az amerikai társ-chatbot törvények, New Yorkkal 2025-ben és Kaliforniával 2026-ban kezdve, előírják az appoknak, hogy észleljék az öngyilkossági gondolatok és az önsértés kifejezéseit, és krízisszolgálatokhoz irányítsák a felhasználókat. Kalifornia azt is előírja, hogy a cégek jelentsenek a protokolljaikról. A gyakorlatban ez a legérzékenyebb beszélgetések több automata megfigyelését jelenti, nem kevesebbet. A részletek az AI társ törvények az USA-ban cikkben vannak.
A szabályzat olvasása ehhez
Keresd az adatvédelmi tájékoztatóban és a feltételekben:
- „review”, „moderate”, „human” – olvasnak-e emberek beszélgetéseket, és miért.
- „contractors” vagy „service providers” – más cégnek dolgoznak-e az átvizsgálók.
- „improve”, „train” – mintát vesznek-e a hétköznapi chatekből.
- „law enforcement”, „legal process”, „court order” – mikor adják ki az adatot, és szükséges-e bírósági határozat.
A gondos szabályzat megnevezi a kiváltó okokat, és azt mondja, hogy az átvizsgálók csak szükség esetén látnak beszélgetéseket. A homályos szabályzat, amely a munkatársaknak „bármilyen üzleti célból hozzáférést” enged „minden tartalomhoz”, szintén elárul valamit. A négy adatvédelmi ellenőrzésünk a dokumentum többi részét lefedi.
Gyakorlati következtetések
- Írj úgy, mintha egy átvizsgáló elolvashatná, mert kis számú esetben el fogja.
- Ne írj bele a chatekbe mások azonosító adatait, különösen explicit jelenetekben – egy megjelölt beszélgetést olvasó átvizsgáló azokat is látja.
- Ha egy szűrő tévesen kapcsol be a fikcióban, egy karakteren kívüli megjegyzés általában megoldja; a karakterben való vitatkozás több megjelölést hozhat.
- Ha mindennél fontosabb, hogy ki olvashatja a chatjeidet, az egyetlen beállítás, ahol senki más nem, a saját számítógépeden futó társ – lásd AI társ futtatása helyben.
A moderálás nem ugyanaz, mint a megfigyelés. A beszélgetések döntő többségénél semmi és senki nem néz az automata szűrőn túl. De a kivételeket a szabályzat dönti el, nem az app melegsége – és érdemes ismerni őket, mielőtt szükség lenne rájuk.