Hogyan tanítjuk „felejteni” a mesterséges intelligenciát?

A 24.hu „Felejteni tanítják a mesterséges intelligenciát” című cikke hívta fel a figyelmemet arra, hogy a mesterséges intelligencia (MI) rendszerek fejlődésének egyik legfontosabb kérdése az adatok minősége. Ha egy modell rossz adatokat tanul meg, az félrevezetheti a döntéshozókat és alááshatja a technológiába vetett bizalmat. Ezért kulcsfontosságú a toxikus, pontatlan és érzékeny adatok eltávolítása, amit az unlearning technológia tesz lehetővé.

Az IBM és más kutatók szerint az unlearning jelentős lépés lehet az MI-modellek megbízhatóságának és jogi megfelelőségének növelésében. Ez különösen igaz a generatív nagy nyelvi modellek (LLM) esetében, amelyek hatalmas mennyiségű adatot használnak fel. Az unlearning technológia lehetővé teszi, hogy ezek a modellek szelektíven „elfelejtsenek” bizonyos információkat anélkül, hogy teljesen újra kellene tanítani őket. A témát részletesebben a "A Review on Machine Unlearning" című tanulmány dolgozza fel, amely alapját képezi ennek a bejegyzésnek.

Mi az az Unlearning?

Az Unlearning technológia célja, hogy a gépi tanulási modellek képesek legyenek bizonyos adatokat eltávolítani a memóriájukból, mintha azok soha nem lettek volna részei a tanulási folyamatnak. Ez különösen fontos az olyan szabályozások betartása szempontjából, mint a GDPR „elfelejtéshez való jog” elve.

Az unlearning két fő megközelítése:

• Exact Unlearning: A modell teljes újratanítását igényli az érintett adatok törlése után, garantálva azok teljes eltávolítását. Ez rendkívül erőforrás-igényes, de biztosítja az abszolút pontosságot.
• Approximate Unlearning: A modell paramétereit közvetlenül módosítják, hogy statisztikailag hasonló eredményeket adjanak, mint egy újratanított modell. Ez gyorsabb, de nem mindig teljesen pontos.

Miért van szükség az unlearning technológiára?

A gépi tanulási rendszerek adatfeldolgozási kapacitása hatalmas, de az adatok minősége és megbízhatósága alapvetően meghatározza a modellek pontosságát. Az unlearning technológia különösen fontos:

• Toxikus adatok eltávolítására: Az etikátlan, torzító vagy pontatlan adatok megakadályozhatják, hogy a modell megbízható eredményeket nyújtson.
• Adatmérgezési támadások kezelésére: Rosszindulatú adatok eltávolításával a modellek helyreállíthatják a működésüket.
• Érzékeny adatok törlésére: Az unlearning technológia segít biztosítani a GDPR és más adatvédelmi előírások betartását.

Az "A Review on Machine Unlearning" című tanulmány szerint az unlearning technológia nemcsak az adatvédelmi aggályokat kezeli, hanem növeli az MI-rendszerek iránti bizalmat is.

Hogyan működik az unlearning?

Az unlearning több módszert alkalmazhat az adatok törlésére:

• SISA (Sharded, Isolated, Sliced, Aggregated): Az adatok és modellek kisebb blokkokra osztása. Ha egy adathalmaz törlésre kerül, csak az érintett részt tanítják újra, így hatékonyan csökkenthető az újratanítási költség.
• Differenciális adatvédelem: A modellhez zaj hozzáadása megakadályozza az egyes adatok visszakövethetőségét, miközben biztosítja a rendszer pontosságát.
• Amnesiac Unlearning: Az adatok szelektív eltávolítása az edzés során, amely gyorsan végrehajtható és hatékony megoldást kínál.

Ezek a módszerek különböző igényekre nyújtanak megoldást, a gyors adattörléstől a pontos jogi megfelelésig.

Alkalmazási területek

Az unlearning technológia számos területen jelenthet előrelépést:

• Egészségügy: Az érzékeny orvosi adatok törlése például biztosíthatja a betegek adatvédelmét.
• E-kereskedelem: A vásárlók személyes adatainak törlése után a rendszer nem használja ezeket ajánlórendszerekben.
• Generatív modellek: A nagy nyelvi modellek válaszaiban megjelenő etikátlan vagy toxikus tartalmak eltávolításával a modellek pontosabbá és etikusabbá tehetők.

Kihívások az unlearning alkalmazásában

Az unlearning technológia alkalmazása azonban nem mentes a nehézségektől:

• Skálázhatóság: Nagy modellek esetében az exact unlearning idő- és költségigényes.
• Biztonsági kockázatok: A nem megfelelően végrehajtott unlearning során vissza lehet fejteni a törölt adatokat.
• Pontosság és hatékonyság egyensúlya: Az approximate unlearning gyorsabb, de nem garantálja a teljes adateltávolítást.

Zárszó: Az MI és az unlearning jövője

Az unlearning technológia a mesterséges intelligencia fejlődésének kulcsa lehet. Nemcsak az etikus adatkezelést támogatja, hanem hozzájárul a modellek pontosságának és hatékonyságának javításához is. Az olyan megoldások, mint amelyeket az IBM és más kutatók fejlesztenek, biztosítják, hogy a modellek alkalmazkodjanak a jogi előírásokhoz és a felhasználói igényekhez.

Ahogy az MI egyre nagyobb szerepet játszik az életünkben, az adatvédelem és a megbízhatóság iránti igény tovább fog növekedni. Az unlearning technológia pedig garantálhatja, hogy a gépek ne csak tanulni, hanem „felejteni” is képesek legyenek – mindannyiunk biztonsága és magánélete érdekében.

Források:

1. Haibo Zhang, Toru Nakamura, Takamasa Isohara & Kouichi Sakurai - A Review on Machine Unlearning (2023. április 19, URL: https://link.springer.com/article/10.1007/s42979-023-01767-4)
2. Thanh Tam Nguyen, Thanh Trung Huynh, Zhao Ren, Phi Le Nguyen, Alan Wee-Chung Liew, Hongzhi Yin, Quoc Viet Hung Nguyen: A Survey of Machine Unlearning (2024. szeptember 17, URL: https://arxiv.org/abs/2209.02299)