Gondolattérkép az MI-hez – az SZTE kutatói a chatbotok nyomában

- Mesélne nekünk egy kicsit az együttműködésről?

- Az együttműködés a tervek szerint április 1-én fog elindulni, és a Szegedi Tudományegyetem, az amerikai Rutgers Egyetem, valamint a müncheni Ludwig-Maximilians-Universität vesz részt benne. A német és amerikai kollégákkal együtt azt szeretnénk megérteni, hogy a ChatGPT-hez hasonló chatbotok, amelyeknek mára már rendkívül széles körű a felhasználása, milyen módon reprezentálják a tudásukat. A legtöbb ember azonnal azt feltételezi, hogy a gép az emberihez hasonló intelligenciával rendelkezik: van a fejében egy modell a világról, és a kérdéseinkre ez alapján válaszol.

- Mert nem így van?

- Ez csupán részben igaz, az MI „fejében” nincsen olyan értelemben vett nyelv, mint a miénkben. Ez az eltérés pedig az ember-gép kommunikáció során zavart okoz. A chatbotokat akár egészen komplex matematikai feladatok megoldására is finomhangolhatjuk, ezzel együtt azonban vannak nagyon egyszerű feladatok, amelyekkel nem boldogulnak. Néha megakadnak egy egyszerű szorzáson, míg máskor akár diákolimpiai feladatsorokat is vígan megoldanak, pedig az már messze meghaladja egy átlagember képességeit.

Mi azt szeretnénk feltérképezni, hogy milyen tudással rendelkezik a modell, és hogy miképpen csökkenthetnénk ezt a kommunikációs zavart ember és gép kötött. Ehhez azonban azt a kérdést kell feszegetnünk, hogy mit tud a modell.

- Ez hogyan lehetséges?

- Sokfajta módszertan létezik. Lehet tervezni promptokat (azaz irányított kérdéseket), amelyek számunkra érdekes viselkedéseket hoznak felszínre. Ebből tudunk arra következtetni, hogy miként működik a mesterséges intelligencia „agya”. Ilyenkor olyan kérdéseket adunk neki, amelyek kibillentik az egyensúlyából. Az ezen a területen végzett korábbi kutatások arra engednek következtetni, hogy a modellek nem rendelkeznek konzisztens világmodellekkel.

- Akkor hogyan képesek mégis az említett komplex feladatok megoldására?

- Pontosan ezt szeretnénk felderíteni. Azt tudjuk, hogy bizonyos fogalmakat ismernek, de azt nem, hogy ezek pontosan mit takarnak és szerinte milyen kapcsolatban állnak egymással, hogy miként reprezentálják őket. Van olyan modell, amit például a Manhattanben ténylegesen előforduló taxiútvonalakon tanítottak, majd arra kérték, hogy tervezze meg az ideális útvonalat egy adott helyről egy másikra. A modell erre képes volt, felmerül azonban a kérdés, hogy vajon a gép megtanulta az összes útvonalat, és ez alapján válaszolt, vagy kialakult a fejében egy valódi térkép. Az ember, amikor útvonalat tervez, egy mentális térkép alapján teszi. Amikor azonban a kísérlet végén kinyerték a gép „agyában” található térképet, az vajmi kevéssé egyezett Manhattan valódi utcaképével – annak ellenére, hogy az útvonalakat az MI helyesen generálta.
Mi az SZTE-n a projektnek pontosan ezzel a részével foglalkozunk majd. Azt szeretnénk körültapogatni, hogy ezek a nagy nyelvi modellek (LLM) milyen világot építenek fel magukban, és ennek milyen előnyei és hátrányai vannak. Meg tudjuk például vizsgálni, hogy tartalmaznak-e ellentmondást, tudnak-e ellenkező állításokat tenni. Ez természetesen függ attól is, hogy az adott kérdéskör milyen gyakran fordul elő az interneten. Azt például, hogy Anglia fővárosa nem London, hanem Párizs, csak nagyon nehezen tudnám kimondatni vele, hiszen rengeteg forrásra támaszkodhat.
Egy másik módszer, hogy bemutatjuk az embereknek a modell működését, hiszen a fellelt koncepciók akár számunkra is érdekesek lehetnek. Ráadásul ha nyelvi modellről van szó, akkor el is tudjuk vele magyaráztatni, hogy az adott fogalmon mit ért.

- És az LMU?

- Ők egy másik architektúrával kísérleteznek, ami memóriát is használ. Érdekesség, hogy ezek a chatbotok sem rövid-, sem pedig hosszútávú memóriával nem rendelkeznek. Csak a promptkontextus, azaz adott munkamenetben található beszélgetés az egyetlen memória, amelyre támaszkodhatnak. Amikor újat kérdezek, akkor visszanézi az egész, folyamatosan növő beszélgetést. Ezek a beszélgetések ma már elég hosszan el tudnak nyúlni, akár 60 ezer karakter hosszan, mégis végesek. Saját memória és háttértudás híján a botok tanulásának alapja az interneten található szöveganyagok átvizsgálása. A szöveganyagok megbízhatósága azonban változó, hiszen ebben benne van a szakirodalom és a Redditen található összeesküvéselméletek is. Emiatt az is előfordul, hogy a modell valótlanságokat állít vagy adatok híján költ valamit. Ezt hallucinálásnak nevezzük.
Ezen kívül az MI tudása statisztikai jellegű: azt tudja leginkább, ami gyakran előfordul. Az eltéréseket nem tudja jól kezelni. Például gyakori összeadásokat kiválóan elvégzi, de nagyobb számok vagy kevésbé gyakori előfordulások esetén hibázik.

- A hallucinálás kiküszübölhető?

- Erre megoldás lehet a RAG, azaz a retrieveal-augmented generation, amikor megpróbálom a modell háttértudását lehorgonyozni. Ilyenkor adok neki olyan dokumentumokat, amelyek alapján dolgozhat. Ezáltal kiküszöbölhetjük a hallucinációt is és megbízhatóbbá tehetjük a modell válaszait. Hosszútávon természetesen az lenne a cél, hogy ilyen direkt módon ne kelljen belenyúlnunk a rendszerbe.
Illetve hozzáadhatunk memóriát és olyan extra komponenseket, amilyeneket a modern számítógépek is használnak – a müncheniek ezzel foglalkoznak.

- Milyen tudományos alkalmazási területei lehetnek ezeknek a chatbotoknak?

- Az egyik alkalmazási területünk az orvoslás. A modellek orvosi adatok alapján képesek interaktív diagnózist felállítani. Az egyik partnerünket például érdekli a stroke-előrejelzés, és egy olyan chatbot kialakítása, amellyel beszélgetve egy páciensről meg tudjuk állapítani, hogy fennáll-e a stroke rizikója. De a munkánk egyelőre többnyire a hibák feltárásából áll. Meg kell értetnünk, hogy milyen a tudás reprezentációja ezekben a rendszerekben, illetve milyen korlátai vannak, és ezek a korlátok átléphetők-e.

A Szegedi Tudományegyetemen emiatt olyan kiváló kollégákkal dolgozunk együtt, mint Prof. Dr. Klivényi Péter a Neurológiai Klinika tanszékvezető egyetemi tanára. Az Informatikai Intézet részéről Dr. Farkas Richárd és Dr. Berend Gábor docensek játszanak kulcsszerepet, valamint Dr. Turán György a HUN-REN Mesterséges Intelligencia Kutatócsoportból, aki egyben a University of Illinois Chicago professzora is.

IKIKKinfó - Szabó Anna

Fotó: Bobkó Anna