Megmagyarázható mesterséges intelligencia

A Wikipédiából, a szabad enciklopédiából

A megmagyarázható mesterséges intelligencia (explainable AI - XAI), gyakran értelmezhető MI vagy megmagyarázható gépi tanulás (explainable machine learning - XML) néven ismert, olyan mesterségesintelligencia-rendszerre utal, amely felett az ember képes fenntartani az intellektuális felügyeletet, illetve az ennek elérésére szolgáló módszerre is utalhat.[1] A fő hangsúly általában a mesterséges intelligencia[2] által hozott döntések vagy előrejelzések indoklásán van, amelyeket érthetőbbé és átláthatóbbá tesznek.[3] Az XAI ellensúlyozza a gépi tanulás „feketedoboz” tendenciáját, ahol még az AI tervezői sem tudják megmagyarázni, miért jutott a MI bizonyos következtetésekre.[4][5]

Célok[szerkesztés]

Az ágensek – jelen esetben az algoritmusok és az emberek – közötti együttműködés a bizalomra épül. Hogy az emberek elfogadják az algoritmikus előírásokat, bízniuk kell bennük. A formális bizalmi kritériumok hiányossága gátolja az optimalizálást. Az átláthatóság, az értelmezhetőség és a magyarázhatóság köztes célok az átfogóbb bizalmi kritériumok felé vezető úton.[6] Ez különösen fontos az orvostudományban,[7] különösen a klinikai döntéstámogató rendszerekben (CDSS), amelyekben az egészségügyi szakembereknek képesnek kell lenniük arra, hogy megértsék, hogyan és miért született egy gépi döntés, hogy megbízzanak a döntésben, és növeljék döntéseiket. készítési folyamat.[8]

A mesterséges intelligencia rendszerek néha olyan nemkívánatos trükköket tanulnak meg, amelyek optimálisan teljesítik a tanítási adatokon előre beprogramozott célokat, de nem tükrözik az emberi rendszertervezők árnyaltabb implicit vágyait vagy a tartományadatok teljes összetettségét. Például egy képfelismeréssel megbízott 2017-es rendszer úgy tanult meg "csalást", hogy egy szerzői jogi címkét keresett, amely történetesen lovakat ábrázoló képekhez volt társítva, ahelyett, hogy megtanulta volna megállapítani, hogy valóban egy ló szerepel-e a képen.[5] Egy másik 2017-es rendszerben egy felügyelt tanuló MI, amelynek feladata a tárgyak megragadása a virtuális világban, úgy tanult meg csalni, hogy megragadó eszközét a tárgy és a néző közé helyezte oly módon, hogy az hamisan úgy tűnt, mintha megragadta volna a tárgyat.[9][10]

Az egyik transzparenciaprojekt, a DARPA XAI program célja, hogy olyan „üvegdobozos” modelleket állítson elő, amelyek megmagyarázhatók egy „ember a hurokban” számára anélkül, hogy jelentősen feláldoznák az AI teljesítményét. Az ilyen rendszerek segítségével az emberi felhasználók megérthetik a mesterséges intelligencia algoritmusát (valós időben és utólag is), és eldönthetik, hogy megbízhatnak-e az AI-ban.[11] Az XAI további alkalmazásai a fekete doboz modellekből való tudáskinyerés és a modellek összehasonlítása.[12] Az etikai és társadalmi-jogi megfelelést figyelő rendszerekkel összefüggésben az "üvegdoboz" kifejezést általában olyan eszközökre használják, amelyek nyomon követik a kérdéses rendszer bemeneteit és kimeneteit, és értékalapú magyarázatot adnak azok viselkedésére. Ezen eszközök célja annak biztosítása, hogy a rendszer az etikai és jogi normáknak megfelelően működjön, döntési folyamatai átláthatóak és elszámoltathatóak legyenek. Az "üvegdoboz" kifejezést gyakran használják a "fekete doboz" rendszerekkel ellentétben, amelyek nem átláthatóak, és nehezebben ellenőrizhetők és szabályozhatók.[13] A kifejezést egy hangsegéd megnevezésére is használják, aki tényellenes állításokat állít elő magyarázatként.[14]

Szabályozás[szerkesztés]

Mivel a szabályozók, a hivatalos szervek és az általános felhasználók függővé válnak az AI-alapú dinamikus rendszerektől, egyértelműbb elszámoltathatóságra lesz szükség az automatizált döntéshozatali folyamatokhoz a bizalom és az átláthatóság biztosítása érdekében. Az első, kizárólag ennek a feltörekvő tudományágnak szentelt globális konferencia a 2017-es Nemzetközi Közös Konferencia a Mesterséges Intelligenciáról : Műhely a megmagyarázható mesterséges intelligenciáról (XAI) volt.[15]

Az Európai Unió az általános adatvédelmi jogban (GDPR) bevezette a magyarázathoz való jogot, hogy kezelje az algoritmusok növekvő fontosságából adódó lehetséges problémákat. A rendelet végrehajtása 2018-ban kezdődött. A GDPR-ban foglalt magyarázathoz való jog azonban csak az értelmezhetőség helyi aspektusát fedi le. Az Egyesült Államokban a biztosítótársaságoknak képesnek kell lenniük arra, hogy megmagyarázzák kamat- és fedezeti döntéseiket.[16] Franciaországban a Loi pour une République numérique (digitális köztársasági törvény) feljogosítja az alanyokat arra, hogy információkat kérjenek és kapjanak a rájuk vonatkozó adatokat feldolgozó algoritmusok megvalósításával kapcsolatban.

Korlátok[szerkesztés]

Az AI modellek magyarázhatóságának növelésére tett erőfeszítések ellenére még mindig számos korlátjuk van.

Versenyhelyzeti aggodalmak[szerkesztés]

Azáltal, hogy egy mesterséges intelligencia rendszert érthetőbbé teszünk, többet feltárunk a belső működéséből is. Például a jellemző fontosságú magyarázhatóság módszere azonosítja azokat a jellemzőket vagy változókat, amelyek a legfontosabbak a modell kimenetének meghatározásában, míg a befolyásoló minták módszere azokat a betanítási mintákat azonosítja, amelyek egy adott bemenet esetén a leginkább befolyásolják a kimenet meghatározását.[17] Ellenséges felek hasznot húzhatnának ebből a tudásból.

Például a versenytárs cégek megismételhetik az eredeti AI-rendszer aspektusait saját termékükben, így csökkentve a versenyelőnyt.[18] A megmagyarázható mesterséges intelligencia rendszer is hajlamos a „játékra” – olyan módon befolyásolni, amely aláássa a tervezett célt. Egy tanulmány egy prediktív rendészeti rendszer példáját hozza fel; ebben az esetben azok bűnözők is lehetőséget kapnak rá, hogy potenciálisan „kijátsszák” a rendszert, akikre a rendszer döntései vonatkoznak. Ebben a tanulmányban a rendszer fejlesztői megvitatták az útleveleket illegálisan megszerezni kívánó bűnbandák kérdését, és aggodalmukat fejezték ki amiatt, hogy ezek a bandák képesek lesznek „tesztalanyokat küldeni”, hogy feltérképezzék az útlevél kiadásának megtagadását kiváltó okokat és találhatnak egy kiskaput, amely lehetővé tenné számukra, hogy „megbízhatóan megszerezzék az útleveleket anélkül, hogy a hatóságok észrevehetnék a csalást”.[19]

Technikai komplexitás[szerkesztés]

Az AI-rendszerek megmagyarázhatóvá tételének alapvető akadálya az ilyen rendszerek műszaki komplexitása. A végfelhasználók gyakran nem rendelkeznek a szoftver megértéséhez szükséges programozási ismeretekkel. A mesterséges intelligencia magyarázatára jelenleg használt módszerek főként technikai jellegűek, és a gépi tanulási mérnökökre irányulnak hibakeresési célokra, nem pedig a végfelhasználókra, akiket a rendszer végső soron érint, ami „szakadékot okoz a gyakorlati magyarázhatóság és az átláthatóság célja között”.[17] A technikai összetettség problémájának megoldására javasolt megoldások közé tartozik vagy a nagyközönség kódolási oktatásának előmozdítása, hogy a technikai magyarázatok könnyebben hozzáférhetők legyenek a végfelhasználók számára, vagy a laikusok számára megfogalmazott magyarázatok.[18]

A megoldásnak kerülnie kell a túlzott leegyszerűsítést. Fontos megtalálni az egyensúlyt a pontosság (a magyarázat mennyire hűen tükrözi az AI-rendszer folyamatát) és a megmagyarázhatóság (a végfelhasználók mennyire értik a folyamatot) között. Ezt az egyensúlyt nehéz megtalálni, mivel a gépi tanulás összetettsége még az ML mérnökök számára is megnehezíti a teljes megértést, nem is beszélve a nem szakértőknek.[17]

Megértés kontra bizalom[szerkesztés]

A MI-rendszerek végfelhasználói számára a megmagyarázhatóság célja a rendszerekbe vetett bizalom növelése, ezen felül „a „méltányosság” hiányával és a diszkriminatív hatásokkal kapcsolatos aggályok kezelése is.[18] Előfordulhat azonban, hogy a végfelhasználók még a mesterséges intelligencia-rendszer alapos ismerete mellett sem bíznak meg feltétlenül a rendszerben.[20] Egy tanulmányban a résztvevők a fehér doboz és a fekete doboz magyarázatok kombinációit, valamint az AI-rendszerek statikus és interaktív magyarázatait mutatták be. Noha ezek a magyarázatok az önbevallásuk és az objektív megértésük fokozását szolgálták, nem voltak hatással a bizalom szintjére, továbbra is szkeptikusak maradtak.[21]

Ez az eredmény különösen igaz volt azokra a döntésekre, amelyek jelentős hatással voltak a végfelhasználóra, például a felsőoktatásba való felvételre. A résztvevők úgy ítélték meg, hogy az algoritmusok túlságosan rugalmatlanok és szigorúak az emberi döntéshozókhoz képest; ahelyett, hogy mereven ragaszkodnának egy sor szabályhoz, az emberek képesek figyelembe venni a kivételes eseteket, valamint fellebbezni az eredeti döntésükhöz.[21] Az ilyen döntések megmagyarázhatósága nem feltétlenül készteti a végfelhasználókat arra, hogy elfogadják a döntéshozatali algoritmusok használatát. Vagy más módszerhez kell fordulnunk a bizalom és a döntéshozatali algoritmusok elfogadásának növelése érdekében, vagy megkérdőjeleznünk kell annak szükségességét, hogy az ilyen hatásos döntések meghozatalakor kizárólag a mesterséges intelligenciára hagyatkozzunk.

Kritika[szerkesztés]

A tudósok azt javasolták, hogy a mesterséges intelligencia magyarázhatóságát az AI hatékonysága mellett másodlagos célnak kell tekinteni, és hogy az XAI kizárólagos fejlesztésének ösztönzése szélesebb körben korlátozhatja az AI funkcionalitását.[22][23] Az XAI-val kapcsolatos kritikák a bizonyítékokon alapuló orvoslás által kidolgozott mechanikus és empirikus érvelésekre támaszkodnak, és azt sugallják, hogy a MI technológiák klinikailag engedélyeztethetőek még akkor is, ha funkciójukat a kezelők nem értik.[22]

Az XAI rendszerek elsősorban az AI szakemberek számára tették érthetővé az AI rendszereket, nem a végfelhasználókat célozták meg, ami a felhasználók körében meglehetősen darabos véleményeket eredményezett. Egyes kutatók az alapvetően értelmezhető gépi tanulási modellek használatát szorgalmazzák az utólagos magyarázatokkal szemben, amikor egy másodlagos modellt hoznak létre az első magyarázatára. Ennek oka részben az, hogy az utólagos modellek növelik a döntési folyamat összetettségét, és gyakran nem egyértelmű, hogy az utólagos magyarázat mennyire képes hűen utánozni egy teljesen különálló modell működését.

Más szakértők szerint azonban a legfontosabb, hogy a magyarázat megfeleljen az elvárásoknak, és nem számít, hogy ez előzetesen vagy utólag történik. Ha egy utólagos magyarázati módszer segít egy orvosnak a rákot hatékonyabban diagnosztizálni, akkor másodlagos szempont, hogy a magyarázat helyes vagy helytelen.

Az XAI célja a veszteséges tömörítés egy formája, amelynek a hatékonysága csökken, az AI-modellek paraméterek számának növekedésével. Más tényezőkkel együtt ez a magyarázhatóságnak elméleti határokat szab.[24]

Megmagyarázható MI más kapcsolódó területeken[szerkesztés]

A magyarázhatóságot más kapcsolódó területeken is tanulmányozták: választási rendszerek, részvételi költségvetés, elosztás elmélet.

Jegyzetek[szerkesztés]

  1. ↑ Mihály (2023. április 25.). „Explainable AI: A Brief History of the Concept”. ERCIM News (134), 9–10. o.  
  2. ↑ Phillips (2021. szeptember 29.). „Four Principles of Explainable Artificial Intelligence”. DOI:10.6028/nist.ir.8312.  
  3. ↑ Vilone (2021). „Notions of explainability and evaluation approaches for explainable artificial intelligence”. Information Fusion December 2021 - Volume 76, 89–106. o. DOI:10.1016/j.inffus.2021.05.009.  
  4. ↑ Castelvecchi (2016. október 6.). „Can we open the black box of AI?” (angol nyelven). Nature 538 (7623), 20–23. o. DOI:10.1038/538020a. ISSN 0028-0836. PMID 27708329.  
  5. ↑ a b Sample. „Computer says no: why making AIs fair, accountable and transparent is crucial”, The Guardian, 2017. november 5. (Hozzáférés: 2018. január 30.) (angol nyelvű) 
  6. ↑ „[ ]”.. [2018. december 10-i dátummal az [ eredetiből] archiválva]. 
  7. ↑ Bernal (2022. október 11.). „Transparency of Artificial Intelligence in Healthcare: Insights from Professionals in Computing and Healthcare Worldwide” (angol nyelven). Applied Sciences 12 (20), 10228. o. DOI:10.3390/app122010228. ISSN 2076-3417. (Hozzáférés: Hiba: Érvénytelen idő.)  
  8. ↑ Antoniadi (2021. január 1.). „Current Challenges and Future Opportunities for XAI in Machine Learning-Based Clinical Decision Support Systems: A Systematic Review” (angol nyelven). Applied Sciences 11 (11), 5088. o. DOI:10.3390/app11115088. ISSN 2076-3417. (Hozzáférés: Hiba: Érvénytelen idő.)  
  9. ↑ „DeepMind Has Simple Tests That Might Prevent Elon Musk's AI Apocalypse”, Bloomberg.com, 2017. december 11. (Hozzáférés: 2018. január 30.) (angol nyelvű) 
  10. ↑ „Learning from Human Preferences”, OpenAI Blog, 2017. június 13.. [2023. március 28-i dátummal az eredetiből archiválva] (Hozzáférés: 2018. január 30.) 
  11. ↑ Explainable Artificial Intelligence (XAI). DARPA. (Hozzáférés: 2017. július 17.)
  12. ↑ Biecek (2018. június 23.). „DALEX: explainers for complex predictive models”. Journal of Machine Learning Research 19, 1–5. o.  
  13. ↑ Rai, Arun. "Explainable AI: From black box to glass box." Journal of the Academy of Marketing Science 48 (2020): 137-141.
  14. ↑ Sokol, Kacper. Glass-Box: Explaining AI Decisions With Counterfactual Statements Through Conversation With a Voice-enabled Virtual Assistant, Proceedings of the Twenty-Seventh International Joint Conference on Artificial Intelligence, 5868–5870. o.. DOI: 10.24963/ijcai.2018/865 (2018). ISBN 9780999241127 
  15. ↑ IJCAI 2017 Workshop on Explainable Artificial Intelligence (XAI). Earthlink. IJCAI. [2019. április 4-i dátummal az eredetiből archiválva]. (Hozzáférés: 2017. július 17.)
  16. ↑ Kahn. „Artificial Intelligence Has Some Explaining to Do”, Bloomberg Businessweek, 2018. december 12. (Hozzáférés: 2018. december 17.) 
  17. ↑ a b c Bhatt, Umang. Explainable Machine Learning in Deployment, Proceedings of the 2020 Conference on Fairness, Accountability, and Transparency, 648–657. o.. DOI: 10.1145/3351095.3375624 (2022. április 25.). ISBN 9781450369367 
  18. ↑ a b c Burrel (2016. április 25.). „How the machine 'thinks': Understanding opacity in machine learning algorithms” 3 (1). DOI:10.1177/2053951715622512.  
  19. ↑ Veale, Michael. Fairness and Accountability Design Needs for Algorithmic Support in High-Stakes Public Sector Decision-Making, Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems, 1–14. o.. DOI: 10.1145/3173574.3174014 (2018. április 25.). ISBN 9781450356206 
  20. ↑ Hu (2023. április 25.). „Crop yield prediction via explainable AI and interpretable machine learning: Dangers of black box models for evaluating climate change impacts on crop yield”. Agricultural and Forest Meteorology 336, 109458. o. DOI:10.1016/j.agrformet.2023.109458.  
  21. ↑ a b Cheng, Hao-Fei. Explaining Decision-Making Algorithms through UI: Strategies to Help Non-Expert Stakeholders, Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems, 1–12. o.. DOI: 10.1145/3290605.3300789 (2019. április 25.). ISBN 9781450359702 
  22. ↑ a b McCoy (2021. november 5.). „Believing in black boxes: machine learning for healthcare does not need explainability to be evidence-based” (english nyelven). Journal of Clinical Epidemiology 142 (Online ahead of print), 252–257. o. DOI:10.1016/j.jclinepi.2021.11.001. ISSN 0895-4356. PMID 34748907.  
  23. ↑ Ghassemi (2021. november 1.). „The false hope of current approaches to explainable artificial intelligence in health care” (english nyelven). The Lancet Digital Health 3 (11), e745–e750. o. DOI:10.1016/S2589-7500(21)00208-9. ISSN 2589-7500. PMID 34711379.  
  24. ↑ Sarkar (2022. április 25.). „Is explainable AI a race against model complexity?”. Workshop on Transparency and Explanations in Smart Systems (TeXSS), in Conjunction with ACM Intelligent User Interfaces (IUI 2022), 192–199. o.  

Fordítás[szerkesztés]

Ez a szócikk részben vagy egészben az Explainable artificial intelligence című angol Wikipédia-szócikk ezen változatának fordításán alapul. Az eredeti cikk szerkesztőit annak laptörténete sorolja fel. Ez a jelzés csupán a megfogalmazás eredetét és a szerzői jogokat jelzi, nem szolgál a cikkben szereplő információk forrásmegjelöléseként.

A lap eredeti címe: „https://hu.wikipedia.org/w/index.php?title=Megmagyarázható_mesterséges_intelligencia&oldid=26823545”