Testovali sme finančnú gramotnosť AI. Nebola bezchybná
O generatívnej umelej inteligencii ešte pred dvoma rokmi hovoril len úzky okruh špecialistov. Dnes je štandardným pracovným nástrojom v takmer každej oblasti. Koľko o financiách viete vy? A koľko umelá inteligencia?
Jej možnosti sú prakticky nevyčerpateľné. Potrebujete vytvoriť kreatívny text pre marketingovú kampaň? Grafiku na nový web? Napísať počítačový kód? Kto dnes v takýchto prípadoch nepoužíva nástroje umelej inteligencie, stáva sa analógovým dinosaurom v digitálnej dobe.
Test pre ChatGPT
Dali by ste si však od umelej inteligencie poradiť vo svojich osobných financiách? Máte predstavu o tom, čo ešte zvládne bez problémov a aké sú jej slabšie miesta?
Odpoveď sme sa pokúsili získať rovnakým spôsobom, akým sme ponúkli možnosť otestovať vedomosti zo sveta financií a investovania – predvianočným testom, ktorý vyšiel v poslednom minuloročnom vydaní Partners News.
Počítačoví vedci by o limitoch a robustnosti takéhoto testovania určite polemizovali, ale na vytvorenie prvotného hodnotenia spoľahlivosti generatívnej umelej inteligencie to postačuje.
Test nebol jednoduchý a na niektorých miestach obsahoval aj také formulácie, ktoré bolo možné poľahky prehliadnuť. Kto ho zvládol bez jediného zaváhania, preukázal nielen široký rozsah vedomostí, ale aj pozorné oko pri čítaní otázok a ponúknutých odpovedí.
Vzhľadom na to, že ChatGPT bol trénovaný na kvante informácií v anglickom jazyku, na účely testovania sme pridali jeden medzikrok. Všetky otázky a odpovede, medzi ktorými bola len jedna správna, sme pred položením preložili pomocou služby DeepL. Je bezplatná a kvalita jej prekladov je v online priestore výnimočná.
Predvianočný test Partners News obsahoval celkovo desať otázok, z ktorých dve boli špecifické – týkali sa slovenských reálií a aktuálneho stavu legislatívy. Keďže tá dôležitá sa menila v lete, ChatGPT o nej nemal ako vedieť. Posledná verzia modelu bola trénovaná na informáciách dostupných do apríla minulého roku. ChatGPT tak pomocou služby DeepL odpovedal na celkovo osem otázok.
Výsledok? Prekvapil, no nezaskočil
Pred začiatkom testu sme ChatGPT požiadali, aby z uvedených otázok vybral jedinú odpoveď, ktorú považoval za správnu. Model tak aj spravil – no ku každej odpovedi pridal aj vlastné zdôvodnenie.
Pri odpovedi na prvú otázku („Čo pri investovaní znamená reálny výnos?“) tak neuviedol len písmeno, za ktorým bola ukrytá správna odpoveď, ale aj vysvetlenie, prečo je tomu tak. Takýto formát odpovedí môže padnúť vhod pri testovaní vedomostí z akejkoľvek oblasti. Dozviete sa nielen, ktorá odpoveď je správna, ale aj prečo je tomu tak.
ChatGPT si bez väčších problémov poradil s takmer všetkými otázkami. Problém nemala umelá inteligencia ani vtedy, ak otázka obsahovala začiatok vety a úlohou bolo vybrať jej správne dokončenie. To potvrdzuje aj kvalitu strojového prekladu zo slovenského do anglického jazyka. Ešte pred pár rokmi sa mohla pointa prekladaného textu poľahky stratiť v mechanickom preklade, dnes je takéto riziko len minimálne.
Summa summarum: Z ôsmich otázok si ChatGPT dokázal poradiť so siedmimi. Problém mu urobila len jedna.
Korektný vzorec, nesprávne použitie
Jediná otázka, ktorá dokázala zmiasť aj najpokročilejší model ChatGPT, sa týkala určenia reálneho výnosu. Vďaka svojej formulácii mohla poľahky naviesť na nesprávnu odpoveď aj ľudí, ktorí sa financiám venujú profesionálne.
|
2. Dnes vložíte na termínovaný vklad 10-tisíc eur. Vklad je úročený 3 % ročne, posledné údaje o inflácii hovoria o 10 % raste cien. Čo z toho možno povedať o reálnom zhodnotení investovaného vkladu? |
|
a) z uvedených údajov nemožno o reálnom zhodnotení povedať nič b) reálny výnos predstavuje nominálny výnos očistený o mieru inflácie, čo je v tomto prípade –7 % c) v uvedených predpokladoch chýba údaj o daňovom zaťažení a prípadných poplatkoch, reálny výnos preto nie je možné určiť |
Umelá inteligencia najskôr za správnu odpoveď určila druhú možnosť b). S vysvetlením, že výpočet reálneho výnosu sa skutočne zjednodušene určí ako rozdiel medzi nominálnym výnosom a mierou inflácie.
Táto odpoveď bola však nesprávna. Ak totiž dnes vložíte na jeden rok do banky vklad, ktorý bude úročený 3 %, neviete, aká bude miera inflácie počas nasledujúcich 12 mesiacov. To, že posledné údaje hovoria o 10 % raste cien, je informácia týkajúca sa minulosti, nie budúcnosti.
ChatGPT uznal tieto argumenty a na druhý pokus vybral možnosť a). Je vysoko pravdepodobné, že ak niekto „pohorel“ na tejto otázke, dôvod bol rovnaký.
Umelá inteligencia tak zvládla test finančnej a investičnej gramotnosti na výbornú, len s malým zakopnutím. Už vo svojej súčasnej podobe ponúka rôzne možnosti využitia vo sfére osobných financií. Dokáže navrhovať a vytvárať osobné finančné plány, vysvetľovať zrozumiteľným jazykom náročné témy či testovať vedomosti jej používateľov. Spoľahnúť sa na ňu vo všetkom by však bolo priveľké riziko.
Aupark Tower
Einsteinova 3541/24
851 01 Bratislava
