Tyrimai rodo, kad OpenAI GPT-4 „pralenkia“ žmones finansinių ataskaitų analizėje, tačiau skeptikai nėra įsitikinę

Pranešama, kad OpenAI GPT-4 didelės kalbos modelis parodė gebėjimą analizuoti finansines ataskaitas tokiu tikslumu, kuris lenkia geriausius finansų analitikus.

Teiginys pateiktas Čikagos universiteto mokslininkų parašytame dokumente, kuriame teigiama, kad jų rezultatai rodo daug žadančią generatyvaus dirbtinio intelekto ateitį finansinės analizės srityje.

Pasak mokslininkų, kurių darbą pirmą kartą perėmė „VentureBeat“, GPT-4 buvo naudojamas viešai listinguojamų įmonių finansinėms ataskaitoms analizuoti, kad būtų galima numatyti būsimą jų pajamų augimą. Jie teigia, kad tai yra neįtikėtinai sėkminga, pranokstanti žmogiškuosius finansų analitikus, net jei jiems pateikiami tik keli standartizuoti ir anoniminiai balansai ir pajamų ataskaitos, be jokio papildomo konteksto.

„Mes nustatėme, kad LLM numatymo tikslumas prilygsta siaurai parengto modernaus ML modelio veikimui“, – rašė ataskaitos, pavadintos „Finansinių ataskaitų analizė naudojant didelių kalbų modelius“, autoriai.

Tyrėjai paaiškino, kaip jie naudojo metodą, vadinamą „minčių grandine“, kad GPT-4 galėtų priimti sudėtingesnius argumentus, iš esmės imituojant žmogaus finansinės analizės mąstymo procesus. Mokydami modelį nustatyti tendencijas, apskaičiuoti santykius ir sintezuoti informaciją, jie sugebėjo įtikinti jį atlikti tikslias prognozes. Remiantis straipsniu, GPT-4 gali numatyti būsimo uždarbio kryptį 60% tikslumu, pranokdamas daugumos finansų analitikų 53-57% tikslumą.

„LLM prognozės kyla ne iš jo treniruočių atminties“, – sakė mokslininkai. „Vietoj to, mes pastebime, kad LLM sukuria naudingų pasakojimo įžvalgų apie įmonės būsimą veiklą.

Tyrėjai spėja, kad geresnis GPT-4 našumas greičiausiai kyla dėl didžiulės žinių bazės, kuria jis gali remtis, kartu su gebėjimu atpažinti verslo koncepcijas ir modelius bei vadovautis intuityviais samprotavimais net ir esant nepilniems duomenų rinkiniams.

„Apibendrinant, mūsų rezultatai rodo, kad LLM gali atlikti pagrindinį vaidmenį priimant sprendimus”, – sakė mokslininkai.

Kiti nusiteikę skeptiškai

Kitas klausimas, ar turtingi žmogiškieji investuotojai norės pasitikėti GPT-4, ir yra priežasčių skeptiškai vertinti tyrėjų teiginius. „Hacker News“ forume vartotojas, vadinamas milkpower471, nurodė, kad dirbtinio neuroninio tinklo modelis, kurį mokslininkai naudojo kaip etaloną, buvo sukurtas 1989 m. ir negali būti lyginamas su pažangiausiais modeliais, kuriuos šiandien naudoja finansų analitikai.

„Tas ANN etalonas nė iš tolo neprilygsta pažangiausioms technologijoms“, – sakė jis.. „Žmonės nenustojo šiuo klausimu dirbti 1989 m. – jie suprato, kad gali užsidirbti daug pinigų ir daryti tai privačiai“.

Dirbtinio intelekto tyrinėtojas Mattas Holdenas taip pat suabejojo ​​tyrėjų teiginiais, X paskelbdamas, kad vargu ar GPT-4 galės pasirinkti akcijas, kurios iš tikrųjų gali geriausiai rodyti platesnį indeksą, pvz., S&P 500.

Nesu tikras dėl šio kadravimo. Atrodo klaidinančiai, ar ne?

Vidutinis analitikas iš tikrųjų negali sėkmingai „pasirinkti akcijų“ ir įveikti paprasto avangardinio indekso fondo, tad kam lyginti tai su LLM?

Neabejoju, kad LLM gali pranokti vidutinius analitikus atliekant tam tikras užduotis, tokias kaip rašymas…

– Mattas Holdenas (@holdenmatt) 2024 m. gegužės 24 d

Nepaisant to, mokslininkai teigia, kad jie yra skatinami, juo labiau, kad tokio pobūdžio skaitmeninė analizė tradiciškai visada buvo iššūkis LLM. Alexas Kimas, vienas iš tyrimo bendraautorių, teigė, kad modeliams visada buvo labai sunku atlikti skaičiavimus, interpretuoti ir priimti sudėtingus sprendimus taip, kaip tai galėtų padaryti žmogaus analitikas.

„Nors LLM yra veiksmingi atliekant tekstines užduotis, jų supratimas apie skaičius paprastai kyla iš pasakojimo konteksto ir jiems trūksta gilaus skaitinio samprotavimo ar žmogaus proto lankstumo“, – sakė jis.

Nors vargu ar artimiausiu metu žmonių finansų analitikus pakeis dirbtinis intelektas, mokslininkai teigia manantys, kad LLM gali būti galingi įrankiai, padedantys supaprastinti jų darbą ir galbūt padaryti juos veiksmingesnius.

Tyrėjai sukūrė interaktyvią žiniatinklio programą, skirtą „ChatGPT Plus“ abonentams, kuri gali parodyti GPT-4 gebėjimą atlikti finansinę analizę, tačiau primena vartotojams, kad jie turės savarankiškai patikrinti jos tikslumą.

Vaizdas: SiliconANGLE / Microsoft Designer