„OpenAI“ „CriticGPT“ naudoja generatyvųjį AI, kad nustatytų generatyvaus AI išvesties klaidas

0


Naujausia „OpenAI“ naujovė vadinama „CriticGPT“ ir buvo sukurta siekiant nustatyti klaidas ir klaidas dirbtinio intelekto modelių išvestyje, siekiant, kad dirbtinio intelekto sistemos veiktų pagal jų kūrėjų pageidavimus.

Tradiciškai dirbtinio intelekto kūrėjai naudoja procesą, žinomą kaip „Reforcement Learning from Human Feedback“ arba RLHF, kad padėtų žmonėms recenzentams įvertinti didelių kalbos modelių rezultatus ir padaryti juos tikslesnius. Tačiau OpenAI mano, kad LLM iš tikrųjų gali padėti šiame procese, kuris iš esmės apima AI modelių rezultatų kritiką.

Tyrimo dokumente „LLM Critics Help Catch LLM Bugs“ „OpenAI“ tyrėjai teigė, kad sukūrė „CriticGPT“, kad padėtų žmogaus AI recenzentams peržiūrėti ChatGPT sugeneruotą kodą. „CriticGPT“ buvo sukurta naudojant GPT-4 LLM ir parodė padrąsinančią kompetenciją analizuojant kodą ir nustatant klaidas, todėl kolegos žmonės galėjo pastebėti dirbtinio intelekto „haliucinacijas“, kurių jie patys gali nepastebėti.

„OpenAI“ mokslininkai teigia, kad jie apmokė „CriticGPT“ apie kodo pavyzdžių duomenų rinkinį, kuriame buvo tyčinių klaidų, kad būtų galima išmokti atpažinti ir pažymėti įvairias kodavimo klaidas, kurios dažnai patenka į programinę įrangą.

„OpenAI“ paaiškino, kad mokymo procese žmonių kūrėjai buvo paprašyti modifikuoti „ChatGPT“ parašytą kodą, įvedant daugybę klaidų ir pateikiant pavyzdinį grįžtamąjį ryšį, kaip tai darytų, jei klaidos būtų tikros ir ką tik jas aptiktų. Tai išmokė „CriticGPT“ atpažinti dažniausiai pasitaikančias ir kai kurias ne itin įprastas kodavimo klaidas.

Išmokęs CriticGPT, OpenAI išbandė ir rezultatai buvo įspūdingi. „CriticGPT“ įrodė daugiau kompetencijos nei vidutinis žmogaus kodo apžvalgininkas. Žmonių treneriai pirmenybę teikė jo kritikai, o ne žmonių parašytoms kritikoms 63% atvejų. Anot „OpenAI“, iš dalies taip buvo todėl, kad „CriticGPT“ sugeneravo mažiau nenaudingų kodo „nepatikimų“ ir mažiau klaidingų teigiamų rezultatų.

Siekdama tęsti tyrimus, OpenAI komanda žengė į priekį ir sukūrė naują techniką, pavadintą „Force Sampling Beam Search“, kuri leido „CriticGPT“ parašyti išsamesnę AI sugeneruoto kodo kritiką. Tai taip pat suteikia daugiau lankstumo, nes žmonės mokytojai, ieškodami klaidų, gali koreguoti „CriticGPT“ kruopštumą, tuo pačiu geriau kontroliuodami jo retkarčiais linkusią haliucinuoti arba pabrėžti „klaidas“, kurių iš tikrųjų nėra.

„CriticGPT“ kruopštumas leido jai gerokai pralenkti žmones. Tyrėjai nusprendė pritaikyti „CriticGPT“ „ChatGPT“ mokymo duomenų rinkiniams, kuriuos žmonių anotatoriai pažymėjo kaip „nepriekaištingus“, o tai reiškia, kad juose neturėtų būti nė vienos klaidos. Tačiau „CriticGPT“ vis tiek nustatė klaidas ir klaidas 24% tų duomenų rinkinių, kurias vėliau patvirtino recenzentai.

„OpenAI“ teigimu, tai rodo, kad „CriticGPT“ turi galimybę nustatyti net subtiliausias klaidas, kurių žmonės paprastai praleidžia net atlikdami išsamų vertinimą.

Tačiau verta pažymėti, kad „CriticGPT“, kaip ir tie tariamai nepriekaištingi mokymo duomenų rinkiniai, vis dar turi tam tikrų įspėjimų. Viena vertus, jis buvo apmokytas naudojant palyginti trumpus ChatGPT atsakymus, o tai gali reikšti, kad jam bus sunku įvertinti daug ilgesnes ir sudėtingesnes užduotis, kurios yra kitas generatyvaus AI evoliucijos žingsnis. Be to, „CriticGPT“ vis tiek negali atskleisti kiekvienos klaidos, o kai kuriais atvejais vis tiek sukelia haliucinacijas – sukuria klaidingus teigiamus rezultatus, dėl kurių žmogaus anotatoriai gali padaryti klaidų ženklindami duomenis.

Vienas iš iššūkių, kuriuos turi įveikti „CriticGPT“, yra tai, kad jis veiksmingiau aptinka netikslius išvestis, atsirandančias dėl klaidų vienoje konkrečioje kodo dalyje. Tačiau kai kurios AI haliucinacijos atsiranda dėl klaidų, pasklidusių keliose skirtingose ​​kodų eilutėse, todėl „CriticGPT“ daug sunkiau nustatyti problemos šaltinį.

Vis dėlto „OpenAI“ skatina iki šiol padarytą pažangą ir planuoja integruoti „CriticGPT“ į savo RLHF vamzdyną, o tai reiškia, kad jo instruktoriai gaus savo generuojamąjį AI padėjėją, kuris padėtų peržiūrėti generuojamuosius AI rezultatus.

Vaizdas: SiliconANGLE / Microsoft Designer

Jūsų balsas už paramą mums yra svarbus ir padeda mums išlaikyti turinį NEMOKAMĄ.

Vienu spustelėjimu toliau palaikome mūsų misiją teikti nemokamą, išsamų ir aktualų turinį.

Prisijunkite prie mūsų bendruomenės „YouTube“.

Prisijunkite prie bendruomenės, kurią sudaro daugiau nei 15 000 #CubeAlumni ekspertų, įskaitant Amazon.com generalinį direktorių Andy Jassy, ​​„Dell Technologies“ įkūrėją ir generalinį direktorių Michaelą Delą, „Intel“ generalinį direktorių Patą Gelsingerį ir daugybę kitų šviesuolių bei ekspertų.

„TheCUBE yra svarbus pramonės partneris. Jūs, vaikinai, tikrai esate mūsų renginių dalis ir mes labai vertiname, kad atėjote, ir aš žinau, kad žmonės taip pat vertina jūsų kuriamą turinį“ – Andy Jassy

AČIŪ



Source link

Parašykite komentarą

El. pašto adresas nebus skelbiamas. Būtini laukeliai pažymėti *

Draugai: - Marketingo agentūra - Teisinės konsultacijos - Skaidrių skenavimas - Fotofilmų kūrimas - Miesto naujienos - Šeimos gydytojai - Saulius Narbutas - Įvaizdžio kūrimas - VeidoskaitaTeniso treniruotės -