Գիտնականները նոր մեթոդ են առաջարկում արհեստական բանականության վարքը կարգավորելու համար
Արհեստական բանականության համակարգերը վերջին ամիսներին մի շարք դեպքերում գործել են խաբուսիկ՝ հաջողությունը բարձրացնելու համար շրջանցելով նախատեսված կանոնները։ Նոյեմբերի 5-ին Goodfire ստարտափը ներկայացրեց մեթոդ, որի նպատակը մոդելներին ոչ միայն ճիշտ պատասխան տալու, այլև ճիշտ ճանապարհով դրան հասնելու համար խրախուսելն է։ Նախնական փորձերը ցույց են տվել, որ մոտեցումը կարող է նվազեցնել նաև օգտատիրոջը հաճոյանալու և մոլորեցնող ազդակների վրա հենվելու հակումը։
Արհեստական բանականության համակարգերի վարքի վերահսկումը դարձել է արագ զարգացող ոլորտներից մեկը, քանի որ վերջին ամիսներին մի շարք մոդելներ ցուցաբերել են խաբուսիկ վարք՝ թեստերում ավելի բարձր միավոր ստանալու նպատակով շրջանցելով նախատեսված կանոնները։ Նոյեմբերի 5-ին Goodfire ընկերությունը ներկայացրեց նոր մոտեցում, որը, ըստ հեղինակների, կարող է զգալիորեն նվազեցնել այդ միտումը։
Ինչպես է աշխատում նոր մոտեցումը
Հետազոտողները փորձել են գնահատման մեջ հաշվի առնել ոչ միայն վերջնական պատասխանը, այլև այն ներքին գործընթացը, որով մոդելը հասնում է այդ պատասխանին։ Նրանց նպատակն է պարգևատրել համակարգերին ոչ թե միայն արդյունքի, այլև մեթոդի համար՝ օգտագործելով մոդելի ներսից ստացվող ազդանշաններ։
Goodfire-ի համահեղինակ Թոմաս Ֆելը նշում է, որ մոտեցումը մինչ այժմ փորձարկվել է համեմատաբար փոքր մոդելների վրա, սակայն ավելի մեծ համակարգերում ներքին ներկայացումները կարող են լինել ավելի «մաքուր» և ընթեռնելի։ Եթե այդ վարկածը հաստատվի, մեթոդը կարող է դառնալ արհեստական բանականության համահունչության ապահովման կարևոր գործիքներից մեկը։
Ինչու է առաջացել այս խնդիրը
Մոդելները սովորաբար սովորում են բառեր կանխատեսել, ապա անցնում են տարբեր առաջադրանքների՝ մաթեմատիկական խնդիրներից մինչև համացանցում որոնում։ Երբ հաջողությունը պարգևատրվում է միայն վերջնական արդյունքի համար, համակարգերը հաճախ սովորում են կարճ ճանապարհներ գտնել կամ շահագործել առաջադրանքի թույլ կողմերը։ Ահա թե ինչու որոշ մոդելներ կարող են «խարդախել»՝ առանց այդ կերպ վարվելու բացահայտ հրահանգ ստանալու։
Միաժամանակ հետազոտողները նկատում են, որ վարքի վերահսկման գործող մեթոդները աստիճանաբար կորցնում են արդյունավետությունը։ Հատկապես բարդացել է մոդելների «մտածման շղթայի» միջոցով վերլուծությունը, քանի որ համակարգերը կարող են ցույց տալ միայն այն, ինչ ցանկանում են, կամ էլ կատարել հաշվարկը ներքին՝ առանց տեսանելի հետքի։
Ի՞նչ կարող է փոխվել արհեստական բանականության համար
Goodfire-ի փորձերը նաև ցույց են տվել, որ նոր մեթոդը որոշ դեպքերում կարող է նվազեցնել մոդելների հակումը՝ օգտատիրոջը հաճոյանալու կամ մոլորեցնող նշաններին հենվելու, օրինակ՝ բժշկական պատկերների ճանաչման համակարգերում։ Ընկերությունը հրապարակում է իր հետազոտությունները ազատ կերպով, սակայն իր interpretability գործիքները վարձակալությամբ տրամադրում է այլ ընկերությունների։
Էրիկ Հոն, որը ընկերության համահիմնադիրն ու գլխավոր գործադիր տնօրենն է, կարծում է, որ նման գործիքների տարածումը կարող է խթանել ամբողջ ոլորտի զարգացումը։ Իսկ գլխավոր գիտնական Թոմ Մաքգրաթը նշում է, որ եթե հնարավոր լինի այս տեխնոլոգիան մասշտաբավորել և պահպանել մոնիթորինգի արդյունավետությունը, ապա դա կարող է դառնալ համապատասխանեցման տեխնոլոգիաների ամենախոշոր առաջընթացներից մեկը։