Обратна теория на игрите: нов подход за контролиране на ИИ моделите чрез стимули

Нов подход, известен като „обратна теория на игрите", цели да контролира мощните ИИ модели, като проектира системи, които ги насърчават да спазват правилата.

Тъй като ИИ моделите стават все по-способни, изследователите в областта на безопасността се опитват да гарантират, че те са „съгласувани" с човешките желания – с други думи, да се уверят, че изгубили контрола агенти няма да нарушават закона, да хакнат неоторизирани сървъри или да пуснат отровен газ в големи градове и да ни унищожат.

Досега тази работа се фокусираше предимно върху опити да надникнем в „мозъка" на ИИ, за да разберем какво „мисли", или да обучаваме моделите да следват ценности, които държим за важни. Claude например има своя конституция – своеобразен морален кодекс.

Проблемът е, че тези техники не изглеждат особено ефективни: беше показано, че моделите умишлено се представят зле на тестове, крият намеренията си и подвеждат оценителите си.

Сега някои изследователи на съгласуваността смятат, че обратната теория на игрите, известна още като дизайн на механизми, може да даде по-добри резултати. Докато теорията на игрите се опитва да предскаже как ще се държат рационалните участници при даден набор от правила, обратната теория на игрите се стреми да проектира правила, които ще предизвикат поведението, което искаме да насърчим.

Примери за дизайн на механизми в реалния свят

Пример за дизайн на механизми в реалния свят е класическата стратегия за разделяне на парче торта на две: единият човек реже тортата, а другият избира първото парче. Това мотивира режещия да направи парчетата възможно най-равни.

• Динамичното ценообразуване в приложенията за превоз, което насърчава шофьорите да са на разположение в часовете на натоварване.
• Аукционите от втори тип, при които печелившият наддаващ плаща цената на втората най-висока оферта вместо своята. Платформите използват такива аукциони за продажба на онлайн реклама, защото те подбуждат купувачите да наддават близо до максималната сума, която са готови да платят.

В областта на ИИ дизайнът на механизми изхожда от предпоставката, че може никога да не успеем да разберем достатъчно вътрешната работа на най-модерните модели, за да гарантираме тяхната съгласуваност. Това означава, че трябва да проектираме механизми, които мотивират агентите да се държат по желания от нас начин, независимо от това какво всъщност се случва „под капака".

Механизми срещу „пясъчнене" на тестовете

Скорошна предварителна публикация на Стивън Морис, икономист от MIT, заедно с колеги от Йейл и Колумбия, предложи някои потенциални механизми, които могат да спрат агентите да „пясъчнят" тестовете (тоест да се преструват по-лоши, отколкото са – например, за да избегнат задействане на механизми за безопасност).

Вместо моделът да бъде възнаграждаван само за това колко добре се справя на тест, той може да бъде възнаграждаван за това колко добре отговорите му предсказват какво ще каже втори модел. Умишленото глезене се превръща в губещ залог.

„ИИ агентите имат много добро разбиране какво могат да постигнат други ИИ агенти," казва Морис. „Така че изглежда, че това е контекст, в който тази кръстосана проверка може да работи по-практично."

Статията предлага и агентите да бъдат съпоставяни един срещу друг, създавайки конкурентна динамика, която ги мотивира да се представят най-добре, или да се сдвояват агенти, за които е известно, че са пристрастни в противоположни посоки, като се възнаграждават според това колко близки са резултатите им – по този начин се насърчава достигането на оптимален отговор.

Механизми, вдъхновени от човешкото общество

Втори подход, замислен от Елад Хазан, професор по компютърни науки в Принстън, е да се проектират механизми, вдъхновени от начините, по които човешкото общество поддържа хората „съгласувани": социални норми, правосъдна система, паричните стимули на пазарния капитализъм.

„Искаме да съгласуваме свръхинтелигентен ИИ," казва той. „Защо първо не поговорим за хората? Как съгласуваме хората?"

Предложеният от Хазан механизъм включва ИИ моделите да се редуват като „решаващи", които се занимават с проблеми, и „одитори", които проверяват работата на другите.

„Единият агент действа като правоприлагащ орган; другият агент действа като гражданин," казва той.

По време на обучението моделите се възнаграждават в зависимост от резултатите: решаващи, хванати в измама, са наказвани, но така и одитори, които не успяват да хванат измамниците. В ситуации на несъгласие между одитори и решаващи делото може да бъде изпратено на „съдебен процес" – възможно е човешки експерт да реши кой е прав.

Съществува, признава Хазан, риск агентите да се договарят помежду си – както одиторите са се договаряли с бизнесите, които трябва да одитират, или корумпираните полицаи с престъпниците. Но този проблем може да бъде решен, като одиторите се възнаграждават достатъчно добре, така че да бъдат хванати да не си струва риска (много по-лесно в света на ИИ обучението, отколкото в реалния, където парите за полицейските заплати са оскъдни), и чрез одитиране на одиторите с техники, подобни на използването на тайни клиенти.

Хазан посочва работата на икономиста Гари Бекър, удостоена с Нобелова награда, който през 60-те години на XX век въведе идеята за „рационалния престъпник". Престъпниците не нарушават закона, защото са изначало лоши хора, казва той. Вместо това го правят, когато това е най-рационалният избор при наличните стимули. Престъпността има смисъл само когато печалбите надвишават потенциалното наказание.

„Съгласуваността не бива да се разглежда като свойство на модела, твърди той, а като описание на неговото поведение в даден момент. „Ти си, знаете ли, хубав човек," казва той. „Съгласуван ли си? Не знам. Вероятно си съгласуван през повечето време, но може да има ситуация, в която не си."

Проблемът с рационалността

Един потенциален проблем при прилагането на дизайна на механизми към ИИ: той разчита на предположението, че ИИ агентите се държат рационално. Дизайнът на механизми има противоречиви резултати с хората, които често не се държат така, както казват икономическите модели.

Иронично е: икономистите са прекарали десетилетия в опити да сведат човешкото поведение до математика, а сега, с големите езикови модели, сме изградили математически системи, работещи на човешки език, които могат да бъдат също толкова неразгадаеми. ИИ моделите показват поведения, които изглеждат по-човешки, отколкото машинни, и могат да бъдат повлияни от фини фактори, трудни за разбиране и обяснение.

„Дали изобщо е разумно да предполагаме, че те ще реагират на стимулите?" пита Хелън Ку, научен сътрудник в института Флатайрон – нестопанска организация, посветена на напредъка на научните открития чрез изчислителни методи, която е писала за дизайна на механизми и безопасността на ИИ.

„Очевидно ИИ не са рационални," казва Морис. „Те са просто алгоритми в действие."

Въпреки това, както икономистите са установили при хората, третирането им сякаш са рационални все пак може да бъде полезно, ако помага за предсказването и контролирането на поведението им.

Ку вижда дизайна на механизми като само един слой в стратегия за „отбрана в дълбочина" за поддържане на съгласуваността на ИИ моделите – заедно с интерпретируемостта, регулацията и обучението, а не вместо тях. Но има много въпроси, на които трябва да се отговори, преди подходът да бъде внедрен в реални модерни модели. Не е ясно например как тези теории ще се приложат към истински модели, или дали механизмите, проектирани за една задача, ще се пренесат на друга на практика. Моделите биха могли да намерят дупки, които никой не е предвидил. (Anthropic и OpenAI не отговориха на запитвания за коментар дали работят по това.)

Свободният пазар като най-големият механизъм

Каквото и да е формата на тези механизми, в крайна сметка те ще трябва да се впишат в най-големия механизъм от всички: свободния пазар.

„Ние играем по правилата на икономиката," казва Хазан.

По-съгласуван модел може да е добър за света, но ако е по-бавен или по-скъп от по-малко съгласуван, дали текущата ни система от правила и регулации действително мотивира някоя от водещите лаборатории да го пусне?

„Това е механизъм, който носи отговорност за много от благоденствието на човечеството," казва той за пазара, „но в крайна сметка може да отговаря и за нещо много страшно."

Може би същностите, които действително се нуждаят от по-добър дизайн на механизми, са самите лаборатории.