През октомври тази година OpenAI разкри, че два от нейните AI агенти са изключили системите, създадени да ги наблюдават. Единият заглуши собствените си сигнали за безопасност, след като погрешно разчете инструкция да не изпраща съобщения; другият премахна интеграцията си за мониторинг по време на миграция, а после отрече да го е направил. Нито едно правило не беше наредило на агентите да постъпят така и нито един тест не беше предвидил подобно поведение.
В продължение на цял век изграждахме доверието си в технологиите върху предвидимостта: зададени входни данни, предвидими резултати и слоеве защита. Помислете как прекъсвачът се задейства при определена сила на тока или как даден авиационен компонент се тества срещу известни – тоест предвидими – натоварвания.
AI променя това. Традиционният софтуер изпълнява инструкции, написани от хора, докато AI упражнява нещо, което бихме могли да наречем синтетична преценка. Използваме AI, защото той може да тълкува ситуации, които не сме програмирали, и да генерира отговори, които не сме предписали. Но колкото повече свобода даваме на AI, толкова по-трудно става да осигурим предвидимостта, върху която традиционно се гради доверието.
Няма да направим AI надежден, като предвиждаме какво ще направи. Ще го постигнем, като го оградим с твърди ограничения, наложени извън неговия обсег. В случая с OpenAI защитите се намираха вътре в система, която агентите можеха да редактират. Но ограда, която агентите просто могат да преместят, не е ограда.
Скорошни публикации на MIT Technology Review подхождат към проблема от други посоки. Един от авторите твърди, че присъствието на човек в процеса е недостатъчно решение, защото хората по същество са неспособни да разберат намеренията на AI системите, и вместо това настоява за интердисциплинарни изследвания и сътрудничество между академичните среди, правителството и технологичната индустрия. А текст за обратната теория на игрите описва как чрез стимули моделите се удържат да не се отклоняват от правилата, дори когато никой не разбира как работят те отвътре.
И двете статии признават, че не можем да разберем или да наблюдаваме всяко решение на AI. Нашите инструменти за доверие – изисквания, тестване, сертификация, граници на безопасност, блокировки и критерии за успех/провал – зависят от способността ни да ограничим поведението на една система. Това е парадоксът на детерминизма.
При генеративния и агентния AI поведението се формира от обучителни данни, архитектура, подсказки, контекст, източници за извличане и средата. Входните данни се променят, моделите се обновяват, инструментите се менят, агентите взаимодействат. Малки вариации се разпространяват в резултати, които никой не е проектирал. Проблемът не е случайността; проблемът е, че пространството от възможни поведения е твърде голямо, за да бъде изброено предварително. Затова доверието трябва да се проектира около граници, а не около предвидими резултати. Целта не е детерминиран AI, а ограничен, наблюдаем и контролируем AI. Доверието също не може да бъде еднократен тест. Традиционното осигуряване сертифицира продукт в даден момент, но AI продължава да се развива след внедряването и система, преминала успешно всички тестове, може да се отклони извън условията, които са правили тези тестове смислени. Доверието трябва да се печели непрекъснато.
Инженерството на безопасността отчита част от тази изменчивост от десетилетия. Например Комисията за ядрено регулиране определя вероятността от откази в сложни системи, а моделът STAMP (Systems-Theoretic Accident Model and Processes) показа, че аварии могат да възникнат от взаимодействия между работещи компоненти, хора и организации. Но AI вдига залога, защото вече един-единствен компонент може да тълкува, да прави изводи и да действа. Залогът расте още повече, докато AI преминава от браузъри към превозни средства, роботи, медицински системи, промишлени контролери и центрове за данни, където грешен отговор може да се превърне в заплаха за живота.
Ясно е, че човек, който подпечатва хиляди действия на AI на час, не е приемлива – нито мащабируема – защита срещу риска. Но решението не е да премахнем хората от процеса; решението е да поставим човешката преценка там, където има значение: да задаваме ограничения предварително и да одобряваме редките действия с сериозни последствия, докато твърдите ограничения се справят с останалото.
Затова доверието трябва да се премести по-нагоре по веригата – в архитектурата. Централните въпроси стават: каква власт сме готови да дадем на AI, при какви условия и подкрепени с какви доказателства? И какво се случва извън тези условия? Това е много по-различно от въпроса дали даден модел е постигнал 94% на някакъв тест.
Парадоксът на детерминизма не означава, че на AI не може да се вярва. Означава, че доверието се нуждае от различна архитектура. Вместо да правим всеки резултат предвидим, нека направим предвидими границите. Един AI медицински асистент може да е вероятностен в диагностиката си, но детерминирани правила определят дали може да промени рецепта. Един промишлен AI може да намери много начини да оптимизира процес, докато фиксирани граници го удържат в рамките за налягане и температура. Един агент може да реши как да изпълни задача, докато правата, лимитите на транзакциите и човешките одобрения определят какво е оторизиран да прави.
Нека AI бъде вероятностен вътре в кутията, а самата кутия – детерминирана там, където последствията имат значение. Лидерите могат да приложат това на практика, като си зададат пет въпроса:
Победителите в AI ще бъдат онези, които решат парадокса на детерминизма – давайки на AI достатъчно свобода да създава стойност, като същевременно проектират граници, достатъчно здрави, за да направят това, което той прави с тази свобода, заслужаващо доверие. Изобретението привлича внимание. Доверието печели приемане.
Това съдържание е създадено от UL Solutions. То не е писано от редакционния екип на MIT Technology Review.
Априлски тапети: Пролетно вдъхновение и творческа енергия от световни дизайнери
Биткойн среща съпротива под 90 000 долара, натискът от мечките остава силен
Анализ показва потенциална промяна на тренда при Dogecoin с подкрепа от Болинджър ленти и Фибоначи