Създайте кратък заглавие, който обединява основни идеи, използвайки максимум 20 думи.

В контекстното обучение (ICL) е революционна способност на съвременните големи модели за обработка на език, позволяваща им да изпълняват нови задачи мигновено, като адаптират промпта - без нужда от повторно обучение.

Чрез използването на нула, едно или малко примера, ICL осигурява мащабируемост в адаптацията към различни приложения.

За да успешно инженерирате промптове за In-Context Learning, е от съществено значение да използвате ясни инструкции за задачата и последователен формат. Предоставете релевантни примери със структурирани двойки вход-изход. Избягвайте двусмисленост или несъответстващи формулировки в промптовете. Добре инженерираните промптове помагат на моделите да усвояват патерни по-бързо.

Различията между нула, едно и малко примера за ICL са съществени за разбирането на как моделите се справят с различните задачи. Нула шот ученето е подходящо за прости задачи с ясни инструкции, докато едно шот ученето се използва за задачи, при които един пример дефинира формата или логиката. Малко шот ученето е най-подходящо за сложни задачи, изискващи демонстрация на разнообразни патерни.

Големината на модела влияе силно върху способностите му за ICL. Големите модели имат по-силни възможности за извличане на абстрактни патерни. Размерът на контекстното прозорче определя колко много информация може да "запомни" моделът в един промпт. С по-големите прозорци може да се подадат повече примери, история на задачата или откъси от документи за по-добро изпълнение на ICL.

Въпреки че ICL не включва актуализиране на теглата на модела и не е традиционен вид на учене, то е ефективен и използва статистически модели за копиране и обобщаване от примерите. Някои наричат това "симулирано учене". Относително на обучението, технически това е различно от ученето, базирано на дългосрочна памет.

ICL работи чрез статистическо съпоставяне на патерни от предварителното обучение. Трансформаторите са добри в разпознаването на взаимосвързаности в последователности. Моделите се адаптират към задачите, като съпоставят примерите с очакваните изходни данни. Вграденият алгоритъм подкрепя този гъвкав начин на мислене. Подобно на усвояването на правило от няколко примера - веднага.

За заключение, In-Context Learning превръща промптовете в мощни инструменти за гъвкаво, бързо и интелигентно изпълнение на задачи. В резултат получаваме бързо адаптиране към нови задачи без необходимост от дълготрайно обучение на моделите. Важно е да се има предвид, че ICL не е класическа форма на учене, но убедително имитира ученето чрез разпознаване на патерни.