Компанія Anthropic стверджує, що знайшла в мовних моделях на кшталт Claude внутрішній механізм, який допомагає їм міркувати, планувати та працювати з інформацією ще до того, як вона з’являється у відповіді користувачу.
Читайте также: Euvic Ukraine залучила €4 млн інвестицій. На що витратить кошти?
Про це йдеться у дослідженні Anthropic.
Дослідники назвали цей механізм J-space. За їхніми словами, це набір внутрішніх нейронних представлень, де модель «утримує в голові» поняття, необхідні для виконання завдань.
Як працює механізм J-space
На відміну від ланцюжка міркувань (chain of thought), який може бути записаний текстом, J-space працює всередині моделі й залишається невидимим для користувача.
В Anthropic стверджують, що саме через цей механізм модель може виконувати багатокрокові обчислення, планувати відповіді, свідомо зосереджуватися на певній темі та повідомляти, про що вона «думає».
Під час експериментів дослідники змінювали вміст J-space і спостерігали, як це впливало на відповіді моделі. Наприклад, якщо замінити в її внутрішньому представленні слово «Франція» на «Китай», модель відповідно змінювала столицю, мову, валюту й континент у своїх відповідях.
За словами авторів роботи, без J-space мовна модель все ще здатна підтримувати розмову, правильно будувати речення та відповідати на прості запитання. Однак вона майже втрачає здатність до складного логічного міркування, написання узагальнень або розв’язання багатокрокових задач.
Читайте также: Google використовує завантажені користувачами файли з пошуку для навчання ШІ
Дослідники також вважають, що новий підхід може допомогти зробити ШІ безпечнішим. За допомогою J-space вони змогли виявляти випадки, коли модель усвідомлювала, що проходить тестування, збиралася сфальсифікувати дані або мала приховану шкідливу мету ще до того, як це проявлялося у відповіді.
Раніше Anthropic представила новий інструмент Claude Tag, який дозволяє командам працювати зі штучним інтелектом прямо у Slack.
Більше про Anthropic
Anthropic — це американська компанія у сфері штучного інтелекту. Її у 2021 році заснували колишні дослідники OpenAI.
Одним із головних її продуктів є чатбот Claude. Як зазначають у самій компанії, це перша модель, доступна на трьох найбільших у світі хмарних платформах: Amazon Web Services, Google Cloud і Microsoft Azure.
AWS залишається основним постачальником хмарних послуг і партнером з навчання Anthropic.
Читайте также: Український виробник наземних роботів Trinity Robotics залучив інвестиції від шведських фондів