Великі мовні моделі (LLM), найвідоміша з яких ChatGPT, за останні роки стали набагато краще обробляти і генерувати людську мову. Однак, незважаючи на очевидний прогрес, питання про те, наскільки точно вони імітують нейронні процеси, залишалося відкритим.
Нещодавнє дослідження, проведене вченими з Колумбійського університету та Інститутів медичних досліджень імені Файнстейна, засвідчило, що в міру того, як мовні моделі стають просунутішими, вони не тільки працюють краще, а й стають більш схожими на людський мозок.
У рамках дослідження вивчали 12 моделей з відкритим вихідним кодом, що мають схожу архітектуру і кількість параметрів. Одночасно з цим проводили виміри нейронної активності мозку пацієнтів, які проходили нейрохірургічне лікування, яким імплантували електроди. Під час експерименту пацієнти слухали мову, а дослідники фіксували активність різних ділянок мозку.
Потім текст цієї ж мови був переданий на обробку ШІ-моделям. Вчені витягли з моделей так звані "вкладення" – внутрішні цифрові коди, які використовуються різними шарами моделі для кодування та обробки тексту. Щоб оцінити схожість між ШІ-алгоритмами та мозком, автори спробували передбачити нейронні реакції на слова, використовуючи ці вкладення.
Особлива увага приділялася тому, які саме шари LLM найтісніше корелюють із різними ділянками мозку, відповідальними за оброблення мови. Відомо, що в нашому мозку оброблення мови відбувається поетапно: від аналізу акустичних характеристик звуку до розпізнавання фонем і, зрештою, до розуміння сенсу слів і речень.
Отримані дані показали, що в міру того, як чат-боти стають продуктивнішими (наприклад, краще відповідають на запитання), їхні вбудовування стають дедалі схожішими на нейронні реакції мозку. У найбільш просунутих моделей ця схожість виражена найсильніше, а їхня структура все ближче відповідає ієрархії процесів, що відбуваються в мозку.
За словами вчених, механізм роботи мозку досі залишається багато в чому загадкою. Дослідження в галузі штучного інтелекту можуть не тільки допомогти краще зрозуміти нейронні процеси, а й використовувати знання про роботу мозку для подальшого вдосконалення ШІ.
Повідомлялося, що в планах у OpenAI найблжчим часом запустити нову велику мовну модель Orion. За очікуваннями розробників, ця модель має вийти на рівень "загального штучного інтелекту" (AGI). Спілкування з таким ШІ нагадуватиме спілкування з живою людиною.
Творець ChatGPT вважає, що штучний інтелект усвідомить себе в найближчі 5 років. Дивно, але це не сильно вплине на життя людей, заявив Сем Альтман. Колишній же головний науковий співробітник OpenAI Ілля Суцкевер каже, що безпека ШІ є найважливішою технічною проблемою нашого часу.
