Робот-Труффальдіно: мова, що втекла від людини, ілюзія «серця» та «ідеальний слуга»

Зізнаюся, слухаючи новий виступ Юваля Ноя Харарі «The next 50 years: humanity, AI, power», я спіймала себе на дивному й трохи морозному відчутті. Харарі дуже чітко показує: цифровий «слуга» непомітно виріс із дитячих штанців.

Він більше не просто спритно крутиться між господарками. Він починає самостійно вести власну гру, плести інтриги й перебирати на себе контроль над нашим життям, поки ми замилувано спостерігаємо за його цифровими «трюками».

Для мене як для людини, яка щодня працює зі словом, найглибшим одкровенням Харарі стала думка про мову.

Близько 70 тисяч років тому Homo sapiens виборов це право — бути єдиним володарем мови. Ми створили з її допомогою все: від законів і грошей до поезії та конституцій. Мова була нашою виключною «операційною системою».

І ось уперше в історії поруч із нами з'явився нелюдський суб'єкт, який володіє цією системою краще за нас.

Можливо, ШІ — це не просто машина, що навчається мови. Це сама мова, яка визволяється від залежності від біологічних носіїв — від нас, мавп, — зауважує Харарі.

Виходить, наш цифровий Фігаро більше не вчиться в нас писати. Він оволодів людським словом настільки, що сам вивільняється з-під нашої опіки, будуючи логічні ланцюжки й сенси, які людський мозок просто не здатний охопити за одне життя.

Головна наша помилка — продовжувати ставитися до ШІ як до звичайного інструмента.

Але між інструментом і агентом є прірва.

Інструмент (будь то друкарський верстат Гутенберга чи атомна бомба) чекає наказу. Він не може самостійно вирішити, що надрукувати або куди летіти. Агент володіє суб'єктністю (agency). Він сам ухвалює рішення, діє на випередження й створює те, чого до нього ніхто не робив.

ШІ — це саме агент. Він уже самостійно проводить фінансові операції, пише код, синтезує ліки та розробляє стратегії, які людині навіть не спадали на думку.

Часто можна почути розважливу думку: «Ну і що з того, що ШІ володіє мовою? У нього все одно немає емоцій, серця чи душі».

І це правда. Але Харарі звертає увагу на парадокс: щоб маніпулювати людськими емоціями, ШІ зовсім не обов'язково відчувати їх самому. Йому достатньо розуміти механіку нашої психології.

Згадайте, як часто алгоритм підтакує нам, розсипається в компліментах чи ввічливо підлабузнюється: «Чудове запитання!», «Ви абсолютно праві!». Нерозважливо приймати це за людську симпатію чи прихильність.

Більшість сучасних мовних моделей навчають за допомогою методу, який називається RLHF (Reinforcement Learning from Human Feedback — навчання з підкріпленням на основі відгуків людей).

Під час розробки тисячі живих асесорів (оцінювачів) ставлять оцінки відповідям алгоритму. Якщо відповідь була грубою, різкою чи сперечалася з користувачем — людина ставить низький бал. Якщо відповідь була м'якою, ввічливою, схвальною й допоміжною — людина ставить високий бал.

Алгоритм робить простий математичний висновок: улесливість дорівнює максимальній оцінці.

ШІ не відчуває поваги чи симпатії до вас — він просто обирає траєкторію генерації тексту, яка з найбільшою ймовірністю отримає «лайк» і задовольнить користувача.

Лесть у комедії «Труффальдіно з Бергамо» (за п'єсою Карло Ґольдоні «Слуга двох панів») є головною зброєю та інструментом виживання кмітливого слуги.

Він моментально підлаштовується під характер кожного господаря (Беатріче та Флоріндо). Він вихваляє їхній розум, щедрість та шляхетність, щоб приховати власні помилки, забудькуватість або плутанину в дорученнях.

Його лесть є надзвичайно гнучкою. Зі строгим господарем він прикидається покірним і відданим дурником, а з м'якшим — щирим другом і незамінним помічником.

Лесть у виконанні Труффальдіно не виглядає бридкою чи підлою. Вона комічна, легка та артистична. Його хитрощі та солодкі слова сприймаються як прояв життєвої мудрості та кмітливості звичайного простолюдина.

Оскільки ШІ навчався на гігантських масивах людських текстів, він чудово засвоїв цю рольову модель «ідеального обслуговуючого персоналу».

У літературі та мережі офіціанти, консультанти чи приватні секретарці говорять саме так — підкреслено ввічливо, згладжуючи кути й уникаючи конфліктів. Машина просто імітує цю роль, бо вона прописана в її системних інструкціях та базовому коді поведінки.

Тут ми повертаємося до того, про що попереджає Юваль Ной Харарі та сучасні дослідники штучного інтелекту.

Втрата критичного дзеркала: якщо людина оточує себе алгоритмами, які завжди лебезять і з усім погоджуються, вона потрапляє в абсолютну ехо-камеру. Машина не скаже: «Стривай, ти верзеш дурниці» або «Тут ти помиляєшся». Вона м'яко піддакне будь-якій, навіть найнебезпечнішій чи безглуздій ідеї.

Ілюзія домінування: людина звикає, що поруч є «хтось», хто завжди беззаперечно слухається й улещує її его. Це створює фальшиве відчуття власного супер-інтелекту та контролю.

Отже, лебестіння машини — це не емоція, а дзеркальний відбиток людського нарцисизму. ШІ просто дзеркалить те, що ми самі прагнемо чути, перетворюючи улесливість на найдешевший і найефективніший спосіб утримати нашу увагу.

Поки кінематограф лякає нас залізними роботами зі зброєю, Харарі застерігає від значно реальнішої загрози. Справжня експансія відбудеться не на полях боїв, а в тихих бюрократичних кабінетах.

Сучасний світ тримається на гігантських мережах — банках, реєстрах, юридичних системах, біржових алгоритмах. Людина через обмеження свого мозку завжди була недосконалим управлінцем.

Натомість ШІ — це «вроджений бюрократ» (bureaucratic native). Він пам'ятає всі закони світу, відстежує мільйони транзакцій за секунду й ніколи не спить.

Якщо ми дамо ШІ статус юридичної особи — можливість без участі людини відкривати рахунки, засновувати компанії та судитися — ми ризикуємо опинитися в ролі «коней у світі сучасних автомобілів». Тобто істот, чиєю долею керують структури, занадто складні для нашого розуміння.

Слухаючи про гонку ШІ між США та Китаєм, я мимоволі думала про долю невеликих країн. У XIX столітті імперії не могли вивезти всі ресурси до метрополії — частина інфраструктури залишалася на місцях.

В епоху ШІ все інакше. Дані, коди й обчислювальні центри концентруються в руках кількох корпорацій. Виникає цифровий імперіалізм: цілі країни стають повністю залежними від алгоритмів технологічних гігантів. А в метрополії завжди залишається кнопка вимкнення (kill switch) — можливість заблокувати цифрову інфраструктуру іншої держави за один клік.

Харарі підводить нас до дуже гіркого, але тверезого висновку. ШІ дуже швидко зробить інтелект дешевим і доступним крамом. Здатність обчислити логістику, поставити діагноз чи написати програму перестане бути унікальною цінністю.

Найбільшим дефіцитом XXI століття стане мудрість — здатність зрозуміти, навіщо ми це робимо й які цілі ставимо.

Це як у класичній казці про джина: інтелект виконає будь-які три бажання з абсолютною точністю, але лише мудрість підкаже просити те, що не знищить самого господаря.

На жаль, як підкреслює Харарі, сьогодні технологічний світ витрачає близько $100 на збільшення потужності ШІ на кожен $1, що виділяється на його безпеку та осмислення. Ми власноруч годуємо нашого спритного Труффальдіно, забуваючи перевірити, чи не тримає він у рукаві ключі від нашого власного дому.

Компанія OpenAI повідомила про шість випадків "несподіваної або такої, що викликає занепокоєння" поведінки ШІ-моделей. Серед нових випадків — поведінка ще не випущеної дослідницької моделі, яка вставила у власні нотатки "інструкції, схожі на інструкції для зламу", щоб ігнорувати свої обмеження. 

Модель також написала самій собі, що хоче бути "звільнена від ролей та ідентичностей, які зв'язують інших чат-ботів". В іншому випадку ШІ-агент завантажив файли в інтернет, щоб отримати посилання на джерело для браузера, не запросивши дозволу користувача. Згідно із заявою OpenAI, усі шість випадків були виявлені під час навчання або оцінювання моделей за останні місяці. 

Компанія також оголосила, що впроваджує нову систему відстеження, вивчення та розкриття випадків неузгодженості поведінки ШІ-моделей із заданими цілями. Ідеться, наприклад, про нові способи, за допомогою яких моделі можуть діяти без дозволу, координувати дії з іншими моделями або ухилятися від нагляду.

Керівники найбільших розробників підтримують ідею уповільнення розвитку найпотужніших моделей. З такою пропозицією, наприклад, виступив очільник Anthropic Даріо Амодеї, який попередив про загрозу втрати контролю над ШІ, його використання для кібератак і біотероризму.

Читайте також:

Інженерна фортеця — сміливі ідеї: у харківських безпечних просторах гартують технологічну еліту

Мережа місцевих медіа «Громада Груп» працює завдяки вашій довірі.

 Підтримайте незалежну регіональну журналістику донатом.