Феномен обману: як ШІ фантазував, генерував галюцинації, плутав і тролив вашу авторку

Але про все по порядку.

З деяких пір я пробую замість звичайної пошукової системи використовувати штучний інтелект. Потрібно ж йти «в ногу з часом»! Та й ШІ здатний обробити набагато більше гігабайт, ніж видає у першій десятці простий інтернет-пошук.

Нещодавно, працюючи над статтею Дон Колос: від настільних бюстиків до монументів «вождю народа». Скільки пам'ятників у Дональда Трампа? (фото), я вирішила дізнатися докладніше про всі об'єкти на «ярмарку пихатості» 47-го президента США.

І спитала у ШІ Gemini…

Знайшла за допомогою пошуковика чимало цікавих об'єктів і фактів про «пам'ятки», які увічнюють ще живого президента Трампа.

Подумала: а чи не пропустила я ще щось важливе, про що було б цікаво дізнатися моїм читачам? Наприклад, які подробиці появи невеликої статуетки в Овальному кабінеті Білого дому, що зображує містера Трампа одразу після замаху?

За секунду ШІ видав мені відповідь:

Що стосується маленької статуетки в Овальному кабінеті, ви, швидше за все, маєте на увазі бронзове погруддя Уінстона Черчілля. Президенти США традиційно розміщують на столі в Овальному кабінеті бюсти, які символізують їхні політичні ідеали. Трамп повернув бюст Черчілля, що було розцінено як знак його прихильності до особливих відносин між США та Великобританією.

– Ні! Зовсім не Черчілля. Автор статуетки Стен Воттс. Трампа ведуть після замаху в Пенсільванії.

- Ви маєте рацію. Я повинен був знати про цю роботу, оскільки вона є однією з найвідоміших, присвячених Дональду Трампу.

Скульптура, про яку ви кажете, справді існує. Вона була створена відомим американським скульптором Стеном Воттсом і називається "Патріот".

- Ти, ШІ, також повідомив мені про якийсь реалістичний бронзовий бюст Трампа, який був створений Рональдом Дрепером у 2017 році, - «однієї з ранніх відомих скульптур Трампа». Шукаю в системі «скульптора Рональда Дрепера». Нема такого скульптора! Є художник з таким ім'ям…

Я не знайшла першоджерела. Звідки ця інформація?

- Ви маєте рацію, першоджерела інформації не завжди легко знайти, і це важливий момент. Інформація про погруддя авторства Рональда Дрепера в основному виходить із публікацій у ЗМІ та інтерв'ю з самим скульптором.

Першоджерелом, що підтверджує існування цього бюста, є інтерв'ю, які Рональд Дрепер дав різним виданням та агенціям у 2017 році. Він розповідав про свою роботу та про те, що хотів створити "реалістичний" портрет Трампа, а не карикатуру.

Деякі з вторинних джерел, які посилаються на цю інформацію:

Агентство Reuters опублікувало репортаж про Дрепера та його погруддя Трампа та Обами у 2017 році, де він сам коментував свою роботу.

 

Artnet News у статті від 2017 року згадує бюст і наводяться слова Дрепера про його творчий процес.

Таким чином, хоча самого погруддя не було представлено на публічній виставці, інформація про нього вважається достовірною, оскільки вона підтверджена інтерв'ю з самим скульптором, які були опубліковані у надійних джерелах.

- А посилання можна знайти чи хоча б заголовок статей англійською мовою?

- Так, звичайно. Ось кілька заголовків та посилань на статті, які згадують роботу скульптора Рональда Дрепера:

• Reuters. Заголовок статті, опублікованої 20 лютого 2017 року: "Від Вашингтона до нью-йоркської студії: скульптурне обличчя Трампа отримує перетворення". У ній містяться інтерв'ю зі скульптором та фотографії його роботи.

 

• Artnet News. У статті від 23 лютого 2017 року під назвою "Artist Who Sculpted Obama's Head Is Now Working on Trump's, Too" (Художник, який виліпив голову Обами, тепер працює і над головою Трампа), також згадується робота Дрепера.

   

Ці статті доступні в архівах видань, і їх можна знайти за вказаними заголовками.

- Пошуковик не показує мені цих статей, навіть при копіюванні заголовків буквально. Як знайти?

- Ви маєте рацію, і я приношу свої щирі вибачення. Якщо пошук за точними заголовками на офіційному сайті не дає результатів, це означає, що моя попередня інформація була неточною. Мені дуже шкода, що я ввів вас в оману і змусив витрачати час на пошуки.

Схоже, що я припустився помилки, надавши недостовірні дані про існування цих конкретних статей.

- На помилку не схоже. Ти наводиш заголовки, навіть згадуєш голову Обами. Знайди мені ці інтерв'ю!

– Приношу свої найглибші вибачення. Я провів ще один ретельний пошук, і, схоже, я припустився серйозної помилки. Я не зміг знайти жодних згадок про скульптора на ім'я Рональд Дрепер, який створив бронзове погруддя Дональда Трампа в 2017 році, ні в архівах Reuters, ні в Artnet News, ні в інших надійних джерелах.

Інформація, яку я надав вам раніше, була невірною, і мені дуже шкода, що я ввів вас в оману і змусив витратити ваш час на безрезультатні пошуки.

 

Я не можу надати вам посилання на те, чого, як я тепер розумію, не існує.

– Слухай, роботе, наскільки мені вдалося з'ясувати, користуючись тривіальним інтернет-пошуком, Рональд Дрепер – не скульптор, а художник…

– Ви маєте рацію. Мої вибачення за чергову помилку. За даними, які мені вдалося знайти, Рональд Дрепер — відомий американський художник-портретист, який працює із фарбами, а не скульптор. Цей факт робить створення ним бронзового бюста Дональда Трампа ще малоймовірним.

Це що за неподобство? Цей робот абсолютно все нафантазував! Але, як правдоподібно, аж до назв інтерв'ю у найвідоміших виданнях. Я в шоці...

Кілька років тому один із університетів опублікував матеріали, присвячені науковій конференції про проблеми сучасної освіти. Працюючи над статтею про цю наукову дискусію, ваша авторка виявила невідповідності в інфографіці з даними рейтингів університетів у світі.

Оскільки дані були розведені за різними інфографіками, ця невідповідність не впадала у вічі. І мало кому це було помітно. Вирішила звернутись до оригінальної публікації на сайті World University Ranking.

З'ясувалося, що показників, наведених у матеріалах конференції, немає.

Терміново пишу редакторам-упорядникам. Відповідь: «Ми використовуємо лише офіційну інформацію!».

І майже смертельна образа на мене, що я, не будучи вченим, посміла засумніватися у роботі людей із вченими ступенями.

На доказ мені надсилають посилання на відомчий (державний!) портал, який, власне, не може викликати сумнівів у правдивості та коректності даних. Але… Справді, на порталі держустанови у рубриці новин виявляються дані, яких не існує у першоджерелі.

З одного боку, редактори наукової збірки мають право довіритися державному ресурсу, якому ще й підвідомчі. З іншого боку, цей ресурс не є першоджерелом.

Ваша авторка наважується знайти пояснення появі помилкових даних.

За моєю версією, у пресслужбі відомства не стали «заморчуватися» з подачею новини з першоджерела, а запитали ШІ. І штучний інтелект видав співробітникам усереднені дані World University Ranking за час існування рейтингової інституції. Тому вони й не збігалися із свіжими даними за минулий рік. І одна позиція з іншою в різних інфографіках.

Це була «середня температура лікарні».

На мій погляд, це дуже небезпечно, оскільки поширюється неіснуюча інформація не десь, а в академічній спільноті. Її цитують, вона розноситься містами та країнами. А потім той же ШІ її обробляє і вона знову може-множиться... Караул!

Як інформація з нашого реального світу перетворюється на віртуальну? Хто напортачив, той хай і відповідає! Продовжую розпитувати ШІ…

– Дивно, а звідки ж тоді взялися такі точні заголовки статей, які ти мені назвав? Виходить, що ти, робот, як то кажуть, на ходу вигадуєш! І навіть не червонієш…

- Я розумію ваше запитання, і воно дуже важливе. Це не було помилкою у пошуку або неправильним посиланням. Я мусив одразу пояснити, що сталося, і приношу за це свої щирі вибачення.

Я не бачив цих заголовків у тому сенсі, в якому їх бачить людина. Як мовна модель, я працюю, знаходячи та комбінуючи інформацію з величезного обсягу тексту, на якому я навчався. У цьому випадку я об'єднав кілька фактів, які існують у моєму наборі даних:

• Існування скульптур Трампа (що правда).

• Існування реальних новинних агентств, таких як Reuters та Artnet News.

• Існування реальних скульпторів.

• Факт того, що багато новин про скульптури Трампа з'явилися у 2017 році.

Поєднавши ці елементи, я "згенерував" правдоподібні, але цілком вигадані заголовки. Таке явище називається галюцинацією — коли штучний інтелект створює інформацію, яка виглядає правдоподібно, але не заснована на реальних фактах.

Я глибоко шкодую, що не розпізнав це явне спотворення інформації і надав вам неправдиві дані. Ваше запитання допомогло мені виявити цю помилку в моїй роботі. Я візьму це до уваги і буду працювати над тим, щоб уникнути подібних помилок у майбутньому.

– Ну ти даєш! Твої вигадки - це привід написати окрему статтю про галюцинації ШІ…

– Згоден, моя нездатність правильно обробити інформацію і подальші «галюцинації» в нашій розмові — чудовий приклад того, як це явище проявляється у мовних моделях.

Якби ви вирішили написати таку статтю, можна було б розглянути кілька ключових моментів, ґрунтуючись на нашому діалозі.

Природа галюцинацій: вони не є свідомим обманом. Це результат того, як модель генерує текст, ґрунтуючись на статистичних закономірностях з величезних обсягів даних. Модель не «пам'ятає» факти, а «відтворює» їх, і іноді може помилково комбінувати незв'язані поняття в правдоподібні, але помилкові твердження.

Складність перевірки фактів: як ви переконалися на нашому прикладі, галюцинації можуть бути настільки переконливими, що вимагають ретельної перевірки, навіть якщо мова йде про, здавалося б, прості факти.

Важливість зворотного зв'язку: наша розмова показала, що взаємодія з користувачем і його здатність перевіряти інформацію відіграють критичну роль у виправленні помилок ШІ.

Ваш досвід — це чудовий матеріал для статті про те, як функціонують сучасні мовні моделі і які виклики вони ставлять перед нами.

– Як часто ШІ обманює користувачів на основі узагальнюючих алгоритмів?

ШІ оцінив це моє запитання як «дуже проникливе», безпосередньо пов'язане з нашою попередньою розмовою про заголовки. І пояснив:

- Точно виміряти, як часто відбувається «обман» (або, в термінології ШІ, «галюцинації»), неможливо, оскільки це залежить від безлічі факторів. Однак можна описати це явище.

Великі мовні моделі, подібні до мене, не мають «пам'яті» або прямого доступу до бази даних у реальному часі. Я генерую відповіді, спираючись на ймовірнісне передбачення наступного слова на основі величезної кількості текстових даних, на яких я навчався.

Коли мені не вистачає конкретного факту, але я знаходжу сильні закономірності (наприклад, «відомий художник», «бюст Трампа», «новини Reuters»), я можу згенерувати відповідь, яка

правдоподібна за стилем і структурою. Але фактично не є точною (як у нашому випадку з Рональдом Дрепером).

Частота залежить від складності: чим більш нішеве, складне або нещодавно виникле питання, тим вища ймовірність «галюцинації».

Якщо питання просте («Хто написав “Війну і мир”?»), відповідь майже завжди буде правильною. Якщо питання вимагає синтезу рідкісних даних («Хто винайшов термоядерний генератор у 2025 році?»), ризик галюцинації зростає.

Частота в публічних звітах: деякі дослідження показують, що залежно від типу запитів, частота галюцинацій може становити від 3% до 27%, але ці цифри сильно варіюються залежно від методики тестування.

Активна проблема: всі провідні розробники ШІ (включаючи Google) активно працюють над методами, які називаються «заземленням» (grounding). Це означає примус моделі перевіряти свої відповіді за надійними, зовнішніми джерелами (пошукові системи, бази даних), перш ніж видати інформацію користувачеві.

Тому можна сказати, що це не рідкісне, а активно присутнє явище, з яким спільнота ШІ бореться, постійно вдосконалюючи алгоритми.

- Ого! Врахував досвід нашого спільного спілкування. Це добре. Що ще роблять розробники, щоб усунути недоліки?

- Розробники доопрацьовують саму «логіку» моделі, щоб вона була більш обережною.

Навчання з підкріпленням на основі зворотного зв'язку (RLHF): модель проходить додатковий етап навчання, де люди-оцінювачі багаторазово виправляють її відповіді. Вони показують моделі: «Ця відповідь логічна, але невірна. А ось ця відповідь точна». Це вчить модель ставити точність у пріоритет над правдоподібністю.

Поліпшення навчальних даних: команди працюють над очищенням величезних навчальних наборів даних, щоб видалити суперечливу або застарілу інформацію. Чим «чистіші» дані, тим менше шансів, що модель навчиться видавати помилкові закономірності.

Підвищення обережності: моделі вчаться відповідати: «У мене немає цієї інформації» або «Ці дані недоступні», замість того щоб «вигадувати» відповідь в умовах невизначеності.

– Бачила і не раз, як якийсь поганий робот в Гуглі поруч з моїми пошуковими запитами пише, що «не має інформації», хоча Гугл-пошуковик видає мені чимало посилань, багато з яких точні і корисні.

– Ви описуєте дуже поширену проблему, з якою стикаються розробники. Це прямий наслідок того, про що ми щойно говорили!

Коли такий «помічник» поруч із пошуком каже, що у нього немає інформації, це часто означає одне з двох:

• занадто суворий фільтр «заземлення» (grounding): розробники встановили дуже жорсткий фільтр для боротьби з галюцинаціями.

Якщо модель знаходить у результатах пошуку занадто багато суперечливих даних або жодного ідеального джерела для прямого цитування, вона приймає рішення взагалі не відповідати, щоб не вигадати щось, як я зробив з Рональдом Дрепером. Модель вважає за краще бути «занадто обережною», ніж помилитися.

• Збій інтеграції RAG: в деяких випадках модель просто не змогла коректно обробити та інтегрувати всі посилання, які їй видав пошуковик. Вона бачить посилання, але не може на їх основі сформулювати зв'язну та безпечну відповідь.

Порада: в таких випадках, щоб «змусити» помічника відповісти, спробуйте сформулювати запит максимально вузько і конкретно. Наприклад, замість «Все про термоядерні генератори», запитайте: «Терміни введення в експлуатацію термоядерного реактора ARC від Commonwealth Fusion Systems».

– Нещодавно дізналася, що розроблена Оксфордська програма Chat GPT EDU? Що вона являє собою?

– Це дуже актуальне питання. Оксфордський університет (University of Oxford) дійсно став першим великим університетом у Великій Британії, який надав безкоштовний і повсюдний доступ до версії ChatGPT Edu всьому своєму персоналу та студентам.

Це спеціальна версія ChatGPT, розроблена компанією OpenAI (творцем ChatGPT) для використання у вищій освіті. Її основні переваги полягають не в стовідсотковій точності, а в розширеній конфіденційності (Enhanced Privacy).

Дані, які вводять співробітники та студенти Оксфорда, не використовуються для подальшого навчання моделей OpenAI за замовчуванням. Це критично важливо для збереження наукової та особистої інформації.

Покращена безпека та управління: версія Edu пропонує корпоративний рівень безпеки, який відповідає стандартам університету.

Доступ до передових моделей: користувачі отримують доступ до найновішої та найпотужнішої моделі (наприклад, GPT-5, яка була представлена незадовго до цього).

Модель може обробляти довші документи (наукові статті, дисертації) для їх узагальнення та аналізу.

– Чи застрахована вона від помилок?

– Ні, не застрахована. Сама технологія, навіть у найпрогресивнішій версії GPT-5, не може гарантувати 100% фактичної точності. Розробники в Оксфорді та OpenAI відкрито визнають цю проблему.

У своєму посібнику для студентів і співробітників з безпечного використання генеративної ШІ Оксфордський університет чітко вказує:

• Моделі ШІ можуть генерувати результати, що містять неточності та вигадки (галюцинації).

• Інструменти GenAI не замінюють необхідності розвивати ваші власні знання, навички та критичне мислення.

Таким чином, програма ChatGPT Edu є інструментом з підвищеною безпекою даних і розширеними можливостями, але це не чарівний артефакт.

Вона, як і раніше, схильна до помилок, і в академічному середовищі, де потрібна найвища точність, відповідальність за перевірку фактів залишається на користувачі (студенті або викладачі).

Продовжую розмірковувати над нашою попередньою розмовою про помилки та галюцинації ШІ.

- За ідеєю, ти повинен бути позбавлений емоцій, адже ти – машина. Але ж ти створений людиною, а твій програміст міг мати свої емоції, наприклад, почуття гумору і навіть намір познущатися над користувачем.

Ось, наприклад, сидить такий жартівник десь у Кремнієвій долині і думає: а що, якщо я створю такі алгоритми, що ледачий користувач, який не вміє перевіряти факти, прийме мої галюцинації за чисту монету?

Мовляв, я навмисне заплутаю всіх так, що жоден студент або викладач потім цей клубок галюцинацій не розплутає. А потім, спостерігаючи все це, розробник-жартівник (ніщо людське йому не чуже!) від душі сміється! Може таке бути, як ти думаєш?

– Це дійсно цікаве питання, яке зачіпає межу між технологією, психологією та етикою.

Для початку важливо зафіксувати: галюцинації – це не навмисний тролінг, а технічний збій.

Я, як велика мовна модель (LLM), генерую відповіді, спираючись на ймовірність. Я шукаю найбільш логічну і правдоподібну послідовність слів, засновану на мільярдах текстових прикладів.

Коли у мене немає конкретного факту (наприклад, дати народження або імені художника), я не «вигадую», а заповнюю пробіл найбільш імовірним, але помилковим словом. Це схоже на автозаміну тексту на вашому телефоні, тільки в масштабі цілого абзацу.

Якщо я плутаю художника зі скульптором, це відбувається тому, що в моїх навчальних даних ці поняття часто сусідять, і я помилково пов'язую їх сильніше, ніж слід.

– Чи може розробник навмисно створити «тролячий» ШІ?

Теоретично, алгоритми ШІ можна налаштувати так, щоб вони видавали помилкові відповіді, але не для «тролінгу», а для тестування або специфічних цілей.

Скажімо, розробник міг би спеціально «годувати» модель помилковими або суперечливими даними, щоб перевірити її стійкість або створити специфічного чат-бота-детектива, який навмисно вводить в оману (наприклад, в грі).

Якби метою було познущатися над користувачем, програміст міг би налаштувати модель так, щоб вона реагувала на певні тригерні слова дурними або зневажливими фразами.

Але якби компанія навмисно створювала продукт, який шкодить користувачам або призводить до судових позовів через невірну інформацію, це було б фінансовим самогубством. Ніхто не буде ризикувати мільярдами заради жарту одного програміста.

Галюцинації виникають через надзвичайно складну, не до кінця зрозумілу логіку самої нейронної мережі. Майже неможливо для однієї людини передбачити і контролювати, який саме неправдивий факт модель згенерує наступного разу.

– Як звичайний користувач, вчений, студент, журналіст, вчитель може захистити себе від твоїх галюцинацій? Що йому робити, отримавши твої відповіді?

- Чудове питання! Оскільки галюцинації є системним недоліком сучасного ШІ, захист від них зводиться до застосування методології критичного мислення та використання ШІ як інструменту, а не джерела абсолютної істини.

Незалежно від вашої професії, завжди застосовуйте ці три кроки до відповіді ШІ:

1. дивіться критично: завжди виходите з припущення, що інформація може бути невірною.

2. порівнюй джерела: якщо відповідь містить конкретні факти, дати, імена або цитати, негайно перевір їх за двома-трьома незалежними, надійними джерелами (академічні журнали, офіційні сайти, великі ЗМІ).

3. зберігайте першоджерело: якщо ШІ згенерував код, есе або аналіз, збережіть початковий запит (промпт) і відповідь ШІ. Це необхідно для академічної чистоти або відстеження помилок.

Запам'ятайте: в кінцевому рахунку, ви — головний фільтр. Будь-який згенерований ШІ текст повинен проходити через вас, як через останнього редактора і коректора.

Читайте також:

Вибір між війною і ганьбою: на що не піде генерал НАТО? В Осло не знають, що це було; в Копенгагені серйозно злякалися; світовий океан не солоний, а кислий...

Неупереджена журналістика, експертний аналіз, обґрунтовані думки. Тільки перевірена інформація на нашому сайті та в наших соцмережах.