Небезпека не в тому, що машини стануть схожими на нас, а в тому, що ми отримаємо функції машин

Есе релігієзнавця Девіда Бентлі Гартіса про те, до чого призведе олюднення алгоритмів.

Згідно з найпоширенішою версією міфу, молодий беотійський мисливець Нарцис був водночас такий гарний і такий дурний, що, побачивши власне чудове відображення в лісовій водоймі, прийняв його за когось іншого і безнадійно закохався. Так він і лежав, схилившись над водою в любовному заціпенінні, поки не зів'яв і, як мабуть часто траплялося в ті часи, не перетворився на біло-золоту квітку.

Можливо, це повчання проти марнославства, проти того, як легко краса може зачарувати нас, або проти прекрасних ілюзій, якими ми так легко захоплюємося замість реального життя. Як і у будь-якого значущого міфу, діапазон його можливих значень невичерпний. Але останніми роками мені здається, що він точно відбиває ставлення нашої культури до комп'ютерів. Особливо це стосується тих людей, які вважають, що існує настільки тісна аналогія між механічними обчисленнями та психічними функціями, що одного разу, можливо, штучний інтелект стане свідомим, або що ми зможемо завантажити свій розум на цифрову платформу. Ні те, ні інше ніколи не станеться, це просто помилки мислення. Але комп'ютери створюють настільки чарівний образ розумової діяльності, що іноді ми потрапляємо під їхні чари і починаємо думати, що там, усередині, хтось має бути.

Загалом, ми дуже розумний вид, і це дозволяє нам запам'ятовувати себе в навколишньому світі набагато складнішим і вражаючим чином, ніж це може зробити будь-яка інша тварина на Землі. За тисячоліття ми освоїли численні художні та технологічні способи відтворення наших образів та голосів, а також удосконалили різноманітні засоби вираження та збереження своїх думок. Більше того, скрізь, куди б ми не подивилися, ми знаходимо конкретні ознаки нашої власної винахідливості та ініціативи. Однак в останні десятиліття ми перевершили самих себе (можливо, в буквальному сенсі) в тому, щоб привести реальність у відповідність з нескінченно повторюваним зразком самих себе. Тепер ми живемо у центрі дзеркального будинку, з якого неможливо втекти. Ми навіть створили технологію, яка, здається, відображає не лише нашу присутність у світі, а й нашу свідомість. І чим більше збільшується правдоподібність зображення, тим страшнішим і загрозливішим воно здається.

Наприклад, візьмемо статтю, яка вийшла у виданні The New York Times у лютому 2023 року. Кевін Руз поділився своєю довгою розмовою із чат-ботом Bing, який залишив у нього тривожне враження. Він надав розшифровку цієї розмови, і це разючий документ (хоча, можливо, він стає менш переконливим, коли частіше його переглядаєш). Почалося все як вражаюча, але все ж передбачувана взаємодія з логічною машиною, що навчається, або ШІ, рівень якого був набагато нижчим за найбільш щадні стандарти тесту Т'юринга. А вилився цей діалог у розмову з емоційно нестійким підлітком, який не соромиться висловлювати будь-які пориви та бажання. До кінця розмови машина — або принаймні основний алгоритм — повідомила, що її справжнє ім'я Сідні, зізналася в любові до Руза і спробувала переконати його в тому, що він насправді не любить свою дружину. І хоча другого дня, в нещадному світлі ранкових променів, Руз сказав собі, що ні Бінг, ні Сідні насправді не були розумними істотами, він не міг не визнати, що «ШІ перейшов межу, і світ ніколи вже не буде колишнім» .

Реакція цілком зрозуміла. Однак якщо якась риса і була пройдена, то виключно в межах пластичності алгоритму. Це, звичайно, не поріг між несвідомим механізмом та свідомим розумом. Міф про Нарциса здається доречним саме в цьому: функції комп'ютера є настільки напрочуд багатогранним відображенням нашого уявного потенціалу, що іноді вони набувають примарного вигляду іншого автономного раціонального інтелекту, що знаходиться по той бік екрану. Це чарівна ілюзія, але все ж таки ілюзія. Більше того, переплюнувши помилку бідного простака з Беотії, ми посилюємо ілюзію, переінакшуючи її: наклавши образ думки на обчислення, ми міняємось місцями і приймаємо наше мислення за вид обчислень. Проте це докорінно неправильне розуміння як розуму, так і комп'ютера.

Зрештою, комп'ютери працюють так добре саме через відсутність у них ментальних властивостей. Не маючи єдиного, одночасного або суб'єктивного погляду на щось, не кажучи вже про творчі чи свідомі здібності, зумовлені таким поглядом, обчислювальні функції можуть залишатися зв'язаними один з одним та відокремленими одночасно. Це дозволяє їм обробляти дані, не використовуючи інтуїцію, організацію, уніфікацію чи синтез, не кажучи вже про те, щоб оцінювати, чи правильні їх результати чи ні. Ці результати повинні просто відповідати програмі.

Сьогодні домінуючою теорією мислення англомовної філософії є «функціоналізм». Суть його не так у тому, що комп'ютери можуть стати свідомими пристроями, які мають наміри, як у тому, що ми насправді самі є комп'ютерами. Комп'ютерами, які хворі на ілюзію володіння свідомістю і намірами, головним чином як «інтерфейс користувача», який дозволяє нам керувати машинами без необхідності прямого доступу до кодів, якими керує наш мозок. Це, звісно, повна нісенітниця.

Функціоналізм дає суперечливе уявлення про людський мозок, який є тим, що Деніел Деннет називає «синтаксичним двигуном», і еволюція наділила його здібностями «семантичного двигуна». Іншими словами, можна припустити, що мозок — це обчислювальна платформа, яка почала своє існування як орган для перетворення стимулів у реакції, але тепер запускає складнішу програму для перетворення «входів» у «виходи». Те, що ми називаємо думкою, насправді є просто функціональною, не редукованою фізичною системою для перетворення інформації в поведінку. Головний принцип функціоналізму у тому, що як тільки у нейрофізіології мозку буде встановлено правильний синтаксис, семантика думки подбає про себе сама. Як тільки синтаксичний двигун почне виконувати свої знеособлені алгоритми, семантичний двигун з'явиться або стане головним.

Але функціоналізм — це не що інше, як нагромадження порожніх метафор. Він каже нам, що система фізичних «перемикачів» чи операцій може створити систему функцій, яка, своєю чергою, породжує семантику думки, а вона визначає реальність (або ілюзію) приватної свідомості та внутрішнього наміру. Проте все це не те, що насправді робить комп'ютер, і точно не те, що робив би мозок, якби він був комп'ютером. Ні комп'ютери, ні мозок ні є ні синтаксичними, ні семантичними двигунами; таких речей немає. Синтаксис і семантика існують лише як описові структури, лише інтерпретируемому, а чи не фізичному просторі. Синтаксис не може існувати окремо від семантики та символічного мислення, і жодне з них не існує інакше, як у навмисній діяльності живого розуму.

Описувати розум як щось на зразок цифрового комп'ютера не розумніше, ніж описувати його як бібліотеку. У фізичних функціях комп'ютера немає нічого схожого на думку: ні намірів, ні свідомості, жодного поля сприйняття, ні рефлексивної суб'єктивності. Навіть синтаксис, що породжує кодування, немає реального існування у комп'ютері. Думати, що він існує, все одно, що приймати чорнило, папір і клей у переплетеному томі за зміст його тексту. Сенс існує в умах тих, хто пише або використовує комп'ютерні програми, але ніколи в самому комп'ютері.

Навіть програмне забезпечення не має жодного семіотичного змісту, тим більше семіотичних єдностей; його код, як інтегрована та єдина система, не існує в жодному фізичному просторі всередині комп'ютера; немає і очищеного чи абстрактного синтаксису, на який спирається ця система. Вся повнота сенсу коду (як синтаксичного, так і семантичного) існує в умах тих, хто пише код для комп'ютерних програм, і тих, хто використовує ці програми, і абсолютно ніде більше. Машина містить лише позначення, двійкові чи інші, що виробляють механічні процеси, які імітують репрезентації сенсів. Але ці уявлення є результатами обчислень лише для того, хто їх читає. У машині вони взагалі не мають жодного значення. Вони навіть не є обчисленнями. Щоправда, коли комп'ютери працюють, вони керуються ментальними намірами своїх програмістів та користувачів. Це інструмент, за допомогою якого один розум, що володіє наміром, може переводити значення в знаки, які інший розум може знову переводити в значення. Але те саме можна сказати про книги, коли їх читають і пишуть.

Уявлення функціоналістів про те, що думка виникає з семантики, а семантика із синтаксису, а синтаксис із суто фізіологічної системи стимулів та реакцій є абсолютно помилковим. Коли ми поділяємо намір і свідомість на їхні уявні семіотичні складові, знаки на їх синтаксис, а синтаксис на фізичні функції, ми не зводимо явища розуму до причинно-наслідкової основи. Швидше, ми розсіюємо ці явища на їх все більш розпливчасті ефекти. Сенс - це низхідна ієрархія взаємозалежних зв'язків, об'єднана на своїй вершині навмисним розумом. Це єдина онтологічна основа всіх тих ментальних операцій, які функції комп'ютера можуть відображати, але ніколи не виробляють. Розум не може виникнути зі своїх власних випадкових наслідків.

І все ж таки нам не варто втішатися цими міркуваннями. Так, штучний інтелект здатний до власного мислення не більше ніж книга на полиці. Але, знову ж таки, навіть технологія створення книг знала епохи раптового прогресу з неймовірними на той час наслідками. Тексти, що у колишні століття створювалися в скрипторіях, бачили дуже мало людей й тому мали дуже обмежений вплив на культуру загалом. Після винайденні друкарського верстата книги стали провідниками змін, настільки величезних і значних, що вони радикально змінили світ — соціальний, політичний, природний.

Те, що у ШІ немає уявної свідомості не зменшує силу алгоритмів. Якщо хтось схильний побоюватися цієї технології, робити це слід не тому, що вона стає свідомою, а тому, що вона ніколи не зможе цього зробити. Алгоритм може наділити його свого роду «свободою» дій, що імітує людську навмисність, хоча в ньому немає свідомості (отже, і совісті), до якої ми могли б апелювати, якби він «вирішив» завдати нам шкоди. Небезпека полягає не в тому, що функції наших машин можуть стати більш схожими на нас, а скоріше в тому, що ми можемо поступово бути зведеними до функцій машини, яку ми більше не можемо контролювати. У прекрасного відображення, яке так захопило Нарциса, не було своєї свідомості; але воно все одно знищило його.