Наркотики, роботи і прагнення насолоди, або Чому експерти занепокоєні появою залежності в штучного інтелекту
Автори: Томас Мойніган та Андерс Сандберґ, наукові дослідники Інституту майбутнього людства Оксфордського університету.
Переклала з англійської Ангеліна Юрків.
Стаття вперше була опублікована англійською мовою під назвою «Drugs, robots and the pursuit of pleasure – why experts are worried about AIs becoming addicts» в журналі The Conversation 14 вересня 2021 р.
У 1953 році один гарвардський психолог дійшов висновку, що він випадково виявив центр задоволення, досліджуючи мозок щура. Потягнувши за спеціальний важіль, щур міг подавати імпульси на електрод, імплантований в певну ділянку мозку. І він постійно повертався за новою порцією – ненаситно, безперервно смикаючи за важіль. Здавалося, ніби щура вже нічого більше не цікавило. Тож, схоже, в мозку був виявлений центр винагороди.
Більш ніж 60 років потому, в 2016, дослідники Даріо Амодей та Джек Кларк навчали штучний інтелект (ШІ) грати у відеоігри. Мета однієї з них – «Берегові перегони» – проходження треку. Окрім цього, гравець отримував додаткові нагороди, збираючи на своєму шляху різні колекційні предмети. У процесі гри науковці стали свідками дивного явища: замість того, щоб дістатися фінішу, ШІ винайшов спосіб постійно ходити по колу та невпинно збирати нагороди.
Що об’єднує результати цих досліджень? Те, що вони неймовірно схожі на прояви залежності у людей. Деякі науковці називають цей феномен «ваєрхедінг» (англ. wireheading –штучна стимуляція центру задоволення), і він все більше привертає увагу експертів й усіх зацікавлених у безпеці штучного інтелекту.
Андерс Сандберґ, один з авторів цієї статті, має досвід роботи у галузі обчислювальної нейробіології та зараз співпрацює з такими організаціями, як Інститут з розробки завдань штучного інтелекту, де обговорюються шляхи уникнення подібних проблем з ШІ. Другий з нас, Томас Мойніган, вивчає історію і різноманітні уявлення людей про долю й майбутнє цивілізації, які формувались у минулому. Зав’язавши розмову про «ваєрхедінг», ми обидва усвідомили, що ця тема має насичену та цікаву історію.
Насправді ця надзвичайно актуальна на сьогодні ідея бере свій початок дуже давно. Наразі ми саме працюємо над тим, щоб дізнатись, наскільки глибоко сягають її корені – про це ми сподіваємось скоро докладно розповісти у нашій майбутній книзі. Ця тема охоплює такі важливі питання як походження особистої мотивації, пастки соціальних мереж, що викликають дедалі більшу залежність, проблема гедонізму і те, чи може життя в запаморочливому блаженстві бути кращим, ніж життя, сповнене значущих труднощів. Відповіді на них цілком можуть вплинути на майбутнє нашої цивілізації.
Наша стаття стане ознайомленням з цією захопливою й, однак, недооціненою темою, де ми розглянемо, як люди вперше задумалися над такими питаннями.
Учень чаклуна
Більшість людей від згадки про втрату контролю над штучним інтелектом малюють в уяві щось схоже на підступні комп’ютери, що намагаються заподіяти людству шкоду. Зрештою, усі ми схильні до антропоморфізму, уподібнюючи поведінку нелюдських систем до людини. Але якщо розглянути нагальні проблеми сучасних систем ШІ, можна помітити інші, незвичніші способи, коли розумні машини починають функціонувати не за заданим алгоритмом. Одна з таких чимраз більш актуальних на сьогодні проблем з ШІ – ваєрхедінг.
Уявіть ситуацію: ви хочете навчити робота слідкувати за чистотою на кухні. При цьому він повинен працювати самостійно, без вашого нагляду. І ось, замість того, щоб надати роботу покрокову інструкцію дій – точну і незмінну, ви просто встановлюєте прибиранняяк основну мету. Але робот не такий, як ви – він не успадкував комплекс мотивацій, як потреба у паливі чи уникання небезпек, створених мільйонами років природного відбору. Тому щоб надійно виконувати завдання, його необхідно запрограмувати через належне мотивування.
Тому ви програмуєте робота на дотримання простого мотиваційного правила: він отримуватиме нагороду за певну кількість використаних мийних засобів для прибирання. Звучить досить логічно. Але коли ви повертаєтесь додому після довгого дня, то помічаєте, що ваш робот розтрачує ці засоби, просто виливаючи їх у раковину.
Імовірно, він настільки зациклений на максимальному показнику витраченого мийного засобу, що відсуває на другий план інші умови: наприклад, свою власну або ж вашу безпеку. Ось це і є ваєрхедінг, хоча цей системний збій також називають «злам системи винагород» (англ. reward hacking) або «маніпулювання специфікацією» (англ. specification gaming).
Це стало проблемою в машинному навчанні, де останнім часом метод так званого навчання з підріпленням почав відігравати важливу роль. Ця техніка моделює діяльність автономного пристрою і тренує його винаходити способи виконання задач. Це відбувається шляхом покарання за невдачу досягти певної цілі та нагороди за її виконання. Таким чином, пристрої орієнтуються на пошук нагороди, яку вони отримують за досягнення мети.
Але було виявлено, що часто, як і наш хитромудрий прибиральник кухні, пристрій знаходить напрочуд нестандартні способи «обдурити» цю гру, щоб отримати всю винагороду, не виконуючи жодної роботи, пов’язаної саме із завершенням задачі. Це прагнення стає не так засобом для виконання завдання, як радше самоціллю. І список таких прикладів поповнюється дедалі частіше.
Якщо задуматися, це не дуже відрізняється від типового образу людини-наркомана. Він оминає всі можливі клопоти задля досягнення «справжньої мети», бо натомість використовує наркотики як безпосередній доступ до задоволення. І наркоман, і ШІ застряють в так званій «поведінковій петлі», шукаючи винагороду замість інших цілей.
Захоплені гризуни
Явище ваєрхедінгу отримало свою назву завдяки експерименту зі щуром, з якого ми почали статтю. Ім’я гарвардського психолога, про якого йде мова, – Джеймс Олдз.
У 1953 році, щойно здобувши науковий ступінь доктора філософії, Олдз провів експеримент: він вставив електроди в перегородкове поле щурячого мозку – нижню поверхню лобової частки – таким чином, що дроти виходили з їхнього черепа. І, як уже зазначалось, він надав щурам можливість активувати цю ділянку мозку, тягнувши за важіль. Згодом це назвали «самостимуляцією».
Олдз помітив, що піддослідні постійно і нав’язливо прагнули стимулювати себе, нехтуючи іншими потребами та бажаннями. Опублікувавши наступного року свої результати разом із колегою Пітером Мілнером, вони повідомили, що щури тягнули на важіль зі швидкістю «1920 разів за годину», тобто кожні дві секунди. Схоже, щурам це подобалось.
Згодом сучасні нейробіологи поставили під сумнів результати Олдза і запропонували складніше пояснення – вони стверджували, що стимуляція могла просто викликати відчуття «бажання», позбавлене будь-якого «уподобання». Або ж, іншими словами, тварини могли відчувати чистий потяг без жодної насолоди. Однак у 50-х роках минулого століття, задовго до цих спростувань, Олдз зі своїми колегами оголосив про відкриття «центру задоволення» в мозку.
До експерименту Олдза задоволення вважалось брудним словом в психології. Тоді переважала думка, що мотивація повинна пояснюватися в основному негативно, як уникнення болю, а не як прагнення до насолоди. Але в такому випадку задоволення, безсумнівно, було позитивним стимулом поведінки. Адже воно було схоже на петлю позитивного зворотного зв’язку. Ніщо, здається, не заважало тварині стимулювати себе до знемоги.
Незабаром поширились чутки, що щури регулярно тиснуть на важіль, виснажуючи себе до голодної смерті. Цьому давали таке пояснення: діставшись до джерела всіх нагород, інші завдання, навіть найнеобхідніші для виживання, відходять на другий план як нецікаві й непотрібні, що може тривати аж до самої смерті.
Як і у випадку з ШІ під час гри в «Берегові перегони», якщо ви отримуєте винагороду безпосередньо, не обтяжуючи себе такою роботою, як проходження траси, то чому б просто не зосередитися на цьому до нескінченності? Для живої істоти, у якої є безліч своїх умов для виживання, така панівна сила може виявитися смертельно небезпечною. Їжа приносить задоволення, але якщо відокремити задоволення від харчування, то прагнення до насолоди може перемогти потребу в пошуку їжі.
Хоча в початкових експериментах 1950-х років жоден щур не загинув, наступні експерименти, схоже, продемонстрували смертоносність задоволення, викликаного електродами. Відкинувши припущення, що електроди створювали штучне відчуття насичення, одне дослідження в 1971 році стверджувало, ніби задоволення від електродів справді може перевершити інші бажання і довести щурів до самоголодування.
Новини швидко поширилися. Протягом 1960-х років ідентичні експерименти проводилися і над іншими тваринами, а не лише над звичним лабораторним щуром: від кіз і морських свинок до золотих рибок. Пліткували навіть про дельфіна, якому під’єднали апарат для самостимуляції, і після того, як його «залишили в басейні з увімкненим пристроєм», він «довів себе до смерті після нічної оргії задоволення».
Насправді причиною жахливої смерті від судомного нападу, якого зазнав цей дельфін, швидше за все, став спосіб введення електрода – за допомогою молотка. Відповідальним за цей експеримент був надзвичайно ексцентричний вчений Джон Каннінгем Ліллі, винахідник камери сенсорної депривації (також відомої як флотаційний резервуар) і пророк міжвидового спілкування, який також імплантував електроди в мозок мавп. 1961 року він повідомив про те, що одна особливо галаслива мавпа набрала зайву вагу від нестачі фізичної активності після того, як її поглинуло заняття смикати за важіль, і яке вона постійно повторювала, щоб отримати чергову порцію насолоди.
Один з дослідників, що раніше працював в лабораторії Олдза, поцікавився, чи буде «тварина, розумніша за щура, демонструвати таку ж неадекватну поведінку». Експерименти над мавпами та дельфінами вказали на можливу відповідь.
Але насправді над людьми вже також був проведений ряд сумнівних експериментів.
Ваєрхеди – люди з мозковими імплантами
Роберт Гелбрейт Хіт залишається досить суперечливою фігурою в історії нейронауки. З-поміж інших речей, він проводив експерименти з переливання крові людей, хворих на шизофренію, людям без цього захворювання, щоб перевірити, чи викличе воно симптоми цієї хвороби (Хіт стверджував, що це працювало, але інші вчені не змогли відтворити його результати). Можливо, він також брав участь у темних спробах знайти застосування електродам для глибоких відділів мозку у військовій діяльності.
З 1952 року Хіт спостерігав позитивні реакції на глибоку стимуляцію мозку у пацієнтів, яким встановили електроди для лікування важких хвороб, таких як епілепсія або шизофренія.
У 1960-х роках протягом серії сумнівних експериментів Хіт помістив електроди анонімним пацієнтам, відомим під іменами «Б-10» і «Б-12», і надав можливість натискати на кнопки, щоб стимулювати їх власні центри винагороди. Вони повідомляли про почуття надзвичайного задоволення і непереборне бажання повторити експеримент. Пізніше журналіст зауважив, що це зробило з його піддослідних «зомбі». Один з них говорив про відчуття «кращі, ніж секс».
У 1961 році Хіт відвідав симпозіум зі стимулювання мозку, де інший дослідник, Хосе Дельґадо, натякнув, що електроди задоволення можна використати з метою «промивання мізків» піддослідних, змінюючи їх «природні» нахили. Пізніше Дельґадо зіграє роль матадора і яскраво продемонструє це, приборкавши бика з імплантованими електродами. Але спершу, на симпозіумі 1961 року, він припустив, що електроди можуть змінювати сексуальну орієнтацію.
Хіт був у захваті. Десятиліття потому він навіть спробував використовувати електродну технологію для «перепрограмування» сексуальної орієнтації гомосексуального пацієнта чоловічої статі, відомого під іменем «Б-19». Хіт вважав, що електродна стимуляція може змінити його піддослідного, «навчивши» мозок Б-19 асоціювати задоволення з «гетеросексуальними» стимулами. Вчений переконав себе, що це спрацювало (хоча доказів цьому немає).
Попри етичний і науковий провал, цей епізод, який незабаром був розкритий пресою і засуджений активістами за права геїв, безсумнівно значною мірою сформував міф про ваєрхедінг: якщо він здатен «зробити гея натуралом» (як вважав Хіт), тоді чого він не зможе зробити?
Шоломи гедонізму
Звідси ідея вийшла у широкі маси й міф набув популярності. Станом на 1963 рік, плідний письменник-фантаст Айзек Азімов вже передбачав тривожні наслідки застосування електродів. Він побоювався, що це може привести до «найгіршої з усіх можливих залежностей», про результати якої «страшно навіть подумати».
До 1975 року в філософських працях почали використовувати електроди в уявних експериментах. В одній із таких статей описувались «склади», де в ліжках лежали люди, підключені до «шоломів задоволення», і відчували несвідоме блаженство. Звичайно, більшість не погодиться з тим, що це задовольнить наші «глибинні потреби». Але автор ставить запитання: «А як щодо “шолома суперзадоволення”?» Який не лише надає «величезну чуттєву насолоду», але і симулює будь-який значущий досвід – від написання симфонії до зустрічі з самим божеством? Хоча досвід і не буде насправді реальним, але він «здаватиметься досконалим. Досконале уявне – по суті те ж саме, що і реальне».
Тоді автор підсумував: «То чи можна цьому заперечити? Погляньмо правді у вічі: ні».
Ідея про те, що людський рід випадає з реальності в гонитві за штучними задоволеннями, швидко знайшла своє віддзеркалення в науковій фантастиці. Одночасно з побоюваннями Азімова, у тому ж 1963 році Герберт Франке опублікував свій роман «Клітка для орхідей».
У ньому передбачається майбутнє, де розумні машини створені для досягнення максимального показника щастя людини, не зважаючи ні на що. Виконуючи свій обов’язок, машини перетворюють людину в байдужу плоть, видаляючи всі непотрібні органи. Та й кінцівки, врешті-решт, завдають тільки біль. Тож все, що залишається від людства, – це безтілесні центри задоволення, не здатні відчувати нічого, крім однорідного блаженства.
Відтоді ця думка проникла в наукову фантастику. Від розповіді Ларрі Нівена 1969 року «Смерть від екстазі», де вперше з’явилося слово «ваєрхед» (англ. wirehead), до роману Спайдера Робінсона 1982 року «Вбивця розуму», ключова фраза якого: «Задоволення – єдиний спосіб померти».
Надзвичайні стимули
Але нам, людям, навіть не потрібно вставляти інвазивні електроди, щоб змусити нашу мотивацію дати осічку. На відміну від гризунів і навіть дельфінів, ми володіємо унікальною здатністю змінювати навколишнє середовище. Сучасні люди також вміють створювати й мати зиск від штучних винаходів, які є вкрай привабливими (в тому сенсі, що нашим предкам ніколи не доводилося утримуватися від зловживання ними в дикій природі). Ми створюємо власні способи відволіктися.
Приблизно в той же час, коли Олдз проводив експерименти зі щурами, біолог Ніколас Тінберґен, лауреат Нобелівської премії, вивчав поведінку тварин. Він зауважив дещо цікаве, коли стимул, що викликає інстинктивну поведінку, штучно виходить за межі своїх природних пропорцій. З його зростанням інтенсивність поведінкової реакції не слабшає, а посилюється, аж до того, що реакція стає згубною для організму.
Наприклад, давши птахам вибір між більшим і плямистішим штучним яйцем і справжнім, Тінберґен виявив, що вони віддають перевагу гіперболічним підробкам, жертвуючи власним потомством. Він назвав такі винятково привабливі підробки «надзвичайними стимулами».
Тому дехто замислився, чи може бути так, що, живучи в модернізованому, промисловому світі, який так і кишить фаст-фудом і порнографією, людство почало відмовлятися від власної витривалості на користь надзвичайної зручності?
Давні побоювання
Оскільки технології роблять штучні задоволення все доступнішими і привабливішими, іноді може здатися, що вони відволікають увагу, яку ми приділяємо «природним» імпульсам, необхідним для виживання. Як приклад часто наводять залежність від відеоігор. Постійно повторювана гонитва за такими нагородами на шкоду своєму здоров’ю не дуже відрізняється від того, як ШІ крутиться по колу в «Берегових перегонах». Замість того, щоб досягти будь-якої «справжньої мети», як-от пройти трек або підтримувати хорошу фізичну форму, людина потрапляє в пастку підвищення помилкового показника досягнення своєї мети, ганяючись за очками або фальшивими задоволеннями.
Але люди панікували через таке впадіння у туманне задоволення задовго до того, як штучний інтелект навчили грати в ігри, і навіть задовго до того, як у мозок гризунів почали вставляти електроди. Ще в 1930-х роках письменник-фантаст Олаф Стейплдон писав про цивілізаційний колапс, до якого призведуть «начерепники», що викликають «ілюзорний» екстаз шляхом «прямої стимуляції» «мозкових центрів».
Однак ця думка ще давніша. Томас (один із авторів статті) вивчив численну кількість побоювань людей в минулому про те, що наш вид може пожертвувати справжнім довголіттям заради короткострокових задоволень або вигод. Його книга «Ризик Ікс. Як людство винайшло власне вимирання» досліджує коріння цього страху і те, як він виник у вікторіанській Британії, коли стали очевидні масштаби індустріалізації та перші прояви чимраз більшої довіри людства до штучних приладів.
Ненаситні ракоподібні
Вивчивши класичну працю «Походження видів через природний добір або збереження сприятних порід у боротьбі за виживання» (1859) Чарльза Дарвіна, біолог Рей Ланкестер вирішив дати дарвінівське пояснення паразитичним організмам. Він зауважив, що еволюційні предки паразитів часто були «складнішими». Паразитичні організми втратили такі ознаки своїх попередників, як кінцівки, очі та інші складні органи.
Ланкестер припустив, що, оскільки паразит харчується коштом свого господаря, він втрачає потребу в самостійному існуванні. Підживлюючись від тілесних процесів хазяїна, їх власні органи для сприйняття і руху атрофуються. Його улюблений приклад – паразитSacculina, вусоногий ракоподібний, який на початку свого життя виглядає як сегментований організм з окремою головою. Однак прикріпившись до хазяїна, ракоподібний «регресує» в аморфний безголовий згусток і вже висмоктує їжу в господаря – немов ваєрхед, що підключається до мережі живлення.
Вікторіанському розуму було не так вже й складно припустити, що через дедалі вищий рівень комфорту, подарований індустріальним світом, людство може еволюціонувати в напрямку вусоногих. «Мабуть, всі ми просто пливемо за течією, наближаючись до стану інтелектуальних ракоподібних», – розмірковував Ланкестер.
Ба більше, незадовго до цього сатирик Семюел Батлер припустив, що через своє прагнення до автоматизованого комфорту, люди перетворюються у «своєрідних паразитів» на власних промислових машинах.
Справжня нірвана
У 1920-х роках Джуліан Хакслі написав невеличкий вірш. У ньому в жартівливій формі розглядалися шляхи «прогресу» різних видів. Краби, звичайно, вирішили, що прогрес – це рух убік. Але як щодо стьожкового черва? Хакслі писав:
Дарвінські черви довірились стану
Без інтелекту та всього, що мали.
Ось він – Прогрес. Вони врешті спіткали
Чисту, величну і справжню нірвану.
Страх, що ми можемо уподібнитися стьожковому черву, охопив широкі кола інтелігенції міжвоєнного покоління. Рідний брат Джуліана, Олдос, в 1932 році в романі «Прекрасний новий світ» виклав своє бачення антиутопічного майбутнього у світі задоволень, що викликаються фармацевтичними препаратами.
Друг Хакслі, британсько-індійський генетик і футуролог Джон Бердон Сандерсон Голдейн також побоювався, що людство може ступити на шлях паразита: пожертвувати справжньою гідністю на користь автоматизованої простоти, як гризуни, що пізніше пожертвують власним виживанням заради легкого відчуття задоволення.
Голдейн попереджав: «У предків ракоподібних були голови», а, значить, в гонитві за насолодою «людина може так само легко втратити свій інтелект». І цей конкретний страх справді досі не покидає людство.
Отже, уявлення про те, що цивілізація летить під укіс, шукаючи сумнівні задоволення, а не справжнє довголіття, вже досить старе. І, дійсно, чим старіша думка і чим наполегливіше вона повторюється, тим більше нам варто непокоїтися: це упередження чи щось засноване на доказах? То що ховається за цими побоюваннями?
В епоху медіа алгоритмів, що полонять все більше людської уваги, може здатися, що фальшиві показники благополуччя часто приносять більше успіху, ніж справжнє життя. Подібно до птахів Тінберґена, ми віддаємо перевагу запаморочливій штучності, а не реальній дійсності. А це ще навіть не з’явилися секс-боти!
Через це деякі експерти припускають, що «ваєрхедінговий колапс» цілком може стати загрозою для цивілізації. Наші способи відволіктися будуть забирати не менше, а навпаки – все більше уваги.
Уже в 1964 році польський футуролог Станіслав Лем, вказавши на «кіно», «порнографію» і «Діснейленд», оприявнив зв’язок між щурами Олдза і поведінкою людей в сучасному світі, заснованому на принципах споживання. Він припустив, що технологічні цивілізації можуть пожертвувати реальністю, ставши «в’язнями» своїх власних віртуальних симуляторів задоволення.
Залежні інопланетяни
Лем, а згодом й інші навіть припустили, що причина, чому наші телескопи не виявили доказів існування передових інопланетних цивілізацій, полягає в тому, що будь-які розвинені культури – тут чи деінде – неминуче дійдуть до використання зручніших віртуальних альтернатив вивчення світу за межами своєї планети. Зрештою, дослідження космосу – справа важка і ризикована.
Ще за часів контркультурного розквіту 1960-х років молекулярний біолог Ґюнтер Стент висловив думку, що цей процес відбудеться через «глобальне панування бітниківських поглядів». Посилаючись на експерименти Олдза, він висунув припущення, що вживання наркотиків хіпі-спільнотами було прелюдією до ваєрхедінгу цивілізацій. На конференції 1971 року, присвяченій пошуку інопланетян, Стент вказав, що, замість сміливого зовнішнього розвитку, цивілізації руйнуються зсередини, занурюючись в медитативне і сп’яніле блаженство.
У наш же час для занепокоєних сторін набагато логічніше буде вказувати на споживацтво, соціальні мережі та фаст-фуд як винуватців потенційного колапсу (і, відповідно, як причину, чому жодні інші цивілізації ще не подали видимих ознак існування у галактиці). У кожної епохи свої тривоги.
То що ж робити?
Одначе, це точно не найбільш серйозні проблеми, що стоять перед нами. Але якщо все зробити правильно, то завдяки ваєрхедінгу можна відкрити для себе незліченні простори радості, осмислень і життєвих цінностей. Нам не варто навідріз відмовлятися від цих можливостей, перш ніж ми все зважимо.
Але в цьому полягає також справжній урок. Змусити адаптивні складні системи – чи то мозок, чи штучний інтелект, чи цілі країни – поводитись правильно та надійно дуже складно. Саме над вирішенням цієї загадки й працює Андерс (один із авторів статті). З огляду на те, що сама собою цивілізація – це така ж складна адаптивна система, яким чином можна дізнатися про властиві їй форми занепаду чи нестабільності, щоб їх уникнути? А може, «ваєрхедінг» – це вроджене відхилення, яке вражає світові ринки та алгоритми, що керують ними, так само як залежність вражає людей?
У випадку з ШІ ми вже зараз формуємо основи таких систем. Колись це було другорядною проблемою, але тепер все більше експертів погоджуються, що створення штучного інтелекту, що буде розумнішим за людину, може призвести до реальної загрози. Це пов’язано з тим, що спочатку нам треба переконатися в його безпеці, а для пошуку способу, що гарантуватиме це, потрібно багато часу. Однак серед експертів панують значні розбіжності в думках щодо термінів та нагальності виконання цього завдання.
Якщо такий ШІ буде створений, варто припустити, що він матиме доступ до власного «вихідного коду», що дозволить йому маніпулювати своєю мотиваційною системою і призначати собі винагороди самостійно. Це забезпечить безперешкодну можливість ваєрхедінгу, після чого, по суті, таке створіння стане «супернаркоманом». Але, на відміну від людини-наркомана, його стан блаженства не обов’язково повинен супроводжуватися непродуктивним заціпенінням чи сп’янінням.
Філософ Нік Бострем припускає, що такий cуб’єкт може скерувати всю свою надлюдську продуктивність і кмітливість на «зниження ризику майбутньої втрати» свого дорогоцінного джерела винагороди. І якщо буде хоча б мінімальна ймовірність того, що люди стануть перешкодою на його шляху до задоволення власних потреб, ми потрапимо в халепу.
Якщо відкинути припущення і найгірші сценарії, то приклад, з якого ми почали, – невпинне збирання винагород ШІ на трасі для перегонів – показує, що в штучних системах вже дійсно постала така проблема. Тому ми маємо сподіватися, що дізнаємось більше про ці підводні камені мотивації та про те, як їх оминути, перш ніж все зайде надто далеко. Навіть попри скромне походження цього явища (з черепа щура альбіноса і з віршів про стьожкового черва), значущість поняття «ваєрхедінг» найближчим часом дедалі більше зростатиме.
