Чи технології роблять світ незрозумілим?

Автор: Семюел Аберсман, старший науковий співробітник Центру Силіконової гори при Університеті Колорадо.

Людська винахідливість створила світ, який розум вже неспроможний цілком збагнути. Чи досягли ми, нарешті, своєї межі?

Незважаючи на неосяжність неба, літаки час від часу стикаються один з одним. Щоб уникнути цих катастроф, була розроблена Система попередження зіткнення літаків у повітрі (англ. Traffic alert and Collision Avoidance System, TCAS). TCAS попереджає пілотів про потенційну небезпеку та вказує їм, як реагувати, використовуючи низку непростих правил. Насправді, цей набір правил, що розроблявся десятиліттями, настільки заплутаний, що, можливо, лише одиниці наразі розуміють його. Коли розробляється TCAS, люди відходять на другий план, замість них використовується моделювання. Якщо після серії випробувань система реагує так, як потрібно, то вона схвалюється інженером та TCAS надходить в експлуатацію.

Хоча проблема попередження зіткнення сама по собі є складною, система, яку ми створили для її вирішення, по суті стала надто важкою для розуміння, і навіть експерти іноді дивуються її діям. Ця зростаюча складність свідчить про масштабніше явище у сучасному житті. Системи, що покликані рятувати наші життя, стають важкими для розуміння. Це означає, що ми, люди, досягли технологічного порогу, подолати який дозволить лише доскональне вивчення проблеми.

Протягом століть люди створювали все складніші системи – від механізмів для комфортного життя, що стали нам вже звичними, до інформаційних систем та законів, на яких тримається наша глобальна цивілізація. З роками технології все більше й більше ускладнюються, пропонуючи ефективність та переваги, які попередні покоління навіть не могли собі уявити, але зі зростанням складності та збільшенням кількості взаємозв’язків приходять також і наслідки, за своєю структурою надзвичайно заплутані та складні, які ми не завжди можемо передбачити. Одна справа – визнати, що технології продовжують ускладнюватися, роблячи завдання фахівців, які створюють та обслуговують наші системи, ще головоломнішим, але зовсім інша – визнати, що багато з цих систем розум середньостатистичної людини вже не здатен цілком осягнути. Зараз ми живемо у світі, наповненому незрозумілими збоями та помилками. Коли ми знаходимо їх у відеогрі, це інтригує, але коли нас дивує власне інфраструктура нашого суспільства, це має змусити нас замислитися.

Однією з перших ознак того, що технології ускладнюють життя людини, стала поява залізниць, що потребувала розробки стандартизованих часових поясів у Сполучених Штатах для координації десятків нових поїздів, що перетинали континент. З того часу у сфері транспорту все стало набагато заплутаніше. Автомобілі пройшли шлях від механічних пристроїв обмеженої складності до обчислювальних машин на колесах. За оцінками, у США налічується понад 300 000 перехресть зі світлофорами. І справа не тільки в системах та мережах, в яких працюють ці машини. За останні 200 років кількість окремих деталей у наших складних пристроях – від літаків до калькуляторів – збільшується у геометричній прогресії.

Ускладнення технологій за рахунок все більшої комп’ютеризації торкнулося всіх аспектів нашого життя, від кухонних приладів до тренажерів. Зараз ми змушені жити з його неочікуваними наслідками: світ, який ми створили для себе, надто складний для нашого скромного людського мозку. Жахливий сценарій – це не Скайнет, мережа з власною свідомістю, що оголосила війну людству, – а надскладні системи, настільки заплутані, що в них може статися практично будь-який збій, про який тільки можна подумати. І насправді вони відбуваються набагато частіше, ніж хотілося б.

Ми вже бачимо натяки на кінцеву точку, до якої ми, схоже, несемось: світ, де майже автономні технологічні екосистеми діють за межами людських знань та розумінь. Як йдеться у науковій статті, опублікованій у журналі Nature у вересні 2013 року, у фінансовому світі існує повна «машинна екологія за межами часу реакції людини», де акції продаються та купуються за мить, а міні-обвали та стрибки можуть відбуватися протягом секунди або менше. Коли ми намагаємося довести наші фінансові операції до меж швидкості світла, настає час визнати, що машини взаємодіють одна з одною багатьма способами. По суті своїй, це алгоритми, що «торгують» між собою, поки людина залишається осторонь.

Раніше вважалося, що існують певні знання, яких не може осягнути жодна людина. У своїй книзі «Путівник для розгублених» (прибл. 1190) середньовічний вчений Мойсей Маймонід стверджував, що «інтелект людини, безумовно, має межу, яку він перейти не здатен», і навіть перерахував кілька понять, які, на його думку, ми ніколи не осягнемо, включаючи «число зірок на небі» і «парне чи непарне це число». Але потім відбулася наукова революція, а разом із нею і тріумф розуму. Сотні років потому, ми знаємо точну кількість об’єктів на нічному небі, видимих неозброєним оком, – 9110 (парне число).

Але з часів Просвітництва ми неухильно рухаємося до «заплутаності» (термін, запроваджений американським комп’ютерним ученим Денні Гіллісом). Заплутаність – це тенденція до більшої кількості взаємозв’язків у технологічному середовищі та меншим ступенем його зрозумілості. Гілліс стверджує, що наші машини, хоч і підкоряються раціональним правилам, та зараз надто складні для розуміння. Чи то весь інтернет, чи інші великі частини нашої інфраструктури, але зрозуміти ціле – тримати все в голові – вже аж ніяк неможливо.

Одним із прикладів цієї тенденції є дедалі більша складність програмного забезпечення (що вимірюється кількістю рядків коду, необхідних для його написання). За деякими оцінками, вихідний код операційної системи Windows за десятиліття збільшився на порядок, через що людина не може одночасно зрозуміти усі його різні частини. А пам’ятаєте Y2K? Це правда, що так звана «помилка тисячоліття» пройшла без серйозних ускладнень, але вражаючим фактом було те, що ми не могли бути впевнені в тому, що станеться 1 січня 2000 року, бо системи, залучені до процесу, були надто складними.

Навіть наша система права стала неймовірно заплутаною. Кодекс США, який сам по собі є своєрідною технологією, налічує понад 22 мільйони слів і містить понад 80 000 посилань між різними розділами. Ця величезна правова мережа глибоко пов’язана, і жодна людина не зможе повністю розібратися в її функціонуванні. Майкл Мендел та Діана Керью з Інституту прогресивної політики у Вашингтоні назвали це підвищення комплексності правових систем (коли ми продовжуємо додавати все нові і нові правила та норми) «накопиченням регулювання». Кожен закон окремо можливо матиме сенс, але разом вони можуть нести згубний вплив або навіть працювати дивним і непередбачуваним чином. Ми навіть можемо простежити зв’язок між ускладненістю юридичних систем та складністю обчислювальних процесів у проблематиці розгортання веб-сайту Obamacare. Збої в таких технологічних системах можуть торкнутися кожного з нас.

І ця тенденція прискорюється. Так зараз ми маємо 3D-принтери, величезне обладнання для будівництва тунелів і мостів і навіть програмне забезпечення, що допомагає розробляти нові продукти та інфраструктуру, наприклад, складні програми автоматизованого проектування (англ. computer-aided design, CAD). Одна із сфер обчислення, так зване еволюційне програмування, навіть дозволяє програмному забезпеченню «еволюціонувати» з метою розв’язання проблеми, не замислюючись над тим, якого вигляду набуде остаточне рішення. Потрібне рівняння для «припасування» даних? Еволюційне програмування може це зробити – навіть якщо ви й не зрозумієте, яку відповідь воно дасть.

Декілька років тому група вчених-дослідників намагалася покращити дизайн певного виду комп’ютерних схем. Вони створили просте завдання, яке мала вирішити схема, та спробували вивести потенційне рішення. Після розробки багатьох поколінь електроніки команда врешті-решт знайшла успішний дизайн схеми. Але ось що цікаво: в ній були частини, які були відключені від основної схеми, але необхідні для її функціонування. По суті, еволюційна програма скористалася дивними фізичними та електромагнітними явищами, які жодному інженеру не спало б на думку використовувати для того, щоб схема виконала своє завдання. За словами дослідників: «Еволюція змогла використати цю фізичну поведінку, хоча її важко проаналізувати».

Цей еволюційний метод дозволив створити нову технологічну систему, яку нам важко зрозуміти, бо ми самі ніколи не змогли б вигадати щось подібне. У шахах – сфері, де комп’ютери могутніші за людей і здатні вигравати способами, які людський розум не завжди може зрозуміти – такі рішення відомі як «комп’ютерні ходи», тобто ходи, які жодна людина ніколи б не зробила. Вони потворні, але все ж дають результат. Як зазначив американський економіст Тайлер Ковен у своїй книзі «Середнього більш не дано» (Average is Over, 2013), такі ходи часто здаються неправильними, але вони дуже ефективні. Комп’ютери виявили той факт, що шахи, принаймні, коли в них грають на найвищому рівні, занадто складні, з дуже великою кількістю рухомих частин, які є важкими для розуміння навіть для гросмейстера.

Як же нам реагувати на всю цю незрозумілість технології? Один з варіантів відповіді – просто здатися, подібно до героя коміксів Кельвіна (друга філософськи налаштованого плюшевого тигра на ім’я Гоббс), який заявив, що все, від лампочок до пилососів, працює за допомогою «магії». Замість того, щоб визнати складну істину про природу вітру, Кельвін просто називає його «чханням дерев». Ця інтелектуальна капітуляція перед зростаючою складністю здається занадто екстремальним і навіть трохи боягузливим рішенням, але що ще нам залишається робити, якщо ми більше не можемо зрозуміти наші творіння?

Можливо, нам варто сприймати це як прогноз погоди. Не в наших силах керувати погодою, ми навіть не повністю можемо зрозуміти її з усіма її нелінійними явищами, але все ж нам вдається складати досить точні прогнози, пристосовуватися до неї і навіть готуватися до стихійних лих. А коли природа підносить нам щось несподіване, ми справляємося з цим, як вміємо. Так само, як моделі погоди, ми можемо почати створювати моделі наших технологічних систем у дещо спрощеній версії. Хоча гра з потрібною нам симуляцією системи, тобто тестування її меж, налаштування параметрів, і не дає повного розуміння принципів її роботи, але можливо це наш найкращий спосіб навчитися, і цю навичку необхідно розвивати.

Наприклад, комп’ютерна гра SimCity – це своєрідна модель, яка дає своїм користувачам уявлення про те, як працює місто. До появи SimCity мало хто поза межами сфери міського планування та цивільного будівництва мав чітке розуміння того, як працюють міста, і ніхто не міг покрутити уявні ручки міського життя, щоб отримати віртуальні результати. Можливо, ми ще не можемо зробити це на рівні організації справжнього міста, але ті, хто грає в подібні ігри, краще розуміють загальні наслідки своїх дій. Нам потрібно краще «грати» у симулятори технологічного світу загалом. Можливо, це той шлях, по якому має рухатися наша система освіти, навчаючи студентів тому, як грати з чимось, вивчаючи межі можливостей цих структур та те, як вони працюють, принаймні, в теорії.

Нам також потрібні люди, трохи схожі на телевізійних метеорологів, що зможуть інтерпретувати те, що відбувається у цих системах. Наприкінці книги «Середнього більш не дано» Ковен розмірковує про цих майбутніх «тлумачів». Він каже, що вони «відточуватимуть свої навички пошуку, засвоєння та оцінки такої інформації... Вони будуть перекладачами істин, що виходять з мереж наших машин... Принаймні, на якийсь час вони залишаться єдиними людьми, у яких буде чітке уявлення про те, що відбувається».

А що робити, коли все стане надто складним і структури, створені людством, почнуть нас дивувати? Тоді нам доведеться взяти приклад із тих, хто піднімає комір, щоб захиститися від несподіваної зимової хуртовини, та зітхає, виходячи на вулицю – нам доведеться стати трохи скромнішими. Люди, які жили до епохи Просвітництва, такі як Маймонід, визнавали, що існують межі наших знань та інтелекту, і, можливо, настав час повернутися до цього способу мислення. Звичайно, ми не повинні опускати руки і говорити, що тільки через те, що ми не можемо щось зрозуміти, нам більше нема чому вчитися. Можливо, знову настав час визнати межі нашого розуміння.

Стаття вперше була опублікована англійською мовою під заголовком «Is technology making the world indecipherable?» в журналі Aeon 6 січня 2014 р.

Переклав Володимир Клапа.