«Мы можем потерять контроль»: лекция Татьяны Черниговской об искусственном интеллекте на Гайдаровском форуме

Спасибо большое за приглашение. Мне очень интересно, но и опасно быть в таком месте, потому что все, что угодно, но не экономика находится у меня «в багаже». А вот насчет того, удастся ли таким ясным языком рассказать, что я думаю по поводу этой темы, вот посмотрим, потому что я экспромтовый такой человек, я наверняка не могу сказать, как оно получится.

Я начну издалека, но я, разумеется, приду к теме. Вот на этой картинке, вот видите, где там все гуляют с лыжами и с санками, и это случилось тогда, когда, к счастью, отключили интернет. Вдруг все вспомнили, что есть и реальная жизнь, это с одной стороны. А с другой стороны, вот этот вот монстр, который висит и в голове у него какая-то машинерия, и кто-то даже им управляет, но поговорим об этом.

Я начала бы вот с чего. Есть очень много прогнозов, и людей, которые любят эти прогнозы делать, про то, что нас ждет. Начала бы я с того, что вот здесь первым и написано, что называется антропоцен, и об этом говорят, как о геологической эпохе, в которой мы сейчас живем, когда человек определяет жизнь планеты. Вот в декабре вышел доклад Римского клуба, к своем пятидесятилетию, юбилейный доклад этот Римский клуб подготовил. Римский клуб — это такое интеллектуальное собрание, которое анализирует ситуации и предоставляет результат своего анализа мировому сообществу, в том числе элитам. Я его еще не дочитала, он большой, он только что вышел, двести с чем-то, кажется, страниц, но он очень интересный. И там, в частности, говорится то, о чем я в дальнейшем и буду говорить, но я прочла это после того, как подготовила эту презентацию. Там говорится о том, что мы заигрались в технологические игры, что они представляют опасность не только в том смысле, в техническом, о чем я тоже скажу позже, а мировоззренческую. Мы можем потерять контроль над развитием ситуации, так сказать, неизвестно, чем это дело кончится. Если мы так уж доверим себя технологиям, то тогда, спрашивается в задаче, что будут делать люди, если техника так прекрасно все делает. Я не имею в виду замену юристов-людей на программы, это как раз простая история. А я имею в виду в целом, если решения будут принимать мощные суперкомпьютеры, и вообще как бы вся жизнь будет обеспечена, а для нас-то вообще остается место или нет. Вот об этом мы поговорим.

Конечно, мы попали в парадоксальный мир, потому что это мир, который, с одной стороны, открывает нам огромные возможности, каждый сидящий в этом зале, все мы это прекрасно понимаем, а с другой стороны, он же, этот мир, привел нас к ситуации, когда нам придется делать выбор, и совершенно непонятно, как мы его сделаем. То есть, с одной стороны, соблазн этих огромных возможностей, а с другой стороны, они же делают этот мир опасным, и мы выбираем между возможностями и безопасностью, вот как мы, собственно говоря, выберем.

Есть разные сценарии, это вот один из них, так называемые «Острова», «Орбиты» и «Сообщества». Вот здесь написано, что имеется в виду, и основная идея заключается в том, что как бы непонятно, действительно ли государства будут существовать, как такие мощные единицы, или это какие-то транснациональные, трансгосударственные, какие-то облака такие. То есть, возможно, это вообще другое социальное устройство, но это не предмет моих знаний, поэтому про это я говорить не буду, а еще раз, и последний, вероятно, раз, обращусь к этому докладу Римского клуба. Там говорится о том, что необходима эпоха, как они пишут «нового просвещения», и необходима эпоха переосмысления главных цивилизационных принципов. Например, отказаться они предлагают от редукционизма, и я сейчас объясню, очень быстро, скоро, о чем речь идет, в том числе в науке. То есть наука, естественная наука, внутри которой я работаю, она ведь исходит из чего? Из того, что она анализирует, правильно? Она берет какой-то объект, и его все больше и больше рубит на части. Дорубились уже до наночастиц, дальше будем рубить, струны там появятся. Но вот мы как бы сколько это будем, в эту игру играть? Но самое-то главное вот в чем, вероятно, неправильная посылка, потому что многие очень крупные философы говорили еще тогда, когда это расчленение материи до бесконечности еще не началось, говорили о том, что целое больше его частей. Вот что важно, это первый пункт. И второй пункт, я к этому обращусь сейчас. Второй пункт такой: а действительно ли то, что исследуют естественные науки, — это некое независимое от нас поле? То есть, вот как выглядит современная наука? Ученый, он сидит в зале и смотрит на то, что происходит на сцене. На сцене находится мир, а он как бы независимо там сидит, ни во что не влезает, он честный ученый, и он смотрит на то, что здесь делается. Вот это и есть ошибка, потому что ученый находится в том же мире, в котором находится мир, который он исследует. Более того, нам известно, сейчас известно, что данные научных исследований не независимы от того, кто их исследует. Не в смысле подтасовки, я не про глупости говорю, а в смысле позиция ученого, то, как он ставит эксперимент, то, как он задает вопросы, влияет на то, что в итоге получится.

Совершенно ясно, что в этом мире, в который мы попали, этика и мировоззрение будут играть решающую роль. Без этики с будущим у нас дело плохо обстоит. Эйнштейн писал… Я в последнее время, не знаю зачем, почему-то стала читать письма Эйнштейна и разные его заметки, и это оказалось очень интересным. И он пишет вещи, которые многие слышали, это как раз не из нового, что он говорит: «Не знаю, как в третью мировую войну дела будут обстоять, а то, что четвертая мировая война пойдет с помощью камней и палок, это как бы понятно», ну, дети заигрались.

Эволюция жизни на Земле началась с того момента, когда эта жизнь неведомым нам образом возникла. Похоже, что у эволюции есть вектор. Вот я работала много лет в институте эволюционной физиологии и биохимии имени Сеченова Академии наук СССР, еще тогда, и вроде бы должна про это что-то знать, потому что как бы это моя территория, тем не менее есть вопросы, которые мне не дают покоя. Что, у эволюции действительно есть вектор? Раз есть вектор, значит, у нее есть какая-то цель. Откуда эта цель, спрашивается, взялась? Или это оно так выходит? Нас-то учили, что оно как бы само так получается, но вот я в этом отнюдь не уверена. Похоже, по всему, что мы сейчас знаем, все потуги эволюционные вели к тому, чтобы образовалась нервная система, а в итоге — высочайшая стадия этого всего, а именно человеческий мозг. И этот человеческий мозг, он такое вытворяет, что мы, люди, насколько мы знаем, в отличие от всех других существ, которые являются нашими соседями по планете… Хотя вы мне можете сказать — а вы уверены? И я скажу — нет, я не уверена, потому что я не знаю, и более того, не знаю, как узнать. И никто не знает. Но похоже пока, что мы единственные, которые живут не в одном мире. Мы одновременно живем в мире физических объектов, микрофонов, стульев и яблок, а одновременно мы живем в мире, который знаковый мир. Это как бы дубли такие, то есть мы живем в мире, который мы сами и придумываем. То есть он не из атомов состоит, такой особый мир, который порождается нашей психикой.

Меня давно волнует вопрос, и разумеется, у меня вопроса такого нет — это зачем вселенной понадобилось? Вселенная и так знает, как ей жить. Атомы знают, как им вращаться, с чем соединяться, планеты тоже знают, и галактики знают. Зачем понадобилось некое существо, которое будет разгадывать законы природы, которые и так действуют? Вот я такой парадоксальный вопрос задаю.

Короче говоря, благодаря тому, что у нас такой мощнейший мозг, мы развили этот информационный мир, и мы оперируем знаковыми системами: это как язык, понимаемый широко, так и другие разные человеческие языки, куда входят и математика, и живопись, и музыка, самое загадочное из всего вообще, что мне известно.

Вот мы живем в этом мире удвоений. Зачем эти повторы? Кажется, вот реальное яблок на столе лежит, его зачем рисовать или зачем его лепить? Это, кстати, вопрос нетривиальный, и на него ответ вовсе не такой — чтобы запомнить. Здесь что-то другое есть. Искусство ведь занимается чем? Как говорил Лотман, Юрий Михайлович Лотман, крупнейший наш гуманитарий, семиотик, я имела счастье с ним много общаться, он говорил, искусство вовсе не повторяет жизнь, не изображает жизнь, не копирует жизнь, а искусство творит жизнь. Оно творит, оно сначала придумало, а потом эта жизнь начинает по этой дороге идти. Более того, искусство создает ментальные объекты, которые потом, возможно, появятся на самом деле, то есть оно как бы смотрит в те области, которых нет еще. Я имею в виду, собственно, пафос моей речи в этой ее части сводится к следующему — не стоит воспринимать искусство как какой-то десерт или довесок к серьезным вещам, что мы как бы занимаемся серьезными вещами, а потом полагается ходить в музеи людям образованным, слушать музыку и так далее. Это не то. То есть, это, разумеется, есть, но речь не об этом. А речь о том, что искусство — это вообще другой способ познания или даже создания мира.

Вот Лотман, который здесь изображен, дома он здесь сидит, он говорил, помимо всех прочих замечательных вещей, что люди — это единственные существа, которые способны к рефлексии, то есть к осознанию осознания, в том числе к осознанию себя. То есть мы не только даем комментарии к тому, на что мы смотрим или о чем мы думаем, но мы еще комментируем и то, как мы думаем, то есть мы как бы такие двойные зеркала. Рефлексия, похоже, это чуть ли не единственное, что осталось еще нашим, человеческим, в сравнении наших когнитивных возможностей с другими высшими представителями наших соседей по планете. Вот, похоже, что другие не рефлексируют, хотя я повторяю, что карты я выложить на стол не могу, потому что откуда я знаю, что думает дельфин, когда он там плавает или веселиться. Не знаю и не узнаю никогда.

Насколько мы зависимы от нашего мозга? Вот один из крупных ученых, видите, пишет — каждому из нас, (он и гораздо более резкие вещи пишет), каждому из нас кажется, что мы как бы хозяева положения. В другом месте, у меня лежит статья его, которая называется The Mind's Best Trick, то есть лучшая уловка, шутка мозга, по-разному можно переводить. Шутка эта заключается вот в чем, что он, этот мозг, он делает все сам, он принимает все решения сам, он вообще самодостаточный какой-то монстр, хороший или плохой, не будем обсуждать, он все делает сам, но этим не ограничивается его коварство, потому что после этого он еще посылает нам утешительный сигнал, что, мол, ты не волнуйся, такая психотерапия, правая рука горячая, левая рука холодная, ты все сам придумал, ты молодец, вообще ответственный человек. Если это так, а есть данные, которые дают нам основания подумать, что это так, просто у меня нет времени сейчас говорить об этом, если это так, то это совершенно разрушительное дело. Это значит, что все остальное — это просто какой-то смех и розыгрыш, то есть мы что, мы просто хорошие программы? В общем, тут много чего есть.

Вы не думайте, что я далеко ухожу от искусственного интеллекта, я просто к нему подбираюсь с другого конца, потому что, собственно, наш вопрос ведь как стоит — мы боимся искусственного интеллекта, мы боимся потерять контроль над ситуацией? А у нас есть контроль над естественным интеллектом? Вот я к чему, собственно, веду.

Так вот, один из вопросов, который сейчас особенно серьезно обсуждается в мире, это что важнее — как родился или как воспитался, гены или культурная среда, гены или то, как ты формировался. Поскольку сейчас такой интерес, в частности к одаренным детям, вылавливают людей с особыми способностями, все понимают, что цивилизацию движут единицы, и эти единицы очень редко встречаются. Я не припомню в ближайшие, и в далекие тоже, годы, Аристотелей, Платонов, Кантов не видела, Шопенгауэров, Моцартов не встречалось что-то мне. Так вот, гениями рождаются? Это вопрос, который я часто получаю. Или гения можно воспитать? Опять же, это другая тема, отвечаю — гениями рождаются. Ими можно дальше не стать, если не повезло, потому что гений — это то, как родился, и то, как потом дело пошло, то есть ты должен попасть в хорошую среду, в хорошие руки, и очень много работать, кстати говоря. Что им нетрудно, потому что это единственное, что их самая радость — много работать. Наша цивилизация зависит от этих гениев, или просто от способных людей, я не настаиваю на слове «гении», зависит кардинально.

Как я уже говорила, как насчет контроля. У нас в голове сложнейшая нейронная сеть, ничего более сложного, из того, что мы знаем, нельзя даже представить. Если вот все эти ниточки, которые у нас в голове есть, которые я вам сейчас покажу, вытянуть в одну линию, то получатся такие страшные цифры. Это в голове каждого! Это не Эйнштейна и не Бетховена, а в голове каждого человека. То есть это страшное дело, посмотрите, как это выглядит, это электронная фотография некоего кусочка мозга. Вот я хочу понять, как такая сеть может работать, когда я на это смотрю, я хочу просто… Вот как по такой сети может хоть какая-нибудь информация хоть куда-нибудь прийти? Меж тем, она приходит. Я хочу сказать, что нейроны, которые я вам сейчас демонстрировала, эти цифры, они уложены еще в другие клетки, которые называются глиальные. Я не анатомию вам читаю, сейчас поймете, к чему я это говорю. Их еще в десять раз больше. Я просто не знаю, есть ли в языке слова, которые отображают такие величины, потому что каждый из нейронов, вот здесь изображенных, может иметь от 50 до 100 тысяч связей с другими частями мозга. Значит, если мы это все умножим, то мы получим квадриллион. А если мы это умножим еще на десять, вот эти глиальные клетки, которые, кстати, имеют собственную память, они не нейтральные, у них своя работа там есть, то получается число, которое я не знаю, как называется. Если еще более глубоко посмотреть, в смысле, увеличить это, то вот так это выглядит. Конечно, там ничего цветного нет, цветное, которое я вам сейчас показывала, это делается для того, чтобы увидеть клетки разных типов. Ну, вот с таким мы имеем дело, и вот с этим мы хотим конкурировать, создавая искусственный интеллект.

Этим занимается когнитивная наука, так называемое конвергентное знание, это как раз область, в которой и я тоже работаю. Она мультидисциплинарна, я не буду тратить время на чтение того, что вы можете на слайде прочесть. На самом деле, этих граней больше. Я, как представитель этой науки, могу сказать, что меня, скорее, расстраивает то, что в эту вот фигуру попадает практически все. Я думаю, а есть что-нибудь, что не когнитивная наука, в таком случае? Я думаю, может, какое-нибудь там металловедение, но и это неправильно, потому что можно с этой стороны к чему угодно подойти.

Короче говоря, это очень такая важная вещь, и вот то, на что я намекала уже, Эйнштейн пишет — основа естественных наук — это то, что характеристики внешнего мира независимы от наблюдателя, что мы вот честный исследователь, он сидит отдельно и ни во что не лезет, и внимательно наблюдает. Но это так было.

А вот так, это заметим, годы какие, Нильс Бор, вся команда, Шредингер, Гейзенберг и дальше по списку, они утверждают, что наблюдатель, в квантовом мире, правда, но у нас нет времени обсуждать это долго, но тем не менее, что в квантовом мире наблюдатель является частью научной парадигмы.

Мой любимый кот, я вообще люблю котов, но самый знаменитый из моих любимых котов, это кот Шредингера, ну и те, кто это где-то когда-то проходили, наверное, помнят, что этот кот являет себя так или иначе, только когда ты на него смотришь. То есть когда ты на него не смотришь, и он в закрытой банке своей сидит, то ты просто про него ничего не знаешь. Нас утешали все время, что такие сюжеты характерны для этого микромикромира, то есть квантового мира, и что к нам, к людям, живущим в большом мире, это не имеет никакого отношения. Сейчас в этом есть большие сомнения. Кстати, об этом пишет и этот доклад Римского клуба, они говорят, научные-то данные зависят от того, кто этим занимается. Понимаете, с другого бока.

Алексей Ухтомский, гениальный российский физиолог, к сожалению, проигравший эту игру с Иваном Петровичем Павловым, к моему сожалению, потому что Павлова я не люблю, а Ухтомского люблю, но это, правда, факт моей жизни, и не больше, Ухтомский пишет, нет объекта без субъекта, как нет субъекта без объекта. Я очень сомневаюсь, что он в те годы знал о квантовых этих играх. Он не один такой, у нас просто времени нет, было бы время, я бы вам многое показала. Но, в частности, Владимир Петрович Зинченко, светлой памяти, крупнейший московский психолог, он говорил, внешний мир строится изнутри. Вот подумайте, это что значит, внешний мир строится изнутри?

А если подальше посмотреть, встает вопрос, который вот внизу — а почему мы, собственно, уверены, что логические выводы, математические законы, что они применимы к реальной природе? Почему мы решили, что реальная природа подчиняется законам, которые мы сами выдумали? Конечно, здесь стоит вспомнить Галилея, который говорил, создатель написал книгу природы языком математики. Вроде точка, но это Галилей сказал, а чего там написал создатель, это как бы отдельный вопрос.

Борис Раушенбах, наш крупнейший академик, который на самом деле не гуманитарий, а он, насколько я помню, топливо для ракет делал, и он пишет, что математика не может, математика не имеет инструментов, по которым она может выделить, отделить существенное от несущественного, важное от неважного. То есть она много чего может, но когда речь идет о том, что на это мы обращаем внимание, а на это — нет, или можем пренебречь, это не дело математики, это не дело статистики. Нет времени сейчас обсуждать это. Поэтому он писал, настоящая картина того, что мы видим, или что мы изучаем, это картина, которая у нас в мозгу. Что из этого следует? Из этого следует, что мы кардинально зависимы от мозга.

Вот я прозевала, но уж не буду возвращаться, Кант ведь говорил, Эммануил Кант говорил ровно противоположное тому, что говорил Галилей, а именно — рассудок не вынимает законы природы из природы, а предписывает их ей, потому что он так устроен. Это вообще противоположная вещь, то есть у нас такая математика потому, что у нас такой мозг, точка. Я не утверждаю это, я просто говорю, что одна из очень мощных точек зрения такова.

Хорошо, физика управляет мозгом, мы говорим, мы и изучаем сейчас мозг с помощью мощнейших современных технологий. А какая конкретно физика, задаю я теперь вопрос? Я недавно стала задавать, поэтому я еще и ответов не услышала. Это Ньютон, это Эйнштейн или это Нильс Бор? Это разные физики. Какая физика действует в мозгу, хочу узнать. Еще больше я хочу узнать, какая такая математика управляет мозгом? Это пифагорова математика, это римановская, лапласовская, какая математика-то? Много разных математик есть. Почему мы так уверены?

Когда мы строим искусственный интеллект, мы говорим, а вот мы узнаем, какие алгоритмы в настоящем мозгу, и сделаем по образу и подобию реального мозга вот такое устройство. А там только алгоритмы? Причем какие алгоритмы? Я вот три фотографии здесь помещаю. Первая — это портрет человека, который раньше Тьюринга в эту игру играл, вот в середине Тьюринг, а первый — это портрет российского профессора Корсакова, это восьмидесятые, если я не ошибаюсь, годы ХIX века, когда он стал делать так называемые интеллектуальные машины, то есть он делал ту работу, которую Тьюринг потом. Не в железе, но его имя не нужно забывать. Или это вот эти новые как бы пришельцы.

Эйнштейн, он говорил, главные вещи делаются интуитивно, открытия происходят интуитивно, его нельзя с помощью логарифмической линейки сделать, ты не можешь запланировать сделать открытие. Тебя как ударяет, как будто головой ударился, или во сне тебе это приходит, разные вещи происходят. Примеров очень много, если вы почитаете мемуары, письма, комментарии очень крупных ученых, причем я настаиваю на том, что надо читать не комментарии художников и музыкантов, а физиков, математиков, химиков, то есть людей как бы такой, тяжелой, науки. И они все это пишут, они говорят — интуиция и вдохновение. Другой вопрос, что это интуиция того человека, который уже большой путь прошел, то есть у него это все варилось там, в алгоритмическом смысле, а потом щелкнуло в какой-то момент. Эйнштейн пишет, интуиция священный дар, разум покорный слуга. Это слова Эйнштейна, интересно, что это физик пишет.

Отец Павел Флоренский говорил, для того, чтобы такого рода прорыв совершился, наше сознание должно как-то расшататься, в нем должна появиться такая смутность и сумеречность, как бы рассудок не контролирует целиком то, что происходит, ты впадаешь в какое-то другое состояние. Об этом много, я повторяю, пишут, мы не можем делать вид, что это просто художественная литература и не обращать на это внимания, это слишком серьезно.

Вот мы изучаем мозг, а мы можем увидеть, что происходит в мозгу? Вот когда ко мне молодые студенты или магистранты приходят, говорят, ой, я хочу работать с мозгом и все такое. А что ты там собираешься увидеть? Ну, вот сейчас откроем мозг и увидим. Что ты там собираешься увидеть, если не секрет? Ты что, откроешь, и там будет написано — деепричастие, или что там, что в мозгу? Там те картинки, которые я вам показала. Ты так не увидишь, значит, это должно быть очень сложно. Поскольку я этим занимаюсь, то жалуюсь на жизнь, это очень сложная и длительная подготовка очень строгого эксперимента, который потом идет, скажем, шесть минут. Но ты его готовишь зато два года, для того, чтобы он был интерпретируем. Поэтому увидеть там мы ничего не можем.

И вот я привожу некоторые примеры. Дэниел Деннет, крупнейший философ, который занимается проблемами сознания, вот как видите, он пишет, что мы не более чем сборище триллионов нейронов. То есть он исходит из того, что если мы узнаем про каждый нейрон, и потом это обратно восстановим, то как раз и получим. Вот Юрий Михайлович Лотман в свое время, будучи человеком блестящим и остроумным, он говорил про науку скептически — конечно, можно теленка на стейки разобрать, но он обратно не собирается, вот в чем беда. Целое больше его частей. От того, что ты рассмотришь каждый нейрон, твое знание о целом не возникнет. Он же, Деннет, писал, человеческая свобода, это противоречие, между прочим, его самому себе, человеческая свобода — это не иллюзия, а объективное явление.

Подождите, давайте договоримся. Если мы сборище нейронов, мы просто прекрасная программа, очень изощренная, такая, которая нам еще эти сигналы посылает, что как бы все в порядке. Если это только так, то тогда какая свобода воли?

Я вообще ни в чем не виноват. Уже были процессы судебные, где обвиняемый говорил That's not me, that's my brain. По-английски, потому что это в Штатах было. Не потому, что Америку сейчас полагается ругать, а просто это реальные события. То есть это не я, это мой мозг. Ничего себе! То есть это разрушает вообще базис нашей цивилизации, тогда мы вообще ни за что не отвечаем, что я, виноват, что ли, что таким дураком или преступником родился. Понимаете, это серьезная вещь. Вокруг этого огромная литература, дискуссии, собираются симпозиумы, то есть серьезная вещь.

Был такой замечательный нейрохирург Войно-Ясенецкий, он же архиепископ, и он блестяще высказался на эту тему. Я много оперировал на мозге, говорит он, и открывая черепную коробку, никогда не видел там ума, и совести там, впрочем, тоже не видел.

Это, знаете, такая же история, как когда Гагарин в космос полетел, и тогда атеисты все на него накинулись, когда он оттуда вернулся, со словами, видел ли бога. Но поскольку бога он не видел, по объективным причинам, то сказали, ну, Гагарин не видел бога, все, значит, его нет. Так из того, что ты не видел, ничего не следует, потому что это, то, что здесь вот висит, на экране, это ты там и не можешь увидеть. Ты как бы думай, куда смотреть-то.

Мозг людей существенно разный, и Artists это не артисты, а вообще всякие творцы из искусства, у них другие, структурно другой мозг. Здесь встает вопрос, который я уже ставила, про курицу и яйцо, а именно — у них другой мозг и поэтому они стали Моцартом, или из-за того, что они играют на скрипке, у них сформировался такой мозг? Это, кстати говоря, вопрос открытый. Вот эта картинка — это не художественное произведение, а это то, как теперь выглядит обработка данных, полученных с томографов серьезных, о связях в мозгу. Connectivity, так сказать, называется.

Вот мозг, например, музыканта. Посмотрите, сколько действует зон там. Вообще я должна сказать, если говорить о метафорах, вот мозг, деятельность мозга, на что похожа больше всего? Вот я бы сказала, что больше всего это похоже на Jam session, то есть на джазовые такие собрания, когда игроки, в смысле музыканты, а в нашем случае нейроны, они живут, где живут, у них у каждого свой дом. У одного здесь, у другого здесь, у третьего здесь. Для выполнения какой-то задачи они съезжаются, на время выполнения этой задачи, они съезжаются в определенном месте. У них нет дирижера, что сверхважно, у них нет партитуры, что сверхважно, многие из них вообще никогда не встречались. Они сыгрываются и играют. Выполнили, разъехались по домам.

Меня давно интересует вопрос, почему Эйнштейн, а также Шерлок Холмс, виртуальный Эйнштейн, так сказать, почему они играли на скрипке? Все известно, что играли они чудовищно, это просто знали все, но они маниакально это делали. Это почему происходило-то? Моя версия такая, и это серьезная версия, хотя я ее пока не могу доказать, но я даже думаю, что это, наверное, можно доказать экспериментально, что они переключали мозг на другой режим работы. Это как бы другой настрой — а вот сейчас оно будет действовать так.

И это рождало лучшие всплески нашей цивилизации. Понимаете, вот это рассчитать на арифмометре «Феликс» нельзя, неизвестно, как это сделано. То есть, известно, рукой, но мы же не про это говорим. Тем более, совершенно непонятно, по крайней мере мне непонятно, что такое музыка, как это происходит, откуда она взялась, и что с ней будет, если мы доиграемся до исчезновения с планеты. Это вопрос, который я задавала уже разным крупным музыкантам и так далее. Вот если нас не будет, вот доигрались, все, Трамп с Ким Чен Ыном нажали на кнопки, все, больше никого нет. Музыка есть или нет?

И я, разумеется, не задаю дурацкий вопрос на тему — остались ли ноты, не про ноты речь. Понимаете, если здесь лежит том Шекспира, и нет человека, который умеет его читать, то этот том не является томом Шекспира, а является физическим объектом. Оттого, что музыка звучит, но нет того, который может ее понимать, значит, ее нет. Для комара нет никакого Моцарта.

Но это не только, есть и другие языки. Красота математического вывода представляет для тех, кто понимает, такой же объект прекрасного, как и музей мадам Клюни и так далее. Академик Людвиг Фадеев, в прошлом году от нас ушедший, он был крупнейшим математиком, но он был профессиональный музыкант, он даже собирался в консерваторию поступать. Я с ним тоже про это говорила и задала все этот же вопрос, как будет с музыкой, а также как будет с математикой, я его спросила, как математика. Он сказал, нет, это человеческое, если нет человека, то нет и математики, нет и музыки. Так не все отвечают. Я не хочу в спор сейчас вступать, но это одна из точек зрения.

Сканирование мозга музыкантов говорит о том, что чувство красоты у них может вызывать не только произведение искусства, как вот эта «Дама с единорогом» из парижского музея Клюни, так и блестяще выведенная формула или доказательство теоремы. То есть дело не в объекте, а дело в том, опять-таки, тот, кто смотрит, тот и видит, то есть мы не можем этого наблюдателя или ученого, если хотите сказать, вынести, он как бы отдельно, а вот здесь эти шедевры лежат. Шедевры здесь не лежат, шедевры у него вот здесь лежат. Здесь лежат физические объекты.

Ну и дальше, все же, что было, погадаем, на чем сердце успокоится. В 2010 году появилось первое существо, которое являет собой композит из живого и неживого. Крейг Вентер создал живой организм с синтетическим геномом, то есть у него как бы отцемать был компьютер. Это такой, тревожный ход, как бы я вполне представляю себе какое-нибудь кошмарное будущее, когда в магазинах будут продаваться детские игрушки, игры типа «Юный генетик», как раньше были «Юный химик», я еще думала «Юный взломщик». Вот «Юный генетик» будет эти штучки создавать, вот дальше что будет, интересно бы узнать.

То, что вот уже было сказано во введении, смотрите, когда Каспарова Deep Blue обыграл в шахматы, человечество содрогнусь, потому что тогда значит все — наш лучший мозг все, готово дело! Но, правда, когда потом проанализировали это, то успокоились, в том числе и сам Каспаров успокоился, потому что этот Deep Blue был надрессирован, я прямо скажу, на конкретного игрока, на него, он знал все, что Каспаров когда-либо делал этими штучками, белыми и черными. Более того, это вообще нечестная игра, потому что компьютер не устает, у него бесконечная память, он не нервничает, естественно, у него гигантские скорости, скорости компьютеров несопоставимы со скоростями в человеческом мозгу, эту игру мы проиграли давно. Но похоже, дело не в скорости, потому что игру со скоростями мы проиграли, а настоящую игру мы пока не проиграли, и, возможно, не проиграем, если не обезумеем окончательно. И тогда нам говорили, что — хорошо, в шахматы да, вот как уже было сказано, но игру го эти монстры не возьмут. Отлично взяли, с разгромным счетом обыгран чемпион.

Тогда стали говорить, ну ладно, хорошо, го, но есть еще другие штучки, а именно вот такие. То есть была создана вот эта программа DeepMind, которая создала систему AlphaGo, и она побеждает не только чемпионов в го, но более общая версия — AlphaZero — она прекрасно разбирается с го, с сёги, с шахматами, самое страшное в этом, что ей не нужны начальные знания, ей нужно знать только правила игры. За 24 часа она набирает, что в ужас специалистов повергает, она набирает умение побеждать не только любого, самого сильного человека из живых, мы сдаем позиции-то, но она побеждает и компьютерные программы сильные, то есть она с огромной скоростью набирает немыслимые знания.

Ну и наконец, я-то все думала, ну в покер номер не пройдет, потому что там блеф, там понятно… Покер — совершенно другого типа игра. Пожалуйста, создана программа Libratus, которая обыгрывает в покер, это недавно совсем произошло. С четырьмя игроками высокого класса в покер она играла, разнесла в пух и прах, выиграла около миллиона семисот, по фишкам. Разумеется, этой железяке никто ничего не дал, разделили между игроками, хоть какая польза. Но я имею в виду, что покер взяли. Дело же не в играх, понимаете, это говорит о том, что искусственный интеллект приобрел черты, которые не только алгоритмические, то есть это уже на самом деле на нашу территорию они влезают.

Мы ведь, собственно, когда успех-то наш пошел? Когда какому-то из наших предков, а самых главных гениев мы не знаем… Кто придумал иголку? Кто придумал ложку? И, наконец, кому пришло в голову какие-то знания вынести за пределы нейрофизиологического субстрата, то есть мозг с нами уходит, а знания хотелось бы оставить, скажем, детям. Кому-то пришло в голову это записать, зарисовать, и пошла так называемая внешняя память, которая теперь превратилась уже в другую внешнюю память, и вот тут начинается.

Некий Николас Карр написал бестселлер, ну сами видите, и он там пишет: «когда-то я был искусным ныряльщиком, я нырял в океан знаний, медленно и долго там плавал, возвращался, с разных сторон рассматривал объекты, все это закончилось. Теперь я очень быстрый искусный серфингист, то есть я ношусь с большой скоростью по поверхности, вообще не ныряя туда и ничего не разглядывая». Это тревожные вещи.

Еще более тревожные вещи — это интернет-зависимость. Я понимаю, что это всем в зубах навязло, но я хочу сказать, что есть научные данные, нейрофизиологические данные, которые говорят о том, что людей, которые в интернете, ну мы все сидим в интернете, ну понятно, и мы все работаем с компьютерами, я же не пишу гусиным пером, я не к тому клоню, что мы это отменяем, а я к тому, что те, которые в это влезли так, что это зависимость, они нам дают картину мозга, из которой следует, что это изменения в мозгу такие же, как при наркотической и алкогольной зависимостях, это называется computer illness и попадает в категорию болезней. Интернет-зависимость, если будет время почитать, она приводит к серьезным вещам в мозгу, это перестройка мозга. На мозг влияет все. Понимаете, если мы сейчас возьмем чайник и начнем заваривать там зеленый чай, то это повлияет на наш мозг. На мозг влияет все, что приходит извне. И более того, все, что порождает он сам, но это даже не будем трогать. То есть мозг — это такое устройство, которое постоянно перестраивается. Вот больше всего меня, я бы даже сказала, восхищает и ужасает одновременно то, что это огромная нейронная сеть, которая у каждого из нас в мозгу находится, она переписывается каждую секунду. Это не то что она там стабильная, а к ней мы добавляем, еще зеленого чая, теперь белого чая, теперь красного чая, нет, она переписывается вся. Наша память не представляет собой ящички или корзиночки, или библиотеку, она не представляет собой даже чулан, она представляет собой живое что-то, что постоянно меняется. Одну и ту же вещь нельзя дважды вспомнить, это как по старым выражениям, в одну и ту же реку нельзя дважды войти, потому что она течет. Как только вы что-то вспоминаете второй раз, в третий раз вы вспоминаете уже не то, что было в первый, а то, что было во второй, и в четвертый уже другое. Понимаете, то есть это переписывающийся текст, он довольно страшный вообще-то.

Маршалл Маклюэн, который давно это все писал, он вообще говорил, что человечество перейдет к другому виду, надбилогический вид, как он говорил, это Homo Sapiens autocreator, самосоздаваемый. Ну и мы в эту сторону идем, все эти чипы, даже не хочу начинать. Вокруг нас находится…

Мы перешли, извините, я с пафосом и алармизмом скажу, мы уже находимся в другой цивилизации, не стоит делать вид, что это где-то в будущем. Оно не в будущем, оно уже здесь. Мы внутри нее живем, она с огромной скоростью меняется, все время. Устрашает скорость с которой это идет. То, что было, на что уходили тысячелетия, а потом столетия, а потом десятилетия, а потом месяцы, на это сейчас уходит, я не знаю, день или часы, то есть мы разогнались с очень большой скоростью, и этот мир, он текучий, он прозрачный. У каждого из нас в сумочке или в кармане, понятно, гаджеты лежат, и не в этой аудитории говорить, что все понятно. Он нестабильный, он меняется все время, он невероятно быстрый, он гибридный, и он мерцающий. Это другой мир, это не тот мир, в котором мы жили хотя бы пять лет назад. И это необратимая вещь, поэтому это имеет глобальное значение. Мы просто должны это осмыслить. Мы оказались на другой земле. И он опасный, и мы должны будем выбирать между свободой и безопасностью. Это очень трудный выбор. Может быть, нам удастся совместить как-то, но факт есть факт, что есть как бы… мне удобно, когда у меня в кармане находится нечто, что я могу выйти в библиотеку Конгресса в каждую секунду и получить любую информацию, да, но эта штука говорит о том, с кем и где я вчера обедала, что ела и какие сумки покупаю. Правильно? Если я не хочу, чтобы про меня это знали, тогда выброси эту штуку.

Станислав Лем, всем известный, очень давно, смотрите, что написал, это сейчас сыграло. Если раньше, скажем, идет война, и от победы нас отделяли километры или даже сотни километров и месяцы, то ошибку можно было исправить, перенеся, передвинув войска, скажем, в другое место, перегруппировав что-то. Сейчас, когда играют компьютеры, и речь идет о гигантских скоростях, а он тогда этого не знал, и он говорил, выходит новый бог — это случайность, и эта случайность приходит из микромира. Он прямо пишет, системы неслыханно быстрые ошибаются неслыханно быстро.

Мир стал, я недавно прочла слово, мне очень жаль, что не я его придумала, но, увы, не я его придумала, мир стал «нечеловекомерен». Появились величины и пространства, в которых мы не живем, мы не живем в наносекундах, в них вообще живые не живут, ни в наносекундах, ни в нанометрах, нас там нет, но меж тем это то, что сейчас активный игрок нашей цивилизации. Мы же не можем глаза закрывать. Я уже сказала, это необратимо, это уже произошло. Значит, мы должны знать, как в этом мире жить и что нам делать, какое получать образование, как мы должны смотреть на это все. Появился интернет вещей, самоорганизация сетей, цифровая реальность начинает быть игроком на поле эволюции — это признак отбора. Если я умею всем этим пользоваться, не в смысле на кнопочки нажимать, а по-настоящему ориентироваться в этом мире, я попадаю в одну категорию людей, а если я только блины умею жарить, то я попадаю в другую категорию людей. Как мы будем жить-то с этим?

Вот я и говорю, нечеловекомерный мир. Нужно договариваться, как нам не потерять базовое представление о реальности. Сейчас эти системы все лучше и лучше становятся, игровые, например, я уже не говорю о профессиональных системах, виртуальные дополненной реальности, мощнейших. Это скафандр, условно говоря, который ты надеваешь, он интерактивный, то есть ты ударяешь — он ударяется, тебя ударяют — ты ударяешься. Там участвуют тактильные, слуховые, зрительные, запаховые — все системы. А как бы в сумасшедший дом не пора? То есть мы вообще будем понимать, когда в каком мире мы находимся? Такая опасность есть.

Еще много лет назад было, я даже в какой-то передаче про это рассказывала, один из игроков какой-то там… давно это было, чуть ли не в 2000 году. Дома сидел, играл в какую-то игру компьютерную, взрослый человек, более того, математик, и там какая-то лягушка должна была в два хода что-то там перепрыгивать. И он бесконечно играл в эту игру, а потом оказалось, что у него нет хлеба дома, и он пошел за хлебом. И он не смог перейти Невский проспект, потому что все примеривался, как бы ему в два прыжка-то. И он вернулся домой без хлеба! Понимаете? Это, конечно, анекдот, но такой, напоминающий кое-что.

Это практически последний слайд, так что я вас больше мучить не буду. Встает очень серьезный вопрос, этим юристы озабочены, — право и мораль. Это категории, которые внутри цифрового мира имеют совершенно другое конфигурации. Например, вот то, что Анатолий Борисович говорил, беспилотная машина едет по Калифорнии и сбивает кого-то. Кто за это отвечает? Или она встает перед вопросом, который в каждом психологическом учебнике написан, знаете, эти жуткие психологические дилеммы, моральные, что можно повернуть либо направо, либо налево, здесь ты собьешь пять человек, а здесь ты собьешь одного человека. Куда поворачивать-то? В машину это же должно быть заложено, она должна эту информацию иметь. Значит, мы в нее должны заложить моральные категории. Во-первых, как это сделать? А во-вторых, кто это решение примет? И наконец, право, а кому это все принадлежит? Как вообще с этим быть? Если я говорю, так это у меня родители неудачные, что ж вы меня такую дуру родили, так а я почему должна за это отвечать, у меня гены плохие. То есть перед нами встают вопросы не из мира цифрового, а из мира гуманитарного.

А кроме того, вот хорошо, мы все отдали на откуп этим механизмам, а чем сами займемся? Когда мне на это рассказывают, что люди, освободившись, будут играть на лютне и писать сонеты, то это вызывает у меня юмористические ассоциации. Разумеется, этого не будет. Праздная цивилизация, термин такой появился. Лишние люди, уже не в смысле русской классической литературы, а люди, которым нечего делать. Им будут платить, чтобы они не померли с голода, это уже есть в известных странах. И чем займутся-то? Это серьезное дело. И это уже было — Древний Рим.

Поэтому для нашей цивилизации действительно настало время остановиться и подумать, мы куда попали. Мы вообще справиться с этим можем? У нас огромные вызовы. И мой любимый философ Эммануил Кант напоминал нам, что основные наши ориентиры, как метафора, — это звездное небо над головой и нравственный закон внутри нас. Вот со вторым мы должны всерьез подружиться. Мы не сможем переварить эту цивилизацию, если у нас не будет мощных внутренних ориентиров.

Кстати, с чего начала, тем и закончу, в этом докладе, который я еще не дочитала, Римскому клубу, там пишется, ценностные акценты в образовании. Ценностные! Нужно не просто давать эту кучу знаний, для этого в школу ходить не надо, мы же все понимаем, пальцем ткнул в кнопку и получил онлайн-курсы откуда хочешь, из Стэнфорда, из Гарварда, из МГУ и из Петербургского университета. Их полно! Это может сделать каждый ребенок. Не об этом же разговор идет, а об акцентах: что важное, что неважное, что делать можно, что делать нельзя, кто примет это решение.

Ну и мой последний слайд такой. А вот искусственный интеллект, он вот такое сможет скушать? Он это увидит, разумеется, потому что система распознавания зрительных образов замечательная, но одно дело увидеть, а другое дело — понять. Понимаете, когда идешь по Эрмитажу, что я делала тысячу раз, и встречаешь, люди проходят мимо Матисса и говорят, вот мой-то сын, ему 4,5 года, он гораздо лучше, чем Матисс, людей рисует, то это… Ну уж я не говорю про «Черный квадрат» и так далее. Это ровно то, про что я уже говорила, это здесь находится. Если у тебя нет подготовки, знаний, то ты не можешь увидеть объект, который перед тобой лежит или висит, или стоит, или раскрыта книга. Ты должен быть подготовлен к этому. Мы подготовлены или мы «сканеры» такие, которые только этикетки сканируют, где что? Как бы, наша цель? То есть перед нами встал вопрос, который в античности стоял. Мы кто такие? Мы зачем сюда попали? Если мы собираемся состязаться с суперкомпьютерами, кто быстрее задачу решит, то уже поздно. Уже все, с этим уже закончено. Поэтому не это, это что-то другое.

Ну и я закончу на том, что я не хочу, чтобы меня поняли как такую тотальную алармистку. Я сама в этом мире живу и, к сожалению, очень много часов в день провожу в компьютере, потому что ну это такой мир, никуда не денешься, но некие опасности, который с какой-то такой подозрительной скоростью стали попадать… У меня последняя надежда на покер, честное слово, была. Потому что я думаю, там же есть это poker face, который ничего, то есть ты врешь, но как бы на лице у тебя… Думаю, ну эта-то железяка не сможет с этим справиться. Справилась.

В общем, спасибо вам большое за терпение.