Искусственный интеллект — робот или личность? Что будет с человечеством, если машины превзойдут нас по силе разума

Сандлер: Здравствуйте! Это программа «Generation ИИ». Я Аркадий Сандлер, директор Центра искусственного интеллекта компании МТС. 

Пивоваров: Меня зовут Игорь Пивоваров, я главный аналитик Центра искусственного интеллекта МФТИ и организатор ведущей конференции по искусственному интеллекту OpenTalks.AI. 

Сандлер: Сегодня мы обсуждаем тему «искусственный интеллект как личность». Человеку свойственно наделять человеческими качествами предметы, у которых этих качеств на самом деле не существует. 

Пивоваров: А можем ли мы к нему относиться как к личности? Может ли быть в машине что-то, что мы воспринимаем как личность, 

Сандлер: На мой взгляд, мы даже не близко к этому.

Пивоваров: Об этом мы поговорим сегодня. Технологии искусственного интеллекта идут все дальше в область того, что делает человек. Раньше мы считали, что они не могут творить, сейчас уже много других примеров. Мы вплотную начинаем приближаться к тому, чтобы искусственный интеллект мог стать личностью. Боты, которых вы, например, делаете, вы же пытаетесь сделать, чтобы они походили на человека, чтобы они манерами походили? Что будет, когда это будет личность?

Сандлер: Нет, мы стараемся делать таких роботов, которые комфортны для человека в общении. Мы стараемся делать комфортных собеседников.

Пивоваров: Мне, например, некомфортно будет общаться, если это бездушная машина. Хочется, чтобы это была личность на той стороне.

Сандлер: Она бездушная, она имитирует личность. Она обучена имитировать личность. Она при этом бездушная машина, которая обучена максимально комфортному способу взаимодействия с человеком.

Пивоваров: Пока. Пока ты знаешь, как она работает, пока ты понимаешь как бы, как эти куски алгоритмов состыковываются, и понимаешь, что там никого нет, что она обучена так, что она имитирует. Но чем дальше, чем более сложные модели мы строим, чем больше мы лезем в то, как устроен мозг, пытаемся воспроизводить эту архитектуру в нейросетях, тем меньше мы начинаем понимать, как генерируются конкретные ответы, траектории, тем больше мы начинаем приближаться к точке, когда будет все больше непонятно, почему машина сделала то или иное, и когда в ней будут проявляться какие-то креативные качества. Мы начнем придавать ей такие человеческие черты, а может быть, они в ней будут органически появляться. Что такое вообще человеческие черты?

Сандлер: Для начала ты очень здорово сказал про то, что мы не можем или не сможем, на самом деле уже не можем, не всегда можем понять, откуда взялся тот или иной ответ. Именно поэтому появляется такой, если угодно, слой, который в обычной жизни называется цензурой. Это такой слой, когда мы контролируем тот ответ, который робот пытается выдать пользователю. И это очень интересная технология в том числе, которая требует дополнительного развития. То есть если сначала первые такие вот диалоговые роботы создавались на правилах для формирования ответа, то, поскольку сейчас все больше и больше используются нейросети в работе таких диалоговых движков, иногда приходится добавлять правила, которые контролируют то, что ты пользователю можешь ответить.

Пивоваров: Точно, потому что мы не ожидаем.

Сандлер: Это же довольно важно, да.

Пивоваров: Да.

Сандлер: Потому что мы не всегда ожидаем, и не всегда понимаем источник, и иногда понимаем, какие вещи пользователю говорить нельзя, что совершенно верно.

Пивоваров: Точно! Помнишь того бота Microsoft, который обучался на твитах там пользователей и через время стал вообще чуть ли не расистом?

Сандлер: Да, они утверждали, что на это ушли примерно сутки. Но я не устаю говорить, что не надо путать пиар с технологиями. На мой взгляд, там больше была пиар-составляющая, чем технологическая. Тем не менее в медиа, в какой-то, если угодно, даже современной гиковской поп-культуре это осталось как событие, как многие вещи появляются благодаря хорошему пиару, конечно же.

Пивоваров: Пиар пиаром, но…

Сандлер: Подожди секундочку. Ты вот сказал про одушевление. Как много мы знаем случаев, что люди начинают разговаривать с совершенно неодушевленными предметами! Я не буду здесь даже брать тему разговора с животными, потому что у них там тоже есть нейросеть и какая-то реакция, обучение реагирования и так далее. Но ведь огромное количество людей разговаривает с телевизором, огромное количество людей разговаривает со своими автомобилями. Получившие довольно большое распространение, например, роботы-пылесосы, их, во-первых, именуют, во-вторых, с ними начинают разговаривать.

Пивоваров: Потому что они начинают себя вести как некие живые существа, немножко непредсказуемо. Душа ― это понятие сложное.

Сандлер: Да они не ведут себя как живые существа. Мы придаем им качества живых существ.

Пивоваров: Верно. Смотри, с одной стороны…

Сандлер: Что это за живое существо, когда какая-то круглая штуковина ездит по твоей квартире по такой вот совершенно неестественной траектории, подметая твой пол? Это такой веник, который начал двигаться.

Пивоваров: Верно, верно.

Сандлер: Просто достаточно, достаточно продвинутая технология становится неотличима от магии, где магия… Мы начинаем какие-то придумывать этому свойства, например, человеческие.

Пивоваров: Смотри, одно дело ― придавать некоторые человеческие черты, а другое дело ― когда мы пытаемся в движении… Сейчас множество исследователей искусственного интеллекта черпают вдохновение в биологии.

Сандлер: Да.

Пивоваров: В архитектуре мозга, те же глубокие нейросети, которые сейчас используются, ― это одна из моделей неокортекса. Но мы постепенно движемся в сторону усложнения этих машин. И дальше ― я не хотел бы рассматривать слово «душа», оно сложное, но если мы будем говорить про интеллект или, там, про разумность поведения, а разумностью для нас является некое целесообразное адаптивное поведение, когда тот же пылесос начинает объезжать какие-то углы и проявляет некоторые признаки разумного поведения. Ты начинаешь его воспринимать как некоторое, условно, существо, не просто линейное, а с какими-то… Я понимаю, что там пока нет ничего человеческого.

Сандлер: Не начинаю воспринимать.

Пивоваров: Слушай, но технология пока еще не на том уровне. Но мы же движемся стремительно в сторону…

Сандлер: Вот это очень интересный пример ты с тем же самым пылесосом привел, когда он начинает объезжать препятствия. Когда он несколько раз проехал по твоей квартире и выучил своими датчиками, что в этом месте есть препятствие, на которое он натолкнулся несколько раз, технология дошла до такого состояния, чтобы он предвидел, что в этом месте не нужно снова втыкаться в это препятствие, а нужно его объехать. То есть технология пришла к ситуации, когда его маршрут строится, то есть внутренняя навигация строится с учетом уже известного препятствия, которое несколько раз было опробовано как препятствие.

Пивоваров: Мы с тобой работаем в отрасли, которая настолько стремительно сейчас движется! Ты посмотри то, что говорили за последнее время. Компьютер обыгрывал в шахматы ― ладно. Говорили про го, стратегическая игра, только человек может выиграть в го, многие считали это вообще неким рубежом. Выиграли, AlphaGo выиграла у Ли Седоля в го. В прошлом году, в конце прошлого года уже программа DeepMind Alpha Star выиграла в StarCraft, в стратегическую игру. Казалось бы, это уже вообще, если, по крайней мере, го ― это игра с полной информацией, мы видим все поле, мы видим все фишки, то стратегическая компьютерная игра ― это игра с неполной информацией. Люди стремительно накачивают технологии, множество компаний по миру бежит. Это будет не через десятки лет, это будет буквально, наверно, через годы. Вот смотри, ты говоришь про то, что машина может…

Сандлер: Ты в данном случае…

Пивоваров: Машина может идентифицировать себя?

Сандлер: Очень, очень оптимист, мне кажется.

Пивоваров: Ты знаешь, здесь дело не в оптимизме, я скорее взвешиваю вероятности. Одно дело ― верить, не верить, другое дело ― смотреть на развитие событий и взвешивать вероятности. Я оцениваю такое развитие событий как достаточно вероятное. 

Сандлер: Что машина обретет сознание и дальше личность в течение ближайших лет?

Пивоваров: Я бы сказал…

Сандлер: Это, что называется, плохие новости.

Пивоваров: Если это будет в том виде, сознание, такое человеческое сознание с самостоятельной постановкой цели, которой мы не знаем, и с самостоятельной мотивацией, то вполне возможно, что это будет плохая новость, это правда. Мы как технологическое сообщество должны, мне кажется, все время задумываться над тем, что мы создаем и какой будет эта машина, сможет ли она себя идентифицировать. Если она себя идентифицирует в этом мире, какие цели она будет перед собой ставить. Могут ли у нее быть вот эти человеческие ценности, которые нас ограничивают во многом, будут ли у нее такие ценности, можно ли…

Мы понимаем, что их невозможно запрограммировать. И в этом смысле как раз, собственно, центральный вопрос нашей программы «А можно ли убить ИИ?» ― а будет ли существовать такой этический вопрос? Для искусственного интеллекта будет ли вообще понятие «убить», «смерть» или это будет нечто выходящее за наши привычные этические рамки?

Сандлер: Что значит смерть программы. Это когда ее…

Пивоваров: У программы, наверно, нет смерти.

Сандлер: Это когда ее выключили?

Пивоваров: Да.

Сандлер: Так ее потом включили, она снова заработала.

Пивоваров: Верно. Если это программа…

Сандлер: Или что? Или когда ее стерли?

Пивоваров: Если это программа, то, наверно, да. Если мы понимаем, что она работает по некоторому алгоритму. Тот же робот-пылесос. Его выключил ― он выключился. Потом включил, по тому же маршруту он и поехал, да.

Сандлер: Да.

Пивоваров: Но интереснее как раз момент, если в машине появится такая субъектность, если она начнет себя как-то идентифицировать в мире, то какой она будет и как мы к ней будем относиться? Должно ли это как-то регулироваться? Можем ли мы эту машину рассматривать как равноправного, даже не знаю, как это сказать… Существо вместе с нами в одном мире. Должно ли на него распространяться законодательство такое же, как для нас? Если такой робот что-то сделает, то он должен за это отвечать или нет?

Сандлер: У меня есть предложение.

Пивоваров: Так.

Сандлер: Я предлагаю договориться о следующем: пока считать, что у машин нет сознания и нет личности и, соответственно, они не должны становиться субъектами права как самостоятельные личности, потому что в тот момент, когда такие системы, которые сейчас все, несомненно, сетевые, обретут сознание, личность, смогут сами себе ставить цели и выбирать средства к обеспечению собственной безопасности, наступит точка технологической сингулярности, потому что это точка, за границей которой мы не знаем, что будет происходить. Может быть, все будет прекрасно, а может быть, все будет не прекрасно. Мы просто не знаем этого. Поэтому до того момента, пока это не произошло, мы не рассматриваем машины как что-то, способное иметь сознание и личность. А когда это произойдет, будем разбираться.

Пивоваров: Может статься, что разбираться будет уже достаточно сложно. Меня смущает то, что сейчас много коллективов по миру, и твой, в частности, тоже, как один из мощных коллективов в России, стремительно движутся в сторону создания все более и более совершенных интеллектуальных машин. И мы, мне кажется, зачастую, как человечество, ведем себя здесь немножко как дети, которые просто экспериментируют, не очень даже задумываясь о последствиях.

Например, компания DeepMind, подразделение Google, она же прямо ставит перед собой задачу создания общего искусственного интеллекта, который должен себя осознавать, идентифицировать. То есть, другими словами, есть компании, которые прямо идут к этой точке сингулярности.

Сандлер: Это некая цель, которую они перед собой ставят для того, чтобы разрабатывать то, что они разрабатывают. Мы тоже перед собой ставим довольно амбициозные цели, и это позволяет нам фокусироваться на том, что мы делаем, понимать, что мешает нашему движению. Это действительно так. Но это не значит, что это произойдет вот-вот, потому что все, что сделала на сегодняшний момент компания DeepMind, она сделала набор довольно специализированных решений, которые в некоторых, конечно, в некоторых вещах поражают обывателя.

Но когда мы говорим об этом в более профессиональном сообществе, все-таки мы понимаем, что это довольно специфические, специально заточенные на определенные действия системы. И, конечно, лучшее, что они сделали, ― система управления загрузкой процессоров для дата-центров Google.

Пивоваров: Тут мы на полных парах будем двигаться к этой точке сингулярности. Какой она будет?

Сандлер: Но и нас не остановить. Нас никого не остановить. И даже если мы философски рассуждаем, что может произойти некоторая ситуация, что мы придем к этой условной точке сингулярности, после чего может быть не так хорошо человечеству, это все равно не остановить. Этот прогресс не остановить.

Пивоваров: Может быть, мы захотим убить свое творение как раз, если мы его создадим, а оно окажется совсем не тем, что мы ожидали. Что мы будем с ним делать?

Сандлер: Мы будем стараться его выключить.

Пивоваров: Есть такой философ Ник Бостром, который считает, что если мы создадим настоящий искусственный интеллект, прямо мощный, который будет себя осознавать, который окажется мощнее, чем человек, он за несколько секунд оценит ситуацию и предпримет любые усилия для того, чтобы его выключить было невозможно. То есть если кто-то очень умный и способный прогнозировать очень далеко, сильнее, чем человек, наверно, это не очень сложно.

Сандлер: Сильнее, чем много людей.

Пивоваров: Сильнее, чем много людей, да.

Сандлер: То есть нужно понимать, что мы говорим про такую систему, которая будет интеллектуально сильнее, чем человечество.

Пивоваров: Это ты мощно задвинул. Прямо все человечество?

Сандлер: Практически да. Потому что если создать систему, которая будет интеллектуально такая же сильная, как ты или я, то эта система будет примерно в тех же самых условиях, что ты или я. Каждый из нас с тобой или даже мы с тобой вместе, мы не сможем обеспечить себе безопасность, если десять человек вокруг решат нас этой безопасности лишить.

Поэтому когда мы говорим про такую точку сингулярности, когда мы совсем не понимаем, что происходит, совсем не понимаем, что за этой точкой, и ничего не сможем сделать с такой системой, то это, условно, должна быть такая система, которая интеллектуально сильнее, чем человечество, и способна влиять на реальный мир не меньше, чем человечество.

Пивоваров: Мы не сможем контролировать эту ситуацию никак. Это будет за пределами нашего человеческого контроля.

Сандлер: Представим себе абсолютную утопию. Вдруг появилась такая система, но эта система не может на реальный мир влиять достаточно сильно, но при этом она интеллектуально очень мощная. И вот все вдруг поняли, что, наверно, ее нужно выключить. Вот человечество поняло, что ее нужно выключить совсем.

Есть крайняя точка выключения любой системы. Эта крайняя точка ― выключить все электричество. Все правительства мира договариваются, что в какой-то момент выключается все электричество. Совсем, полностью. И это выключение, полный блэкаут, держится до того момента, пока не закончится энергия в самом последнем аккумуляторе.

Пивоваров: Вот этот сценарий как-то, несмотря на мой оптимизм, мне кажется вообще маловероятным.

Сандлер: Я же сказал, это утопия. Конечно, это невозможно.

Пивоваров: Да. Человечество не демонстрирует способности договариваться, к сожалению, в особенности в таком сложном вопросе, скажем, как искусственный интеллект.

Сандлер: Мне кажется, человечество способно договариваться тогда, когда осознаёт реально крупную угрозу. Чем дальше, тем больше мы это видим, что реально существенная угроза способна объединять более-менее разумные силы.

Пивоваров: А ты не считаешь, что то направление, в котором мы движемся, вот это создание, попытки создания общего искусственного интеллекта, является реальной угрозой для человечества?

Сандлер: Пока нет.

Пивоваров: Пока? Или вообще?

Сандлер: Ты мне задаешь вопрос, считаю ли я.

Пивоваров: Сегодня и сейчас.

Сандлер: Это сегодня и сейчас?

Пивоваров: Да.

Сандлер: Сегодня и сейчас я не вижу в этом угрозы. Я вижу больше плюсов от усиления мощности систем искусственного интеллекта, чем минусов. Поэтому сегодня и сейчас никакой, никакой угрозы нет. Наоборот, я бы скорее призывал сейчас очень во многих вещах разработчиков объединяться, несмотря на то, что они коммерчески относятся к разным организациям, потому что есть вещи, которые совместно решать проще и быстрее. Это тоже похоже на утопию, но все же.

Вот, например, медицина, использование искусственного интеллекта в медицине. Распознавание медицинских изображений. Медицинских изображений тысячи. Есть тысячи возможных диагнозов, которые могут ставиться или подтверждаться благодаря анализу медицинских изображений. Компаний и организаций, которые занимаются распознаванием этих изображений, их пока не тысячи. Их, наверно, сотни по всему миру, и они занимаются десятками вот этих самых нозологий.

Вот если бы эти команды разобрали бы нозологии, которыми занимаются, и сфокусировались именно на них, то мы бы получили бы, например, хорошо работающее распознавание большего количества нозологий намного быстрее. Потому что сейчас на наиболее частотно встречающихся проблемных диагнозах занимаются несколько команд, а некоторыми, которые менее частотны, но тоже ими надо заниматься, не занимается никто или очень маленькое количество команд.

Пивоваров: Точно, точно.

Сандлер: Поэтому, на мой взгляд, в некоторых областях развития систем искусственного интеллекта рынку неплохо бы консолидироваться и договариваться именно таким образом.

Пивоваров: Это возможно?

Сандлер: Это тоже очень сложно. То есть здесь как раз играют роль больше коммерческие отношения, какое-то… Какие-то интересы акционеров и так далее. Но здесь как раз хочется усиливать и усиливать этот искусственный интеллект. Тоже это возможно делать какими-то общими усилиями.

Пивоваров: Но ты знаешь, ты как раз про медицину упомянул, и в этом смысле медицина мне кажется тоже такой схожей областью. Сейчас идет много споров в мире, а может ли медицина вообще быть областью бизнеса. То есть есть гигантские компании, которые делают деньги в области медицины очень успешно. И является ли медицина вообще такой отраслью, в которой можно зарабатывать деньги, или она должна быть вообще некоммерческой?

Сандлер: С этической точки зрения можно…

Пивоваров: Я к тому, что с точки зрения искусственного интеллекта, мне кажется, такая же история. Просто демиургом современного общества является экономика, деньги.

Сандлер: Да.

Пивоваров: Бизнес, вот эти бизнес-компании, империи, которые появляются. Они являются сегодня основными держателями ресурсов и такими демиургами вот этого, скажем, искусственного интеллекта. И на самом деле, мне кажется, это большой вопрос для человечества: является ли это, такая конструкция экономики и такая конструкция научно-исследовательских сил в этой области, является ли она правильной для такой особенной области, как искусственный интеллект? Или для медицины, скажем. Мне кажется, что это вопрос.

Сандлер: Мне кажется, что это правильная структура, конечно, потому что именно это… Просто лучшего варианта пока нет.

Пивоваров: Да, это так.

Сандлер: Может быть, она не идеальная, но лучшего варианта пока нет. Это создает ту самую разницу потенциалов, чтобы ресурсы перетекали из одной точки в другую. Мы, например, как Центр искусственного интеллекта, довольно много сотрудничаем с вузами и с какими-то научными учреждениями, в основном в России, но, в общем-то, готовы к сотрудничеству и за пределами. Именно для того, чтобы разрабатывать и ускорять появление интересных систем искусственного интеллекта, не только в медицине, но в том числе в медицине.

То есть такая позиция бизнеса, которая, да, конечно, продиктована интересами этого бизнеса, но на сегодняшний момент позиция крупного бизнеса и достижение целей крупного бизнеса достаточно разумно достигается путем коллаборации с командами, которые не являются в чистом виде коммерческими. Поэтому да, именно деньгами бизнеса топится прогресс.

Пивоваров: В этой области важно как бы выходить из этой своей привычной, что ли, оболочки конкретных отдельных коммерческих и бизнес-компаний и все-таки начинать искать какую-то более широкую коллаборацию, может быть, некоммерческую, потому как явно есть такие большие общечеловеческие цели, которые того стоят.

Пример с медициной очень хороший. Если бы можно было договориться в каких-то больших масштабах, то мы могли бы как человечество намного более эффективно отработать. В этой области искусственный интеллект может оказаться просто ключевой историей.

Сандлер: Это просто у нас с тобой это область искусственного интеллекта, именно поэтому мы здесь двигаем коллаборацию и с вузами, просто потому что одна из причин, почему это необходимо, потому что не хватает ресурсов. Задач много, мы хотим далеко уйти, а ресурсов не хватает на всех. И поэтому нам необходимо это сотрудничество. Точно так же, как и нам необходимо сотрудничество с государством, когда нам необходимо помогать осознать государству, что это такое, чем мы занимаемся, демократизировать какие-то институции, помочь в решении каких-то проблем.

Еще один пример из нашей практики. У нас есть центр обработки данных, задача которого ― демократизация доступа к данным именно для того, чтобы помочь разным командам на рынке создавать все больше и больше систем на основе искусственного интеллекта. И это довольно, на мой взгляд, важное вложение именно в развитие рынка. Да, крупной компании необходимо это. Невозможно взять всех к себе на работу, вовнутрь. Есть центры научные, которые прогрессируют очень хорошо и которые могут дать хорошее влияние, дополнительный какой-то толчок, ресурсы для достижения целей.

Нам интересно, чтобы рынок развивался очень хорошо, потому что это заставляет количество людей, занимающихся этими системами, увеличиваться и появляются интересные решения и, в конце концов, специалисты, которых нам интересно брать на работу. И это делается исключительно из интересов бизнеса. Если бы не было этого, не было бы этих интересов, то неоткуда было бы это все брать.

Пивоваров: Здесь мне важно, что должно быть,  это движение вовне. И компании, и люди должны искать возможности коллаборации, кооперации, совместного исследования этого нового мира, потому как, возможно, то, что мы создаем, окажется куда больше и сильнее, чем мы себе можем это сегодня представить. 

Сандлер: Мы сейчас вообще находимся в такой эре сотрудничества, и мне очень нравится заниматься искусственным интеллектом как одной из самых передовых областей деятельности именно потому, что в эре сотрудничества для того, чтобы достигнуть больших результатов, нам это сотрудничество необходимо очень сильно. Мы здесь сотрудничаем с любыми игроками рынка. В чем-то мы можем быть конкурентами, а в чем-то мы сотрудничаем, и это совершенно не мешает.

И эта реальность очень интересная, и эта реальность совершенно нова, мне кажется, для условного понятия капитализма.

Пивоваров: Нам нужно сотрудничать, чтобы создать такой искусственный интеллект, который нам всем понравится, чтобы жить в мире, который нам понравится, вместе с ним и ни минуты не сожалеть о том, сколько мы усилий приложили для того, чтобы это сделать, за правильное будущее. Для этого нужно работать совместно.

Не бойся быть свободным. Оформи донейт.