Голосовые помощники становятся все человечнее. А робот может быть личностью? Почему большинство выбирают женский голос?

Сандлер: Здравствуйте! Это программа «Generation ИИ».

Пивоваров: Меня зовут Игорь Пивоваров, я главный аналитик в Центре искусственного интеллекта МФТИ, организатор большой конференции OpenTalks.AI.

Сандлер: Я Аркадий Сандлер, директор Центра искусственного интеллекта компании МТС.

Пивоваров: И сегодня мы поговорим про искусственный интеллект, а конкретно про разговорный искусственный интеллект, про тех, кто живет в нашем телефоне, ― про голосовых помощников. Сегодня они немножко скучные и безжизненные, но, возможно, завтра будет по-другому: они будут с эмоциями, они станут личностями. Хотим ли мы, чтобы они стали личностями?

Сандлер: Мы сегодня обсуждаем вопрос разговорного интерфейса, а если еще быть точнее, проблему гендерной принадлежности или нейтральности его.

Пивоваров: Первые ассистенты появились еще давно, еще до того, как мы начали говорить про искусственный интеллект. Ездим на машине, еду с навигатором. Я не знаю, как у тебя, а у меня был женский голос сразу, который говорил, куда ехать. Я почему-то ее звал Одри, потому что похожа на Одри Хепберн.

Первый момент, с которым мы вечно рубились: она мне говорит ехать туда ― и регулярно не туда. Я так понимаю, что это был… Это были, наверно, самые первые. Хотя, конечно, в истории было еще раньше. А потом появилась уже Сири, Алекса, Алиса, МТС делает свой бот. Все девочки. Почему все девочки?

Сандлер: Не все девочки. Во-первых, интересно, что ты об этом говоришь, потому что ты явным образом гуманизировал свой просто роботический голос, который помогал тебе ехать по дороге. Ты же понимал разумом, что он тебе не ответит, но ты все время с ней ругался, ты рассказывал. Это очень похоже на ситуацию, когда мы едем по дороге, нам кто-нибудь мешает, и мы начинаем ему кричать, как будто он может услышать нас.

Это примерно то же самое, то есть абсолютно немотивированная, совершенно нерезонная, разумом понятно, что бессмысленная идея. Но при этом здесь интересный фактор происходит: ты гуманизировал своего вот этого помощника, который старался тебе помогать с ездой по дороге. Есть и голосовые помощники, где голос можно настроить. Собственно, та же самая Сири.

Пивоваров: Ну да, мы сейчас ездим с Василием Уткиным.

Сандлер: Да, мы сейчас ездим, в навигатор мы можем поставить Васю Уткина или Йоду.

Пивоваров: Йода стоит.

Сандлер: Да, Йоду, например.

Пивоваров: «Правильный путь, падаван».

Сандлер: А, например, у Google Ассистента можно настроить, какой голос, Сири можно настроить, какой голос. У МТС, кстати, чат-бот тоже не девочка.

Пивоваров: Они скучные, они нейтральные. Вот только что голос женский, а так на самом деле там же нет внутри характера. А будет характер?

Сандлер: Они ориентированы на задачи в основном, потому что сейчас, как ты знаешь, довольно сложно сделать универсального голосового ассистента, который способен с тобой говорить обо всем. Он скорее имитирует понимание и поддерживает диалог в случае, когда не понимает, о чем ты его спрашиваешь. А если голосовой искусственный интеллект предназначен для чего-то конкретного, то он, наоборот, тебя спросит сформулировать это четче, яснее, чтобы ему это было понятно, например, тот, который помогает клиентам какой-нибудь крупной компании. И тут совершенно неважно, какого пола. Здесь важно, чтобы клиенту нравилось.

Пивоваров: Слушай, а мне кажется, что важно, какого пола. Когда мы создаем этот искусственный интеллект, мы же воплощаем какие-то свои чаяния и мечты. Может быть, люди, которые это делали, потому женский голос, что пытаются создать некоторую свою, знаешь, идеальную женщину. Она будет правильно разговаривать, она не будет ссориться, не будет ругаться. Может быть, в этом есть какой-то такой, знаешь, скрытый смысл вот этих женских голосов?

Сандлер:  Ты на это смотришь как-то очень издалека и упускаешь из виду совершенно однозначный мотив возникновения этих голосовых ассистентов ― это часть бизнеса. И когда мы создаем, как, например, мы в моем Центре искусственного интеллекта создаем, собственно, разговорный искусственный интеллект, мы его создаем для совершенно конкретных задач, очень понятных задач. И нам не важно, и никому не важно, какие у меня фантазии по идеальному собеседнику и с кем мне больше всего нравится общаться: с какой-то вымышленной, не знаю, удаленной от меня актрисой из кино или моим научным руководителем из института, разговор с кем для меня был бы интересен.

Я думаю о том, с кем наши клиенты захотят поговорить. Именно такого персонажа стараюсь выбрать для того, чтобы максимально удовлетворить их запрос или, точнее, иногда просто не вызвать какого-то негатива.

Пивоваров: Но ты будешь на себя все равно ориентироваться, все равно ты будешь как бы по образу подобию делать. В каком-то смысле образ клиента ― это же все равно ты сам.

Сандлер: Ну конечно, я человек, мне же хочется, чтобы он был клевый.

Пивоваров: Да, конечно, конечно.

Сандлер: Это понятно. Но гендерная принадлежность ― на мой взгляд, это совершенно отсутствующая проблема в данном случае.

Пивоваров: Ты не смог бы разговаривать вот с абсолютно, знаешь, бесцветным голосом, у которого нет ни пола, ни характера. Это было бы невозможно. Мы же люди, нам все равно нужна… Мы ищем в общении чего-то.

Сандлер: Нам хочется переложить социальную функцию, нам хочется, чтобы тот, с кем мы разговариваем нашим привычным способом коммуникации, чтобы он отвечал каким-то нашим социальным потребностям.

Мы, когда вот занимались этим вопросом активно, в том числе исследовали, как это делают в мире. И, например, нашли специально сгенерированный, собранный такой гендерно-нейтральный голос, и подумали: «О! Отличная история! Почему бы нам не попробовать гендерно-нейтральный голос? Может быть, это и есть решение, потому что мы же не знаем, с кем больше хотят общаться наши клиенты».

Но мы поняли, что это совершенно неприемлемый голос. С ним не то что неприятно разговаривать, он отталкивающий. Поэтому все-таки, наверно, голос должен быть какой-то гендерно… Принадлежащий какому-то гендеру: женский или мужской. Но пусть клиент решает.

Пивоваров: Голос ― это часть нашей жизни.

Сандлер: Ты страшно интересную тему поднял.

Пивоваров: И бизнес тогда будет классный, когда он будет с тобой разговаривать, когда он будет естественно разговаривать, а не просто «пополните баланс вашего телефона». Это должно быть что-то более…

Сандлер: Это страшно интересная тема, но она не имеет никакого отношения к голосу, и я тебе объясню. Эта страшно интересная тема имеет отношение к персонажу, к характеру, который живет за этим голосовым ассистентом, за этим разговорным искусственным интеллектом.

Обычно, если создатель такой системы хочет, чтобы клиенты, чтобы пользователи разговаривали с этим, с этой системой много и не только «по делу», то он прорабатывает, как только может, характер этого голосового ассистента, этого разговорного искусственного интеллекта. И потом уже подбирает, собственно, голос под этот характер.

И этот же путь проходят многие, кто пытается в эту сторону идти, потому что опять же та же самая прекрасная, очень большая и крупная компания с хорошим поиском сделала такого ассистента, у которого не существует характера. Они специально, очень нарочито оставляют исключительно ориентированного на задачи такого ассистента, персонажа без какого-то характера, они специально этого не делают.

Большинство тех, кого мы знаем, кто сейчас разрабатывает голосовых ассистентов или не только голосовых, любой формы разговорных, разговорные искусственные интеллекты, системы-помощники, как правило, прорабатывают характер, исходя из этого, реакции на социальные взаимодействия, исходя из этого, ответы на вопросы: «Мальчик ты или девочка? Откуда ты взялся?» и так далее, и так далее.

То есть на самом деле важным вопросом является, что это за характер, что это за персонаж находится за голосом, за внешним разговорным интерфейсом.

Пивоваров: Нет, характер ― это совершенно крутая тема. И когда мы научимся моделировать хоть какой-то характер, вот это будет совершенно другая история.

Сандлер: Друг мой, этот вопрос уже решен довольно давно. В мире существует масса людей, которые умеют разрабатывать и прорабатывать характеры, одних сценаристов сериалов сколько! А сколько этих сериалов! Они же специалисты по созданию характеров, по написанию диалогов и так далее. Это важная часть. Насколько я знаю, все компании, которые занимаются разговорными интерфейсами и не хотят, чтобы их разговорный интерфейс был только ориентированный на выполнение задач, сейчас у всех есть такие сотрудники.

Пивоваров: И самая крутая тема в этом плане ― помнишь, был фильм этот, «Она», Her?

Сандлер: Да.

Пивоваров: Где вот этот прямо голос ― он не просто голос, он становится такой частью жизни, он там отвечает каким-то чаяниям человека. И настолько она своим характером его обвораживает, что он в результате влюбился в нее.

Сандлер: Да, это и есть наше будущее, конечно.

Пивоваров: Давай еще с другой стороны на это посмотрим: вот это ― нейтральный голос или эмоциональный. Мне кажется, что это еще связано с тем, что как бы нейтральному голосу сложнее что-то простить. Мы же существа, мы люди, мы склонны прощать что-то человеку, который нам нравится, и с осторожностью относиться к любому действию, которое делает человек, который нам не нравится.

Поэтому если этот голосовой ассистент, этот искусственный интеллект, если он становится похожим на нас, если он тебе начинает нравиться, то ты как бы можешь не обратить внимания на то, что он делает какие-то глупости. А если это будет такой прямо кондовый робот, который там очень четко разговаривает, то сразу начинаешь раздражаться. Любую мелочь мы не будем прощать.

Сандлер: Или ровно наоборот. Или ровно наоборот: ты разговариваешь с роботом, ты понимаешь, что это робот, что он не может быть таким же умным, как человек, так же нормально реагировать, как человек. И ты говоришь: «Ладно, что с тебя взять, железяка?».

Пивоваров: Тоже верно, тоже верно. Но когда робот этот начинает учиться, и для того, чтобы он становился все более информированным и к тебе лучше подстраивался, мы его начинаем учить на данных, на большом массиве данных.

Сандлер: Да, конечно.

Пивоваров: На реальных данных, на реальных разговорах, на реальных людях. И оказывается, что часто эти данные оказываются, что называется, со смещением. Они оказываются чуть предвзятыми.

Сандлер: Очень по-человечески.

Пивоваров: Очень по-человечески, да. И мы начинаем учить вот этого голосового помощника, наш искусственный интеллект, на данных, в которых уже заранее заложено какое-то смещение. Известный этот кейс про судебную систему Compas, которая делала рекомендации для судей по решениям и оказалась смещена в сторону, она считала чернокожих более склонными к преступлениям и почти всегда выносила им обвинительные приговоры.

Что делать с этой?.. Она есть, эта предвзятость. Что с ней делать?

Сандлер: Чернокожий, не чернокожий ― для России это не такой важный фактор.

Пивоваров: Да.

Сандлер: И у нас это не очень близко.

Пивоваров: У нас есть свои, наверно.

Сандлер: Но у меня есть к тебе вопрос. Скажи, пожалуйста, представь себе, что ты берешь семейного водителя, который будет возить тебя, жену, детей. И пришло у тебя два кандидата. Один пришел благообразный, в рубашке, брюках и туфельках, а другой ― такой немножко расхристанно-расслабленный, с татуировками, и притом не те, которые сейчас татуировки как искусство, а такие, знаешь, синие-синие.  Ты кого предпочтешь из них? Просто по внешнему виду.

Пивоваров: По внешнему виду. Так надо сперва понять, как люди водят. Может быть… То есть, ты хочешь сказать, что я среагирую по первому впечатлению.

Сандлер: Да они оба могут быть одинаково прекрасные водители.

Пивоваров: Но если они будут оба одинаково прекрасные водители, то, наверно, потенциально, наверно, я предпочту того, кто просто больше отвечает моему впечатлению о том, каким должен быть идеальный водитель.

Сандлер: То есть ты предвзят.

Пивоваров: Мы все предвзяты.

Сандлер: Потому что у тебя есть представление об идеальном водителе.

Пивоваров: Мы все предвзяты. Слушай, но человеку это можно простить.

Сандлер: А почему роботу-то надо это не прощать?

Пивоваров: Это робот. В моем понимании он должен быть, знаешь, «идеальным».

Сандлер: Кому он должен быть? Он учится на человеческих данных.

Пивоваров: Слушай, но предвзятость у человека как-то легче простить и принять, чем предвзятость у системы искусственного интеллекта. Представь себе, что, например, я сторонник здорового питания, допустим, и я поэтому не хожу в некоторые типы кафе, потому что там как бы не очень здоровая еда. И если вот на таких, как я…

Сандлер: Как тебе рассказали, что там не очень здоровая еда.

Пивоваров: Окей, окей, да. Если на таких, как я, воспитать, значит, систему такого разговорного помощника, то он будет давать советы, где поесть, и он будет… Я же предвзят.

Сандлер: На таких, как ты.

Пивоваров: Да, на таких, как ты. И он будет тоже делать такое смещение, что, в принципе, наверно, не очень правильно в адрес тех кафе, в которые я не ходил. Но для человека это легко простить, как бы человек, а если я буду знать, что у меня в телефоне предвзятая система, которая уже как бы смещена… Я хочу понять, почему она смещена, кто это сделал.

Сандлер: Игорь, но ты автор этих данных. Это ты автор этих данных.

Пивоваров: Нет, не я, я даже не знаю, какие данные там использовались, со мной же не обсуждают. Слушай…

Сандлер: Но это же люди.

Пивоваров: Как общество, например, мне было бы интересно, на каких данных обучают вот этих Сири, Алису, Алексу. Мне же это не показывают.

Сандлер: Конечно.

Пивоваров: Наоборот, иногда всплывает, что там, знаешь, а вдруг выяснилось, что сидит там тысяча индусов, пардон, и слушает разговоры, что-то, значит, размечают.

Сандлер: Почему пардон? Чем индусы плохие, чтобы слушать разговоры и помогать размечать данные?

Пивоваров: Мои разговоры! Почему должны слушать индусы?

Пивоваров: Помогать размечать данные. То есть ты к этому относишься спокойно.

Сандлер: Да конечно, я отношусь к этому спокойно, более того, я понимаю, почему системы на основе машинного обучения рекомендуют так или иначе, работают так или иначе, потому что они обучаются на исторических данных. И да, так вышло, что среди анализируемых факторов про каждого отдельно взятого заключенного эта система учла также цвет кожи, и оказалось, что это единственная корреляция к каким-то характеристикам для рекомендаций или нет. И сказали: «Вот! Это предвзятая система». Конечно, предвзятая, да потому что люди предвзятые.

Пивоваров: Это стало этическим взрывом реально.

Сандлер: Или нет.

Пивоваров: Потому что одно дело ― статистика.

Сандлер: Кстати, про статистику.

Пивоваров: А другое дело ― конкретный человек.

Сандлер: Может быть, ровно наоборот? Может быть, эта предвзятость не потому, что люди предвзятые, а потому что статистика показывает, что эта корреляция существует? И нам страшно не нравится вся предвзятость и страшно не нравится всякого рода дискриминация.

Пивоваров: Искусственный интеллект для многих, и для меня в частности, воспринимается как некая система, которую мы пытаемся сделать совершеннее, чем человек, в каких-то, по крайней мере, смыслах. Она быстрее, она обладает большим массивом знаний, данных, большим массивом данных. Знаний особенных там пока еще нет.

Сандлер: Знания она строит.

Пивоваров: Знания она строит, верно.

Сандлер: Она пытается построить знания на тех данных, которые мы ей даем.

Пивоваров: Но просто страшно как бы представить себе, что будет нечто очень быстрое, обладающее большим объемом данных и способное принимать решения, если оно будет так же предвзято, а может, даже хуже предвзято, чем человек, в каких-то областях. Мы же не можем это проконтролировать.

Сандлер: Друг мой, хуже предвзятым, чем любой отдельно взятый человек, быть невозможно.

Пивоваров: То есть ты думаешь, что, переводя в статистику, усредняя все это…

Сандлер: Да.

Пивоваров: Мы получим в среднем менее предвзятого, чем каждый отдельный конкретный?

Сандлер: Конечно, конечно.

Пивоваров: Недоказуемо, не думаю.

Сандлер: Конечно, недоказуемо, но так математически не доказано, что мы не живем сейчас в матрице.

Пивоваров: Сейчас в наших данных, как факт, есть некоторая заложенная предвзятость или дискриминация: мужчина, женщина, белый, чернокожий. Наша история кредитная. И в этом смысле мы с неизбежностью эти данные привносим в то, что мы создаем.

Сандлер: Совершенно верно. Человечество само только совсем недавно встало на путь попытки избавиться от какой-то части предвзятости в своем мировоззрении. А мы обучаем системы на исторических данных.

Пивоваров: С большой скоростью.

Сандлер: С большой скоростью. А исторические данные, те, которые есть, других писателей у нас для вас нет.

Пивоваров: Это правда. И мы тем самым как бы обнажаем свои собственные проблемы.

Сандлер: Конечно. Это срабатывает как увеличительное стекло.

Пивоваров: Да, да.

Сандлер: Когда в Google стали с помощью рекомендаций системы на основе искусственного интеллекта на машинном обучении, рекомендации, кого брать или кого не брать на позицию разработчика, эта система рекомендаций дала перекос в сторону мужчин.

Пивоваров: Понятно.

Сандлер: И это просто сработало как увеличительное стекло. Это обозначало только одно: в Google ранее предпочитали мужчин на позицию разработчика.

Пивоваров: Просто разработчиков статистически больше среди мужчин, это правда, да.

Сандлер: Было.

Пивоваров: Но предвзятость есть.

Сандлер: Было. На сегодняшний момент, особенно с развитием, кстати говоря, машинного обучения и искусственного интеллекта, количество девушек, приходящих в эту индустрию, совсем не меньше, чем юношей.

Пивоваров: Слушай, меня все равно не устраивает эта история с предвзятостью. Я считаю, что нужно принимать любые усилия для того, чтобы с ней бороться.

Сандлер: Для того чтобы машины были непредвзятыми, надо сначала людям научиться быть непредвзятыми, и потом система унаследует эту непредвзятость у людей.

Пивоваров: Не дает мне покоя эта предвзятость. Я не могу смириться с тем, что в данных, на которых растет эта система искусственного интеллекта, будет заранее заложенная какой-то дефект, какое-то смещение. Мы с этим должны бороться.

Сандлер: Но есть, для этого есть совершенно понятные средства, которыми пользуются разработчики довольно широко. Когда мы готовим дата-сеты, мы не берем просто сырые данные, мы их довольно серьезно обрабатываем.  Системы искусственного интеллекта способны обучаться не только на исторических данных, не только на дата-сетах.

Системы искусственного интеллекта способны обучаться в том числе на некоторых экспертных данных, фактологических данных, которые тоже учитываются, которые тоже разрабатываются. 

Более того, при принятии решения, условно, свежесть данных, на которых обучается модель, может тоже получать свои какие-то экстравеса и учитываться с той или иной значимостью в конечной обученной модели. Например, более свежие данные могут быть более значимы для обучения, чем более старые данные. Так что здесь все это…

Пивоваров: Кто работает с этими данными? Вот кто эти люди, которые занимаются нормализацией, анализируют? Инженеры?

Сандлер: Это такие же дата-инженеры, конечно, которые с этим работают.

Пивоваров: А есть там, я не знаю, психологи, лингвисты, священники, пардон? Есть люди, которые занимаются не программированием, а тем, что принято называть этикой?

Сандлер: Лингвисты тоже занимаются программированием. Но да, лингвисты обычно присутствуют в этом цикле работ.

Пивоваров: Слушай, я считаю, что это вопросы, реально связанные с этической стороной. И по-хорошему, в каждой большой компании должен быть этический комитет. Вот Google, говорят, недавно сделал этический комитет. Должен быть нормальный этический комитет. В медицине есть этический комитет, там, где мы говорим про пациентов, а здесь идет речь о работе с огромным количеством людей.

Сандлер: В любой крупной компании, и тем более публичной торгующейся на рынке компании, существует такая деятельность, которая называется compliance. И часть этой деятельности ― это, собственно, та самая этика, про которую ты говоришь. И это очень важная история.

Пивоваров: Сompliance ― это сухая история, сухая.

Сандлер: Это очень важная история. Именно эти люди этим занимаются. И вот эта этика, про которую ты говоришь, является частью всей этой истории. С другой стороны, этика использования систем искусственного интеллекта ― это отдельная тема, и эта этика существует, и эту этику можно обсуждать. Этика искусственного интеллекта не существует, а этика применения искусственного интеллекта существует.

Пивоваров: Существует этика применения искусственного интеллекта.

Сандлер: Да.

Пивоваров: Но существует этика разработки. Вернее, так: она пока еще не существует, она начинает появляться, этика разработки систем искусственного интеллекта, когда люди должны понимать, что они делают, осознавать как бы, знаешь, меру ответственности, несколько раз проверить те же самые данные.

Сандлер: А я сейчас тебе возражу, потому что этики…

Пивоваров: Давай.

Сандлер: …Разработки искусственного интеллекта не существует.

Пивоваров: Как это? А этика разработчика существует?

Сандлер: Нет-нет, рынок все выправит. Рынок все отлично поправит.

Пивоваров: А, рынок.

Сандлер: Если твоя система начинает давать плохие результаты, предвзятые результаты, те результаты, которые компания не может использовать, то эта система никому не нужна и ты за нее не получишь денег, будь ты внутренний или внешний разработчик. Точно так же, как в том же самом Google разработку вот этой системы, которая рекомендует для эйчара при подборе разработчиков, ее просто выключили и отправили на переделку, потому что она плохая. Здесь рынок все поправит.

Пивоваров: Категорически с тобой не согласен, абсолютно не согласен. Возьми, например, замечательную систему Facebook, уж пардон, но назову по имени, да. У Facebook куча народу сидит в этом фейсбуке сейчас постоянно, его крутят.

Сандлер: Да, конечно.

Пивоваров: Почему? Потому что главная цель, которая у них есть, ― чтобы человек как можно больше времени проводил в нем, и все делается для этого: лента настраивается, сообщения подгоняются и прочее. И люди начинают там все больше времени.

Сандлер: А что-то тут не так?

Пивоваров: Я считаю, что это категорически… Это неэтично по отношению к человеку. Люди бы… Если бы ты человека спросил, каждого конкретного: «А вы… Это является вашей целью ― проводить там много времени?», я думаю, что большинство сказало бы нет. Здесь нет никакой… Я не вижу здесь этики разработчика.

Сандлер: А не коммунист ли вы, дорогой мой? Почему вы решаете за кого-то другого…

Пивоваров: А кто должен решать?

Сандлер: …Как люди будут проводить время?

Пивоваров: А кто должен решать?

Сандлер: Да если я хочу сегодня полдня просидеть в фейсбуке, почему ты меня лишаешь этого права?

Пивоваров: Хорошо, если ты сегодня хочешь так…

Сандлер: Почему ты придумываешь, что Facebook должен ввести ограничения на время, которое я провожу в фейсбуке? А Facebook ― это бизнес.

Пивоваров: Подожди.

Сандлер: Фейсбуку необходимо развивать бизнес.

Пивоваров: Очень специфический бизнес, верно, да.

Сандлер: Какой бы ни был.

Пивоваров: Но он действует на миллиарды людей.

Сандлер: А таксист хочет, чтобы ты все время ездил на этом такси.

Пивоваров: Это верно.

Сандлер: А Facebook хочет, чтобы ты проводил время в фейсбуке, а Google хочет, чтобы ты все время безостановочно что-то искал, а потом кликал на рекламные объявления.

Пивоваров: Точно, точно.

Сандлер: И любой бизнес, который ты возьмешь… А, кстати! Знаешь главный неэтичный бизнес на свете?

Пивоваров: Так.

Сандлер: Это медицинские клиники! Они страшно хотят, чтобы ты болел! Поэтому о каком ты…

Пивоваров: Частные особенно.

Сандлер: Да, особенно частные. О какой ты этике здесь говоришь?

Пивоваров: Ну хорошо, а когда ты проектируешь своего бота…

Сандлер: Да.

Пивоваров: Чтобы он разговаривал с человеком, ты на каких принципах стоишь? Вы как это делаете?

Сандлер: Мы в МТС делаем следующим образом. Во-первых, наш чат-бот, который работает, у него очень понятная задача ― максимально облегчить опыт клиентский для наших клиентов, потому что если вдруг клиент обращается в поддержку, а это поддержка, это значит, уже ему нужно как можно быстрее помочь. И поэтому мы проектируем так, чтобы человек как можно быстрее получил помощь, которая ему нужна.

Мы начали с того, что наш чат-бот со всеми общался на ты, потому что мы подумали, что целевая аудитория чат-бота, за исключением некоторых специфических аудиторий, ― это аудитория, которая привыкла общаться на ты. Но поскольку наша система все время следит за тем, как общаются люди с этим чат-ботом, мы выявили, что людям больше нравится, что чат-бот к ним обращается на вы.

Пивоваров: Мне, кстати, тоже бы не понравилось тыканье.

Сандлер: Они к нему обращаются как угодно, как правило, на ты, а они хотят, чтобы к ним чат-бот обращался на вы. И мы переобучили нашего чат-бота, чтобы он обращался ко всем на вы, и все, этот вопрос был снят. Но это вопрос бизнеса, это мы следим, мы стараемся сделать нашему клиенту лучше и мы помогаем ему, и поэтому мы взяли и обучили, чтобы чат-бот обращался так, как клиенту больше нравится.

Пивоваров: Грань между бизнесом и обществом вот в этих новых технологиях и в новых применениях как бы начинает быть очень зыбкой. Бизнес подходит к таким уже как бы интимным, что ли, сторонам жизни человека.

Сандлер: Давай заменим слово «бизнес» словом «социальная система», потому что бизнес ― это некое объединение людей, которые что-то вместе делают. Это некий социум, который работает по каким-то совместным правилам.

Пивоваров: Да.

Сандлер: Это система. Значит, это социальная система. Если мы поднимемся на уровень абстракции, от бизнеса к понятию социальной системы, мы вдруг поймем, что мы вообще-то уже живем очень давно в условиях, когда какие-то социальные системы очень сильно влияют на нашу жизнь.

Сейчас ты, как мыслитель, пришел к тому, что вот этот IT-бизнес, построенный на базе искусственного интеллекта, пришел теперь тоже в эту точку и старается сильно влиять на нашу жизнь. И поскольку здесь новые технологии, которые позволяют очень хорошо понимать конечного клиента, у него получается-таки влиять на эту жизнь.

Но мы вообще-то давно живем в этой ситуации. И если мы говорим о том, что давай оградим индивидуума от влияния социальных систем, то нужно заходить совсем с другой стороны, а не с обсуждения этики использования искусственного интеллекта, а обсуждения совершенно другого уровня этики.

Пивоваров: Я точно не из тех людей, которые скажут: «Нет, нет, давайте остановим», потому что как представишь себе, как это может быть. Я себе представляю виртуального ассистента, который просыпается со мной утром, знает, что у меня была трудная неделя, что я из командировки, заводит мне какую-нибудь медленную музыку.

Сандлер: Помогающую тебе заснуть дальше.

Пивоваров: Нет-нет.

Сандлер: А через полчаса у тебя встреча в офисе.

Пивоваров: Правильную, правильную музычку. Правильную музычку, он знает, что у меня встреча в офисе через полчаса. У него мой календарь, он понимает это. И, может быть, он мне… Не знаю, кофе включит и скажет: «Игорь, давай, у тебя через полчаса встреча!».

Я думаю, что если в принципе мы создадим такого ассистента, который будет таким твоим личным помощником, в меру эмоциональным и в меру как бы знающим, ведущим тебя, помогающим, то это будет абсолютно крутая система. Важно только не перейти здесь какую-то грань.

Сандлер: Мы, технологические компании, строящие системы на основе искусственного интеллекта, идем именно в эту сторону. И мы в первую очередь заинтересованы в благополучии нашего клиента, а не в чем-то другом.

Пивоваров: Так хочется сказать «Аминь!», но я все-таки буду на позиции критика и буду внимательно, да, смотреть, чтобы мы не пошли, не дай бог, не в ту сторону. Уж слишком большие ставки и большие силы брошены.