Как искусственный интеллект влияет на существующие профессии и может ли он быть судьей и выносить вердикты? Возможно ли автоматизировать эту профессию, а если да, то этично ли доверить машине принимать жизненно важные решения? А также, может ли ИИ распознавать то самый «дух закона» и обладать личной позицией, можно ли сделать состязательный процесс в суде автоматическим и как оценивать степень уверенности судьи-робота?
Об этом поговорили:
- Аркадий Сандлер, директор центра искусственного интеллекта ПАО «МТС»
- Игорь Пивоваров, организатор открытой конференции по искусственному интеллекту OpenTalks.AI, главный аналитик по направлению «искусственный интеллект» МФТИ
Аркадий Сандлер: Здравствуйте. Это программа Generation ИИ. Я Аркадий Сандлер, директор Центра искусственного интеллекта компании МТС. Сегодня тема нашей программы будет про влияние искусственного интеллекта на существующие профессии. Мы поговорим о такой сложной профессии, как судья, может ли искусственный интеллект превратиться в судью, и как влияют эти технологии сегодня на реальную жизнь.
Игорь Пивоваров: Меня зовут Игорь Пивоваров, я главный аналитик Центра искусственного интеллекта МФТИ и организатор большой конференции Open Talks AI. Мы поговорим про профессию, которую, на мой взгляд, невозможно автоматизировать искусственным интеллектом. Есть очень человеческие профессии — судья, человек, который судит других людей, ну разве это возможно автоматизировать?
Пивоваров: Хорошо. Для начала, почему судья?
Сандлер: Смотри, что по идее должен делать судья? Он должен анализировать разные, состязательные между собой, потоки данных, которые в него вгружают…
Сандлер: А потом на основании этого выносить вердикт.
Пивоваров: То есть ты говоришь так, что это легко автоматизируется, вот у нас один поток данных, вот другой поток данных, мы их сравнили, взвесили вероятность, приняли решение. Все, следующий. Да?
Сандлер: Да, конечно.
Пивоваров: И что?
Сандлер: Это достаточно легко автоматизируемая история. Именно поэтому именно вот эта область судебных разбирательств подверглась огромному влиянию систем на базе искусственного интеллекта. Существуют системы, который анализируют поток прецедентов, и на основе того, что предлагается как текущий кейс делаются некоторые гипотезы и подбираются похожие прецеденты. Существуют системы, которые анализируют письменные судебные решения для того, чтобы выступающий на той или иной стороне адвокат писал правильно тексты, которые этому судье будут понятны, то есть там даже анализируется лексика для того, чтобы более привычным языком для этого судьи писались документы адвокатом. Поэтому конечно, в тот момент, когда мы построим систему, которая может универсально воспринимать поток информации, а мы очень близки к этому, судей в принципе можно будет во многом заменять.
Пивоваров: То есть ты готов был бы пойти и свое дело отдать на рассмотрение автоматическому судье?
Сандлер: В некоторой степени конечно, да.
Пивоваров: Ничего себе.
Сандлер: Конечно, да.
Пивоваров: Я с одной стороны понимаю, что это может быть круто, когда, например, с одной стороны стоит большая компания, с другой человек, а если судья автоматизированный, он как бы не взвешивает эту авторитетность, он смотрит только на аргументы, теоретически он как бы должен принимать очень взвешенные решения.
Сандлер: Конечно.
Пивоваров: А с другой стороны, есть всегда моменты чисто человеческие и иррациональные, есть в конце концов то, что принято называть как бы дух закона. Ведь судья, он же смотрит не только на форму, на слова, на последовательности слов, на вот эту жесткую аргументацию, он всегда должен пытаться, идеальный судья, дух закона некоторый почувствовать. Как алгоритм сможет соответствовать духу закона?
Сандлер: Что такое «дух закона»?
Пивоваров: Это твое внутреннее ощущение, такой нравственный закон, который в судьях воспитывается.
Сандлер: Твое персональное предубеждение по поводу того, что законодатель имел в виду, когда писал этот закон?
Пивоваров: С одной стороны как бы, да, но это персональное предубеждение обтачивается на протяжении длинного обучения, дискуссий, диалогов внутри юридического сообщества.
Сандлер: Сколько может средний судья за свою карьеру проанализировать кейсов?
Пивоваров: Ну, я думаю, несколько десятков тысяч, наверное, за свои 40-50 лет.
Сандлер: Несколько десятков тысяч. Но мы же понимаем, что настроенная модель может обучиться на нескольких миллионах кейсов.
Пивоваров: Верно. И выносить некоторые стандартные шаблонные решения.
Сандлер: Намного быстрее, чем время карьеры.
Пивоваров: Стандартные шаблонные решения, безусловно.
Сандлер: Да нет, она, конечно, будет учитывать то, что ты называешь «дух закона», учитывая то, каким образом применялся раньше этот закон.
Пивоваров: То есть она почувствует этот…
Сандлер: Меня немножко пугает понятие «дух закона».
Пивоваров: Потому что оно не формализуемо?
Сандлер: Потому что ты не можешь сказать, как к этому относиться.
Пивоваров: Не могу.
Сандлер: Каким образом, какая аргументация поможет тебе вот в этом состязании, потому что у этого судьи может быть в голове какое-то странное понятие о духе закона. Там написано в этом законе одно, а ему кажется, что законодатель имел в виду другое. Вот, например, аргумент, который ты привел. Представим себе крупную компанию, которая судится с человеком, или наоборот, человек с крупной компанией. Есть такие судьи, которые смотрят на то, как дело представлено с каждой стороны, мы предполагаем, что может быть, со стороны корпорации, которая вложит в это больше денег, дело будет представлено лучше.
Пивоваров: Больше адвокатов, больше подготовки.
Сандлер: А может быть, такой судья, у которого есть предубеждения, что любой человек, борющийся в суде с корпорацией, заранее прав, потому что он бьется с махиной. Корпорация, понятно, что себя красиво защищать может, но вот он решил биться с махиной, и поэтому он отдает предпочтение этому одному человеку. И это же тоже предубеждение.
Пивоваров: Тоже возможно, да.
Сандлер: Но это тоже предубеждение. Мне, например, не хочется оказаться в ситуации, где у судьи есть какие-то непредсказуемые предубеждения.
Пивоваров: Слушай, ну человечество несколько тысяч лет уже существует в этой ситуации.
Сандлер: Совершенно верно. И именно поэтому процент пересматриваемых судебных решений довольно велик, именно поэтому человечеству пришлось придумать многоуровневые судебные разбирательства, чтобы решение одного судьи не было окончательным и бесповоротным.
Пивоваров: Вот смотри, например, был такой фильм чудный «Эрин Брокович», где там они обнаружили, что одна большая компания сваливала какие-то химические токсические элементы. Они там собирают коллективный иск, а те выдвигают офигительных юристов, готовят кучу разных ходатайств против, совершенно все блестяще обставляют. И там такой момент пиковый, что вроде как адвокаты, которые людей защищают, коллективный иск, они так вроде «Ну что делать?», а тут судья, который говорит: «Вы знаете, я сам живу в этом городе, и что-то я смотрю на эту ситуацию, и она мне не нравится. Я не хочу все эти ходатайства принимать. Просто потому, что глубоко по-граждански мне самому хочется разобраться, поэтому давайте мы будем разбираться». И эта большая компания как бы оказывается в ситуации, когда все ее аргументы…
Сандлер: Но это же страшно, в такой ситуации оказаться.
Пивоваров: Это личная позиция. Человек имеет право на личную позицию.
Сандлер: Нет, не имеет права судья на личную позицию.
Пивоваров: Почему, интересно?
Сандлер: Судья не имеет права на личную позицию, он должен без всякой личной позиции.
Пивоваров: Он должен быть автоматом?
Сандлер: Он должен быть, да, он должен быть максимально близок к автомату. Никакой личной позиции у судьи быть не должно.
Пивоваров: Он должен чувствовать все-таки то, что называется духом закона, это нравственный некий императив.
Сандлер: Нет-нет, это страшно. Это страшно, потому что судебная система это система, к которой ты обращаешься для того, чтобы предсказуемо разобраться и отстоять свои права.
Пивоваров: Верно.
Сандлер: А если там есть судья, у которого личная позиция, кто его знает, что и как влияет на эту личную позицию, а он берет и личную позицию не в твою пользу. Конечно, кино хорошее, я помню это кино. Но напомнить тебе, какое количество кино про искусственный интеллект имеет хоть что-то общее с жизнью?
Пивоваров: Почти ноль.
Сандлер: Почему ты считаешь, что кино про судебное разбирательство имеет что-то общее с жизнью?
Пивоваров: Окей. То есть ты думаешь, что, скажем, судья может быть абсолютно автоматизирован и выносить решения прямо на конвейере, это будет лучше, четче и…
Сандлер: Это должен быть очень сложный конвейер, должна быть очень сложная система. На сегодняшний момент, мне кажется, именно этим и должны заниматься лучшие юридические умы. Я предполагаю, что еще пока такой системы не построено, она должна быть очень стройная, очень сложная, очень сильно сложная с точки зрения объема обрабатываемых данных. Но она должна в результате появиться, потому что нет ничего хуже, чем судьи с личным мнением.
Пивоваров: А давай с другой стороны зайду. У нас же много разных стран, и в каждой стране есть свои этические нормы. Суд базируется в первую очередь на некоторых этических нормах, которые на самом деле восходят к религиям, к такому пласту нравственности в определенной культуре, и мы помним, что недавно было исследование, которое делало Mind Field, по поводу этой вагонетки известной, которая стоит перед дилеммой, сюда поедешь, одного человека задавишь, сюда поедешь, пять человек задавишь, можно ли задавить одного или пять. И вот они там варьировали разное количество людей, кто это будет, мальчики-девочки, дети…
Сандлер: Да-да, я знаю, социальные…
Пивоваров: И выяснили, проявили как бы разные социальные нормы в разных культурах. Что это значит, что искусственный интеллект нам нужно выращивать в каждой стране свой, на своих нормах?
Сандлер: У каждого этноса этика, существенно влияющая на жизнь этого этноса, на взаимоотношения внутри этой социальной группы, заложена в законодательство. То, что в законодательство не заложено, судья не имеет права использовать, и судья не имеет право на это ориентироваться.
Пивоваров: Дружище, ты стоишь на позиции, что как бы все, что можно было, сформулировали словами. Слова ведь очень не точная штука, и они иногда далеко не передают смысл того, что нужно.
Сандлер: Да, конечно. У нас принята в стране презумпция виновности по нарушениям, зафиксированным с помощью камер.
Пивоваров: С помощью камер, да.
Сандлер: То есть ты считаешься виноватым, если ты не докажешь обратное, то, чего нет в других системах обвинения. Но это не только у нас, мы одна из последних стран, которая приняла это решение.
Пивоваров: Это точно.
Сандлер: Что если камера зафиксировала дорожное нарушение, то тебе присылают квитанцию на оплату, картинку в качестве доказательства, и ты уже обязан это дело оплатить, если не пойдешь и не оспоришь каким-то образом это дело. Мы уже живем в этой системе.
Пивоваров: Точно-точно, да.
Сандлер: Вот здесь мы достигли ситуации, где автоматом можно выносить судебные решения, потому что это по сути судебные решения.
Пивоваров: Ну, это не судебные решения.
Сандлер: Как это не судебные решения?
Пивоваров: Ты прав, мы здесь переходим вообще на другой целый пласт. Видеокамеры, наблюдение…
Сандлер: Если бы не было этой презумпции виновности по фиксации нарушений с помощью видеокамер, как бы это работало?
Пивоваров: Нет, но это не судья.
Сандлер: Ну как не судья?
Пивоваров: Это некоторый автоматический….
Сандлер: Подожди секундочку. Как бы это работало? Это работало бы следующим образом. К тебе приходил бы конверт с вызовом в суд.
Пивоваров: Сперва все это так и было.
Сандлер: Где специально нанятый сотрудник ГИБДД, ориентируясь на фотографию, ПДД и все остальное, доказывал бы судье, что ты виноват, и с тебя нужно взять штраф. А ты бы доказывал, что это был не ты, или что ты не несешь ответственность за это, или это не было нарушение, или еще что-то. И это огромные были бы затраты государства на это, притом что мы в общем-то понимаем, чем бы это все заканчивалось. Близко к 100% случаев было бы решение о том, что ты виноват.
Пивоваров: Слушай, хорошо, допустим, в случае видеокамеры, которая фиксирует нарушения на дороге, с этим можно согласиться. Там более-менее факт нарушения очевиден.
Сандлер: Давай здесь на секунду остановимся. Что такое видеокамеры, зафиксировавшие нарушение на дороге?
Сандлер: Это некоторый поток данных, на основе анализа которого некоторая автоматическая система принимает решение, что ты виновен.
Пивоваров: Да.
Сандлер: Всё. Есть судья, который полностью работает автоматически.
Пивоваров: Подожди…
Сандлер: Просто на очень маленьком-маленьком пространстве.
Пивоваров: Да, но все-таки здесь нет судьи, потому что нет конкурирующего потока. Здесь есть только один, меня никто не спросил.
Сандлер: Конечно. В условиях презумпции невиновности необходима состязательность.
Пивоваров: Верно.
Сандлер: В условиях презумпции виновности состязательность не очень нужна, но если ты хочешь оспорить, добро пожаловать.
На сегодняшний момент технологии позволяют достаточно близко к 100% корректности распознавать номера и автомобили для того, чтобы делать это заключение. Представим себе, что технологии делают следующий шаг и способны анализировать поток документов, который скармливает этой системе адвокат. Достаточно качественно анализировать, чтобы с вероятностью, близкой к 100%, делать верный вывод.
Пивоваров: Чтобы делать состязательный процесс?
Сандлер: Чтобы сделать, конечно.
Пивоваров: Тоже в автоматическом.
Сандлер: Тоже в автоматическом режиме. Один адвокат скормил, оно построило свою онтологию вокруг этого знания, значит, другой адвокат скормил, оно построило свою онтологию вокруг этого знания, потом нашло пересечения, убрало то, что является одним и тем же, а потом состязательным образом, значит, проверило, чем отличаются эти два потока данных, набор данных из прошлого на похожих кейсах и пришло к определенному решению.
Это все то же самое, поток данных, который мы качественно умеем анализировать, качественно делать на основании этого выводы и принимать решения.
Пивоваров: Ты только что подал…
Сандлер: Выписать штраф с фотографии.
Пивоваров: Подал отличную бизнес-идею. Надо делать систему, которая будет в автоматическом режиме пытаться опротестовывать эти решения.
Сандлер: Она уже есть.
Пивоваров: В автоматическом режиме?
Сандлер: Она уже есть, один скромный англичанин создал такой бот, в которого отправляешь документы, вот эти постановления о том, что ты нарушил что-то, и он тебе автоматически генерирует документы для опротестовывания, и через систему API этого программного интерфейса судебной системы ты можешь следующим нажатием кнопочки подать это опротестовывание в соответствующие органы. И статистика показывает, что эти документы выигрывают достаточно большое количество опротестовываний. Поэтому это не новая бизнес-идея, она существует.
Пивоваров: В России будет новая, я считаю, что отличный рынок.
Сандлер: Да, конечно, отличная тема, отличный рынок, да. Лично мой опыт опротестовывания штрафов показывает, что у меня… Мне отменили один штраф из набора, который я опротестовывал.
Пивоваров: Ты уводишь от иррациональности некоторой в принятии решений. Я все-таки хочу вернуться в те моменты, где есть рациональная часть и есть иррациональный большой мотив.
Сандлер: Иррациональность ― это как давайте обращаться к нашей интуиции.
Пивоваров: Нет, речь не про интуицию, речь про то, что всегда есть нечто, что не описывается данными.
Сандлер: Конечно. И в этом случае нужно позвать живого судью.
Пивоваров: В каком случае позвать живого судью?
Сандлер: Когда степень уверенности судьи-робота недостаточно высокая.
Пивоваров: А как оценивается степень уверенности судьи-робота? Он сам ее оценивает?
Сандлер: Конечно, да. Любая гипотеза, которую выдает тебе обычная модель, она тебе выдает гипотезу и степень уверенности в этой гипотезе.
Пивоваров: Практика показывает, что самые страшные вещи совершаются как раз тогда, когда система очень уверена даже в себе.
Сандлер: Если она, конечно, переобучена не в ту сторону, это верно.
Пивоваров: Да, да. Верно.
Сандлер: У нас так и работает, кстати, в нашей системе поддержки клиентов. Тогда, когда робот не уверен в том, какой правильный ответ нужно дать во время обслуживания через текстовый канал, через чат-бот, он обращается к оператору, к живому человеку.
Пивоваров: Это правильно, да.
Сандлер: Конечно. Но так и нужно делать, и это еще будет очень долго. Мы все время обрабатываем все больше и больше обращений все лучше и лучше, но все равно я уверен, что какое-то количество обращений все равно всегда будет возвращаться к человеку. Когда гипотеза, которую выдает робот-судья, с недостаточной уверенностью выработана, она обращается к живому человеку, к живому судье. И там можете обращаться к духу закона и другим иррациональным вещам, но мне бы этого не хотелось.
Пивоваров: Мы сейчас идем стремительно в ту область, когда человек вообще из этой ситуации исключается. Вот смотри, я недавно хотел получить рефинансирование на один свой кредит в банке. И пришел в банк, значит, мне там что-то посчитали, я не буду подробно погружаться, машина выдает отказ. И человек, который сидит, говорит: «Вы знаете, типа, вам отказ». Я говорю… А я понимаю причину, она совершенно дурацкая и банальная. Я объясняю ему, говорю: «Это же»… Он мне говорит: «Да-да, я понимаю, но я ничего сделать не могу, потому что скоринговая система».
Сандлер: Да.
Пивоваров: И я начинаю с ним разговаривать, я не понимаю. Это тоже судья автоматический, который взвесил про меня какую-то информацию, вынес решение. Но дальше смотри, что происходит. Человек вообще ничего сделать не может, человек сидит, нажимает кнопку около этого судьи.
Сандлер: Да.
Пивоваров: И я с ним разговариваю: «Я же сижу с вами, вы понимаете ситуацию, вы понимаете, что это абсурд, то, что это сейчас»… Он говорит: «Да, я это понимаю, но я ничего сделать не могу».
Сандлер: Да, но ты попал в статистику.
Пивоваров: Это круто ― попасть в статистику.
Сандлер: И здесь ты, конечно, смешиваешь вещи, которые смешивать довольно опасно. Судья в идеале не должен быть ничем мотивирован. Для него ничего в жизни не меняется, несмотря на то, какой он приговор вынесет, так или иначе. Банк ― это компания, компания призвана зарабатывать прибыль. Для того чтобы зарабатывать прибыль, компания использует все возможные инструменты.
Один из инструментов ― это отбирать те услуги, которые эта компания готова предоставлять тем или иным клиентам своим. И в банке, и в страховых компаниях существуют скоринговые модели, скоринговые системы, которые, основываясь на предыдущей статистике, знают, что человек с такими-то характеристиками наиболее вероятно принесет наибольшее количество прибыли этому банку.
И дальше строятся некие грейды, исходя из этого принимается решение, выдавать или не выдавать. Кредиты не выдают двум типам людей. Кредиты не выдают людям из которых сложно доставать эти кредиты, когда очень большая просрочка возникает у человека, это в кредитном бюро отражается, люди не хотят выдавать. А еще другим типам людей ― которые берут кредит и очень быстро его возвращают. Банк недополучает процентов.
Пивоваров: Да-да.
Сандлер: У банка получается этот заемщик убыточным, потому что стоимость привлечения они посчитали, стоимость процессинга кредита они посчитали, стоимость выдачи они посчитали, а ты взял и недоплатил им проценты! Понимаешь, ты становишься невыгодным для банка заемщиком, и эта информация тоже попадает в кредитное бюро твоих кредитных историй.
И когда ты делаешь так несколько раз, ты становишься нежелательным заемщиком для любого банка, потому что все знают, что они на тебе проиграют.
Пивоваров: Это правда, да. Я согласен, что здесь это разные истории, все-таки банк ― это действительно коммерческая компания, они могут делать все, что угодно, в конце концов, решение выносить автоматически, это же дело банка. Судья ― это совершенно другая, другая история, где нужно все-таки взвешивать то, что происходит.
Сандлер: Я уверен, что мы очень скоро, в масштабах приемлемых придем к ситуации, когда судейское дело будет очень сильно автоматизировано и совсем не 100% дел будет рассматриваться живыми судьями.
Сандлер: В теме юриспруденции очень много применений искусственного интеллекта, и сегодня они очень активно внедряются тоже.
Пивоваров: Я согласен. Юристы и судьи ― очень близко.
Сандлер: Вообще тема legal tech очень сильно растет. Туда идет много инвестиций. В МТС такая система помогает работать юристам, которые ведут контракты с подрядчиками. Эта система анализирует контракты, анализирует весь scope документов, весь набор документов вокруг каждого из контрактов и помогает юристам, подсказывает, что необходимо делать дальше и где возникают какие-то красные флажки, где требуется какое-то вмешательство.
Более того, эта система умеет формировать шаблоны разных дополнительных документов, например, письма для подрядчика, чтобы человеку не надо было его переписывать. Это настраиваемая история. Вплоть до некоего драфта искового заявления.
Мы очень большая компания. У нас количество контрактов исчисляется сотнями тысяч, и нет никакой возможности взять такое количество юристов, которые смогут их всех очень досконально в ежедневном режиме вести.
Пивоваров: Отличный кейс, конечно, для алгоритмов, когда у тебя триста тысяч или пятьсот тысяч контрактов, которые надо отслеживать, у каждого несколько десятков параметров.
Сандлер: Несколько сотен.
Пивоваров: И что, и алгоритм без помощи человека способен финально принимать решения по какому-то контракту? Или все равно у тебя человек нужен?
Сандлер: Нет, пока эта система больше работает как рекомендательная. Но да, мы автоматизируем некоторые шаги уже, на сегодняшний момент первичную переписку с подрядчиком, которому нужно донести информацию о том, что у него не доставлены вовремя необходимые какие-то документы к контракту, что обычно обозначает, что этот подрядчик опаздывает с выполнением работ, система уже может сделать автоматически, сформировать это письмо и отправить подрядчику.
Пивоваров: Это да.
Сандлер: Получить от него набор документов обратно, проанализировать их и учесть в дальнейшей своей деятельности.
Пивоваров: Это пока очень маленькие, конечно, простые решения. А в глобальном?
Сандлер: Это очень сложные решения, потому что все эти документы написаны на естественном языке в разных форматах, часто являются просто отсканированными, файлами с отсканированными документами. Это довольно сложное решение, именно там системы искусственного интеллекта сильно упрощают и сильно ускоряют работу и жизнь реальных специалистов, которых не нужно заставлять заниматься просто копанием в документах, которые действительно занимаются своей профессиональной юридической деятельностью.
У нас там можно привести пример такой: иногда формирование полной подборки всех документов, связанных с каким-то процессом, у юриста могло занимать один рабочий день. На сегодняшний день это занимает примерно один запрос в систему. Допустим, до двух минут. Это очень большое ускорение для работы.
В этих областях на сегодняшний момент на сегодняшний момент системы искусственного интеллекта ― это больше помощники живым людям. И вот такое партнерско-симбиотическое существование ― это следующая степень развития эффективности бизнеса.
Пивоваров: Вот! И с этим я согласен. Пока видится, что это является оптимальным сочетанием. Я не очень понимаю, каким образом можно сделать, абсолютно отдать автоматическому судье все на принятие решений, но правильный симбиоз машины и человека, когда она раскладывает информацию, дает ее, а человек принимает решение, или для юриста, когда подбирает информацию для него машина, но тем не менее остается юрист. Пока вот такие решения. Или тем более врач, про которых мы как-нибудь еще поговорим.
Сандлер: Если мы говорим про сегодня, то сегодня технологии движутся вперед, количество действий, которые может совершать робот самостоятельно, все время будет расти. Количество информации, которое анализируется и принимается решение по действию на основании этой информации, будет расти. И мы очень-очень скоро приблизимся к тому, что большущая часть этой работы будет автоматизирована.
А по многим вещам так же, как и со штрафами, судейство будет автоматизировано.
Пивоваров: Как человек, отягощенный высшим образованием и в математике очень любивший теорему Геделя о неполноте, я готов поспорить, что всегда за рамками этой системы, этих данных будет оказываться какое-то количество фактов, из-за которых невозможно будет стопроцентно это автоматизировать. Но это интересно.
Сандлер: Это мы уже с тобой обсуждали.
Пивоваров: Это мы посмотрим.
Сандлер: 100% нескоро, может быть, никогда.
Пивоваров: Может быть, никогда, да.
Сандлер: Но то, что мы будем приближаться к этим 100% довольно быстро, я в этом уверен совершенно.
Пивоваров: Вот эта связка «человек ― машина» будет все более и более эффективной, и это интересно. Вот в такую связку я точно готов поверить. И это будущее мне нравится.
Сандлер: И очень здорово, что крупные компании начали внедрять эти системы у себя, потому что очень сильно изменяются бизнес-процессы, очень сильно повышается эффективность. И люди наконец начинают заниматься тем, для чего они учились.
Пивоваров: замечательно.
Не бойся быть свободным. Оформи донейт.