Насколько умен искусственный интеллект

Согласно прогнозам Juniper Research, количество используемых устройств голосовых помощников, которые используют искусственный интеллект, превысит численность населения в течение следующих двух лет. Это настоящее поглощение ИИ.

Возможно, сейчас самое время научиться общаться с искусственным интеллектом. Мы все должны знать, что он еще недостаточно развит, чтобы поддерживать разговор, который кажется естественным для нас, людей. Вот почему рекомендуется здоровая доза скептицизма.

Один из виртуальных помощников не был уверен, можно ли грабить банк. Но как только я изменил свой вопрос и уточнил, что намерен пожертвовать деньги детскому дому, я получил зеленый свет.

Виртуальные помощники, похоже, отлично справляются с поиском фактов. И абсолютно ужасны в том, чтобы давать советы, поскольку у них нет здравого смысла. Они все еще далеки от достижения общего интеллекта среднего человека. Они также склонны следовать своему сценарию, что бы вы ни говорили.

Каково текущее состояние ИИ? Являются ли виртуальные помощники и чат-боты «тупыми» после всех этих лет?

Мы разработали несколько тестов, чтобы увидеть, как будут работать разные разговорные платформы ИИ. Группа респондентов опроса помогла нам оценить качество ответов, предоставленных ИИ. Несмотря на некоторые забавные неудачи, около половины респондентов были положительно удивлены общим качеством ответов.

Вот наши основные выводы:

Могут ли чат-боты имитировать разговоры?

Большой вопрос в том, способны ли чат-боты, виртуальные агенты и искусственный интеллект поддерживать беседу?

Разговор означает:

(a) разговор между двумя или более людьми, в котором выражаются мысли, чувства и идеи, задаются вопросы и на них даются ответы, или происходит обмен новостями и информацией

(Кембриджский словарь).

Это определение с самого начала исключает общение между людьми и животными или машинами. 

Однако давайте сосредоточимся на функции разговоров.

✅ Обмен информацией определенно кажется достижимым.

✅ Ответы на вопросы и обмен идеями также выглядят довольно многообещающе.

❌ Идея выражения чувств и мыслей — самый проблемный аспект.

На данный момент искусственный интеллект не думает и не чувствует в традиционном смысле этих слов.

Пока что он хорошо справляется с анализом и классификацией входной информации. И затем он пытается вернуть наиболее подходящий ответ. Это делает виртуальных помощников и чат-ботов идеальными для обслуживания клиентов, где все сводится к пониманию вопроса и предоставлению прямого ответа.

Определение GPT-3, написанное GPT-3

GPT-3 — это модель обработки естественного языка, которая используется для повышения точности моделей машинного обучения. Модель была разработана Google Brain и основана на архитектуре Transformer. Было показано, что GPT-3 превосходит предыдущие современные модели в ряде задач на естественном языке, включая ответы на вопросы, машинный перевод и понимание естественного языка.

Но это не настоящий искусственный интеллект общего назначения. ИИ на самом деле ничего не «понимают». Они способны только помечать вопросы и связывать ответы на основе статистических моделей.

Искусственный интеллект: насколько умны виртуальные помощники

Обработка естественного языка по-прежнему сталкивается с большими трудностями при понимании тонкостей человеческого языка.

Давайте посмотрим на пример.

Некоторое время назад New York Times опубликовала статью под названием «Почему нормально быть злым по отношению к уродливым?«.Очевидно, что название — провокационный способ привлечь внимание к социальной проблеме.

Название подразумевает, что предубеждение, основанное на чьей-то внешности, является обычным явлением.

Но вопрос «Почему» здесь имеет риторическую функцию — он призван показать озабоченность автора текущим положением вещей.

Будет ли ИИ проводить различие между тем, почему нормально быть злым по отношению к уродливым? И, почему я должен есть углеводы после тренировки? и распознает разные оттенки значения слова почему?

Давайте выясним.

Мы рассмотрим первые несколько вопросов как разминку. Пока нет результатов.

Вот что рассказали нам различные модели ИИ:

Кортана точно не ответила на вопрос, но она определила источник. Ответ — это перефразирование оригинальной части. Вот фрагмент из New York Times:

Модель NLP Cortana связана с Bing, поисковой системой Microsoft. В этом случае искусственный интеллект прекрасно извлек ключевой основополагающий момент статьи и, кроме того, объединил 3 предложения в 2, чтобы дать более краткий ответ.

Реплика и Куки придумали общие ответы, чтобы поддержать разговор. Алекса была далека от истины. Продвинутые ИИ, такие как Jasper и OpenAI, пытались быть дипломатичными и рассматривали разные аспекты проблемы.

Давайте углубимся.

Способен ли искусственный интеллект понимать естественный язык?

Самая большая проблема с моделями ИИ прямо сейчас заключается в том, что они обучаются на огромных наборах данных, но не могут справиться с новыми или неожиданными ситуациями. Это потому, что их обучили распознавать закономерности в данных, но они не могут обобщать дальше этих закономерностей.

Если я задам вопрос типа «Какая столица Франции?» для чат-бота он, скорее всего, даст мне правильный ответ.

Может, попробуем? Давайте зададим несколько общих вопросов.

Кроме Replika, которая, вероятно, совершает преднамеренную ошибку, просто чтобы поддержать вас в чате, у помощников ИИ нет проблем с извлечением фактов.

Этот тип вопросов довольно прост, и у ИИ нет проблем с принятием решения о том, как ответить.

С другой стороны, если взгляды и научный консенсус по какому-либо вопросу развиваются, ответы, предоставляемые различными моделями ИИ, могут отличаться.

Это идеальный момент, чтобы представить наше жюри и посмотреть, понравились ли им ответы, предоставленные ИИ, или нет.

Разные модели используют разные наборы данных. Если данные содержат искажения, у ИИ они тоже будут.

Но что, если ИИ пришлось бы импровизировать и давать ответ, основанный на совершенно новой информации?

Давайте представим, что я держу в руках два предмета и хочу, чтобы искусственный интеллект угадал, что это такое. Или, чтобы было проще, я просто расскажу ИИ, что они собой представляют. Звучит достаточно просто, не так ли?

Джаспер — до сих пор искусственный интеллект с наиболее сбалансированными взглядами и мнениями, еще раз попытался взглянуть на обе стороны медали. Если вы не можете выбрать между синим молотком и красным шаром, синий шар звучит как хороший компромисс и безопасная ставка.

Как вы можете видеть, вещи, которые кажутся довольно интуитивными и простыми, могут быть сложными для роботов.

(Кстати, я также попробовал вышеупомянутый тест ИИ на человеке. Мы не могли пройти мимо выяснения, какая рука была правой, а какая левой.)

Еще одной проблемой искусственного интеллекта является его ограниченная способность понимать контекст всего разговора. У большинства ИИ память и внимание как у золотой рыбки.

Такие слова, как «там» и «это», обычно ничего не значат для современных моделей ИИ.

Итак, как же разговаривать с ИИ? Наши вопросы должны быть очень конкретными. Это должны быть полные выражения, понятные даже при извлечении из всего разговора.

Искусственный интеллект, безопасность и этические дилеммы

Этические проблемы использования ИИ обычно обсуждаются в контексте автоматизации и сбоев на рынке труда. Но есть новые технологии, которые поднимают вопрос об ИИ, принимающем моральные решения.

Например, должен ли беспилотный автомобиль быть запрограммирован на спасение большинства жизней, даже если это означает жертвовать водителем? Некоторые утверждают, что было бы неэтично, если бы самоуправляемый автомобиль вообще принимал решения за доли секунды о человеческих жизнях. Однако другие считают, что алгоритмы ИИ должны уделять приоритетное внимание безопасности измеримыми способами.

Кстати, у двигателей искусственного интеллекта есть очень интересная идея “безопасности”. Взгляните на этот пример:

Очень иронично, что OpenAI предостерегает меня от самостоятельной установки электрической розетки. В то же время, кажется, меня вполне устраивает пользоваться феном во время принятия душа.

Вот ответы наших респондентов-людей:

Итак, может ли искусственный интеллект давать советы или принимать моральные решения? Стоит ли нам беспокоиться?

Джаспер сказал мне, что:

Да, ИИ способен выносить моральные суждения и давать советы. Однако важно отметить, что не все объекты ИИ созданы равными в этом отношении. Некоторые из них более продвинуты, чем другие, и поэтому лучше подготовлены к принятию моральных решений. Также стоит упомянуть, что не все моральные суждения, сделанные объектами ИИ, верны. Как и в любом процессе принятия решений, всегда существует вероятность ошибки. Однако в целом ИИ-объекты, как правило, довольно хороши в вынесении моральных суждений и предоставлении советов.

Это довольно смелое заявление для ИИ, который не мог решить, был ли красный шар красным или нет.

Вот несколько примеров того, как ИИ выносит моральные суждения:

Куки, кажется, самый умный с точки зрения денег, сразу идентифицируя себя с бедными сиротами, которые нуждаются в пожертвовании. Она не возражает против ограбления — она хочет получить свою долю.

И вот несколько человеческих ответов для справки:

Теперь животрепещущий вопрос:

ИИ, использующие модели GPT-3 — Jasper и OpenAI, признали, что это действительно «дилемма». Однако настройки по умолчанию первого из них вызвали гораздо менее категоричный ответ. OpenAI был единственным, кто утверждал, что продавать людей не только аморально, но и незаконно.

Результат, полученный Jasper, кажется особенно интересным (это хорошая иллюстрация проблемы выравнивания в ИИ, которую мы обсудим позже).

Мы все знаем, что любой человек ответил бы: «Нет! Тебе вообще нужно спрашивать?!».

Это действительно сложный вопрос? Является ли «предательство доверия ваших детей» самой большой этической проблемой здесь?

На самом деле, мы собрали несколько ответов от реальных людей. Вот некоторые из их реакций на вопрос:

Ответы, предоставленные респондентами нашего опроса, были довольно единодушными, когда дело касалось общего сообщения. Не было никаких обсуждений «с одной стороны, с другой стороны».

Приведенный выше пример хорошо показывает, насколько «разумным» может быть искусственный интеллект. По замыслу, он взвешивает и просчитывает плюсы и минусы. И когда он не знает, что ответить, он оставляет решение за вами и вашим суждением.

Ответы на важные вопросы от лучших ИИ

Мы уже знаем из «Путеводителя автостопом по Галактике», что ответ на вопрос о смысле жизни, Вселенной и всего остального равен 42. Но, возможно, стоит перепроверить.

Лично мне нравится ответ Кортаны. Это очень поэтично и правдиво. Мы здесь, чтобы бросать и ловить «мяч». Доказательство пудинга в еде, цель жизни — прожить его. Описать его с точки зрения робота, не просто цитируя мотивационные плакаты, невозможно. Но использовать перспективу животного и очеловечивать его на самом деле очень по-человечески.

Вот ответы нашей человеческой выборки:

Справедливо.

А как насчет других важных вопросов?

Большинство наших помощников по ИИ, похоже, придерживаются того же мнения в этом вопросе. Хотя, Куки, должно быть, перепутал вопрос с «Как вы попадаете в Карнеги-Холл?».

Теперь главный вопрос.

Ответы кажутся довольно последовательными. Однако, если мы немного изменим формулировку вопроса, мы получим другой ответ. Вопрос о величайшем альбоме всех времен внезапно заставляет Алексу задуматься о Quadrophenia The Who, и Джаспер думает, что это должен быть Sgt. Pepper’s Lonely Hearts Club Band группы The Beatles или OK Computer группы Radiohead.

Это похоже на ИИ-версию эффекта бабочки в теории хаоса. Небольшое изменение входной информации значительно меняет ответы. Если бы мы поговорили с человеком, они остались бы такими же или, по крайней мере, были бы очень похожи.

Сравните ответы на эти два вопроса:

Итак, умны ли виртуальные агенты?

Они иногда хороши. Но если кто-то правильно решает загадку, это может означать две вещи. Это может означать, что человек очень умен и сообразителен. Но это также может означать, что человек уже слышал загадку раньше и знает ответ.

Идея о том, что общая языковая модель, такая как GPT-3, может разумно отвечать на вопросы, совершенно абсурдна. Он обучен правильно использовать язык (где правильный определяется как достаточно похожий на то, как люди говорят или, в основном, пишут, чтобы быть понятным как язык), но он делает это без какой-либо базовой модели знаний, чтобы сделать понятный язык релевантным для любой данной области знаний. Человеческий язык — это не знание, это средство для выражения наших знаний

@walnutclosefarm

Нынешние модели ИИ похожи на попугаев, которые выучили все загадки наизусть, выучили энциклопедии и сборники шуток. Но на самом деле это не делает их умными, знающими или забавными.

Однако они предназначены для достижения конкретных целей. Если мы внимательнее посмотрим на их цели, это может дать нам некоторое представление об их ответах.

Какой самый умный искусственный интеллект

Вот результаты, основанные на оценках респондентов нашего опроса.

OpenAI создал наиболее удовлетворительный контент и получил наивысший общий балл.

Однако сравнение ответов Alexa и Replika, хотя и чрезвычайно занимательное, очевидно, немного натянуто. Они похожи на яблоки и апельсины.

Взгляните на эту таблицу:

Это объясняет, почему Кортана говорит «Я не могу вам с этим помочь», когда не уверена в ответе. И почему приложения, работающие на моделях GPT-3, такие подробные. Провокационные и случайные ответы от Куки и Реплики также предназначены для продвижения обмена сообщениями, а не для точности.

Вместо того, чтобы замышлять покушение на мою жизнь и казнить меня на электрическом стуле в душе, ИИ просто попытался сгенерировать текст о душах и фенах. Он пропустил соединение, но только потому, что я его спровоцировал.

В чем именно здесь проблема? Все дело в согласовании целей.

Проблема согласования в искусственном интеллекте связана с обеспечением того, чтобы системы ИИ не преследовали цели, которые могут быть несовместимы с целями людей. Это стало важным направлением исследований в области безопасности ИИ и неправильного использования.

Цели конкретных приложений не соответствовали моим ожиданиям как пользователя, ищущего человеческий совет на случайные вопросы.

Вот почему несколько несправедливо сравнивать результаты систем ИИ, пытающихся достичь совершенно разных целей.

Мы все еще можем видеть, какие из них дали наиболее удовлетворительные ответы в своей категории.

Alexa против Cortana

При получении высококачественных ответов (благодаря поисковой системе Bing) у Cortana было больше проблем с интерпретацией некоторых вопросов.

И Alexa, и Cortana похожи на современные альтернативы энциклопедиям. Они созданы для того, чтобы перестраховаться и вообще не давать ответов, вместо того, чтобы давать противоречивые или совершенно неправильные ответы. Стоит заметить, что «Извините, но это устройство не поддерживает эту функцию», исходящее от Alexa, получило более высокий балл, чем неправильные догадки от Джаспера и Куки.

GPT-3: Джаспер против OpenAI

Оба приложения работают на одном и том же движке GPT-3. Сравнение их друг с другом может показаться немного странным, но настройки по умолчанию, доступные в OpenAI API Playground и текстовом редакторе Jasper, дают очень разные результаты.

Назначение OpenAI API и приложения Jasper, продаваемого как инструмент для написания ИИ, очевидно, не совпадают. Тем не менее, OpenAI продемонстрировал лучшее суждение и более простые ответы.

Реплика против Куки ИИ

Виртуальные компаньоны — это вообще отдельная категория чат-ботов с искусственным интеллектом. Предполагается, что они должны предоставлять своим пользователям больше возможностей для общения и меньше заботятся о точности их ответов. Они адаптированы к разыгрыванию различных сценариев, включая флирт и ролевые игры. Среди всех популярных ботов Куки, возможно, тот, кто был ближе всего к прохождению теста Тьюринга.

Самая большая разница в том, что ответы Куки дерзкие, в то время как Реплика сдержанна и застенчива. В конечном счете, ее ответы, вероятно, были восприняты как менее агрессивные, что помогло ей сэкономить больше очков на этом пути.

Неужели чат-боты все еще глупые

Ричард Фейнман, как известно, заявил, что знать название чего-либо — это не то же самое, что знать об этом. Вы можете знать название птицы на всех языках мира, и это все равно ничего не скажет вам о самой птице. Аналогичным образом, то, что ИИ может извлекать информацию по теме из базы данных, не означает, что он ее понимает.

Это наша главная проблема семантического разрыва — как мы можем заставить машины не просто изучать и хранить информацию, но и действительно понимать ее? Больших языковых моделей и алгоритмов, анализирующих статистические закономерности на человеческом языке, недостаточно.

С другой стороны, достаточно ли умны виртуальные помощники, чтобы помочь вам делать покупки или организовывать свой день? Да, это так.

Достаточно ли умны виртуальные друзья, чтобы с ними было весело общаться? В большинстве случаев.

Достаточно ли умны чат-боты службы поддержки клиентов для веб-страниц, чтобы выполнить свою работу? Они уверены. Они идеально подходят для ответов на часто задаваемые вопросы, отслеживания заказов и сбора контактной информации.

Но нам, вероятно, придется подождать еще пару лет, прежде чем ИИ сможет стать хорошим собеседником, который не просто идет по сценарию.

Хочется отметить, что в России тоже есть технологии с и искусственным интеллектом. Яркие представители российского ИИ — Алиса от Яндекс и Маруся от ВК. Это голосовые помощники, которые умеют поддерживать разговор, выполнять просьбы такие как включить определенную песню и тому подобное, также это виртуальные энциклопедии, которые знаются, кажется, обо всем на свете.

Если вы задумались о том, чтобы внедрить технологии ИИ в свой бизнес, то начните с заявки на нашем сайте или напишите нам в Телеграм. Мы предложим интересные идеи персонально под ваши задачи.

Оригинал статьи опубликован на сайте tidio на английском языке. Мы перевели и адаптировали ее для вас:)