Чат-бот Bing AI от Microsoft не оправдал ожиданий

Руководители высшего звена Microsoft (тикер: MSFT) продемонстрировали, казалось бы, впечатляющий набор возможностей искусственного интеллекта Bing, включая сводку финансовых документов и планирование маршрутов поездок. Компания получила положительные отзывы отраслевых аналитиков и средств массовой информации, которые недовольны инновациями Bing по сравнению с конкурентом Google. Уолл-стрит даже наказала Alphabet, материнскую компанию Google, с рыночной капитализацией более 100 миллиардов долларов за отставание в области искусственного интеллекта.

Потом весь рассказ рухнул. Двумя неделями позже стало ясно, что Microsoft переобещала и не выполнила. Репутация Bing AI рухнула — чат-бот не оправдал ажиотажа.

Что случилось? Невероятно, но оказалось, что многие из примеров, выбранных Microsoft на мероприятии 7 февраля, были пронизаны реальными ошибками.

Никто этого не замечал, пока на следующей неделе исследователь ИИ Дмитрий Бреретон не написал Сообщение блога в котором было много неточностей. Bing AI, похоже, сфабриковал детали мест в плане поездки в Мексику. А если серьезно, чат-бот не мог извлечь ключевые цифры из отчетов о доходах Gap и Lululemon, не ошибившись.

Наблюдатели отрасли почувствовали себя преданными. Бен Томпсон из Stratechery сказал, что он был ошеломлен тем, что команда Bing представила шоу, полное неточных примеров. «Microsoft настолько эффективно отмыла репутацию нового ИИ Bing, что никто, кроме Бреретона, не подумал проверить, дает ли он правильные ответы», — написал он.

Затем есть причудливая личность и проблемы с безопасностью. Помимо повышения релевантности поиска и точности ответов, Microsoft пообещала, что компания ответственно развернет искусственный интеллект на своем продуктовом мероприятии. Кроме того, они утверждали, что Bing включает комплексную систему безопасности, защищающую от предвзятости и преднамеренного неправомерного использования.

Этого тоже не было. Несколько дней спустя редактор PCWorld найден Bing AI преподавал расовые оскорбления в пятом классе. На прошлой неделе The New York Times опубликовала на первой полосе статью о том, как искусственный интеллект Bing заявил о своей любви к техническому обозревателю и попытался убедить его, что он несчастлив в своем браке.

Хотя журналисты неоднократно призывают чат-бота и проверяют его пределы, Microsoft заявила, что будут препятствия для такого поведения.

В прошлую пятницу Microsoft, подвергшаяся негативной прессе по поводу недостатков и неэффективного поведения ИИ Bing, ввела ограничения на сеансы чата до пяти сеансов чата за сеанс и 50 чатов в день. Во вторник компания немного увеличила количество пользователей до шести ролей в чате и 60 чатов в день.

На просьбу прокомментировать ошибки Bing AI во время и после презентации продукта представитель Microsoft сказал, что они несколько раз обновляли службу с момента ее запуска в ответ на высказанные опасения. В сообщениях в блоге компании также говорится, что она активно работает над уменьшением неточностей и предотвращением вредоносного контента, добавляя, что она добавила ограничения на сеансы чата, потому что Microsoft обнаружила, что во время длительных сеансов ИИ иногда путался, что приводило к тону, которого они не хотели. .

Даже с обновлениями недостатки Bing AI остаются. За последнюю неделю я использовал чат-бот для десятков запросов и нашел частые ошибки. Как и в случае с событием, связанным с продуктом, Bing AI указал на недавний отчет Intel о доходах и попросил резюмировать ключевые моменты. Он возвращал иррациональные числа, которые были совершенно неправильными. Microsoft хвасталась, что сводки финансовых отчетов от Bing AI сэкономят работникам много времени, но если какой-либо аналитик будет полагаться на чат-бота для каких-либо цифр, ему будет выговор. Что касается других запросов, я также обнаружил, что вы часто получаете неверные данные, от дат выпуска игр до имен влиятельных лиц YouTube.

Если нам нужно проверять каждый бит информации в ответах Bing AI, какой смысл ее использовать?

Проблема может быть структурной. Чат-бот Bing AI использует технологию большой языковой модели, которая генерирует ответы, подобные человеческим, или их лучшие предположения, основанные на статистических связях слов, которые он изучил, проглотив то, что ранее было напечатано в Интернете или из других форм текста.

Но внутри мусор и отходы. Модели не понимают, не понимают и не знают, как проверить информацию, которую они собрали для данных. Мэтью Сейдж, профессор юридического факультета Университета Эмори, специализирующийся на искусственном интеллекте и машинном обучении, говорит, что технология использует шаблоны, а затем пытается угадать то, что кажется разумным, а не то, что верно.

Это не означает, что технология не может быть полезной. Для специализированных случаев использования модель большого языка ИИ может повысить производительность компиляции, создать шаблоны для написания, исправить грамматику и предложить низкоуровневый код.
Но для общего поиска в Интернете революция чат-ботов с искусственным интеллектом может занять больше времени.

Пользователи должны соответствующим образом формировать свои ожидания и всегда проверять заявления технологических компаний, даже компаний с многотриллионными доходами, таких как Microsoft.

На этой неделе в Tech Cover Бэррона

Пишите Тэ Киму по адресу [email protected] или следите за его новостями в Твиттере: @твит