Наш эксперимент с названием AI продолжается: мы сломали машину?

Сейчас мы находимся на третьей фазе проекта машинного обучения, то есть мы прошли мимо отрицания и гнева, и теперь мы скатываемся к торгам и депрессии. Мне было поручено использовать набор данных Ars Technica, полученный в результате пятилетнего тестирования заголовков, в котором две идеи сравниваются друг с другом. A / B тест Позволяет читателям выбрать, какой из них использовать для статьи. Цель состоит в том, чтобы попытаться создать алгоритм машинного обучения, который может предсказать успех любого заголовка. И На момент моей последней регистрацииВсе шло не по плану.

Я также потратил несколько долларов на учетную запись Amazon Web Services, чтобы выяснить это. Опыт может быть немного дорогим. (Намекать: Если у вас ограниченный бюджет, не используйте режим автопилота.)

Мы попробовали несколько способов проанализировать наш пул из 11 000 заголовков из 5 500 титульных тестов – половина победителей и половина проигравших. Сначала мы взяли весь набор в виде значений, разделенных запятыми, и попробовали “Hail Mary” (или, как я понимаю позже, “Hail Mary”)Дженкинс Лерой‘) с помощью инструмента автопилота в SageMaker Studio в AWS. Результат проверки составил 53 процента. Оказалось, что позже это было не так уж плохо, потому что, когда я использовал модель, созданную специально для обработки естественного языка – AWS » BlazingText– Результат был 49-процентной точностью, или даже хуже, чем подбрасывание монеты. (Если, кстати, многое из этого звучит как чепуха, я рекомендую Вернуться к части 2, где я рассмотрю эти инструменты более подробно.)

То, что техническому евангелисту AWS Жюльену Саймону не повезло с нашими данными, было немного утешительно и немного разочаровало. Пытаться альтернативная модель С нашим набором данных в режиме двоичной классификации мы получили точность всего от 53 до 54 процентов. Итак, пришло время посмотреть, что происходит, и можем ли мы исправить это с помощью некоторых настроек модели обучения. В противном случае, возможно, пришло время применить совершенно другой подход.