Кто умнее: Siri или Google Assistant?

Компания Loupventures ежегодно тестирует голосовых помощников в смарт колонках Amazon Echo (Alexa), Google Home (Google Assistant), HomePod (Siri) и Invoke (Cortana).

тест  голосовых помощников
Изображение с сайта loupventures.com

Методика исследования

Каждому голосовому ассистенту через умную колонку задают 800 простых вопросов из 5 категорий:

  • локальные объекты (ближайшие кафе, кинотеатры и т.д.);
  • коммерческие (заказать или доставить что-либо);
  • навигационные (как добраться, проложить маршрут и т.д.);
  • информационные (кто такой…?, кто сегодня играет…, когда было…);
  • команды (напомни о…, посчитай…, включи…).

Также тестировалось и управление голосовыми помощниками элементами «умного дома»: подсветкой и некоторыми приборами.

Оценивается уровень понимания вопроса и адекватность ответа голосового помощника на них.

Результаты

— корректность ответов в декабре и феврале 2018 года (первая и вторая цифры соответственно):

Google Assistant: 87,9% (декабрь) — 81% (февраль)

Siri: 74,6% (декабрь) — 52% (февраль)

Alexa: 72,5 (декабрь) — 64% (февраль)

Cortana: 63,4% (декабрь) — 56% (февраль)

— понимание вопросов:

Google Assistant: 100%

Siri: 99,6%

Cortana: 99,4%

Alexa: 99%

— результаты ответов по категориям вопросов:

Ответы на вопросы голосовыми ассистентами
Изображение с сайта loupventures.com

Выводы

  • Все голосовые ассистенты улучшают показатели работы с пользовательскими запросами, становятся умнее и удобнее в использовании;
  • Уровень технической составляющей распознавания голоса и интерпретации у всех помощников свыше 99%, поэтому не стоит ждать развития ассистентов в этом направлении;
  • Google Assistant, который во многих ответах использует наработки поисковых технологий уверенно лидирует как в понимании, так и в корректности решения запросов пользователя, но это преимущество сокращается по мере обучения других голосовых помощников.

Источник: https://loupventures.com/annual-smart-speaker-iq-test/

Ссылка на основную публикацию