Компания Loupventures ежегодно тестирует голосовых помощников в смарт колонках Amazon Echo (Alexa), Google Home (Google Assistant), HomePod (Siri) и Invoke (Cortana).
Методика исследования
Каждому голосовому ассистенту через умную колонку задают 800 простых вопросов из 5 категорий:
- локальные объекты (ближайшие кафе, кинотеатры и т.д.);
- коммерческие (заказать или доставить что-либо);
- навигационные (как добраться, проложить маршрут и т.д.);
- информационные (кто такой…?, кто сегодня играет…, когда было…);
- команды (напомни о…, посчитай…, включи…).
Также тестировалось и управление голосовыми помощниками элементами «умного дома»: подсветкой и некоторыми приборами.
Оценивается уровень понимания вопроса и адекватность ответа голосового помощника на них.
Результаты
— корректность ответов в декабре и феврале 2018 года (первая и вторая цифры соответственно):
Google Assistant: 87,9% (декабрь) — 81% (февраль)
Siri: 74,6% (декабрь) — 52% (февраль)
Alexa: 72,5 (декабрь) — 64% (февраль)
Cortana: 63,4% (декабрь) — 56% (февраль)
— понимание вопросов:
Google Assistant: 100%
Siri: 99,6%
Cortana: 99,4%
Alexa: 99%
— результаты ответов по категориям вопросов:
Выводы
- Все голосовые ассистенты улучшают показатели работы с пользовательскими запросами, становятся умнее и удобнее в использовании;
- Уровень технической составляющей распознавания голоса и интерпретации у всех помощников свыше 99%, поэтому не стоит ждать развития ассистентов в этом направлении;
- Google Assistant, который во многих ответах использует наработки поисковых технологий уверенно лидирует как в понимании, так и в корректности решения запросов пользователя, но это преимущество сокращается по мере обучения других голосовых помощников.
Источник: https://loupventures.com/annual-smart-speaker-iq-test/
