В Яндекс.Диалогах появился новый инструмент для тестирования обработки реплик. С его помощью разработчик сможет выбирать реплики из логов запросов пользователей навыка и проверять, как их обрабатывает NLP.

Раньше разработчикам приходилось тестировать различные варианты запросов самостоятельно, разбирая логи навыка в поиске подходящих и неподходящих реплик. А теперь для этого можно использовать новый инструмент и тестировать обработку реплик на реальных запросах пользователей — с междометиями, различными словоформами или схожими по смыслу фразами.

Инструмент работает в двух режимах:

В режиме «Грамматика» можно посмотреть на те запросы из логов общения пользователя с навыком, на которые срабатывает интент. В этом режиме удобно находить фразы, которые не хочется обрабатывать, и добавлять их в «Отрицательные тесты».

Второй режим — «Семантический поиск» построен на основе машинного обучения. Инструмент подбирает фразы, наиболее похожие по смыслу на те, которые обрабатывает интент. Так удобнее всего искать запросы, которые ранее не обрабатывались навыком.

Например, для интента «согласие» можно выбрать запросы вроде «согласен» и «да». Семантический поиск дает понять, что пользователи на этом шаге говорят и «ок», «окей» или что-то еще.

Подробнее о работе и новой функциональности можно прочесть в документации.

Отметим, летом у разработчиков навыков для Алисы появился новый источник дохода – каждый месяц авторы 50 лучших навыков получают выплаты от Яндекс.Диалогов. До конца года планируется выплатить более 3 млн рублей.