RU2667717C2

RU2667717C2 - Диалоговые политики на основе параметров окружающей среды и генерация ответа

Info

Publication number: RU2667717C2
Application number: RU2015154501A
Authority: RU
Inventors: Дэниел БОЙС; Ларри ХЕК; Тасос АНАСТАСАКОС; Рухи САРИКАЯ
Original assignee: МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи
Priority date: 2013-06-21
Filing date: 2014-06-05
Publication date: 2018-09-24
Also published as: US10304448B2; CA2913735A1; KR20160021850A; CN105378708A; CN111368155B; US20140379353A1; BR112015031231B1; BR112015031231A8; US9589565B2; BR112015031231A2; AU2014281049B2; AU2019208255A1; EP3011471A1; CN111368155A; MX2015017624A; WO2014204655A1; RU2015154501A3; MX352774B; RU2015154501A; CA2913735C

Abstract

Изобретение относится к переговорной диалоговой системе. Техническим результатом является расширение арсенала технических средств. Система содержит процессор и память; операционную среду, выполняющуюся с использованием процессора; и диалоговый диспетчер, который выполнен с возможностью осуществления действий, содержащих: определение условий окружающей среды, которые связаны с актом пользовательского диалога, при этом условия окружающей среды включают в себя текущие условия окружающей среды, связанные с пользователем, совершающим акт пользовательского диалога, и текущие условия окружающей среды, связанные с другим пользователем, который является частью акта пользовательского диалога; определение машинного действия с использованием акта пользовательского диалога и условий окружающей среды; определение ответа на машинное действие с использованием условий окружающей среды и машинного действия; и обеспечение ответа. 3 н. и 5 з.п. ф-лы, 9 ил.

Description

УРОВЕНЬ ТЕХНИКИ

[0001] Переговорные диалоговые системы используются для разнообразных приложений. Например, разработаны переговорные диалоговые системы, которые позволяют пользователям искать контент, покупать предметы, получать предписания и пр. Эти переговорные диалоговые системы непрерывно усовершенствуются для обеспечения более естественных взаимодействий между компьютером и пользователем.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

[0002] Эта сущность изобретения призвана представлять в упрощенной форме основные принципы, которые дополнительно описаны в нижеследующем подробном описании. Эта сущность изобретения не призвана идентифицировать ключевые признаки или существенные признаки заявленного изобретения, а также не подлежит использованию для помощи в определении объема заявленного изобретения.

[0003] Условия окружающей среды, совместно с другой информацией, используются для регулировки разных операций переговорной диалоговой системы. Условия окружающей среды можно использовать в разные моменты времени в переговорной диалоговой системе. Каждый из компонентов диалогового диспетчера и генерации ответа в переговорной диалоговой системе использует доступные условия окружающей среды совместно с другой информацией в диалоговой системе (например, результатами понимания языка предыдущей реплики в диалоге, результатами распознавания речи и их достоверностью, результатами знания, предыдущим машинными действиями, контекстом сеанса, контекстом клиента …) при осуществлении своих операций. Например, условия окружающей среды можно использовать для регулировки выхода диалогового диспетчера (например, машинного действия). Информация состояния диалога, которая используется диалоговым диспетчером, включает в себя условия окружающей среды совместно с другой диалоговой информацией для текущей реплики в диалоге, а также условия окружающей среды для одной или более предыдущих реплик в диалоге. Условия окружающей среды также можно использовать после приема машинного действия для регулировки ответа, который предоставляется пользователю. Например, генератор ответа может использовать условия окружающей среды для определения, как пользователю предоставляется машинное действие (например, речевое, визуальное).

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0004] Фиг. 1 демонстрирует использование условий окружающей среды для регулировки разных операций, осуществляемых переговорной диалоговой системой;

[0005] фиг. 2 демонстрирует взаимодействия между приложением и диалоговой услугой для конфигурирования разрешений;

[0006] фиг. 3 демонстрирует иллюстративную переговорную диалоговую систему, использующую условия окружающей среды;

[0007] фиг. 4 демонстрирует процесс для использования условий окружающей среды в переговорной диалоговой системе;

[0008] фиг. 5 демонстрирует иллюстративную онлайновую систему, которая использует условия окружающей среды при определении машинного действия и как доставлять ответ в диалоге; и

[0009] фиг. 6, 7A, 7B и 8 и соответствующие описания обеспечивают рассмотрение различных операционных сред, в которых можно практически применять варианты осуществления изобретения.

ПОДРОБНОЕ ОПИСАНИЕ

[0010] Далее будут описаны чертежи, в которых сходные ссылочные позиции представляют сходные элементы, в различных вариантах осуществления.

[0011] Фиг. 1 демонстрирует использование условий окружающей среды для регулировки разных операций, осуществляемых переговорной диалоговой системой.

[0012] Как показано, система 100 включает в себя диалоговую услугу 105, диалоговый диспетчер 26, разрешения и настройки 110, генератор 120 машинного действия, диалоговую политику 130, генератор 140 ответа, информацию 145 состояния диалога, условия 150 окружающей среды, модель(и) 160 понимания, приложение 110 и устройство 115 ввода на основе сенсорного экрана.

[0013] В целом, переговорная диалоговая система 100 использует сигналы окружающей среды (например, понимание языка и результаты знания, результаты распознавания речи и их достоверность …) для политики и генерации ответа помимо использования другой информации или сигналов, обычно доступных в диалоговой системе. Сигналы окружающей среды расширяют (не заменяют) сигналы, обычно используемые в диалоговой системе. Диалоговый диспетчер 26 использует условия 150 окружающей среды в дополнение к информации 145 состояния диалога для регулировки разных операций переговорной диалоговой системы. Условия окружающей среды можно использовать в разные моменты времени в переговорной диалоговой системе 100. Компоненты диалогового диспетчера 26, генератора 120 машинного действия и генератора 140 ответа в переговорной диалоговой системе 100 могут использовать доступные условия 150 окружающей среды при осуществлении своих операций.

[0014] Генератор 120 машинного действия может использовать условия 150 окружающей среды для регулировки определяемого машинного действия совместно с информацией 145 состояния использования диалога. В целом, условия 150 окружающей среды расширяют информацию 145 состояния диалога, которая используется в диалоговой системе. Например, информация 145 состояния диалога включает в себя информацию, например, но без ограничения: например, результаты понимания языка предыдущей реплики в диалоге, результаты распознавания речи и их достоверность, результаты знания, предыдущие машинные действия, контекст сеанса, контекст клиента и пр. Каждое взаимодействие между пользователем и вычислительным устройством (т.е. машиной) является репликой. Текущая реплика является текущим взаимодействием между пользователем и машиной, для которой определяется машинное действие. Предыдущая реплика является предыдущим взаимодействием между пользователем и машиной. Согласно варианту осуществления, информация 145 состояния диалога включает в себя информацию, относящуюся к одной или более предыдущим репликам. Например, результаты понимания языка, которые связывают значение с предложением на естественном языке, хранятся в информации 145 состояния диалога. Эти предыдущие результаты понимания языка можно использовать для обеспечения контекста текущей реплики в диалоге. Информация состояния диалога также может включать в себя результаты знания, которые являются результатами, возвращаемыми из источника знаний, например, базы данных или источника данных. Например, если пользователь запрашивает фильмы в реплике диалога, результаты знания включают в себя перечень фильмов. Машинное действие, определяемое с использованием условий окружающей среды, может отличаться от определяемого машинного действия без использования условий окружающей среды. Например, машинное действие, которое генерируется генератором 120 машинного действия, может указывать необходимость спросить водителя, действительно ли он хочет сделать вызов во время движения, когда условия 150 окружающей среды указывают, что пользователь в данный момент ведет машину. Без использования условий 150 окружающей среды для расширения машинного действия, генератор 120 машинного действия, вероятно, будет генерировать машинное действие для автоматического инициирования вызова, когда пользователь в данный момент ведет машину, вместо того, чтобы спрашивать водителя, действительно ли он хочет сделать вызов во время движения. Генератор 120 машинного действия использует диалоговую политику 130 при определении машинного действия. Диалоговая политика 130 включает в себя разные правила, в том числе, правила, которые используют условия 150 окружающей среды и другую информацию состояния диалога, для регулировки генерируемого машинного действия.

[0015] Условия 150 окружающей среды также можно использовать генератором 140 ответа после приема машинного действия для регулировки ответа, который предоставляется пользователю. Условия 150 окружающей среды может влиять на то, как машинное действие (например, речевое, визуальное …) предоставляется пользователю. Например, ответ, генерируемый генератором 140 ответа, может быть визуальным ответом, когда условия 150 окружающей среды указывают, что окружающая среда пользователя зашумлена. Ответ, генерируемый генератором 140 ответа, может быть звуковым ответом, когда условия 150 окружающей среды указывают, что окружающая среда пользователя очень ярка, и маловероятно, что дисплей можно видеть отчетливо.

[0016] Условия 150 окружающей среды могут включать в себя разнообразные условия, например, но без ограничения: погодные условия, условия трафика, условия текущей активности, используемое в данный момент вычислительное устройство и пр. Условия текущей активности могут включать в себя информацию, например, но без ограничения: текущую скорость, текущее местоположение и пр. В целом, условия окружающей среды относятся к любым условиям окружающей среды, которые связаны с пользователем, обеспечивающим ввод (акт пользовательского диалога). Согласно варианту осуществления, условия окружающей среды также могут быть связаны с другим пользователем 154 (например, вызываемым контактом). Согласно варианту осуществления, условия окружающей среды, которые собираются и используются для регулировки работы переговорной диалоговой системы, задаются и авторизуются пользователем.

[0017] Для облегчения связи с диалоговым диспетчером 26, можно реализовать одну или более процедур обратного вызова. Согласно варианту осуществления, прикладная программа 110 является многорежимным приложением, которое выполнено с возможностью приема речевого ввода и ввода от устройства 115 ввода, чувствительного к прикосновению или других устройств ввода. Например, голосовой ввод, ввод с клавиатуры (например, физической клавиатуры и/или SIP), ввод на основе видео и пр. Прикладная программа 110 также может обеспечивать многорежимный вывод (например, речь, графику, вибрации, звуки, …). Диалоговый диспетчер 26 может обеспечивать информацию на/от приложения 110 в ответ на пользовательский ввод (например, речь, жест). Например, пользователь может сказать фразу для идентификации задания, осуществляемого приложением 110 (например, выбора фильма, покупки предмета, идентификации продукта, …). Жесты могут включать в себя, но без ограничения: щипковый жест; растягивающий жест; жест выбора (например, тычковое действие на отображаемом элементе); жест выбора и удержания (например, жест тычка и удержания, принятое на отображаемом элементе); маховое действие и/или действие перетаскивание; и пр. Жесты также могут включать в себя оптически захватываемые жесты, например: волновой жест, прокручивающий жест, направляющий жест и пр. Например, для обнаружения жестов можно использовать такое устройство, как MICROSOFT KINECT.

[0018] Система 100, как показано, содержит устройство 115 ввода на основе сенсорного экрана, которое обнаруживает, когда был принят тактильный ввод (например, палец, касающийся или почти касающийся сенсорного экрана). Можно использовать сенсорный экран любого типа, который обнаруживает тактильный ввод пользователя.

[0019] Для взаимодействия с диалоговой услугой 105 можно использовать естественный пользовательский интерфейс (NUI) и/или какие-либо другие интерфейсы. Например, для взаимодействия с диалоговой услугой 105 можно использовать комбинацию диалога на естественном языке и других невербальных режимов выражения намерения (например, жестов, например, вышеописанных жестов, прикосновения, взгляда, изображений, видеозаписей, устной просодии и т.д.). Диалоговый диспетчер 26 может использовать модель понимания (например, модель понимания языка (LU) или многорежимную модель понимания). Как показано, диалоговый диспетчер 26 составляет часть диалоговой услуги 105, которая принимает речевые фрагменты и выполнена с возможностью иметь диалог с пользователем.

[0020] В целом, понимание естественного языка (NLU) в целеориентированных диалоговых системах направлено на идентификацию области(ей) и намерения(ий) пользователя, выраженных на естественном языке (NL), и на извлечение соответствующих аргументов или слотов. Например, в области авиалиний, пользователи часто запрашивают информацию о рейсе (например, “Я хочу полететь в Бостон из Нью-Йорка на следующей неделе”). Дополнительные подробности приведены ниже.

[0021] Фиг. 2 демонстрирует взаимодействия между приложением и диалоговой услугой для конфигурирования разрешений.

[0022] Как показано, фиг. 2 демонстрирует диалоговую услугу 105, включающую в себя настройки 210 и журнал(ы) 212, и приложение 110 которое включает в себя пользовательский интерфейс 222 настроек, пользовательский интерфейс 226 аудита, пользовательский интерфейс 228 местоположения и локальные настройки 224.

[0023] Пользователь может конфигурировать разные критерии, например, разрешения, фильтры и настройки, которые относятся к работе приложения 110 и к использованию и сбору условий окружающей среды, которые связаны с одним или более пользователями. Например, авторизованный пользователь может определить, что условия окружающей среды могут собираться и использоваться диалоговой услугой 105.

[0024] Пользователь может устанавливать разрешения, которые указывают, какие условия окружающей среды можно собирать. Например, пользователь может дать согласие на сбор и использование диалоговой услугой 105 различных типов условий окружающей среды.

[0025] Пользователь также может конфигурировать один или более фильтров, которые фильтруют информацию с использованием различных критериев (например, времени суток, запрашивающего устройства, местоположения запрашивания и пр.). Например, пользователь может давать согласие на сбор определенных условий окружающей среды в течение определенных промежутков времени и не давать согласие на сбор условий окружающей среды в течение других промежутков времени. Пользователь может конфигурировать фильтр для ограничения точности одного или более из условий окружающей среды. Например, информацию местоположения, которая связана с пользователем, можно конфигурировать для обеспечения общего местоположения по сравнению с детальным местоположением. Пользователь также может устанавливать локальные настройки 224, например, настройки адаптации приложения (например, цветовые схемы, пиктограммы и пр.) для использования при взаимодействии с приложением 110. Например, настройки 224 могут изменять внешний вид пользовательского интерфейса, например UI 228.

[0026] Пользовательский интерфейс 226 аудита авторизованный пользователь может использовать для просмотра информации, относящейся к условиям окружающей среды, которая хранятся в журнале 212, и взаимодействия с ней. Доступ к данным, связанным с журналом, имеет только авторизованный пользователь, предоставивший правильный набор удостоверений защиты. Данные безопасно хранятся в журнале(ах) 212.

[0027] Фиг. 3 демонстрирует иллюстративную переговорную диалоговую систему, использующую условия окружающей среды.

[0028] Как показано, система 300 включает в себя диспетчер 310 ввода, компонент 320 понимания языка, диалоговый движок 330, генератор 140 ответа и движок 350 окружающей среды.

[0029] Диспетчер 310 ввода выполнен с возможностью приема пользовательского ввода (акта пользовательского диалога). Актом пользовательского диалога может быть пользовательский ввод того или иного типа. Например, актом пользовательского диалога может быть речевой ввод (например, речевой фрагмент), тактильный ввод, жестовый ввод, текстовый ввод, а также другие типы ввода. Диспетчер 310 ввода может включать в себя разные компоненты, например, автоматический распознаватель речи (ASR), распознаватель жестов, распознаватель рукописного текста и пр. Когда актом пользовательского диалога является речь, речь распознается диспетчером 310 ввода с использованием ASR. Диспетчер 310 ввода выводит текст, который поступает на компонент 320 понимания языка.

[0030] Компонент 320 понимания языка выполнен с возможностью приема и анализа текста. В целом, компонент 320 понимания языка связывает значение со словами текста. Например, компонент 320 понимания языка может размечать текст, осуществлять синтаксический анализ текста и пр. Компонент 320 понимания языка традиционно является компонентом на основе правил, который преобразует предложения естественного языка в семантические представления.

[0031] Диалоговый движок 330 управляет диалогом путем определения машинного действия в ответ на акт пользовательского диалога. Диалоговый движок 330 может представлять собой модель на основе правил или статистическую модель, или некоторую комбинацию модели на основе правил и статистической модели. Диалоговый движок 330 вычисляет возможные состояния диалога с использованием компонента 332 вычисления состояния диалога. При вычислении возможных состояний диалога компонент 332 вычисления состояния диалога использует условия окружающей среды, полученные от движка 350 окружающей среды, помимо другой информации состояния диалога. Условия окружающей среды, которые используются диалоговой системой, представляют собой, помимо другой диалоговой информации, обычно используемой в диалоговой системе, например, но без ограничения: результаты понимания языка предыдущей реплики, результаты распознавания речи и их достоверность, результаты знания, предыдущие машинные действия, контекст сеанса, контекст клиента и пр. Условия окружающей среды могут быть связаны с одним или более пользователями. Диалоговый диспетчер 26 определяет машинное действие или машинные действия. Информация состояния диалога, которая используется диалоговым диспетчером 26, включает в себя условия окружающей среды для текущей реплики в диалоге, а также условия окружающей среды для одной или более предыдущих реплик в диалоге. Диалоговый движок 330 выдает определенное машинное действие на генератор 140 ответа.

[0032] Генератор 140 ответа использует условия окружающей среды, полученные от движка окружающей среды, помимо другой диалоговой информации, для определения типа ответа, предоставляемого пользователю. Например, генератор 140 ответа может определять, предоставить ли пользователю речевой ответ или визуальный ответ. Например, компонент тексторечевого преобразования ("TTS"), в результате определения, может выводить ответ в виде синтезированной речи. Согласно варианту осуществления, условия окружающей среды обновляются после того, как диалоговый диспетчер 26 определяет машинное действие, и до того, как генератор 140 ответа принимает условия окружающей среды.

[0033] Фиг. 4 демонстрирует процесс для использования условий окружающей среды в переговорной диалоговой системе. Из представленного здесь описания процедур следует, что логические операции различных вариантов осуществления реализованы (1) как последовательность осуществляемых на компьютере действий или программных модулей, выполняющихся на вычислительной системе и/или (2) как соединенные между собой схемы машинной логики или схемные модули в вычислительной системе. Реализация является вопросом выбора, зависящего от требований производительности вычислительной системы, реализующей изобретение. Соответственно, логические операции, проиллюстрированные и составляющие описанные здесь варианты осуществления, именуются по-разному как операции, структурные устройства, действия или модули. Эти операции, структурные устройства, действия и модули можно реализовать программными средствами, программно-аппаратными средствами, в виде цифровой логики специального назначения, и любой их комбинации.

[0034] После начальной операции, процесс 400 переходит к операции 410, где принимается акт пользовательского диалога. Актом пользовательского диалога может быть пользовательский ввод того или иного типа, например, но без ограничения: речевой ввод (например, речевой фрагмент), тактильный ввод, жестовый ввод, текстовый ввод, а также другие типы ввода. В целом, акт пользовательского диалога составляет часть переговоров с диалоговой системой.

[0035] При переходе к операции 420, определяются условия окружающей среды. Условия окружающей среды связаны с одним или более пользователями. Например, условия окружающей среды могут быть текущими условиями окружающей среды, которые связаны с пользователем, совершающим акт пользовательского диалога. Условия окружающей среды также могут быть текущими условиями окружающей среды, которые связаны с другим пользователем, который является частью акта пользовательского диалога. Например, акт пользовательского диалога может быть актом для контакта с другим пользователем. Условия окружающей среды могут включать в себя разнообразные условия, например, но без ограничения: погодные условия (например, температуру, давление …), условия трафика, условия текущей активности, используемое в данный момент вычислительное устройство и пр. В целом, любые условия окружающей среды могут определяться и использоваться переговорной диалоговой системой. Условия текущей активности могут включать в себя разнообразные условия окружающей среды, например, местоположение пользователя, скорость пользователя и пр.

[0036] При переходе к операции 430, машинное действие определяется с использованием условий окружающей среды, другой информации состояния диалога и акта пользовательского диалога. Согласно варианту осуществления, при вычислении возможных состояний диалога переговорная диалоговая система, помимо другой информации состояния диалога, использует условия окружающей среды. Например, другая информация состояния диалога может включать в себя, но без ограничения: результаты понимания языка предыдущей реплики, результаты распознавания речи и их достоверность, результаты знания, предыдущие машинные действия, контекст сеанса, контекст клиента и пр. Информация состояния диалога включает в себя условия окружающей среды для текущей реплики в диалоге, а также условия окружающей среды для одной или более предыдущих реплик в диалоге.

[0037] Нижеследующие примеры иллюстрируют регулировку машинного действия с использованием условий окружающей среды и другой информации в диалоговой системе для определения машинного действия. Примеры приведены в целях иллюстрации, но не ограничения.

[0038] Ниже приведен пример диалога, когда пользователь ведет машину. 1) Пользователь: “Позвонить Павлу на домашний”; 2) диалоговая система: “Уверены, что хотите звонить во время движения?” Как можно видеть, машинное действие, вместо осуществления вызова, отрегулировано запрашивать, хочет ли пользователь сделать вызов.

[0039] Следующим примером является диалог, где пользователь пытается вызвать контакт в период времени, когда контакт, скорее всего, спит. 1) Пользователь: “Позвонить Павлу”; 2) диалоговая система: “Павел сейчас, наверное, спит. Не хотите ли взамен отправить Павлу сообщение?” В этом примере, условия окружающей среды, которые связаны с контактом, изменили машинное действие.

[0040] Следующим примером является диалог, где пользователь пытается сделать вызов, когда пользователь находится в режиме роуминга, или контакт находится в режиме роуминга. 1) Пользователь: “Позвонить Павлу”; диалоговая система: “Звонок Павлу будет стоить Павлу два доллара в минуту, поскольку он сейчас в роуминге. Не хотите ли взамен отправить Павлу сообщение?” В этом примере, условия окружающей среды, изменившие машинное действие, связаны с текущей активностью контакта.

[0041] Следующим примером является диалог, где пользователь пытается вызвать контакт, когда контакт, вероятно, ведет машину. 1) Пользователь: “Позвонить Павлу”; 2) диалоговая система: “Павел сейчас может быть за рулем. Не хотите ли взамен отправить Павлу сообщение?” В этом примере, условия окружающей среды, изменившие машинное действие, связаны с текущей активностью контакта.

[0042] Следующим примером является диалог, где пользователь пытается вызвать контакт, когда контакт находится в зашумленной окружающей среде. 1) Пользователь: “Позвонить Павлу”; 2) диалоговая система “Возможно, Павел плохо слышит Вас. Не хотите ли взамен отправить сообщение?” В этом примере, условия окружающей среды, изменившие машинное действие, связаны с текущими шумовыми условиями контакта.

[0043] После операции 440, ответ на машинное действие определяется с использованием условий окружающей среды. Может быть обеспечено много различных типов ответа (например, визуальный, звуковой, тактильный …). Пользователю может предоставляться речевой ответ, или пользователю может предоставляться визуальный ответ. Например, пользователь может находиться в зашумленной окружающей среде, и ответ регулируется, чтобы быть громче нормального. Тип ответа также может изменяться. Например, ответ может изменяться от звукового ответа к визуальному ответу.

[0044] При переходе к операции 450, пользователю предоставляется ответ.

[0045] Затем процесс переходит к конечной операции и возвращается к обработке других действий.

[0046] Фиг. 5 демонстрирует иллюстративную онлайновую систему, которая использует условия окружающей среды при определении машинного действия и как доставлять ответ в диалоге. Как показано, система 1000 включает в себя услугу 1010, хранилище 1045 данных, условия 150 окружающей среды, устройство 1050 ввода на основе сенсорного экрана (например, графический планшет), смартфон 1030 и устройство 1080 отображения.

[0047] Как показано, услуга 1010 является облачной услугой и/или услугой в масштабах предприятия, которую можно конфигурировать для обеспечения таких услуг, как описанные здесь диалоговые услуги. С услугой можно взаимодействовать с использованием различных типов ввода и вывода. Например, пользователь может использовать речевой ввод, тактильный ввод, аппаратный ввод и пр. Функциональные возможности одной или более из услуг, предоставляемых услугой 1010, также могут быть сконфигурированы как приложение клиентско-серверной основе.

[0048] Как показано, услуга 1010 является многоабонентской услугой которая предоставляет ресурсы 1015 и услуги любому количеству абонентов (например, абонентам 1-N). Многоабонентская услуга 1010 является облачной услугой, которая предоставляет ресурсы 1015 абонентам, подписавшимся на услугу, и поддерживает данные каждого абонента в отдельности и защищенные от других абонентских данных.

[0049] Система 1000, как показано, содержит устройство 1050 ввода на основе сенсорного экрана (например, устройство графического планшета) и смартфон 1030, который обнаруживает, когда был принят тактильный ввод (например, палец, касающийся или почти касающийся сенсорного экрана). Можно использовать сенсорный экран любого типа, который обнаруживает тактильный ввод пользователя. Например, сенсорный экран может включать в себя один или более слоев емкостного материала, который обнаруживает тактильный ввод. Помимо или вместо емкостного материала можно использовать другие датчики. Например, можно использовать инфракрасные (IR) датчики. Согласно варианту осуществления, сенсорный экран выполнен с возможностью обнаружения объектов, который контактирует с или над касаемой поверхностью. Хотя в этом описании используется термин "над", следует понимать, что ориентация системы сенсорной панели не имеет значения. Термин "над" применимо ко всем таким ориентациям. Сенсорный экран можно конфигурировать для определения положений приема тактильного ввода (например, начальной точки, промежуточных точек и конечной точки). Фактический контакт между касаемой поверхностью и объектом можно обнаруживать любыми подходящими средствами, в том числе, например, датчиком вибрации или микрофоном, подключенным к сенсорной панели. Неполный перечень примеров датчиков обнаружения контакта включает в себя механизмы регистрации давления, микроскопические акселерометры, пьезоэлектрические устройства, емкостные датчики, резистивные датчики, индуктивные датчики, лазерные виброметры и светодиодные виброметры.

[0050] Согласно варианту осуществления, смартфон 1030, устройство 1050 ввода на основе сенсорного экрана и устройство 1080 выполнены с возможностью многорежимного ввода и вывода, и каждый из них включает в себя приложение (1031, 1051, 1081), которое взаимодействует с услугой 1010.

[0051] Как показано, устройство 1050 ввода на основе сенсорного экрана, смартфон 1030 и устройство 1080 отображения демонстрирует иллюстративные дисплеи 1052, 1032 и 1082, демонстрирующие использование приложения. Данные могут храниться на устройстве (например, смартфоне 1030, устройстве 1050 ввода на основе сенсорного экрана и/или в каком-либо другом месте (например, сетевом хранилище 1045 данных). Хранилище 1045 данных, или какое-либо другое хранилище, можно использовать для хранения модели понимания, а также других данных. Приложения, используемые устройствами, могут быть клиентскими приложениями, серверными приложениями, облачными приложениями или некоторой комбинации. Согласно варианту осуществления, устройство 1080 отображения является таким устройством, как MICROSOFT XBOX, подключенный к дисплею.

[0052] Диалоговый диспетчер 26 выполнен с возможностью осуществления операций, связанных с описанными здесь процессами. Диалоговый диспетчер 26 выполнен с возможностью доступа к условиям 150 окружающей среды. Хотя диспетчер 26 показан в услуге 1010, функциональные возможности диспетчера могут быть включены в другие положения (например, на смартфоне 1030 и/или устройстве 1050 ввода на основе сенсорного экрана и/или устройстве 1080).

[0053] Описанные здесь варианты осуществления и функциональные возможности могут действовать посредством большого количества вычислительных систем, включающих в себя, без ограничения, настольные компьютерные системы, проводные и беспроводные вычислительные системы, мобильные вычислительные системы (например, мобильные телефоны, нетбуки, компьютеры типа планшета или графического планшета, компьютеры-ноутбуки и портативные компьютеры), карманные устройства, многопроцессорные системы, микропроцессорную или программируемую бытовую электронику, миникомпьютеры и универсальные компьютеры.

[0054] Кроме того, описанные здесь варианты осуществления и функциональные возможности могут действовать в распределенных системах (например, облачных вычислительных системах), где прикладные функциональные возможности, память, хранение и извлечение данных и различные функции обработки могут осуществляться удаленно друг от друга в распределенной вычислительной сети, например, интернете или интрасети. Пользовательские интерфейсы и информация различных типов могут отображаться посредством встроенных дисплеев вычислительных устройств или посредством удаленных блоков отображения, связанных с одним или более вычислительными устройствами. Например, пользовательские интерфейсы и информация различных типов можно отображать, и с ними можно взаимодействовать на поверхности стены, на которую проецируются пользовательские интерфейсы и информация различных типов. Взаимодействие с большим количеством вычислительных систем, позволяющих практически применять варианты осуществления изобретения, включает в себя, клавишный ввод, ввод через сенсорный экран, голосовой или другой аудиоввод, жестовый ввод, когда соответствующее вычислительное устройство снабжено функциональными возможностями обнаружения (например, камерой) для захвата и интерпретации жестов пользователя для управления функционированием вычислительного устройства и пр.

[0055] Фиг. 6-8 и соответствующие описания обеспечивают рассмотрение различных операционных сред, в которых можно практически применять варианты осуществления изобретения. Однако устройства и системы, проиллюстрированные и рассмотренные со ссылкой на фиг. 6-8, приведены в целях примера и иллюстрации, но не ограничения большого количества конфигураций вычислительного устройства, которые можно использовать для практического применения описанных здесь вариантов осуществления изобретения.

[0056] На фиг. 6 показана блок-схема, демонстрирующая физические компоненты (т.е. аппаратные) вычислительного устройства 1100, позволяющие практически применять варианты осуществления изобретения. Описанные ниже компоненты вычислительного устройства могут быть пригодны для вышеописанных вычислительных устройств. В базовой конфигурации, вычислительное устройство 1100 может включать в себя по меньшей мере один блок 1102 обработки и системную память 1104. В зависимости от конфигурации и типа вычислительного устройства, системная память 1104 может содержать, но без ограничения, энергозависимое хранилище (например, оперативную память), энергонезависимое хранилище (например, постоянную память), флэш-память или любую комбинацию таких блоков памяти. Системная память 1104 может включать в себя операционную систему 1105 и один или более программных модулей 1106 пригодных для выполнения прикладных программ 1120, например диалоговый диспетчер 26. Операционная система 1105, например, может быть пригодна для управления работой вычислительного устройства 1100. Кроме того, варианты осуществления изобретения можно практически применять совместно с библиотекой графики, другими операционными системами или любой другой прикладной программой и не ограничивается никаким конкретным приложением или системой. Эта базовая конфигурация представлена на фиг. 6 компонентами, обрамленными пунктирной линией 1108. Вычислительное устройство 1100 может иметь дополнительные признаки или функциональные возможности. Например, вычислительное устройство 1100 также может включать в себя, например, дополнительные устройства хранения данных (сменные и/или стационарные), например, магнитные диски, оптические диски или ленту. Такое дополнительное хранилище представлено на фиг. 6 сменным запоминающим устройством 1109 и стационарным запоминающим устройством 1110.

[0057] Как указано выше, несколько программных модулей и файлов данных может храниться в системной памяти 1104. При выполнении на блоке 1102, обработки, программные модули 1106 (например, диалоговый диспетчер 26) могут осуществлять процессы, включающие в себя, но без ограничения, одну или более стадий способов и процессов, проиллюстрированных на фигурах. Другие программные модули, которые можно использовать в соответствии с вариантами осуществления настоящего изобретения, может включать в себя приложения электронной почты и контактов, приложения редактирования текста, приложения электронной таблицы, приложения базы данных, приложения презентации слайдов, прикладные или компьютерные программы рисования и т.д.

[0058] Кроме того, варианты осуществления изобретения можно практически применять в электрической схеме, содержащей дискретные электронные элементы, упакованные или интегральные электронные микросхемы, содержащие логические вентили, схему, использующую микропроцессор, или на едином кристалле, содержащем электронные элементы или микропроцессоры. Например, варианты осуществления изобретения можно практически применять в виде однокристальной системы (SOC), где каждый или многие из компонентов, представленных на фиг. 6, могут интегрироваться в единую интегральную схему. Такое устройство SOC может включать в себя один или более блоков обработки, блоков графики, блоков связи, блоков виртуализации системы, и различные прикладные функциональные возможности, которые все встроены (или “вшиты”) в подложку кристалла в качестве единой интегральной схемы. При работе посредством SOC, функциональные возможности, описанные здесь в отношении диалоговый диспетчер 26 могут действовать посредством зависящей от приложения логики, объединенной с другими компонентами вычислительного устройства 1100 на единой интегральной схеме (кристалле). Варианты осуществления изобретения также можно практически применять с использованием других технологий, позволяющих осуществлять логические операции, например, например, AND, OR и NOT, в том числе, но без ограничения, механических, оптических, жидкостных и квантовых технологий. Кроме того, варианты осуществления изобретения можно практически применять в компьютере общего назначения или в любых других схемах или системах.

[0059] Вычислительное устройство 1100 также может иметь одно или более устройств 1112 ввода, например, клавиатуру, мышь, перо, устройство звукового ввода, устройство сенсорного ввода и т.д. Также могут быть включены устройство(а) 1114 вывода, например, дисплей, громкоговорители, принтер и т.д. Вышеупомянутые устройства являются примерами, и можно использовать другие. Вычислительное устройство 1100 может включать в себя одно или более соединений 1116 с возможностью связи, позволяющих осуществлять связь с другими вычислительными устройствами 1118. Примеры пригодных соединений 1116 с возможностью связи включают в себя, но без ограничения, схемы RF передатчика, приемника и/или приемопередатчика; универсальную последовательную шину (USB), параллельные и/или последовательные порты.

[0060] Используемый здесь термин "компьютерно-считываемые носители" может включать в себя компьютерные носители данных. Компьютерные носители данных могут включать в себя энергозависимые и энергонезависимые, сменные и стационарные носители, реализованные посредством любого способа или технологии для хранения информации, например, компьютерно-считываемых инструкций, структур данных или программных модулей. Системная память 1104, сменное запоминающее устройство 1109 и стационарное запоминающее устройство 1110 являются примерами компьютерных носителей данных (т.е. запоминающего устройства). Компьютерные носители данных может включать в себя RAM, ROM, электрически стираемую постоянную память (EEPROM), флэш-память или другую технологию памяти, CD-ROM, цифровые универсальные диски (DVD) или другое оптическое запоминающее устройство, магнитные кассеты, магнитную ленту, магнитное дисковое запоминающее устройство или другие магнитные запоминающие устройства, или любое другое промышленное изделие, которые можно использовать для хранения информации, и к которым может обращаться вычислительное устройство 1100. Любые такие компьютерные носители данных могут входить в состав вычислительного устройства 1100. Компьютерные носители данных не включает в себя несущую волну или другой распространяющийся или модулированный сигнал данных.

[0061] Среды связи можно реализовать в виде компьютерно-считываемых инструкций, структур данных, программных модулей или других данных в модулированном сигнале данных, например, несущей волне или другом механизме переноса, и включать в себя любые носители доставки информации. Термин “модулированный сигнал данных” могут описывать сигнал, одна или более характеристик которого устанавливается или изменяется таким образом, чтобы кодировать информацию в сигнале. В порядке примера, но не ограничения, среды связи могут включать в себя проводные носители, например, проводную сеть или прямое проводное соединение, и беспроводные среды передачи данных, например, акустические, радиочастотные (RF), инфракрасные и другие беспроводные среды передачи данных.

[0062] Фиг. 7A и 7B демонстрируют мобильное вычислительное устройство 1200, например, мобильный телефон, смартфон, планшетный персональный компьютер, портативный компьютер и пр., позволяющие практически применять варианты осуществления изобретения. Со ссылкой на фиг. 7A, проиллюстрирован один вариант осуществления мобильного вычислительного устройства 1200 для реализации вариантов осуществления. В базовой конфигурации, мобильным вычислительным устройством 1200 является карманный компьютер, имеющий элементы ввода и элементы вывода. Мобильное вычислительное устройство 1200 обычно включает в себя дисплей 1205 и одну или более кнопок 1210 ввода, которые позволяют пользователю вводить информацию в мобильное вычислительное устройство 1200. Дисплей 1205 мобильного вычислительного устройства 1200 также может действовать как устройство ввода (например, дисплей с сенсорным экраном). Если включен, необязательный боковой элемент 1215 ввода допускает дополнительный пользовательский ввод. Боковым элементом 1215 ввода может быть вращательный переключатель, кнопка или элемент ручного ввода любого другого типа. В альтернативных вариантах осуществления, мобильное вычислительное устройство 1200 может включать в себя больше или меньше элементов ввода. Например, дисплей 1205, в некоторых вариантах осуществления, может не быть сенсорным экраном. В еще одном альтернативном варианте осуществления, мобильное вычислительное устройство 1200 является системой портативного телефона, например сотовым телефоном. Мобильное вычислительное устройство 1200 также может включать в себя необязательную клавишную панель 1235. Необязательная клавишная панель 1235 может быть физической клавишной панелью или “программной” клавишной панелью, сгенерированной на дисплее с сенсорным экраном. В различных вариантах осуществления, элементы вывода включают в себя дисплей 1205 для демонстрации графического пользовательского интерфейса (GUI), визуальный индикатор 1220 (например, светодиодный) и/или преобразователь 1225 аудиосигнала (например, громкоговоритель). В некоторых вариантах осуществления, мобильное вычислительное устройство 1200 включает в себя вибрационный преобразователь для снабжения пользователя тактильной обратной связью. В еще одном варианте осуществления, мобильное вычислительное устройство 1200 включает в себя входной и/или выходной порты, например вход аудиосигнала (например, гнездо для подключения микрофона), выход аудиосигнала (например, гнездо для подключения головных телефонов) и выход видеосигнала (например, порт HDMI) для отправки сигналов на внешнее устройство или прием сигналов от него.

[0063] На фиг. 7B показана блок-схема, демонстрирующая архитектуру одного варианта осуществления мобильного вычислительного устройства. Таким образом, мобильное вычислительное устройство 1200 может включать в себя систему 1202 (т.е. архитектуру) для реализации некоторых вариантов осуществления. В одном варианте осуществления, система 1202 реализуется в виде “смартфона”, способного выполнять одно или более приложений (например, браузера, программы электронной почты, программы календаря, менеджера контактов, клиента службы обмена сообщениями, игровой программы и клиента/проигрывателя медийных материалов). В некоторых вариантах осуществления, система 1202 интегрирована как вычислительное устройство, например, карманный персональный компьютер (PDA), объединенный с беспроводным телефоном.

[0064] Одна или более прикладных программ 1266 может загружаться в память 1262 и выполняться на операционной системе 1264 или совместно с ней. Примеры прикладных программ включают в себя программы набора номера телефона, программы электронной почты, программы управления личной информацией (PIM), программы редактирования текста, программы электронной таблицы, программы интернет-браузера, программы обмена сообщениями и т.д. Система 1202 также включает в себя участок 1268 энергонезависимой памяти в памяти 1262. Участок 1268 энергонезависимой памяти можно использовать для хранения постоянной информации, которая не должна быть потеряна при отключении питания системы 1202. Прикладные программы 1266 могут использовать и сохранять в участке 1268, энергонезависимой памяти такую информацию, как электронная почта или другие сообщения, используемые приложением электронной почты и пр. Приложение синхронизации (не показано) также располагается в системе 1202 и запрограммировано взаимодействовать с соответствующим приложением синхронизации, присутствующим на хост-компьютере, для поддержания синхронизации информации, хранящейся в участке 1268 энергонезависимой памяти, с соответствующей информацией, хранящейся на хост-компьютере. Очевидно, другие приложения могут загружаться в память 1262 и выполняться на мобильном вычислительном устройстве 1200, включающий в себя описанный здесь диалоговый диспетчер 26.

[0065] Система 1202 имеет источник 1270 питания, который можно реализовать в виде одной или более батарей. Источник 1270 питания может дополнительно включают в себя внешний источник питания, например, адаптер переменного тока или зарядную док-станцию, которая пополняет или подзаряжает батареи.

[0066] Система 1202 также может включать в себя блок 1272 радиосвязи, который осуществляет функцию передачи и приема радиопередач. Блок 1272 радиосвязи обеспечивает возможность беспроводного соединения между системой 1202 и “внешним миром” через носитель передач или поставщика услуг. Передачи на блок 1272 радиосвязи и от него осуществляются под управлением операционной системы 1264. Другими словами, передачи, принятые блоком 1272 радиосвязи, могут рассылаться на прикладные программы 1266 через операционную систему 1264, и наоборот.

[0067] Визуальный индикатор 1220 можно использовать для обеспечения визуальных извещений, и/или аудиоинтерфейс 1274 можно использовать для создания звуковых извещений с помощью преобразователя 1225 аудиосигнала. В проиллюстрированном варианте осуществления, визуальным индикатором 1220 является светодиод (LED), и преобразователем 1225 аудиосигнала является громкоговоритель. Эти устройства могут быть непосредственно подключены к источнику 1270 питания таким образом, чтобы, будучи активированы, они оставались включенными на протяжении времени, определяемого механизмом извещения, несмотря на то, что процессор 1260 и другие компоненты могут отключаться для экономии энергии батареи. LED может быть запрограммирован оставаться включенным неопределенно долго, пока пользователь не предпримет акт для указания статуса включения питания устройства. Аудиоинтерфейс 1274 используется для вывода звуковых сигналов пользователю и приема звуковых сигналов от него. Например, помимо подключения к преобразователю 1225, аудиоинтерфейс 1274 также может подключаться к микрофону для приема звукового ввода, например, для облегчения телефонного разговора. В соответствии с вариантами осуществления настоящего изобретения, микрофон также может служить аудиодатчиком для облегчения управления извещениями, что будет описано ниже. Система 1202 может дополнительно включать в себя видеоинтерфейс 1276, который позволяет встроенной камере записывать неподвижные изображения, видеопоток и пр.

[0068] Мобильное вычислительное устройство 1200, реализующее систему 1202 может иметь дополнительные признаки или функциональные возможности. Например, мобильное вычислительное устройство 1200 также может включать в себя, например, дополнительные устройства хранения данных (сменные и/или стационарные), магнитные диски, оптические диски или ленту. Такое дополнительное хранилище представлено на фиг. 7B участком 1268 энергонезависимой памяти. Мобильное вычислительное устройство 1200 также может включать в себя порт 1230 периферийных устройств.

[0069] Данные/информация, сгенерированные или захваченные мобильным вычислительным устройством 1200 и сохраненные посредством системы 1202, могут храниться локально на мобильном вычислительном устройстве 1200, как описано выше, или данные могут храниться на любом количестве носителей данных, к которым устройство может обращаться через блок 1272 радиосвязи или через проводное соединение между мобильным вычислительным устройством 1200 и отдельным вычислительным устройством, связанным с мобильным вычислительным устройством 1200, например, компьютером-сервером в распределенной вычислительной сети, например, интернете. Очевидно, к таким данным/информации можно обращаться через мобильное вычислительное устройство 1200 посредством блока 1272 радиосвязи или по распределенной вычислительной сети. Аналогично, такие данные/информация могут легко переноситься между вычислительными устройствами для хранения и использоваться общеизвестными средствами переноса и хранения данных/информации, включающими в себя системы электронной почты и совместного использования объединенных данных/информации.

[0070] Фиг. 8 демонстрирует вариант осуществления архитектуры иллюстративной системы, как описано выше. Контент, разработку которого, взаимодействие с которым или редактирование которого можно осуществлять с помощью диалоговый диспетчер 26 может храниться на разных каналах связи или других типах хранилища. Например, различные документы могут храниться с использованием службы 1322, каталогов, веб-портала 1324, службы 1326 почтового ящика, хранилища 1328 мгновенного обмена сообщениями или социально-сетевого сайта 1330. Диалоговый диспетчер 26 может использовать любой из этих типов систем и т.п. для обеспечения описанного здесь использования данных. Сервер 1320 может обеспечивать диалоговый диспетчер 26 клиентам. В порядке одного примера, сервер 1320 может быть веб-сервером, обеспечивающим диалоговый диспетчер 26 по сети. Сервер 1320 может обеспечивать диалоговый диспетчер 26 по сети клиентам через сеть 1315. В порядке примера, клиентское вычислительное устройство можно реализовать в виде вычислительного устройства 1100 и воплотить в персональном компьютере, планшетном вычислительном устройстве 1310 и/или мобильном вычислительном устройстве 1200 (например, смартфоне). Любой из этих вариантов осуществления клиентского вычислительного устройства 1100, 1310, и 1200 может получать контент из хранилища 1316.

[0071] Варианты осуществления настоящего изобретения, в порядке примера, описаны выше со ссылкой на блок-схемы и/или операционные иллюстрации способов, систем и компьютерных программных продуктов согласно вариантам осуществления изобретения. Функции/действия, указанные в блоках, могут осуществлять в другом порядке, чем показано в какой-либо блок-схеме операций. Например, два блока, показанные последовательно, фактически может выполняться, по существу, одновременно, или блоки иногда могут выполняться в обратном порядке, в зависимости от предусмотренных функциональных возможностей/действий.

[0072] Описание и иллюстрация одного или более вариантов осуществления, обеспеченных в этой заявке, никоим образом не призваны ограничивать объем заявленного изобретения. Варианты осуществления, примеры и детали, обеспеченные в этой заявке, считаются достаточными для переноса имущества и позволяют другим создавать и использовать предпочтительные варианты осуществления заявленного изобретения. Заявленное изобретение не следует рассматривать как ограниченное каким-либо вариантом осуществления, примером или деталью, обеспеченными в этой заявке. Независимо от того, показаны ли и описаны ли они совместно или по отдельности, различные признаки (как структурные, так и методологические) подлежат выборочному включению или исключению для создания варианта осуществления с конкретным набором признаков. На основании описания и иллюстрации настоящей заявки, специалист в данной области техники может предложить вариации, модификации и альтернативные варианты осуществления, отвечающие сущности более широких аспектов общих принципов изобретения, воплощенных в этой заявке, которые не выходят за рамки более широкого объема заявленного изобретения.

Claims

1. Способ использования условий окружающей среды в дополнение к другой информации состояния диалога в переговорной диалоговой системе, содержащий этапы, на которых:

определяют (420) условия окружающей среды, которые связаны с актом пользовательского диалога, при этом условия окружающей среды включают в себя текущие условия окружающей среды, связанные с пользователем, совершающим акт пользовательского диалога, и текущие условия окружающей среды, связанные с другим пользователем, который является частью акта пользовательского диалога;

определяют (430) машинное действие с использованием условий окружающей среды и акта пользовательского диалога;

определяют (440) ответ на машинное действие, причем это определение содержит использование условий окружающей среды для регулировки ответа; и

обеспечивают (450) ответ.

2. Способ по п. 1, в котором определение (420) условий окружающей среды, которые связаны с вводом, содержит определение по меньшей мере одного из: местоположения; уровня шума; скорости; температуры; текущей активности, или текущего вычислительного устройства в случае авторизации.

3. Способ по п. 1, в котором определение (420) условий окружающей среды содержит определение второго набора условий окружающей среды, которые связаны с другим пользователем в случае авторизации.

4. Компьютерно-считываемый носитель данных, где хранятся компьютерно-исполняемые инструкции для использования условий (150) окружающей среды в дополнение к другой информации (145) состояния диалога в переговорной диалоговой системе (100), содержащий:

прием акта пользовательского диалога;

определение условий (150) окружающей среды, которые связаны с актом пользовательского диалога, при этом условия окружающей среды включают в себя текущие условия (154) окружающей среды, связанные с пользователем, совершающим акт пользовательского диалога, и текущие условия (154) окружающей среды, связанные с другим пользователем, который является частью упомянутого акта пользовательского диалога;

определение машинного действия с использованием акта пользовательского диалога и условий (150) окружающей среды;

определение ответа на машинное действие с использованием условий (150) окружающей среды и машинного действия; и

обеспечение ответа.

5. Компьютерно-считываемый носитель данных по п. 4, в котором определение условий (150) окружающей среды, которые связаны с вводом, содержит определение по меньшей мере одного из: текущей активности, осуществляемой при приеме акта пользовательского диалога, или текущего вычислительного устройства в случае авторизации.

6. Система для использования условий окружающей среды в дополнение к другой информации состояния диалога в переговорной диалоговой системе, содержащая:

процессор и память;

операционную среду, выполняющуюся с использованием процессора; и

диалоговый диспетчер, который выполнен с возможностью осуществления действий, содержащих:

определение условий окружающей среды, которые связаны с актом пользовательского диалога, при этом условия окружающей среды включают в себя текущие условия окружающей среды, связанные с пользователем, совершающим акт пользовательского диалога, и текущие условия окружающей среды, связанные с другим пользователем, который является частью акта пользовательского диалога;

определение машинного действия с использованием акта пользовательского диалога и условий окружающей среды;

определение ответа на машинное действие с использованием условий окружающей среды и машинного действия; и

обеспечение ответа.

7. Система по п. 6, в которой определение условий окружающей среды, которые связаны с вводом, содержит определение по меньшей мере одного из: текущей активности, осуществляемой при приеме акта пользовательского диалога, или текущего вычислительного устройства в случае авторизации.

8. Система по п. 6, в которой определение ответа содержит использование условий окружающей среды для определения типа ответа из: речевого ответа или визуального представления ответа.