RU2336560C2 - Диалоговое управление для электрического устройства - Google Patents
Диалоговое управление для электрического устройства Download PDFInfo
- Publication number
- RU2336560C2 RU2336560C2 RU2004136294/09A RU2004136294A RU2336560C2 RU 2336560 C2 RU2336560 C2 RU 2336560C2 RU 2004136294/09 A RU2004136294/09 A RU 2004136294/09A RU 2004136294 A RU2004136294 A RU 2004136294A RU 2336560 C2 RU2336560 C2 RU 2336560C2
- Authority
- RU
- Russia
- Prior art keywords
- user
- personifying
- dialogue
- speech signals
- signals
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 13
- 238000004891 communication Methods 0.000 claims abstract description 6
- 230000008447 perception Effects 0.000 claims abstract description 5
- 238000012545 processing Methods 0.000 claims description 8
- 230000033001 locomotion Effects 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 2
- 239000000126 substance Substances 0.000 abstract 1
- 230000015572 biosynthetic process Effects 0.000 description 6
- 238000003786 synthesis reaction Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 5
- 241001465754 Metazoa Species 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/22—Interactive procedures; Man-machine interfaces
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
- Selective Calling Equipment (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Предлагается прибор для связи между пользователем и электрическим устройством, содержащий средство для восприятия и распознавания речевых сигналов, и способ управления электрическим устройством. Прибор содержит персонифицирующий элемент, который может механически перемещаться. Определяется положение пользователя, и персонифицирующий элемент, который может содержать, например, представление человеческого лица, перемещается так, чтобы его передняя сторона указывала в направлении положения пользователя. На персонифицирующем элементе могут быть расположены микрофоны, громкоговорители и камера. Пользователь может проводить речевой диалог с прибором, в котором устройство представлено в виде персонифицирующего элемента. Электрическое устройство может управляться согласно речевому вводу пользователя. Также возможен диалог пользователя с персонифицирующим элементом с целью инструктирования пользователя. Технический результат - обеспечение легкого оперирования с прибором. 11 з.п. ф-лы, 2 ил.
Description
Настоящее изобретение относится к прибору, содержащему средство для восприятия и распознавания речевых сигналов, и к способу установления связи пользователем с электронным устройством.
Известно средство распознавания речи, с помощью которого воспринятые акустические речевые сигналы могут быть присвоены слову или соответствующей последовательности слов. Системы распознавания речи часто используются для управления электрическими устройствами как диалоговые системы в комбинации с синтезом речи. Диалог с пользователем может использоваться в качестве единственного интерфейса для функционирования электрического устройства. Также в качестве одного из множества средств связи можно использовать ввод и, возможно, вывод речи.
Патент США A-6118888 описывает управляющий прибор и способ управления электрическим устройством, например компьютером или устройством, используемым в области развлекательной электроники. Для управления устройством пользователь имеет множество аппаратных средств ввода. Это механические аппаратные средства ввода, такие как, например, клавиатура или мышь, а также распознавание речи. Более того, управляющий прибор содержит камеру, с которой может восприниматься жестикуляция и мимика пользователя, которые могут обрабатываться как дополнительные входные сигналы. Связь с пользователем реализуется в форме диалога, в котором система имеет в своем распоряжении множество режимов для передачи информации пользователю. Она содержит синтез речи и вывод речи. В частности, она также содержит антропоморфическое представление, например, человека, человеческого лица или животного. Указанное представление отображается пользователю в форме графика, построенного с помощью компьютера на экране дисплея.
Хотя диалоговые системы в настоящее время уже используются в специальных применениях, например в телефонных информационных системах, их принятие в других областях, например в управлении электрическими устройствами в быту, в развлекательной электронике, по-прежнему остается незначительным.
Задача настоящего изобретения заключается в том, чтобы обеспечить прибор, содержащий средство восприятия для распознавания речевых сигналов, и способ функционирования электронного устройства, позволяющий пользователю легко оперировать прибором посредством речевого управления.
Указанная задача решается посредством прибора, определенного в п. 1 формулы, и способа, определенного в п. 11 формулы. Зависимые пункты формулы раскрывают преимущественные варианты воплощения изобретения. Прибор согласно настоящему изобретению содержит механически перемещающийся персонифицирующий элемент. Он представляет собой часть прибора, которая служит для персонификации диалогового партнера для пользователя. Конкретное воплощение такого персонифицирующего элемента может быть весьма различным. Например, он может быть частью корпуса, который может перемещаться посредством двигателя по отношению к стационарному корпусу электрического прибора. Существенно то, что персонифицирующий элемент имеет переднюю сторону, которая может распознаваться пользователем. Если эта передняя сторона обращена к пользователю, то он будет иметь ощущение, что прибор является 'внимательным', то есть он может принимать речевые команды.
Согласно другому варианту воплощения изобретения персонифицирующий элемент имеет антропоморфическое представление. Оно может быть представлением человека или животного, но также фантазийной фигурой, например роботом. Предпочтительно представление человеческого лица. Оно может быть реалистичным или только символичным представлением, в котором показаны, например, только очертания глаз, носа и рта.
Также прибор предпочтительно содержит средство для обеспечения речевых сигналов. Действительно, распознавание речи особенно существенно для управления электронным устройством. Однако ответы, подтверждения, запросы и т.д. могут быть реализованы средством вывода речи. Они могут содержать воспроизведение предварительно сохраненных речевых сигналов, а также синтез реальной речи. Управление полным диалогом может быть реализовано с помощью средства вывода речи. Диалоги также могут проводиться с пользователем с целью его развлечения.
Согласно другому варианту воплощения изобретения прибор содержит множество микрофонов и/или, по меньшей мере, одну камеру. Речевые сигналы могут быть восприняты даже единственным микрофоном. Однако, с одной стороны, при использовании множества микрофонов может быть достигнута конфигурация чувствительных элементов. С другой стороны, положение пользователя можно найти, принимая речевой сигнал от пользователя через множество микрофонов. Окружение прибора может наблюдаться через камеру. Положение пользователя также может быть определено из воспринятого изображения посредством соответствующей обработки изображений. Микрофоны, камера и/или громкоговорители для обеспечения речевых сигналов могут быть расположены на механически перемещающемся персонифицирующем элементе. Например, для персонифицирующего элемента в форме человеческой головы две камеры могут быть расположены в области глаз, громкоговоритель - в положении рта и два микрофона - вблизи ушей.
Предпочтительно, чтобы было обеспечено средство для идентификации пользователя. Указанная процедура может быть достигнута, например, путем оценки воспринятого сигнала изображения (визуального или распознавания лица) или путем оценки воспринятого акустического сигнала (распознавание речи). Тем самым прибор может определять текущего пользователя из нескольких человек в окружении прибора и направлять персонифицирующий элемент на этого пользователя.
Существует широкое разнообразие возможностей воплощения средства движения для механического перемещения персонифицирующего элемента. Например, указанное средство может быть электродвигателем или гидравлическим средством регулировки. Персонифицирующий элемент также может перемещаться средством движения. Однако предпочтительно, чтобы персонифицирующий элемент был способен только вращаться относительно стационарной части. Например, в этом случае возможны движения вращения вокруг горизонтального и/или вертикального вала.
Устройство настоящего изобретения может составлять часть электрического устройства, такого как устройство для развлекательной электроники (например, ТВ, воспроизводящие приборы для аудио и/или видео и т.д.). В этом случае прибор представляет интерфейс пользователя для устройства. Более того, устройство может также содержать другое средство управления (клавиатура и т.д.). Альтернативно, прибор согласно настоящему изобретению может быть независимым устройством, которое служит управляющим прибором для управления одним или несколькими отдельными электрическими устройствами. В этом случае приборы, которые должны управляться, имеют электрический управляющий терминал (например, беспроводный терминал или подходящую управляющую шину), через который прибор управляет устройствами согласно речевым командам, принимаемым от пользователя.
В частности, прибор согласно настоящему изобретению может служить для пользователя в качестве системы для хранения данных и/или запроса. Для этой цели устройство содержит внутренние запоминающие устройства или прибор подключается к внешнему запоминающему устройству, например, через компьютерную сеть или Интернет. Во время диалога пользователь может сохранять данные (например, телефонные номера, памятки и т.д.) или запрашивать данные (например, время, новости, текущие телепрограммы и т.д.).
Более того, диалоги с пользователем также могут использоваться для настройки параметров самого прибора и изменять его конфигурацию.
Когда обеспечиваются громкоговоритель для озвучивания акустических сигналов, а также микрофон для восприятия указанных сигналов, может быть обеспечена обработка сигналов с подавлением помех, то есть воспринятые акустические сигналы обрабатываются так, что части акустического сигнала, исходящего из громкоговорителя, подавляются. Последнее особенно выгодно, когда громкоговоритель и микрофон располагаются в пространственной близости, например на персонифицирующем элементе.
В дополнение к вышеупомянутому использованию прибора для управления электрическим устройством он также может быть использован для проведения диалога с пользователем, обслуживания других целей, как например, информации, развлечения или инструкции для пользователя. Согласно дополнительному варианту воплощения изобретения обеспечиваются средства диалога, с которыми диалог может проводиться для инструктирования пользователя. Тогда диалог предпочтительно проводится так, что пользователю даются инструкции и воспринимаются его ответы. Инструкциями могут быть сложные вопросы, но предпочтительно задавать вопросы о коротких предметах обучения, например словаре иностранного языка, в котором инструкция (например, определение слова) и ответ (например, слово на иностранном языке) являются относительно короткими. Диалог проводится пользователем с персонифицирующим элементом и может осуществляться визуальным и/или звуковым способом.
Предлагается способ возможно эффективного обучения, в котором запоминается набор предметов обучения (например, словарь иностранного языка), в котором для каждого предмета обучения запоминается, по меньшей мере, один вопрос (например, определение), решение (например, словарь) и мера периода времени от последнего вопроса пользователю или от правильного решения вопроса пользователем. Во время диалога предметы обучения выбираются и задаются один за другим, причем вопрос задается пользователю и ответ пользователя сравнивается с сохраненным решением. Выбор предмета обучения, о котором должны задаваться вопросы, учитывает сохраненную меру, то есть время, истекшее от последнего вопроса о предмете. Указанная процедура может быть реализована, например, через подходящую модель обучения с предполагаемой или заданной частотой появления ошибок. Дополнительно каждый предмет обучения также может оцениваться мерой важности, которая учитывается в выборе, в дополнение к мере времени.
Указанные, а также и другие аспекты настоящего изобретения станут очевидными со ссылкой на варианты воплощения, описанные здесь ниже.
В дальнейшем изобретение поясняется описанием конкретных вариантов его воплощения со ссылками на сопровождающие чертежи, на которых:
фиг. 1 - блок-схема элементов управляющего прибора,
фиг. 2 - общий вид электронного устройства, содержащего управляющий прибор.
Фиг. 1 - блок схема управляющего прибора 10 и устройства 12, управляемого указанным прибором. Управляющий прибор 10 представлен в форме персонифицирующего элемента 14 для пользователя. Микрофон 16, громкоговоритель 18 и датчик положения здесь в форме камеры 20 для положения пользователя расположены на персонифицирующем элементе 14. Все вместе указанные элементы составляют механический модуль 22. Персонифицирующий элемент 14 и, следовательно, механический модуль 22 вращаются вокруг вертикального вала двигателем 24. Центральный модуль 26 управления управляет двигателем 24 через задающую схему 28. Персонифицирующий элемент 14 является независимым механическим модулем. Он имеет переднюю сторону, которая может распознаваться как таковая пользователем. Микрофон 16, громкоговоритель 18 и камера 20 расположены на персонифицирующем элементе 14 в направлении его передней стороны.
Микрофон 16 обеспечивает акустический сигнал. Этот сигнал воспринимается схемой 30 восприятия и обрабатывается модулем 32 распознавания речи. Результат распознавания речи, то есть последовательность слов, приписанная воспринятому акустическому сигналу, отправляется в центральный модуль 26 управления.
Центральный модуль 26 управления также управляет модулем 34 синтеза речи, который обеспечивает подачу синтезированного речевого сигнала через модуль 36 генерации звука и громкоговоритель 18.
Изображение, воспринятое камерой 20, обрабатывается модулем 38 обработки изображения. Модуль 38 обработки изображения определяет положение пользователя из сигнала изображения, обеспеченного камерой 20. Информация положения отправляется в центральный модуль 26 управления.
Механический модуль 22 служит в качестве интерфейса пользователя, через который центральный модуль 26 управления принимает входные данные от пользователя (модуль 34 синтеза речи, громкоговоритель 18). В этом случае модуль 10 управления используется для управления электрическим устройством 12, например устройством, используемым в области развлекательной электроники.
Функциональные модули управляющего прибора 10 показаны на фиг. 1 только символически. Различные модули, например центральный модуль 26 управления, модуль 32 распознавания речи, модуль 38 обработки изображения, могут быть представлены как отдельные группы в конкретной перегруппировке. Таким же образом возможно чисто программное воплощение перечисленных модулей, в которых функциональные возможности множества или всех перечисленных модулей реализуются выполнением программы на центральном модуле.
Не обязательно, чтобы указанные модули находились в пространственной близости друг с другом или с механическим модулем 22. Механический модуль 22, то есть персонифицирующий элемент 14, а также модули микрофона 16, громкоговорителя 18 и датчика 20, предпочтительно, но не обязательно расположенные на этом элементе, могут быть расположены отдельно от остального управляющего прибора 10 и имеют только сообщение через сигнал с ними через линии связи или беспроводное подключение.
В процессе работы управляющий прибор 10 постоянно выясняет, находится ли пользователь вблизи от него. Определяется положение пользователя. Центральный модуль 26 управления управляет двигателем 24 так, чтобы передняя сторона персонифицирующего элемента 14 была направлена к пользователю.
Модуль 38 обработки изображения также содержит распознавание лица. Когда камера 20 обеспечивает изображение множества людей, лицо определяется посредством распознавания лица, то есть какой именно человек является пользователем, который известен системе. Персонифицирующий элемент 14 направляется к пользователю. Когда обеспечивается множество микрофонов, сигналы из данных микрофонов могут обрабатываться таким образом, что получается конфигурация восприятия сигнала в направлении известного положения пользователя.
Модуль 38 обработки изображения дополнительно может быть реализован так, чтобы он 'понимал' сцену, воспринятую камерой 20 в окрестности механического модуля 22. Затем сцена, представляющая интерес, может быть присвоена нескольким заданным состояниям. Например, таким образом центральному модулю 26 управления известно, находится ли в комнате один или несколько человек. Модуль также может распознавать и идентифицировать поведение пользователя, то есть, например, смотрит ли пользователь в направлении механического модуля 22 или говорит ли он с другим человеком. Оценивая распознаваемые таким образом состояния, производительность распознавания может быть явно улучшена. Например, можно избежать того, чтобы части беседы между двумя людьми ошибочно интерпретировались как речевые команды.
В диалоге с пользователем центральный модуль управления определяет входные данные и соответствующим образом управляет устройством 12. Так, диалог для управления объемом звука аудиоустройства 12 воспроизведения может проходить, например, следующим образом:
- Пользователь меняет свое положение и становится лицом к персонифицирующему элементу 14. Персонифицирующий элемент 14 постоянно направляется двигателем 24 так, чтобы его передняя сторона была обращена к пользователю. Для этой цели задающая схема 28 управляется центральным модулем 26 управления прибора 10 согласно определенному положению пользователя.
- Пользователь дает речевую команду, например 'объем ТВ'. Речевая команда воспринимается микрофоном 16 и распознается модулем 32 распознавания речи.
- Центральный модуль 26 управления реагирует вопросом: 'Выше или ниже?' из громкоговорителя 18 через модуль 34 синтеза речи.
- Пользователь дает речевую команду 'ниже'. После распознавания речевого сигнала центральный модуль 26 управления управляет устройством 12 так, чтобы объем снизился.
Фиг. 2 изображает общий вид электронного устройства 40 с интегрированным управляющим прибором. На этой фигуре можно видеть только персонифицирующий элемент 14 управляющего прибора 10, причем элемент может вращаться вокруг вертикального вала относительно стационарного корпуса 42 устройства 40. В данном примере персонифицирующий элемент имеет плоскую прямоугольную форму. На передней стороне 44 имеется объектив камеры, а также громкоговоритель 18. Два микрофона расположены по сторонам. Механический модуль 22 вращается двигателем (не показан) так, чтобы передняя сторона всегда указывала в направлении пользователя.
В одном из вариантов воплощения изобретения (не показан) прибор 10 (фиг. 1) используется не для управления устройством 12, а для проведения диалога с объектом инструктирования пользователя. Центральный модуль 26 управления выполняет обучающую программу, с помощью которой пользователь может учить иностранный язык. Набор предметов обучения сохраняется в запоминающем устройстве. Это индивидуальные наборы данных, каждый из которых показывает определение слова, соответствующее слово на иностранном языке, меру оценки значимости слова (частота появления слова в языке) и меру времени для продолжительности времени, истекшего от последнего вопроса в записи данных.
Обучающий модуль сейчас работает так, что записи данных выбираются и опрашиваются одна за другой. В этом случае пользователю дается инструкция, то есть определение, сохраненное в записи данных, указывается оптически или подается акустически. Вопрос пользователя, например, введенный посредством клавиатуры и предпочтительно воспринимаемый через микрофон 16, и автоматическое распознавание 32 речи воспринимаются и сохраняются вместе с сохраненным решением (словарь). Пользователь информируется о том, признано ли решение как правильное решение. В случае ошибочных ответов пользователь может информироваться о правильном решении или может один или несколько раз получить возможность дать дополнительные ответы. После того как запись данных обработана указанным путем, сохраненная мера продолжительности времени от последнего вопроса обновляется, то есть устанавливается на ноль.
Затем выбирается и запрашивается дальнейшая запись данных. Выбор записи данных, которая должна запрашиваться, реализуется посредством модели памяти. Простая модель памяти представлена формулой:
P(k) = exp(-t(k)*r(c(k))),
в которой P(k) обозначает вероятность того, что предмет обучения k известен, exp обозначает экспоненциальную функцию, t(k) обозначает время, прошедшее после запроса объекта, c(k) обозначает класс обучения предмета, и r(c(k)) представляет частоту появления ошибок, специфическую для класса обучения. Время может использоваться как t. Время t также может даваться в шагах обучения. Классы обучения могут задаваться различными подходящими способами. Возможная модель состоит в том, чтобы присваивать нужный класс для каждого N > 0 всех предметов, на которые правильно отвечают N раз. Для частоты появления ошибок можно принять подходящее фиксированное значение или подходящее исходное значение может выбираться и, например, обновляться посредством градиентного алгоритма.
Задача инструкции состоит в максимизации меры знания. Эта мера знания задается как часть предмета обучения набора, известного пользователю, и взвешивается с мерой значимости. Поскольку вопрос о предмете k дает вероятность P(k) к единице, для оптимизации меры знания предполагается, что на каждом шаге запрашивается предмет, имеющий самую низкую вероятность знания P(k), возможно взвешенную с мерой значимости U(k), U(k)*l-P(k). С помощью модели мера знания может вычисляться после каждого шага и показываться пользователю. Способ оптимизируется так, чтобы дать пользователю возможно более широкие знания предмета обучения текущего набора. Используя хорошую модель памяти, таким способом можно достичь эффективной стратегии обучения.
Возможно множество модификаций и дальнейших улучшений для вышеописанного вопросительного диалога. Например, один вопрос (определение) может иметь множество правильных ответов (словарь). Это можно учитывать, например, используя сохраненные меры значимости, и таким образом выделяя более значимые (наиболее частые) слова. Значимые наборы предметов обучения могут содержать, например, несколько тысяч слов. Это могут быть, например, предметы обучения, то есть специфический словарь для данных пользователей, например, в области литературы, бизнеса, техники и т.д.
В итоге, изобретение относится к прибору, содержащему средство для восприятия и распознавания речевых сигналов, и к способу для связи с электрическим устройством. Прибор содержит персонифицирующий элемент, который может механически перемещаться. Определяется положение пользователя, и персонифицирующий элемент, который может содержать, например, представление человеческого лица, перемещается так, чтобы его передняя сторона указывала направление положения пользователя. На персонифицирующем элементе могут быть расположены микрофоны, громкоговорители и камера. Пользователь может проводить речевой диалог с прибором, в котором устройство представлено в виде персонифицирующего элемента. Электрическое устройство может управляться согласно речевому вводу пользователя. Также возможен диалог пользователя с персонифицирующим элементом с целью инструктирования пользователя.
Claims (12)
1. Прибор для связи между пользователем и электрическим устройством, содержащий модуль (26) управления, средство (30, 32) восприятия и распознавания речевых сигналов, средство для определения положения пользователя, персонифицирующий элемент (14), имеющий переднюю сторону (44), и средство (24) движения для механического перемещения персонифицирующего элемента (14), при этом модуль (26) управления принимает распознанные речевые сигналы и информацию о положении пользователя для управления средством (24) движения так, чтобы передняя сторона (44) персонифицирующего элемента (14) указывала в направлении положения пользователя.
2. Прибор по п.1, который также содержит средство (34, 36, 18) для обеспечения речевых сигналов.
3. Прибор по п.1, в котором персонифицирующий элемент (14) содержит антропоморфическое представление, которое может быть представлением человека, в частности представлением человеческого лица.
4. Прибор по п.1, который также содержит множество микрофонов (16) для восприятия речевых сигналов и/или, по меньшей мере, одну камеру (20) для восприятия изображения, при этом микрофоны (16) и/или камера (20) предпочтительно расположены на персонифицирующем элементе (14).
5. Прибор по любому одному из предшествующих пунктов, который содержит средство для идентификации, по меньшей мере, одного пользователя.
6. Прибор по п.1, в котором средство (24) движения обеспечивает возможность вращения персонифицирующего элемента (14) вокруг, по меньшей мере, одного вала.
7. Прибор по п.1, который содержит, по меньшей мере, одно внешнее электрическое устройство (12), которое управляется модулем (26) управления согласно воспринятым речевым сигналам.
8. Прибор по п.1, который содержит, по меньшей мере, один громкоговоритель (8) для обеспечения акустических сигналов, по меньшей мере, один микрофон (16) для восприятия акустических сигналов и модуль (3) обработки сигналов для обработки воспринятых акустических сигналов, в котором подавляется часть сигналов, исходящих из акустических сигналов, испускаемых громкоговорителем (18).
9. Прибор по п.1, который содержит средство для проведения диалога для инструктирования пользователя, причем в этом диалоге пользователю даются инструкции визуальным способом и/или посредством аудио, и ответы пользователя воспринимаются посредством клавиатуры и/или микрофона.
10. Прибор по п.9, в котором средство для проведения диалога содержит средство хранения для набора предметов обучения, при этом для каждого предмета обучения запоминается, по меньшей мере, одна инструкция, одно решение и одна мера продолжительности времени от инструкции, обработанные пользователем, и средство для проведения диалога сформировано так, чтобы предметы обучения могли выбираться и запрашиваться, давая пользователю инструкции и сравнивая ответ пользователя с сохраненным решением, и в котором сохраненная мера учитывается в выборе предметов обучения.
11. Способ связи между пользователем и электрическим устройством (12), по которому воспринимают и распознают речевые сигналы, воспринимают и обрабатывают изображение для определения положения пользователя, при этом распознанные речевые сигналы и информация о положении пользователя передаются в модуль (26) управления для управления перемещением персонифицирующего элемента (14) так, чтобы передняя сторона (44) персонифицирующего элемента (14) указывала в направлении положения пользователя.
12. Способ по п.11, по которому, по меньшей мере, одно внешнее электрическое устройство (12) управляется модулем (26) управления согласно воспринятым речевым сигналам.
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE10221490.5 | 2002-05-14 | ||
DE10221490 | 2002-05-14 | ||
DE10249060A DE10249060A1 (de) | 2002-05-14 | 2002-10-22 | Dialogsteuerung für elektrisches Gerät |
DE10249060.0 | 2002-10-22 |
Publications (2)
Publication Number | Publication Date |
---|---|
RU2004136294A RU2004136294A (ru) | 2005-05-27 |
RU2336560C2 true RU2336560C2 (ru) | 2008-10-20 |
Family
ID=29421506
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2004136294/09A RU2336560C2 (ru) | 2002-05-14 | 2003-05-09 | Диалоговое управление для электрического устройства |
Country Status (10)
Country | Link |
---|---|
US (1) | US20050159955A1 (ru) |
EP (1) | EP1506472A1 (ru) |
JP (1) | JP2005525597A (ru) |
CN (1) | CN100357863C (ru) |
AU (1) | AU2003230067A1 (ru) |
BR (1) | BR0304830A (ru) |
PL (1) | PL372592A1 (ru) |
RU (1) | RU2336560C2 (ru) |
TW (1) | TWI280481B (ru) |
WO (1) | WO2003096171A1 (ru) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2524354C2 (ru) * | 2009-09-07 | 2014-07-27 | Сони Корпорейшн | Дисплей и способ управления |
RU2653283C2 (ru) * | 2013-10-01 | 2018-05-07 | Альдебаран Роботикс | Способ диалога между машиной, такой как гуманоидный робот, и собеседником-человеком, компьютерный программный продукт и гуманоидный робот для осуществления такого способа |
US10008196B2 (en) | 2014-04-17 | 2018-06-26 | Softbank Robotics Europe | Methods and systems of handling a dialog with a robot |
WO2020152591A1 (en) * | 2019-01-24 | 2020-07-30 | Millo Appliances, Uab | Kitchen worktop-integrated food blending and mixing system |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1738277A1 (en) * | 2004-04-13 | 2007-01-03 | Philips Intellectual Property & Standards GmbH | Method and system for sending an audio message |
CN1981257A (zh) | 2004-07-08 | 2007-06-13 | 皇家飞利浦电子股份有限公司 | 在用户和系统之间进行通信的方法和系统 |
US20100223548A1 (en) | 2005-08-11 | 2010-09-02 | Koninklijke Philips Electronics, N.V. | Method for introducing interaction pattern and application functionalities |
US8689135B2 (en) | 2005-08-11 | 2014-04-01 | Koninklijke Philips N.V. | Method of driving an interactive system and user interface system |
US8467672B2 (en) * | 2005-10-17 | 2013-06-18 | Jeffrey C. Konicek | Voice recognition and gaze-tracking for a camera |
US7697827B2 (en) | 2005-10-17 | 2010-04-13 | Konicek Jeffrey C | User-friendlier interfaces for a camera |
WO2007063447A2 (en) * | 2005-11-30 | 2007-06-07 | Philips Intellectual Property & Standards Gmbh | Method of driving an interactive system, and a user interface system |
JP2010206451A (ja) * | 2009-03-03 | 2010-09-16 | Panasonic Corp | カメラ付きスピーカ、信号処理装置、およびavシステム |
US9197736B2 (en) * | 2009-12-31 | 2015-11-24 | Digimarc Corporation | Intuitive computing methods and systems |
US20110165917A1 (en) | 2009-12-31 | 2011-07-07 | Mary Elizabeth Taylor | Methods and arrangements employing sensor-equipped smart phones |
CN102298443B (zh) * | 2011-06-24 | 2013-09-25 | 华南理工大学 | 结合视频通道的智能家居语音控制系统及其控制方法 |
CN102572282A (zh) * | 2012-01-06 | 2012-07-11 | 鸿富锦精密工业(深圳)有限公司 | 智能追踪装置 |
EP2699022A1 (en) * | 2012-08-16 | 2014-02-19 | Alcatel Lucent | Method for provisioning a person with information associated with an event |
US9311640B2 (en) | 2014-02-11 | 2016-04-12 | Digimarc Corporation | Methods and arrangements for smartphone payments and transactions |
CN104898581B (zh) * | 2014-03-05 | 2018-08-24 | 青岛海尔机器人有限公司 | 一种全息智能中控系统 |
JP6739907B2 (ja) * | 2015-06-18 | 2020-08-12 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 機器特定方法、機器特定装置及びプログラム |
JP6516585B2 (ja) * | 2015-06-24 | 2019-05-22 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 制御装置、その方法及びプログラム |
TW201707471A (zh) * | 2015-08-14 | 2017-02-16 | Unity Opto Technology Co Ltd | 自動控制指向性喇叭及其燈具 |
TWI603626B (zh) * | 2016-04-26 | 2017-10-21 | 音律電子股份有限公司 | 揚聲裝置、其控制方法及播放控制系統 |
JP6884854B2 (ja) * | 2017-04-10 | 2021-06-09 | ヤマハ株式会社 | 音声提供装置、音声提供方法及びプログラム |
CN110412881B (zh) * | 2018-04-30 | 2022-10-14 | 仁宝电脑工业股份有限公司 | 分离式移动智能系统及其操作方法与基座装置 |
JP7026066B2 (ja) * | 2019-03-13 | 2022-02-25 | 株式会社日立ビルシステム | 音声案内システム及び音声案内方法 |
US11380094B2 (en) | 2019-12-12 | 2022-07-05 | At&T Intellectual Property I, L.P. | Systems and methods for applied machine cognition |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5870709A (en) * | 1995-12-04 | 1999-02-09 | Ordinate Corporation | Method and apparatus for combining information from speech signals for adaptive interaction in teaching and testing |
US6118888A (en) * | 1997-02-28 | 2000-09-12 | Kabushiki Kaisha Toshiba | Multi-modal interface apparatus and method |
IL120855A0 (en) * | 1997-05-19 | 1997-09-30 | Creator Ltd | Apparatus and methods for controlling household appliances |
US6077085A (en) * | 1998-05-19 | 2000-06-20 | Intellectual Reserve, Inc. | Technology assisted learning |
KR100617525B1 (ko) * | 1998-06-23 | 2006-09-04 | 소니 가부시끼 가이샤 | 로봇장치 및 정보처리시스템 |
JP4036542B2 (ja) * | 1998-09-18 | 2008-01-23 | 富士通株式会社 | エコーキャンセラ |
JP2001157976A (ja) * | 1999-11-30 | 2001-06-12 | Sony Corp | ロボット制御装置およびロボット制御方法、並びに記録媒体 |
WO2001070361A2 (en) * | 2000-03-24 | 2001-09-27 | Creator Ltd. | Interactive toy applications |
JP4480843B2 (ja) * | 2000-04-03 | 2010-06-16 | ソニー株式会社 | 脚式移動ロボット及びその制御方法、並びに、脚式移動ロボット用相対移動測定センサ |
GB0010034D0 (en) * | 2000-04-26 | 2000-06-14 | 20 20 Speech Limited | Human-machine interface apparatus |
JP4296714B2 (ja) * | 2000-10-11 | 2009-07-15 | ソニー株式会社 | ロボット制御装置およびロボット制御方法、記録媒体、並びにプログラム |
US20020150869A1 (en) * | 2000-12-18 | 2002-10-17 | Zeev Shpiro | Context-responsive spoken language instruction |
-
2003
- 2003-05-09 WO PCT/IB2003/001816 patent/WO2003096171A1/en active Application Filing
- 2003-05-09 PL PL03372592A patent/PL372592A1/xx not_active Application Discontinuation
- 2003-05-09 TW TW092112722A patent/TWI280481B/zh not_active IP Right Cessation
- 2003-05-09 AU AU2003230067A patent/AU2003230067A1/en not_active Abandoned
- 2003-05-09 EP EP03722909A patent/EP1506472A1/en not_active Withdrawn
- 2003-05-09 CN CNB038108135A patent/CN100357863C/zh not_active Expired - Fee Related
- 2003-05-09 BR BR0304830-6A patent/BR0304830A/pt not_active IP Right Cessation
- 2003-05-09 RU RU2004136294/09A patent/RU2336560C2/ru not_active IP Right Cessation
- 2003-05-09 US US10/513,945 patent/US20050159955A1/en not_active Abandoned
- 2003-05-09 JP JP2004504098A patent/JP2005525597A/ja not_active Withdrawn
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2524354C2 (ru) * | 2009-09-07 | 2014-07-27 | Сони Корпорейшн | Дисплей и способ управления |
US10290281B2 (en) | 2009-09-07 | 2019-05-14 | Saturn Licensing Llc | Display device and control method |
RU2653283C2 (ru) * | 2013-10-01 | 2018-05-07 | Альдебаран Роботикс | Способ диалога между машиной, такой как гуманоидный робот, и собеседником-человеком, компьютерный программный продукт и гуманоидный робот для осуществления такого способа |
US10127226B2 (en) | 2013-10-01 | 2018-11-13 | Softbank Robotics Europe | Method for dialogue between a machine, such as a humanoid robot, and a human interlocutor utilizing a plurality of dialog variables and a computer program product and humanoid robot for implementing such a method |
US10008196B2 (en) | 2014-04-17 | 2018-06-26 | Softbank Robotics Europe | Methods and systems of handling a dialog with a robot |
RU2668062C2 (ru) * | 2014-04-17 | 2018-09-25 | Софтбэнк Роботикс Юроп | Способы и системы для обработки диалога с роботом |
WO2020152591A1 (en) * | 2019-01-24 | 2020-07-30 | Millo Appliances, Uab | Kitchen worktop-integrated food blending and mixing system |
Also Published As
Publication number | Publication date |
---|---|
AU2003230067A1 (en) | 2003-11-11 |
JP2005525597A (ja) | 2005-08-25 |
BR0304830A (pt) | 2004-08-17 |
CN100357863C (zh) | 2007-12-26 |
CN1653410A (zh) | 2005-08-10 |
EP1506472A1 (en) | 2005-02-16 |
TWI280481B (en) | 2007-05-01 |
US20050159955A1 (en) | 2005-07-21 |
RU2004136294A (ru) | 2005-05-27 |
PL372592A1 (en) | 2005-07-25 |
TW200407710A (en) | 2004-05-16 |
WO2003096171A1 (en) | 2003-11-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2336560C2 (ru) | Диалоговое управление для электрического устройства | |
US11241789B2 (en) | Data processing method for care-giving robot and apparatus | |
US11462213B2 (en) | Information processing apparatus, information processing method, and program | |
CN112204564A (zh) | 经由基于集成音频和视觉的语音识别进行语音理解的系统和方法 | |
JP4622384B2 (ja) | ロボット、ロボット制御装置、ロボットの制御方法およびロボットの制御用プログラム | |
KR20190053001A (ko) | 이동이 가능한 전자 장치 및 그 동작 방법 | |
Wersenyi | Virtual localization by blind persons | |
CN110286771B (zh) | 交互方法、装置、智能机器人、电子设备及存储介质 | |
CN104244132A (zh) | 一种智能耳机系统及其控制方法 | |
CN111966321A (zh) | 音量调节方法、ar设备及存储介质 | |
US20210216589A1 (en) | Information processing apparatus, information processing method, program, and dialog system | |
US20070078563A1 (en) | Interactive system and method for controlling an interactive system | |
KR20040107523A (ko) | 전기 장치에 대한 대화 제어 | |
CN110459239A (zh) | 基于声音数据的角色分析方法、装置和计算机可读存储介质 | |
US11936718B2 (en) | Information processing device and information processing method | |
KR20190079922A (ko) | 음향 출력 시스템 및 음성 처리 방법 | |
JP3891020B2 (ja) | ロボット装置 | |
JP2022054447A (ja) | ウェアラブルコンピューティングデバイスの音声インターフェースのための方法、システムおよびコンピュータプログラム製品(ウェアラブルコンピューティングデバイス音声インターフェース) | |
WO2020261078A1 (en) | Cognitive modification of verbal communications from an interactive computing device | |
US20210166688A1 (en) | Device and method for performing environmental analysis, and voice-assistance device and method implementing same | |
JP2020088637A (ja) | 会議支援システム及び会議用ロボット | |
KR20240099616A (ko) | 끼어들기 기능을 갖는 음성인식장치 및 방법 | |
JP2021060731A (ja) | 発話制御装置 | |
CN116363589A (zh) | 异常提醒方法、装置、电子设备及存储介质 | |
KR20240048966A (ko) | 인공지능 기기 및 그의 동작 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20090510 |