RU2016144006A - Способ осуществления многорежимного диалога между человекоподобным роботом и пользователем, компьютерный программный продукт и человекоподобный робот для осуществления упомянутого способа - Google Patents
Способ осуществления многорежимного диалога между человекоподобным роботом и пользователем, компьютерный программный продукт и человекоподобный робот для осуществления упомянутого способа Download PDFInfo
- Publication number
- RU2016144006A RU2016144006A RU2016144006A RU2016144006A RU2016144006A RU 2016144006 A RU2016144006 A RU 2016144006A RU 2016144006 A RU2016144006 A RU 2016144006A RU 2016144006 A RU2016144006 A RU 2016144006A RU 2016144006 A RU2016144006 A RU 2016144006A
- Authority
- RU
- Russia
- Prior art keywords
- robot
- expressiveness
- user
- aforementioned
- word
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims 33
- 230000004044 response Effects 0.000 claims 7
- 230000033001 locomotion Effects 0.000 claims 6
- 230000035897 transcription Effects 0.000 claims 3
- 238000013518 transcription Methods 0.000 claims 3
- 230000015572 biosynthetic process Effects 0.000 claims 2
- 230000008921 facial expression Effects 0.000 claims 2
- 230000006870 function Effects 0.000 claims 2
- 238000009499 grossing Methods 0.000 claims 2
- 238000003786 synthesis reaction Methods 0.000 claims 2
- 238000004590 computer program Methods 0.000 claims 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
- B25J11/0015—Face robots, animated artificial faces for imitating human expressions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/005—Manipulators for mechanical processing tasks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/003—Controls for manipulators by means of an audio-responsive input
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/32—Multiple recognisers used in sequence or in parallel; Score combination systems therefor, e.g. voting systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
- G10L2015/025—Phonemes, fenemes or fenones being the recognition units
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Acoustics & Sound (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Manipulator (AREA)
- User Interface Of Digital Computer (AREA)
- Machine Translation (AREA)
Claims (51)
1. Способ осуществления диалога между человекоподобным роботом (R) и, по меньшей мере, одним пользователем (U), содержащий следующие этапы, итерационно осуществляемые упомянутым человекоподобным роботом, на которых:
i) получают множество входных сигналов (s1, s2) от соответствующих датчиков (c1, c2), причем, по меньшей мере, один упомянутый датчик является датчиком звука, и, по меньшей мере, один другой датчик является датчиком движения или изображения;
ii) интерпретируют полученные сигналы для распознавания множества событий (EVI), генерируемых упомянутым пользователем, выбранных из группы, содержащей: произнесение, по меньшей мере, слова или предложения, интонацию голоса, жест, позу тела, выражение лица;
iii) определяют ответ упомянутого человекоподобного робота, содержащий, по меньшей мере, одно событие (EVO), выбранное из группы, содержащей: произнесение, по меньшей мере, слова или предложения, интонацию голоса, жест, позу тела, выражение лица, причем упомянутое определение осуществляется путем применения набора правил, причем каждое упомянутое правило связывает набор входных событий с ответом робота;
iv) генерируют, упомянутым человекоподобным роботом, упомянутое или каждое упомянутое событие;
отличающийся тем, что, по меньшей мере, некоторые из упомянутых правил, применяемых на упомянутом этапе iii), связывают ответ с комбинацией, по меньшей мере, двух событий, совместно генерируемых упомянутым пользователем и распознаваемых на упомянутом этапе ii), по меньшей мере, одно из которых не является словом или предложением, произнесенным упомянутым пользователем.
2. Способ по п. 1, в котором, по меньшей мере, некоторые из упомянутых правил, применяемых на упомянутом этапе iii), определяют ответ, содержащий, по меньшей мере, два события, генерируемые совместно упомянутым человекоподобным роботом, по меньшей мере, одно из которых не является произнесением слова или предложения.
3. Способ по любому из предыдущих пунктов, в котором, на упомянутом этапе iii, упомянутый ответ человекоподобного робота определяется на основании, по меньшей мере, одного параметра, выбранного из: контекста (CTX) диалога, идентификации пользователя, внутреннего состояния (RIS) упомянутого человекоподобного робота.
4. Способ по п. 3, дополнительно содержащий этап, на котором изменяют значение упомянутого или, по меньшей мере, одного упомянутого параметра согласно упомянутому, по меньшей мере, одному событию, распознаваемому на упомянутом этапе ii) или определяемому на упомянутом этапе iii).
5. Способ по любому из пп. 1, 2, 4, в котором на упомянутом этапе ii) ищут совпадение между полученным сигналом и событием, принадлежащим списку ожидаемых событий, хранящемуся в памяти упомянутого человекоподобного робота, или доступному ему, причем упомянутый поиск осуществляется путем последовательного использования множества способов сопоставления (MM1 - MM4) все более высокой сложности, пока событие не будет распознано с показателем достоверности, превышающим заранее определенное значение, или после использования способа распознавания наивысшей сложности.
6. Способ по п. 5, в котором используемые способы сопоставления выбираются в зависимости от контекста диалога.
7. Способ по п. 5, в котором упомянутые способы сопоставления включают в себя, в порядке повышения сложности: поиск точного совпадения, поиск приблизительного совпадения, поиск фонетического соответствия - только в случае распознавания речи - и поиск семантического соответствия.
8. Способ по п. 7, в котором упомянутый способ поиска фонетического соответствия содержит этапы, на которых:
- фонетически транскрибируют набор звуков, полученных датчиком звука;
- упрощают и сглаживают результирующую фонетическую транскрипцию;
- вычисляют расстояние редактирования между упомянутой упрощенной и сглаженной фонетической транскрипцией и множеством вводов, полученных путем упрощения и сглаживания заранее заданного набора слов на естественном языке, и
- выбирают слово естественного языка из упомянутого заранее заданного набора, соответствующее вводу с наименьшим расстоянием редактирования от упомянутой упрощенной и сглаженной фонетической транскрипции.
9. Способ по п. 8, в котором упомянутое упрощение и сглаживание содержит этапы, на которых:
- заменяют фонемы, допускающие разночтения, единой фонемой;
- удаляют гласные звуки, отличные от гласных звуков в начале слов и носовых гласных звуков, и
- удаляют разрывы между словами.
10. Способ по п. 5, в котором упомянутый список ожидаемых событий выбирают, из множества упомянутых списков, в зависимости от контекста диалога.
11. Способ по любому из пп. 1, 2, 4, 6-10, в котором на упомянутом этапе iii) определяют ответ на набор событий, включающий в себя отсутствие слов, произнесенных упомянутым пользователем, или идентифицированных жестов, путем применения правил, принадлежащих заранее заданному поднабору (PRO), именуемых проактивными правилами.
12. Способ по любому из пп. 1, 2, 4, 6-10, дополнительно содержащий, если ответ, определенный на этапе iii), представляет собой или содержит, по меньшей мере, произнесение слова или предложения, этап iii-a), на котором осуществляют лингвистический анализ произносимых слов или предложений и определяют анимацию, сопутствующую упомянутому ответу, как функцию упомянутого анализа.
13. Способ по п. 12, в котором упомянутый этап iii-a содержит подэтапы, на которых:
α) идентифицируют, по меньшей мере, одно слово ответа, подлежащего анимированию;
β) определяют понятие и выразительность, именуемую одноразовой выразительностью, связанные с упомянутым или каждым упомянутым словом, подлежащим анимированию;
γ) выбирают из списка (ALST) анимацией, хранящегося в памяти упомянутого человекоподобного робота, или доступного ему, анимацию на основании упомянутого понятия и упомянутой одноразовой выразительности.
14. Способ по п. 13, в котором на упомянутом подэтапе α осуществляют синтаксический анализ произносимого предложения для определения каждого или упомянутого слова, подлежащего анимированию, в зависимости от его функции в структуре упомянутого предложения.
15. Способ по любому из пп. 13 или 14, в котором, на упомянутом подэтапе β, упомянутая одноразовая выразительность определяется на основании, по меньшей мере, одного параметра, выбранного из: выразительности слова, выразительности одного или более других связанных с ним слов и общей выразительности ответа в целом.
16. Способ по любому из пп. 13 или 14, в котором каждая анимация из упомянутого списка связана с одним или более понятиями и имеет некоторую конкретную выразительность, причем на упомянутом подэтапе γ выбирают в упомянутом списке анимацию, связанную с понятием, определенным на упомянутом подэтапе β, и имеющую некоторую конкретную выразительность, ближайшую к упомянутой одноразовой выразительности.
17. Способ по п. 16, дополнительно содержащий подэтап, на котором:
δ) определяют выразительность, именуемую окончательной выразительностью, на основании упомянутой конкретной выразительности и упомянутой одноразовой выразительности.
18. Способ по любому из пп. 13, 14 или 17, в котором упомянутая одноразовая или упомянутая окончательная выразительность определяет, по меньшей мере, один параметр, выбранный из скорости и амплитуды, по меньшей мере, одного жеста упомянутой анимации.
19. Способ по любому из пп. 1, 2, 4, 6-10, 13, 14, 17, дополнительно содержащий этапы, итерационно осуществляемые упомянутым роботом одновременно с упомянутыми этапами i) - iv), на которых:
A) определяют положение, по меньшей мере, части тела упомянутого пользователя (U) относительно системы координат, привязанной к упомянутому роботу (R);
B) приводят в действие, по меньшей мере, один привод упомянутого робота для поддержания расстояния между упомянутым роботом или его элементом и упомянутой, по меньшей мере, одной или упомянутой частью тела упомянутого пользователя в заранее заданном диапазоне значений.
20. Способ по п. 19, в котором на упомянутом этапе B) дополнительно приводят в действие, по меньшей мере, один привод упомянутого робота для поддержания ориентации робота относительно упомянутого пользователя в заранее определенном угловом диапазоне.
21. Способ по п. 19, дополнительно содержащий этап, на котором:
C) приводят в действие упомянутый или, по меньшей мере, один упомянутый привод для обеспечения упомянутых псевдослучайных перемещений робота при поддержании упомянутого расстояния в упомянутом заранее определенном диапазоне значений и, когда это целесообразно, упомянутой ориентации в упомянутом заранее определенном угловом диапазоне.
22. Способ по п. 19 дополнительно содержащий этап, на котором:
D) осуществляют семантический анализ текущего диалога между упомянутым пользователем и упомянутым человекоподобным роботом и, в соответствии с упомянутым анализом, изменяют упомянутый заранее определенный диапазон значений расстояния, и, когда это целесообразно, упомянутый заранее определенный угловой диапазон.
23. Способ по п. 19, в котором на упомянутом этапе A) определяют положение нижней части тела упомянутого пользователя относительно упомянутой системы координат, привязанной к упомянутому роботу.
24. Компьютерный программный продукт, содержащий инструкции программного кода для выполнения способа по любому из предыдущих пунктов, когда упомянутая программа выполняется, по меньшей мере, одним процессором, встроенным в человекоподобный робот (R), причем упомянутый робот содержит: множество датчиков (c1, c2) функционально подключенных к упомянутому или по меньшей мере, одному процессору и содержащих, по меньшей мере, один датчик звука и, по меньшей мере, один датчик изображения или движения, для получения соответствующих входных сигналов; модуль синтеза речи, управляемый упомянутым или, по меньшей мере, одним упомянутым процессором для произнесения слов или предложения; и набор приводов (A1, A2, A3), приводимых в действие упомянутым или, по меньшей мере, одним упомянутым процессором, позволяющий упомянутому роботу осуществлять множество движений или жестов.
25. Человекоподобный робот (R), содержащий:
- по меньшей мере, один встроенный процессор;
- сборку датчиков (c1, c2), функционально подключенную к упомянутому или, по меньшей мере, одному упомянутому процессору и содержащую, по меньшей мере, один датчик звука и, по меньшей мере, один датчик изображения или движения, для получения соответствующих входных сигналов;
- модуль синтеза речи, возбуждаемый упомянутым или, по меньшей мере, одним упомянутым процессором для произнесения слов или предложений, и
- набор приводов (A1, A2, A3), приводимых в действие упомянутым или, по меньшей мере, одним упомянутым процессором, позволяющий упомянутому роботу осуществлять множество движений или жестов;
отличающийся тем, что упомянутый или, по меньшей мере, один упомянутый процессор запрограммирован или сконфигурирован для осуществления способа по любому из пп. 1-23.
26. Человекоподобный робот по п. 25, дополнительно содержащий устройство для соединения с, по меньшей мере, одним удаленным сервером, причем упомянутый или, по меньшей мере, один упомянутый процессор запрограммирован или сконфигурирован взаимодействовать с упомянутым или, по меньшей мере, одним упомянутым удаленным сервером для осуществления способа по любому из пп. 1-23.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP14305583.8 | 2014-04-17 | ||
| EP14305583.8A EP2933067B1 (en) | 2014-04-17 | 2014-04-17 | Method of performing multi-modal dialogue between a humanoid robot and user, computer program product and humanoid robot for implementing said method |
| PCT/EP2015/058373 WO2015158887A2 (en) | 2014-04-17 | 2015-04-17 | Method of performing multi-modal dialogue between a humanoid robot and user, computer program product and humanoid robot for implementing said method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| RU2016144006A3 RU2016144006A3 (ru) | 2018-05-18 |
| RU2016144006A true RU2016144006A (ru) | 2018-05-18 |
Family
ID=50628742
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2016144006A RU2016144006A (ru) | 2014-04-17 | 2015-04-17 | Способ осуществления многорежимного диалога между человекоподобным роботом и пользователем, компьютерный программный продукт и человекоподобный робот для осуществления упомянутого способа |
Country Status (14)
| Country | Link |
|---|---|
| US (2) | US10242666B2 (ru) |
| EP (1) | EP2933067B1 (ru) |
| JP (2) | JP6505748B2 (ru) |
| KR (1) | KR101991163B1 (ru) |
| CN (2) | CN106457563B (ru) |
| AU (2) | AU2015248713B2 (ru) |
| BR (1) | BR112016023928A2 (ru) |
| CA (1) | CA2946056A1 (ru) |
| HK (1) | HK1216405A1 (ru) |
| MX (1) | MX2016013019A (ru) |
| NZ (1) | NZ725307A (ru) |
| RU (1) | RU2016144006A (ru) |
| SG (2) | SG11201608205UA (ru) |
| WO (1) | WO2015158887A2 (ru) |
Families Citing this family (54)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9634855B2 (en) | 2010-05-13 | 2017-04-25 | Alexander Poltorak | Electronic personal interactive device that determines topics of interest using a conversational agent |
| US9607609B2 (en) * | 2014-09-25 | 2017-03-28 | Intel Corporation | Method and apparatus to synthesize voice based on facial structures |
| JP1573749S (ru) * | 2016-01-29 | 2017-04-10 | ||
| JP2017151517A (ja) * | 2016-02-22 | 2017-08-31 | 富士ゼロックス株式会社 | ロボット制御システム |
| JP2019523714A (ja) * | 2016-04-26 | 2019-08-29 | タキオン ロボティクス コーポレーション | 多重相互作用人格ロボット |
| US10239205B2 (en) | 2016-06-29 | 2019-03-26 | International Business Machines Corporation | System, method, and recording medium for corpus curation for action manifestation for cognitive robots |
| JP6933455B2 (ja) * | 2016-09-29 | 2021-09-08 | 株式会社東芝 | 関心維持システム及びサーバ |
| US10775880B2 (en) * | 2016-11-30 | 2020-09-15 | Universal City Studios Llc | Animated character head systems and methods |
| CN110062683B (zh) * | 2016-12-12 | 2023-04-28 | 微软技术许可有限责任公司 | 一种机器人姿态生成的方法、装置及计算机可读介质 |
| CN106737745A (zh) * | 2017-01-05 | 2017-05-31 | 珠海市横琴麒翔科技有限公司 | 智能机器人 |
| JP2018126810A (ja) * | 2017-02-06 | 2018-08-16 | 川崎重工業株式会社 | ロボットシステム及びロボット対話方法 |
| KR20180115603A (ko) * | 2017-04-13 | 2018-10-23 | 인하대학교 산학협력단 | 조음기관의 물리 특성과 음성 간 매칭을 통한 발화 의도 측정 및 발화 구현 시스템 |
| JP6841167B2 (ja) | 2017-06-14 | 2021-03-10 | トヨタ自動車株式会社 | コミュニケーション装置、コミュニケーションロボットおよびコミュニケーション制御プログラム |
| CN107309880A (zh) * | 2017-07-06 | 2017-11-03 | 优必选教育（深圳）有限公司 | 一种人形机器人装置、控制系统及其控制方法 |
| WO2019050034A1 (ja) | 2017-09-11 | 2019-03-14 | Ｇｒｏｏｖｅ Ｘ株式会社 | 相手を見つめる自律行動型ロボット |
| CN109531564A (zh) * | 2017-09-21 | 2019-03-29 | 富泰华工业（深圳）有限公司 | 机器人服务内容编辑系统及方法 |
| US11308965B2 (en) * | 2017-10-09 | 2022-04-19 | Huawei Technologies Co., Ltd. | Voice information processing method and apparatus, and terminal |
| EP3696811A4 (en) * | 2017-10-11 | 2020-11-25 | Sony Corporation | VOICE ENTRY DEVICE, ASSOCIATED PROCESS AND PROGRAM |
| EP3486900A1 (en) * | 2017-11-16 | 2019-05-22 | Softbank Robotics Europe | System and method for dialog session management |
| US10777198B2 (en) * | 2017-11-24 | 2020-09-15 | Electronics And Telecommunications Research Institute | Apparatus for determining speech properties and motion properties of interactive robot and method thereof |
| US10783329B2 (en) * | 2017-12-07 | 2020-09-22 | Shanghai Xiaoi Robot Technology Co., Ltd. | Method, device and computer readable storage medium for presenting emotion |
| US10593318B2 (en) * | 2017-12-26 | 2020-03-17 | International Business Machines Corporation | Initiating synthesized speech outpout from a voice-controlled device |
| US10821602B2 (en) * | 2017-12-28 | 2020-11-03 | Aeolus Robotics Corporation Limited | Carrier for robot and robot having the same |
| US11024294B2 (en) | 2017-12-29 | 2021-06-01 | DMAI, Inc. | System and method for dialogue management |
| US11504856B2 (en) | 2017-12-29 | 2022-11-22 | DMAI, Inc. | System and method for selective animatronic peripheral response for human machine dialogue |
| US20190206402A1 (en) * | 2017-12-29 | 2019-07-04 | DMAI, Inc. | System and Method for Artificial Intelligence Driven Automated Companion |
| CN112074899A (zh) | 2017-12-29 | 2020-12-11 | 得麦股份有限公司 | 基于多模态传感输入的人机对话的智能发起的系统和方法 |
| US10994421B2 (en) | 2018-02-15 | 2021-05-04 | DMAI, Inc. | System and method for dynamic robot profile configurations based on user interactions |
| US11331807B2 (en) | 2018-02-15 | 2022-05-17 | DMAI, Inc. | System and method for dynamic program configuration |
| JP6886663B2 (ja) * | 2018-02-19 | 2021-06-16 | 日本電信電話株式会社 | 動作指示生成システム、方法およびプログラム |
| CN110415688B (zh) * | 2018-04-26 | 2022-02-08 | 杭州萤石软件有限公司 | 一种信息交互方法及机器人 |
| FR3080926B1 (fr) * | 2018-05-04 | 2020-04-24 | Spoon | Procede de commande d'une pluralite d'effecteurs d'un robot |
| DE102018207513A1 (de) * | 2018-05-15 | 2019-11-21 | Siemens Aktiengesellschaft | Verfahren zum rechnergestützten Lernen eines Roboters über einen Sprachdialog |
| JP7201984B2 (ja) * | 2018-07-09 | 2023-01-11 | 株式会社国際電気通信基礎技術研究所 | アンドロイドのジェスチャ生成装置及びコンピュータプログラム |
| US11037557B2 (en) * | 2018-08-24 | 2021-06-15 | International Business Machines Corporation | Cognitive contextual conversation side topics |
| KR102228866B1 (ko) | 2018-10-18 | 2021-03-17 | 엘지전자 주식회사 | 로봇 및 그의 제어 방법 |
| JP2020082246A (ja) * | 2018-11-20 | 2020-06-04 | 大日本印刷株式会社 | 姿勢データ生成装置、学習器、コンピュータプログラム、学習データ、姿勢データ生成方法及び学習モデルの生成方法 |
| CN109664307A (zh) * | 2018-12-16 | 2019-04-23 | 哈尔滨理工大学 | 一种基于深度学习的对话机器人 |
| CN110070870B (zh) * | 2019-05-06 | 2022-02-08 | 阿波罗智联(北京)科技有限公司 | 车载系统的信号处理方法和系统 |
| US11247738B2 (en) * | 2019-05-24 | 2022-02-15 | Disney Enterprises, Inc. | Legged high-dexterity self-balancing capable robot actor |
| CN110473534A (zh) * | 2019-07-12 | 2019-11-19 | 南京邮电大学 | 一种基于深度神经网络的老年人看护对话系统 |
| JP7191793B2 (ja) * | 2019-08-30 | 2022-12-19 | 株式会社東芝 | 信号処理装置、信号処理方法、及びプログラム |
| CN110524559B (zh) * | 2019-08-30 | 2022-06-10 | 成都未至科技有限公司 | 基于人员行为数据的智能人机交互系统及方法 |
| JP7330827B2 (ja) | 2019-09-10 | 2023-08-22 | 株式会社日立製作所 | データ処理装置、データ処理方法、およびデータ処理プログラム |
| US20210089908A1 (en) * | 2019-09-25 | 2021-03-25 | Deepmind Technologies Limited | Modulating agent behavior to optimize learning progress |
| WO2020190362A2 (en) * | 2020-01-17 | 2020-09-24 | Futurewei Technologies, Inc. | A social interaction robot |
| CN113687712A (zh) * | 2020-05-18 | 2021-11-23 | 阿里巴巴集团控股有限公司 | 控制方法及设备、电子设备 |
| US11423206B2 (en) * | 2020-11-05 | 2022-08-23 | Adobe Inc. | Text style and emphasis suggestions |
| CN114571473A (zh) * | 2020-12-01 | 2022-06-03 | 北京小米移动软件有限公司 | 足式机器人的控制方法、装置及足式机器人 |
| JP2022146399A (ja) * | 2021-03-22 | 2022-10-05 | 株式会社サイバーエージェント | 制御システム、制御装置、制御方法及びコンピュータプログラム |
| IT202100014480A1 (it) * | 2021-06-03 | 2022-12-03 | Ivano Corradetti | Sistema informativo, robotizzato, interagibile empaticamente con un interlocutore umano |
| CN113312086B (zh) * | 2021-06-10 | 2022-08-12 | 重庆小易智联智能技术有限公司 | 基于指令集的软件机器人系统及机器人运行方法 |
| CN114443202A (zh) * | 2022-02-08 | 2022-05-06 | 北京课游工场数字科技有限公司 | 一种交互式答题操作及答题表现方法及系统 |
| US20230298568A1 (en) * | 2022-03-15 | 2023-09-21 | Drift.com, Inc. | Authoring content for a conversational bot |
Family Cites Families (67)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4398720A (en) * | 1981-01-05 | 1983-08-16 | California R & D Center | Robot computer chess game |
| JPS61156405A (ja) * | 1984-12-28 | 1986-07-16 | Nintendo Co Ltd | 光感応制御装置 |
| US6580369B1 (en) * | 1995-10-11 | 2003-06-17 | Motorola, Inc. | Electronic tag assembly and method therefor |
| US6980956B1 (en) * | 1999-01-07 | 2005-12-27 | Sony Corporation | Machine apparatus and its driving method, and recorded medium |
| US6519506B2 (en) * | 1999-05-10 | 2003-02-11 | Sony Corporation | Robot and control method for controlling the robot's emotions |
| US6347261B1 (en) * | 1999-08-04 | 2002-02-12 | Yamaha Hatsudoki Kabushiki Kaisha | User-machine interface system for enhanced interaction |
| JP3615702B2 (ja) * | 1999-11-25 | 2005-02-02 | ソニー株式会社 | 脚式移動ロボットの動作制御装置及び動作制御方法、並びに、脚式移動ロボット |
| JP2001157976A (ja) * | 1999-11-30 | 2001-06-12 | Sony Corp | ロボット制御装置およびロボット制御方法、並びに記録媒体 |
| JP2001154681A (ja) * | 1999-11-30 | 2001-06-08 | Sony Corp | 音声処理装置および音声処理方法、並びに記録媒体 |
| JP2001154685A (ja) * | 1999-11-30 | 2001-06-08 | Sony Corp | 音声認識装置および音声認識方法、並びに記録媒体 |
| KR20010101883A (ko) * | 1999-11-30 | 2001-11-15 | 이데이 노부유끼 | 로봇 장치와 그 제어 방법, 및 로봇 장치의 성격 판별 방법 |
| CN1364275A (zh) * | 2000-02-10 | 2002-08-14 | 索尼公司 | 自动装置、信息提供装置、机器人装置和交易方法 |
| JP2001322079A (ja) * | 2000-05-15 | 2001-11-20 | Sony Corp | 脚式移動ロボット及びその動作教示方法 |
| JP2001357053A (ja) * | 2000-06-12 | 2001-12-26 | Matsushita Electric Ind Co Ltd | 対話装置 |
| JP2002307354A (ja) * | 2000-11-07 | 2002-10-23 | Sega Toys:Kk | 電子玩具 |
| EP1386472A4 (en) * | 2001-02-27 | 2009-05-27 | Anthrotronix Inc | ROBOTIC APPARATUS AND WIRELESS TELECOMMUNICATIONS SYSTEM |
| WO2002072317A1 (fr) * | 2001-03-09 | 2002-09-19 | Japan Science And Technology Corporation | Systeme de robot audiovisuel |
| EP1262844A1 (en) * | 2001-06-01 | 2002-12-04 | Sony International (Europe) GmbH | Method for controlling a man-machine-interface unit |
| US6560512B1 (en) * | 2002-01-04 | 2003-05-06 | Machine Consciousness, Inc. | Relational robotic controller |
| JP3790816B2 (ja) * | 2002-02-12 | 2006-06-28 | 国立大学法人 東京大学 | 人型リンク系の運動生成方法 |
| JP2003255991A (ja) * | 2002-03-06 | 2003-09-10 | Sony Corp | 対話制御システム、対話制御方法及びロボット装置 |
| US7640164B2 (en) * | 2002-07-04 | 2009-12-29 | Denso Corporation | System for performing interactive dialog |
| US6925357B2 (en) * | 2002-07-25 | 2005-08-02 | Intouch Health, Inc. | Medical tele-robotic system |
| CN1864204A (zh) * | 2002-09-06 | 2006-11-15 | 语音信号技术有限公司 | 用来完成语音识别的方法、系统和程序 |
| US20090030552A1 (en) * | 2002-12-17 | 2009-01-29 | Japan Science And Technology Agency | Robotics visual and auditory system |
| JP2004283958A (ja) * | 2003-03-20 | 2004-10-14 | Sony Corp | ロボット装置、その行動制御方法及びプログラム |
| JP2004302785A (ja) * | 2003-03-31 | 2004-10-28 | Honda Motor Co Ltd | 移動ロボットの画像送信装置 |
| US20050038647A1 (en) * | 2003-08-11 | 2005-02-17 | Aurilab, Llc | Program product, method and system for detecting reduced speech |
| JP2005193331A (ja) * | 2004-01-06 | 2005-07-21 | Sony Corp | ロボット装置及びその情動表出方法 |
| JP4244812B2 (ja) * | 2004-01-16 | 2009-03-25 | ソニー株式会社 | 行動制御システム及びロボット装置の行動制御方法 |
| WO2005076258A1 (ja) * | 2004-02-03 | 2005-08-18 | Matsushita Electric Industrial Co., Ltd. | ユーザ適応型装置およびその制御方法 |
| JP4661074B2 (ja) * | 2004-04-07 | 2011-03-30 | ソニー株式会社 | 情報処理システム、情報処理方法、並びにロボット装置 |
| US20060122837A1 (en) * | 2004-12-08 | 2006-06-08 | Electronics And Telecommunications Research Institute | Voice interface system and speech recognition method |
| US20060136210A1 (en) * | 2004-12-16 | 2006-06-22 | Sony Corporation | System and method for tying variance vectors for speech recognition |
| JP4204541B2 (ja) * | 2004-12-24 | 2009-01-07 | 株式会社東芝 | 対話型ロボット、対話型ロボットの音声認識方法および対話型ロボットの音声認識プログラム |
| JP2006187825A (ja) | 2005-01-05 | 2006-07-20 | Yaskawa Electric Corp | ロボット装置およびその制御方法 |
| US20060257830A1 (en) * | 2005-05-13 | 2006-11-16 | Chyi-Yeu Lin | Spelling robot |
| ATE522330T1 (de) * | 2005-09-30 | 2011-09-15 | Irobot Corp | Robotersystem mit kabelloser kommunikation mittels tcp/ip übertragung |
| US8484146B2 (en) * | 2006-01-18 | 2013-07-09 | Sony Corporation | Interaction device implementing a bayesian's estimation |
| JP4186992B2 (ja) * | 2006-01-31 | 2008-11-26 | 株式会社豊田中央研究所 | 応答生成装置、方法及びプログラム |
| DE602006019646D1 (de) * | 2006-04-27 | 2011-02-24 | Mobiter Dicta Oy | Verfahren, system und einrichtung zur umsetzung von sprache |
| WO2007138741A1 (ja) * | 2006-05-26 | 2007-12-06 | Nec Corporation | 音声入力システム、対話型ロボット、音声入力方法、および、音声入力プログラム |
| US8204747B2 (en) * | 2006-06-23 | 2012-06-19 | Panasonic Corporation | Emotion recognition apparatus |
| JP2008168375A (ja) * | 2007-01-10 | 2008-07-24 | Sky Kk | ボディランゲージロボット、ボディランゲージロボットの制御方法及び制御プログラム |
| US20080281766A1 (en) * | 2007-03-31 | 2008-11-13 | Mitchell Kwok | Time Machine Software |
| US20080256008A1 (en) * | 2007-03-31 | 2008-10-16 | Mitchell Kwok | Human Artificial Intelligence Machine |
| US7966093B2 (en) * | 2007-04-17 | 2011-06-21 | Yefim Zhuk | Adaptive mobile robot system with knowledge-driven architecture |
| BRPI0809759A2 (pt) * | 2007-04-26 | 2014-10-07 | Ford Global Tech Llc | "sistema informativo emotivo, sistemas de informações emotivas, métodos de condução emotiva de informações, sistemas informativos emotivos para um veículo de passageiro e método implementado por computador" |
| WO2009028647A1 (ja) * | 2007-08-31 | 2009-03-05 | National Institute Of Information And Communications Technology | 非対話型学習装置及び対話型学習装置 |
| US7809664B2 (en) * | 2007-12-21 | 2010-10-05 | Yahoo! Inc. | Automated learning from a question and answering network of humans |
| US9165199B2 (en) * | 2007-12-21 | 2015-10-20 | Honda Motor Co., Ltd. | Controlled human pose estimation from depth image streams |
| JP5075664B2 (ja) * | 2008-02-15 | 2012-11-21 | 株式会社東芝 | 音声対話装置及び支援方法 |
| KR20100086262A (ko) * | 2009-01-22 | 2010-07-30 | 삼성전자주식회사 | 로봇 및 그 제어방법 |
| JP5663201B2 (ja) * | 2009-06-04 | 2015-02-04 | 本田技研工業株式会社 | 音源方向推定装置及び音源方向推定方法 |
| US8930179B2 (en) * | 2009-06-04 | 2015-01-06 | Microsoft Corporation | Recognition using re-recognition and statistical classification |
| FR2947923B1 (fr) * | 2009-07-10 | 2016-02-05 | Aldebaran Robotics | Systeme et procede pour generer des comportements contextuels d'un robot mobile |
| US8676581B2 (en) * | 2010-01-22 | 2014-03-18 | Microsoft Corporation | Speech recognition analysis via identification information |
| JP2011186351A (ja) * | 2010-03-11 | 2011-09-22 | Sony Corp | 情報処理装置、および情報処理方法、並びにプログラム |
| US8706298B2 (en) * | 2010-03-17 | 2014-04-22 | Raytheon Company | Temporal tracking robot control system |
| FR2962048A1 (fr) * | 2010-07-02 | 2012-01-06 | Aldebaran Robotics S A | Robot humanoide joueur, methode et systeme d'utilisation dudit robot |
| FR2963132A1 (fr) * | 2010-07-23 | 2012-01-27 | Aldebaran Robotics | Robot humanoide dote d'une interface de dialogue naturel, methode d'utilisation et de programmation de ladite interface |
| US8594845B1 (en) * | 2011-05-06 | 2013-11-26 | Google Inc. | Methods and systems for robotic proactive informational retrieval from ambient context |
| JP5982840B2 (ja) * | 2012-01-31 | 2016-08-31 | 富士通株式会社 | 対話装置、対話プログラムおよび対話方法 |
| US8918208B1 (en) * | 2012-02-07 | 2014-12-23 | Ryan Hickman | Projection of interactive map data |
| FR2989209B1 (fr) | 2012-04-04 | 2015-01-23 | Aldebaran Robotics | Robot apte a integrer des dialogues naturels avec un utilisateur dans ses comportements, procedes de programmation et d'utilisation dudit robot |
| US9053708B2 (en) * | 2012-07-18 | 2015-06-09 | International Business Machines Corporation | System, method and program product for providing automatic speech recognition (ASR) in a shared resource environment |
| US9302393B1 (en) * | 2014-04-15 | 2016-04-05 | Alan Rosen | Intelligent auditory humanoid robot and computerized verbalization system programmed to perform auditory and verbal artificial intelligence processes |
-
2014
- 2014-04-17 EP EP14305583.8A patent/EP2933067B1/en active Active
-
2015
- 2015-04-17 RU RU2016144006A patent/RU2016144006A/ru not_active Application Discontinuation
- 2015-04-17 AU AU2015248713A patent/AU2015248713B2/en not_active Ceased
- 2015-04-17 JP JP2016562886A patent/JP6505748B2/ja not_active Expired - Fee Related
- 2015-04-17 NZ NZ725307A patent/NZ725307A/en not_active IP Right Cessation
- 2015-04-17 CA CA2946056A patent/CA2946056A1/en not_active Abandoned
- 2015-04-17 CN CN201580020117.9A patent/CN106457563B/zh not_active Expired - Fee Related
- 2015-04-17 US US15/300,226 patent/US10242666B2/en not_active Expired - Fee Related
- 2015-04-17 KR KR1020167032132A patent/KR101991163B1/ko active IP Right Grant
- 2015-04-17 CN CN201911078266.7A patent/CN110774285A/zh active Pending
- 2015-04-17 MX MX2016013019A patent/MX2016013019A/es unknown
- 2015-04-17 SG SG11201608205UA patent/SG11201608205UA/en unknown
- 2015-04-17 BR BR112016023928A patent/BR112016023928A2/pt not_active IP Right Cessation
- 2015-04-17 WO PCT/EP2015/058373 patent/WO2015158887A2/en active Application Filing
- 2015-04-17 SG SG10201806415YA patent/SG10201806415YA/en unknown
-
2016
- 2016-04-18 HK HK16104422.2A patent/HK1216405A1/zh unknown
-
2018
- 2018-06-14 AU AU2018204246A patent/AU2018204246B2/en not_active Expired - Fee Related
-
2019
- 2019-02-06 US US16/269,340 patent/US20190172448A1/en not_active Abandoned
- 2019-03-26 JP JP2019057767A patent/JP2019164352A/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| EP2933067A1 (en) | 2015-10-21 |
| SG11201608205UA (en) | 2016-10-28 |
| SG10201806415YA (en) | 2018-08-30 |
| KR20170003580A (ko) | 2017-01-09 |
| CN110774285A (zh) | 2020-02-11 |
| JP2019164352A (ja) | 2019-09-26 |
| US20190172448A1 (en) | 2019-06-06 |
| JP2017520782A (ja) | 2017-07-27 |
| CA2946056A1 (en) | 2015-10-22 |
| AU2018204246B2 (en) | 2020-05-14 |
| CN106457563A (zh) | 2017-02-22 |
| BR112016023928A2 (pt) | 2017-08-15 |
| RU2016144006A3 (ru) | 2018-05-18 |
| KR101991163B1 (ko) | 2019-06-19 |
| NZ725307A (en) | 2018-03-23 |
| AU2018204246A1 (en) | 2018-07-05 |
| HK1216405A1 (zh) | 2016-11-11 |
| AU2015248713B2 (en) | 2018-03-29 |
| AU2015248713A1 (en) | 2016-11-03 |
| CN106457563B (zh) | 2019-12-03 |
| JP6505748B2 (ja) | 2019-04-24 |
| US10242666B2 (en) | 2019-03-26 |
| EP2933067B1 (en) | 2019-09-18 |
| MX2016013019A (es) | 2017-05-30 |
| WO2015158887A2 (en) | 2015-10-22 |
| US20170148434A1 (en) | 2017-05-25 |
| WO2015158887A3 (en) | 2016-01-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2016144006A (ru) | Способ осуществления многорежимного диалога между человекоподобным роботом и пользователем, компьютерный программный продукт и человекоподобный робот для осуществления упомянутого способа | |
| KR102246943B1 (ko) | 다중 언어 텍스트-음성 합성 방법 | |
| US10515623B1 (en) | Non-speech input to speech processing system | |
| US10074369B2 (en) | Voice-based communications | |
| US9972318B1 (en) | Interpreting voice commands | |
| US11990120B2 (en) | Non-speech input to speech processing system | |
| US11830485B2 (en) | Multiple speech processing system with synthesized speech styles | |
| US10580404B2 (en) | Indicator for voice-based communications | |
| US10692489B1 (en) | Non-speech input to speech processing system | |
| US10453449B2 (en) | Indicator for voice-based communications | |
| US10170116B1 (en) | Maintaining context for voice processes | |
| US10163436B1 (en) | Training a speech processing system using spoken utterances | |
| US20170133038A1 (en) | Method and apparatus for keyword speech recognition | |
| US10199034B2 (en) | System and method for unified normalization in text-to-speech and automatic speech recognition | |
| US11676572B2 (en) | Instantaneous learning in text-to-speech during dialog | |
| EP3507796A1 (en) | Voice-based communications | |
| US20220375469A1 (en) | Intelligent voice recognition method and apparatus | |
| Hafeez et al. | Speaker-dependent live quranic verses recitation recognition system using Sphinx-4 framework | |
| US20230186902A1 (en) | Multiple wakeword detection | |
| US11670285B1 (en) | Speech processing techniques | |
| Chen et al. | A novel approach of system design for dialect speech interaction with NAO robot | |
| KR20130026855A (ko) | 음성 인식용 탐색 공간 생성 장치 | |
| Rossiter | Multimodal intent recognition for natural human-robotic interaction | |
| Lung et al. | Speech recognition in Human-Computer interactive control | |
| Simonic | A Voice User Interface for Human-Robot Interaction on a Service Robot |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FA92 | Acknowledgement of application withdrawn (lack of supplementary materials submitted) |
Effective date: 20190131 |