JP6505748B2 - 人間型ロボットとユーザーの間におけるマルチモード会話を実行する方法、前記方法を実装するコンピュータプログラム及び人間型ロボット - Google Patents
人間型ロボットとユーザーの間におけるマルチモード会話を実行する方法、前記方法を実装するコンピュータプログラム及び人間型ロボット Download PDFInfo
- Publication number
- JP6505748B2 JP6505748B2 JP2016562886A JP2016562886A JP6505748B2 JP 6505748 B2 JP6505748 B2 JP 6505748B2 JP 2016562886 A JP2016562886 A JP 2016562886A JP 2016562886 A JP2016562886 A JP 2016562886A JP 6505748 B2 JP6505748 B2 JP 6505748B2
- Authority
- JP
- Japan
- Prior art keywords
- robot
- processor
- user
- word
- expressiveness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1815—Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
- B25J11/0015—Face robots, animated artificial faces for imitating human expressions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/005—Manipulators for mechanical processing tasks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/003—Controls for manipulators by means of an audio-responsive input
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/32—Multiple recognisers used in sequence or in parallel; Score combination systems therefor, e.g. voting systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
- G10L2015/025—Phonemes, fenemes or fenones being the recognition units
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Acoustics & Sound (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Manipulator (AREA)
- User Interface Of Digital Computer (AREA)
- Machine Translation (AREA)
Description
i)個々のセンサから複数の入力信号を取得するステップであって、少なくとも1つの前記センサは、サウンドセンサであり、且つ、少なくとも1つのその他のセンサは、モーション又は画像センサである、ステップと、
ii)少なくとも単語又は文の発声、音声のイントネーション、ジェスチャ、身体の姿勢、顔面の表現を有する群から選択された、前記ユーザーによって生成される複数のイベントを認識するべく、取得された信号を解釈するステップと、
iii)少なくとも単語又は文の発声、音声のイントネーション、ジェスチャ、身体の姿勢、顔面の表現を有する群から選択された少なくとも1つのイベントを有する前記人間型ロボットの応答を判定するステップであって、前記判定するステップは、規則の組を適用することにより、実行され、それぞれの前記規則は、入力イベントの組をロボットの応答に関連付けている、ステップと、
iv)前記人間型ロボットにより、前記イベント又はそれぞれの前記イベントを生成するステップと、
を有し、
この方法は、前記ステップiii)において適用される前記規則の少なくともいくつかが、応答を前記ユーザーによって一緒に生成されると共に前記ステップii)において認識される少なくとも2つのイベントの組合せに関連付けており、これらのイベントの少なくとも1つは、前記ユーザーによって発声された単語又は文ではない、ことを特徴としている。
− 少なくとも1つの組込み型のプロセッサと、
− 個々の入力信号を取得するべく、前記プロセッサ又は少なくとも1つの前記プロセッサに対して動作可能に接続されると共に、少なくとも1つのサウンドセンサと、少なくとも1つの画像又は運動センサと、を有するセンサ組立体と、
− 単語又は文を発声するべく、前記プロセッサ又は少なくとも1つの前記プロセッサによって駆動される発話合成モジュールと、
− 前記ロボットが複数の運動又はジェスチャを実行できるようにする前記プロセッサ又は少なくとも1つの前記プロセッサによって駆動されるアクチュエータの組と、
を有する人間型ロボットであり、
このロボットは、前記プロセッサ又は少なくとも1つの前記プロセッサが、本発明の一実施形態による方法を実行するようにプログラム又は構成されているを特徴としている。
− 例えば、その眼、耳の内部の、且つ、その肩の上部のLEDと、
− その耳の内部に配置された、例えば、2つのラウンドスピーカと、
を含むこともできる。
IF{(笑顔>2) AND [手を振る OR “こんにちは” OR “やあ”]} THEN {(笑顔=4) AND 手を振る AND “こんにちは”}
− ADMN→BDMN(「A」が「B」に変更される)
− BDMN→BDLN(「M」が「L」に変更される)
− BDLN→BDLNS(「S」が追加される)
Claims (24)
- 人間型ロボット(R)と少なくとも一人のユーザー(U)の間における会話を実行する方法であって、前記人間型ロボットによって反復的に実行される、
i)個々のセンサ(c1、c2)から複数の入力信号(s1、s2)を取得するステップであって、少なくとも1つの前記センサは、サウンドセンサであり、且つ、少なくとも1つのその他のセンサは、モーション又は画像センサである、ステップと、
ii)少なくとも単語又は文の発声、音声のイントネーション、ジェスチャ、身体の姿勢、顔面の表現を有する群から選択された、前記ユーザーによって生成された複数のイベント(EVI)を認識するべく前記取得された信号を解釈するステップと、
iii)少なくとも単語又は文の発声、音声のイントネーション、ジェスチャ、身体の姿勢、顔面の表現を有する群から選択された少なくとも1つのイベント(EVO)を有する前記人間型ロボットの応答を決定するステップであって、前記決定するステップは、規則の組を適用することによって実行され、それぞれの前記規則は、入力イベントの組を前記ロボットの応答に対して関連付けている、ステップと、
iv)前記人間型ロボットにより、前記イベント又はそれぞれの前記イベントを生成するステップと、
v)ステップiii)において決定された前記応答が、少なくとも前記単語又は文の発声を有する場合に、発声対象の前記単語又は文の語学的分析を実行し、前記分析に応じて前記発声を伴う活性化を決定し、前記活性化の決定が、前記文の構造内における少なくとも1つの単語の機能に応じて、活性化対象である前記少なくとも1つの単語を決定するべく、発声対象である文の構文分析を実行することを含む、ステップと
を有し、
前記ステップiii)において適用された前記規則の少なくともいくつかが、応答を前記ユーザーによって一緒に生成されると共に前記ステップii)において認識される少なくとも2つのイベントの組合せに関連付けており、これらのイベントのうちの少なくとも1つは、前記ユーザーによって発声された単語又は文ではない、方法。 - 前記ステップiii)において適用される前記規則のうちの少なくともいくつかは、前記人間型ロボットによって一緒に生成される少なくとも2つのイベントを有する応答を決定し、これらのイベントの少なくとも1つは、前記単語又は文の発声ではない請求項1に記載の方法。
- 前記ステップiii)において、前記規則は、会話のコンテキスト(CTX)、前記ユーザーの身元情報、前記人間型ロボットの内部状態(RIS)から選択された少なくとも1つのパラメータに依存する請求項1又は2に記載の方法。
- 前記ステップii)において認識された又は前記ステップiii)において決定された少なくとも1つのイベントに従って前記パラメータ又は少なくとも1つの前記パラメータの値を変更するステップを更に有する請求項3に記載の方法。
- 前記ステップii)は、取得された信号と前記人間型ロボットの、又はこれによってアクセス可能である、メモリ内に保存されている予想イベントのリストに属するイベントの間におけるマッチングをサーチするステップを有し、前記サーチするステップは、既定の値を上回るコンフィデンススコアを有するイベントが認識される時点まで、或いは、最高の複雑性を有する認識方法の使用が完了する時点まで、増大する複雑性を有する複数のマッチング法(MM1〜MM4)を連続的に使用することによって実行される請求項1〜4のいずれか1項に記載の方法。
- 前記使用されるマッチング方法は、会話のコンテキストに応じて選択される請求項5に記載の方法。
- 前記マッチング方法は、増大する複雑性の順序において、正確なマッチングについてのサーチ、概略的なマッチングについてのサーチ、音声認識のケースのみにおける音声学的対応性についてのサーチ、及び意味論的な対応性についてのサーチを含む請求項5又は6に記載の方法。
- 音声学的対応性についてサーチする前記方法は、
− サウンドセンサによって取得されたサウンドの組の音声学的文字化のステップと、
− 前記結果的に得られた音声学的文字化を単純化及びスムージングするステップと、
− 前記単純化及びスムージングされた音声学的文字化と自然言語における予め定義された単語の組を単純化及びスムージングすることによって得られた複数のエントリの間における編集距離を算出するステップと、
− 前記単純化及びスムージングされた音声学的文字化から最小の編集距離を有する前記エントリに対応した予め定義された組の自然言語単語を選択するステップと、
を有する請求項7に記載の方法。 - 前記単純化及びスムージングするステップは、
− 混同されやすい音素を単一の音素によって置換するステップと、
− 単語の開始点に位置した母音及び鼻母音以外の母音を除去するステップと、
− 単語の間の休止部を除去するステップと、
を有する請求項8に記載の方法。 - 前記予想イベントのリストは、会話のコンテキストに応じて、複数の前記リストのうちから選択される請求項5〜9のいずれか1項に記載の方法。
- 前記ステップiii)は、プロアクティブな規則と呼称される予め定義されたサブセット(PRO)に属する規則を適用することにより、前記ユーザーによって発声された単語又は識別されたジェスチャの欠如を含むイベントの組に対する応答を決定するステップを有する請求項1〜10のいずれか1項に記載の方法。
- 前記ステップv)は、
α)活性化対象である前記応答の少なくとも1つの単語を識別するサブステップと、
β)コンセプトと、活性化対象である前記単語又はそれぞれの前記単語と関連付けられたワンオフ表現力と呼称される表現力と、を決定するサブステップと、
γ)前記人間型ロボットの、又はこれによってアクセス可能である、メモリ内に保存されている活性化のリスト(ALST)から、前記コンセプト及び前記ワンオフ表現力に基づいて、活性化を選択するサブステップと、
を有する請求項1に記載の方法。 - 前記サブステップβにおいて、前記ワンオフ表現力は、前記単語の表現力、前記単語に関係付けられた1つ又な複数のその他の単語の表現力、及び前記全体的な応答の全体的な表現力から選択された少なくとも1つのパラメータに基づいて決定される請求項12に記載の方法。
- 前記リストのそれぞれの活性化は、1つ又は複数のコンセプトと関連付けられ、且つ、特定の表現力を有しており、前記サブステップγは、前記リストのうちにおいて、前記サブステップβにおいて決定された前記コンセプトと関連付けられると共に前記ワンオフ表現力に最も近接した特定の表現力を有する活性化を選択するステップを含む請求項12又は13に記載の方法。
- δ)前記特定の表現力及び前記ワンオフ表現力に基づいて、最終的な表現力と呼称される表現力を決定するサブステップを更に有する請求項14に記載の方法。
- 前記ワンオフ表現力又は前記最終的な表現力は、前記活性化の少なくとも1つのジェスチャの速度及び振幅のうちから選択された少なくとも1つのパラメータを決定する請求項12〜15のいずれか1項に記載の方法。
- 前記ステップi)〜iv)と同時に前記ロボットによって反復的に実装される、
A)前記ロボット(R)に設定された基準フレームとの関係において前記ユーザー(U)の身体の少なくとも一部分の位置を決定するステップと、
B)予め定義された値の範囲において前記ロボット又はその1つの要素と前記ユーザーの前記少なくとも1つの又は前記身体部分の間の距離を維持するべく、前記ロボットの少なくとも1つのアクチュエータを駆動するステップと、
を更に有する請求項1〜16のいずれか1項に記載の方法。 - 前記ステップB)は、既定の角度範囲内において前記ユーザーとの関係における前記ロボットの向きを維持するべく、前記ロボットの少なくとも1つのアクチュエータを駆動するステップを更に有する請求項17に記載の方法。
- C)前記既定の値の範囲内において前記距離を維持すると共に、適宜、前記既定の角度範囲内において前記向きを維持しつつ、前記ロボットの前記疑似ランダムな変位を生成するように前記アクチュエータ又は少なくとも1つの前記アクチュエータを駆動するステップを更に有する請求項17又は18に記載の方法。
- D)前記ユーザーと前記人間型ロボットの間における継続中の会話の意味論的分析を実行し、且つ、前記分析に従って、前記既定の距離値の範囲を変更すると共に、適宜、前記既定の角度範囲を変更するステップを更に有する請求項17〜19のいずれか1項に記載の方法。
- 前記ステップA)は、前記ロボットに設定された前記基準フレームとの関係において前記ユーザーの下半身の位置を決定するステップを有する請求項17〜20のいずれか1項に記載の方法。
- プログラムコード命令を有するコンピュータプログラムであって、前記プログラムコード命令は、前記プログラムが、人間型ロボット(R)上において組み込まれた少なくとも1つのプロセッサによって実行された際に、請求項1〜21のいずれか1項に記載の方法を実行し、前記ロボットは、個々の入力信号を取得するべく、前記プロセッサ又は少なくとも1つのプロセッサに対して動作可能に接続されると共に少なくとも1つのサウンドセンサ及び少なくとも1つの画像又は運動センサを有する複数のセンサ(c1、c2)と、単語又は文を発声するべく、前記プロセッサ又は少なくとも1つの前記プロセッサによって制御される発話合成モジュールと、前記ロボットが複数の運動又はジェスチャを実行できるようにする前記プロセッサ又は少なくとも1つの前記プロセッサによって駆動されるアクチュエータの組(A1、A2、A3)と、を有する、コンピュータプログラム。
- 人間型ロボット(R)であって、
− 少なくとも1つの組込み型のプロセッサと、
− 個々の入力信号を取得するべく、前記プロセッサ又は少なくとも1つの前記プロセッサに対して動作可能に接続されると共に少なくとも1つのサウンドセンサ及び少なくとも1つの画像又は運動センサを有するセンサ組立体(c1、c2)と、
− 単語又は文を発声するべく、前記プロセッサ又は少なくとも1つの前記プロセッサによって駆動される発話合成モジュールと、
− 前記ロボットが複数の運動又はジェスチャを実行できるようにする前記プロセッサ又は少なくとも1つの前記プロセッサによって駆動されるアクチュエータの組(A1、A2、A3)と、
を有し、
前記人間型ロボットは、前記プロセッサ又は少なくとも1つの前記プロセッサが、請求項1〜21のいずれか1項に記載の方法を実行するようにプログラム又は構成されていることを特徴としている、人間型ロボット。 - 少なくとも1つのリモートサーバーに接続するための装置を更に有し、前記プロセッサ又は少なくとも1つの前記プロセッサは、請求項1〜21のいずれか1項に記載の方法を実行するべく、前記リモートサーバー又は少なくとも1つの前記リモートサーバーと協働するようにプログラム又は構成されている請求項23に記載の人間型ロボット。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP14305583.8A EP2933067B1 (en) | 2014-04-17 | 2014-04-17 | Method of performing multi-modal dialogue between a humanoid robot and user, computer program product and humanoid robot for implementing said method |
EP14305583.8 | 2014-04-17 | ||
PCT/EP2015/058373 WO2015158887A2 (en) | 2014-04-17 | 2015-04-17 | Method of performing multi-modal dialogue between a humanoid robot and user, computer program product and humanoid robot for implementing said method |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019057767A Division JP2019164352A (ja) | 2014-04-17 | 2019-03-26 | 人間型ロボットとユーザーの間におけるマルチモード会話を実行する方法、前記方法を実装するコンピュータプログラム及び人間型ロボット |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017520782A JP2017520782A (ja) | 2017-07-27 |
JP6505748B2 true JP6505748B2 (ja) | 2019-04-24 |
Family
ID=50628742
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016562886A Expired - Fee Related JP6505748B2 (ja) | 2014-04-17 | 2015-04-17 | 人間型ロボットとユーザーの間におけるマルチモード会話を実行する方法、前記方法を実装するコンピュータプログラム及び人間型ロボット |
JP2019057767A Pending JP2019164352A (ja) | 2014-04-17 | 2019-03-26 | 人間型ロボットとユーザーの間におけるマルチモード会話を実行する方法、前記方法を実装するコンピュータプログラム及び人間型ロボット |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019057767A Pending JP2019164352A (ja) | 2014-04-17 | 2019-03-26 | 人間型ロボットとユーザーの間におけるマルチモード会話を実行する方法、前記方法を実装するコンピュータプログラム及び人間型ロボット |
Country Status (14)
Country | Link |
---|---|
US (2) | US10242666B2 (ja) |
EP (1) | EP2933067B1 (ja) |
JP (2) | JP6505748B2 (ja) |
KR (1) | KR101991163B1 (ja) |
CN (2) | CN106457563B (ja) |
AU (2) | AU2015248713B2 (ja) |
BR (1) | BR112016023928A2 (ja) |
CA (1) | CA2946056A1 (ja) |
HK (1) | HK1216405A1 (ja) |
MX (1) | MX2016013019A (ja) |
NZ (1) | NZ725307A (ja) |
RU (1) | RU2016144006A (ja) |
SG (2) | SG11201608205UA (ja) |
WO (1) | WO2015158887A2 (ja) |
Families Citing this family (55)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9634855B2 (en) | 2010-05-13 | 2017-04-25 | Alexander Poltorak | Electronic personal interactive device that determines topics of interest using a conversational agent |
US9607609B2 (en) * | 2014-09-25 | 2017-03-28 | Intel Corporation | Method and apparatus to synthesize voice based on facial structures |
JP1573749S (ja) * | 2016-01-29 | 2017-04-10 | ||
JP2017151517A (ja) * | 2016-02-22 | 2017-08-31 | 富士ゼロックス株式会社 | ロボット制御システム |
JP2019523714A (ja) * | 2016-04-26 | 2019-08-29 | タキオン ロボティクス コーポレーション | 多重相互作用人格ロボット |
US10239205B2 (en) * | 2016-06-29 | 2019-03-26 | International Business Machines Corporation | System, method, and recording medium for corpus curation for action manifestation for cognitive robots |
JP6933455B2 (ja) * | 2016-09-29 | 2021-09-08 | 株式会社東芝 | 関心維持システム及びサーバ |
US10775880B2 (en) * | 2016-11-30 | 2020-09-15 | Universal City Studios Llc | Animated character head systems and methods |
EP3551393A4 (en) * | 2016-12-12 | 2020-08-12 | Microsoft Technology Licensing, LLC | ROBOT GESTURE GENERATION |
CN106737745A (zh) * | 2017-01-05 | 2017-05-31 | 珠海市横琴麒翔科技有限公司 | 智能机器人 |
JP2018126810A (ja) * | 2017-02-06 | 2018-08-16 | 川崎重工業株式会社 | ロボットシステム及びロボット対話方法 |
KR20180115599A (ko) * | 2017-04-13 | 2018-10-23 | 인하대학교 산학협력단 | 발화 개선을 위한 두경부 물리 특성 기반의 가이드 및 피드백 시스템 |
JP6841167B2 (ja) * | 2017-06-14 | 2021-03-10 | トヨタ自動車株式会社 | コミュニケーション装置、コミュニケーションロボットおよびコミュニケーション制御プログラム |
CN107309880A (zh) * | 2017-07-06 | 2017-11-03 | 优必选教育(深圳)有限公司 | 一种人形机器人装置、控制系统及其控制方法 |
WO2019050034A1 (ja) | 2017-09-11 | 2019-03-14 | Groove X株式会社 | 相手を見つめる自律行動型ロボット |
CN109531564A (zh) * | 2017-09-21 | 2019-03-29 | 富泰华工业(深圳)有限公司 | 机器人服务内容编辑系统及方法 |
EP3686758A4 (en) * | 2017-10-09 | 2020-12-16 | Huawei Technologies Co., Ltd. | VOCAL AND TERMINAL INFORMATION PROCESS AND DEVICE |
CN111194464A (zh) * | 2017-10-11 | 2020-05-22 | 索尼公司 | 语音输入装置和方法以及程序 |
EP3486900A1 (en) * | 2017-11-16 | 2019-05-22 | Softbank Robotics Europe | System and method for dialog session management |
US10777198B2 (en) * | 2017-11-24 | 2020-09-15 | Electronics And Telecommunications Research Institute | Apparatus for determining speech properties and motion properties of interactive robot and method thereof |
US10783329B2 (en) * | 2017-12-07 | 2020-09-22 | Shanghai Xiaoi Robot Technology Co., Ltd. | Method, device and computer readable storage medium for presenting emotion |
US10593318B2 (en) * | 2017-12-26 | 2020-03-17 | International Business Machines Corporation | Initiating synthesized speech outpout from a voice-controlled device |
US10821602B2 (en) * | 2017-12-28 | 2020-11-03 | Aeolus Robotics Corporation Limited | Carrier for robot and robot having the same |
EP3732676A4 (en) | 2017-12-29 | 2021-09-22 | DMAI, Inc. | SYSTEM AND METHOD FOR INTELLIGENT INITIATION OF A HUMAN-MACHINE DIALOGUE BASED ON MULTIMODAL SENSORY INPUTS |
US11024294B2 (en) | 2017-12-29 | 2021-06-01 | DMAI, Inc. | System and method for dialogue management |
CN111801730A (zh) * | 2017-12-29 | 2020-10-20 | 得麦股份有限公司 | 用于人工智能驱动的自动伴侣的系统和方法 |
WO2019133689A1 (en) | 2017-12-29 | 2019-07-04 | DMAI, Inc. | System and method for selective animatronic peripheral response for human machine dialogue |
WO2019160612A1 (en) * | 2018-02-15 | 2019-08-22 | DMAI, Inc. | System and method for dynamic robot profile configurations based on user interactions |
WO2019160613A1 (en) | 2018-02-15 | 2019-08-22 | DMAI, Inc. | System and method for dynamic program configuration |
JP6886663B2 (ja) * | 2018-02-19 | 2021-06-16 | 日本電信電話株式会社 | 動作指示生成システム、方法およびプログラム |
CN110415688B (zh) * | 2018-04-26 | 2022-02-08 | 杭州萤石软件有限公司 | 一种信息交互方法及机器人 |
FR3080926B1 (fr) * | 2018-05-04 | 2020-04-24 | Spoon | Procede de commande d'une pluralite d'effecteurs d'un robot |
DE102018207513A1 (de) * | 2018-05-15 | 2019-11-21 | Siemens Aktiengesellschaft | Verfahren zum rechnergestützten Lernen eines Roboters über einen Sprachdialog |
JP7201984B2 (ja) * | 2018-07-09 | 2023-01-11 | 株式会社国際電気通信基礎技術研究所 | アンドロイドのジェスチャ生成装置及びコンピュータプログラム |
US11037557B2 (en) * | 2018-08-24 | 2021-06-15 | International Business Machines Corporation | Cognitive contextual conversation side topics |
KR102228866B1 (ko) | 2018-10-18 | 2021-03-17 | 엘지전자 주식회사 | 로봇 및 그의 제어 방법 |
JP2020082246A (ja) * | 2018-11-20 | 2020-06-04 | 大日本印刷株式会社 | 姿勢データ生成装置、学習器、コンピュータプログラム、学習データ、姿勢データ生成方法及び学習モデルの生成方法 |
CN109664307A (zh) * | 2018-12-16 | 2019-04-23 | 哈尔滨理工大学 | 一种基于深度学习的对话机器人 |
CN110070870B (zh) * | 2019-05-06 | 2022-02-08 | 阿波罗智联(北京)科技有限公司 | 车载系统的信号处理方法和系统 |
US11247738B2 (en) * | 2019-05-24 | 2022-02-15 | Disney Enterprises, Inc. | Legged high-dexterity self-balancing capable robot actor |
CN110473534A (zh) * | 2019-07-12 | 2019-11-19 | 南京邮电大学 | 一种基于深度神经网络的老年人看护对话系统 |
CN110524559B (zh) * | 2019-08-30 | 2022-06-10 | 成都未至科技有限公司 | 基于人员行为数据的智能人机交互系统及方法 |
JP7191793B2 (ja) * | 2019-08-30 | 2022-12-19 | 株式会社東芝 | 信号処理装置、信号処理方法、及びプログラム |
JP7330827B2 (ja) | 2019-09-10 | 2023-08-22 | 株式会社日立製作所 | データ処理装置、データ処理方法、およびデータ処理プログラム |
US20210089908A1 (en) * | 2019-09-25 | 2021-03-25 | Deepmind Technologies Limited | Modulating agent behavior to optimize learning progress |
WO2020190362A2 (en) * | 2020-01-17 | 2020-09-24 | Futurewei Technologies, Inc. | A social interaction robot |
EP4111354A4 (en) * | 2020-02-29 | 2024-04-03 | Embodied Inc | SYSTEMS AND METHODS FOR MANAGING SHORT AND LONG TERM DIALOGUE BETWEEN A ROBOTIC COMPUTER DEVICE/DIGITAL COMPANION AND A USER |
CN113687712A (zh) * | 2020-05-18 | 2021-11-23 | 阿里巴巴集团控股有限公司 | 控制方法及设备、电子设备 |
US11423206B2 (en) * | 2020-11-05 | 2022-08-23 | Adobe Inc. | Text style and emphasis suggestions |
CN114571473A (zh) * | 2020-12-01 | 2022-06-03 | 北京小米移动软件有限公司 | 足式机器人的控制方法、装置及足式机器人 |
JP2022146399A (ja) * | 2021-03-22 | 2022-10-05 | 株式会社サイバーエージェント | 制御システム、制御装置、制御方法及びコンピュータプログラム |
IT202100014480A1 (it) * | 2021-06-03 | 2022-12-03 | Ivano Corradetti | Sistema informativo, robotizzato, interagibile empaticamente con un interlocutore umano |
CN113312086B (zh) * | 2021-06-10 | 2022-08-12 | 重庆小易智联智能技术有限公司 | 基于指令集的软件机器人系统及机器人运行方法 |
CN114443202A (zh) * | 2022-02-08 | 2022-05-06 | 北京课游工场数字科技有限公司 | 一种交互式答题操作及答题表现方法及系统 |
US20230298568A1 (en) * | 2022-03-15 | 2023-09-21 | Drift.com, Inc. | Authoring content for a conversational bot |
Family Cites Families (67)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4398720A (en) * | 1981-01-05 | 1983-08-16 | California R & D Center | Robot computer chess game |
JPS61156405A (ja) * | 1984-12-28 | 1986-07-16 | Nintendo Co Ltd | 光感応制御装置 |
US6580369B1 (en) * | 1995-10-11 | 2003-06-17 | Motorola, Inc. | Electronic tag assembly and method therefor |
WO2000040377A1 (fr) * | 1999-01-07 | 2000-07-13 | Sony Corporation | Appareil de type machine, procede d'actionnement de celui-ci et support enregistre |
US6519506B2 (en) * | 1999-05-10 | 2003-02-11 | Sony Corporation | Robot and control method for controlling the robot's emotions |
US6347261B1 (en) * | 1999-08-04 | 2002-02-12 | Yamaha Hatsudoki Kabushiki Kaisha | User-machine interface system for enhanced interaction |
JP3615702B2 (ja) * | 1999-11-25 | 2005-02-02 | ソニー株式会社 | 脚式移動ロボットの動作制御装置及び動作制御方法、並びに、脚式移動ロボット |
US7117190B2 (en) * | 1999-11-30 | 2006-10-03 | Sony Corporation | Robot apparatus, control method thereof, and method for judging character of robot apparatus |
JP2001157976A (ja) * | 1999-11-30 | 2001-06-12 | Sony Corp | ロボット制御装置およびロボット制御方法、並びに記録媒体 |
JP2001154681A (ja) * | 1999-11-30 | 2001-06-08 | Sony Corp | 音声処理装置および音声処理方法、並びに記録媒体 |
JP2001154685A (ja) * | 1999-11-30 | 2001-06-08 | Sony Corp | 音声認識装置および音声認識方法、並びに記録媒体 |
CN1364275A (zh) * | 2000-02-10 | 2002-08-14 | 索尼公司 | 自动装置、信息提供装置、机器人装置和交易方法 |
JP2001322079A (ja) * | 2000-05-15 | 2001-11-20 | Sony Corp | 脚式移動ロボット及びその動作教示方法 |
JP2001357053A (ja) * | 2000-06-12 | 2001-12-26 | Matsushita Electric Ind Co Ltd | 対話装置 |
JP2002307354A (ja) * | 2000-11-07 | 2002-10-23 | Sega Toys:Kk | 電子玩具 |
JP2005500912A (ja) * | 2001-02-27 | 2005-01-13 | アンソロトロニックス インコーポレイテッド | ロボット装置および無線通信システム |
EP1375084A4 (en) * | 2001-03-09 | 2009-10-21 | Japan Science & Tech Agency | AUDIOVISUAL ROBOT SYSTEM |
EP1262844A1 (en) * | 2001-06-01 | 2002-12-04 | Sony International (Europe) GmbH | Method for controlling a man-machine-interface unit |
US6560512B1 (en) * | 2002-01-04 | 2003-05-06 | Machine Consciousness, Inc. | Relational robotic controller |
JP3790816B2 (ja) * | 2002-02-12 | 2006-06-28 | 国立大学法人 東京大学 | 人型リンク系の運動生成方法 |
JP2003255991A (ja) * | 2002-03-06 | 2003-09-10 | Sony Corp | 対話制御システム、対話制御方法及びロボット装置 |
US7640164B2 (en) * | 2002-07-04 | 2009-12-29 | Denso Corporation | System for performing interactive dialog |
US6925357B2 (en) * | 2002-07-25 | 2005-08-02 | Intouch Health, Inc. | Medical tele-robotic system |
EP1604350A4 (en) * | 2002-09-06 | 2007-11-21 | Voice Signal Technologies Inc | METHODS, SYSTEMS AND PROGRAMMING FOR REALIZING VOICE RECOGNITION |
US20090030552A1 (en) * | 2002-12-17 | 2009-01-29 | Japan Science And Technology Agency | Robotics visual and auditory system |
JP2004283958A (ja) * | 2003-03-20 | 2004-10-14 | Sony Corp | ロボット装置、その行動制御方法及びプログラム |
JP2004302785A (ja) * | 2003-03-31 | 2004-10-28 | Honda Motor Co Ltd | 移動ロボットの画像送信装置 |
US20050038647A1 (en) * | 2003-08-11 | 2005-02-17 | Aurilab, Llc | Program product, method and system for detecting reduced speech |
JP2005193331A (ja) * | 2004-01-06 | 2005-07-21 | Sony Corp | ロボット装置及びその情動表出方法 |
JP4244812B2 (ja) * | 2004-01-16 | 2009-03-25 | ソニー株式会社 | 行動制御システム及びロボット装置の行動制御方法 |
JP3924583B2 (ja) * | 2004-02-03 | 2007-06-06 | 松下電器産業株式会社 | ユーザ適応型装置およびその制御方法 |
JP4661074B2 (ja) * | 2004-04-07 | 2011-03-30 | ソニー株式会社 | 情報処理システム、情報処理方法、並びにロボット装置 |
US20060122837A1 (en) * | 2004-12-08 | 2006-06-08 | Electronics And Telecommunications Research Institute | Voice interface system and speech recognition method |
US20060136210A1 (en) * | 2004-12-16 | 2006-06-22 | Sony Corporation | System and method for tying variance vectors for speech recognition |
JP4204541B2 (ja) * | 2004-12-24 | 2009-01-07 | 株式会社東芝 | 対話型ロボット、対話型ロボットの音声認識方法および対話型ロボットの音声認識プログラム |
JP2006187825A (ja) * | 2005-01-05 | 2006-07-20 | Yaskawa Electric Corp | ロボット装置およびその制御方法 |
US20060257830A1 (en) * | 2005-05-13 | 2006-11-16 | Chyi-Yeu Lin | Spelling robot |
ATE524784T1 (de) * | 2005-09-30 | 2011-09-15 | Irobot Corp | Begleitroboter für persönliche interaktion |
US8484146B2 (en) * | 2006-01-18 | 2013-07-09 | Sony Corporation | Interaction device implementing a bayesian's estimation |
JP4186992B2 (ja) * | 2006-01-31 | 2008-11-26 | 株式会社豊田中央研究所 | 応答生成装置、方法及びプログラム |
ES2359430T3 (es) * | 2006-04-27 | 2011-05-23 | Mobiter Dicta Oy | Procedimiento, sistema y dispositivo para la conversión de la voz. |
US9135913B2 (en) * | 2006-05-26 | 2015-09-15 | Nec Corporation | Voice input system, interactive-type robot, voice input method, and voice input program |
JP4085130B2 (ja) * | 2006-06-23 | 2008-05-14 | 松下電器産業株式会社 | 感情認識装置 |
JP2008168375A (ja) * | 2007-01-10 | 2008-07-24 | Sky Kk | ボディランゲージロボット、ボディランゲージロボットの制御方法及び制御プログラム |
US20080256008A1 (en) * | 2007-03-31 | 2008-10-16 | Mitchell Kwok | Human Artificial Intelligence Machine |
US20080281766A1 (en) * | 2007-03-31 | 2008-11-13 | Mitchell Kwok | Time Machine Software |
US7966093B2 (en) * | 2007-04-17 | 2011-06-21 | Yefim Zhuk | Adaptive mobile robot system with knowledge-driven architecture |
US9811935B2 (en) * | 2007-04-26 | 2017-11-07 | Ford Global Technologies, Llc | Emotive advisory system and method |
JP5386692B2 (ja) * | 2007-08-31 | 2014-01-15 | 独立行政法人情報通信研究機構 | 対話型学習装置 |
US9165199B2 (en) * | 2007-12-21 | 2015-10-20 | Honda Motor Co., Ltd. | Controlled human pose estimation from depth image streams |
US7809664B2 (en) * | 2007-12-21 | 2010-10-05 | Yahoo! Inc. | Automated learning from a question and answering network of humans |
JP5075664B2 (ja) * | 2008-02-15 | 2012-11-21 | 株式会社東芝 | 音声対話装置及び支援方法 |
KR20100086262A (ko) * | 2009-01-22 | 2010-07-30 | 삼성전자주식회사 | 로봇 및 그 제어방법 |
JP5663201B2 (ja) * | 2009-06-04 | 2015-02-04 | 本田技研工業株式会社 | 音源方向推定装置及び音源方向推定方法 |
US8930179B2 (en) * | 2009-06-04 | 2015-01-06 | Microsoft Corporation | Recognition using re-recognition and statistical classification |
FR2947923B1 (fr) * | 2009-07-10 | 2016-02-05 | Aldebaran Robotics | Systeme et procede pour generer des comportements contextuels d'un robot mobile |
US8676581B2 (en) * | 2010-01-22 | 2014-03-18 | Microsoft Corporation | Speech recognition analysis via identification information |
JP2011186351A (ja) * | 2010-03-11 | 2011-09-22 | Sony Corp | 情報処理装置、および情報処理方法、並びにプログラム |
US8706298B2 (en) * | 2010-03-17 | 2014-04-22 | Raytheon Company | Temporal tracking robot control system |
FR2962048A1 (fr) * | 2010-07-02 | 2012-01-06 | Aldebaran Robotics S A | Robot humanoide joueur, methode et systeme d'utilisation dudit robot |
FR2963132A1 (fr) * | 2010-07-23 | 2012-01-27 | Aldebaran Robotics | Robot humanoide dote d'une interface de dialogue naturel, methode d'utilisation et de programmation de ladite interface |
US8594845B1 (en) * | 2011-05-06 | 2013-11-26 | Google Inc. | Methods and systems for robotic proactive informational retrieval from ambient context |
JP5982840B2 (ja) * | 2012-01-31 | 2016-08-31 | 富士通株式会社 | 対話装置、対話プログラムおよび対話方法 |
US8918208B1 (en) * | 2012-02-07 | 2014-12-23 | Ryan Hickman | Projection of interactive map data |
FR2989209B1 (fr) | 2012-04-04 | 2015-01-23 | Aldebaran Robotics | Robot apte a integrer des dialogues naturels avec un utilisateur dans ses comportements, procedes de programmation et d'utilisation dudit robot |
US9053708B2 (en) * | 2012-07-18 | 2015-06-09 | International Business Machines Corporation | System, method and program product for providing automatic speech recognition (ASR) in a shared resource environment |
US9302393B1 (en) * | 2014-04-15 | 2016-04-05 | Alan Rosen | Intelligent auditory humanoid robot and computerized verbalization system programmed to perform auditory and verbal artificial intelligence processes |
-
2014
- 2014-04-17 EP EP14305583.8A patent/EP2933067B1/en active Active
-
2015
- 2015-04-17 CN CN201580020117.9A patent/CN106457563B/zh not_active Expired - Fee Related
- 2015-04-17 CN CN201911078266.7A patent/CN110774285A/zh active Pending
- 2015-04-17 WO PCT/EP2015/058373 patent/WO2015158887A2/en active Application Filing
- 2015-04-17 SG SG11201608205UA patent/SG11201608205UA/en unknown
- 2015-04-17 KR KR1020167032132A patent/KR101991163B1/ko active IP Right Grant
- 2015-04-17 NZ NZ725307A patent/NZ725307A/en not_active IP Right Cessation
- 2015-04-17 BR BR112016023928A patent/BR112016023928A2/pt not_active IP Right Cessation
- 2015-04-17 RU RU2016144006A patent/RU2016144006A/ru not_active Application Discontinuation
- 2015-04-17 JP JP2016562886A patent/JP6505748B2/ja not_active Expired - Fee Related
- 2015-04-17 SG SG10201806415YA patent/SG10201806415YA/en unknown
- 2015-04-17 MX MX2016013019A patent/MX2016013019A/es unknown
- 2015-04-17 US US15/300,226 patent/US10242666B2/en not_active Expired - Fee Related
- 2015-04-17 CA CA2946056A patent/CA2946056A1/en not_active Abandoned
- 2015-04-17 AU AU2015248713A patent/AU2015248713B2/en not_active Ceased
-
2016
- 2016-04-18 HK HK16104422.2A patent/HK1216405A1/zh unknown
-
2018
- 2018-06-14 AU AU2018204246A patent/AU2018204246B2/en not_active Expired - Fee Related
-
2019
- 2019-02-06 US US16/269,340 patent/US20190172448A1/en not_active Abandoned
- 2019-03-26 JP JP2019057767A patent/JP2019164352A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
KR101991163B1 (ko) | 2019-06-19 |
EP2933067A1 (en) | 2015-10-21 |
US20190172448A1 (en) | 2019-06-06 |
AU2018204246A1 (en) | 2018-07-05 |
SG11201608205UA (en) | 2016-10-28 |
NZ725307A (en) | 2018-03-23 |
WO2015158887A3 (en) | 2016-01-21 |
MX2016013019A (es) | 2017-05-30 |
AU2015248713A1 (en) | 2016-11-03 |
KR20170003580A (ko) | 2017-01-09 |
BR112016023928A2 (pt) | 2017-08-15 |
WO2015158887A2 (en) | 2015-10-22 |
JP2017520782A (ja) | 2017-07-27 |
CA2946056A1 (en) | 2015-10-22 |
CN110774285A (zh) | 2020-02-11 |
US20170148434A1 (en) | 2017-05-25 |
AU2015248713B2 (en) | 2018-03-29 |
RU2016144006A (ru) | 2018-05-18 |
CN106457563A (zh) | 2017-02-22 |
AU2018204246B2 (en) | 2020-05-14 |
JP2019164352A (ja) | 2019-09-26 |
EP2933067B1 (en) | 2019-09-18 |
RU2016144006A3 (ja) | 2018-05-18 |
SG10201806415YA (en) | 2018-08-30 |
US10242666B2 (en) | 2019-03-26 |
HK1216405A1 (zh) | 2016-11-11 |
CN106457563B (zh) | 2019-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6505748B2 (ja) | 人間型ロボットとユーザーの間におけるマルチモード会話を実行する方法、前記方法を実装するコンピュータプログラム及び人間型ロボット | |
KR102252195B1 (ko) | 감성 인식기 및 이를 포함하는 로봇, 서버 | |
Glas et al. | Erica: The erato intelligent conversational android | |
US20200279553A1 (en) | Linguistic style matching agent | |
US6509707B2 (en) | Information processing device, information processing method and storage medium | |
JP2004090109A (ja) | ロボット装置およびロボット装置の対話方法 | |
US20230386461A1 (en) | Voice user interface using non-linguistic input | |
JP2006123136A (ja) | コミュニケーションロボット | |
JP7416295B2 (ja) | ロボット、対話システム、情報処理方法及びプログラム | |
Korayem et al. | Design and implementation of the voice command recognition and the sound source localization system for human–robot interaction | |
JP4600736B2 (ja) | ロボット制御装置および方法、記録媒体、並びにプログラム | |
Ktistakis et al. | A multimodal human-machine interaction scheme for an intelligent robotic nurse | |
JP2005059185A (ja) | ロボット装置及びその制御方法 | |
JP2002307349A (ja) | ロボット装置、情報学習方法、プログラム及び記録媒体 | |
Chen et al. | A novel approach of system design for dialect speech interaction with NAO robot | |
Lin et al. | Acoustical implicit communication in human-robot interaction | |
Lin et al. | Nonverbal acoustic communication in human-computer interaction | |
Iwahashi et al. | Robots that learn to converse: Developmental approach to situated language processing | |
JP2001188896A (ja) | 情報処理装置および方法、並びに記録媒体 | |
CN117765952A (zh) | 人机交互的方法、装置和设备 | |
Prado | A new probabilistic methodology to support an emotive dialog between a human and a robot |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171019 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171031 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20180125 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180427 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180814 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20181108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190226 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190327 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6505748 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |