JP6768597B2 - 対話システム、対話システムの制御方法、及び装置 - Google Patents
対話システム、対話システムの制御方法、及び装置 Download PDFInfo
- Publication number
- JP6768597B2 JP6768597B2 JP2017113177A JP2017113177A JP6768597B2 JP 6768597 B2 JP6768597 B2 JP 6768597B2 JP 2017113177 A JP2017113177 A JP 2017113177A JP 2017113177 A JP2017113177 A JP 2017113177A JP 6768597 B2 JP6768597 B2 JP 6768597B2
- Authority
- JP
- Japan
- Prior art keywords
- dialogue
- arithmetic unit
- user
- feature amount
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 103
- 230000009471 action Effects 0.000 claims description 154
- 230000004044 response Effects 0.000 claims description 60
- 230000002452 interceptive effect Effects 0.000 claims description 31
- 238000004364 calculation method Methods 0.000 description 120
- 230000008569 process Effects 0.000 description 59
- 238000012545 processing Methods 0.000 description 42
- 238000010586 diagram Methods 0.000 description 17
- 230000035900 sweating Effects 0.000 description 11
- 210000005252 bulbus oculi Anatomy 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 238000005259 measurement Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 7
- 230000008035 nerve activity Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 230000008921 facial expression Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000002889 sympathetic effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 2
- 210000000467 autonomic pathway Anatomy 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 230000003278 mimic effect Effects 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000017531 blood circulation Effects 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 238000000491 multivariate analysis Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
- G10L13/02—Methods for producing synthetic speech; Speech synthesisers
- G10L13/027—Concept to speech synthesisers; Generation of natural phrases from machine-based concepts
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/065—Adaptation
- G10L15/07—Adaptation to the speaker
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Neurosurgery (AREA)
- Neurology (AREA)
- Dermatology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Robotics (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
Description
101 模倣情報算出モジュール
102 言語情報算出モジュール
103 出力情報生成モジュール
104 学習モジュール
110 対話信号計測装置
120 言語信号計測装置
130 表示装置
140 対話出力装置
150 入力装置
154 遅延時間
301 演算装置
302 記憶装置
303 入力インタフェース
304 出力インタフェース
311 対話信号情報
312 模倣情報
313 遅延時間定義情報
314 言語信号情報
315 発話情報
316 出力情報
317 出力条件情報
318 出力履歴情報
1801 脳波活動計測装置
1802 心拍計測装置
1803 発汗量計測装置
1900 生体信号情報
Claims (13)
- ユーザとの対話を行う対話インタフェースを提供する対話システムであって、
前記対話システムは、演算装置、前記演算装置に接続される記憶装置、及び前記演算装置に接続されるインタフェースを有する計算機と、前記ユーザの発話に関連する信号を計測する計測装置と、を備え、
前記記憶装置は、前記対話インタフェースが前記ユーザに対して行う応答アクションの種別と、前記応答アクションの制御のタイミングを調整する制御時間の設定可能な範囲を示す設定範囲と、から構成されるエントリを含む制御時間定義情報を保持し、
前記演算装置は、
前記計測装置が計測した信号に基づいて、前記ユーザの発話におけるユーザアクションの特徴を示す第1特徴量を算出し、
前記第1特徴量に基づいて、前記応答アクションの制御値である第2特徴量を算出し、
前記制御時間定義情報を参照し、前記応答アクションの種別に対応する前記設定範囲に基づいて、ランダムな制御時間を算出し、
前記第2特徴量及び前記制御時間に基づいて、前記対話インタフェースを制御することを特徴とする対話システム。 - 請求項1に記載の対話システムであって、
前記記憶装置は、前記応答アクションの実行条件を管理する条件情報を保持し、
前記演算装置は、前記第2特徴量、前記制御時間、及び前記条件情報に基づいて、前記対話インタフェースを制御することを特徴とする対話システム。 - ユーザとの対話を行う対話インタフェースを提供する対話システムであって、
前記対話システムは、演算装置、前記演算装置に接続される記憶装置、及び前記演算装置に接続されるインタフェースを有する計算機と、前記ユーザの発話に関連する信号を計測する計測装置と、を備え、
前記記憶装置は、
前記対話インタフェースが前記ユーザに対して行う応答アクションの種別毎に設定される、前記応答アクションの制御のタイミングを調整する制御時間を管理する制御時間定義情報と、
前記対話インタフェースが行った前記応答アクションの履歴を管理する履歴情報と、
を保持し、
前記履歴情報は、前記応答アクションの有効性を示す指標を含み、
前記演算装置は、
前記計測装置が計測した信号に基づいて、前記ユーザの発話におけるユーザアクションの特徴を示す第1特徴量を算出し、
前記第1特徴量に基づいて、前記応答アクションの制御値である第2特徴量を算出し、
前記制御時間定義情報に基づいて、前記応答アクションの種別に応じた前記制御時間を算出し、
前記第2特徴量及び前記制御時間に基づいて、前記対話インタフェースを制御し、
さらに、前記演算装置は、
前記履歴情報を参照して、前記指標及び前記制御時間の関係性を分析し、
前記分析の結果に基づいて、前記制御時間定義情報を更新することを特徴とする対話システム。 - 請求項3に記載の対話システムであって、
前記記憶装置は、前記応答アクションの実行条件を管理する条件情報を保持し、
前記演算装置は、前記第2特徴量、前記制御時間、及び前記条件情報に基づいて、前記対話インタフェースを制御することを特徴とする対話システム。 - ユーザとの対話を行う対話インタフェースを提供する対話システムであって、
前記対話システムは、演算装置、前記演算装置に接続される記憶装置、及び前記演算装置に接続されるインタフェースを有する計算機と、前記ユーザの発話に関連する信号を計測する計測装置と、を備え、
前記演算装置は、
前記計測装置が計測した信号に基づいて、前記ユーザの発話におけるユーザアクションの特徴を示す第1特徴量を算出し、
前記第1特徴量に基づいて、前記対話インタフェースが前記ユーザに対して行う応答アクションの制御値である第2特徴量を算出し、
前記計測装置が計測した信号に基づいて、前記応答アクションの有効性を示す指標を算出し、
前記第1特徴量及び前記指標に基づいて、前記応答アクションの制御のタイミングを調整する制御時間を算出し、
前記第2特徴量及び前記制御時間に基づいて、前記対話インタフェースを制御することを特徴とする対話システム。 - ユーザとの対話を行う対話インタフェースを提供する対話システムであって、
前記対話システムは、演算装置、前記演算装置に接続される記憶装置、及び前記演算装置に接続されるインタフェースを有する計算機と、前記ユーザの発話に関連する信号を計測する計測装置と、を備え、
前記演算装置は、
前記計測装置が計測した信号に基づいて、前記ユーザの発話におけるユーザアクションの特徴を示す第1特徴量を算出し、
前記第1特徴量に基づいて、前記対話インタフェースが前記ユーザに対して行う応答アクションの制御値である第2特徴量を算出し、
前記応答アクションの種別に応じて、前記応答アクションの制御のタイミングを調整する制御時間を算出し、
前記第2特徴量及び前記制御時間に基づいて、前記対話インタフェースを制御し、
前記応答アクションは、前記ユーザのアクションを模倣するアクションであり、
前記制御時間は、遅延時間であることを特徴とする対話システム。 - ユーザとの対話を行う対話インタフェースを提供する対話システムの制御方法であって、
前記対話システムは、演算装置、前記演算装置に接続される記憶装置、及び前記演算装置に接続されるインタフェースを有する計算機と、前記ユーザの発話に関連する信号を計測する計測装置と、を備え、
前記記憶装置は、前記対話インタフェースが前記ユーザに対して行う応答アクションの種別と、前記応答アクションの制御のタイミングを調整する制御時間の設定可能な範囲を示す設定範囲と、から構成されるエントリを含む制御時間定義情報を保持し、
前記対話システムの制御方法は、
前記演算装置が、前記計測装置が計測した信号に基づいて、前記ユーザの発話におけるユーザアクションの特徴を示す第1特徴量を算出する第1のステップと、
前記演算装置が、前記第1特徴量に基づいて、前記応答アクションの制御値である第2特徴量を算出する第2のステップと、
前記演算装置が、前記応答アクションの種別に応じて、前記制御時間を算出する第3のステップと、
前記演算装置が、前記第2特徴量及び前記制御時間に基づいて、前記対話インタフェースを制御する第4のステップと、を含み、
前記第3のステップは、前記演算装置が、前記制御時間定義情報を参照し、前記応答アクションの種別に対応する前記設定範囲に基づいて、ランダムな制御時間を算出するステップを含むことを特徴とする対話システムの制御方法。 - 請求項7に記載の対話システムの制御方法であって、
前記記憶装置は、前記応答アクションの実行条件を管理する条件情報を保持し、
前記第4のステップは、前記演算装置が、前記第2特徴量、前記制御時間、及び前記条件情報に基づいて、前記対話インタフェースを制御するステップを含むことを特徴とする対話システムの制御方法。 - ユーザとの対話を行う対話インタフェースを提供する対話システムの制御方法であって、
前記対話システムは、演算装置、前記演算装置に接続される記憶装置、及び前記演算装置に接続されるインタフェースを有する計算機と、前記ユーザの発話に関連する信号を計測する計測装置と、を備え、
前記記憶装置は、
前記対話インタフェースが前記ユーザに対して行う応答アクションの種別毎に設定される、前記応答アクションの制御のタイミングを調整する制御時間を管理する制御時間定義情報と、
前記対話インタフェースが行った前記応答アクションの履歴を管理する履歴情報と、
を保持し、
前記履歴情報は、前記応答アクションの有効性を示す指標を含み、
前記対話システムの制御方法は、
前記演算装置が、前記計測装置が計測した信号に基づいて、前記ユーザの発話におけるユーザアクションの特徴を示す第1特徴量を算出する第1のステップと、
前記演算装置が、前記第1特徴量に基づいて、前記応答アクションの制御値である第2特徴量を算出する第2のステップと、
前記演算装置が、前記制御時間定義情報に基づいて、前記応答アクションの種別に応じた前記制御時間を算出する第3のステップと、
前記演算装置が、前記第2特徴量及び前記制御時間に基づいて、前記対話インタフェースを制御する第4のステップと、
前記演算装置が、前記履歴情報を参照して、前記指標及び前記制御時間の関係性を分析する第5のステップと、
前記演算装置が、前記分析の結果に基づいて、前記制御時間定義情報を更新する第6のステップと、
を含むことを特徴とする対話システムの制御方法。 - 請求項9に記載の対話システムの制御方法であって、
前記記憶装置は、前記応答アクションの実行条件を管理する条件情報を保持し、
前記第4のステップは、前記演算装置が、前記第2特徴量、前記制御時間、及び前記条件情報に基づいて、前記対話インタフェースを制御するステップを含むことを特徴とする対話システムの制御方法。 - ユーザとの対話を行う対話インタフェースを提供する対話システムの制御方法であって、
前記対話システムは、演算装置、前記演算装置に接続される記憶装置、及び前記演算装置に接続されるインタフェースを有する計算機と、前記ユーザの発話に関連する信号を計測する計測装置と、を備え、
前記対話システムの制御方法は、
前記演算装置が、前記計測装置が計測した信号に基づいて、前記ユーザの発話におけるユーザアクションの特徴を示す第1特徴量を算出する第1のステップと、
前記演算装置が、前記第1特徴量に基づいて、前記対話インタフェースが前記ユーザに対して行う応答アクションの制御値である第2特徴量を算出する第2のステップと、
前記演算装置が、前記計測装置が計測した信号に基づいて、前記応答アクションの有効性を示す指標を算出する第3のステップと、
前記演算装置が、前記第1特徴量及び前記指標に基づいて、前記応答アクションの制御のタイミングを調整する制御時間を算出する第4のステップと、
前記演算装置が、前記第2特徴量及び前記制御時間に基づいて、前記対話インタフェースを制御する第5のステップと、を含むことを特徴とする対話システムの制御方法。 - ユーザとの対話を行う対話インタフェースを提供する対話システムの制御方法であって、
前記対話システムは、演算装置、前記演算装置に接続される記憶装置、及び前記演算装置に接続されるインタフェースを有する計算機と、前記ユーザの発話に関連する信号を計測する計測装置と、を備え、
前記対話システムの制御方法は、
前記演算装置が、前記計測装置が計測した信号に基づいて、前記ユーザの発話におけるユーザアクションの特徴を示す第1特徴量を算出する第1のステップと、
前記演算装置が、前記第1特徴量に基づいて、前記対話インタフェースが前記ユーザに対して行う応答アクションの制御値である第2特徴量を算出する第2のステップと、
前記演算装置が、前記応答アクションの種別に応じて、前記応答アクションの制御のタイミングを調整する制御時間を算出する第3のステップと、
前記演算装置が、前記第2特徴量及び前記制御時間に基づいて、前記対話インタフェースを制御する第4のステップと、を含み、
前記応答アクションは、前記ユーザのアクションの模倣するアクションであり、
前記制御時間は、遅延時間であることを特徴とする対話システムの制御方法。 - ユーザとの対話を行う対話インタフェースを提供する装置であって、
前記装置は、演算装置、前記演算装置に接続される記憶装置、前記演算装置に接続されるインタフェース、及び前記ユーザの発話に関連する信号を計測する計測器を備え、
前記記憶装置は、前記対話インタフェースによって前記ユーザに対して行われる、前記ユーザのアクションを模倣する応答アクションの種別毎に、前記応答アクションの制御タイミングを調整する遅延時間を管理する遅延時間定義情報を保持し、
前記演算装置は、
前記計測器によって計測された信号に基づいて、前記ユーザの発話におけるユーザアクションの特徴を示す第1特徴量を算出し、
前記第1特徴量に基づいて、前記応答アクションの制御値である第2特徴量を算出し、
前記遅延時間定義情報に基づいて、前記応答アクションの種別に応じた前記遅延時間を算出し、
前記第2特徴量及び前記遅延時間に基づいて、前記対話インタフェースを制御することを特徴とする装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017113177A JP6768597B2 (ja) | 2017-06-08 | 2017-06-08 | 対話システム、対話システムの制御方法、及び装置 |
US15/903,640 US10832119B2 (en) | 2017-06-08 | 2018-02-23 | Interactive agent for imitating and reacting to a user based on user inputs |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017113177A JP6768597B2 (ja) | 2017-06-08 | 2017-06-08 | 対話システム、対話システムの制御方法、及び装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018205616A JP2018205616A (ja) | 2018-12-27 |
JP6768597B2 true JP6768597B2 (ja) | 2020-10-14 |
Family
ID=64564130
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017113177A Active JP6768597B2 (ja) | 2017-06-08 | 2017-06-08 | 対話システム、対話システムの制御方法、及び装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10832119B2 (ja) |
JP (1) | JP6768597B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6993314B2 (ja) * | 2018-11-09 | 2022-01-13 | 株式会社日立製作所 | 対話システム、装置、及びプログラム |
CN110347248B (zh) * | 2019-06-24 | 2023-01-24 | 歌尔科技有限公司 | 交互处理方法、装置、设备及音频设备 |
CN110716634A (zh) * | 2019-08-28 | 2020-01-21 | 北京市商汤科技开发有限公司 | 交互方法、装置、设备以及显示设备 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5029214A (en) * | 1986-08-11 | 1991-07-02 | Hollander James F | Electronic speech control apparatus and methods |
JP2001325052A (ja) | 2000-05-17 | 2001-11-22 | Sharp Corp | エージェント表示装置、エージェント表示方法およびエージェント表示プログラムを記録した記録媒体 |
US20020008716A1 (en) * | 2000-07-21 | 2002-01-24 | Colburn Robert A. | System and method for controlling expression characteristics of a virtual agent |
US6728679B1 (en) * | 2000-10-30 | 2004-04-27 | Koninklijke Philips Electronics N.V. | Self-updating user interface/entertainment device that simulates personal interaction |
US6731307B1 (en) * | 2000-10-30 | 2004-05-04 | Koninklije Philips Electronics N.V. | User interface/entertainment device that simulates personal interaction and responds to user's mental state and/or personality |
US7136818B1 (en) * | 2002-05-16 | 2006-11-14 | At&T Corp. | System and method of providing conversational visual prosody for talking heads |
CN1991982A (zh) * | 2005-12-29 | 2007-07-04 | 摩托罗拉公司 | 一种使用语音数据激励图像的方法 |
US8165282B1 (en) * | 2006-05-25 | 2012-04-24 | Avaya Inc. | Exploiting facial characteristics for improved agent selection |
US7814041B2 (en) * | 2007-03-20 | 2010-10-12 | Caporale John L | System and method for control and training of avatars in an interactive environment |
WO2008134625A1 (en) * | 2007-04-26 | 2008-11-06 | Ford Global Technologies, Llc | Emotive advisory system and method |
KR101475459B1 (ko) * | 2008-01-09 | 2014-12-23 | 삼성디스플레이 주식회사 | 타이밍 컨트롤러, 이를 이용한 데이터 처리방법 및 이를갖는 표시장치 |
JP2011033837A (ja) * | 2009-07-31 | 2011-02-17 | Nec Corp | 対話支援装置、対話支援方法およびプログラム |
BRPI0904540B1 (pt) * | 2009-11-27 | 2021-01-26 | Samsung Eletrônica Da Amazônia Ltda | método para animar rostos/cabeças/personagens virtuais via processamento de voz |
JP2012181697A (ja) | 2011-03-01 | 2012-09-20 | Nec Corp | 対話システム、対話制御方法およびプログラム |
JP5982840B2 (ja) * | 2012-01-31 | 2016-08-31 | 富士通株式会社 | 対話装置、対話プログラムおよび対話方法 |
US20150314454A1 (en) * | 2013-03-15 | 2015-11-05 | JIBO, Inc. | Apparatus and methods for providing a persistent companion device |
JP6270661B2 (ja) | 2014-08-08 | 2018-01-31 | 国立大学法人京都大学 | 音声対話方法、及び音声対話システム |
WO2017085992A1 (ja) * | 2015-11-17 | 2017-05-26 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置 |
US9792825B1 (en) * | 2016-05-27 | 2017-10-17 | The Affinity Project, Inc. | Triggering a session with a virtual companion |
-
2017
- 2017-06-08 JP JP2017113177A patent/JP6768597B2/ja active Active
-
2018
- 2018-02-23 US US15/903,640 patent/US10832119B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018205616A (ja) | 2018-12-27 |
US10832119B2 (en) | 2020-11-10 |
US20180357526A1 (en) | 2018-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11568643B2 (en) | Automatic control of wearable display device based on external conditions | |
US11303976B2 (en) | Production and control of cinematic content responsive to user emotional state | |
CN107427716B (zh) | 人类绩效优化与训练的方法及系统 | |
US10368741B2 (en) | Method of and system for processing signals sensed from a user | |
JP6768597B2 (ja) | 対話システム、対話システムの制御方法、及び装置 | |
KR102432248B1 (ko) | 아바타를 생성하여 외부의 메타버스플랫폼에 제공하여 아바타를 업데이트하고, 업데이트된 아바타에 대한 nft를 제공하는 시스템 및 방법 | |
KR102425479B1 (ko) | 사용자의 정보로 아바타를 생성하여 외부의 메타버스플랫폼에 제공하고 사용자 맞춤형 디지털치료제를 추천하는 시스템 및 방법 | |
JP6993291B2 (ja) | 計算機及び感情推定方法 | |
Porcino et al. | Identifying cybersickness causes in virtual reality games using symbolic machine learning algorithms | |
Guthier et al. | Affective computing in games | |
KR102445133B1 (ko) | 아바타를 생성하여 외부의 메타버스플랫폼에 제공하고 아바타를 업데이트하는 시스템 및 방법 | |
KR102429630B1 (ko) | 헬스케어를 위한 커뮤니케이션 npc아바타를 생성하는 시스템 | |
JP2021135995A (ja) | アバター表情生成システム及びアバター表情生成方法 | |
KR102425481B1 (ko) | 재활치료를 위한 가상현실 커뮤니케이션 시스템 | |
JP6993314B2 (ja) | 対話システム、装置、及びプログラム | |
JP6910919B2 (ja) | システム及び意思疎通を図るために行うアクションの評価方法 | |
KR102429627B1 (ko) | 가상현실에서 아바타를 생성하고 복수의 콘텐츠를 제공하는 시스템 | |
CN114402248A (zh) | 用于神经冥想和神经专注训练的虚拟现实交互系统 | |
US11417042B2 (en) | Animating body language for avatars | |
Gezgez et al. | Virtual character control by brain-computer interface and comparison of performance metrics | |
KR102617431B1 (ko) | 아바타를 생성하여 콘텐츠를 수행하는 사용자 맞춤 실감콘텐츠 테스트베드 최적온도를 산출하기 위한 시스템 및 방법 | |
KR102432251B1 (ko) | 소셜서버에서 수행되는 가상현실 재활시스템 | |
KR102432250B1 (ko) | 케어용 챗봇을 제공하는 시스템 | |
KR102675120B1 (ko) | 영상 제공 및 뇌파 측정 장치 및 그 동작 방법 | |
KR102543337B1 (ko) | 아바타를 생성한 사용자의 생체정보 기반 색채힐링콘텐츠를 제공하기 위한 사용자 맞춤 색채힐링콘텐츠 제공 시스템 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191129 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200721 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200722 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200831 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200915 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200923 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6768597 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |