JP6761598B2 - 感情推定システム、感情推定モデル生成システム - Google Patents

感情推定システム、感情推定モデル生成システム Download PDF

Info

Publication number
JP6761598B2
JP6761598B2 JP2016207696A JP2016207696A JP6761598B2 JP 6761598 B2 JP6761598 B2 JP 6761598B2 JP 2016207696 A JP2016207696 A JP 2016207696A JP 2016207696 A JP2016207696 A JP 2016207696A JP 6761598 B2 JP6761598 B2 JP 6761598B2
Authority
JP
Japan
Prior art keywords
user
information
emotion
detection means
situation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016207696A
Other languages
English (en)
Other versions
JP2018072876A (ja
Inventor
彰 一星
彰 一星
タプリヤ ローシャン
タプリヤ ローシャン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2016207696A priority Critical patent/JP6761598B2/ja
Priority to US15/583,098 priority patent/US10452982B2/en
Publication of JP2018072876A publication Critical patent/JP2018072876A/ja
Application granted granted Critical
Publication of JP6761598B2 publication Critical patent/JP6761598B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4803—Speech analysis specially adapted for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
    • A61B5/741—Details of notification to user or communication with user or patient ; user input means using sound using synthesised speech
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00—Instruments for auscultation
    • A61B7/02—Stethoscopes
    • A61B7/04—Electric stethoscopes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531—Measuring skin impedance
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Description

本発明は、感情推定システム、および感情推定モデル生成システムに関する。
特許文献１には、利用者との対話時における利用者の表情から得た感情、音声から得た感情、口調、およびテキストの情報を組み合わせることにより利用者の性格を分類し、分類に応じて応答を変化させる対話エージェントが開示されている。
特許文献２には、被験者の表情を認識して感情を推定する手段、前記被験者の生体情報を検出して感情を推定する手段、および、前記被験者の音声から感情を推定する手段、のうち少なくとも２種類の手段で感情を推定した感情推定結果を取得する感情推定装置、感情推定方法およびプログラムが開示されている。
特開２００６−０７１９３６号公報 特開２０１２−５９１０７号公報
本発明は、利用者の感情を、単に外面情報、生体情報それぞれ単独、或いは組み合わせることにより推定した場合と比較して、より正確に推定することのできる感情推定システム及び感情推定モデル生成システムを提供することを目的とする。
請求項１に係る本発明は、
外面情報及び生体情報を入力して、利用者の感情を出力する学習モデルと、
第１の検出手段により検出された利用者の外面情報に対する重み付けと第２の検出手段により検出された当該利用者の生体情報に対する重み付けとを、前記利用者の周囲の状況に応じて変化させ、前記重み付けによりそれぞれ変化した外面情報と生体情報とを前記学習モデルに入力することにより出力された感情を、前記利用者の感情として推定する推定手段と、
を備える感情推定システムである。
請求項２に係る本発明は、請求項１記載の発明に係り、前記利用者の周囲の環境情報を検出する第３の検出手段により検出された環境情報に基づいて前記利用者の周囲の状況を判定する感情推定システムである。
請求項３に係る本発明は、請求項２記載の発明に係り、前記推定手段は、利用者の周囲の状況が公的な状況、又は緊張を引き起こしやすい状況であると判断した場合に、前記生体情報に対する重み付けを、前記外面情報に対する重み付けよりも大きくする感情推定システムである。
請求項４に係る本発明は、請求項２記載の発明に係り、前記推定手段は、利用者の周囲の状況が私的な状況、又はくつろぎやすい状況であると判断した場合、前記生体情報に対する重み付けを、前記外面情報に対する重み付けよりも小さくする感情推定システムである。
請求項５に係る本発明は、請求項１から４のいずれかに記載の発明に係り、前記推定手段は、利用者の感情が表情又は動作に表われにくいタイプであると判断した場合、前記生体情報に対する重み付けを、前記外面情報に対する重み付けよりも大きくする感情推定システムである。
請求項６に係る本発明は、請求項１から４のいずれかに記載の発明に係り、前記推定手段は、利用者の感情が表情又は動作に表われやすいタイプであると判断した場合、前記生体情報に対する重み付けを、前記外面情報に対する重み付けよりも小さくする感情推定システムである。
請求項７に係る本発明は、
外面情報及び生体情報を入力して、利用者の感情を出力する複数の学習モデルと、
利用者の周囲の状況に応じて、使用する学習モデルを選択する選択手段と、
第１の検出手段により検出された利用者の外面情報と第２の検出手段により検出された当該利用者の生体情報とを選択された学習モデルに入力することにより出力された感情を、前記利用者の感情として推定する推定手段と、
を備える感情推定システムである。
請求項８に係る本発明は、請求項７に記載の発明に係り、前記利用者の周囲の環境情報を検出する第３の検出手段をさらに備え、前記選択手段は、前記第３の検出手段により検出された環境情報に基づいて前記利用者の周囲の状況を判定する感情推定システムである。
請求項９に係る本発明は、
第１の検出手段および第２の検出手段を備える対話型ロボットと、
制御サーバと、
外面情報、生体情報及び利用者の周囲の環境情報を入力して、利用者の感情を出力する
学習モデルと、
第１の検出手段により検出された当該利用者の外面情報、第２の検出手段により検出された当該利用者の生体情報及び第３の検出手段により検出された当該利用者の周囲の環境情報を前記学習モデルに入力することにより出力された感情を、前記利用者の感情として推定する推定手段と、
を備え、
対話型ロボットは、前記制御サーバに対して現在位置を送信し、
前記制御サーバは、前記対話型ロボットから取得した現在位置情報に該当する位置に設置されている環境センサによって当該利用者の周囲の環境情報を検出し、前記対話型ロボットに送信する感情推定システムである。
請求項１０に係る発明は、請求項１から９のいずれか記載の発明に係り、前記第１の検出手段は、前記外面情報として、利用者の表情、音声の少なくとも一つを検出し、前記第２の検出手段は、前記生体情報として、利用者の皮膚電位、心拍の少なくとも一つを検出する感情推定システムである。
請求項１１に係る発明は、請求項１から８のいずれか記載の発明に係り、対話型ロボットが前記第１の検出手段および前記第２の検出手段を備えている感情推定システムである。
請求項１２に係る発明は、請求項１１記載の発明に係り、前記対話型ロボットが存在する付近に設置された環境センサによって利用者の周囲の環境情報を検出する感情推定システムである。
請求項１３に係る発明は、請求項１２記載の発明に係り、前記感情推定システムは制御サーバを含み、前記対話型ロボットは前記制御サーバに対して現在位置情報を送信し、前記制御サーバは、前記対話型ロボットから取得した現在位置情報に該当する位置に設置されている環境センサから取得した当該利用者の周囲の環境情報を前記対話型ロボットに送信する感情推定システムである。
請求項１４に係る発明は、請求項１３記載の発明に係り、前記制御サーバは、前記対話型ロボットから取得した現在位置情報に該当する位置に設置されている環境センサに対して、当該利用者の周囲の環境情報を取得するよう要求する感情推定システムである。
請求項１５に係る発明は、
第1の検出手段により検出された利用者の外面情報と第２の検出手段により検出された当該利用者の生体情報とから、当該利用者の感情に関する特徴量を抽出する抽出手段と、
前記抽出手段により抽出された特徴量を用いた機械学習を行うことにより、前記抽出手段により抽出された特徴量を入力して利用者の感情を出力する、利用者の周囲の状況に応じた複数の学習モデルを生成する生成手段と、
を備える感情推定モデル生成システムである。
請求項１に係る本発明によれば、利用者の感情を、単に外面情報、生体情報それぞれ単独、或いは組み合わせることにより推定した場合と比較して、より正確に推定することのできる感情推定システムを提供できる。
請求項２に係る本発明によれば、利用者の周囲の環境を考慮しない場合に比較して、利用者の感情をより正確に推定することが可能となる。
請求項３に係る本発明によれば、利用者の感情が外面に表われにくい状況の場合であっても、本発明の構成を有しない場合に比べて利用者の感情をより正確に推定することが可能となる。
請求項４に係る本発明によれば、利用者の感情が外面に表われやすい状況の場合に、本発明の構成を有しない場合に比べて利用者の感情をより正確に推定することが可能となる。
請求項５に係る本発明によれば、利用者が感情を外面に表わしにくい性格である場合であっても、本発明の構成を有しない場合に比べて利用者の感情をより正確に推定することが可能となる。
請求項６に係る本発明によれば、利用者が感情を外面に表わしやすい性格である場合に、本発明の構成を有しない場合に比べて利用者の感情をより正確に推定することが可能となる。
請求項７に係る本発明によれば、利用者の感情を、単に外面情報、生体情報それぞれ単独、或いは組み合わせることにより推定した場合と比較して、より正確に推定することのできる感情推定システムを提供できる。
請求項８に係る本発明によれば、利用者の周囲の環境を考慮しない場合に比較して、利用者の感情をより正確に推定することが可能となる。
請求項９に係る本発明によれば、利用者と対話を行いながらその際の反応に応じて、利用者の感情を、単に外面情報、生体情報それぞれ単独、或いは組み合わせることにより推定した場合と比較して、より正確に推定することのできる感情推定システムを提供できる。また、複数の環境センサが設置されている場合に、感情を推定すべき利用者の周囲の環境情報を、最もふさわしい環境センサによって取得することが可能となる。
請求項１０に係る本発明によれば、他の要素を検出する場合に比較して、利用者の感情をより正確に推定することが可能となる。
請求項１１に係る本発明によれば、利用者と対話を行いながらその際の反応に応じて利用者の感情を推定することが可能となる。
請求項１２に係る本発明によれば、利用者と対話型ロボットとが対話を行っている場所の周囲の環境情報を取得することが可能となる。
請求項１３に係る本発明によれば、複数の環境センサが設置されている場合に、感情を推定すべき利用者の周囲の環境情報を、最もふさわしい環境センサによって取得することが可能となる。
請求項１４に係る本発明によれば、環境センサを必要に応じて稼働させて利用者周囲の環境情報を取得することが可能となる。
請求項１５に係る本発明によれば、利用者の感情を、単に外面情報、生体情報それぞれ単独、或いは組み合わせることにより推定した場合と比較して、より正確に推定することのできる感情推定モデル生成システムを提供できる。
本発明の一実施形態の感情推定システム１０の一例を示す説明図である。 実施形態における対話型ロボット２０のハードウェア構成図である。 実施形態における対話型ロボット２０の機能ブロック図である。 実施形態における制御サーバ４０のハードウェア構成図である。 実施形態における制御サーバ４０の機能ブロック図である。 利用者７０の周囲の環境毎に生成される学習モデルの概念図である。 利用者７０の外面情報、生体情報、および環境情報を入力とした場合の学習モデルの概念図である。 実施形態の感情推定システム１０における学習モデルの作成処理の流れを示すフローチャートである。 実施形態の感情推定システム１０における感情推定処理の一例を示すフローチャートである。 実勢形態の感情推定システム１０における感情推定処理の一例を示すフローチャートである。 実勢形態の感情推定システム１０における感情推定処理の他の一例を示すフローチャートである。
本発明の一実施形態の感情推定システム１０を、図１を参照して説明する。本実施形態の感情推定システム１０は、オフィスビルのフロア等の比較的大きな所定の領域（以下、ワークプレイスという）１００に配置される対話型ロボット２０と、ワークプレイス１００の天井や壁面に配置される複数の環境センサ３０と、制御サーバ４０と、を備えて構成され、制御サーバ４０は、対話型ロボット２０および環境センサ３０にネットワーク５０によって接続される。特に、制御サーバ４０と対話型ロボット２０とは、ワークプレイス１０の壁面等に設置されたアクセスポイント６０を介して無線により接続される。さらに、ワークプレイス１０には、利用者７０が存在しており、利用者７０の手首或いは腕には生体センサ８０が取り付けられ、生体センサと制御サーバ４０とはアクセスポイント６０を介して無線により接続されている。
環境センサ３０は、利用者７０の表情、姿勢、顔の色といった外面情報を検出することに加え、利用者７０が存在する状況についての情報を検出する。利用者７０が存在する状況には、例えば、座っている、立っている、会議中である、雑談しているといったものが含まれる。また、環境センサ３０により検出される情報には、利用者７０が誰であるかを推定する情報も含まれる。
生体センサ８０は、利用者７０の手首或いは腕に装着されるもので、利用者７０の生体情報を検出する。生体情報は、例えば、利用者７０の皮膚抵抗、心拍数、体温に関するデータを含む。皮膚抵抗に関する情報には、現在の皮膚抵抗値だけでなく、平常時に対する皮膚抵抗値の変化、また単位時間当たりの皮膚抵抗値の変動のデータも含まれる。同様に、心拍数に関する情報には、され、現在の心拍数だけでなく、平常時に対する心拍数の変化、また単位時間当たりの心拍数の変動のデータが含まれる。また、体温に関するデータには、現在の体温に加えて、平常時に対する体温の変化、単位時間当たりの体温の変化が含まれる。
まず、図２、３を参照して、本実施形態の対話型ロボット２０について説明する。図２は、対話型ロボット２０のハードウェア構成図である。図２に示すように、対話型ロボット２０は、制御用マイクロプロセッサ２１１、メモリ２１２、ハードディスク・ドライブ（ＨＤＤ）やソリッド・ステート・ドライブ（ＳＳＤ）等の記憶装置２１３、通信インタフェース２１４、カメラ２１５、マイクロフォン２１６、スピーカ２１７、モータ２１８、現在位置検出装置２１９を備えて構成され、それぞれ制御バス２２０に接続されている。
制御用マイクロプロセッサ２１１は、記憶装置２１３に記憶された制御プログラムに基づいて対話型ロボット２０の各部の動作を制御統括する。メモリ２１２には、対話型ロボット２０が利用者と行った対話時の対話の音声、対話内容、カメラ２１５により撮影された利用者５０の表情、挙動、身体の状態の画像等が一時的に記憶される。記憶装置２１３には対話型ロボット２０の各部を制御するための制御プログラムが記憶される。通信インタフェース２１４は、対話型ロボット２０がアクセスポイント６０を介して制御サーバ４０と通信を行うための通信制御を行う。
カメラ２１５は、利用者の表情、挙動、身体の状態の変化等を撮影し、メモリ２１２に記憶する。マイクロフォン２１６は、利用者と対話を行った際に、利用者の音声を検出し、メモリ２１２に記憶、つまり録音する。メモリ２１２には、音声を直接録音するのではなく、音声内容を解釈した後の対話内容、および音の高さや言葉の速さを記憶させてもよい。スピーカ２１７は、対話型ロボット２０の後述する対話制御部が生成した音声を出力する。モータ２１８は、後述する移動制御部において生成された移動制御情報に基づいて対話型ロボット２０を所定の位置に移動させる。現在位置検出装置２１９は、加速度センサ、ＧＰＳ信号受信装置、或いは位置情報信号受信装置等を含んで構成されており、対話型ロボット２０の現在位置を特定して、メモリ２１２に一時的に記憶させる。
図３は、対話型ロボット２０の機能ブロック図である。対話型ロボット２０は、記憶装置２１３に記憶されている制御プログラムを制御用マイクロプロセッサ２１１において実行することにより、図３に示されるように、センサ情報送信部２２１、対話制御部２２２、移動制御部２２３、認識情報受信部２２４として機能する。
センサ情報送信部２２１は、対話型ロボット２０のカメラ２１５およびマイクロフォン２１６によって検出された利用者７０の外面情報を制御サーバ４０に送信する。外面情報には、カメラ２１５によって撮影された利用者７０の表情、挙動についてのデータ、マイクロフォン２１６によって検出された利用者７０の音声の高さ、言葉やの速さについてのデータが含まれる。
対話制御部２２２は、対話型ロボット２０が利用者７０と行う対話を制御するとともに、利用者に対する応答内容を生成する。例えば、メモリ２１２に記憶された対話内容に応じて応答メッセージを生成し、スピーカ２１７に出力する。その際、対話制御部２２２は、後述する認識情報受信部２２４において受信した利用者７０の感情に応じてメッセージの出力音声の大きさや発話速度を調整する。
移動制御部２２３は、対話型ロボット２０の移動を制御する。移動制御部２２３は、利用者７０の位置、制御サーバ４０から移動指示があった場合に、現在位置から目的位置まで移動する移動制御情報を生成し、現在位置検出装置２１９によって検出される現在位置の情報を参照しつつモータ２１８の動作を制御し、対話型ロボット２０を移動させる。
認識情報受信部２２４は、制御サーバ４０によって推定された利用者７０の感情を受信し、メモリ２１２に一時的に記憶する。
次に、図４、５を参照して、本実施形態の制御サーバ４０について説明する。図４は、制御サーバ４０のハードウェア構成図である。図４に示すように、制御サーバ４０のハードウェア構成図である。図４に示すように、制御サーバ４０は、ＣＰＵ４０１、メモリ４０２、記憶装置４０３、通信インタフェース４０４、ユーザインタフェース４０５を備えて構成され、それぞれ制御バス４０６に接続されている。ＣＰＵ４０１は、記憶装置４０３に記憶された制御プログラムに基づいて制御サーバ４０各部の動作を制御統括する。メモリ４０２には、環境センサ３０から送信されてきた利用者７０の位置情報、対話型ロボット２０から送信されてきた対話型ロボット２０の位置情報や利用者７０の外面情報、利用者７０に取り付けられた生体センサ８０から送信されてきた利用者７０の生体情報が記憶される。
記憶装置４０３は、ハードディスク・ドライブ（ＨＤＤ）やソリッド・ステート・ドライブ（ＳＳＤ）等であり、制御サーバ４０を制御するための制御プログラムが記憶されている。さらに、記憶装置４０３には、後述するが、制御サーバ４０が利用者７０の感情を推定する際に使用する学習モデルが記憶されている。
通信インタフェース４０４は、制御サーバ４０がアクセスポイント６０を介して対話型ロボット２０、環境センサ３０、および利用者７０に取り付けられた生体センサ７０と各種データの送受信を行うための通信制御を行う。ユーザインタフェース４０５は、液晶ディスプレイ等の表示装置、キーボードやマウス等の入力装置によって構成されており、記憶装置４０３に記憶されている制御プログラムを管理者が調整したりするためのものである。
図５は、制御サーバ４０の機能ブロック図を示す。制御サーバ４０は、記憶装置４０３に記憶されている制御プログラムをＣＰＵ４０１において実行することにより、図５に示されるように、センサ情報取得部４１１、特徴量抽出部４１２、状況特定部４１３、学習モデル生成部４１４、学習モデル選択部４１５、感情推定部４１６、認識情報送信部４１７、学習モデル記憶部４１８として機能する。
センサ情報取得部４１１は、対話型ロボット２０や環境センサ３０から送信されてきた利用者７０の外面情報、および利用者７０に装着された生体センサ８０から送信されてきた利用者７０の生体情報を受信してメモリ４０２に記憶する。
特徴量抽出部４１２は、センサ情報取得部４１１によって取得された外面情報、生体情報から利用者７０の感情を判定する際に必要となる特徴およびその特徴量を抽出する。この特徴は大量の外面情報および生体情報をセンサ情報取得部４１１によって取得し、機械学習により抽出してもよいし、制御サーバ４０の管理者によって特定されてもよい。例えば、特徴には、利用者７０の表情、特に、平常時に対する口角の変異や単位時間当たりの変動、利用者７０の平常時に対する声の高さの変異や単位時間当たりの変動、利用者７０の平常時に対する皮膚電位の変異や単位時間当たりの変動、平常時に対する心拍数の変異や単位時間当たりの変動が含まれ、特徴量はそれぞれの特徴を数値化したものである。
状況特定部４１３は、環境センサ３０によって検出される利用者７０の現在位置や、利用者７０が現在置かれている状況についての情報、対話型ロボット２０の現在位置検出装置２１９によって取得された利用者７０の現在位置についての情報に基づいて、利用者７０の置かれている状況、例えば、会議中、オフィスでの雑談、通路で立ち話等を特定する。そして、特定した状況が公的な状況、又は緊張を引き起こしやすい状況か、それとも私的な状況、又はくつろぎやすい状況かのいずれに該当するかといった判断を行うようにしても良い。さらに、状況特定部４１３は、利用者７０の本来の性格について、感情が表情や動作に出やすいタイプなのか、それとも感情が表情や動作に出にくいタイプなのかを判断する。
学習モデル生成部４１４は、センサ情報取得部４１１から利用者７０についての外面情報、生体情報を大量に取得し、機械学習を行うことにより特徴量抽出部４１２において抽出された特徴に応じてそれぞれの感情に特有の学習モデルを生成する。ここで、学習モデルとは、少なくとも２つの特徴量によって定まる値を複数含んで構成される特定の領域とある特定の感情とを関連付けて定義したものである。さらに、学習モデルは、少なくとも２つの特徴量で定まるある値が入力された場合に、その値が上記特定の領域に含まれるか否かを判断することにより、その値が上記特定の感情に当てはまるか否かを判定し出力する処理をも含むものとする。例えば、利用者７０の外面情報に基づく一つの特徴量を横軸にとり、利用者７０の生体情報に基づく一つの特徴量を縦軸にとることで表される２次元平面において、ある関数曲線で特定される領域内に、センサ情報取得部４１１によって取得されたある特徴量が存在する場合に利用者７０は所定の感情であると定義する。感情の定義付けは教師データを用いた機械学習により行ってもよいし、それ以外の方法で行ってもよい。また、ある関数曲線で特定される領域に一意の感情が定義されるまで機械学習を行うようにしてもよい。生成された学習モデルは、学習モデル記憶部４１８に記憶される。学習モデル生成部４１４は、状況特定部４１３によって特定された利用者７０の状況毎に異なる学習モデルを生成してもよい。また、利用者７０毎に異なる学習モデルを生成してもよい。もちろん、利用者７０毎、かつ、利用者７０の状況毎に異なる学習モデルを生成してもよい。
学習モデル選択部４１５は、状況特定部４１３において特定された利用者７０の現在の状況に応じて、学習モデル記憶部４１８を参照し、適用する学習モデルを選択する。
感情推定部４１６は、センサ情報取得部４１１により取得した利用者７０の外面情報、生体情報に基づいて、外面情報に対する重み付けと生体情報に対する重み付けと、を、状況特定部４１３において特定された利用者７０の現在の状況に応じて変化させるとともに、学習モデル選択部４１５によって選択された学習モデルを適用し、利用者７０の現在の感情を推定する。
認識情報送信部４１７は、感情推定部４１６において推定された利用者７０の感情を、アクセスポイント６０を介して対話型ロボット２０に送信する。学習モデル記憶部４１８は、学習モデル生成部４１４において生成された利用者７０の状況毎の学習モデルを記憶する。
ここで、学習モデル生成部４１４において生成され、学習モデル記憶部４１８に記憶される学習モデルについて、図６、７を参照して説明する。図６は利用者７０の周囲の環境毎に生成される学習モデルの概念図である。図６に示される学習モデルは、横軸を外面情報の特徴量Ｅで表し、縦軸を生体情報の特徴量Ｉで表している。外面情報を構成する特徴は、実際には表情、声の高さ等複数の要素で構成され、生体情報を構成する特徴は皮膚電位、心拍数等複数の複数の要素で構成されている。したがって、学習モデルは、実際には図６に示すように２次元の図では表すことはできないが、本実施形態においては、説明を簡単に行うため、簡易的に２次元の図で表現している。
図６の学習モデルにおいて、例えば、第１の領域６０１は「積極的」、第２の領域６０２は「普通」、第３の領域６０３は「消極的」とそれぞれ定義されている。ここで、外面情報の特徴量の値がＥ１、生体情報の特徴量の値Ｉ１が学習モデルに入力されると、外面情報の特徴量の値、および生体情報の特徴量の値で構成されるベクトル量で表される利用者７０の感情Ｐ１は第１の領域６０１内に含まれるから、利用者７０の感情は「積極的」であることが推定される。同様に、外面情報の特徴量の値Ｅ２、生体情報の特徴量の値Ｉ２が学習モデルに入力された場合、利用者７０の感情は「普通」であることが推定され、外面情報の特徴量の値Ｅ３、生体情報の特徴量の値Ｉ３が学習モデルに入力された場合には、利用者７０の感情は「消極的」であることが推定される。また、図６の学習モデルにおける領域６０１〜６０３は、それぞれ学習モデル生成部４１４にて生成されるある関数曲線で特定される領域に対応する。当該領域に一意の感情が定義されるまで機械学習が行われた場合等は、領域６０１〜６０３は、外面情報に基づく軸と、利用者７０の生体情報に基づく軸とで表される２次元平面において、図６に示すようにそれぞれが重ならないものとなる。それぞれの領域が重なっていないため、外面情報と利用者７０の生体情報の入力に対して、予め定義された感情が一意に特定されることになる。
なお、図６の学習モデルは利用者７０の周囲の環境毎に生成され、上述の学習モデル選択部４１５が、利用者７０の周囲の環境に応じて、外面情報の特徴量の値、生体情報の特徴量の値を入力する学習モデルを選択する。
図７は利用者７０の外面情報、生体情報、および環境情報を入力とした場合の学習モデルの概念図である。図７の学習モデルは、図６で説明した２次元で表される学習モデルに対して利用者７０の周囲の環境情報の特徴量の値を第３軸として追加することにより、３次元の空間で表現したものである。この学習モデルにおいては、外面情報の特徴量Ｅ、生体情報の特徴量Ｉ、および環境情報の特徴量Ａで表される３次元空間の所定領域がそれぞれ「積極的」、「普通」、「消極的」と定義されている。感情推定部４１６により、外面情報の特徴量の値、生体所法の特徴量の値、環境情報の特徴量の値（例えばＥ１、Ｉ１、Ａ１）がそれぞれ学習モデルに入力されると、それらの値で構成されるベクトル量Ｐ１で表される利用者７０の感情がどの領域に該当するかが判断され、該当する感情が出力される。
次に、図８を参照して、感情推定システム１０における学習モデルの生成処理について説明する。図８は、実施形態の感情推定システム１０における学習モデルの作成処理の流れを示すフローチャートである。ステップＳ８０１において、対話型ロボット２０のマイクロフォン２１６は利用者７０の音声を検出し、検出された音声データをセンサ情報送信部２２１により制御サーバ４０に送信する。制御サーバ４０に送信する音声データは、利用者７０の音声をサンプリングしてデジタル信号化したデータであってもよいし、音声の高さや言葉の速さに関するデータであってもよい。制御サーバ４０のセンサ情報取得部４１１は、対話型ロボット２０から受信した音声データをメモリ４０２に記憶し、ステップＳ８０３に進む。
ステップＳ８０１と並行して行われるステップＳ８０２において、対話型ロボット２０のカメラ２１５は利用者７０の表情、挙動を撮影し、撮影されたデータをセンサ情報送信部２２１により制御サーバ４０に送信する。制御サーバ４０に送信する撮影データは、利用者７０の顔画像や身体画像であってもよいし、顔画像を解析して得られる情報、例えば、口角の変化や、眉の角度についての情報であってもよい。対話型ロボット２０のカメラ２１５に加えて、環境センサ３０において利用者７０の表情、挙動を撮影し、撮影されたデータを制御サーバ４０に送信してもよい。制御サーバ４０のセンサ情報取得部４１１は、対話型ロボット２０および環境センサ３０から受信した画像データをメモリ４０２に記憶し、ステップＳ８０３に進む。
ステップＳ８０３において、制御サーバ４０の特徴量抽出部４１２は、センサ情報取得部４１１によって取得された外面情報、つまり、対話型ロボット２０および環境センサ３０によって撮影された利用者７０の表情、挙動についてのデータ、対話型ロボット２０によって検出された利用者７０の音声データから、利用者７０の感情を判定するための特徴を抽出する。この特徴は、大量の外面情報を取得し、機械学習によって抽出してもよいし、制御サーバ４０の管理者によって人為的に決定してもよい。抽出される外面情報の特徴は、例えば、平常時に対する口角の変異や単位時間当たりの変動、利用者７０の平常時に対する声の高さの変異や単位時間当たりの変動である。処理は続くステップＳ８０６に進む。
ステップＳ８０１〜Ｓ８０３と並行して行われるステップＳ８０４において、利用者７０に装着されている生体センサ８０は、利用者７０の生体情報を検出する。生体情報は、例えば、利用者７０の皮膚抵抗値、心拍数、体温である。検出された生体情報は、制御サーバ４０に送信される。制御サーバ４０のセンサ情報取得部４１１は、生体センサ８０から受信した音声データをメモリ４０２に記憶し、ステップＳ８０５に進む。
ステップＳ８０５において、制御サーバ４０の特徴量抽出部４１２は、センサ情報取得部４１１によって取得された生体情報、つまり、生体センサ８０によって検出された利用者７０の皮膚抵抗値、心拍数、体温等の生体データから、利用者７０の感情を判定するための特徴を抽出する。この特徴は、大量の生体情報を取得し、機械学習によって抽出してもよいし、制御サーバ４０の管理者によって人為的に決定してもよい。抽出される生体情報の特徴は、例えば、平常に対する皮膚抵抗値の変化、平常時に対する心拍数の変化等である。処理は続くステップＳ８０６に進む。
ステップＳ８０６において、制御サーバ４０の学習モデル生成部４１４は、センサ情報取得部４１１から利用者７０についての外面情報、生体情報を大量に取得し、機械学習を行うことにより特徴量抽出部４１２において抽出された特徴に応じてそれぞれの感情に特有の学習モデルを生成し、生成された学習モデルを、学習モデル記憶部４１８に記憶し、処理を終了する。学習モデル生成部４１４は、状況特定部４１３によって特定された利用者７０の状況毎に異なる学習モデルを生成してもよい。
次に、図９を参照し、本実施形態の感情推定システム１０における利用者７０の感情推定処理の一例について説明する。図９は、実施形態の感情推定システム１０における感情推定処理の一例を示すフローチャートである。ステップＳ９０１において、対話型ロボット２０のマイクロフォン２１６は利用者７０の音声を検出し、検出した音声データをセンサ情報送信部２２１により制御サーバ４０に送信する。制御サーバ４０のセンサ情報取得部４１１は、受信した音声データをメモリ４０２に記憶し、ステップＳ９０６に進む。
ステップＳ９０１と並行して行われるステップＳ９０２において、対話型ロボット２０のカメラ２１５は利用者７０の表情、挙動を撮影し、撮影したデータをセンサ情報送信部２２１により制御サーバ４０に送信する。制御サーバ４０のセンサ情報取得部４１１は、受信した画像データをメモリ４０２に記憶し、ステップＳ９０６に進む。
ステップＳ９０１、およびステップＳ９０２と並行して行われるステップＳ９０３において、利用者７０に装着された生体センサ８０は、利用者７０の生体情報を検出する。生体情報は、例えば、利用者７０の皮膚抵抗値、心拍数、体温である。検出された生体情報は制御サーバ４０に送信される。制御サーバ４０のセンサ情報取得部４１１は、受信した生体情報をメモリ４０２に記憶し、ステップＳ９０７に進む。
ステップＳ９０１〜Ｓ９０３と並行して行われるステップＳ９０４において、環境センサ３０は、利用者７０が存在する状況についての情報を検出し、その情報を制御サーバ４０に送信する。ステップＳ９０５において、制御サーバ４０の状況特定部４１３は、センサ情報取得部４１１において取得した、利用者７０が存在する状況についての情報に基づいて、利用者７０が誰であるか、また利用者７０が置かれている状況を特定し、続くステップＳ９０６、Ｓ９０７に進む。利用者７０が誰であるか、例えば、利用者７０の名前、会社内でのＩＤや役職等は、各利用者の情報が格納されているサーバへ問い合わせることにより特定される。また、利用者７０の性格のタイプ等が特定されるようにしてもよい。例えば、感情が表情や動作に表れやすいタイプなのか、表れにくいタイプなのか等が特定されるようにしてもよい。利用者７０が置かれている状況は、例えば、公的な状況（複数人と会話している状況、会議に参加している状況等）、私的な状況（ロボット以外に、室内や近くには当該利用者しかいない状況等）、緊張を引き起こしやすい状況（会社組織において役職が利用者７０よりも上の者と会話している状況等）、又はくつろぎやすい状況（利用者７０が物を食べている状況等）等がある。
これらの状況について、予め状況毎にそれを満たす条件をテーブルとして記憶装置４０３に記憶しておき、これを参照することによって利用者７０の置かれている状況を特定する。例えば、「利用者７０が複数人と会話している」、又は「会議に参加している」という条件を「公的な状況」と対応づけてテーブルとして記憶しておく。「室内に人がいない」、又は「予め定めた距離（例えば、半径５ｍ等）以内に人がいない」という条件を「私的な状況」と対応づけてテーブルとして記憶しておく。「利用者７０よりも会社組織の役職が上の者と会話している」という条件を「緊張を引き起こしやすい状況」と対応づけてテーブルとして記憶しておく。また、「利用者７０が物を食べている」又は「利用者７０が飲み物を飲んでいる」という条件を「くつろぎやすい状況」と対応づけてテーブルとして管理しておく。
そして、状況特定部４１３は、センサ情報取得部から得られた情報に基づいて、上記テーブルの条件のいずれの条件に該当するかを判断し、該当すると判断された条件に対応する状況を、利用者７０が置かれている状況であると特定する。上記テーブルの条件のいずれの条件に該当するかの判断においては、センサ情報取得部４１１から、利用者７０が会話をしている人数、会話している相手（役職、性別、年齢、又は名前等）、利用者７０の動作（飲み物を飲んでいる、物を食べている）を示す情報等をさらに取得し、これらを用いて判断するようにしても良い。なお、会話をしている相手の個人に関する情報は例えば、次のようにして入手する。センサ情報取得部４１１から得られた相手の顔に関する情報に基づいて顔認証を行うことで個人を特定し、当該個人について予め記憶装置４０３に記憶されている情報を取得するようにする。
ステップＳ９０６において、制御サーバ４０の感情推定部４１６は、センサ情報取得部４１１において取得した利用者７０の音声データ、および利用者７０の表情や挙動の画像データに基づいて外面特徴量の値を算出する。この際、感情推定部４１６は、算出された外面特徴量の値に対し、上記ステップＳ９０５で特定された利用者７０の置かれている状況に応じた重み付けを付与し、ステップＳ９０８に進む。なお、算出される外面特徴量は一つの外面特徴で決まる一つの値であってもよいし、複数の外面特徴で決まる複数の値であってもよい。
ステップＳ９０６と並行して行われるステップＳ９０７において、制御サーバ４０の感情推定部４１６は、センサ情報取得部４１１において取得した利用者７０の生体情報に基づいて生体特徴量の値を算出する。この際、感情推定部４１６は、算出された生体特徴量の値に対し、上記ステップＳ９０５で推定された利用者の置かれている状況に応じた重み付けを付与し、ステップＳ９０８に進む。なお、算出する生体特徴量は一つの生体特徴で決まる一つの値であってもよいし、複数の生体特徴で決まる複数の値であってもよい。なお、上記ステップＳ９０６、Ｓ９０７でそれぞれ外面特徴量の値、生体特徴量の値に対して付与される重み付けについては、例えば、公的な状況、又は緊張を引き起こしやすい状況では生体特徴量の値に対して付与される重み付けが外面特徴量の値に対して付与される重み付けよりも大きくなるようにする。逆に、私的な状況、又はくつろぎやすい状況では生体特徴量の値に対して付与される重み付けが外面特徴量の値に対して付与される重み付けよりも小さくなるようにする。
別な例としては、利用者７０のおかれている状況が会議中であると特定された場合は、生体特徴量の値に対して付与される重み付けが外面特徴量の値に対して付与される重み付けよりも大きくなるようにする。逆に、利用者７０のおかれている状況がオフィスでの雑談、又は通路での立ち話であると特定された場合では、生体特徴量の値に対して付与される重み付けが外面特徴量の値に対して付与される重み付けよりも小さくなるようにする。
また、感情推定部４１６は、特定された利用者７０の性格のタイプに応じて、外面特徴量の値、生体特徴量の値に対して付与される重み付けを変えるようにしてもよい。例えば、利用者７０が、感情が表情又は動作に表れにくいタイプであると特定された場合には生体特徴量の値に対して付与される重み付けが外面特徴量の値に対して付与される重み付けよりも大きくなるようにする。逆に、利用者７０が、感情が表情又は動作に表れにくいタイプであると特定された場合には生体特徴量の値に対して付与される重み付けが外面特徴量の値に対して付与される重み付けよりも小さくなるようにする。
ステップＳ９０８において、感情推定部４１６は、上記ステップＳ９０６、Ｓ９０７で算出された外面特徴量の値、生体特徴量の値を学習モデル記憶部４１８に記憶された学習モデルに入力する。そして、ステップＳ９０９において、感情推定部４１６は、学習モデルから出力された感情を利用者の感情として推定する。推定された感情は、認識情報送信部４１７により対話型ロボット２０に送信される。対話型ロボット２０の認識情報受信部２２４は制御サーバ４０から送信されてきた利用者７０の感情についての情報を受信し、対話制御部２２２がその感情に合わせて対話内容や対話方法を変化させ、利用者７０との対話を行い、処理を終了する。
次に図１０を参照し、本実施形態の感情推定システム１０における利用者７０の感情推定処理の他の一例について説明する。図１０は、実施形態の感情推定システム１０における感情推定処理の他の一例を示すフローチャートである。なお、図１０の感情推定処理におけるステップＳ１００１〜Ｓ１００５までの処理は、図９の感情推定処理におけるステップＳ９０１〜Ｓ９０５までの処理と同一であるので、説明を省略する。
ステップＳ１００６において、制御サーバ４０の感情推定部４１６は、センサ情報取得部４１１において取得した利用者７０の音声データ、および利用者７０の表情や挙動の画像データに基づいて外面特徴量の値を算出する。なお、算出される外面特徴量は一つの外面特徴で決まる一つの値であってもよいし、複数の外面特徴で決まる複数の値であってもよい。処理は続くステップＳ１００９に進む。
ステップＳ１００６と並行して行われるステップＳ１００７において、制御サーバ４０の感情推定部４１６は、センサ情報取得部４１１において取得した利用者７０の生体情報に基づいて生体特徴量の値を算出する。なお、算出される生体特徴量は一つの生体特徴で決まる一つの値であってもよいし、複数の生体特徴で決まる複数の値であってもよい。処理は続くステップＳ１００９に進む。
また、ステップＳ１００５の処理に続くステップＳ１００８において、学習モデル選択部４１５は、上記ステップＳ１００５において推定された利用者７０の置かれている状況、利用者７０毎、又は利用者７０の性格のタイプ等に応じて使用する学習モデルを、学習モデル記憶部４１８に記憶されている複数の学習モデルの中から選択し、ステップＳ１００９に進む。
ステップＳ１００９において、感情推定部４１６は、上記ステップＳ１００６、Ｓ７０７で算出された外面特徴量の値、生体特徴量の値を学習モデル記憶部４１８に記憶された学習モデルに入力する。
ステップＳ１０１０において、感情推定部４１６は、学習モデルから出力された感情を利用者の感情として推定する。推定された感情は、認識情報送信部４１７により対話型ロボット２０に送信される。対話型ロボット２０の認識情報受信部２２４は制御サーバ４０から送信されてきた利用者７０の感情についての情報を受信し、対話制御部２２２がその感情に合わせて対話内容や対話方法を変化させ、利用者７０との対話を行い、処理を終了する。
なお、上記の例においては、外面情報、生体情報それぞれの特徴量の値を算出し、それぞれの値に対して利用者７０の置かれた状況に応じた重み付けを付与した場合、或いは利用者７０の置かれた状況に応じた学習モデルを適用した場合について説明したが、本発明は、外面情報、生体情報に加えて、環境情報、つまり利用者７０の置かれた状況対してそれぞれ特徴量の値を求め、これら３つの要素に対応するベクトル値を算出し、所定の学習モデルを適用し、学習モデルにおけるベクトル値が該当する利用者７０の感情を推定するようにしてもよい。この場合の処理の流れを、図１１を参照して説明する。図１１は、実施形態の感情推定システム１０における感情推定処理の他の一例を示すフローチャートである。
図１１の感情推定処理におけるステップＳ１１０１〜Ｓ１１０４までの処理は、図９の感情推定処理におけるステップＳ９０１〜Ｓ９０４までの処理と同一であるので、説明を省略する。ステップＳ１１０５において、制御サーバ４０の感情推定部４１６は、センサ情報取得部４１１において取得した利用者７０の音声データ、および利用者７０の表情や挙動の画像データに基づいて外面特徴量の値を算出し、ステップＳ１１０８に進む。ステップＳ１１０５と並行して行われるステップＳ１１０６において、制御サーバの感情推定部４１６は、センサ情報取得部４１１において取得した利用者７０の生体情報に基づいて生体特徴量の値を算出し、ステップＳ１１０８に進む。
ステップＳ１１０５、Ｓ１１０６と並行して行われるステップＳ１１０７において、制御サーバ４０の状況特定部４１３は、センサ情報取得部４１１において取得した、利用者７０の周囲の環境情報に基づいて環境特徴量の値を算出し、ステップＳ１１０８に進む。ステップＳ１１０８において、感情推定部４１６は、上記ステップＳ１１０５〜Ｓ１１０７で算出された外面特徴量の値、生体特徴量の値、および環境特徴量の値を学習モデル記憶部４１８に記憶された学習モデルに入力する。そして、ステップＳ１１０９において、感情推定部４１６は、学習モデルから出力された感情を利用者の感情として推定する。推定された感情は、認識情報送信部４１７により対話型ロボット２０に送信される。対話型ロボット２０の認識情報受信部２２４は、制御サーバ４０から送信されてきた利用者７０の感情についての情報を受信し、対話制御部２２２がその感情に合わせて対話内容や対話方法を変化させ、利用者７０との対話を行い、処理を終了する。
なお、上記の例において使用する学習モデルは、図７に示すような外面情報の特徴量、生体情報の特徴量、および環境情報の特徴量を入力した際に、利用者７０の感情を出力するものを使用する。
［変形例］
以上、上記の例においては、制御サーバ４０において利用者７０の感情を推定する例を説明したが、本発明は制御サーバ４０が利用者７０の感情を推定する方法に限定されず、本実施形態の各構成要素を対話型ロボット２０が備えるように構成することによって対話型ロボット２０が利用者７０の感情を推定するように構成してもよい。
その場合、対話型ロボット２０は、利用者７０の場所まで移動し、カメラ２１５によって撮影した利用者７０の画像、およびマイクロフォン２１６によって検出した利用者７０の音声に基づいて利用者７０についての生体情報と外面情報とを取得する。生体情報は、例えば、利用者７０の心拍数、体温についての情報が含まれ、外面情報は、例えば、利用者７０の表情についての情報が含まれる。さらに、対話型ロボット２０は、利用者７０が存在する状況についての情報を、移動先付近に設置されている環境センサ３０から取得する。
その際、対話型ロボット２０は、環境センサ３０から利用者７０が存在する状況についての情報を取得するために、例えば、対話型ロボット２０の現在位置検出装置２１９によって検出された対話型ロボット２０の移動先の位置情報を制御サーバ４０に送信し、その位置情報に該当する環境センサ３０が検出した情報を、対話型ロボット２０に送り返すような構成としてもよい。制御サーバ４０において当該位置情報に該当する情報が取得されていない場合、制御サーバ４０は、当該位置情報によって特定される位置の近くに存在する環境センサ３０を駆動し（つまり、環境情報を取得するように指示し）、環境センサ３０に利用者７０が存在する状況についての情報を検出させる。検出された情報は制御サーバ４０により取得された後、対話型ロボット２０に送信される。
対話型ロボット２０は、取得した外面情報に基づいて外面特徴量の値を算出し、また、取得した生体情報に基づいて生体特徴量の値を算出し、それぞれの値に対して利用者７０が存在する状況についての情報に基づいて重み付けを付与し、学習モデルに入力することにより、利用者７０の感情を推定する。或いは、利用者７０が存在する状況についての情報に基づいて、適用する学習モデルを選択し、選択された学習モデルに外面特徴量の値、および生体特徴量の値を入力することにより、利用者７０の感情を推定する。或いは、利用者７０が存在する状況についての情報に基づいて環境情報に基づく特徴量の値を算出し、算出された値と、外面特徴量の値、および生体特徴量の値を学習モデルに入力することにより、利用者７０の感情を推定する。
１０ 感情推定システム
２０ 対話型ロボット
３０ 環境センサ
４０ 制御サーバ
５０ ネットワーク
６０ アクセスポイント
７０ 利用者
８０ 生体センサ
１００ ワークプレイス
２１１ 制御用マイクロプロセッサ
２１２ メモリ
２１３ 記憶装置
２１４ 通信インタフェース
２１５ カメラ
２１６ マイクロフォン
２１７ スピーカ
２１８ モータ
２１９ 現在位置検出装置
２２０ 制御バス
２２１ センサ情報送信部
２２２ 対話制御部
２２３ 移動制御部
２２４ 認識情報受信部
４０１ ＣＰＵ
４０２ メモリ
４０３ 記憶装置
４０４ 通信インタフェース
４０５ ユーザインタフェース
４０６ 制御バス
４１１ センサ情報取得部
４１２ 特徴量抽出部
４１３ 状況特定部
４１４ 学習モデル生成部
４１５ 学習モデル選択部
４１６ 感情推定部
４１７ 認識情報送信部
４１８ 学習モデル記憶部

Claims (15)

  1. 外面情報及び生体情報を入力して、利用者の感情を出力する学習モデルと、
    第１の検出手段により検出された利用者の外面情報に対する重み付けと第２の検出手段により検出された当該利用者の生体情報に対する重み付けとを、前記利用者の周囲の状況に応じて変化させ、前記重み付けによりそれぞれ変化した外面情報と生体情報とを前記学習モデルに入力することにより出力された感情を、前記利用者の感情として推定する推定手段と、
    を備える感情推定システム。
  2. 前記利用者の周囲の環境情報を検出する第３の検出手段により検出された環境情報に基づいて前記利用者の周囲の状況を判定する請求項１記載の感情推定システム。
  3. 前記推定手段は、利用者の周囲の状況が公的な状況、又は緊張を引き起こしやすい状況であると判断した場合に、前記生体情報に対する重み付けを、前記外面情報に対する重み付けよりも大きくする請求項２記載の感情推定システム。
  4. 前記推定手段は、利用者の周囲の状況が私的な状況、又はくつろぎやすい状況であると判断した場合、前記生体情報に対する重み付けを、前記外面情報に対する重み付けよりも小さくする請求項２記載の感情推定システム。
  5. 前記推定手段は、利用者の感情が表情又は動作に表われにくいタイプであると判断した場合、前記生体情報に対する重み付けを、前記外面情報に対する重み付けよりも大きくする請求項１から４のいずれかに記載の感情推定システム。
  6. 前記推定手段は、利用者の感情が表情又は動作に表われやすいタイプであると判断した場合、前記生体情報に対する重み付けを、前記外面情報に対する重み付けよりも小さくする請求項１から４のいずれかに記載の感情推定システム。
  7. 外面情報及び生体情報を入力して、利用者の感情を出力する複数の学習モデルと、
    利用者の周囲の状況に応じて、使用する学習モデルを選択する選択手段と、
    第１の検出手段により検出された利用者の外面情報と第２の検出手段により検出された当該利用者の生体情報とを選択された学習モデルに入力することにより出力された感情を、前記利用者の感情として推定する推定手段と、
    を備える感情推定システム。
  8. 前記利用者の周囲の環境情報を検出する第３の検出手段をさらに備え、
    前記選択手段は、前記第３の検出手段により検出された環境情報に基づいて前記利用者の周囲の状況を判定する請求項７記載の感情推定システム。
  9. 第１の検出手段および第２の検出手段を備える対話型ロボットと、
    制御サーバと、
    外面情報、生体情報及び利用者の周囲の環境情報を入力して、利用者の感情を出力する学習モデルと、
    第１の検出手段により検出された当該利用者の外面情報、第２の検出手段により検出された当該利用者の生体情報及び第３の検出手段により検出された当該利用者の周囲の環境情報を前記学習モデルに入力することにより出力された感情を、前記利用者の感情として推定する推定手段と、
    を備え、
    対話型ロボットは、前記制御サーバに対して現在位置を送信し、
    前記制御サーバは、前記対話型ロボットから取得した現在位置情報に該当する位置に設置されている環境センサによって当該利用者の周囲の環境情報を検出し、前記対話型ロボットに送信する感情推定システム。
  10. 前記第１の検出手段は、前記外面情報として、利用者の表情、音声の少なくとも一つを検出し、
    前記第２の検出手段は、前記生体情報として、利用者の皮膚電位、心拍の少なくとも一つを検出する請求項１から９いずれかに記載の感情推定システム。
  11. 対話型ロボットが前記第１の検出手段および前記第２の検出手段を備えている請求項１から８いずれかに記載の感情推定システム。
  12. 前記対話型ロボットが存在する付近に設置された環境センサによって利用者の周囲の環境情報を検出する請求項１１記載の感情推定システム。
  13. 前記感情推定システムは制御サーバを含み、
    前記対話型ロボットは前記制御サーバに対して現在位置情報を送信し、
    前記制御サーバは、前記対話型ロボットから取得した現在位置情報に該当する位置に設置されている環境センサから取得した当該利用者の周囲の環境情報を前記対話型ロボットに送信する請求項１２記載の感情推定システム。
  14. 前記制御サーバは、前記対話型ロボットから取得した現在位置情報に該当する位置に設置されている環境センサに対して、当該利用者の周囲の環境情報を取得するよう要求する請求項１３記載の感情推定システム。
  15. 第1の検出手段により検出された利用者の外面情報と第２の検出手段により検出された当該利用者の生体情報とから、当該利用者の感情に関する特徴量を抽出する抽出手段と、
    前記抽出手段により抽出された特徴量を用いた機械学習を行うことにより、前記抽出手段により抽出された特徴量を入力して利用者の感情を出力する、利用者の周囲の状況に応じた複数の学習モデルを生成する生成手段と、
    を備える感情推定モデル生成システム。
JP2016207696A 2016-10-24 2016-10-24 感情推定システム、感情推定モデル生成システム Active JP6761598B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016207696A JP6761598B2 (ja) 2016-10-24 2016-10-24 感情推定システム、感情推定モデル生成システム
US15/583,098 US10452982B2 (en) 2016-10-24 2017-05-01 Emotion estimating system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016207696A JP6761598B2 (ja) 2016-10-24 2016-10-24 感情推定システム、感情推定モデル生成システム

Publications (2)

Publication Number Publication Date
JP2018072876A JP2018072876A (ja) 2018-05-10
JP6761598B2 true JP6761598B2 (ja) 2020-09-30

Family

ID=61969809

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016207696A Active JP6761598B2 (ja) 2016-10-24 2016-10-24 感情推定システム、感情推定モデル生成システム

Country Status (2)

Country Link
US (1) US10452982B2 (ja)
JP (1) JP6761598B2 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11484685B2 (en) * 2010-06-07 2022-11-01 Affectiva, Inc. Robotic control using profiles
US10318799B2 (en) * 2017-02-16 2019-06-11 Wipro Limited Method of predicting an interest of a user and a system thereof
KR102497042B1 (ko) * 2018-01-29 2023-02-07 삼성전자주식회사 사용자 행동을 바탕으로 반응하는 로봇 및 그의 제어 방법
WO2019246239A1 (en) 2018-06-19 2019-12-26 Ellipsis Health, Inc. Systems and methods for mental health assessment
US20190385711A1 (en) 2018-06-19 2019-12-19 Ellipsis Health, Inc. Systems and methods for mental health assessment
CN108922564B (zh) * 2018-06-29 2021-05-07 北京百度网讯科技有限公司 情绪识别方法、装置、计算机设备及存储介质
JP7048893B2 (ja) * 2018-07-26 2022-04-06 日本電信電話株式会社 学習装置、学習方法及びコンピュータプログラム
KR20200036680A (ko) * 2018-09-28 2020-04-07 삼성전자주식회사 감정 정보 획득을 위한 전자 장치 및 방법
CN109227558A (zh) * 2018-10-09 2019-01-18 北京智合大方科技有限公司 可实时调校的智能外呼机器人
KR102228866B1 (ko) * 2018-10-18 2021-03-17 엘지전자 주식회사 로봇 및 그의 제어 방법
JP6868049B2 (ja) * 2019-02-19 2021-05-12 Ｎｅｃパーソナルコンピュータ株式会社 情報処理装置、見守りシステム、見守り方法、及び見守りプログラム
EP3932311A4 (en) * 2019-02-28 2022-02-09 NEC Corporation EMOTION ASSESSMENT DEVICE AND METHOD AND COMPUTER READABLE RECORDING MEDIA
KR102218468B1 (ko) * 2019-06-17 2021-02-22 주식회사 오니온파이브 텍스트의 내용 및 감정 분석에 기반한 답변 추천 시스템 및 방법
CN110267052B (zh) * 2019-06-19 2021-04-16 云南大学 一种基于实时情绪反馈的智能弹幕机器人
JP7379788B2 (ja) * 2019-07-05 2023-11-15 株式会社Ｎｔｔドコモ 感情推定装置、及び、感情推定システム
JP7342491B2 (ja) 2019-07-25 2023-09-12 オムロン株式会社 推論装置、推論方法、及び推論プログラム
US10796561B1 (en) * 2019-09-10 2020-10-06 International Business Machines Corporation Cognitive safety alert generation
CN110534135A (zh) * 2019-10-18 2019-12-03 四川大学华西医院 一种基于语言引导与心率反应来评估情绪特征的方法
JP7371759B2 (ja) * 2020-02-28 2023-10-31 日本電気株式会社 サーバ装置、会議支援システム、会議支援方法及びプログラム
JP7396133B2 (ja) 2020-03-11 2023-12-12 オムロン株式会社 パラメータ調整装置、推論装置、パラメータ調整方法、及びパラメータ調整プログラム
JP6951004B1 (ja) * 2021-03-29 2021-10-20 株式会社ｐｌｕｓｚｅｒｏ 情報処理システム及び仮想人材
KR102359344B1 (ko) * 2021-09-13 2022-02-08 가온플랫폼 주식회사 인공지능 기반의 영유아 행동 및 심리분석 스마트 보육환경 모니터링 시스템 및 그 방법
KR102454737B1 (ko) 2021-12-17 2022-10-19 주식회사 하이 심리 상태 분류 서버, 단말기, 심리 상태 분류 방법, 및 심리 상태 분류 서비스를 제공하는 방법

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2967058B2 (ja) * 1997-02-14 1999-10-25 株式会社エイ・ティ・アール知能映像通信研究所 階層的感情認識装置
AU768353B2 (en) * 1998-09-10 2003-12-11 Sony Corporation Robot apparatus, method of controlling robot apparatus, method of display, and medium
JP2001154681A (ja) * 1999-11-30 2001-06-08 Sony Corp 音声処理装置および音声処理方法、並びに記録媒体
EP1247624A1 (en) * 2000-03-24 2002-10-09 Sony Corporation Method for determining action of robot and robot
KR20020067669A (ko) * 2001-02-16 2002-08-23 산요 덴키 가부시키가이샤 로봇 시스템 및 로봇
KR100624403B1 (ko) * 2001-10-06 2006-09-15 삼성전자주식회사 인체의 신경계 기반 정서 합성 장치 및 방법
JP4525712B2 (ja) * 2002-12-11 2010-08-18 ソニー株式会社 情報処理装置および方法、プログラム、並びに記録媒体
US7113848B2 (en) * 2003-06-09 2006-09-26 Hanson David F Human emulation robot system
JP2005199403A (ja) * 2004-01-16 2005-07-28 Sony Corp 情動認識装置及び方法、ロボット装置の情動認識方法、ロボット装置の学習方法、並びにロボット装置
JP2006071936A (ja) 2004-09-01 2006-03-16 Matsushita Electric Works Ltd 対話エージェント
US20070074114A1 (en) * 2005-09-29 2007-03-29 Conopco, Inc., D/B/A Unilever Automated dialogue interface
JP4704952B2 (ja) * 2006-05-01 2011-06-22 株式会社エイ・ジー・アイ 心的状態判定装置、およびプログラム
TWI293571B (en) * 2006-08-25 2008-02-21 Benq Corp Device for animating facial expression
KR100850352B1 (ko) * 2006-09-26 2008-08-04 한국전자통신연구원 상태 정보를 이용하여 감성을 표현하기 위한 지능형 로봇의감성 표현 장치 및 그 방법
US10679749B2 (en) * 2008-08-22 2020-06-09 International Business Machines Corporation System and method for virtual world biometric analytics through the use of a multimodal biometric analytic wallet
TWI447660B (zh) * 2009-12-16 2014-08-01 Univ Nat Chiao Tung Robot autonomous emotion expression device and the method of expressing the robot's own emotion
JP2012059107A (ja) * 2010-09-10 2012-03-22 Nec Corp 感情推定装置、感情推定方法およびプログラム
US9079313B2 (en) * 2011-03-15 2015-07-14 Microsoft Technology Licensing, Llc Natural human to robot remote control
JP2013105232A (ja) * 2011-11-11 2013-05-30 Nippon Telegr & Teleph Corp <Ntt> 感情推定装置及び感情推定方法
WO2014085910A1 (en) * 2012-12-04 2014-06-12 Interaxon Inc. System and method for enhancing content using brain-state data
EP2933064A1 (en) * 2014-04-17 2015-10-21 Aldebaran Robotics System, method and computer program product for handling humanoid robot interaction with human
JP6388824B2 (ja) * 2014-12-03 2018-09-12 日本電信電話株式会社 感情情報推定装置、感情情報推定方法及び感情情報推定プログラム
US20180077095A1 (en) * 2015-09-14 2018-03-15 X Development Llc Augmentation of Communications with Emotional Data
JP2017151517A (ja) * 2016-02-22 2017-08-31 富士ゼロックス株式会社 ロボット制御システム
JP6726388B2 (ja) * 2016-03-16 2020-07-22 富士ゼロックス株式会社 ロボット制御システム

Also Published As

Publication number Publication date
US10452982B2 (en) 2019-10-22
JP2018072876A (ja) 2018-05-10
US20180114125A1 (en) 2018-04-26

Similar Documents

Publication Publication Date Title
JP6761598B2 (ja) 感情推定システム、感情推定モデル生成システム
Mead et al. Autonomous human–robot proxemics: socially aware navigation based on interaction potential
JP7003400B2 (ja) 対話制御システム
JP6738555B2 (ja) ロボット制御システム
KR101295003B1 (ko) 지능 로봇, 지능 로봇과 사용자의 상호작용을 위한 시스템 및 지능 로봇과 사용자의 상호작용을 위한 방법
Rossi et al. An extensible architecture for robust multimodal human-robot communication
CN107077847A (zh) 关键短语用户识别的增强
CN107430501A (zh) 对语音触发进行响应的竞争设备
KR102449630B1 (ko) 전자 장치 및 이의 제어 방법
KR102426435B1 (ko) 사용자 입력에 기반한 문장을 제공하는 장치 및 방법
US10785489B2 (en) System and method for visual rendering based on sparse samples with predicted motion
KR102222911B1 (ko) 로봇 상호작용 시스템 및 그를 위한 프로그램
JP2020173714A (ja) 対話支援装置、対話支援システム、及び対話支援プログラム
US11115409B2 (en) User authentication by emotional response
US10244013B2 (en) Managing drop-ins on focal points of activities
JP6887035B1 (ja) 制御システム、制御装置、制御方法及びコンピュータプログラム
US11388116B2 (en) Augmented reality enabled communication response
Karunasena et al. Devi: Open-source human-robot interface for interactive receptionist systems
JP2023120130A (ja) 抽出質問応答を利用する会話型ａｉプラットフォーム
JP6866731B2 (ja) 音声認識装置、音声認識方法、及びプログラム
US11929169B2 (en) Personalized sensory feedback
KR102643720B1 (ko) 로봇용 인공지능 인터페이스 시스템
JP6235148B2 (ja) 対話システム、および情報処理方法
WO2023017753A1 (ja) 学習装置、学習方法、およびプログラム
JP2023551169A (ja) 何らかの音声コマンドを実行する間にａｒ（拡張現実）ベースで周囲からの音を選択的に包含すること

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190910

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200717

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200807

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200820

R150 Certificate of patent or registration of utility model

Ref document number: 6761598

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350