JP6509459B2 - 状態推定装置 - Google Patents
状態推定装置 Download PDFInfo
- Publication number
- JP6509459B2 JP6509459B2 JP2018556087A JP2018556087A JP6509459B2 JP 6509459 B2 JP6509459 B2 JP 6509459B2 JP 2018556087 A JP2018556087 A JP 2018556087A JP 2018556087 A JP2018556087 A JP 2018556087A JP 6509459 B2 JP6509459 B2 JP 6509459B2
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- unpleasant
- information
- reaction
- discomfort
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000006243 chemical reaction Methods 0.000 claims description 318
- 230000006399 behavior Effects 0.000 claims description 130
- 238000001514 detection method Methods 0.000 claims description 81
- 230000009471 action Effects 0.000 claims description 51
- 230000007613 environmental effect Effects 0.000 claims description 31
- 230000004044 response Effects 0.000 claims description 27
- 239000000284 extract Substances 0.000 claims description 11
- 238000000034 method Methods 0.000 description 76
- 230000008569 process Effects 0.000 description 71
- 238000010586 diagram Methods 0.000 description 22
- 230000008451 emotion Effects 0.000 description 12
- 238000010801 machine learning Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 230000003542 behavioural effect Effects 0.000 description 5
- 238000004378 air conditioning Methods 0.000 description 4
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000002996 emotional effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 210000004013 groin Anatomy 0.000 description 2
- 206010011224 Cough Diseases 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010926 purge Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/162—Testing reaction times
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7278—Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01K—MEASURING TEMPERATURE; MEASURING QUANTITY OF HEAT; THERMALLY-SENSITIVE ELEMENTS NOT OTHERWISE PROVIDED FOR
- G01K13/00—Thermometers specially adapted for specific purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
- A61B2560/02—Operational features
- A61B2560/0242—Operational features adapted to measure environmental factors, e.g. temperature, pollution
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0204—Acoustic sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Psychiatry (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Social Psychology (AREA)
- Physiology (AREA)
- Hospice & Palliative Care (AREA)
- Child & Adolescent Psychology (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Educational Technology (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Developmental Disabilities (AREA)
- Psychology (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Acoustics & Sound (AREA)
- Dentistry (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
Description
例えば、特許文献1には、予め取得したユーザの生体情報と、当該生体情報に対応したユーザの感情情報と身体的状態とを格納した履歴蓄積データベースに基づいて生体情報と感情情報との関係を学習して身体的状態ごとに生体情報から感情情報を推定する推定器を機械学習によって生成し、ユーザの身体状態に対応した推定器を用いて検出されたユーザの生体情報から当該ユーザの感情情報を推定する感情情報推定装置が開示されている。
また、機械学習により精度の高い推定器を得るためには、履歴蓄積データベースに情報が十分に蓄積されるまで推定器を適用することができないという課題があった。
実施の形態1.
図1は、実施の形態1に係る状態推定装置100の構成を示すブロック図である。
状態推定装置100は、環境情報取得部101、挙動情報取得部102、生体情報取得部103、行動検出部104、行動情報データベース105、反応検出部106、反応情報データベース107、不快判定部108、学習部109、不快区間推定部110、不快反応パターンデータベース111および学習用データベース112を備える。
挙動情報取得部102は、例えばカメラが撮像した撮像画像を解析して得られたユーザの表情、ユーザの顔の一部の動き、ユーザの頭、手、腕、足または上半身等の体の動きを示す情報を、動き情報として取得する。
挙動情報取得部102は、例えばマイクが集音した音声信号を解析して得られたユーザの発話内容を示す音声認識結果、およびユーザが発した音(例えば、舌打ちした際の音)を示す音認識結果を、音情報として取得する。
挙動情報取得部102は、タッチパネルまたは物理的スイッチが検出した、ユーザが機器を操作する情報(例えば、音量を上げるボタンを押した等を示す情報)を、操作情報として取得する。
挙動情報取得部102は、取得した挙動情報を、行動検出部104および反応検出部106に出力する。
図2は、実施の形態1に係る状態推定装置100の行動情報データベース105の格納例を示す図である。
図2で示した行動情報データベース105は、ID105a、不快要因105b、行動パターン105cおよび推定条件105dの項目で構成されている。
行動情報データベース105は、不快要因105bごとに、行動パターン105cが定義されている。各行動パターン105cには、不快区間を推定するための条件である推定条件105dが設定されている。また、各行動パターン105cには、識別情報であるID105aが付されている。
行動パターン105cは、不快要因105bに直接的に結び付く、ユーザの行動パターンが設定されている。図2の例では、「空調(暑い)」との不快要因105bに直接的に結び付くユーザの行動パターンとして「「暑い」と発話する」および「設定温度を下げるボタンを押す」が設定されている。
図3は、実施の形態1に係る状態推定装置100の反応情報データベース107の格納例を示す図である。
図3で示した反応情報データベース107は、ID107aおよび反応パターン107bの項目で構成されている。各反応パターン107bには、識別情報であるID107aが付されている。
反応パターン107bは、不快要因(例えば、図2で示した不快要因105b)とは直接的には結び付かない、ユーザの反応パターンが設定されている、図3の例では、ユーザが不快状態である時に示す反応パターンとして「眉間にしわを寄せる」および「咳払いをする」等が設定されている。
また、不快判定部108は、反応検出部106から検出した反応パターンの識別情報が入力されると、入力された識別情報と、不快反応パターンデータベース111に格納されたユーザの不快状態を示す不快反応パターンとの照合を行う。不快判定部108は、入力された識別情報と一致する反応パターンが不快反応パターンデータベース111に格納されていた場合に、ユーザは不快状態であると推定する。不快判定部108は、ユーザの不快状態を検出したことを示す信号を外部に出力する。
不快反応パターンデータベース111の詳細は後述する。
さらに、学習部109は、学習用データベース112を参照して、不快区間推定部110が推定した不快区間以外の区間で閾値以上の頻度で発生する反応パターンを不快反応ではないパターン(以下、非不快反応パターンと称する)として抽出する。学習部109は、抽出した不快反応ではないパターンを、不快反応パターン候補から除外する。
学習部109は、最終的に残った不快反応パターン候補の識別情報の組み合わせを不快反応パターンとして、不快要因ごとに不快反応パターンデータベース111に格納する。
図4は、実施の形態1に係る状態推定装置100の不快反応パターンデータベース111の格納例を示す図である。
図4で示した不快反応パターンデータベース111は、不快要因111aおよび不快反応パターン111bの項目で構成されている。不快要因111aには、行動情報データベース105の不快要因105bの項目と同等の項目が記載される。
不快反応パターン111bは、反応情報データベース107の反応パターン107bに対応したID107aが記載される。
図4において不快要因が「空調(暑い)」である場合に、ユーザがID:b−1の「眉間にしわを寄せる」およびID:b−3の「対象を見つめる」との反応を示すことを表している。
図5は、実施の形態1に係る状態推定装置100の学習用データベース112の格納例を示す図である。
図5で示した学習用データベース112は、タイムスタンプ112a、環境情報112b、行動パターンID112cおよび反応パターンID112dの項目で構成されている。
タイムスタンプ112aは、環境情報112bが取得された時刻を示す情報である。
図5において、タイムスタンプ112aが「2016/8/1/11:02:00」である時に、環境情報112bが「温度28℃、騒音35dB」であり、行動検出部104がユーザの不快を示す行動パターンを検出しておらず、反応検出部106がID;b−1の「眉間にしわを寄せる」との反応パターンを検出したことを示している。
図6A、図6Bは、状態推定装置100のハードウェア構成例を示す図である。
状態推定装置100における環境情報取得部101、挙動情報取得部102、生体情報取得部103、行動検出部104、反応検出部106、不快判定部108、学習部109および不快区間推定部110は、図6Aに示すように専用のハードウェアである処理回路100aであってもよいし、図6Bに示すようにメモリ100cに格納されているプログラムを実行するプロセッサ100bであってもよい。
メモリ100cは、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable ROM)、EEPROM(Electrically EPROM)等の不揮発性または揮発性の半導体メモリであってもよいし、ハードディスク、フレキシブルディスク等の磁気ディスクであってもよいし、ミニディスク、CD(Compact Disc)、DVD(Digital Versatile Disc)等の光ディスクであってもよい。
図7は、実施の形態1に係る状態推定装置100の動作を示すフローチャートである。
環境情報取得部101は、環境情報を取得する(ステップST101)。
図8は、実施の形態1に係る状態推定装置100の環境情報取得部101の動作を示すフローチャートであり、ステップST101の処理を詳細に示すフローチャートである。
環境情報取得部101は、例えば温度センサが検出した情報を温度情報として取得する(ステップST110)。環境情報取得部101は、例えばマイクが集音した音の大きさを示す情報を騒音情報として取得する(ステップST111)。環境情報取得部101は、ステップST110で取得した温度情報およびステップST111で取得した騒音情報を、環境情報として不快判定部108および学習用データベース112に出力する(ステップST112)。
上述したステップST110からステップST112の処理により、例えば図5で示した学習用データベース112のタイムスタンプ112aおよび環境情報112bの項目に情報が格納される。その後、フローチャートは図7のステップST102の処理に進む。
図9は、実施の形態1に係る状態推定装置100の挙動情報取得部102の動作を示すフローチャートであり、ステップST102の処理を詳細に示すフローチャートである。
挙動情報取得部102は、例えば撮像画像を解析して得られた動き情報を取得する(ステップST113)。挙動情報取得部102は、例えば音声信号を解析して得られた音情報を取得する(ステップST114)。挙動情報取得部102は、例えば機器を操作する情報を、操作情報として取得する(ステップST115)。挙動情報取得部102は、ステップST113で取得した動き情報、ステップST114で取得した音情報、ステップST115で取得した操作情報を、挙動情報として行動検出部104および反応検出部106に出力する(ステップST116)。その後、フローチャートは図7のステップST103の処理に進む。
図10は、実施の形態1に係る状態推定装置100の生体情報取得部103の動作を示すフローチャートであり、ステップST103の処理を詳細に示すフローチャートである。
生体情報取得部103は、例えばユーザの心拍変動を示す情報を、生体情報として取得する(ステップST117)。生体情報取得部103は、ステップST117で取得した生体情報を、反応検出部106に出力する(ステップST118)。その後、フローチャートは図7のステップST104の処理に進む。
図11は、実施の形態1に係る状態推定装置100の行動検出部104の動作を示すフローチャートであり、ステップST104の処理を詳細に示すフローチャートである。
行動検出部104は、挙動情報取得部102から挙動情報が入力されたか否か判定を行う(ステップST120)。挙動情報が入力されていない場合(ステップST120;NO)、処理を終了し、図7のステップST105の処理に進む。一方、挙動情報が入力された場合(ステップST120;YES)、行動検出部104は、入力された挙動情報が、行動情報データベース105に格納された行動情報の行動パターンと一致するか否か判定を行う(ステップST121)。
図12は、実施の形態1に係る状態推定装置100の反応検出部106の動作を示すフローチャートであり、ステップST105の処理を詳細に示すフローチャートである。
反応検出部106は、挙動情報取得部102から挙動情報が入力されたか否か判定を行う(ステップST124)。挙動情報が入力されていない場合(ステップST124;NO)、反応検出部106は生体情報取得部103から生体情報が入力されたか否か判定を行う(ステップST125)。生体情報が入力されていない場合(ステップST125;NO)、処理を終了し、図7のフローチャートのステップST106の処理に進む。
図13は、実施の形態1に係る状態推定装置100の不快判定部108、学習部109および不快区間推定部110の動作を示すフローチャートであり、ステップST106の処理を詳細に示すフローチャートである。
ステップST133の処理を行った場合、ステップST137の処理を行った場合、反応パターンの識別情報が入力されていない場合(ステップST134;NO)、またはユーザが不快状態でないと判定した場合(ステップST136;NO)、フローチャートは図7のステップST101の処理に戻る。
図14は、実施の形態1に係る状態推定装置100の学習部109の動作を示すフローチャートである。
図18は、実施の形態1に係る状態推定装置100の不快反応パターンの学習例を示す図である。
図15は、実施の形態1に係る状態推定装置100の不快区間推定部110の動作を示すフローチャートであり、ステップST140の処理を詳細に示すフローチャートである。
不快区間推定部110は、不快判定部108から入力された行動パターンの識別情報を用いて行動情報データベース105内を検索し、当該行動パターンに対応付けられた推定条件および不快要因を取得する(ステップST150)。
例えば、図18(a)で示したように、不快区間推定部110は、識別情報(ID;a−1)で示された行動パターンが入力された場合、図2で示した行動情報データベース105内を検索し、「ID;a−1」の推定条件「温度℃」および不快要因「空調(暑い)」を取得する。
例えば、図5で示した学習用データベース112を参照する場合、不快区間推定部110は、最も新しい履歴情報の環境情報112bである「温度28℃、騒音35dB」から、ステップST150で取得した推定条件に基づいて「温度28℃」を、行動パターンが検出された際の環境情報として取得する。また、不快区間推定部110は、取得した環境情報のタイムスタンプ「2016/8/1/11:04:30」を不快区間として取得する。
例えば、図18(d)で示したように、閾値範囲の下限以上の温度を示す連続した区間「2016/8/1/11:01:00」から「2016/8/1/11:04:30」が、不快区間として推定される。
例えば、図5で示した学習用データベース112を参照する場合、学習部109は、推定された不快区間である「2016/8/1/11:01:00」から「2016/8/1/11:04:30」までの区間における反応パターンID「b−1」,「b−2」,「b−3」および「b−4」を、不快反応パターン候補Aとして抽出する。
図16は、実施の形態1に係る状態推定装置100の学習部109の動作を示すフローチャートであり、ステップST142の処理を詳細に示すフローチャートである。
学習部109は、学習用データベース112を参照し、ステップST140で推定された不快区間と環境情報が類似した区間を検索する(ステップST160)。
ステップST160の検索処理により、学習部109は、例えば、図18(e)で示したように、過去に温度条件が一致する区間、例えば温度情報が28℃で推移した区間(時間t1から時間t2)を取得する。
また、ステップST160の検索処理では、学習部109は、過去に温度条件が予め設定された範囲(27.5℃以上の範囲)内である区間を取得するように構成してもよい。
例えば、図18(e)で示したように、検索された時間t1から時間t2の区間で格納された反応パターンID「b−1」,「b−2」,「b−3」を不快反応パターン候補Bとして抽出する。
図17は、実施の形態1に係る状態推定装置100の学習部109の動作を示すフローチャートであり、ステップST143の処理を詳細に示すフローチャートである。
学習部109は、学習用データベース112を参照し、ステップST140で推定された不快区間と環境情報が類似しない過去の区間を検索する(ステップST170)。具体的には、環境情報が一致しない区間または環境情報が予め設定された範囲外である区間を検索する。
図18(g)の例では、学習部109は、過去に温度情報が「28℃未満」で推移した区間(時間t3から時間t4)を、不快区間と環境情報が類似しない区間として検索する。
図18(g)の例では、過去に温度情報が「28℃未満」で推移した区間(時間t3から時間t4)に格納されたパターンID;b−2を非不快反応パターン候補として抽出する。
図18(g)の例で示した、非不快反応パターン候補として抽出した反応パターンID;b−2の抽出数と、不快区間と環境情報に類似していない区間として検出した区間の数との割合が、閾値未満であれば、反応パターンID;b−2を非不快反応パターン候補から除外する。なお、図18(g)の例では、反応パターンID;b−2は除外しない。
図18(h)の例では、不快反応パターン候補である反応パターンID;b−1,b−2,b−3から、非不快反応パターン候補である反応パターンID;b−2を除外し、除外後の反応パターンID;b−1,b−3を不快反応パターンとして取得する。
図4の例では、学習部109は、不快反応パターンとして抽出した反応パターンID;b−1,b−3を、不快要因「空調(暑い)」と共に格納している。その後、フローチャートは図7のステップST101の処理に戻る。
以下では、図2から図5で示したデータベースの格納例、図19に示したフローチャート、および図20に示す不快状態の推定例を参照しながら説明を行う。
図19は、実施の形態1に係る状態推定装置100の不快判定部108の動作を示すフローチャートである。
図20は、実施の形態1に係る状態推定装置100の不快状態の推定例を示す図である。
不快判定部108は、不快反応パターンデータベース111を参照し、不快反応パターンが格納されているか否か判定を行う(ステップST180)。不快反応パターンが格納されていない場合(ステップST180;NO)、ステップST190の処理に進む。
不快判定部108は、図20(b)の反応パターンID;b−1,b−2,b−3が、図20(c)の不快反応パターンデータベース111に格納された不快反応パターンと一致するか否か判定を行う。
図4で示した不快反応パターンデータベース111の格納例の場合、不快要因111aが「空調(暑い)」場合の不快反応パターンID;b−1、b−3全てが、抽出された反応パターンIDに包含されている。この場合、不快判定部108は、一致する不快反応パターンが、不快反応パターンデータベース111に格納されていると判定し、ユーザは不快状態であると推定する。
また、履歴情報が多く蓄積されていない状態でも、学習により不快反応パターンを取得して格納することができる。これにより状態推定装置の使用の開始から長い時間を必要とせずにユーザ状態を推定することができ、ユーザの利便性を向上させることができる。
これにより、例えば、機器が空調機器の上限温度を変更してから一定時間の間に発生する反応を、機器の制御に対するユーザの反応として除外することができる。よって、ユーザの不快状態の推定精度を向上させることができる。
この実施の形態2では、学習用データベース112に蓄積された履歴情報の量に応じてユーザの不快状態を推定する方法を切り替える構成を示す。
図21は、実施の形態2に係る状態推定装置100Aの構成を示すブロック図である。
実施の形態2に係る状態推定装置100Aは、図1に示した実施の形態1の状態推定装置100の不快判定部108に替えて不快判定部201を備え、さらに推定器生成部202を追加して備える。
以下では、実施の形態1に係る状態推定装置100の構成要素と同一または相当する部分には、実施の形態1で使用した符号と同一の符号を付して説明を省略または簡略化する。
・非特許文献1
岡谷貴之、“ディープラーニング”、映像情報メディア学会誌、Vol.68、No.6、2014年
状態推定装置100Aにおける不快判定部201および推定器生成部202は、図6Aで示した処理回路100a、または図6Bで示したメモリ100cに格納されるプログラムを実行するプロセッサ100bである。
図22は、実施の形態2に係る状態推定装置100Aの推定器生成部202の動作を示すフローチャートである。
推定器生成部202は、学習用データベース112および行動情報データベース105を参照し、学習用データベース112に格納されている行動パターンIDを不快要因毎に集計する(ステップST200)。推定器生成部202は、ステップST200で集計した行動パターンIDの総数が規定の値以上になったか否か判定を行う(ステップST201)。行動パターンIDの総数が規定の値以上でない場合(ステップST201;NO)、ステップST200の処理に戻り、上述した処理を繰り返す。
図23において、図19で示した実施の形態1のフローチャートと同一のステップには同一の符号を付し、説明を省略する。
不快判定部201は、推定器生成部202の状態を参照し、推定器が生成されているか否か判定を行う(ステップST211)。推定器が生成されている場合(ステップST211;YES)、不快判定部201は当該推定器に、入力信号である反応パターンおよび環境情報を入力し、出力信号であるユーザの不快状態を推定した結果を取得する(ステップST212)。不快判定部201は、ステップST212で取得した出力信号を参照し、推定器がユーザの不快状態を推定したか否か判定を行う(ステップST213)。推定器がユーザの不快状態を推定していた場合(ステップST213;YES)、不快判定部201はユーザが不快状態であると推定する(ステップST214)。
この実施の形態3では、検出された反応パターンから不快状態に加えて不快要因を推定する構成を示す。
図24は、実施の形態3に係る状態推定装置100Bの構成を示すブロック図である。
実施の形態3に係る状態推定装置100Bは、図1に示した実施の形態1の状態推定装置100の不快判定部108および不快反応パターンデータベース111に替えて不快判定部301および不快反応パターンデータベース302を備えて構成している。
以下では、実施の形態1に係る状態推定装置100の構成要素と同一または相当する部分には、実施の形態1で使用した符号と同一の符号を付して説明を省略または簡略化する。
図25は、実施の形態3に係る状態推定装置100Bの不快反応パターンデータベース302の格納例を示す図である。
状態推定装置100Bにおける不快判定部301および不快反応パターンデータベース302は、図6Aで示した処理回路100a、または図6Bで示したメモリ100cに格納されるプログラムを実行するプロセッサ100bである。
図26は、実施の形態1に係る状態推定装置100Bの不快判定部301の動作を示すフローチャートである。
図26において、図13で示した実施の形態1のフローチャートと同一のステップには同一の符号を付し、説明を省略する。
ステップST134において、不快判定部301は、反応パターンの識別情報が入力されたと判定すると(ステップST134;YES)、入力された反応パターンの識別情報と、不快反応パターンデータベース302に格納された第1の不快反応パターン302bおよび第2の不快反応パターン302cとを照合し、ユーザの不快状態を推定する(ステップST301)。不快判定部301は、ステップST301の推定結果を参照し、ユーザが不快状態であるか否か判定を行う(ステップST302)。
図27は、実施の形態3に係る状態推定装置100Bの不快判定部301の動作を示すフローチャートである。
図27において、図19で示した実施の形態1のフローチャートと同一のステップには同一の符号を付し、説明を省略する。
不快判定部301は、ステップST186において反応パターンの識別情報を抽出すると、抽出した反応パターンの識別情報が、第1および第2の不快反応パターンの組み合わせと一致するか否か判定を行う(ステップST310)。第1および第2の不快反応パターンの組み合わせと一致すると判定した場合(ステップST310;YES)、不快判定部301は不快状態であると推定し、且つ不快要因を推定する(ステップST311)。一方、第1および第2の不快反応パターンの組み合わせと一致しないと判定した場合(ステップST310;NO)、不快判定部301は、全ての第1および第2の不快反応パターンの組み合わせと照合したか否か判定を行う(ステップST312)。
ステップST311、ステップST314またはステップST315の処理を行った場合、フローチャートは図26のステップST302の処理に進む。
Claims (6)
- ユーザの動き情報、前記ユーザの音情報、および前記ユーザの操作情報とを含む挙動情報のうちの少なくともいずれか一つの情報と、予め格納された行動パターンとを照合し、一致する行動パターンを検出する行動検出部と、
前記挙動情報および前記ユーザの生体情報と、予め格納された反応パターンとを照合し、一致する反応パターンを検出する反応検出部と、
前記行動検出部が一致する行動パターンを検出した場合、または前記反応検出部が一致する反応パターンを検出し、且つ検出した前記反応パターンが予め格納された前記ユーザの不快状態を示す不快反応パターンと一致した場合に、前記ユーザが不快状態であると判定する不快判定部と、
前記行動検出部が検出した行動パターンに基づいて不快区間を推定するための推定条件を取得し、予め格納された履歴情報のうち前記取得した推定条件と一致する区間を不快区間と推定する不快区間推定部と、
前記履歴情報を参照し、前記不快区間推定部が推定した前記不快区間および前記不快区間以外の区間における反応パターンの発生頻度に基づいて前記不快反応パターンを取得して格納する学習部とを備えた状態推定装置。 - 前記履歴情報は、少なくとも前記ユーザの周囲の環境情報、前記ユーザの行動パターンおよび前記ユーザの反応パターンで構成されていることを特徴とする請求項1記載の状態推定装置。
- 前記学習部は、前記不快区間における前記履歴情報の反応パターンの発生頻度に基づいて不快反応パターン候補を抽出し、前記不快区間以外の区間における前記履歴情報の反応パターンの発生頻度に基づいて不快反応でないパターンを抽出し、前記不快反応パターン候補から前記不快反応でないパターンを除外した反応パターンを、前記不快反応パターンとして取得することを特徴とする請求項2記載の状態推定装置。
- 前記不快判定部は、前記反応検出部が検出した反応パターンが、前記格納された前記不快反応パターンと一致した場合に、当該一致した前記反応パターンに、固有の不快要因に対応した反応パターンが含まれている場合に、前記固有の不快要因に対応した反応パターンに基づいて前記ユーザの不快要因を特定することを特徴とする請求項1記載の状態推定装置。
- 前記履歴情報として規定の値以上の行動パターンが蓄積されている場合に、前記反応検出部が検出した反応パターンおよび前記環境情報に基づいて、前記ユーザが不快状態であるか否かを推定する推定器を生成する推定器生成部を備え、
前記不快判定部は、前記推定器が生成されている場合に、当該推定器の推定結果を参照して前記ユーザが不快状態であるか否か判定を行うことを特徴とする請求項2記載の状態推定装置。 - 前記不快区間推定部は、前記行動検出部が検出した行動パターンに前記操作情報が含まれている場合に、前記操作情報を取得してから一定期間の区間を、前記不快区間から除外することを特徴とする請求項1記載の状態推定装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2016/087204 WO2018109863A1 (ja) | 2016-12-14 | 2016-12-14 | 状態推定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6509459B2 true JP6509459B2 (ja) | 2019-05-08 |
JPWO2018109863A1 JPWO2018109863A1 (ja) | 2019-06-24 |
Family
ID=62558128
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018556087A Expired - Fee Related JP6509459B2 (ja) | 2016-12-14 | 2016-12-14 | 状態推定装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20200060597A1 (ja) |
JP (1) | JP6509459B2 (ja) |
CN (1) | CN110049724B (ja) |
DE (1) | DE112016007435T5 (ja) |
WO (1) | WO2018109863A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102485253B1 (ko) * | 2017-11-10 | 2023-01-06 | 현대자동차주식회사 | 대화 시스템 및 그 제어방법 |
JP7238994B2 (ja) * | 2019-07-19 | 2023-03-14 | 日本電気株式会社 | 快適性運転データ収集システム、運転制御装置、方法、および、プログラム |
CN116963667A (zh) * | 2021-03-15 | 2023-10-27 | 三菱电机株式会社 | 情绪推测装置以及情绪推测方法 |
JP2023174323A (ja) * | 2022-05-27 | 2023-12-07 | オムロン株式会社 | 環境制御システム、環境制御方法及び環境制御プログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004348432A (ja) * | 2003-05-22 | 2004-12-09 | Home Well:Kk | 健康管理支援システム |
JP2007236488A (ja) * | 2006-03-06 | 2007-09-20 | Toyota Motor Corp | 覚醒度推定装置及びシステム並びに方法 |
JP2008532587A (ja) * | 2005-02-22 | 2008-08-21 | ヘルス−スマート リミテッド | 生理学的及び心理学的/生理学的モニタリングのための方法及びシステム並びにその使用 |
JP2016165373A (ja) * | 2015-03-10 | 2016-09-15 | 日本電信電話株式会社 | センサデータを用いた推定装置、センサデータを用いた推定方法、センサデータを用いた推定プログラム |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3993069B2 (ja) * | 2002-10-30 | 2007-10-17 | 三菱電機株式会社 | 脳波信号を利用した制御装置 |
JP2007167105A (ja) * | 2005-12-19 | 2007-07-05 | Olympus Corp | 心身相関データ評価装置及び心身相関データ評価方法 |
JP2008099884A (ja) * | 2006-10-19 | 2008-05-01 | Toyota Motor Corp | 状態推定装置 |
CN102485165A (zh) * | 2010-12-02 | 2012-06-06 | 财团法人资讯工业策进会 | 可显示情绪的生理信号侦测系统、装置及显示情绪方法 |
WO2012117335A2 (en) * | 2011-03-01 | 2012-09-07 | Koninklijke Philips Electronics N.V. | System and method for operating and/or controlling a functional unit and/or an application based on head movement |
JP5194157B2 (ja) | 2011-09-27 | 2013-05-08 | 三菱電機株式会社 | プリント基板の保持構造 |
CN103111006A (zh) * | 2013-01-31 | 2013-05-22 | 江苏中京智能科技有限公司 | 智能心情调整仪 |
US10405786B2 (en) * | 2013-10-09 | 2019-09-10 | Nedim T. SAHIN | Systems, environment and methods for evaluation and management of autism spectrum disorder using a wearable data collection device |
CN105682542B (zh) * | 2013-10-22 | 2019-06-25 | 皇家飞利浦有限公司 | 用于监测对象的生命体征的传感器装置和方法 |
CN105615902A (zh) * | 2014-11-06 | 2016-06-01 | 北京三星通信技术研究有限公司 | 情绪监控方法和装置 |
CN104434066A (zh) * | 2014-12-05 | 2015-03-25 | 上海电机学院 | 一种驾驶员生理信号监控系统及方法 |
WO2016093347A1 (ja) * | 2014-12-12 | 2016-06-16 | 株式会社デルタツーリング | 生体状態分析装置及びコンピュータプログラム |
CN105721936B (zh) * | 2016-01-20 | 2018-01-16 | 中山大学 | 一种基于情景感知的智能电视节目推荐系统 |
CN106200905B (zh) * | 2016-06-27 | 2019-03-29 | 联想(北京)有限公司 | 信息处理方法及电子设备 |
-
2016
- 2016-12-14 CN CN201680091415.1A patent/CN110049724B/zh active Active
- 2016-12-14 WO PCT/JP2016/087204 patent/WO2018109863A1/ja active Application Filing
- 2016-12-14 JP JP2018556087A patent/JP6509459B2/ja not_active Expired - Fee Related
- 2016-12-14 US US16/344,091 patent/US20200060597A1/en not_active Abandoned
- 2016-12-14 DE DE112016007435.2T patent/DE112016007435T5/de active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004348432A (ja) * | 2003-05-22 | 2004-12-09 | Home Well:Kk | 健康管理支援システム |
JP2008532587A (ja) * | 2005-02-22 | 2008-08-21 | ヘルス−スマート リミテッド | 生理学的及び心理学的/生理学的モニタリングのための方法及びシステム並びにその使用 |
JP2007236488A (ja) * | 2006-03-06 | 2007-09-20 | Toyota Motor Corp | 覚醒度推定装置及びシステム並びに方法 |
JP2016165373A (ja) * | 2015-03-10 | 2016-09-15 | 日本電信電話株式会社 | センサデータを用いた推定装置、センサデータを用いた推定方法、センサデータを用いた推定プログラム |
Also Published As
Publication number | Publication date |
---|---|
US20200060597A1 (en) | 2020-02-27 |
WO2018109863A1 (ja) | 2018-06-21 |
CN110049724A (zh) | 2019-07-23 |
DE112016007435T5 (de) | 2019-07-25 |
CN110049724B (zh) | 2021-07-13 |
JPWO2018109863A1 (ja) | 2019-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6509459B2 (ja) | 状態推定装置 | |
US8125314B2 (en) | Distinguishing between user physical exertion biometric feedback and user emotional interest in a media stream | |
TWI621470B (zh) | 快速識別方法及家庭智能機器人 | |
JP4073711B2 (ja) | 操作補助方法、操作補助装置、プログラムおよびプログラムを記録した媒体 | |
JP2002182680A (ja) | 操作指示装置 | |
US10195748B2 (en) | Humanoid robot | |
JP2017059043A (ja) | 車両用覚醒制御システム | |
TWI654600B (zh) | 語音情緒辨識系統與方法以及使用其之智慧型機器人 | |
EP3432598B1 (en) | Noise detection device and audio signal output device | |
EP2457365A1 (en) | Event disambiguation | |
US4867171A (en) | Blood pressure measurement apparatus | |
CN111402880A (zh) | 一种数据处理方法、装置及电子设备 | |
JPWO2019102525A1 (ja) | 異常検知装置及び異常検知方法 | |
WO2021234972A1 (ja) | 手洗い認識システムおよび手洗い認識方法 | |
CN111787861B (zh) | 不愉快状态判定装置 | |
CN106027762A (zh) | 一种手机寻回方法及装置 | |
CN112102837B (zh) | 家电设备及家电设备的拾音检测方法、装置 | |
JP2015039904A (ja) | 操作者識別装置 | |
JP2018049484A (ja) | 気質推定システム、気質推定方法及び気質推定処理プログラム | |
CN109949831B (zh) | 智能设备中语音识别的方法、装置及计算机可读存储介质 | |
JP2007520128A (ja) | 技術設備のプロセス信号記憶方法 | |
JP7325687B2 (ja) | 眠気推定装置及び眠気推定システム | |
JP2020129763A5 (ja) | ||
JP2020086808A (ja) | 情報処理装置、広告出力方法、及びプログラム | |
JP6962551B2 (ja) | 瞳孔反応を用いた情報処理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190121 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190121 |
|
TRDD | Decision of grant or rejection written | ||
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190221 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190305 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190402 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6509459 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |