JP6321571B2

JP6321571B2 - センサデータを用いた推定装置、センサデータを用いた推定方法、センサデータを用いた推定プログラム

Info

Publication number: JP6321571B2
Application number: JP2015046573A
Authority: JP
Inventors: 法子横山; 浩之戸田; 義昌小池; 茂木　学; 学茂木; 佐久間　聡; 聡佐久間; 武藤　伸洋; 伸洋武藤
Original assignee: Nippon Telegraph and Telephone Corp; NTT Inc USA
Current assignee: NTT Inc; NTT Inc USA
Priority date: 2015-03-10
Filing date: 2015-03-10
Publication date: 2018-05-09
Anticipated expiration: 2035-03-10
Also published as: JP2016165373A

Description

本発明は、センサデータを用いてユーザの内面状態（例えば感情、気分の安定性、疲労や明暗の具合など）を推定する技術に関する。

現在、ウェアラブルセンサで生体情報（心拍数、血圧、体温など）を取得し、取得されたセンサデータを用いて人の内面状態の把握を目指す研究が盛んに行われている。この研究によれば、ユーザの感情などに応じたレコメンデーション等が可能となり、より快適な生活を送る手助けになることが期待できる。

例えば前記センサデータとＧＰＳの位置情報とを組み合わせることにより、施設に対する大規模な感情のデータを取得でき、ユーザの状態に応じた施設推薦サービスが可能となる。この点について前記センサデータに心拍データを用いて、感情を推定した研究として非特許文献１，２が公知となっている。

非特許文献１は、感情を想起した際の心拍データから算出したＬＦ（ＬｏｗＦｒｅｑｕｅｎｃｙ），ＨＦ（ＨｉＦｒｅｑｕｅｎｃｙ）などの特徴量と、感情との関係を調査している。その結果、称賛時に比べて怒りを想起した時にＬＦ／ＨＦが大きくなることを確認している。

非特許文献２は、ビデオ視聴中の心拍データから算出したＬＦ，ＨＦを特徴量として、悲しみ・幸福・恐怖・嫌悪・普通の５つの感情を分類する手法を提案している。

R. McCraty, M. Atkinson, W. Tiller, G. Rein, and A. Watkins, "The Effects of Emotions on Short-Term Power Spectrum Analysis of Heart Rate Variability," Am. J. Cardiology, vol. 76, no. 14, pp. 1089-1093, 1995. M. Murugappan, S. Murugappan, B.S. Zheng, "Frequency Band Analysis of Electrocardiogram (ECG) Signals for Human Emotional State Classification Using Discrete Wavelet Transform (DWT)," J.Phys. Ther. Sci., vol. 25, no. 7, pp. 753-59, 2013. 本多薫, 若井正一, "ウェーブレット変換による心拍変動解析に関する検討_R-R間隔の急激な変化時のパワースペクトルについて," 山形大学大学院社会文化システム研究科紀要, No. 3, pp. 35-43, 2006. Jing Cai, Guangyuan Liu, Min Hao, "The research on emotion recognition from ECG signal", Information Technology and Computer Science, vol. 1, pp. 497-500, 2009

確かに特許文献１，２の知見を利用すれば、ユーザの生体情報に基づき感情を推定することは可能である。

しかしながら、従来の心拍データを用いた感情推定の研究は、非特許文献１，２を含め、ビデオ視聴や実験室環境下などの静止時の感情推定にすぎず、身体動作を伴う状態の感情推定ではない。

そうすると非特許文献３に示すように、身体動作などによってもＬＦ／ＨＦが変化することから、前記従来の研究は身体動作を伴う場面では感情の推定精度が悪化するおそれがある。

本発明は、このような従来の問題を解決するためになされ、身体動作を伴う環境下でセンサデータを用いて感情などの内面状態の推定精度の向上を図ることを解決課題としている。

本発明の一態様は、生体情報に関するセンサデータを用いて、ユーザの内面状態を推定する装置であって、ユーザの安静時と動作時とで異なる生体情報を示す第１センサデータと、ユーザの動作の程度を示す第２センサデータとを取得するセンサデータ取得部と、予め定めたよりも動作程度の大きい前記第２センサデータの時間区分に対応する前記第１センサデータの時間区分を、安静時における前記第１センサデータに類似させるセンサデータ処理部と、前記センサデータ処理部に処理された前記第１センサデータに基づきユーザの内面状態を推定する判定部と、を備える。

本発明の他の様態は、コンピュータが生体情報に関するセンサデータを用いてユーザの内面状態を推定する方法であって、ユーザの安静時と動作時とで異なる生体情報を示す第１センサデータと、ユーザの動作の程度を示す第２センサデータとを取得するセンサデータ取得ステップと、予め定めたよりも動作程度の大きい前記第２センサデータの時間区分に対応する前記第１センサデータの時間区分を、安静時における前記第１センサデータに類似させるセンサデータ処理ステップと、前記センサデータ処理ステップ後の前記第１センサデータに基づきユーザの内面状態を推定する判定ステップと、を有する。

なお、本発明は、前記装置としてコンピュータを機能させるプログラムの態様としてもよい。このプログラムは、ネットワークや記録媒体などを通じて提供することができる。

本発明によれば、身体動作を伴う環境下でセンサデータを用いて、感情などの内面状態の推定精度の向上を図ることができる。

本発明の第１実施形態に係るセンサデータを用いた推定装置の構成図。同履歴蓄積データベースの格納データ例。同事前学習部の処理を示すフローチャート。同推定部の処理を示すフローチャート。同可視化部の提示例。本発明の第２実施形態に係るセンサデータを用いた推定装置の構成図。同履歴蓄積データベースの格納データ例。同事前学習部の処理を示すフローチャート。本発明の第３実施形態に係るセンサデータを用いた推定装置の構成図。同事前学習部の処理を示すフローチャート。同推定部の処理を示すフローチャート。本発明の第３実施形態に係るセンサデータを用いた推定装置の構成図。同推定部の処理を示すフローチャート。同可視化部の提示例。

以下、本発明の実施形態に係るセンサデータを用いた推定装置を説明する。ここでは一例として「楽しい／退屈」の感情を推定する手法を説明するが、他の内面状態（例えば「悲しい」などの感情や「不安感」など）の推定にも同じ手法を適用することができる。

また、ユーザの感情を推定するためのセンサデータの一例として、心拍データを用いた手法を説明するが、皮膚コンダクタンスや脈拍など他のセンサデータを用いてもよい。

前記心拍データを用いた手法では、１拍数の時間から算出した瞬時心拍数を単に心拍数と呼ぶものとする。ただし、いくつかの瞬時心拍数を平均した値を心拍数として用いてもよい。

なお、心拍計と加速度計とは、ユーザの胸部に装着されることが好ましいが、これに限定されることなく、その他の部位への装着や同一機能の複数センサを装着してもよい。

≪第１実施形態≫
（１）装置構成
図１に基づき第１実施形態に係る前記推定装置の構成を説明する。この前記推定装置１は、心拍計と加速度計とが取得したセンサデータを用いてユーザの感情を推定する。

具体的には、前記推定装置１は、コンピュータにより構成され、通常のコンピュータのハードウェアリソース（例えばＣＰＵ,ＲＡＭやＲＯＭなどの主記憶手段，ハードディスドライブ装置などの補助記憶装置）を備える。

このハードウェアリソースとソフトウェアリソースとの協同の結果、前記推定装置１は、事前学習により推定器を生成する事前学習部（事前処理部）３０１と、前記推定器を用いてユーザの感情（楽しい／退屈）を推定する推定部３０２とを実装する。なお、事前学習部３０１と推定部３０２は、同じコンピュータに実装してもよく、複数のコンピュータに分散して実装してもよいものとする。

事前学習部（事前学習部）３０１は、感情取得部３１０，センサデータ取得部３３０，履歴蓄積データベース３５０，推定器生成部３６０を備える。この感情取得部３１０は、ユーザから感情のアノテーションデータ（楽しい／退屈）を取得する。この取得方法は、図示省略のキーボードなどの入力手段による入力を受け付けてもよく、あるいはネットワーク経由で図示省略のユーザ端末からの入力を受け付けてもよい。ここで取得したアノテーションデータをユーザの状態を示す感情のラベルとする。

センサデータ取得部３３０は、ユーザの胸部に装着された心拍計から心拍数に関する心拍データを取得する。取得された心拍データは、図２に示すように、履歴蓄積データベース３５０に感情のラベル付きで記録されて保存される。ここでは感情取得部３１０の取得したアノテーションデータを感情のラベルとし、また履歴蓄積データベース３５０は前記記憶装置に構築されているものとする。

推定器生成部３６０は、履歴蓄積データベース３５０の記録データを機械学習し、心拍データから感情を推定する推定器を生成する。ここで生成された推定器は前記記憶装置に記憶され、推定部３０２の推定処理時に利用される。

推定部３０２は、センサデータ取得部３８０，フィルタリング部３９０，感情判定部３９５，感情可視化部３９６を備える。このセンサデータ取得部３８０は、ユーザの胸部に装着された加速度計と心拍計とから計測データ、即ち加速度データおよび心拍データを取得する。なお、センサデータ取得部３８０は、センサデータ取得部３３０と兼用してもよく、あるいは別に構成してもよいものとする。

フィルタリング部３９０は、センサデータ取得部３８０の取得したユーザの加速度データを基に心拍データをフィルタリングする。具体的にはユーザの加速度データもとに身体動作の大きさを判断し、身体動作が大きい部分の心拍データを変換する。このとき身体動作が大きい部分の心拍データと前後のデータが類似する心拍動作の程度が小さい部分の心拍データで置換する。この置換により変換された心拍データは、感情判定部３９５に出力される。

感情判定部３９５は、前記記憶装置から取得した推定器を利用してフィルタリング部３９０の出力した心拍データからユーザの感情を判定し、判定結果を感情可視化部３９６に出力する。この感情可視化部３９６は、感情判定部３９５が判定した感情をユーザに提示する。

（２）事前学習部３０１の処理内容
図３に基づき事前学習部３０１の処理内容を説明する。ここではユーザの胸部に心拍計を装着し、事前に心拍数と感情との関係を機械学習する。

Ｓ４１０：処理が開始されると、センサデータ取得部３３０は、感情のラベルに応じた心拍データを取得し、取得された心拍データを履歴蓄積データベース３５０に前記ラベル付きで記録する。取得する心拍データのデータ長は、感情のアノテーションの取得後１分間，５分間など予め設定した時間幅としてよく、あるいは感情開始・感情終了のアノテーションを取得し、データ毎にバラバラとしてもよい。

Ｓ４２０：推定器生成部３６０は、履歴蓄積データベース３５０のデータを機械学習し、「入力が心拍数」かつ「出力が感情（楽しい／退屈）」の推定器を生成し、処理を終了する。この推定器については、例えば非特許文献４のような特徴量・分類手法を用いて生成することなどが考えられる。

（３）推定部３０２の処理内容
図４に基づき推定部３０２の処理内容を説明する。ここでは推定器生成部３６０により既に推定器が生成され、前記記憶手段に記憶されているものとする。

Ｓ５１０：センサデータ取得部３８０は、加速度計と心拍計とを用いて、ユーザの加速度・心拍数を計測し続ける。

Ｓ５２０：センサデータ取得部３８０は、Ｓ５１０の計測中の加速度計と心拍計とから加速度データ・心拍データを取得する。ここでは一定時間（例えば５分）ごとに一定時間間隔（例えば５分）の前記両データを取得する。

Ｓ５３０：フィルタリング部３９０は、Ｓ５２０で取得した加速度データをもとにユーザの身体動作の大きさを判断し、身体動作が大きい部分の心拍データを身体動作が小さい時の心拍データに置換することで心拍データを変換する。ここで置換される心拍データは、連結される前後データが類似するものとする。

例えば加速度のノルム（ｎｏｒｍ）が事前設定の閾値以上の場合を身体動作が大きいと判断するものとする。この場合に加速度データから閾値以上の部分を特定し、該特定された加速度データの時間区分に対応する時間区分の心拍データｘを抽出する。

ここでは前記時間区分は１０秒間とし、心拍データｘの直前・直後に位置する一定間隔（例えば５秒）の心拍データを「ｂ＝［１００，１０１，１０２，．．．］」・「ａ＝［１００，１０１，１０１，．．．］」とする。

つぎに加速度データに基づき身体動作が小さい部分、即ち加速度のノルムが前記閾値未満の部分に対応する心拍データ群を収集する。この収集データ群から前記時間区分（１０秒間）の心拍データｘ_i群を抽出し、抽出された各心拍データｘ_iの直前・直後に位置する前記一定間隔（５秒）の心拍データを「ｂ_xi」，「ａ_xi」とする。この場合に式（１）を満たす心拍データｘ_iによって心拍データｘを置換する。

ここで身体動作が大きい部分に応じた心拍データの長さ（時間区分）は、身体動作が大きい部分の時間区分（１０秒間）よりも長く設定してもよい。すなわち、身体動作が大きい部分に応じた心拍データは、反応の速さや余韻などの影響により、加速度データと開始時間・終了時間や時間幅がずれることも考えられるが、置換する心拍データ長を長く設定することにより、こういった場合も十分に対応することができる。なお、前記フィルタリング後の心拍データは、感情判定部３９５に出力される。

Ｓ５４０，Ｓ５５０：感情判定部３９５は、Ｓ４２０で生成した推定器を前記記憶部から取り出す。この推定器を用いてＳ５３０のフィルタリング後の心拍データからユーザの感情を判定し（Ｓ５４０）、判定結果を感情可視化部３９６に出力する。

感情可視化部３９６は、感情判定部３９５の判定結果をユーザに提示し（Ｓ５５０）、処理を終了する。例えば図５に示すように、Ｓ５２０で取得した時間毎にユーザの感情（楽しい／退屈）を提示することができる。具体的な提示手法としては前記推定装置１のモニタに表示してもよく、あるいはネットワーク経由でユーザ端末に送信して提示してもよい。

このような前記推定装置１によれば、加速度計と心拍計とを併用し、加速度が大きい部分に応じた心拍データを静止時のデータと置換し、該置換後の心拍データから感情が推定される。

これにより身体動作を伴う環境においても楽しさなどの感情を精度よく推定することが可能となる。したがって、従来技術の問題、即ち音楽鑑賞中などの限られた状況下しか感情推定ができず、実生活の様々な状況下でユーザの感情が推定できかなった問題が解決される。

≪第２実施形態≫
図６〜図８に基づき第２実施形態に係る前記推定装置を説明する。この推定装置２は、図６に示すように、事前学習部（事前処理部）６０１と推定部６０２を備える。この事前学習部６０１は、センサデータ取得部６３０と履歴蓄積データベース６５０と関係学習部６７０とにおいて、第１実施形態に係る事前学習部３０１と相違する。

一方、推定部６０２は、フィルタリング部６９０において第１実施形態に係る推定部３０２と相違する。以下、前記各部６０１，６０２の前記各部３０１，３０２と相違する処理内容を説明する。

（１）事前学習部６０１
事前学習部６０１のセンサデータ取得部６３０は、センサデータ取得部３３０と異なり、心拍データと加速度データとを取得する。ここで取得された心拍データと加速度データとは、図７に示すように、感情のラベル付きで履歴蓄積データベース６５０に記録されて保存される。この履歴蓄積データベース６５０のデータに基づき関係学習部６７０は、加速度の変化量と心拍数との関係を学習する。

図８に基づき事前学習部６０１の処理を説明する。ここでＳ８１０，Ｓ８２０はＳ４１０，Ｓ４２０と同様な処理を実行する。一方、Ｓ８３０では、前述のように関係学習部６７０が、履歴蓄積データベース６５０のデータに基づき加速度の変化量と心拍数との関係を学習する。

例えば加速度が一定値以上増加した時を考える。このとき加速度と心拍数の変化前後のデータを、「ａｃｃ_before（変化前の加速度データ）」，「ｈｒ_before（変化前の心拍データ）」，「ａｃｃ_after（変化後の加速度データ）」，「ｈｒ_after（変化後の心拍データ）」とすれば、加速度の変化量に対する心拍数の変化量ｆは、式（２）で求められる。

また、加速度の変化開始時刻から心拍数の変化開始時刻までの時間を「ｔ１」とし、加速度の変化終了時刻から心拍数の変化終了時刻までの時間を「ｔ２」とする。この「ｔ１」と「ｔ２」とを、変化量「ｆ」と併せて前記記憶装置に記憶しておく。

このとき加速度が一定以上増加した時が複数回ある場合には、「ｆ」と「ｔ１」と「ｔ２」との平均値を算出し、算出された平均値を「ｆ」，「ｔ１」，「ｔ２」とする。あるいは平均値を算出することなく、全データを動作時の加速度「ａｃｃ_after」とともに前記記憶手段に記憶してもよい。

（２）推定部６０２
推定部６０２のフィルタリング部６９０は、フィルタリング部３９０と同様に加速度データをもとに心拍データをフィルタリングする（図４中のＳ５３０）。ただし、フィルタリング部６９０は、フィルタリング部３９０とフィルタリングの処理内容が相違している。

すなわち、フィルタリング部６９０は、センサデータ取得部６３０の取得するユーザの加速度情報をもとに身体動作の大きさを判別し、身体動作が大きい時の心拍データを関係学習部６７０の学習結果を用いて変換する。

詳細を説明すれば、フィルタリング部６９０は、ユーザの加速度データをもとに身体動作の大きさを判別し、身体動作が大きい部分に応じた心拍データを予めＳ８３０で学習した学習結果を用いて変換する。

例えば大きい身体動作が発生し、その時の加速度が直前の「ｇ倍」になった時、身体動作発生中に応じた心拍データｘを、式（３）を用いて変換する。

このとき身体動作が大きい部分に応じた心拍データは、反応の速さや余韻などの影響から加速度データと開始時刻、終了時刻や時間幅がずれることが想定される。そこで、身体動作に応じた心拍データの開始時刻と終了時刻は、身体動作開始時時刻・身体動作終了時刻からそれぞれ「ｔ１」・「ｔ２」を加算した時刻とし、前記想定に対応させることとする。

このような前記推定装置２によれば、加速度計と心拍計とを併用し、加速度が大きい部分に応じた心拍データを加速度に基づき変換し、該変換された心拍データからユーザの感情が推定される。これにより第１実施形態と同じく身体動作を伴う環境においても楽しさなどの感情を精度よく推定することが可能となる。

≪第３実施形態≫
図９〜図１１に基づき第３実施形態に係る前記推定装置を説明する。この推定装置３は、図９に示すように、事前学習部（事前処理部）１００１と推定部１００２とを備える。この事前学習部１００１は、推定器作成部３６０と関係学習部６７０を備えていない点で第２実施形態の事前学習部６０１と相違する。

推定部１００２は、フィルタリング部６９０に代わって類似データ判定部１０６０を備える点で第２実施形態の推定部６０２と相違する。また、推定部１００２の感情判定部１０７０は、類似データ判定部１０６０の取得データに基づき心拍数と感情との関係を学習する点で感情判定部３９５と相違する。以下、前記各部１００１，１００２の前記各部６０１，６０２と相違する処理内容を説明する。

（１）事前学習部１００１
図１０に基づき事前学習部１００１の処理内容を説明する。このＳ１２１０，Ｓ１２２０は、図８のＳ８１０と同じ処理を実行する。すなわち、センサデータ取得部６３０は心拍データと加速度データとを取得し、取得された心拍データと加速度データとは感情のラベル付きで履歴蓄積データベース６５０に記録されて保存される。

ただし、事前学習部１００１は、推定部生成部３６０を備えていないため、Ｓ８２０の推定器生成は実行されない。また、関係学習部６７０を備えていないため、Ｓ８３０の学習も実行されない。

（２）推定部１００２
図１１に基づき推定部１００２の処理内容を説明する。この図１１中のＳ１３１０は図４中のＳ５１０と同じ処理であり、Ｓ１３５０はＳ５２０と同じ処理Ｓ１３５０はＳ５４０と同じ処理であり、Ｓ１３６０はＳ５５０と同じ処理である。ここでは主にＳ１３３０，Ｓ１３４０の処理内容を説明する。

Ｓ１３３０：類似データ判定部１０６０は、履歴蓄積データベース６５０のデータから加速度がセンサデータ取得部３８０の取得データと類似するデータ群を抽出する。

例えば履歴蓄積データベース６５０から加速度データ「Ｆ_i＝［１．０１，１．０２，．．．］」が、Ｓ１３２０で取得した加速度データ「Ｇ＝［１．０１，１．０２，．．．］」と類似するデータ群を取得する。この類似するか否かの判定には、例えば式（４）を用いることができ、式（４）を満たしていれば類似と判定する。

Ｓ１３４０：感情判定部１０７０は、Ｓ１３３０の取得データを用いて、心拍数と感情との関係を学習し、心拍データから感情を推定する推定器を作成する。

ここではＳ４２０と同様に「入力が心拍数」かつ「出力が感情（楽しい／退屈）」の推定器を作成する。このとき例えば非特許文献４の特徴量や分類手法を用いて推定器を作成してもよい。なお、感情判定部１０７０は、Ｓ１３５０に示すように、Ｓ１３４０で作成した推定器を用いて、センサデータ取得部３８０の取得した心拍データをもとにユーザの感情を判定する。

このような前記推定装置３によれば、加速度計と心拍計とを併用し、加速度に合わせた推定器を用いて、心拍データからユーザの感情が推定される。これにより第１実施形態と同じく身体動作を伴う環境においても楽しさなどの感情を精度よく推定することが可能となる。

≪第４実施形態≫
図１２〜図１４に基づき第４実施形態に係る前記推定器を説明する。この推定器４は、前記推定装置１〜３のように一定時刻間隔ごとに感情推定するものではなく、他のセンサ情報（例えばＧＰＳによる位置情報）からユーザの行動の切り替わりを判断し、計測を実行する。

この推定部４は、図１２に示すように、事前学習により推定器を生成する事前学習部（事前処理部）３０１と、前記推定器を用いてユーザの施設滞在中の感情を推定する推定部１４０２とを備える。この事前学習部３０１は、第１実施形態と同じなため、説明を省略する。

推定部１４０２は、場所取得部１４７０を備える点で第１実施形態の推定部３０２と相違する。この場所取得部１４７０は、ユーザの現在の場所、即ちユーザの位置情報（緯度情報・経度情報）を取得する。なお、場所取得部１４７０としては、例えばＧＰＳ受信器などが該当する。

図１３に基づき推定部１４００２の処理内容を説明する。ここではＳ１７３０は図４のＳ５３０と同じ処理であり、Ｓ１７４０は同Ｓ５４０に相当し、Ｓ１７５０はＳ５５０と同じ処理である。

Ｓ１７１０：図４のＳ５１０と同様にセンサデータ取得部３８０は、加速度計と心拍計とを用いて、ユーザの加速度・心拍数を計測し続ける。ここでは更に場所取得部１４７０は、ＧＰＳ衛星からユーザの位置情報を取得し続ける。

Ｓ１７２０：センサデータ取得部３８０は、Ｓ１７１０の計測中のデータのうち、事前に定めた施設滞在中のユーザの心拍データと加速度データとを取得する。この施設滞在中か否かは、Ｓ１７１０の位置情報に基づき判断すればよい。

ここで取得した心拍データおよび加速度データに基づきＳ１７３０のフィルタリングが実行される。これによりＳ１７４０の判定では、前記施設滞在中の感情が判定され、Ｓ１７５０でユーザに提示される。ここでは図１３に示すように、滞在中の施設を示す訪問施設名ごとに感情が提示される。

このような前記推定装置４によれば、ＧＰＳの位置情報と実施形態１の感情推定処理を組み合わせることで施設等に対する大規模な感情データを収集でき、マーケティングや状態に応じた推薦サービスなど様々に応用することできる。

≪プログラムなど≫
（１）本発明は、上記実施形態に限定されるものではなく、各請求項に記載した範囲内で変形して実施することができる。例えば場所取得部１４７０を前記推定装置２，３の推定部６０２，１００２に設けることもできる。この場合にも、前記推定装置４と同様に施設等に対する大規模な感情データを収集することができる。

（２）本発明は、前記推定装置１〜４の各部３１０，３３０，３５０，３６０，３８０，３９０，３９５，３９６，６３０，６５０，６９０，１０６０，１０７０，１４７０の一部もしくは全部として、コンピュータを機能させるセンサデータを用いた推定プログラムとして構成することもできる。

このプログラムによれば、Ｓ４１０，Ｓ４２０，Ｓ５１０〜Ｓ５５０，Ｓ８１０〜Ｓ８３０，Ｓ１２１０，Ｓ１２２０，Ｓ１３１０〜Ｓ１３６０，Ｓ１７１０〜Ｓ１７５０の一部あるいは全部をコンピュータに実行させることが可能となる。

また、前記プログラムは、Ｗｅｂサイトや電子メールなどネットワークを通じて提供することができる。さらに前記プログラムは、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，ＣＤ−Ｒ，ＣＤ−ＲＷ，ＤＶＤ−Ｒ，ＤＶＤ−ＲＷ，ＭＯ，ＨＤＤ，ＢＤ−ＲＯＭ，ＢＤ−Ｒ，ＢＤ−ＲＥなどの記録媒体に記録して、保存・配布することも可能である。この記録媒体は、記録媒体駆動装置を利用して読み出され、そのプログラムコード自体が前記実施形態の処理を実現するので、該記録媒体も本発明を構成する。

１〜４…センサデータを用いた推定装置
３０１，６０１，１００１…事前学習部（事前処理部）
３０２，６０２，１００２，１４０２…推定部
３１０…感情取得部
３３０，３８０，６３０…センサデータ取得部
３５０，６５０…履歴蓄積データベース
３６０…推定器生成部
３９０，６９０…フィルタリング部（センサデータ処理部）
３９５，１０７０…感情判定部（判定部）
３９６…感情可視化部
１０６０…類似データ判定部（センサデータ処理部）

Claims

生体情報に関するセンサデータを用いて、ユーザの内面状態を推定する装置であって、
ユーザの安静時と動作時とで異なる生体情報を示す第１センサデータと、ユーザの動作の程度を示す第２センサデータとを取得するセンサデータ取得部と、
予め定めたよりも動作程度の大きい前記第２センサデータの時間区分に対応する前記第１センサデータの時間区分を、安静時における前記第１センサデータに類似させるセンサデータ処理部と、
前記センサデータ処理部に処理された前記第１センサデータに基づきユーザの内面状態を推定する判定部と、を備え、
事前に前記第２センサデータの示す動作の変化量と、前記第１センサデータとの関係を学習する関係学習部をさらに備え、
前記関係学習部は、前記第２センサデータの変化開始時刻から前記第１センサデータの変化開始時刻までの第１の時間と、前記第２センサデータの変化終了時刻から前記第１センサデータの変化終了時刻までの第２の時間とを記憶装置に記憶させ、
前記センサデータ処理部は、予め定めたよりも動作の大きな前記第２センサデータの時間区分に応じた前記第１センサデータの時間区分を、前記関係学習部の学習結果を用いて変換し、
前記第１センサデータの開始時刻をユーザの身体動作開始時刻に前記第１の時間を加算した時刻とし、前記第１センサデータの終了時刻をユーザの身体動作終了時刻に前記第２の時間を加算した時刻とする
ことを特徴とするセンサデータを用いた推定装置。
前記第１センサデータが心拍データである一方、
前記第２センサデータが加速度データである
ことを特徴とする請求項１記載のセンサデータを用いた推定装置。
コンピュータが、生体情報に関するセンサデータを用いて、ユーザの内面状態を推定する方法であって、
ユーザの安静時と動作時とで異なる生体情報を示す第１センサデータと、ユーザの動作の程度を示す第２センサデータとを取得するセンサデータ取得ステップと、
予め定めたよりも動作程度の大きい前記第２センサデータの時間区分に対応する前記第１センサデータの時間区分を、安静時における前記第１センサデータに類似させるセンサデータ処理ステップと、
前記センサデータ処理ステップ後の前記第１センサデータに基づきユーザの内面状態を推定する判定ステップと、
事前に前記第２センサデータの示す動作の変化量と、前記第１センサデータとの関係を学習する関係学習ステップと、を有し、
前記関係学習ステップは、前記第２センサデータの変化開始時刻から前記第１センサデータの変化開始時刻までの第１の時間と、前記第２センサデータの変化終了時刻から前記第１センサデータの変化終了時刻までの第２の時間とを記憶装置に記憶させ、
前記センサデータ処理ステップは、予め定めたよりも動作の大きな前記第２センサデータの時間区分に応じた前記第１センサデータの時間区分を、前記関係学習部の学習結果を用いて変換し、
前記第１センサデータの開始時刻をユーザの身体動作開始時刻に前記第１の時間を加算した時刻とし、前記第１センサデータの終了時刻をユーザの身体動作終了時刻に前記第２の時間を加算した時刻とする
ことを特徴とするセンサデータを用いた推定方法。
請求項１または２に記載された各部としてコンピュータを機能させることを特徴とするセンサデータを用いた推定プログラム。