JPWO2018109863A1 - 状態推定装置 - Google Patents

Abstract

挙動情報と、予め格納された行動パターンとを照合し、一致する行動パターンを検出する行動検出部（１０４）と、挙動情報およびユーザの生体情報と、予め格納された反応パターンとを照合し、一致する反応パターンを検出する反応検出部（１０６）と、一致する行動パターンが検出された場合、または一致する反応パターンが検出され、且つ検出された反応パターンが予め格納されたユーザの不快状態を示す不快反応パターンと一致した場合に、ユーザが不快状態であると判定する不快判定部（１０８）と、検出された行動パターンに基づいて不快区間を推定するための推定条件を取得し、予め格納された履歴情報のうち取得した推定条件と一致する区間を不快区間と推定する不快区間推定部（１１０）と、履歴情報を参照し、推定された不快区間および不快区間以外の区間における反応パターンの発生頻度に基づいて不快反応パターンを取得して格納する学習部（１０９）とを備える。

Description

この発明は、ユーザの感情の状態を推定する技術に関するものである。

従来より、ウェアラブルセンサ等から取得される生体情報から、ユーザの感情の状態を推定する技術が存在する。推定されたユーザの感情は、例えばユーザの状態に応じて推奨されるサービスを提供するための情報として参照される。
例えば、特許文献１には、予め取得したユーザの生体情報と、当該生体情報に対応したユーザの感情情報と身体的状態とを格納した履歴蓄積データベースに基づいて生体情報と感情情報との関係を学習して身体的状態ごとに生体情報から感情情報を推定する推定器を機械学習によって生成し、ユーザの身体状態に対応した推定器を用いて検出されたユーザの生体情報から当該ユーザの感情情報を推定する感情情報推定装置が開示されている。

特開２０１３−７３９８５号公報

上述した特許文献１の感情情報推定装置では、履歴蓄積データベースを構築するために、ユーザが生体情報に対応する自身の感情情報を入力する必要があり、ユーザにかかる入力操作の負担が大きく、利便性が低下するという課題があった。
また、機械学習により精度の高い推定器を得るためには、履歴蓄積データベースに情報が十分に蓄積されるまで推定器を適用することができないという課題があった。

この発明は、上記のような課題を解決するためになされたもので、ユーザが自身の感情の状態を入力することなく、またユーザの感情の状態を示す情報と身体的状態を示す情報とが蓄積されていない場合においても、ユーザの状態を推定することを目的とする。

この発明に係る発明の状態推定装置は、ユーザの動き情報、ユーザの音情報、およびユーザの操作情報とを含む挙動情報のうちの少なくともいずれか一つの情報と、予め格納された行動パターンとを照合し、一致する行動パターンを検出する行動検出部と、挙動情報およびユーザの生体情報と、予め格納された反応パターンとを照合し、一致する反応パターンを検出する反応検出部と、行動検出部が一致する行動パターンを検出した場合、または反応検出部が一致する反応パターンを検出し、且つ検出した反応パターンが予め格納されたユーザの不快状態を示す不快反応パターンと一致した場合に、ユーザが不快状態であると判定する不快判定部と、行動検出部が検出した行動パターンに基づいて不快区間を推定するための推定条件を取得し、予め格納された履歴情報のうち取得した推定条件と一致する区間を不快区間と推定する不快区間推定部と、履歴情報を参照し、不快区間推定部が推定した不快区間および不快区間以外の区間における反応パターンの発生頻度に基づいて不快反応パターンを取得して格納する学習部とを備えるものである。

この発明によれば、ユーザが自身の感情の状態を入力することなく、またユーザの感情の状態を示す情報と身体的状態を示す情報とが蓄積されていない場合においても、ユーザの状態を推定することができる。

実施の形態１に係る状態推定装置の構成を示すブロック図である。 実施の形態１に係る状態推定装置の行動情報データベースの格納例を示す図である。 実施の形態１に係る状態推定装置の反応情報データベースの格納例を示す図である。 実施の形態１に係る状態推定装置の不快反応パターンデータベースの格納例を示す図である。 実施の形態１に係る状態推定装置の学習用データベースの格納例を示す図である。 図６Ａ、図６Ｂは、実施の形態１に係る状態推定装置のハードウェア構成例を示す図である。 実施の形態１に係る状態推定装置の動作を示すフローチャートである。 実施の形態１に係る状態推定装置の環境情報取得部の動作を示すフローチャートである。 実施の形態１に係る状態推定装置の挙動情報取得部の動作を示すフローチャートである。 実施の形態１に係る状態推定装置の生体情報取得部の動作を示すフローチャートである。 実施の形態１に係る状態推定装置の行動検出部の動作を示すフローチャートである。 実施の形態１に係る状態推定装置の反応検出部の動作を示すフローチャートである。 実施の形態１に係る状態推定装置の不快判定部、不快反応パターン学習部および不快区間推定部の動作を示すフローチャートである。 実施の形態１に係る状態推定装置の不快反応パターン学習部の動作を示すフローチャートである。 実施の形態１に係る状態推定装置の不快区間推定部の動作を示すフローチャートである。 実施の形態１に係る状態推定装置の不快反応パターン学習部の動作を示すフローチャートである。 実施の形態１に係る状態推定装置の不快反応パターン学習部の動作を示すフローチャートである。 実施の形態１に係る状態推定装置の不快反応パターンの学習例を示す図である。 実施の形態１に係る状態推定装置の不快判定部の動作を示すフローチャートである。 実施の形態１に係る状態推定装置の不快状態の推定例を示す図である。 実施の形態２に係る状態推定装置の構成を示すブロック図である。 実施の形態２に係る状態推定装置の推定器生成部の動作を示すフローチャートである。 実施の形態２に係る状態推定装置の不快判定部の動作を示すフローチャートである。 実施の形態３に係る状態推定装置の構成を示すブロック図である。 実施の形態３に係る状態推定装置の不快反応パターンデータベースの格納例を示す図である。 実施の形態３に係る状態推定装置の不快判定部の動作を示すフローチャートである。 実施の形態３に係る状態推定装置の不快判定部の動作を示すフローチャートである。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、実施の形態１に係る状態推定装置１００の構成を示すブロック図である。
状態推定装置１００は、環境情報取得部１０１、挙動情報取得部１０２、生体情報取得部１０３、行動検出部１０４、行動情報データベース１０５、反応検出部１０６、反応情報データベース１０７、不快判定部１０８、学習部１０９、不快区間推定部１１０、不快反応パターンデータベース１１１および学習用データベース１１２を備える。

環境情報取得部１０１は、環境情報として、ユーザの周囲の温度情報および騒音の大きさを示す騒音情報を取得する。環境情報取得部１０１は、例えば温度センサが検出した情報を温度情報として取得する。環境情報取得部１０１は、例えばマイクが集音した音の大きさを示す情報を騒音情報として取得する。環境情報取得部１０１は、取得した環境情報を、不快判定部１０８および学習用データベース１１２に出力する。

挙動情報取得部１０２は、挙動情報として、ユーザの顔および体の動きを示す動き情報、ユーザの発話およびユーザが発した音を示す音情報、ユーザの機器の操作を示す操作情報を取得する。
挙動情報取得部１０２は、例えばカメラが撮像した撮像画像を解析して得られたユーザの表情、ユーザの顔の一部の動き、ユーザの頭、手、腕、足または上半身等の体の動きを示す情報を、動き情報として取得する。
挙動情報取得部１０２は、例えばマイクが集音した音声信号を解析して得られたユーザの発話内容を示す音声認識結果、およびユーザが発した音（例えば、舌打ちした際の音）を示す音認識結果を、音情報として取得する。
挙動情報取得部１０２は、タッチパネルまたは物理的スイッチが検出した、ユーザが機器を操作する情報（例えば、音量を上げるボタンを押した等を示す情報）を、操作情報として取得する。
挙動情報取得部１０２は、取得した挙動情報を、行動検出部１０４および反応検出部１０６に出力する。

生体情報取得部１０３は、生体情報として、ユーザの心拍変動を示す情報を取得する。生体情報取得部１０３は、例えばユーザが装着した心拍計等が計測したユーザの心拍変動を示す情報を、生体情報として取得する。生体情報取得部１０３は、取得した生体情報を反応検出部１０６に出力する。

行動検出部１０４は、挙動情報取得部１０２から入力された挙動情報と、行動情報データベース１０５に格納された行動情報の行動パターンとの照合を行う。行動検出部１０４は、挙動情報と一致する行動パターンが行動情報データベース１０５に格納されていた場合に、当該行動パターンに対応付けられた識別情報を取得する。行動検出部１０４は、取得した行動パターンの識別情報を不快判定部１０８および学習用データベース１１２に出力する。

行動情報データベース１０５は、ユーザの行動パターンを不快要因ごとに定義して格納したデータベースである。
図２は、実施の形態１に係る状態推定装置１００の行動情報データベース１０５の格納例を示す図である。
図２で示した行動情報データベース１０５は、ＩＤ１０５ａ、不快要因１０５ｂ、行動パターン１０５ｃおよび推定条件１０５ｄの項目で構成されている。
行動情報データベース１０５は、不快要因１０５ｂごとに、行動パターン１０５ｃが定義されている。各行動パターン１０５ｃには、不快区間を推定するための条件である推定条件１０５ｄが設定されている。また、各行動パターン１０５ｃには、識別情報であるＩＤ１０５ａが付されている。
行動パターン１０５ｃは、不快要因１０５ｂに直接的に結び付く、ユーザの行動パターンが設定されている。図２の例では、「空調（暑い）」との不快要因１０５ｂに直接的に結び付くユーザの行動パターンとして「「暑い」と発話する」および「設定温度を下げるボタンを押す」が設定されている。

反応検出部１０６は、挙動情報取得部１０２から入力された挙動情報および生体情報取得部１０３から入力された生体情報と、反応情報データベース１０７に格納された反応情報との照合を行う。反応検出部１０６は、挙動情報または生体情報と一致する反応パターンが反応情報データベース１０７に格納されていた場合に、当該反応パターンに対応付けられた識別情報を取得する。反応検出部１０６は、取得した反応パターンの識別情報を不快判定部１０８、学習部１０９および学習用データベース１１２に出力する。

反応情報データベース１０７は、ユーザの反応パターンを格納したデータベースである。
図３は、実施の形態１に係る状態推定装置１００の反応情報データベース１０７の格納例を示す図である。
図３で示した反応情報データベース１０７は、ＩＤ１０７ａおよび反応パターン１０７ｂの項目で構成されている。各反応パターン１０７ｂには、識別情報であるＩＤ１０７ａが付されている。
反応パターン１０７ｂは、不快要因（例えば、図２で示した不快要因１０５ｂ）とは直接的には結び付かない、ユーザの反応パターンが設定されている、図３の例では、ユーザが不快状態である時に示す反応パターンとして「眉間にしわを寄せる」および「咳払いをする」等が設定されている。

不快判定部１０８は、行動検出部１０４から検出した行動パターンの識別情報が入力されると、ユーザの不快状態を検出したことを示す信号を外部に出力する。また、不快判定部１０８は、入力された行動パターンの識別情報を学習部１０９に出力し、学習部１０９に対して反応パターンの学習を指示する。
また、不快判定部１０８は、反応検出部１０６から検出した反応パターンの識別情報が入力されると、入力された識別情報と、不快反応パターンデータベース１１１に格納されたユーザの不快状態を示す不快反応パターンとの照合を行う。不快判定部１０８は、入力された識別情報と一致する反応パターンが不快反応パターンデータベース１１１に格納されていた場合に、ユーザは不快状態であると推定する。不快判定部１０８は、ユーザの不快状態を検出したことを示す信号を外部に出力する。
不快反応パターンデータベース１１１の詳細は後述する。

図１に示すように、学習部１０９は、不快区間推定部１１０を備える。不快区間推定部１１０は、不快判定部１０８から反応パターンの学習が指示されると、当該指示と同時に入力された行動パターンの識別情報を用いて行動情報データベース１０５から不快区間を推定するための推定条件を取得する。不快区間推定部１１０は、例えば図２で示した行動パターンの識別情報であるＩＤ１０５ａに対応した推定条件１０５ｄを取得する。不快区間推定部１１０は、学習用データベース１１２を参照し、取得した推定条件と一致する情報から不快区間と推定する。

学習部１０９は、学習用データベース１１２を参照し、不快区間推定部１１０が推定した不快区間における１つ以上の反応パターンの識別情報を抽出する。学習部１０９は、抽出した識別情報に基づいて、さらに学習用データベース１１２を参照して過去に閾値以上の頻度で発生した反応パターンを不快反応パターン候補として抽出する。
さらに、学習部１０９は、学習用データベース１１２を参照して、不快区間推定部１１０が推定した不快区間以外の区間で閾値以上の頻度で発生する反応パターンを不快反応ではないパターン（以下、非不快反応パターンと称する）として抽出する。学習部１０９は、抽出した不快反応ではないパターンを、不快反応パターン候補から除外する。
学習部１０９は、最終的に残った不快反応パターン候補の識別情報の組み合わせを不快反応パターンとして、不快要因ごとに不快反応パターンデータベース１１１に格納する。

不快反応パターンデータベース１１１は、学習部１０９が学習した結果である不快反応パターンを格納したデータベースである。
図４は、実施の形態１に係る状態推定装置１００の不快反応パターンデータベース１１１の格納例を示す図である。
図４で示した不快反応パターンデータベース１１１は、不快要因１１１ａおよび不快反応パターン１１１ｂの項目で構成されている。不快要因１１１ａには、行動情報データベース１０５の不快要因１０５ｂの項目と同等の項目が記載される。
不快反応パターン１１１ｂは、反応情報データベース１０７の反応パターン１０７ｂに対応したＩＤ１０７ａが記載される。
図４において不快要因が「空調（暑い）」である場合に、ユーザがＩＤ：ｂ−１の「眉間にしわを寄せる」およびＩＤ：ｂ−３の「対象を見つめる」との反応を示すことを表している。

学習用データベース１１２は、環境情報取得部１０１が環境情報を取得した際の行動パターンおよび反応パターンを学習した結果を格納したデータベースである。
図５は、実施の形態１に係る状態推定装置１００の学習用データベース１１２の格納例を示す図である。
図５で示した学習用データベース１１２は、タイムスタンプ１１２ａ、環境情報１１２ｂ、行動パターンＩＤ１１２ｃおよび反応パターンＩＤ１１２ｄの項目で構成されている。
タイムスタンプ１１２ａは、環境情報１１２ｂが取得された時刻を示す情報である。

環境情報１１２ｂは、タイムスタンプ１１２ａで示された時刻における温度情報および騒音情報等である。行動パターンＩＤ１１２ｃは、タイムスタンプ１１２ａで示された時刻において、行動検出部１０４が取得した識別情報である。反応パターンＩＤ１１２ｄは、タイムスタンプ１１２ａで示された時刻において、反応検出部１０６が取得した識別情報である。
図５において、タイムスタンプ１１２ａが「2016/8/1/11:02:00」である時に、環境情報１１２ｂが「温度２８℃、騒音３５ｄＢ」であり、行動検出部１０４がユーザの不快を示す行動パターンを検出しておらず、反応検出部１０６がＩＤ；ｂ−１の「眉間にしわを寄せる」との反応パターンを検出したことを示している。

次に、状態推定装置１００のハードウェア構成例を説明する。
図６Ａ、図６Ｂは、状態推定装置１００のハードウェア構成例を示す図である。
状態推定装置１００における環境情報取得部１０１、挙動情報取得部１０２、生体情報取得部１０３、行動検出部１０４、反応検出部１０６、不快判定部１０８、学習部１０９および不快区間推定部１１０は、図６Ａに示すように専用のハードウェアである処理回路１００ａであってもよいし、図６Ｂに示すようにメモリ１００ｃに格納されているプログラムを実行するプロセッサ１００ｂであってもよい。

図６Ａに示すように、環境情報取得部１０１、挙動情報取得部１０２、生体情報取得部１０３、行動検出部１０４、反応検出部１０６、不快判定部１０８、学習部１０９および不快区間推定部１１０が専用のハードウェアである場合、処理回路１００ａは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit），ＦＰＧＡ（Field-programmable Gate Array）、またはこれらを組み合わせたものが該当する。環境情報取得部１０１、挙動情報取得部１０２、生体情報取得部１０３、行動検出部１０４、反応検出部１０６、不快判定部１０８、学習部１０９および不快区間推定部１１０の各部の機能それぞれを処理回路で実現してもよいし、各部の機能をまとめて１つの処理回路で実現してもよい。

図６Ｂに示すように、環境情報取得部１０１、挙動情報取得部１０２、生体情報取得部１０３、行動検出部１０４、反応検出部１０６、不快判定部１０８、学習部１０９および不快区間推定部１１０がプロセッサ１００ｂである場合、各部の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ１００ｃに格納される。プロセッサ１００ｂは、メモリ１００ｃに記憶されたプログラムを読み出して実行することにより、環境情報取得部１０１、挙動情報取得部１０２、生体情報取得部１０３、行動検出部１０４、反応検出部１０６、不快判定部１０８、学習部１０９および不快区間推定部１１０の各機能を実現する。即ち、環境情報取得部１０１、挙動情報取得部１０２、生体情報取得部１０３、行動検出部１０４、反応検出部１０６、不快判定部１０８、学習部１０９および不快区間推定部１１０は、プロセッサ１００ｂにより実行されるときに、後述する図７−１７，１９に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ１００ｃを備える。また、これらのプログラムは、環境情報取得部１０１、挙動情報取得部１０２、生体情報取得部１０３、行動検出部１０４、反応検出部１０６、不快判定部１０８、学習部１０９および不快区間推定部１１０の手順または方法をコンピュータに実行させるものであるともいえる。

ここで、プロセッサ１００ｂとは、例えば、ＣＰＵ（Central Processing Unit）、処理装置、演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、またはＤＳＰ（Digital Signal Processor）などのことである。
メモリ１００ｃは、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically EPROM）等の不揮発性または揮発性の半導体メモリであってもよいし、ハードディスク、フレキシブルディスク等の磁気ディスクであってもよいし、ミニディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等の光ディスクであってもよい。

なお、環境情報取得部１０１、挙動情報取得部１０２、生体情報取得部１０３、行動検出部１０４、反応検出部１０６、不快判定部１０８、学習部１０９および不快区間推定部１１０の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、状態推定装置１００における処理回路１００ａは、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。

次に、状態推定装置１００の動作について説明する。
図７は、実施の形態１に係る状態推定装置１００の動作を示すフローチャートである。
環境情報取得部１０１は、環境情報を取得する（ステップＳＴ１０１）。
図８は、実施の形態１に係る状態推定装置１００の環境情報取得部１０１の動作を示すフローチャートであり、ステップＳＴ１０１の処理を詳細に示すフローチャートである。
環境情報取得部１０１は、例えば温度センサが検出した情報を温度情報として取得する（ステップＳＴ１１０）。環境情報取得部１０１は、例えばマイクが集音した音の大きさを示す情報を騒音情報として取得する（ステップＳＴ１１１）。環境情報取得部１０１は、ステップＳＴ１１０で取得した温度情報およびステップＳＴ１１１で取得した騒音情報を、環境情報として不快判定部１０８および学習用データベース１１２に出力する（ステップＳＴ１１２）。
上述したステップＳＴ１１０からステップＳＴ１１２の処理により、例えば図５で示した学習用データベース１１２のタイムスタンプ１１２ａおよび環境情報１１２ｂの項目に情報が格納される。その後、フローチャートは図７のステップＳＴ１０２の処理に進む。

次に、図７のフローチャートにおいて、挙動情報取得部１０２は、ユーザの挙動情報を取得する（ステップＳＴ１０２）。
図９は、実施の形態１に係る状態推定装置１００の挙動情報取得部１０２の動作を示すフローチャートであり、ステップＳＴ１０２の処理を詳細に示すフローチャートである。
挙動情報取得部１０２は、例えば撮像画像を解析して得られた動き情報を取得する（ステップＳＴ１１３）。挙動情報取得部１０２は、例えば音声信号を解析して得られた音情報を取得する（ステップＳＴ１１４）。挙動情報取得部１０２は、例えば機器を操作する情報を、操作情報として取得する（ステップＳＴ１１５）。挙動情報取得部１０２は、ステップＳＴ１１３で取得した動き情報、ステップＳＴ１１４で取得した音情報、ステップＳＴ１１５で取得した操作情報を、挙動情報として行動検出部１０４および反応検出部１０６に出力する（ステップＳＴ１１６）。その後、フローチャートは図７のステップＳＴ１０３の処理に進む。

次に、図７のフローチャートにおいて、生体情報取得部１０３は、ユーザの生体情報を取得する（ステップＳＴ１０３）。
図１０は、実施の形態１に係る状態推定装置１００の生体情報取得部１０３の動作を示すフローチャートであり、ステップＳＴ１０３の処理を詳細に示すフローチャートである。
生体情報取得部１０３は、例えばユーザの心拍変動を示す情報を、生体情報として取得する（ステップＳＴ１１７）。生体情報取得部１０３は、ステップＳＴ１１７で取得した生体情報を、反応検出部１０６に出力する（ステップＳＴ１１８）。その後、フローチャートは図７のステップＳＴ１０４の処理に進む。

次に、図７のフローチャートにおいて、行動検出部１０４は、ステップＳＴ１０２において挙動情報取得部１０２から入力された挙動情報からユーザの行動情報を検出する（ステップＳＴ１０４）。
図１１は、実施の形態１に係る状態推定装置１００の行動検出部１０４の動作を示すフローチャートであり、ステップＳＴ１０４の処理を詳細に示すフローチャートである。
行動検出部１０４は、挙動情報取得部１０２から挙動情報が入力されたか否か判定を行う（ステップＳＴ１２０）。挙動情報が入力されていない場合（ステップＳＴ１２０；ＮＯ）、処理を終了し、図７のステップＳＴ１０５の処理に進む。一方、挙動情報が入力された場合（ステップＳＴ１２０；ＹＥＳ）、行動検出部１０４は、入力された挙動情報が、行動情報データベース１０５に格納された行動情報の行動パターンと一致するか否か判定を行う（ステップＳＴ１２１）。

行動情報データベース１０５に格納された行動情報の行動パターンと一致する場合（ステップＳＴ１２１；ＹＥＳ）、行動検出部１０４は、一致する行動パターンに付された識別情報を取得し、不快判定部１０８および学習用データベース１１２に出力する（ステップＳＴ１２２）。一方、行動情報データベース１０５に格納された行動情報の行動パターンと一致しない場合（ステップＳＴ１２１；ＮＯ）、行動検出部１０４は全ての行動情報と照合したか否か判定を行う（ステップＳＴ１２３）。全ての行動情報と照合していない場合（ステップＳＴ１２３；ＮＯ）、ステップＳＴ１２１の処理に戻り、上述した処理を繰り返す。一方、ステップＳＴ１２２の処理を行った場合、または全ての行動情報と照合した場合（ステップＳＴ１２３；ＹＥＳ）、フローチャートは図７のステップＳＴ１０５の処理に進む。

次に、図７のフローチャートにおいて、反応検出部１０６は、ユーザの反応情報を検出する（ステップＳＴ１０５）。詳細には、反応検出部１０６は、ステップＳＴ１０２において挙動情報取得部１０２から入力された挙動情報およびステップＳＴ１０３において生体情報取得部１０３から入力された生体情報を用いて、ユーザの反応情報を検出する。
図１２は、実施の形態１に係る状態推定装置１００の反応検出部１０６の動作を示すフローチャートであり、ステップＳＴ１０５の処理を詳細に示すフローチャートである。
反応検出部１０６は、挙動情報取得部１０２から挙動情報が入力されたか否か判定を行う（ステップＳＴ１２４）。挙動情報が入力されていない場合（ステップＳＴ１２４；ＮＯ）、反応検出部１０６は生体情報取得部１０３から生体情報が入力されたか否か判定を行う（ステップＳＴ１２５）。生体情報が入力されていない場合（ステップＳＴ１２５；ＮＯ）、処理を終了し、図７のフローチャートのステップＳＴ１０６の処理に進む。

一方、挙動情報が入力された場合（ステップＳＴ１２４；ＹＥＳ）、または生体情報が入力されている場合（ステップＳＴ１２５；ＹＥＳ）、反応検出部１０６は、入力された挙動情報または生体情報が、反応情報データベース１０７に格納された反応情報の反応パターンと一致するか否か判定を行う（ステップＳＴ１２６）。反応情報データベース１０７に格納された反応情報の反応パターンと一致する場合（ステップＳＴ１２６；ＹＥＳ）、反応検出部１０６は、一致する反応パターンに付された識別情報を取得し、不快判定部１０８、学習部１０９、および学習用データベース１１２に出力する（ステップＳＴ１２７）。

反応情報データベース１０７に格納された反応情報の反応パターンと一致しない場合（ステップＳＴ１２６；ＮＯ）、反応検出部１０６は全ての反応情報と照合したか否か判定を行う（ステップＳＴ１２８）。全ての反応情報と照合していない場合（ステップＳＴ１２８；ＮＯ）、ステップＳＴ１２６の処理に戻り、上述した処理を繰り返す。一方、ステップＳＴ１２７の処理を行った場合、または全ての反応情報と照合した場合（ステップＳＴ１２８；ＹＥＳ）、フローチャートは図７のステップＳＴ１０６の処理に進む。

次に、図７のフローチャートにおいて、行動検出部１０４による行動情報の検出処理、および反応検出部１０６による反応情報の検出処理が終了すると、不快判定部１０８はユーザが不快状態であるか否かの判定を行う（ステップＳＴ１０６）。
図１３は、実施の形態１に係る状態推定装置１００の不快判定部１０８、学習部１０９および不快区間推定部１１０の動作を示すフローチャートであり、ステップＳＴ１０６の処理を詳細に示すフローチャートである。

不快判定部１０８は、行動検出部１０４から行動パターンの識別情報が入力されたか否か判定を行う（ステップＳＴ１３０）。行動パターンの識別情報が入力された場合（ステップＳＴ１３０；ＹＥＳ）、不快判定部１０８は、ユーザの不快状態を検出したことを示す信号を外部に出力する（ステップＳＴ１３１）。また、不快判定部１０８は、入力された行動パターンの識別情報を学習部１０９に出力し、不快反応パターンの学習を指示する（ステップＳＴ１３２）。学習部１０９は、ステップＳＴ１３２で入力された行動パターンの識別情報および学習指示に基づいて不快反応パターンの学習を行う（ステップＳＴ１３３）。ステップＳＴ１３３の不快反応パターンを学習する処理の詳細については後述する。

一方、行動パターンの識別情報が入力されていない場合（ステップＳＴ１３０；ＮＯ）、不快判定部１０８は反応検出部１０６から反応パターンの識別情報が入力されたか否か判定を行う（ステップＳＴ１３４）。反応パターンの識別情報が入力されていた場合（ステップＳＴ１３４；ＹＥＳ）、不快判定部１０８は識別情報で示された反応パターンと、不快反応パターンデータベース１１１に格納された不快反応パターンとを照合し、ユーザの不快状態を推定する（ステップＳＴ１３５）。ステップＳＴ１３５の不快状態を推定する処理の詳細については後述する。

不快判定部１０８は、ステップＳＴ１３５の推定結果を参照し、ユーザが不快状態であるか否か判定を行う（ステップＳＴ１３６）。ユーザが不快状態であると判定した場合（ステップＳＴ１３６；ＹＥＳ）、不快判定部１０８は、ユーザの不快状態を検出したことを示す信号を外部に出力する（ステップＳＴ１３７）。不快判定部１０８は、ステップＳＴ１３７の処理において、外部に出力する信号に不快要因を示す情報を付加させて出力してもよい。
ステップＳＴ１３３の処理を行った場合、ステップＳＴ１３７の処理を行った場合、反応パターンの識別情報が入力されていない場合（ステップＳＴ１３４；ＮＯ）、またはユーザが不快状態でないと判定した場合（ステップＳＴ１３６；ＮＯ）、フローチャートは図７のステップＳＴ１０１の処理に戻る。

次に、上述した図１３のフローチャートのステップＳＴ１３３の処理の詳細について説明する。以下では、図２から図５で示した格納例、図１４から図１７に示したフローチャート、および図１８に示す不快反応パターンの学習例を参照しながら説明を行う。
図１４は、実施の形態１に係る状態推定装置１００の学習部１０９の動作を示すフローチャートである。
図１８は、実施の形態１に係る状態推定装置１００の不快反応パターンの学習例を示す図である。

図１４のフローチャートにおいて、学習部１０９の不快区間推定部１１０は、不快判定部１０８から入力された行動パターンの識別情報に基づいて不快区間を推定する（ステップＳＴ１４０）。
図１５は、実施の形態１に係る状態推定装置１００の不快区間推定部１１０の動作を示すフローチャートであり、ステップＳＴ１４０の処理を詳細に示すフローチャートである。
不快区間推定部１１０は、不快判定部１０８から入力された行動パターンの識別情報を用いて行動情報データベース１０５内を検索し、当該行動パターンに対応付けられた推定条件および不快要因を取得する（ステップＳＴ１５０）。
例えば、図１８（ａ）で示したように、不快区間推定部１１０は、識別情報（ＩＤ；ａ−１）で示された行動パターンが入力された場合、図２で示した行動情報データベース１０５内を検索し、「ＩＤ；ａ−１」の推定条件「温度℃」および不快要因「空調（暑い）」を取得する。

次に、不快区間推定部１１０は、ステップＳＴ１５０で取得した推定条件の識別情報と一致する、学習用データベース１１２に格納された最も直近の環境情報を参照し、行動情報が検出された際の環境情報を取得する（ステップＳＴ１５１）。また、不快区間推定部１１０は、ステップＳＴ１５１で取得した環境情報に対応したタイムスタンプを不快区間として取得する（ステップＳＴ１５２）。
例えば、図５で示した学習用データベース１１２を参照する場合、不快区間推定部１１０は、最も新しい履歴情報の環境情報１１２ｂである「温度２８℃、騒音３５ｄＢ」から、ステップＳＴ１５０で取得した推定条件に基づいて「温度２８℃」を、行動パターンが検出された際の環境情報として取得する。また、不快区間推定部１１０は、取得した環境情報のタイムスタンプ「2016/8/1/11：04：30」を不快区間として取得する。

不快区間推定部１１０は、学習用データベース１１２に格納された履歴情報を遡って環境情報を参照し（ステップＳＴ１５３）、ステップＳＴ１５１で取得した行動パターンが検出された際の環境情報と一致するか否か判定を行う（ステップＳＴ１５４）。行動パターンが検出された際の環境情報と一致する場合（ステップＳＴ１５４；ＹＥＳ）、不快区間推定部１１０は一致する履歴情報のタイムスタンプが示す時間を不快区間に追加する（ステップＳＴ１５５）。不快区間推定部１１０は、学習用データベース１１２に格納された全ての履歴情報の環境情報を参照したか否か判定を行う（ステップＳＴ１５６）。

全ての履歴情報の環境情報を参照していない場合（ステップＳＴ１５６；ＮＯ）、ステップＳＴ１５３の処理に戻り、上述した処理を繰り返す。一方、全ての履歴情報の環境情報を参照した場合（ステップＳＴ１５６；ＹＥＳ）、不快区間推定部１１０は、ステップＳＴ１５５で追加された不快区間を、推定した不快区間として学習部１０９に出力する（ステップＳＴ１５７）。また、不快区間推定部１１０は、ステップＳＴ１５０で取得した不快要因も合わせて学習部１０９に出力する。

例えば、図５で示した学習用データベース１１２を参照する場合、不快区間の推定条件として取得された「温度２８℃」と一致する履歴情報のタイムスタンプが示した時間「2016/8/1/11：01：00」から「2016/8/1/11：04：30」を不快区間として学習部１０９に出力する。その後、図７のフローチャートのステップＳＴ１４１の処理に進む。

上述したステップＳＴ１５４では、不快区間推定部１１０が、行動パターンが検出された際の環境情報と一致するか否かの判定を行う構成を示したが、行動パターンが検出された際の環境情報に基づいて設定した閾値範囲内であるか否かの判定を行う構成としてもよい。例えば、行動パターンが検出された際の環境情報が「２８℃」であった場合に、不快区間推定部１１０は、閾値範囲として「下限：２７．５℃、上限：なし」を設定する。不快区間推定部１１０は、当該範囲内である履歴情報のタイムスタンプが示す時間を不快区間に追加する。
例えば、図１８（ｄ）で示したように、閾値範囲の下限以上の温度を示す連続した区間「2016/8/1/11：01：00」から「2016/8/1/11：04：30」が、不快区間として推定される。

図１４のフローチャートにおいて、学習部１０９は、学習用データベース１１２を参照し、ステップＳＴ１４０で推定された不快区間において格納された反応パターンを不快反応パターン候補Ａとして抽出する（ステップＳＴ１４１）。
例えば、図５で示した学習用データベース１１２を参照する場合、学習部１０９は、推定された不快区間である「2016/8/1/11：01：00」から「2016/8/1/11：04：30」までの区間における反応パターンＩＤ「ｂ−１」，「ｂ−２」，「ｂ−３」および「ｂ−４」を、不快反応パターン候補Ａとして抽出する。

次に、学習部１０９は、学習用データベース１１２を参照し、ステップＳＴ１４０で推定された不快区間と類似した環境情報を有する区間において、不快反応パターン候補の学習を行う（ステップＳＴ１４２）。
図１６は、実施の形態１に係る状態推定装置１００の学習部１０９の動作を示すフローチャートであり、ステップＳＴ１４２の処理を詳細に示すフローチャートである。
学習部１０９は、学習用データベース１１２を参照し、ステップＳＴ１４０で推定された不快区間と環境情報が類似した区間を検索する（ステップＳＴ１６０）。
ステップＳＴ１６０の検索処理により、学習部１０９は、例えば、図１８（ｅ）で示したように、過去に温度条件が一致する区間、例えば温度情報が２８℃で推移した区間（時間ｔ１から時間ｔ２）を取得する。
また、ステップＳＴ１６０の検索処理では、学習部１０９は、過去に温度条件が予め設定された範囲（２７．５℃以上の範囲）内である区間を取得するように構成してもよい。

学習部１０９は、学習用データベース１１２を参照し、ステップＳＴ１６０で検索した区間に反応パターンＩＤが格納されているか否か判定を行う（ステップＳＴ１６１）。反応パターンＩＤが格納されていない場合（ステップＳＴ１６１；ＮＯ）、ステップＳＴ１６３の処理に進む。一方、反応パターンＩＤが格納されている場合（ステップＳＴ１６１；ＹＥＳ）、学習部１０９は当該反応パターンＩＤを不快反応パターン候補Ｂとして抽出する（ステップＳＴ１６２）。
例えば、図１８（ｅ）で示したように、検索された時間ｔ１から時間ｔ２の区間で格納された反応パターンＩＤ「ｂ−１」，「ｂ−２」，「ｂ−３」を不快反応パターン候補Ｂとして抽出する。

次に、学習部１０９は、学習用データベース１１２の全ての履歴情報を参照したか否か判定を行う（ステップＳＴ１６３）。全ての履歴情報を参照していない場合（ステップＳＴ１６３；ＮＯ）、ステップＳＴ１６０の処理に戻る。一方、全ての履歴情報を参照した場合（ステップＳＴ１６３；ＹＥＳ）、学習部１０９は、ステップＳＴ１４１で抽出した不快反応パターン候補ＡおよびステップＳＴ１６２で抽出した不快反応パターン候補Ｂから、出現頻度の低い反応パターンを除外する（ステップＳＴ１６４）。学習部１０９は、ステップＳＴ１６４で出現頻度の低い反応パターンＩＤを除外した反応パターンを、最終的な不快反応パターン候補とする。その後、図１４のフローチャートのステップＳＴ１４３の処理に進む。

図１８（ｆ）の例では、学習部１０９は、不快反応パターン候補Ａとして抽出した反応パターンＩＤ；ｂ−１，ｂ−２，ｂ−３，ｂ−４と、不快反応パターン候補Ｂとして抽出した反応パターンＩＤ；ｂ−１，ｂ−２，ｂ−３とを比較し、不快反応パターン候補Ａのみに含まれる反応パターンＩＤ；ｂ−４を出現頻度の低いパターンＩＤとして除外する。

図１４のフローチャートにおいて、学習部１０９は、学習用データベース１１２を参照し、ステップＳＴ１４０で推定された不快区間と類似しない環境条件を有する区間において、ユーザが不快状態でない時の反応パターンを学習する（ステップＳＴ１４３）。
図１７は、実施の形態１に係る状態推定装置１００の学習部１０９の動作を示すフローチャートであり、ステップＳＴ１４３の処理を詳細に示すフローチャートである。
学習部１０９は、学習用データベース１１２を参照し、ステップＳＴ１４０で推定された不快区間と環境情報が類似しない過去の区間を検索する（ステップＳＴ１７０）。具体的には、環境情報が一致しない区間または環境情報が予め設定された範囲外である区間を検索する。
図１８（ｇ）の例では、学習部１０９は、過去に温度情報が「２８℃未満」で推移した区間（時間ｔ３から時間ｔ４）を、不快区間と環境情報が類似しない区間として検索する。

学習部１０９は、学習用データベース１１２を参照し、ステップＳＴ１７０で検索した区間に反応パターンＩＤが格納されているか否か判定を行う（ステップＳＴ１７１）。反応パターンＩＤが格納されていない場合（ステップＳＴ１７１；ＮＯ）、ステップＳＴ１７３の処理に進む。一方、反応パターンＩＤが格納されている場合（ステップＳＴ１７１；ＹＥＳ）、学習部１０９は格納されている反応パターンＩＤを非不快反応パターン候補として抽出する（ステップＳＴ１７２）。
図１８（ｇ）の例では、過去に温度情報が「２８℃未満」で推移した区間（時間ｔ３から時間ｔ４）に格納されたパターンＩＤ；ｂ−２を非不快反応パターン候補として抽出する。

次に、学習部１０９は、学習用データベース１１２の全ての履歴情報を参照したか否か判定を行う（ステップＳＴ１７３）。全ての履歴情報を参照していない場合（ステップＳＴ１７３；ＮＯ）、ステップＳＴ１７０の処理に戻る。一方、全ての履歴情報を参照した場合（ステップＳＴ１７３；ＹＥＳ）、学習部１０９は、ステップＳＴ１７２で抽出した非不快反応パターン候補のうち、出現頻度の低い反応パターンを除外する（ステップＳＴ１７４）。学習部１０９は、ステップＳＴ１７４で出現頻度の低い反応パターンを除外した後の反応パターンを、最終的な非不快反応パターンとする。その後、図１４のステップＳＴ１４４の処理に進む。
図１８（ｇ）の例で示した、非不快反応パターン候補として抽出した反応パターンＩＤ；ｂ−２の抽出数と、不快区間と環境情報に類似していない区間として検出した区間の数との割合が、閾値未満であれば、反応パターンＩＤ；ｂ−２を非不快反応パターン候補から除外する。なお、図１８（ｇ）の例では、反応パターンＩＤ；ｂ−２は除外しない。

図１４のフローチャートにおいて、学習部１０９は、ステップＳＴ１４２で学習した不快反応パターン候補から、ステップＳＴ１４３で学習した非不快反応パターンを除外し、不快反応パターンを取得する（ステップＳＴ１４４）。
図１８（ｈ）の例では、不快反応パターン候補である反応パターンＩＤ；ｂ−１，ｂ−２，ｂ−３から、非不快反応パターン候補である反応パターンＩＤ；ｂ−２を除外し、除外後の反応パターンＩＤ；ｂ−１，ｂ−３を不快反応パターンとして取得する。

学習部１０９は、ステップＳＴ１４４で取得した不快反応パターンを、不快区間推定部１１０から入力された不快要因と合わせて不快反応パターンデータベース１１１に格納する（ステップＳＴ１４５）。
図４の例では、学習部１０９は、不快反応パターンとして抽出した反応パターンＩＤ；ｂ−１，ｂ−３を、不快要因「空調（暑い）」と共に格納している。その後、フローチャートは図７のステップＳＴ１０１の処理に戻る。

次に、上述した図１３のフローチャートのステップＳＴ１３５の処理の詳細について説明する。
以下では、図２から図５で示したデータベースの格納例、図１９に示したフローチャート、および図２０に示す不快状態の推定例を参照しながら説明を行う。
図１９は、実施の形態１に係る状態推定装置１００の不快判定部１０８の動作を示すフローチャートである。
図２０は、実施の形態１に係る状態推定装置１００の不快状態の推定例を示す図である。
不快判定部１０８は、不快反応パターンデータベース１１１を参照し、不快反応パターンが格納されているか否か判定を行う（ステップＳＴ１８０）。不快反応パターンが格納されていない場合（ステップＳＴ１８０；ＮＯ）、ステップＳＴ１９０の処理に進む。

一方、不快反応パターンが格納されている場合（ステップＳＴ１８０；ＹＥＳ）、不快判定部１０８は、格納された不快反応パターンと、図１２のステップＳＴ１２７において反応検出部１０６から入力された反応パターンの識別情報とを比較する（ステップＳＴ１８１）。不快反応パターンに反応検出部１０６が検出した反応パターンの識別情報が含まれているか否か判定を行う（ステップＳＴ１８２）。反応パターンの識別情報が含まれていない場合（ステップＳＴ１８２；ＮＯ）、不快判定部１０８はステップＳＴ１８９の処理に進む。一方、反応パターンの識別情報が含まれている場合（ステップＳＴ１８２；ＹＥＳ）、不快判定部１０８は、不快反応パターンデータベース１１１を参照し、当該反応パターンの識別情報に対応付けられた不快要因を取得する（ステップＳＴ１８３）。不快判定部１０８は、ステップＳＴ１８３で取得した不快要因が得られた際の環境情報を環境情報取得部１０１から取得する（ステップＳＴ１８４）。不快判定部１０８は、取得した環境情報に基づいて不快区間を推定する（ステップＳＴ１８５）。

図２０（ａ）の例では、図４で示した格納例である場合に、反応検出部１０６から反応パターンＩＤ；ｂ−３が入力されると、不快判定部１０８は、当該ＩＤ；ｂ−３が取得された際の環境情報（温度情報２７℃）を取得する。不快判定部１０８は、学習用データベース１１２を参照して、温度情報が２７℃未満になるまでの過去の区間（時間ｔ５から時間ｔ６）を不快区間として推定する。

不快判定部１０８は、学習用データベース１１２を参照し、ステップＳＴ１８５で推定した不快区間で検出された反応パターンの識別情報を抽出する（ステップＳＴ１８６）。不快判定部１０８は、ステップＳＴ１８６で抽出した反応パターンの識別情報が、不快反応パターンデータベース１１１に格納された不快反応パターンと一致するか否か判定を行う（ステップＳＴ１８７）。一致する不快反応パターンが格納されている場合（ステップＳＴ１８７；ＹＥＳ）、不快判定部１０８は、ユーザが不快状態であると推定する（ステップＳＴ１８８）。

図２０（ｂ）の例では、不快判定部１０８は、推定された不快区間で検出された反応パターンＩＤ；ｂ−１，ｂ−２，ｂ−３を抽出する。
不快判定部１０８は、図２０（ｂ）の反応パターンＩＤ；ｂ−１，ｂ−２，ｂ−３が、図２０（ｃ）の不快反応パターンデータベース１１１に格納された不快反応パターンと一致するか否か判定を行う。
図４で示した不快反応パターンデータベース１１１の格納例の場合、不快要因１１１ａが「空調（暑い）」場合の不快反応パターンＩＤ；ｂ−１、ｂ−３全てが、抽出された反応パターンＩＤに包含されている。この場合、不快判定部１０８は、一致する不快反応パターンが、不快反応パターンデータベース１１１に格納されていると判定し、ユーザは不快状態であると推定する。

一方、一致する不快反応パターンが格納されていない場合（ステップＳＴ１８７；ＮＯ）、不快判定部１０８は、全ての不快反応パターンと照合したか否か判定を行う（ステップＳＴ１８９）。全ての不快反応パターンと照合していない場合（ステップＳＴ１８９；ＮＯ）、ステップＳＴ１８１の処理に戻る。一方、全ての不快反応パターンと照合した場合（ステップＳＴ１８９；ＹＥＳ）、不快判定部１０８は、ユーザは不快状態でないと推定する（ステップＳＴ１９０）。ステップＳＴ１８８またはステップＳＴ１９０の処理を行った場合、フローチャートは図１３のステップＳＴ１３６の処理に進む。

以上のように、この実施の形態１によれば、ユーザの動き情報、前記ユーザの音情報、および前記ユーザの操作情報とを含む挙動情報のうちの少なくともいずれか一つの情報と、予め格納された行動パターンとを照合し、一致する行動パターンを検出する行動検出部１０４と、挙動情報およびユーザの生体情報と、予め格納された反応パターンとを照合し、一致する反応パターンを検出する反応検出部１０６と、一致する行動パターンを検出した場合、または一致する反応パターンを検出し、且つ検出した反応パターンが予め格納されたユーザの不快状態を示す不快反応パターンと一致した場合に、ユーザが不快状態であると判定する不快判定部１０８と、検出した行動パターンに基づいて不快区間を推定するための推定条件を取得し、予め格納された履歴情報のうち取得した推定条件と一致する区間を不快区間と推定する不快区間推定部１１０と、履歴情報を参照し、推定された不快区間および不快区間以外の区間における反応パターンの発生頻度に基づいて不快反応パターンを取得して格納する学習部１０９とを備えるように構成したので、ユーザが不快要因とは直接的には結び付かない反応に対応する自身の不快状態または不快要因の情報を入力することなく、ユーザが不快状態であるかを判定し、ユーザの状態を推定することができる。これによりユーザの利便性を向上させることができる。
また、履歴情報が多く蓄積されていない状態でも、学習により不快反応パターンを取得して格納することができる。これにより状態推定装置の使用の開始から長い時間を必要とせずにユーザ状態を推定することができ、ユーザの利便性を向上させることができる。

また、この実施の形態１によれば、学習部１０９が、不快区間における履歴情報の反応パターンの発生頻度に基づいて不快反応パターン候補を抽出し、不快区間以外の区間における履歴情報の反応パターンの発生頻度に基づいて不快反応でないパターンを抽出し、不快反応パターン候補から不快反応でないパターンを除外した反応パターンを、不快反応パターンとして取得するように構成したので、不快要因に応じてユーザが示す可能性の高い反応パターンのみを不快状態の判定に用い、不快要因と関係なくユーザが示す可能性の高い反応パターンを不快状態の判定の対象外とすることができる。これにより、不快状態の推定精度を向上させることができる。

また、この実施の形態１によれば、不快判定部１０８が、反応検出部１０６において一致する反応パターンが検出された、且つ検出された反応パターンが予め格納されたユーザの不快状態を示す不快反応パターンと一致した場合に、ユーザが不快状態であると判定するように構成したので、ユーザが不快要因と直接的に結び付く行動を行う前に、ユーザの不快状態を推定し、外部装置に対して当該不快要因を取り除く制御を行わせることができる。これにより、ユーザの利便性を向上させることができる。

上述した実施の形態１では、環境情報取得部１０１が、温度センサが検出した温度情報、およびマイクが集音した騒音の大きさを示す騒音情報を取得する構成を示したが、湿度センサが検出した湿度情報および照度センサが検出した明るさの情報を取得する構成としてもよい。また、環境情報取得部１０１は、温度情報および騒音情報に加えて湿度情報および明るさの情報を取得する構成としてもよい。状態推定装置１００は、環境情報取得部１０１が取得した湿度情報および明るさの情報を用いることにより、乾燥、湿気の多さ、明るすぎる状況および暗すぎる状況によりユーザ不快状態であることを推定することができる。

上述した実施の形態１では、生体情報取得部１０３が生体情報として心拍計等が計測したユーザの心拍変動を示す情報を取得する構成を示したが、ユーザが装着した脳波計等が計測したユーザの脳波変動を示す情報を取得する構成としてもよい。また、生体情報取得部１０３は、生体情報として心拍変動を示す情報および脳波変動を示す情報の双方を取得する構成としてもよい。状態推定装置１００は、生体情報取得部１０３が取得した脳波変動を示す情報を用いることにより、ユーザが不快に感じた際の反応パターンとして脳波変動に変化が現れる場合に、ユーザの不快状態を推定する精度を向上させることができる。

また、上述した実施の形態１の状態推定装置において、不快区間推定部１１０が推定した不快区間に行動パターンの識別情報が含まれている場合は、当該行動パターンの識別情報に対応する不快要因と、不快区間の推定条件として使用した不快要因が一致しない場合には、当該区間反応パターンを不快反応パターン候補として抽出しないように構成してもよい。これにより、異なる不快要因に対する反応パターンが、誤って不快反応パターンとして不快反応パターンデータベース１１１に格納されるのを抑制することができる。これにより、不快状態の推定精度を向上させることができる。

また、上述した実施の形態１の状態推定装置では、不快区間推定部１１０が推定した不快区間を、行動情報データベース１０５の推定条件１０５ｄに基づいて推定している。これに替えて、状態推定装置が、学習用データベース１１２にユーザ全ての機器操作に関する情報を格納し、当該機器操作が行われてから一定期間の区間は、不快区間の対象外とするように構成してもよい。これにより、例えばユーザが機器操作を行ってから一定期間の間に発生した反応を、機器の操作に対するユーザの反応として除外することができる。よって、ユーザの不快状態の推定精度を向上させることができる。

また、上述した実施の形態１の状態推定装置では、不快区間推定部１１０が不快要因に基づいて推定した不快区間と環境情報が類似した区間において、出現頻度の低い反応パターンを除外した反応パターンを不快反応パターン候補とするように構成したので、不快要因に応じたユーザが示す可能性の高い非不快反応パターンのみを不快状態の推定に使用することができる。よって、ユーザの不快状態の推定精度を向上させることができる。

また、上述した実施の形態１の状態推定装置では、不快区間推定部１１０が不快要因に基づいて推定した不快区間と、環境情報が類似しない区間において、出現頻度の高い反応パターンを除外した反応パターンを不快反応パターン候補とするように構成したので、不快要因と関係なくユーザが示す可能性の高い非不快反応パターンを不快状態の推定の対象外とすることができる。よって、ユーザの不快状態の推定精度を向上させることができる。

なお、上述した実施の形態１の状態推定装置において、不快区間推定部１１０は、行動検出部１０４が検出した行動パターンに操作情報が含まれている場合に、操作情報を取得してから一定期間の区間を、不快区間から除外するように構成してもよい。
これにより、例えば、機器が空調機器の上限温度を変更してから一定時間の間に発生する反応を、機器の制御に対するユーザの反応として除外することができる。よって、ユーザの不快状態の推定精度を向上させることができる。

実施の形態２．
この実施の形態２では、学習用データベース１１２に蓄積された履歴情報の量に応じてユーザの不快状態を推定する方法を切り替える構成を示す。
図２１は、実施の形態２に係る状態推定装置１００Ａの構成を示すブロック図である。
実施の形態２に係る状態推定装置１００Ａは、図１に示した実施の形態１の状態推定装置１００の不快判定部１０８に替えて不快判定部２０１を備え、さらに推定器生成部２０２を追加して備える。
以下では、実施の形態１に係る状態推定装置１００の構成要素と同一または相当する部分には、実施の形態１で使用した符号と同一の符号を付して説明を省略または簡略化する。

不快判定部２０１は、後述する推定器生成部２０２によって推定器が生成されている場合には、生成された推定器を用いてユーザの不快状態を推定する。不快判定部２０１は、推定器生成部２０２によって推定器が生成されていない場合には、不快反応パターンデータベース１１１を用いてユーザの不快状態を推定する。

推定器生成部２０２は、学習用データベース１１２に格納された履歴情報のうち、行動パターンの数が規定の値以上となった場合に、学習用データベース１１２に格納された履歴情報を用いた機械学習を行う。ここで、規定の値とは、推定器生成部２０２が推定器を生成するのに必要となる行動パターンの数に基づいて設定される値である。推定器生成部２０２は、行動パターンの識別情報に基づいて推定した不快区間ごとに抽出した反応パターンおよび環境情報を入力信号とし、行動パターンの識別情報に対応する不快要因ごとのユーザの快状態または不快状態を示す情報を出力信号とする機械学習を行う。推定器生成部２０２は反応パターンおよび環境情報からユーザの不快状態を推定する推定器を生成する。推定器生成部２０２が行う機械学習は、例えば以下に示す非特許文献１に記載されたディープラーニングの手法等を適用して行われる。
・非特許文献１
岡谷貴之、“ディープラーニング”、映像情報メディア学会誌、Ｖｏｌ．６８、Ｎｏ．６、２０１４年

次に、状態推定装置１００Ａのハードウェア構成例を説明する。なお、実施の形態１と同一の構成の説明は省略する。
状態推定装置１００Ａにおける不快判定部２０１および推定器生成部２０２は、図６Ａで示した処理回路１００ａ、または図６Ｂで示したメモリ１００ｃに格納されるプログラムを実行するプロセッサ１００ｂである。

次に、推定器生成部２０２の動作について説明する。
図２２は、実施の形態２に係る状態推定装置１００Ａの推定器生成部２０２の動作を示すフローチャートである。
推定器生成部２０２は、学習用データベース１１２および行動情報データベース１０５を参照し、学習用データベース１１２に格納されている行動パターンＩＤを不快要因毎に集計する（ステップＳＴ２００）。推定器生成部２０２は、ステップＳＴ２００で集計した行動パターンＩＤの総数が規定の値以上になったか否か判定を行う（ステップＳＴ２０１）。行動パターンＩＤの総数が規定の値以上でない場合（ステップＳＴ２０１；ＮＯ）、ステップＳＴ２００の処理に戻り、上述した処理を繰り返す。

一方、行動パターンＩＤの総数が規定の値以上になった場合（ステップＳＴ２０１；ＹＥＳ）、推定器生成部２０２は機械学習を行い、反応パターンおよび環境情報からユーザの不快状態を推定する推定器を生成する（ステップＳＴ２０２）。ステップＳＴ２０２において、推定器生成部２０２が推定器を生成すると、処理を終了する。

図２３は、実施の形態２に係る状態推定装置１００Ａの不快判定部２０１の動作を示すフローチャートである。
図２３において、図１９で示した実施の形態１のフローチャートと同一のステップには同一の符号を付し、説明を省略する。
不快判定部２０１は、推定器生成部２０２の状態を参照し、推定器が生成されているか否か判定を行う（ステップＳＴ２１１）。推定器が生成されている場合（ステップＳＴ２１１；ＹＥＳ）、不快判定部２０１は当該推定器に、入力信号である反応パターンおよび環境情報を入力し、出力信号であるユーザの不快状態を推定した結果を取得する（ステップＳＴ２１２）。不快判定部２０１は、ステップＳＴ２１２で取得した出力信号を参照し、推定器がユーザの不快状態を推定したか否か判定を行う（ステップＳＴ２１３）。推定器がユーザの不快状態を推定していた場合（ステップＳＴ２１３；ＹＥＳ）、不快判定部２０１はユーザが不快状態であると推定する（ステップＳＴ２１４）。

一方、推定器が生成されていない場合（ステップＳＴ２１１；ＮＯ）、不快判定部２０１は不快反応パターンデータベース１１１を参照し、不快反応パターンが格納されているか否か判定を行う（ステップＳＴ１８０）。その後、ステップＳＴ１８１からステップＳＴ１９０の処理を行う。ステップＳＴ１８８、ステップＳＴ１９０またはステップＳＴ２１４の処理を行った場合、フローチャートは図１３のステップＳＴ１３６の処理に進む。

以上のように、この実施の形態２によれば、履歴情報として規定の値以上の行動パターンが蓄積されている場合に、反応検出部１０６で検出された反応パターンおよび環境情報に基づいて、ユーザが不快状態であるか否かを推定する推定器を生成する推定器生成部２０２を備え、不快判定部２０１は、推定器が生成されている場合に、当該推定器の推定結果を参照してユーザが不快状態であるか否か判定を行うように構成したので、履歴情報のうち、行動パターンの数が規定の値以上でない場合には、不快反応パターンデータベースに格納された不快反応パターンに基づいてユーザの不快状態および不快要因を推定し、行動パターンの数が規定の値以上である場合には機械学習によって生成された推定器を用いてユーザの不快状態および不快要因を推定することができる。これにより、ユーザの不快状態の推定精度を向上させることができる。

なお、上述した実施の形態２では、推定器生成部２０２が学習用データベース１１２に格納された反応パターンを入力信号として機械学習を行う構成を示した。これに加えて、行動情報データベース１０５および反応情報データベース１０７に登録されていない情報を学習用データベース１１２に格納し、格納した情報を機械学習の入力信号に使用するように構成してもよい。これにより、行動情報データベース１０５および反応情報データベース１０７に登録されていないユーザの癖を学習することが可能となり、ユーザの不快状態の推定精度を向上させることができる。

実施の形態３．
この実施の形態３では、検出された反応パターンから不快状態に加えて不快要因を推定する構成を示す。
図２４は、実施の形態３に係る状態推定装置１００Ｂの構成を示すブロック図である。
実施の形態３に係る状態推定装置１００Ｂは、図１に示した実施の形態１の状態推定装置１００の不快判定部１０８および不快反応パターンデータベース１１１に替えて不快判定部３０１および不快反応パターンデータベース３０２を備えて構成している。
以下では、実施の形態１に係る状態推定装置１００の構成要素と同一または相当する部分には、実施の形態１で使用した符号と同一の符号を付して説明を省略または簡略化する。

不快判定部３０１は、反応検出部１０６から検出した反応パターンの識別情報が入力されると、入力された識別情報と、不快反応パターンデータベース３０２に格納されたユーザの不快状態を示す不快反応パターンとの照合を行う。不快判定部３０１は、入力された識別情報と一致する反応パターンが不快反応パターンデータベース３０２に格納されていた場合に、ユーザは不快状態であると推定する。さらに不快判定部３０１は、不快反応パターンデータベース３０２を参照し、入力された識別情報から不快要因が特定できる場合には、不快要因を特定する。不快判定部３０１は、ユーザが不快状態であることを検出したことを示す信号、および不快要因が特定できた場合には不快要因の情報を示す信号を外部に出力する。

不快反応パターンデータベース３０２は、学習部１０９が学習した結果である不快反応パターンを格納したデータベースである。
図２５は、実施の形態３に係る状態推定装置１００Ｂの不快反応パターンデータベース３０２の格納例を示す図である。

図２５で示した不快反応パターンデータベース３０２は、不快要因３０２ａ、第１の不快反応パターン３０２ｂおよび第２の不快反応パターン３０２ｃの項目で構成されている。不快要因３０２ａには、行動情報データベース１０５の不快要因１０５ｂの項目と同等の項目が記載される（図２参照）。第１の不快反応パターン３０２ｂは、複数の不快要因３０２ａに対応する不快反応パターンのＩＤが記載されている。第２の不快反応パターン３０２ｃは、固有の不快要因のみに対応する不快反応パターンのＩＤが記載されている。第１および第２の不快反応パターン３０２ｂ，３０２ｃに記載された不快反応パターンのＩＤは、図３で示したＩＤ１０７ａに相当している。

不快判定部３０１は、入力された識別情報が、第２の不快反応パターン３０２ｃの識別情報と一致した場合に、一致した識別情報に対応付けられた不快要因３０２ａを取得することにより、不快要因を特定する。

状態推定装置１００Ｂのハードウェア構成例を説明する。なお、実施の形態１と同一の構成の説明は省略する。
状態推定装置１００Ｂにおける不快判定部３０１および不快反応パターンデータベース３０２は、図６Ａで示した処理回路１００ａ、または図６Ｂで示したメモリ１００ｃに格納されるプログラムを実行するプロセッサ１００ｂである。

次に、不快判定部３０１の動作について説明する。
図２６は、実施の形態１に係る状態推定装置１００Ｂの不快判定部３０１の動作を示すフローチャートである。
図２６において、図１３で示した実施の形態１のフローチャートと同一のステップには同一の符号を付し、説明を省略する。
ステップＳＴ１３４において、不快判定部３０１は、反応パターンの識別情報が入力されたと判定すると（ステップＳＴ１３４；ＹＥＳ）、入力された反応パターンの識別情報と、不快反応パターンデータベース３０２に格納された第１の不快反応パターン３０２ｂおよび第２の不快反応パターン３０２ｃとを照合し、ユーザの不快状態を推定する（ステップＳＴ３０１）。不快判定部３０１は、ステップＳＴ３０１の推定結果を参照し、ユーザが不快状態であるか否か判定を行う（ステップＳＴ３０２）。

ユーザが不快状態であると判定した場合（ステップＳＴ３０２；ＹＥＳ）、不快判定部３０１は、照合結果を参照して不快要因を特定したか否か判定を行う（ステップＳＴ３０３）。不快要因を特定した場合（ステップＳＴ３０３；ＹＥＳ）、不快判定部３０１はユーザの不快状態を検出したことを示す信号を、不快要因と共に外部に出力する（ステップＳＴ３０４）。一方、不快要因が特定されなかった場合（ステップＳＴ３０３；ＮＯ）、不快判定部３０１は、不快要因は不明であるが、ユーザの不快状態を検出したことを示す信号を外部に出力する（ステップＳＴ３０５）。

ステップＳＴ１３３の処理を行った場合、ステップＳＴ３０４の処理を行った場合、ステップＳＴ３０５の処理を行った場合、または反応パターンの識別情報が入力されていない場合（ステップＳＴ１３４；ＮＯ）、またはユーザが不快状態でないと判定した場合（ステップＳＴ３０２；ＮＯ）、フローチャートは図７のステップＳＴ１０１の処理に戻る。

次に、上述した図２６のフローチャートのステップＳＴ３０１の処理の詳細について説明する。
図２７は、実施の形態３に係る状態推定装置１００Ｂの不快判定部３０１の動作を示すフローチャートである。
図２７において、図１９で示した実施の形態１のフローチャートと同一のステップには同一の符号を付し、説明を省略する。
不快判定部３０１は、ステップＳＴ１８６において反応パターンの識別情報を抽出すると、抽出した反応パターンの識別情報が、第１および第２の不快反応パターンの組み合わせと一致するか否か判定を行う（ステップＳＴ３１０）。第１および第２の不快反応パターンの組み合わせと一致すると判定した場合（ステップＳＴ３１０；ＹＥＳ）、不快判定部３０１は不快状態であると推定し、且つ不快要因を推定する（ステップＳＴ３１１）。一方、第１および第２の不快反応パターンの組み合わせと一致しないと判定した場合（ステップＳＴ３１０；ＮＯ）、不快判定部３０１は、全ての第１および第２の不快反応パターンの組み合わせと照合したか否か判定を行う（ステップＳＴ３１２）。

不快判定部３０１は、全ての第１および第２の不快反応パターンの組み合わせと照合していない場合（ステップＳＴ３１２；ＮＯ）、ステップＳＴ１８１の処理に戻る。一方、全ての第１および第２の不快反応パターンの組み合わせと照合した場合（ステップＳＴ３１２；ＹＥＳ）、不快判定部３０１は反応パターンの識別情報が第１の不快反応パターンと一致するか否か判定を行う（ステップＳＴ３１３）。識別情報が第１の不快反応パターンと一致する場合（ステップＳＴ３１３；ＹＥＳ）、不快判定部３０１は、不快状態であると推定する（ステップＳＴ３１４）。ステップＳＴ３１４の処理では、不快状態を推定するのみで、不快要因の推定は行わない。

一方、識別情報が第１の不快反応パターンと一致しない場合（ステップＳＴ３１３；ＮＯ）、不快判定部３０１は、不快状態でないと推定する（ステップＳＴ３１５）。また、ステップＳＴ１８０において、不快判定部３０１が、不快反応パターンが格納されていないと判定した場合にも（ステップＳＴ１８０；ＮＯ）、ステップＳＴ３１５の処理に進む。
ステップＳＴ３１１、ステップＳＴ３１４またはステップＳＴ３１５の処理を行った場合、フローチャートは図２６のステップＳＴ３０２の処理に進む。

以上のように、この実施の形態３によれば、不快判定部３０１は、反応検出部１０６で検出された反応パターンが、格納された不快反応パターンと一致した場合に、一致した反応パターンに、固有の不快要因に対応した反応パターンが含まれている場合に、固有の不快要因に対応した反応パターンに基づいてユーザの不快要因を特定するするように構成したので、不快要因が特定可能な場合には、特定された不快要因を迅速に除去することが可能になる。また、不快要因が不明である場合には、その旨を出力することによりユーザに不快要因を問い合わせる等により、迅速に不快要因を特定して除去することが可能になる。これにより、ユーザの快適性を向上させることができる。

なお、上述した実施の形態３では、不快判定部３０１が、複数の不快要因に対応する第１の不快反応パターンに一致したと判定した場合に、直ちに不快要因は不明であるが不快状態であると推定する構成を示したが、複数の不快要因に対応する第１の不快反応パターンに一致した場合にのみ起動するタイマを設け、第１の不快反応パターンが一致した状態が一定期間以上継続した場合に、不快要因は不明であるが不快状態であると推定する構成としてもよい。これにより、ユーザに対して不快要因の問い合わせが頻繁に行われることを防止することができる。これにより、ユーザの快適性を向上させることができる。

上記以外にも、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、または各実施の形態の任意の構成要素の省略が可能である。

この発明に係る状態推定装置は、ユーザが自身の感情の状態を示す情報を入力することなくユーザの状態を推定することができるため、環境制御システム等に適用し、ユーザの負担を抑制しながらユーザ状態を推定するのに適している。

１００，１００Ａ，１００Ｂ 状態推定装置、１０１ 環境情報取得部、１０２ 挙動情報取得部、１０３ 生体情報取得部、１０４ 行動検出部、１０５ 行動情報データベース、１０６ 反応検出部、１０７ 反応情報データベース、１０８，２０１，３０１ 不快判定部、１０９ 学習部、１１０ 不快区間推定部、１１１，３０２ 不快反応パターンデータベース、１１２ 学習用データベース、２０２ 推定器生成部。

Claims (6)

1. ユーザの動き情報、前記ユーザの音情報、および前記ユーザの操作情報とを含む挙動情報のうちの少なくともいずれか一つの情報と、予め格納された行動パターンとを照合し、一致する行動パターンを検出する行動検出部と、
   前記挙動情報および前記ユーザの生体情報と、予め格納された反応パターンとを照合し、一致する反応パターンを検出する反応検出部と、
   前記行動検出部が一致する行動パターンを検出した場合、または前記反応検出部が一致する反応パターンを検出し、且つ検出した前記反応パターンが予め格納された前記ユーザの不快状態を示す不快反応パターンと一致した場合に、前記ユーザが不快状態であると判定する不快判定部と、
   前記行動検出部が検出した行動パターンに基づいて不快区間を推定するための推定条件を取得し、予め格納された履歴情報のうち前記取得した推定条件と一致する区間を不快区間と推定する不快区間推定部と、
   前記履歴情報を参照し、前記不快区間推定部が推定した前記不快区間および前記不快区間以外の区間における反応パターンの発生頻度に基づいて前記不快反応パターンを取得して格納する学習部とを備えた状態推定装置。
2. 前記履歴情報は、少なくとも前記ユーザの周囲の環境情報、前記ユーザの行動パターンおよび前記ユーザの反応パターンで構成されていることを特徴とする請求項１記載の状態推定装置。
3. 前記学習部は、前記不快区間における前記履歴情報の反応パターンの発生頻度に基づいて不快反応パターン候補を抽出し、前記不快区間以外の区間における前記履歴情報の反応パターンの発生頻度に基づいて不快反応でないパターンを抽出し、前記不快反応パターン候補から前記不快反応でないパターンを除外した反応パターンを、前記不快反応パターンとして取得することを特徴とする請求項２記載の状態推定装置。
4. 前記不快判定部は、前記反応検出部が検出した反応パターンが、前記格納された前記不快反応パターンと一致した場合に、当該一致した前記反応パターンに、固有の不快要因に対応した反応パターンが含まれている場合に、前記固有の不快要因に対応した反応パターンに基づいて前記ユーザの不快要因を特定することを特徴とする請求項１記載の状態推定装置。
5. 前記履歴情報として規定の値以上の行動パターンが蓄積されている場合に、前記反応検出部が検出した反応パターンおよび前記環境情報に基づいて、前記ユーザが不快状態であるか否かを推定する推定器を生成する推定器生成部を備え、
   前記不快判定部は、前記推定器が生成されている場合に、当該推定器の推定結果を参照して前記ユーザが不快状態であるか否か判定を行うことを特徴とする請求項２記載の状態推定装置。
6. 前記不快区間推定部は、前記行動検出部が検出した行動パターンに前記操作情報が含まれている場合に、前記操作情報を取得してから一定期間の区間を、前記不快区間から除外することを特徴とする請求項１記載の状態推定装置。

Images