JP6705611B2 - 不快状態判定装置 - Google Patents

Description

この発明は、ユーザの生体情報に基づいて、当該ユーザの不快状態を判定する不快状態判定装置に関する。

従来、生体情報に基づいて、ユーザの感情を判定する技術が提供されている。このような、感情判定技術を採用した装置は、例えば、特許文献１に開示されている。この特許文献１には、脳電位データ及び脈拍データに基づいて、ユーザのストレス状態を判定する不快状態判定装置が開示されている。

特開２０１７−１１９１０９号公報

上記従来の不快状態判定装置は、脳電位データ及び脈拍データを用いて、ユーザのストレス状態を判定するため、それらの２つのデータを同時に取得する必要がある。このとき、脈拍データを取得するのに要する時間は、脳電位データを取得するのに要する時間と比べて、長くなる。このため、上記従来の不快状態判定装置は、脳電位データの取得タイミングを遅延させることによって、その問題を解決している。

しかしながら、上記従来の不快状態判定装置は、上述したように、生体情報を取得するときの遅延時間については考慮しているものの、ユーザへの刺激に対して生体情報が反応として現れるまでの遅延時間、及び、反応強さの個人差については、考慮していない。

この発明は、上記のような課題を解決するためになされたもので、ユーザの不快状態に対する判定精度を向上させることができる不快状態判定装置を提供することを目的とする。

この発明に係る不快状態判定装置は、ユーザの不快要因に応じた挙動に関する挙動情報から、不快要因の種別ごとに予め設定されたユーザの行動に関する行動情報を検出する行動検出部と、行動検出部によって検出された行動情報と対応するユーザの不快期間の推定条件を取得し、推定条件に対応する履歴情報を用いて、不快期間を推定する不快期間推定部と、ユーザの複数の生体情報に基づいて、当該ユーザの不快状態を推定する不快推定器と、不快期間推定部によって推定された不快期間に基づいて、複数の生体情報における不快要因に対する反応時間をそれぞれ推定し、不快期間及び反応時間に基づいて、複数の生体情報の不快推定器への入力タイミングを同期させる不快推定器学習部と、行動検出部が行動情報を検出した場合に、不快推定器の推定結果に基づいて、ユーザの不快状態を判定する不快判定部とを備えるものである。

この発明によれば、ユーザの不快状態に対する判定精度を向上させることができる。

この発明の実施の形態１に係る不快状態判定装置の構成を示すブロック図である。 この発明の実施の形態１に係る不快状態判定装置のハードウェア構成を示すブロック図である。 行動情報データベースの格納例を示した図である。 制御情報データベースの格納例を示した図である。 学習用データベースの格納例を示した図である。 学習用データベースの別の格納例を示した図である。 推定パラメータ保存部の格納例を示した図である。 この発明の実施の形態１に係る不快状態判定装置の動作を示すフローチャートである。 環境情報取得部の動作を示すフローチャートである。 挙動情報取得部の動作を示すフローチャートである。 生体情報取得部の動作を示すフローチャートである。 制御情報取得部の動作を示すフローチャートである。 行動検出部の動作を示すフローチャートである。 不快判定部の動作を示すフローチャートである。 不快期間推定部の動作を示すフローチャートである。 不快推定器学習部の動作を示すフローチャートである。 不快推定器学習部における反応時間の推定動作を示すフローチャートである。 不快推定器の動作を示すフローチャートである。 不快推定器の学習例を示したタイムチャートである。 不快判定部の不快判定例を示したタイムチャートである。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。

実施の形態１．
図１は、この発明の実施の形態１に係る不快状態判定装置１０の構成を示すブロック図である。

図１に示すように、不快状態判定装置１０は、環境情報取得部１１、挙動情報取得部１２、制御情報取得部１３、制御情報データベース１４、生体情報取得部１５、行動検出部１６、行動情報データベース１７、学習用データベース１８、不快判定部１９、不快期間推定部２０、不快推定器２１、不快推定器学習部２２、及び、推定パラメータ保存部２３を備えている。

環境情報取得部１１は、ユーザが存在する環境の状態に関する環境情報を取得する。環境情報は、例えば、温度センサによって検出された温度に関する温度情報、及び、マイクによって検出された騒音の大きさに関する騒音情報である。

挙動情報取得部１２は、ユーザの行動に関する挙動情報を取得する。挙動情報は、例えば、カメラによって撮影されたユーザの顔及び体の動きに関する画像情報、マイクによって検出されたユーザの声及び発話内容に関する音声情報、及び、タッチパネル及びスイッチ等の操作部によって検出されたユーザの機器操作に関する操作情報である。

制御情報取得部１３は、不快状態判定装置１０の推定結果に基づいて動作する外部機器を制御するための制御情報を、当該外部装置から取得する。外部機器は、例えば、空調機器及び音響機器である。また、制御情報取得部１３は、取得した制御情報と、後述する制御情報データベース１４に予め格納されている制御パターンとを照合する。

制御情報データベース１４は、空調機器及び音響機器を制御するための制御情報として、制御パターンと、その制御の要因となるユーザの不快要因とを、予め対応付けて格納している。空調機器を制御するための制御パターンは、例えば、冷房または暖房のＯＮまたはＯＦＦ等に関する情報である。音響機器を制御するための制御パターンは、例えば、音量の上げ下げ等に関する情報である。ユーザが不快と感じる不快要因は、ユーザへの刺激となるものであって、例えば、暑い、寒い、及び、うるさい等である。

生体情報取得部１５は、ユーザにおける複数の生体情報を、生体センサから取得する。生体センサは、例えば、心拍計及び脳波計である。生体情報は、例えば、心拍計によって計測された心拍変動に関する情報、及び、脳波計によって計測された脳波に関する情報である。

行動検出部１６は、挙動情報取得部１２が取得した挙動情報と、後述する行動情報データベース１７に予め格納されている行動パターンとを照合する。

行動情報データベース１７は、不快要因と、この不快要因の種別ごとに予め定義した行動パターン、及び、ユーザが不快と感じている不快期間の推定条件を、予め対応付けて格納している。行動パターンは、例えば、ユーザの「空調（暑い）」とする不快要因に対して、「暑い」と発話する、または、空調機器の設定温度を下げるためのボタンを押す、ユーザの行動パターンである。不快期間の推定条件は、例えば、環境内の温度、及び、環境内における騒音の大きさである。

学習用データベース１８は、環境情報取得部１１が取得した環境情報、行動検出部１６の照合動作によって行動情報データベース１７に格納されている行動パターンと一致した行動パターン、制御情報取得部１３が取得した制御情報、生体情報取得部１５が取得した生体情報、及び、タイムスタンプ等を格納している。

不快判定部１９は、行動検出部１６の照合動作によって行動情報データベース１７に格納されている行動パターンと一致した行動パターンが、当該行動検出部１６から入力されると、ユーザの不快状態を検出したことを示す信号を外部に向けて出力する。また、不快判定部１９は、行動検出部１６から入力された行動パターンを、後述する不快期間推定部２０に向けて出力する。更に、不快判定部１９は、ユーザの不快状態を検出したことを示す信号が、後述する不快推定器２１から入力されると、その信号を外部に向けて出力する。

不快期間推定部２０は、不快判定部１９から入力された行動パターンに対応して、行動情報データベース１７に格納されている不快期間の推定条件を取得する。また、不快期間推定部２０は、取得した不快期間の推定条件と、学習用データベース１８に格納されている履歴情報とに基づいて、不快期間を推定する。即ち、履歴情報は、上述した環境情報、行動パターン、制御情報、生体情報、及び、タイムスタンプの経過履歴である。

不快推定器２１は、後述する推定パラメータ保存部２３に格納されている生体情報の反応時間、平常状態のしきい値、及び、不快状態のしきい値に基づいて、生体情報取得部１５から入力された生体情報が、不快状態であるか、または、平常状態であるかを推定する。

不快推定器学習部２２は、不快期間推定部２０によって推定された不快期間の不快要因に対応する制御パターンが、制御情報取得部１３から入力されると、その制御パターン入力時点から、生体情報取得部１５によって取得された生体情報が不快状態から平常状態に変化した時点までの経過時間を、生体情報の反応時間として推定する。また、不快推定器学習部２２は、生体情報ごとに推定した反応時間に基づいて、不快推定器２１を学習する。更に、不快推定器学習部２２は、推定した生体情報ごとの反応時間、平常状態のしきい値、及び、不快状態のしきい値を、後述する推定パラメータ保存部２３に格納する。

ここで、不快推定器学習部２２が不快推定器２１を学習することとは、心拍変動の反応時間及び脳波の反応時間に基づいて、心拍変動を示す信号及び脳波を示す信号の不快推定器２１への入力タイミングを同期させることである。

推定パラメータ保存部２３は、ユーザの生体情報の種別ごとに、不快推定器学習部２２が推定した生体情報の反応時間、平常状態のしきい値、及び、不快状態のしきい値を格納している。

図２は、この発明の実施の形態１に係る不快状態判定装置１０のハードウェア構成を示すブロック図である。

不快状態判定装置１０は、プロセッサ３１、メモリ３２、ハードディスク３３、環境情報入力インタフェース３４、画像入力インタフェース３５、音声入力インタフェース３６、生体情報入力インタフェース３７、及び、機器情報入力インタフェース３８を備えている。

環境情報入力インタフェース３４は、温度センサ及びマイクによって構成されている。画像入力インタフェース３５は、カメラによって構成されている。音声入力インタフェース３６は、マイクによって構成されている。生体情報入力インタフェース３７は、心拍計及び脳波計によって構成されている。機器情報入力インタフェース３８は、タッチパネル、スイッチ、空調機器及び音響機器との間の通信装置によって構成されている。

不快状態判定装置１０は、コンピュータで構成されており、制御情報データベース１４、行動情報データベース１７、学習用データベース１８、及び、推定パラメータ保存部２３を、ハードディスク３３に格納している。また、不快状態判定装置１０は、プロセッサ３１を、環境情報取得部１１、挙動情報取得部１２、制御情報取得部１３、生体情報取得部１５、行動検出部１６、不快判定部１９、不快期間推定部２０、不快推定器２１、及び、不快推定器学習部２２として機能させるためのプログラムを、メモリ３２に格納している。そして、プロセッサ３１は、メモリ３２に格納されているプログラムを実行する。

次に、制御情報データベース１４、行動情報データベース１７、及び、学習用データベース１８、及び、推定パラメータ保存部２３の格納例について、図３から図７を用いて詳細に説明する。

図３は、行動情報データベース１７の格納例を示した図である。図３に示すように、行動情報データベース１７は、行動情報を識別するための行動情報ＩＤ１７１、ユーザが不快と感じる不快要因１７２、不快要因に応じた行動パターン１７３、及び、不快期間推定条件１７４を、対応付けて格納している。

図４は、制御情報データベース１４の格納例を示した図である。図４に示すように、制御情報データベース１４は、制御情報を識別するための制御情報ＩＤ１４１、空調機器または音響機器におけるユーザの不快要因に応じた制御パターン１４２、及び、ユーザが不快と感じる不快要因１４３を、対応付けて格納している。

図５及び図６は、学習用データベース１８の格納例を示した図である。図５に示すように、学習用データベース１８は、タイムスタンプ１８１、環境情報１８２、及び、行動パターンまたは制御パターンを識別するための行動・制御パターンＩＤ１８３を、対応付けて格納している。また、図６に示すように、学習用データベース１８は、ユーザを識別するためのユーザＩＤ１８４、生体情報の種別１８５、生体情報の計測値を取得開始した時刻を示す取得開始時刻１８６、及び、生体情報の計測値１８７を、対応付けて格納している。

図７は、推定パラメータ保存部２３の格納例を示した図である。図７に示すように、推定パラメータ保存部２３は、ユーザを識別するためのユーザＩＤ２３１、生体情報の種別２３２、生体情報の反応時間２３３、平常状態のしきい値２３４、及び、不快状態のしきい値２３５を対応付けて、推定パラメータとして保存している。

次に、不快状態判定装置１０の動作について、図８を用いて詳細に説明する。図８は、実施の形態１に係る不快状態判定装置１０の動作を示すフローチャートである。なお、不快状態判定装置１０の動作は、一定周期で実施されるものである。

ステップＳＴ１において、環境情報取得部１１は、温度センサによって検出された温度に関する温度情報、及び、マイクによって検出された騒音の大きさに関する騒音情報を、環境情報として取得する。

ステップＳＴ２において、挙動情報取得部１２は、カメラによって撮影されたユーザの顔及び体の動きに関する画像情報、マイクによって検出されたユーザの声及び発話内容に関する音声情報、及び、タッチパネル及びスイッチ等の操作部によって検出されたユーザの機器操作に関する操作情報を、挙動情報として取得する。

ステップＳＴ３おいて、生体情報取得部１５は、心拍計によって計測された心拍変動に関する情報、及び、脳波計によって計測された脳波に関する情報を、生体情報として取得する。

ステップＳＴ４において、制御情報取得部１３は、空調機器及び音響機器を制御するための制御情報を取得する。

ステップＳＴ５において、行動検出部１６は、挙動情報取得部１２が取得した挙動情報の中から、行動情報を検出する。

ステップＳＴ６において、不快判定部１９は、行動検出部１６が検出した行動情報、及び、不快推定器２１が出力した推定結果が入力されると、ユーザが不快状態であると判定する。

次に、ステップＳＴ１の処理について、図９を用いてより詳細に説明する。図９は、環境情報取得部１１の動作を示すフローチャートである。

ステップＳＴ１１において、環境情報取得部１１は、温度センサによって検出された温度に関する温度情報を取得する。

ステップＳＴ１２において、環境情報取得部１１は、マイクによって検出された騒音の大きさに関する騒音情報を取得する。

ステップＳＴ１３において、環境情報取得部１１は、取得した温度情報及び騒音情報を、学習用データベース１８及び不快判定部１９に向けて出力する。これにより、図５に示すように、学習用データベース１８は、上記２つの情報が入力された時刻を、タイムスタンプ１８１として格納し、入力された上記２つの情報を環境情報１８２として格納する。そして、不快状態判定装置１０の処理は、ステップＳＴ２に進む。

次に、ステップＳＴ２の処理について、図１０を用いてより詳細に説明する。図１０は、挙動情報取得部１２の動作を示すフローチャートである。

ステップＳＴ２１において、挙動情報取得部１２は、カメラから入力された画像信号を解析して得られた、ユーザの顔及び体の動きに関する画像情報を取得する。

ステップＳＴ２２において、挙動情報取得部１２は、マイクから入力された音声信号を解析して得られた、ユーザの声及び発話内容に関する音声情報を取得する。

ステップＳＴ２３において、挙動情報取得部１２は、タッチパネル及びスイッチ等の操作部によって検出されたユーザの機器操作に関する操作情報を取得する。

ステップＳＴ２４において、挙動情報取得部１２は、取得した画像情報、音声情報、及び、操作情報を、挙動情報として、行動検出部１６に向けて出力する。そして、不快状態判定装置１０の処理は、ステップＳＴ３に進む。

次に、ステップＳＴ３の処理について、図１１を用いてより詳細に説明する。図１１は、生体情報取得部１５の動作を示すフローチャートである。

ステップＳＴ３１において、生体情報取得部１５は、心拍計によって計測された心拍変動に関する情報を取得する。

ステップＳＴ３２において、生体情報取得部１５は、脳波計によって計測された脳波に関する情報を取得する。

ステップＳＴ３３において、生体情報取得部１５は、取得した上記２つの情報を、生体情報として、学習用データベース１８及び不快推定器２１に向けて出力する。そして、不快状態判定装置１０の処理は、ステップＳＴ４に進む。

次に、ステップＳＴ４の処理について、図１２を用いてより詳細に説明する。図１２は、制御情報取得部１３の動作を示すフローチャートである。

ステップＳＴ４１において、制御情報取得部１３は、当該制御情報取得部１３が制御情報を取得したか否かを判定する。ここで、制御情報取得部１３が制御情報を取得した場合には、その処理はステップＳＴ４２に進む。一方、制御情報取得部１３が制御情報を取得しなかった場合には、その処理は終了する。即ち、不快状態判定装置１０の処理は、ステップＳＴ５に進む。

ステップＳＴ４２において、制御情報取得部１３は、取得した制御情報と、制御情報データベース１４に格納されている制御情報とが、一致するか否かを判定する。ここで、制御情報取得部１３が、一致すると判定した場合には、その処理はステップＳＴ４３に進む。一方、制御情報取得部１３が、一致しないと判定した場合には、その処理はステップＳＴ４４に進む。

例えば、制御情報取得部１３は、取得した制御パターンが「空調制御（冷房）ＯＮ」という制御パターンである場合には、その取得した制御パターンと、図４に示した、制御情報ＩＤ１４１が「ｂ−２」となる制御パターンとが、一致すると判定する。

ステップＳＴ４３において、制御情報取得部１３は、取得した制御情報と一致した制御情報の制御情報ＩＤ１４１を、制御情報データベース１４から学習用データベース１８に向けて出力する。そして、不快状態判定装置１０の処理は、ステップＳＴ５に進む。

一方、ステップＳＴ４４において、制御情報取得部１３は、取得した制御情報を、制御情報データベース１４に格納されている全ての制御情報と照合したか否かを判定する。ここで、制御情報取得部１３が、全てのものと照合したと判定した場合には、その処理は終了する。即ち、不快状態判定装置１０の処理は、ステップＳＴ５に進む。一方、制御情報取得部１３が、全てのものと照合していないと判定した場合には、その処理はステップＳＴ４２に戻る。即ち、制御情報取得部１３は、取得した制御情報と、制御情報データベース１４に格納されている残り全ての制御情報との照合を、開始する。

次に、ステップＳＴ５の処理について、図１３を用いてより詳細に説明する。図１３は、行動検出部１６の動作を示すフローチャートである。

ステップＳＴ５１において、行動検出部１６は、当該行動検出部１６が挙動情報を取得したか否かを判定する。ここで、行動検出部１６が挙動情報を取得した場合には、その処理はステップＳＴ５２に進む。一方、行動検出部１６が挙動情報を取得しなかった場合には、その処理は終了する。即ち、不快状態判定装置１０の処理は、ステップＳＴ６に進む。

ステップＳＴ５２において、行動検出部１６は、取得した挙動情報と、行動情報データベース１７に格納されている行動情報とが、一致するか否かを判定する。ここで、行動検出部１６が、一致すると判定した場合には、その処理はステップＳＴ５３に進む。一方、行動検出部１６が、一致しないと判定した場合には、その処理はステップＳＴ５４に進む。

例えば、行動検出部１６は、取得した行動パターンが、ユーザが「暑い」と発話する行動パターンである場合には、その取得した行動パターンと、図３に示した、行動情報ＩＤ１７１が「ａ−１」となる行動パターン１７３とが、一致すると判定する。

ステップＳＴ５３において、行動検出部１６は、取得した挙動情報と一致した行動情報の行動情報ＩＤ１７１を、行動情報データベース１７から学習用データベース１８及び不快判定部１９に向けて出力する。そして、不快状態判定装置１０の処理は、ステップＳＴ６に進む。

一方、ステップＳＴ５４において、行動検出部１６は、取得した挙動情報を、行動情報データベース１７に格納されている全ての行動情報と照合したか否かを判定する。ここで、行動検出部１６が、全てのものと照合したと判定した場合には、その処理は終了する。即ち、不快状態判定装置１０の処理は、ステップＳＴ６に進む。一方、行動検出部１６が、全てのものと照合していないと判定した場合には、その処理はステップＳＴ５２に戻る。即ち、行動検出部１６は、取得した挙動情報と、行動情報データベース１７に格納されている残り全ての行動情報との照合を、開始する。

次に、ステップＳＴ６の処理について、図１４を用いてより詳細に説明する。図１４は、不快判定部１９の動作を示すフローチャートである。

ステップＳＴ６１において、不快判定部１９は、行動情報データベース１７に格納されている行動情報ＩＤ１７１を取得したか否かを判定する。ここで、不快判定部１９が行動情報ＩＤ１７１を取得した場合には、その処理はステップＳＴ６２に進む。一方、不快判定部１９が行動情報ＩＤ１７１を取得しなかった場合には、その処理はステップＳＴ６５に進む。

ステップＳＴ６２において、不快判定部１９は、ユーザの不快状態を検出したことを示す不快検出信号を、外部に向けて出力する。

ステップＳＴ６３において、不快判定部１９は、取得した行動情報ＩＤ１７１を不快期間推定部２０に向けて出力する。続いて、不快期間推定部２０は、入力された行動情報ＩＤ１７１に基づいて不快期間を推定し、この推定した不快期間を不快推定器学習部２２に向けて出力する。

ステップＳＴ６４において、不快推定器学習部２２は、不快期間推定部２０から不快期間が入力されると、不快推定器２１を学習する。そして、不快状態判定装置１０の処理は、ステップＳＴ１に戻る。

一方、ステップＳＴ６５において、不快推定器２１は、生体情報取得部１５から入力された生体情報に基づいて、ユーザの不快状態を推定する。

ステップＳＴ６６において、不快推定器２１は、ユーザが不快状態であるか否かを判定する。ここで、不快推定器２１が、不快状態であると判定した場合には、その処理はステップＳＴ６７に進む。一方、不快推定器２１が、不快状態ではないと判定した場合には、その処理は終了する。即ち、不快状態判定装置１０の処理は、ステップＳＴ１に戻る。

ステップＳＴ６７において、不快判定部１９は、ユーザの不快状態を検出したことを示す不快検出信号を、外部に向けて出力する。そして、不快状態判定装置１０の処理は、ステップＳＴ１に戻る。

次に、ステップＳＴ６３の処理について、図３、図５、図１５、及び、図１９を用いてより詳細に説明する。図１５は、不快期間推定部２０の動作を示すフローチャートである。図１９は、不快推定器２１の学習例を示したタイムチャートである。なお、図１９に記載した「ｔ」は時刻を示しており、「Ａ」はユーザが存在する環境の温度を示している。

ステップＳＴ６３１において、不快期間推定部２０は、入力された行動情報ＩＤ１７１と同一の行動情報ＩＤを、行動情報データベース１７に格納されている複数の行動情報ＩＤ１７１の中から抽出し、この抽出した行動情報ＩＤ１７１に対応した不快要因１７２及び不快期間推定条件１７４を取得する。

例えば、図３に示すように、不快期間推定部２０が、行動情報ＩＤ１７１として、「ａ−１」を取得した場合には、当該不快期間推定部２０は、行動情報データベース１７に格納されている複数の行動情報ＩＤ１７１の中から、行動情報ＩＤ１７１が「ａ−１」となる行動情報を検索する。そして、不快期間推定部２０は、行動情報ＩＤ１７１が「ａ−１」となる不快期間推定条件１７４を参照し、「温度（℃）」を取得する。

ステップＳＴ６３２において、不快期間推定部２０は、学習用データベース１８に格納されている最新の環境情報１８２を取得する。

例えば、図５に示すように、不快期間推定部２０は、学習用データベース１８に格納されている環境情報１８２を参照し、「温度２８℃」を取得する。

ステップＳＴ６３３において、不快期間推定部２０は、最新の環境情報１８２に対応したタイムスタンプ１８１を、図１９に示す不快期間Δｔの終了時刻ｔ２として取得する。

ステップＳＴ６３４において、不快期間推定部２０は、学習用データベース１８に格納されている環境情報１８２の履歴を順に遡り、これらを履歴情報として取得する。

ステップＳＴ６３５において、不快期間推定部２０は、取得した環境情報１８２の履歴の中で、ステップＳＴ６３１で取得した不快期間推定条件１７４と一致するものがあるか否かを判定する。ここで、不快期間推定部２０が、一致するものがあると判定した場合には、その処理はステップＳＴ６３６に進む。一方、不快期間推定部２０が、一致するものがないと判定した場合には、その処理はステップＳＴ６３７に進む。

ステップＳＴ６３６において、不快期間推定部２０は、ステップＳＴ６３１で取得した不快期間推定条件１７４と一致した環境情報１８２に対応して、タイムスタンプ１８１が示す時刻と終了時刻ｔ２との差分を、図１９に示す不快期間Δｔとして取得する。

ステップＳＴ６３７において、不快期間推定部２０は、取得した不快期間推定条件１７４に対して、環境情報１８２の全ての履歴を参照したか否かを判定する。ここで、不快期間推定部２０が、環境情報１８２の全ての履歴を参照したと判定した場合には、その処理はステップＳＴ６３８に進む。一方、不快期間推定部２０が、環境情報１８２の全ての履歴を参照していないと判定した場合には、その処理はステップＳＴ６３４に戻る。

ステップＳＴ６３８において、不快期間推定部２０は、最終的に取得した不快期間Δｔを不快推定器学習部２２向けて出力する。そして、不快状態判定装置１０の処理は、ステップＳＴ６４に進む。

例えば、図１９に示すように、不快期間推定部２０は、ユーザが「暑い」と発話した行動パターン１７３を検出した時刻ｔ２から、時間を遡って、設定温度上限値Ａ´の２８℃以下となる時刻ｔ１までの期間を、不快期間Δｔと推定し、この推定した不快期間Δｔを、不快推定器学習部２２に向けて出力する。

即ち、時刻ｔ１は、不快期間Δｔの開始時刻であり、以下、開始時刻ｔ１と称す。また、開始時刻ｔ１は、後述する、不快判定の基準時刻となる。また、時刻ｔ２は、不快期間Δｔの終了時刻であり、以下、終了時刻ｔ２と称す。

次に、ステップＳＴ６４の処理について、図３、図４、図５、図７、図１６、及び、図１９を用いてより詳細に説明する。図１６は、不快推定器学習部２２の動作を示すフローチャートである。

ステップＳＴ６４１において、不快推定器学習部２２は、不快期間推定部２０から不快期間Δｔが入力された場合に、学習用データベース１８に格納されている履歴情報を参照し、不快期間Δｔの不快要因１４３に対応する制御パターン１４２が、入力されたか否かを判定する。ここで、不快推定器学習部２２が、制御パターン１４２が入力されたと判定した場合には、その処理はステップＳＴ６４２に進む。一方、不快推定器学習部２２が、制御パターン１４２が入力されていないと判定した場合には、その処理はステップＳＴ６４６に進む。

例えば、図５に示すように、不快推定器学習部２２は、入力された不快期間Δｔに対応する行動情報ＩＤ１７１が「ａ−１」となる行動パターンを、学習用データベース１８に格納されている行動・制御パターンＩＤ１８３の中から取得する。次いで、図３に示すように、不快推定器学習部２２は、行動情報データベース１７に格納されている複数の行動パターン１７３の中から、行動情報ＩＤが「ａ−１」となる行動パターンを参照し、それに対応する不快要因１７２が「空調（暑い）」となる不快要因を取得する。

続いて、図５に示すように、不快推定器学習部２２は、学習用データベース１８に格納されている行動・制御パターンＩＤ１８３において、行動情報ＩＤが「ａ−１」となる行動パターンの直後に格納された、制御情報ＩＤが「ｂ−２」となる制御パターンを取得する。次いで、図４に示すように、不快推定器学習部２２は、制御情報データベース１４に格納されている複数の制御パターン１４２の中から、制御情報ＩＤが「ｂ−２」となる制御パターンを参照し、それに対応する不快要因１４３が「空調（暑い）」となる不快要因を取得する。よって、不快推定器学習部２２は、不快期間Δｔの不快要因１４３に対応する制御パターン１４２が、入力されたことになる。

ステップＳＴ６４２において、不快推定器学習部２２は、心拍変動となる生体情報Ｘの反応時間ｔｘ、及び、脳波となる生体情報Ｙの反応時間ｔｙを推定する。

ステップＳＴ６４３において、不快推定器学習部２２は、全ての生体情報Ｘ，Ｙの反応時間ｔｘ，ｔｙを推定したか否かを判定する。ここで、不快推定器学習部２２が、全てのものを推定したと判定した場合には、ステップＳＴ６４４に進む。一方、不快推定器学習部２２が、全てのものを推定していないと判定した場合には、ステップＳＴ６４６に進む。

例えば、図７に示すように、不快推定器学習部２２は、推定パラメータ保存部２３において、ユーザＩＤ２３１が同一となる各生体情報の反応時間２３３をそれぞれ確認し、その全ての反応時間２３３の値が、「−１」以外であれば、全ての生体情報の反応時間を推定したと判定する。

ステップＳＴ６４４において、不快推定器学習部２２は、不快期間Δｔの開始時刻ｔ１からその終了時刻ｔ２までの生体情報Ｘ，Ｙの変動を参照し、不快推定器２１を学習する。

例えば、図１９に示すように、不快推定器学習部２２は、不快期間Δｔの開始時刻ｔ１から反応時間ｔｘが経過した時点における心拍変動の計測値を、不快状態のしきい値Ｘｂと設定する。更に、不快推定器学習部２２は、その不快状態のしきい値Ｘｂを、推定パラメータ保存部２３のユーザＩＤ２３１及び生体情報の種別２３２に対応させて、不快状態のしきい値２３５に格納する。

また、図１９に示すように、不快推定器学習部２２は、不快期間Δｔの開始時刻ｔ１から反応時間ｔｙが経過した時点における脳波の計測値を、不快状態のしきい値Ｙｂと設定する。更に、不快推定器学習部２２は、その不快状態のしきい値Ｙｂを、推定パラメータ保存部２３のユーザＩＤ２３１及び生体情報の種別２３２に対応させて、不快状態のしきい値２３５に格納する。

ステップＳＴ６４５において、不快推定器学習部２２は、不快推定器２１の学習が完了したことを示す信号を出力する。そして、不快状態判定装置１０の処理は、ステップＳＴ１に戻る。

一方、ステップＳＴ６４６において、不快推定器学習部２２は、不快推定器２１の学習が未完了であることを示す信号を出力する。そして、不快状態判定装置１０の処理は、ステップＳＴ１に戻る。

次に、ステップＳＴ６４２の処理について、図１７を用いてより詳細に説明する。図１７は、不快推定器学習部２２における反応時間ｔｘ，ｔｙの推定動作を示すフローチャートである。

ステップＳＴ６４２１において、不快推定器学習部２２は、学習用データベース１８に格納されている行動・制御パターンＩＤ１８３を参照し、不快期間Δｔの不快要因１４３に対応する制御パターン１４２が入力されたことを確認する。

次いで、不快推定器学習部２２は、学習用データベース１８に格納されている生体情報の種別１８５及び生体情報の計測値１８７を参照し、生体情報Ｘ，Ｙが平常状態であるか否かを判定する。ここで、不快推定器学習部２２が、生体情報Ｘ，Ｙが平常状態であると判定した場合には、その処理は、ステップＳＴ６４２２に進む。一方、不快推定器学習部２２が、生体情報Ｘ，Ｙが平常でないと判定した場合には、ステップＳＴ６４２４に進む。

例えば、図１９に示すように、不快推定器学習部２２は、制御情報ＩＤ１４１が「ｂ−２」となる制御パターンが入力されると、その制御パターンが入力された制御開始時刻ｔ３から反応時間ｔｙの経過直後において、生体情報Ｘの計測値が平常状態のしきい値Ｘａを超えていないため、当該生体情報Ｘが平常状態ではないと判定する。

ステップＳＴ６４２４において、不快推定器学習部２２は、反応時間ｔｘ，ｔｙの推定が未完であることを示す情報を、推定パラメータ保存部２３の反応時間２３３に保存する。例えば、図７に示すように、不快推定器学習部２２は、反応時間２３３に「−１」を格納する。

ステップＳＴ６４２５において、不快推定器学習部２２は、全ての生体情報Ｘ，Ｙについて平常状態を確認したか否かを判定する。ここで、不快推定器学習部２２が、全ての生体情報Ｘ，Ｙについて確認したと判断した場合には、その処理は終了する。即ち、不快推定器学習部２２の処理は、ステップＳＴ６４３に進む。一方、不快推定器学習部２２が、全ての生体情報Ｘ，Ｙについて確認していないと判断した場合には、その処理は、ステップＳＴ６４２１に戻る。

例えば、図１９に示すように、ステップＳＴ６４２５から戻ったステップＳＴ６４２１では、不快推定器学習部２２は、制御開始時刻ｔ３から反応時間ｔｙの経過直後において、生体情報Ｙの計測値が平常状態のしきい値Ｙａを超えているため、当該生体情報Ｙが平常状態であると判定する。

ステップＳＴ６４２２において、不快推定器学習部２２は、制御開始時刻ｔ３から反応時間ｔｙまでの経過時間を、新たな反応時間ｔｙとして、更新する。

ステップＳＴ６４２３において、不快推定器学習部２２は、更新した反応時間ｔｙを、推定パラメータ保存部２３の生体情報の種別２３２に対応して、反応時間２３３に格納する。即ち、不快推定器学習部２２は、反応時間ｔｙの推定が完了したことになる。

ステップＳＴ６４２５において、不快推定器学習部２２は、全ての生体情報Ｘ，Ｙについて確認したと判断し、その処理は終了する。そして、不快推定器学習部２２の処理は、ステップＳＴ６４３に進む。

次に、ステップＳＴ６５の処理について、図１８及び図２０を用いてより詳細に説明する。図１８は、不快推定器２１の動作を示すフローチャートである。図２０は、不快判定部１９の不快判定例を示したタイムチャートである。なお、図２０においては、「ｔ」は時刻を示しており、「Ｔ」は温度を示している。

ステップＳＴ６５１において、不快推定器２１は、不快推定器学習部２２から入力された信号に基づいて、当該不快推定器２１の学習が完了したか否かを判定する。ここで、不快推定器２１が、学習が完了したと判定した場合には、その処理はステップＳＴ６５２に進む。一方、不快推定器２１が、学習が完了していないと判定した場合には、ステップＳＴ６５５に進む。

ステップＳＴ６５２において、不快推定器２１は、学習用データベース１８に格納されている取得開始時刻１８６、及び、推定パラメータ保存部２３に格納されている反応時間２３３を参照し、全ての生体情報Ｘ，Ｙの反応時間ｔｘ，ｔｙが経過したか否かを判定する。ここで、不快推定器２１が、全ての反応時間ｔｘ，ｔｙが経過したと判定した場合には、その処理はステップＳＴ６５３に進む。一方、不快推定器２１が、全ての反応時間ｔｘ，ｔｙが経過していないと判定した場合には、その処理はステップＳＴ６５５に進む。

具体的に、不快推定器２１は、推定パラメータ保存部２３におけるユーザＩＤ２３１が同一となる反応時間２３３の中で、反応時間が最も長くなるものを抽出し、この抽出した反応時間２３３が、その生体情報Ｘ，Ｙの取得に要する取得時間よりも長い場合には、全ての反応時間ｔｘ，ｔｙが経過したと判定する。また、不快推定器２１は、抽出した反応時間２３３がその生体情報Ｘ，Ｙの取得に要する取得時間よりも短い場合には、全ての反応時間ｔｘ，ｔｙが経過していないと判定する。

ステップＳＴ６５３において、不快推定器２１は、反応時間ｔｘ，ｔｙが経過した生体情報Ｘ，Ｙに基づいて、ユーザの不快状態を推定する。

例えば、図２０に示すように、不快推定器２１は、ユーザＩＤ２３１が同一となる複数の生体情報Ｘ，Ｙのうち、最も長い反応時間ｔｘを有する生体情報Ｘの心拍変動において、その反応時間ｔｘの反応開始時期を、開始時刻ｔ１に揃える。次いで、不快推定器２１は、開始時刻ｔ１からの時間の経過と共に、最新の生体情報Ｘを、学習用データベース１８から取得しつつ、開始時刻ｔ１から反応時間ｔｙだけ経過した時点における生体情報Ｙの計測値を、学習用データベース１８から取得する。そして、不快推定器２１は、取得した生体情報Ｘ，Ｙの計測値と、推定パラメータ保存部２３に格納されている不快状態のしきい値Ｘｂ，Ｙｂとを、それぞれ比較する。このとき、不快推定器２１は、生体情報Ｘ，Ｙの計測値が、それぞれに対応する不快状態のしきい値Ｘｂ，Ｙｂを超えている場合に、ユーザが不快状態であると判定する。

ステップＳＴ６５４において、不快推定器２１は、ユーザが不快状態であるという推定結果を、不快判定部１９に向けて出力し、その処理は終了する。即ち、不快状態判定装置１０の処理は、ステップＳＴ６６に進む。

一方、ステップＳＴ６５５において、不快推定器２１は、推定結果として何ら不快判定部１９に向けて出力することなく、その処理は終了する。即ち、不快状態判定装置１０の処理は、ステップＳＴ６６に進む。

以上より、実施の形態１に係る不快状態判定装置１０は、不快要因の種別ごとに予め定義したユーザの行動パターンと、実際に検出したユーザの行動パターンとが一致した場合に、その不快要因に基づいて、ユーザが不快と感じている不快期間Δｔを推定する。次に、不快状態判定装置１０は、上記不快要因と、外部機器を制御するための制御情報に対応した不快要因とが一致した場合に、生体情報Ｘ，Ｙの計測値が平常状態のしきい値Ｘａ，Ｙａを超えるまでの時間、即ち、ユーザが不快状態から平常状態に遷移するまでの時間を、反応時間ｔｘ，ｔｙと推定する。そして、不快状態判定装置１０は、ユーザの不快期間Δｔ及び生体情報Ｘ，Ｙの反応時間ｔｘ，ｔｙに基づいて、生体情報Ｘ，Ｙの不快推定器２１への入力タイミングを同期させ、ユーザの不快状態を推定している。

従って、不快状態判定装置１０は、生体センサにおける不快要因に対する反応速度の個体差を解消しつつ、不快要因に対して生体情報Ｘ，Ｙに反応が現れるまでの遅延時間及び反応強さの個人差を推定することによって、ユーザの不快状態に対する判定精度を向上させることができる。

また、不快状態判定装置１０は、不快要因に対するユーザの行動パターンを、行動情報データベース１７に予め格納しているため、ユーザが不快要因に対する行動を採る前に、ユーザからその不快要因を取り除くことができる。これにより、不快状態判定装置１０は、ユーザの利便性を向上させることができる。

但し、上述した実施の形態１においては、不快状態判定装置１０は、環境情報入力インタフェース３４を温度センサ及びマイクで構成し、環境情報取得部１１がそれらの検出結果を取得可能としているが、環境情報入力インタフェース３４に湿度センサ及び照度センサを追加し、環境情報取得部１１がそれらの検出結果についても取得可能としても構わない。これにより、不快状態判定装置１０は、ユーザが不快と感じる湿度及び照度にも対応することができる。

また、不快状態判定装置１０は、生体情報入力インタフェース３７を心拍計及び脳波計で構成し、生体情報取得部１５が心拍変動及び脳波を取得可能としているが、生体情報入力インタフェース３７に筋電計を追加し、生体情報取得部１５がその筋電図を取得可能としても構わない。これにより、不快状態判定装置１０は、生体情報の種別を増加させることができるので、ユーザの不快状態に対する判定精度をより向上させることができる。

また、不快状態判定装置１０は、不快推定器学習部２２が、学習用データベース１８の履歴情報に基づいて、不快状態のしきい値Ｙｂを更新し、不快推定器２１が、その不快状態のしきい値Ｘｂ，Ｙｂと生体情報Ｘ，Ｙの計測値とを比較して、ユーザの不快状態を判定している。

このとき、学習用データベース１８における履歴情報の蓄積量が十分である場合には、不快推定器学習部２２は、その履歴情報を用いた機械学習等の手段によって、不快推定器２１を学習し、その学習によって生成した不快推定器２１のパラメータを、推定パラメータ保存部２３に格納する。これに対して、不快推定器２１は、機械学習によって生成されたパラメータを用いて、推定結果を出力しても構わない。これにより、不快状態判定装置１０は、大量の履歴情報が蓄積されている場合でも、ユーザの不快状態に対する判定精度を向上させることができる。なお、機械学習方法としては、例えば、ディープラーニングの手法を採用することができる。

また、不快状態判定装置１０は、不快推定器２１が、生体情報Ｘの最も長い反応時間ｔｘに基づいて、不快判定の基準時刻を設定しているが、不快推定器２１が、反応時間ｔｙが最も短い生体情報Ｙのみを用いて、ユーザの不快状態を判定しても構わない。

例えば、不快状態判定装置１０は、不快推定器学習部２２が、学習用データベース１８の履歴情報に基づいて、不快状態のしきい値Ｙｂを更新する際に、不快期間Δｔ内における心拍変動の平常状態のしきい値Ｘａからの変化量が、十分に大きくなった場合のみ、脳波における不快状態のしきい値Ｙｂを更新し、不快推定器２１が脳波の計測値のみを用いて、ユーザの不快状態を判定しても構わない。これにより、不快状態判定装置１０は、ユーザが不快と感じてから不快要因を取り除く制御を行うまでの経過時間を、短縮することができるため、ユーザの利便性を向上させることができる。

更に、不快状態判定装置１０は、不快推定器学習部２２が生体情報Ｘ，Ｙの学習のみを行い、不快推定器２１が生体情報Ｘ，Ｙのみを用いて、ユーザの不快状態を判定しているが、挙動情報取得部１２が取得する挙動情報を用いて、ユーザの不快状態を判定しても構わない。

例えば、不快状態判定装置１０は、不快推定器学習部２２が、挙動情報取得部１２が取得した挙動情報の度合いを示すしきい値を学習し、不快推定器２１が、そのしきい値を用いて、ユーザの不快状態を判定しても構わない。これにより、不快状態判定装置１０は、ユーザが無意識に示す挙動情報から、ユーザの不快状態を検出することができる。

なお、本願発明は、その発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは、各実施の形態における任意の構成要素の変形、もしくは、各実施の形態における任意の構成要素の省略が可能である。

この発明に係る不快状態判定装置は、推定したユーザの不快期間及び複数の生体情報の反応時間に基づいて、当該複数の生体情報の不快推定器への入力タイミングを同期させているため、ユーザの不快状態に対する判定精度を向上させることができ、ユーザの生体情報に基づいて、当該ユーザの不快状態を判定する不快状態判定装置に適している。

１０ 不快状態判定装置、１１ 環境情報取得部、１２ 挙動情報取得部、１３ 制御情報取得部、１４ 制御情報データベース、１５ 生体情報取得部、１６ 行動検出部、１７ 行動情報データベース、１８ 学習用データベース、１９ 不快判定部、２０ 不快期間推定部、２１ 不快推定器、２２ 不快推定器学習部、２３ 推定パラメータ保存部、ｔ 時刻、Δｔ 不快期間、ｔ１ 開始時刻、ｔ２ 終了時刻、ｔ３ 制御開始時刻、Ａ 環境温度、Ａ´ 設定温度上限値、Ｘ，Ｙ 生体情報、Ｘａ，Ｙａ 平常状態のしきい値、Ｘｂ，Ｙｂ 不快状態のしきい値、ｔｘ，ｔｙ 反応時間。

Claims (3)

1. ユーザの不快要因に応じた挙動に関する挙動情報から、不快要因の種別ごとに予め設定されたユーザの行動に関する行動情報を検出する行動検出部と、
   前記行動検出部によって検出された前記行動情報と対応するユーザの不快期間の推定条件を取得し、前記推定条件に対応する履歴情報を用いて、前記不快期間を推定する不快期間推定部と、
   ユーザの複数の生体情報に基づいて、当該ユーザの不快状態を推定する不快推定器と、
   前記不快期間推定部によって推定された前記不快期間に基づいて、複数の生体情報における不快要因に対する反応時間をそれぞれ推定し、前記不快期間及び前記反応時間に基づいて、複数の生体情報の前記不快推定器への入力タイミングを同期させる不快推定器学習部と、
   前記行動検出部が前記行動情報を検出した場合に、前記不快推定器の推定結果に基づいて、ユーザの不快状態を判定する不快判定部とを備える
   ことを特徴とする不快状態判定装置。
2. 前記不快推定器は、
   前記不快推定器学習部が推定した複数の反応時間のうち、反応時間が最も短くなる生体情報のみを用いて、ユーザの不快状態を推定する
   ことを特徴とする請求項１記載の不快状態判定装置。
3. 前記不快推定器学習部は、前記履歴情報の蓄積量に応じて、当該履歴情報を用いた学習を、前記不快推定器に対して行う
   ことを特徴とする請求項１または請求項２記載の不快状態判定装置。

Images