JP6937723B2 - 行動パターンからの乖離度に基づいて感情を推定可能なプログラム、装置及び方法 - Google Patents

Description

本発明は、人物の行動に関するデータを用いて、当該人物の感情を推定する技術に関する。

従来、人物の行動に関するデータ、例えば生活行動データを用いて、当該人物の感情を推定する技術の開発が盛んに進められている。例えば、スマートフォンを操作するユーザの感情を適切に把握することによって、当該ユーザにとって好適なサービスをスマートフォン経由で提供することも可能となる。

このような感情推定技術として、例えば特許文献１には、ユーザの行動を特定するための行動要素（例えば、映画鑑賞等の行動名称や映画館等の滞留地）を含む行動情報と、当該行動情報に対応するユーザの感情情報（例えば、「緊張した」や「楽しかった」等）とに基づき、各感情情報における行動要素の出現確率を算出し、所定の行動が行われたとき、当該行動情報に含まれる行動要素の出現確率が高い感情情報を、当該行動に対するユーザの感情であると推定する技術が開示されている。

具体的に、同技術では最初に、パーソナルコンピュータ（ＰＣ）や携帯端末等のユーザ側装置によって取得されたＧＰＳ（Global Positioning System）情報やスケジュール情報を用いて、各ユーザの行動情報を生成している。この行動情報は、ユーザの行動種別毎に、かかる行動を特定するための行動要素として、（１）会議・ランチ・映画鑑賞等の行動名称、（２）オフィス・レストラン・映画館等の行動場所（滞留地）、（３）行動を共にした同行者を含む情報となっている。

次いで、この行動情報と、ユーザによって入力された、各行動に対する楽しかった・緊張した等の感情情報とに基づき、感情情報毎に各行動要素の発生頻度（出現確率）を算出して感情モデルを生成している。実際に所定の行動情報に対するユーザの感情を推定する際には、生成したこの感情モデルを参照して、かかる行動情報に含まれる行動要素の出現確率が高い感情表現をユーザの感情として推定するのである。

特開２０１３―１０５２３２号公報

しかしながら実際には、人間の感情の発生要因は多種多様であり、例えば、当該人物の行動種別と、滞留場所、さらには同行者が同一であっても当該人物の感情は異なっている、といった場合も少なくない。

特に、人間は通常、各人固有の生活パターン（生活リズム）を有しているが、このパターン（リズム）が崩れると、ネガティブな感情が発生しやすいことが知られている。例えば、同じ「起床」や「食事」といった生活行動を行う場合にも、当該行動が通常の生活パターンから逸脱したタイミングで行われる場合、発生する感情はネガティブな方向へ傾きがちとなる。

ところが、特許文献１に開示された技術を含む従来技術においては、このような生活パターン（リズム）の崩れが感情に及ぼす影響について考慮しておらず、その結果、実際の様々な行動場面における感情推定結果の精度を十分に確保することが困難となっていた。

そこで、本発明は、推定対象の行動における行動パターンからの乖離の度合いを考慮し、より高い精度で感情情報を推定することができるプログラム、装置及び方法を提供することを目的とする。

本発明によれば、あるエリアを行動拠点とするグループに属する人物の感情情報を、当該エリアについて取得された行動関連データに基づいて推定する装置に搭載されたコンピュータを機能させる感情推定プログラムであって、
当該行動関連データを用い、当該グループに属する人物毎に構築された学習済みの行動識別モデルによって、当該人物の行動情報を決定する行動識別手段と、
当該グループに属する人物毎に、決定された当該行動情報に基づいて、当該人物による行動の時系列を含む行動パターン情報を生成する行動パターン生成手段と、
感情推定対象の人物について生成された行動パターン情報を基準とした、当該人物について決定された行動情報の乖離度を決定する乖離度決定手段と、
当該感情推定対象の人物について決定された行動情報及び乖離度を用い、学習済みの感情推定モデルによって、当該人物の感情情報を決定する感情決定手段と
してコンピュータを機能させる感情推定プログラムが提供される。

この本発明による感情推定プログラムの一実施形態として、本感情推定プログラムは、人物を識別することが可能な当該行動関連データである人物識別データを用い、学習済みの人物識別モデルによって、当該人物識別データに係る人物の識別情報を決定する人物識別手段としてコンピュータを更に機能させ、
行動識別手段は、当該エリアに係る検出・測定手段によって取得された当該行動関連データである検出・測定データと、当該識別情報とを用い、当該グループに属する人物毎に構築された学習済みの行動識別モデルによって、当該人物の行動情報を決定することも好ましい。

また、本感情推定プログラムの乖離度決定手段は、決定された行動情報に含まれる行動種別に係る時刻情報と、生成された行動パターン情報における当該行動種別に係る時刻情報との時間差が大きいほど大きな値となる傾向を有する乖離度を決定することも好ましい。

さらに、本感情推定プログラムの行動パターン生成手段は、所定期間内で繰り返される各単位期間の各時刻において決定された行動情報に係る行動種別に基づき、当該単位期間において決定された行動情報毎に、当該行動情報に係る行動種別と、当該行動情報に係る時刻の代表値とを対応付けた情報を当該行動パターン情報として生成することも好ましい。

また、本感情推定プログラムの行動識別手段は、当該グループに属する人物毎に且つ予め設定された行動種別毎に構築された学習済みの行動識別モデルによって、当該人物の行動情報を決定することも好ましい。

さらに、本発明による感情推定プログラムの他の実施形態として、本感情推定プログラムは、当該グループに係る属性情報を保持する属性情報管理手段としてコンピュータを更に機能させ、
行動識別手段は、当該行動関連データ及び当該属性情報を用い、当該グループに属する人物毎に構築された学習済みの行動識別モデルによって、当該人物の行動情報を決定する
ことも好ましい。

また、上記の実施形態において、本感情推定プログラムは、当該行動関連データを用い、学習済みの属性情報推定モデルによって、当該グループに係る属性情報を決定する属性情報決定手段としてコンピュータを更に機能させることも好ましい。

さらに、本発明による感情推定プログラムの更なる他の実施形態として、本感情推定プログラムは、当該行動関連データを用い、当該グループに属する人物毎に構築された学習済みのエリア内滞在判定モデルによって、当該人物が当該エリア内に滞在しているか否かについての情報である滞在判定情報を決定する滞在判定手段としてコンピュータを更に機能させ、
行動パターン生成手段は、当該グループに属する人物毎に、決定された行動情報及び滞在判定情報に基づいて、当該人物の当該行動パターン情報を生成し、
乖離度決定手段は、感情推定対象の人物について生成された行動パターン情報を基準とした、当該人物について決定された行動情報及び滞在判定情報の乖離度を決定し、
感情決定手段は、当該感情推定対象の人物について決定された行動情報、滞在判定情報及び乖離度を用い、学習済みの感情推定モデルによって、当該人物の感情情報を決定することも好ましい。

また、本発明による感情推定プログラムにおいて、当該人物識別データは、当該エリアについて設けられたカメラによって取得される画像データ、及び／又は当該エリアについて設けられたマイクによって取得される音声データを含むことも好ましい。

さらに、本発明による感情推定プログラムにおいて、当該検出・測定データは、当該エリアについて設けられた電力計、通信装置、温度計、湿度計、照度計、人感センサ及び生体センサによってそれぞれ取得される、消費電力量データ、通信量データ、温度データ、湿度データ、照度データ、人検出データ及び生体データのうちの少なくとも１つのデータを含むことも好ましい。

本発明によれば、また、あるエリアを行動拠点とする人物グループの快適度を、当該エリアについて取得された行動関連データに基づいて推定する装置に搭載されたコンピュータを機能させる快適度推定プログラムであって、
当該行動関連データを用い、当該人物グループに属する人物毎に構築された学習済みの行動識別モデルによって、当該人物の行動情報を決定する行動識別手段と、
当該人物グループに属する人物毎に、決定された当該行動情報に基づいて、当該人物による行動の時系列を含む行動パターン情報を生成する行動パターン生成手段と、
当該人物グループに属する人物毎に、生成された行動パターン情報を基準とした、当該人物について決定された行動情報の乖離度を決定する乖離度決定手段と、
当該人物グループに属する人物について決定された行動情報及び乖離度を用い、学習済みの快適度推定モデルによって、当該人物グループの快適度を決定する快適度決定手段と
してコンピュータを機能させる快適度推定プログラムが提供される。

この本発明による快適度推定プログラムの一実施形態によれば、本快適度推定プログラムは、人物を識別することが可能な当該行動関連データである人物識別データを用い、学習済みの人物識別モデルによって、当該人物識別データに係る人物の識別情報を決定する人物識別手段としてコンピュータを更に機能させ、
行動識別手段は、当該エリアに係る検出・測定手段によって取得された当該行動関連データである検出・測定データと、当該識別情報とを用い、当該グループに属する人物毎に構築された学習済みの行動識別モデルによって、当該人物の行動情報を決定することも好ましい。

本発明によれば、さらに、あるエリアを行動拠点とするグループに属する人物の感情情報を、当該エリアについて取得された行動関連データに基づいて推定する感情推定装置であって、
当該行動関連データを用い、当該グループに属する人物毎に構築された学習済みの行動識別モデルによって、当該人物の行動情報を決定する行動識別手段と、
当該グループに属する人物毎に、決定された当該行動情報に基づいて、当該人物による行動の時系列を含む行動パターン情報を生成する行動パターン生成手段と、
感情推定対象の人物について生成された行動パターン情報を基準とした、当該人物について決定された行動情報の乖離度を決定する乖離度決定手段と、
当該感情推定対象の人物について決定された行動情報及び乖離度を用い、学習済みの感情推定モデルによって、当該人物の感情情報を決定する感情決定手段と
を有する感情推定装置が提供される。

本発明によれば、さらにまた、あるエリアを行動拠点とするグループに属する人物の感情情報を、当該エリアについて取得された行動関連データに基づいて推定する装置に搭載されたコンピュータにおける感情推定方法であって、
当該行動関連データを用い、当該グループに属する人物毎に構築された学習済みの行動識別モデルによって、当該人物の行動情報を決定するステップと、
当該グループに属する人物毎に、決定された当該行動情報に基づいて、当該人物による行動の時系列を含む行動パターン情報を生成するステップと、
感情推定対象の人物について生成された行動パターン情報を基準とした、当該人物について決定された行動情報の乖離度を決定するステップと、
当該感情推定対象の人物について決定された行動情報及び乖離度を用い、学習済みの感情推定モデルによって、当該人物の感情情報を決定するステップと
を有し、上記の各ステップをコンピュータが実行する感情推定方法が提供される。

本発明の感情推定プログラム、装置及び方法によれば、推定対象の行動における行動パターンからの乖離度を考慮して、より高い精度で感情情報を推定することができる。

本発明による感情推定装置を含む感情推定システムの一実施形態を示す模式図である。 本発明による感情推定方法の一実施例における宅内行動識別処理の結果を示すテーブルである。 本発明による感情推定方法の一実施例における在（滞在）判定処理の結果を示すテーブルである。 本発明による感情推定方法の一実施例における生活パターン（宅内行動パターン）生成処理の結果を示すテーブルである。 本発明による感情推定方法の一実施例における乖離度決定処理の結果を示すテーブルである。 本発明による感情推定方法の一実施例で使用される感情ラベル情報を示すテーブルである。 本発明による感情推定方法の一実施例における感情決定処理の結果を示すテーブルである。 本発明による快適度推定装置の一実施形態を示す機能ブロック図である。

以下、本発明の実施形態について、図面を用いて詳細に説明する。

[感情推定システム]
図１は、本発明による感情推定装置を含む感情推定システムの一実施形態を示す模式図である。

図１に示した本実施形態の感情推定システムは、固定系又は無線系アクセスネットワークである事業者通信網に設置されており、本発明による感情推定装置１を含む。本感情推定装置１は、一世帯のエリアとしての自宅を行動拠点とする世帯構成員である複数のユーザの各々における感情情報を、当該エリア（自宅）について取得された「行動関連データ」に基づいて推定可能となっている。

ここで、「行動関連データ」は、本実施形態において、
（ａ）人物を識別することが可能な「人物識別データ」と、
（ｂ）自宅における検出・測定手段によって取得された「検出・測定データ」と
を含む。

具体的に、上記（ａ）の「人物識別データ」は、
（ａ１）自宅について設けられたカメラ２（例えば、ネットワークカメラやコミュニケーションロボットに搭載されたカメラ等）によって取得される画像（映像）データ、及び
（ａ２）自宅について設置されたマイク（例えば、ネットワークカメラに搭載されたマイクやスマートスピーカに搭載されたマイク等）によって取得される音声データ
の両方又はいずれか一方を含むことも好ましい。このような画像データや音声データに対し、画像解析・識別処理や音声解析・識別処理を施すことによって、当該データが、予め登録された人物のうちのいずれに係るデータであるかを判定することが可能となる。

また、上記（ｂ）の「検出・測定データ」は、
（ｂ１）自宅について設けられた電力計（例えばスマートメータ４等）によって取得される消費電力量データ、
（ｂ２）自宅について設けられた通信装置（例えばホームゲートウェイ（ＨＧＷ）５）によって取得される通信量データ、
（ｂ３）自宅について設けられた温度計３によって取得される温度データ、
（ｂ４）自宅について設けられた湿度計３によって取得される湿度データ、
（ｂ５）自宅について設けられた照度計３によって取得される照度データ、
（ｂ６）自宅について設けられた人感センサ３によって取得される人検出データ、及び
（ｂ７）自宅について設けられた生体センサ３（例えば、ユーザの装着したウェアラブル端末に搭載された（例えば脈拍、心拍、脳波等を計測可能な）生体センサや自宅に設置された体温感知赤外線センサ等）によって取得される生体データ
のうちの少なくとも１つのデータを含むことも好ましい。

ここで、上述したスマートメータ４や各種センサ３といった「検出・測定手段」は、自宅に係る手段であって、自宅（エリア）内（若しくは外）の所定位置に設置されていてもよく、自宅（エリア）内を移動する移動手段に設置されていてもよい。

また、上記（ｂ１）の消費電力量データは、本実施形態において世帯構成員の電力消費エリアである自宅に設置されたＨＧＷ５から事業者通信網を介して感情推定装置１に送信される。ここで、消費電力量はスマートメータ４で計測され、この計測データが、例えばＨＥＭＳ（Home Energy Management System）を介してＨＧＷ５に出力される。また、変更態様として、スマートメータ４が消費電力量の計測データを（図示されていない）ＭＤＭＳ（Meter data Management System）に送信し、感情推定装置１は、このＭＤＭＳから消費電力量データを取得してもよい。

いずれにしてもスマートメータ４は、ユーザによる自宅における消費電力量を計測し、単位時間毎の消費電力量の計測データを出力することができる。ここで、スマートメータ４の代わりに、分電盤に設置されたＣＴセンサ、クランプメータ（架線電流計）、又はコンセントに設置されたコンセントタップ（タップ型電力計）等を使用することも可能である。この場合、ＣＴセンサやコンセントタップ等によって宅内配電の個別の、又は主幹の消費電力量を計測し、消費電力量の計測データをＨＧＷ５に出力することになる。

ＨＧＷ５は、スマートフォンやパーソナルコンピュータ（ＰＣ）等の通信装置が接続されたホームネットワーク、及び（図示されていない）セットトップボックス（ＳＴＢ）等と、事業者通信網との間の通信を中継・制御する通信装置である。ＨＧＷ５は、接続されたこれらの通信装置と、例えばインターネット上に設置されたサーバ７との間の通信トラフィックの量を計測し、単位時間毎の通信トラフィック量の計測データ（通信量データ）を、事業者通信網を介して感情推定装置１に送信する。

ここで、ＨＧＷ５は、通信量データとともに、当該データの通信主体である通信装置の装置識別子（例えば、ＭＡＣ（Media Access Control）アドレス）を、当該通信データに紐付けて感情推定装置１に送信することも好ましい。

属性情報管理装置６は、例えば事業者通信網内に設置されており、当該世帯構成員である各ユーザから、例えばアンケート調査結果や申告内容として属性情報を受信し、当該属性情報を世帯（ユーザグループ）ＩＤと対応付けて記憶・管理する。ここで、属性情報としては、
世帯構成，居住地域，住居種別，間取り情報，所有家電情報，・・・
等、世帯・自宅に関する静的属性情報ならば種々の情報を属性情報とすることができる。

ユーザは当該属性情報を、例えばホームネットワークに接続されたＰＣに入力し、ＨＧＷ５から事業者通信網を介して属性情報管理装置２に送信してもよい。感情推定装置１は、この属性情報管理装置２から、世帯ＩＤに紐付けられた属性情報を取得する。

同じく図１に示すように、感情推定装置１は、具体的にその特徴として、
（Ａ）「検出・測定データ」を用い、当該世帯のユーザ（グループに属する人物）毎に構築された学習済みの行動識別モデルによって、当該ユーザ（人物）の「行動情報」を決定する行動識別部１２２と、
（Ｂ）当該世帯のユーザ（グループに属する人物）毎に、決定された「行動情報」に基づいて、当該人物による行動の時系列を含む「行動パターン情報」を生成する行動パターン生成部１２４と、
（Ｃ）感情推定対象のユーザ（人物）について生成された「行動パターン情報」を基準とした、当該ユーザ（人物）について決定された「行動情報」の「乖離度」を決定する乖離度決定部１２５と、
（Ｄ）感情推定対象のユーザ（人物）について決定された「行動情報」及び「乖離度」を用い、学習済みの感情推定モデルによって、当該ユーザ（人物）の「感情情報」を決定する感情決定部１２６と
を有している。

このように、感情推定装置１は、感情推定対象のユーザ（人物）について、「行動パターン情報」を基準とした「行動情報」の「乖離度」を決定し、この「乖離度」を考慮して当該ユーザ（人物）の「感情情報」を推定することができる。例えば、人間は通常、各人固有の生活パターンを有しているが、このパターンが崩れると情緒的に不安定となる傾向があり、ネガティブな感情が発生しやすい。感情推定装置１は、そのような人間の特性を鑑み、上述した「乖離度」を考慮することによって、より高い精度で「感情情報」を推定可能とするのである。

ここで本実施形態では、感情推定装置１は、
（Ｅ）「人物識別データ」を用い、学習済みの人物識別モデルによって、「人物識別データ」に係る人物の「識別情報」を決定する人物識別部１２１
を更に有している。この場合、行動識別部１２２は、「検出・測定データ」と「識別情報」とを用い、当該世帯のユーザ毎に構築された学習済みの行動識別モデルによって、当該ユーザ（人物）の「行動情報」を決定する。このように「識別情報」を利用することによって、ユーザ個々人について決定される「行動情報」の精度をより向上させることが可能となるのである。

ちなみに、感情推定装置１は当然に、自宅を行動拠点とする家族各員の感情推定を実施する用途に限定されるものではない。感情推定対象の人物が属するグループ（１人のグループでもよい）の行動拠点となるエリアであって、当該エリアにおいて「人物識別データ」や「検出・測定データ」が取得可能なエリアに係る人物であれば、様々な人物の感情情報を推定することができる。例えば、オフィスにおける各社員の感情情報を推定することも可能となるのである。

また、「人物識別データ」や「検出・測定データ」についても以上に例示したものに限定されるものではない。例えば、指紋認証センサや光彩認証センサによる指紋認証データや光彩認証データを「人物識別データ」とすることも可能である。また、ガス使用量データや水道使用量データ、さらには（図示していない）気象情報管理サーバから取得される当該エリアにおける気象データを、「検出・測定データ」として採用してもよい。

［感情推定装置，感情推定プログラム］
同じく図１の機能ブロック図によれば、感情推定装置１は、通信インタフェース部１０１と、行動関連データ保存部１０２と、属性情報保存部１０３と、感情ラベル保存部１０４と、ディスプレイ（ＤＰ）１０５と、キーボード（ＫＢ）１０６と、プロセッサ・メモリとを有する。

ここで、このプロセッサ・メモリは、本発明による感情推定プログラムの一実施形態を保存しており、また、コンピュータ機能を有していて、この感情推定プログラムを実行することによって、感情推定処理を実施する。このことから、感情推定装置１は、本発明による感情推定プログラムを搭載した、例えばパーソナル・コンピュータ（ＰＣ）、ノート型若しくはタブレット型コンピュータ、又はスマートフォン等であってもよい。

さらに、プロセッサ・メモリは、人物識別データ管理部１１１と、検出・測定データ管理部１１２と、属性情報管理部１１３と、属性情報決定部１１４と、特徴量生成部１１５と、人物識別部１２１と、行動識別部１２２と、滞在判定部１２３と、行動パターン生成部１２４と、乖離度決定部１２５と、感情決定部１２６と、通信制御部１３１と、入出力制御部１３２とを有する。なお、これらの機能構成部は、プロセッサ・メモリに保存された感情推定プログラムの機能と捉えることができる。また、図１における感情推定装置１の機能構成部間を矢印で接続して示した処理の流れは、本発明による感情推定方法の一実施形態としても理解される。

通信インタフェース部１０１は、
（ａ）ユーザの自宅に設置されたＨＧＷ５等から、画像データや音声データ等の人物識別データと、各種センサ３、スマートフォン４、ＨＧＷ５による検出・測定データとを受信し、また、属性情報管理装置２から、アンケートや申告等の形で収集された属性情報を受信して、通信制御部１３１を介して装置内に取り込ませる。
またさらに、通信インタフェース部１０１は、
（ｂ）感情決定部１２６で決定された各ユーザについての感情推定結果データを、入出力制御部１３２及び通信制御部１３１を介して入力し、外部の情報処理装置へ送信してもよい。送信された感情推定結果データは、当該情報処理装置において、様々な用途に利用可能となる。

行動関連データ保存部１０２は、取り込まれた行動関連データ（人物識別データ及び検出・測定データ）を、世帯ＩＤ及び年月日・時刻と紐づけて保存するデータベースである。また、属性情報保存部１０３は、同じく取り込まれた属性情報を、世帯ＩＤに紐づけて保存するデータベースとなっている。

人物識別データ管理部１１１は、人物識別部１２１での人物識別処理のために必要な人物識別データを適宜、行動関連データ保存部１０２から読み出して特徴量生成部１１５へ出力し、特徴量生成部１１５に対して人物識別処理で使用される特徴量を生成させる。

検出・測定データ管理部１１２は、行動識別部１２２、滞在判定部１２３及び感情決定部１２６での処理のために必要な検出・測定データを適宜、行動関連データ保存部１０２から読み出して特徴量生成部１１５へ出力し、特徴量生成部１１５に対して当該処理で使用される特徴量を生成させる。

属性情報管理部１１３は、行動識別部１２２及び滞在判定部１２３での処理のために必要な属性情報を適宜、属性情報保存部１０３から読み出して特徴量生成部１１５へ出力し、特徴量生成部１１５に対して当該処理で使用される特徴量を生成させる。

属性情報決定部１１４は、検出・測定データ管理部１１２（行動関連データ保存部１０２）から取得される検出・測定データを用い、学習済みの属性情報推定モデルによって、対象世帯に係る属性情報を決定する。具体的には、本願の出願人が出願人に含まれる特開２０１５−１６２２２９号公報「特徴時間帯での消費電力量からユーザ属性を推定するプログラム、装置及び方法」に記載されているように、
（ａ）消費電力量データから、各時間帯での消費電力量の最小値に基づいて機器起因電力量を算出し、当該時間帯での消費電力量と機器起因電力量とに基づいて、当該ユーザの活動に係る電力量に対応する活動電力量を算出し、
（ｂ）当該ユーザの所定期間での活動電力量から、当該所定期間を構成する単位期間毎に、各時間帯での活動電力量を要素とする活動電力ベクトルを生成し、活動電力ベクトルを所定数のクラスタに分類するクラスタリング処理を行い、最大のクラスタに属する活動電力ベクトルに基づいて、当該ユーザの特徴時間帯での活動電力量を代表する特徴時間代表ベクトルを生成し、
（ｃ）当該ユーザの１つの単位期間における活動電力ベクトルの要素と、当該ユーザについて生成された特徴時間代表ベクトルの要素とを含む特徴ベクトルを生成し、
（ｄ）当該特徴ベクトルと、当該特徴ベクトルに係るユーザの属性情報との組を教師データとして含む教師データセットを用いて機械学習を行って推定モデルを構築し、
（ｅ）当該ユーザの１つの単位期間における活動電力ベクトルの要素と、当該ユーザについて生成された特徴時間代表ベクトルの要素とを含む特徴ベクトルを構築された推定モデルに入力し、当該ユーザの属性情報を推定する
ことも好ましい。

また、本願の出願人が出願人に含まれる特開２０１４−１６７７１５号公報「生活関連量の決定木を用いてユーザ属性を推定するユーザ属性推定プログラム、装置及び方法」に記載されているように、
（ａ）単位期間における生活関連量データである単位期間データと、当該単位期間データに係る属性値との組を教師データとして含む教師データセットから、複数のサブセットを生成し、
（ｂ）生成されたサブセット毎に、当該サブセットにおける単位期間データについての分岐判定式が根ノード及び内部ノードの各々において規定された決定木であって、分岐判定式による学習の結果として葉ノードに属性値が対応付けられた決定木を生成し、
（ｃ）所定の推定期間における推定対象データを構成する単位期間データであって、当該推定期間を構成する複数の単位期間の各々において取得された単位期間データを、生成された複数の決定木に入力し、当該決定木の各々における到達先となった葉ノードに対応付
けられた属性値に基づいて、単位ユーザ属性情報を決定し、
（ｄ）推定期間を構成する複数の単位期間の各々について決定された単位ユーザ属性情報に基づいて、当該推定期間における属性情報を決定する
ことも好ましい。

さらに、本願の出願人が出願人に含まれる特開２０１４−０７１６５４号公報「ユーザ属性を考慮した電力消費関連支援装置、携帯端末、プログラム及び方法」に記載されているように、
（ａ）ユーザの生活行動又は生活環境に関連する生活関連量であって、電力消費量を含む少なくとも１つの生活関連量の計測値から生成される生活関連データを蓄積し、
（ｂ）電力消費パターン毎に、予め設定された属性情報を対応付けて記録した属性情報テーブルを有し、蓄積された当該ユーザに係る電力消費データに基づき、当該属性情報テーブルを用いて、当該ユーザの属性情報を推定する
ことも好ましい。

同じく図１において、特徴量生成部１１５は、人物識別データ、検出・測定データ及び属性情報のうちの少なくとも１つを用いて、後に実施される人物識別処理、行動識別処理、滞在判定処理及び感情決定処理に使用される特徴量（ベクトル）を生成し、各処理部に出力する。

特徴量生成部１１５は、例えば、人物識別データである画像（映像）データを用い、人物識別処理用の特徴量として、公知のＨＯＧ特徴量を生成することも好ましい。ＨＯＧ特徴量は、画像の局所領域における輝度の勾配方向をヒストグラム化し、各度数を成分としたベクトル量である。また、画像（映像）データから、公知の高速Ｒ-ＣＮＮ（faster Regions with Convolutional Neural Network features）によって特徴量を抽出してもよい。

さらに例えば、特徴量生成部１１５は、人物識別データである音声データを用い、高速フーリエ変換（ＦＦＴ，Fast Fourier Transform）や、メル周波数ケプストラム係数（ＭＦＣＣ，Mel-Frequency Cepstrum Coefficients）による人物識別処理用の特徴量を生成することも好ましい。

また、特徴量生成部１１５は、各種センサ３から取得された検出・測定データについて、例えば、所定単位時間（例えば5分間）におけるデータの平均値や分散値といった統計値を算出し、当該統計値をベクトル要素とした特徴量を生成してもよい。

人物識別部１２１は、人物識別データから生成された特徴量を用い、学習済みの人物識別モデルによって、当該人物識別データ（特徴量）に係る人物の識別情報であるユーザＩＤを決定する。ここで、人物識別モデルは、例えばＮＮ（Neural Network）やＳＶＭ（Support Vector machine）等によって構築されることも好ましく、人物識別データによる特徴量と正解ユーザＩＤとの教師データセットによって予め学習済みのものが使用される。また、人物識別部１２１は、識別結果としてのユーザＩＤと対応する時刻とが紐づけられた識別情報を、保存して適宜出力する。

行動識別部１２２は、行動識別対象のユーザについて、検出・測定データから生成された特徴量、当該ユーザのユーザＩＤ（識別情報）、及び対象世帯の属性情報を用い、対象世帯に属するユーザ（人物）毎に且つ予め設定された行動種別毎に構築された学習済みの行動識別モデルによって、当該ユーザの行動識別情報（推定される行動種別を含む行動情報）を決定する。

ここで、ユーザ毎且つ行動種別毎に設定された行動識別モデルは、例えばランダムフォレスト（Random Forest）、Xgboost（eXtreme Gradient Boosting）、ＳＶＭ、ＣＮＮ（Convolutional Neural Network）、ＲＮＮ（Recurrent Neural Network）等によって構築されることも好ましく、検出・測定データによる特徴量と、該当時間において人物識別部１２１より出力されたユーザＩＤと、対象世帯の属性情報から生成された特徴量と、正解の行動種別に係る情報との正解データセットによって予め学習済みのものが使用される。

このうち、正解の行動種別は、ユーザに対するアンケート結果やユーザによる申告内容によって決定してもよい。具体的な行動種別の例としては、
睡眠，起床，調理，朝食，服薬，身支度（外出準備），出勤・外出，掃除，
洗濯，スマホ・ＰＣ使用，昼食，買い物・外出，（子供の）帰宅，勉強，
（出勤者の）最寄り場所通過，（出勤者の）帰宅，夕食，テレビ視聴，
入浴，団欒，（子供の）就寝，仕事，（親の）就寝
が挙げられる。ここで、アンケート結果や申告内容は、対象世帯の各ユーザについて、正解データセットを生成するための所定期間における、実際に実施した行動種別毎にその開始時刻及び終了時刻を紐づけたデータとすることができる。

なお、行動識別部１２２は、以上に説明したような行動種別決定処理を、対象世帯の各ユーザに対して所定の時間間隔（例えば5分間隔）で実施し、推定時刻毎に、当該ユーザのユーザＩＤと、決定された行動種別と、当該行動種別の推定スコアとが対応付けられた行動識別情報を、保存し適宜出力する。

ここで、ユーザ毎且つ行動種別毎に設定された行動識別モデルからは、例えば、当該ユーザが当該行動種別の行動を実施した確率値が出力される（例えば、「父」が「就寝」している確率は「60％」であるとの結果が出力される）。この場合、行動識別部１２２は、当該ユーザについて、この確率値が最も高い行動種別を推定行動種別に決定し、当該行動種別の確率値を、（0.00から1.00までの数値をとる）推定スコアとするのである。当然に、この推定スコアが大きいほど、推定結果の尤度がより高いものとなる。

なお、行動識別部１２２は、本願の出願人が出願人に含まれる特開２０１５−１５３１５６号公報「消費電力量に基づく整合性のある生活状況の推定が可能な装置、プログラム及び方法」に記載されているように、
（ａ）当該ユーザの消費電力量のデータに基づいて、推定対象となる複数の生活行動（生活状況）項目のそれぞれについて生活行動を推定し、
（ｂ）複数の生活行動の間の整合性を取り決めた生活行動ルール（生活状況ルール）に基づいて、当該複数の生活行動項目のそれぞれにおける生活行動の推定結果間の整合性を判断し、
（ｃ）複数の生活行動推定の推定精度に基づいて算定された評価値を保持し、
（ｄ）整合性がないと判断された推定結果の組について、当該組の推定結果に係る評価値に基づき、当該組の推定結果のうちの１つ又は複数の推定結果を変更して整合性のある状態とした場合の総評価値を算出し、算出された総評価値同士を比較することによって、最も評価の高い変更後の推定結果の組を、補正された推定結果の組とする
ことも好ましい。

滞在判定部１２３は、滞在判定対象のユーザについて、検出・測定データから生成された特徴量、当該ユーザのユーザＩＤ（識別情報）、及び対象世帯の属性情報を用い、対象世帯に属するユーザ（人物）毎に構築された学習済みの滞在判定モデルによって、当該ユーザの滞在状況、具体的には例えば、当該ユーザが自宅（エリア）に滞在しているか否かの滞在判定情報を決定する。

ここで、ユーザ毎に設定された滞在判定モデルも、例えばランダムフォレスト、Xgboost、ＳＶＭ、ＣＮＮ、ＲＮＮ等によって構築されることも好ましく、検出・測定データによる特徴量と、該当時間において人物識別部１２１より出力されたユーザＩＤと、対象世帯の属性情報と、正解の滞在判定情報との正解データセットによって予め学習済みのものが使用される。

なお、滞在判定部１２３においても、以上に説明したような滞在判定処理を、対象世帯の各ユーザに対して所定の時間間隔（例えば5分間隔）で実施し、推定時刻毎に、当該ユーザのユーザＩＤと、決定された滞在判定情報と、当該情報の判定スコアとが対応付けられた判定結果情報を、保存し適宜出力する。ここで、この判定スコアも0.00から1.00までの数値をとり、より大きな値をとるほど、判定結果の尤度がより高いものとなる。

ちなみに、行動識別部１２２において、ユーザ毎且つ行動種別毎に設定された行動識別モデルのうちの１つを滞在判定モデルとし、滞在判定部１２３の機能を行動識別部１２２に含めてしまう形態も可能である。本実施形態では、滞在判定情報が感情決定処理結果の精度向上に特に有効であるとの知見に基づき、特に有効な機能構成である滞在判定部１２３を、あえて分離して示しているのである。

なお、滞在判定部１２３は、本願の出願人が出願人に含まれる特開２０１５−０８７９００号公報「電力消費及び通信トラフィックを考慮したユーザ活動状況の判定装置、プログラム及び方法」に記載されているように、ユーザの自宅（滞在対象区域）で取得される複数の時間帯の各々における消費電力量データと、当該自宅で取得される複数の時間帯の各々における通信量データとに基づいて、ユーザが所定の時間帯に当該自宅に滞在していたか否かを判定してもよい。

ここで、蓄積された通信量データから、当該自宅でのユーザの行動に起因するユーザ起因の通信量データを分離し、当該ユーザ起因の通信量データを、ユーザが当該自宅に滞在していたか否かの判定における基準とすることも好ましい。

同じく図１において、行動パターン生成部１２４は、対象世帯に属するユーザ毎に、行動識別部１２２で決定された行動識別情報、及び滞在判定部１２３で決定された滞在判定情報に基づいて、当該ユーザの行動パターン情報を生成する。行動パターン生成部１２４は生成した行動パターン情報を保存し、後に乖離度決定処理のために出力する。

具体的に、行動パターン生成部１２４は、所定期間（例えば2週間）内で繰り返される各単位期間（例えば各日）の各時刻において決定された行動識別情報（滞在判定情報）に係る行動種別（判定結果）に基づき、当該単位期間（例えば14日の各々）において決定された行動識別情報（滞在判定情報）毎に、当該行動識別情報（滞在判定情報）に係る行動種別（判定結果）と、当該行動識別情報（滞在判定情報）に係る時刻の代表値（例えば平均値や中央値）とを対応付けた情報を行動パターン情報として生成することができる。

ここで、対象世帯に属するユーザ毎に生成される行動パターン情報は、例えば平日での行動パターン情報と、休日での行動パターン情報とに分けて生成されてもよい。この場合例えば、所定期間（例えば2週間）における平日10日間での行動識別情報及び滞在判定情報を用いて、平日での行動パターン情報が生成され、一方、所定期間（例えば2週間）における休日4日間での行動識別情報及び滞在判定情報を用いて、休日での行動パターン情報が生成されてもよい。

なお、行動パターン生成部１２４は、本願の出願人が出願人に含まれる特開２０１５−１９７７４１号公報「消費電力量に基づいて生活パターンを推定する装置、プログラム及び方法」に記載されているように、
（ａ）統計対象ユーザについて、統計期間を構成する単位期間毎に、特定時間内の各時間帯での消費電力量データに基づいて特徴量ベクトルを生成し、当該特徴量ベクトルをクラスタとして分類し、
（ｂ）統計対象ユーザの消費電力量データに基づいて、１つ以上の生活行動の発生した発生時刻又は時間帯を推定し、
（ｃ）分類されたクラスタに対し、当該クラスタに属する特徴量ベクトルと、当該特徴量ベクトルとしての消費電力量データについて推定された生活行動の発生時刻又は時間帯とに基づいて、推定される生活行動と当該生活行動の発生時刻又は時間帯情報とをラベル付けし、
（ｄ）分類されたクラスタの中から、行動パターン生成対象ユーザの消費電力量データに対応するクラスタを決定し、決定したクラスタにラベル付けされた生活行動と当該生活行動の発生時刻又は時間帯情報とに基づいて、行動パターン生成対象ユーザの行動パターン情報を生成する
ことも好ましい。

乖離度決定部１２５は、感情推定対象のユーザについて生成された行動パターン情報を基準とした、当該ユーザについて決定された行動識別情報及び滞在判定情報の乖離スコア（乖離度）を決定する。ここで、乖離度決定部１２５は、
（ａ）決定された行動情報に含まれる「行動種別」に係る時刻情報と、生成された行動パターン情報における当該「行動種別」に係る時刻情報との「時間差」が大きいほど大きな値となる傾向を有する乖離スコアであって、
（ｂ）決定された滞在判定情報に含まれる「滞在（又は不在）」に係る時刻情報と、生成された行動パターン情報における「滞在（又は不在）」に係る時刻情報との「時間差」が大きいほど大きな値となる傾向を有する乖離スコア
を決定する。ちなみに、「行動種別」に例えば「外出」を含む実施形態であれば、上記（ａ）の条件だけを満たす乖離スコアが決定されてもよい。

具体的な乖離スコア決定処理として、例えば、上記の「時間差」の単調増加関数であって、「時間差」がゼロの場合にゼロ値をとり上限が1となるスコアを、乖離スコアとしてもよい。また変更態様として、ロジスティック回帰等の２値分類の識別器等によって、乖離スコアを算出することも可能である。

また、乖離度決定部１２５においても、以上に説明したような乖離度決定処理を、対象世帯の各ユーザに対して所定の時間間隔（例えば5分間隔）で実施し、乖離スコアと、当該乖離スコアの決定時刻とが対応付けられた乖離スコア情報を、保存し適宜出力してもよい。

同じく図１において、感情ラベル保存部１０４は、次に説明する感情決定部１２６の感情推定モデルの構築時の学習用（正解）データとして使用されるユーザ毎の感情ラベル情報を、保存して感情決定部１２６へ適宜出力する。本実施形態において、対象世帯の各ユーザは、アンケート結果や申告内容としての当該感情ラベル情報を、例えばホームネットワークに接続されたＰＣへ入力し、ＨＧＷ５から事業者通信網を介して感情推定装置１に送信して、感情ラベル保存部１０４に保存させることも好ましい。

また、ホームネットワークに接続されたスマートフォンに搭載された感情ラベル登録用アプリを利用して感情ラベル情報を生成し、感情推定装置１へ送信してもよい。さらには、カメラで撮影された映像を見てラベリングを行う等の方法で作成した感情ラベル情報を、スマートフォンやＰＣから感情推定装置１へ送信する形態とすることも可能である。

ここで、感情ラベル情報に含まれる感情ラベルとして、公知の様々な感情モデルにおける感情ラベルを採用することも可能である。例えば、実際の生活行動時に抱かれ易い感情として、
リラックス（時の感情），ニュートラル（な感情），
焦り，疲労（時の感情），・・・
を感情ラベルとし、このうち実際に該当した感情ラベルと、当該感情ラベルの感情が発生した時間区間情報（例えば発生時刻及び終了時刻）と、当該ユーザのユーザＩＤとを対応付けた情報を感情ラベル情報とすることも好ましい。

感情決定部１２６は、感情推定対象のユーザについて決定された行動識別情報、滞在判定情報、及び乖離スコアを用い、学習済みの感情推定モデルによって、当該ユーザについての推定される感情ラベルを含む感情情報を決定する。

ここで、感情推定モデルは、例えばランダムフォレスト、Xgboost、ＮＮや、ＳＶＭ、さらには、ＣＮＮやＲＮＮ等の教師有り学習を行う深層学習手段によって構築することができる。また、感情ラベル保存部１０４に保存された感情ラベルが十分に多くない場合、半教師有り学習手段によって構築されることも好ましい。

また、この感情推定モデルは、ユーザ毎に構築されることも好ましく、当該ユーザにおける行動識別情報、滞在判定情報、対応する乖離スコア、及び当該ユーザの正解感情ラベル情報を含む教師データを用いた学習によって構築することができる。さらに、この教師データの中に、対応する検出・測定データから生成された特徴量を含めてもよい。また、感情推定モデルは、例えば構築時点までに蓄積されたデータを利用して構築されることも好ましく、定期的に再構築若しくは更新されることも好ましい。

感情決定部１２６は、以上に説明した感情推定モデルによる感情決定処理を、対象世帯の各ユーザに対して所定の時間間隔（例えば5分間隔）で実施し、推定時刻毎に、当該ユーザのユーザＩＤと、決定された感情ラベルを含む感情情報と、推定スコアとが対応付けられた感情推定情報を、保存し適宜出力する。ここで、この推定スコアも0.00から1.00までの数値をとり、より大きな値をとるほど、推定結果の尤度がより高いものとなる。

ちなみに、以上説明したように構築された感情推定モデルは、多くの行動種別（例えば「起床」との行動種別）については、入力される乖離スコアが大きいほど（例えば起床時刻が通常より遅くなるほど）、ネガティブな（例えば「焦り」や「疲労」といった）感情情報を出力する傾向を有するものになることも考えられる。

一方、例えば対象の行動種別が「テレビ視聴」の場合は、入力される乖離スコアが大きいほど（例えばテレビ視聴時間が通常よりも長くなるほど）、ポジティブな（例えば「リラックス」といった）感情情報を出力する傾向を有するものとなることも考えられる。

また、感情推定モデル構築の際、及び感情決定処理の際に、感情推定対象以外のユーザについての行動識別情報及び滞在判定情報を入力することも好ましい。これにより、例えば一緒に所定の行動（例えば「団欒」や「食事」）をしているといった、他者との関係に係る情報をも加味した感情決定処理が可能となるのである。

なお変更態様として、感情決定部１２６は、本願の出願人が出願人に含まれる特開２０１５−１９１４７１号公報「感情情報推定装置、方法及びプログラム」に記載されているように、
（ａ）行動データを時間軸上で動作素片へと分割すると共に、各動作素片を分類して複数の動作種別のいずれに該当するかを特定し、
（ｂ）各動作素片より算出された特徴量に基づき、各動作素片が複数の感情情報のいずれに該当するかを推定し、
（ｃ）動作素片ごとに推定された感情情報を、特定された動作種別に対する重み情報を用い、行動データの全体に渡って統合することによって、行動データが複数の感情情報のいずれに該当するかを特定する
ことによって、感情情報を決定することも好ましい。

なお、感情決定部１２６によって決定され保存された感情情報は、例えば、入出力制御部１２３を介してディスプレイ１０４に表示されてもよい。例えば、ユーザ毎に、推定時刻の経過とともに、行った行動種別（例えば「起床」や「団欒」）とその際の感情とが変遷していく様子が分かるテーブルやグラフが表示されることも好ましい。また、装置１のコンピュータに搭載された（図示していない）アプリケーションが、感情情報を取り込んで、目的とする感情関連情報を出力するための処理を実施してもよい。

さらに、この感情情報が、通信制御部１２１及び通信インタフェース部１０１を介して、ＨＧＷ５や、当該ユーザの所持する端末・ＰＣ、さらには別の情報処理装置へ送信され利用されてもよい。また、以上に説明したような感情決定処理の実行指示や、推定処理に必要となるデータの入力は、例えばキーボード１０５を介して行われてもよい。

［実施例］
本実施例では、行動拠点エリアを自宅とする、父、母、長女及び次女からなる4人家族世帯において、2018年1月1日〜1月31日に収集したデータを学習データとして感情推定モデルを構築し、父、母、長女及び次女の各人について、2018年2月1日に感情決定処理を実施している。

図２は、本発明による感情推定方法の一実施例における宅内行動識別処理の結果を示すテーブルである。

図２によれば、父、母、長女及び次女の各人に対し、2018年2月1日における5分経過毎の各時刻において、決定された宅内行動の行動種別と、当該行動種別についての推定スコアとが対応付けて記録されている。

ここでの宅内行動識別処理は、検出・測定データから生成された特徴量、及び当該4人家族世帯の属性情報から生成された特徴量を入力として、各人毎且つ行動種別毎に構築された（行動識別部１２２の）行動識別モデルで実行され、推定される行動種別と、当該行動種別の推定スコアとを出力とする処理となっている。また、この行動識別モデルは、本実施例においてランダムフォレスト又はXgboostによって構築されている。

図３は、本発明による感情推定方法の一実施例における在宅（滞在）判定処理の結果を示すテーブルである。

図３によれば、父、母、長女及び次女の各人に対し、2018年2月1日における5分経過毎の各時刻について、在宅か不在かの在宅判定結果と、当該判定結果に対する判定スコアとが対応付けて記録されている。

ここでの在宅判定処理は、検出・測定データから生成された特徴量、及び当該4人家族世帯の属性情報から生成された特徴量を入力として、各人毎に構築された（滞在判定部１２３の）滞在判定モデルで実行され、在宅判定情報と当該判定情報に対する判定スコアとを出力とする処理となっている。また、この滞在判定モデルは、本実施例においてランダムフォレスト又はXgboostによって構築されている。

図４は、本発明による感情推定方法の一実施例における生活パターン（宅内行動パターン）生成処理の結果を示すテーブルである。

図４によれば、父、母、長女及び次女の各人に対し、平日の生活パターン情報及び休日の生活パターン情報が生成されている。ここで、平日（休日）の生活パターン情報は、平日（休日）１日における、実際に行う在宅行動種別と、当該在宅行動種別を開始した開始時刻（発生時刻）とを対応付けて時系列に記録したテーブル情報となっている。

このような平日（休日）の生活パターン情報は、例えば平日（休日）毎の所定時刻に1回生成されてもよい。本実施例では、パターン生成日から見て直近となる平日10日間（休日4日間）について、決定された宅内行動種別毎に、その発生時刻の平均値を当該宅内行動種別の開始時刻に決定している。

具体的には、父の平日の生活パターン情報では、起床の開始時刻は、直近の平日10日間での起床発生時間の平均値である「06:05:00」に決定されている。なお本実施例において、外出及び帰宅については、決定された在宅判定情報において、不在判定の発生時刻の平均値を外出の開始時刻に決定し、在宅判定の発生時刻の平均値を帰宅の開始時刻に決定している。

図５は、本発明による感情推定方法の一実施例における乖離度決定処理の結果を示すテーブルである。

図５には、父について、平日の生活パターン情報を基準とし、2018年2月1日（平日）における5分経過毎の各時刻で実施された乖離度決定処理結果がテーブルの形で示されている。具体的に本テーブルでは、当該各時刻について、決定された宅内行動種別と、在宅か不在かの在宅判定情報と、当該時刻における乖離スコアとが対応付けて記録されている。

ここで本実施例では、乖離スコアは、決定された在宅行動種別（又は在宅／外出の判定結果）の開始時刻と、生活パターン情報における対応する在宅行動種別（又は在宅／外出の判定結果）の開始時刻との時間差について単調増加関数となる所定の関数を用いて算出されている。また、母、長女及び次女の各人に対しても、図５に示した父の乖離度決定処理と同様の処理を実施し、乖離スコアを決定している。

図５の乖離度決定処理結果によれば、例えば父の通常の「起床」時刻は、図３の平日の生活パターン情報に示されたように「06:05:00」であるのに対し、2018年2月1日（平日）において父は「06:30:00」まで睡眠している。その結果、乖離スコアは、「06:05:00」の前から「06:30:00」に向かって次第に大きくなっていることが理解される。

図６は、本発明による感情推定方法の一実施例で使用される感情ラベル情報を示すテーブルである。

図６には、2018年1月1日〜1月31日に収集した父についての感情ラベル情報が、テーブルの形で示されている。具体的に本テーブルでは、（父によって申告された）感情ラベルが時系列に記録されており、さらに、当該感情ラベル毎に、当該感情ラベルの感情が発生した開始年月日・開始時刻と、終了した終了年月日・終了時刻とが対応付けて記録されている。母、長女及び次女の各人に対しても図６に示した父の感情ラベル情報と同様の感情ラベル情報が準備されている。

次いで、本実施例では、父、母、長女及び次女の各人について、2018年1月1日〜1月31日の各時刻における（ａ）当該時刻の検出・測定データから生成された特徴量と、（ｂ）決定された宅内行動種別と、（ｃ）決定された在宅判定情報と、（ｄ）決定された乖離スコアと、（ｅ）対応する感情ラベル情報の感情ラベル（正解ラベル）とを含む教師データを用いて、各人用の感情推定モデルを構築している。

図７は、本発明による感情推定方法の一実施例における感情決定処理の結果を示すテーブルである。

図７によれば、父、母、長女及び次女の各人に対し、2018年2月1日における5分経過毎の各時刻において、決定された感情情報の感情ラベルと、当該感情ラベルについての推定スコアとが対応付けて記録されている。

ここでの感情決定処理は、対応する年月日・時刻における（ａ）検出・測定データから生成された特徴量、（ｂ）決定された宅内行動種別、（ｃ）決定された在宅判定結果、及び（ｄ）決定された乖離スコアを入力として、各人毎に構築された（感情決定部１２６の）感情推定モデルで実行され、推定される感情ラベルと、当該感情ラベルの推定スコアとを出力とする処理となっている。また、この感情推定モデルは、本実施例においてランダムフォレスト又はXgboostによって構築されている。

図７の感情決定処理結果によれば、2018年2月1日において、例えば父の感情（感情スコア）は、「起床」となった「06:35:00」から「外出」直前の「06:55:00」まで「焦り」となっている。これは、父が平日、朝外出（出勤）するにもかかわらず、通常（の生活パターン）よりも遅くまで寝ていたため、乖離スコアが増大し、「焦り」の感情が生じたものと解釈可能な推定結果となっている。

［快適度推定装置，快適度推定プログラム］
図８は、本発明による快適度推定装置の一実施形態を示す機能ブロック図である。

図８に示すように、本実施形態の快適度推定装置１’は、一世帯のエリアとしての自宅を行動拠点とする家族（人物グループ）における快適度を、当該エリア（自宅）について取得された「行動関連データ」に基づいて推定可能となっている。ここで、「行動関連データ」は、図１を用いて説明したものと同じデータであり、「人物識別データ」及び「検出・測定データ」を含む。

この快適度推定装置１’は、
（Ａ）図１に示したものと同一構成・機能を有する行動識別部１２２、行動パターン生成部１２４、及び乖離度決定部１２５と、
（Ｂ）家族（人物グループ）に属する人物について決定された行動情報及び乖離度を用い、学習済みの快適度推定モデルによって、当該家族（人物グループ）の快適度を決定する快適度決定部１２６と
を有することを特徴としている。

特に、本実施形態の快適度推定装置１’は、図１に示した感情推定装置１において、
（ａ）感情ラベル保存部１０４を快適度ラベル保存部１０４’に変更し、
（ｂ）感情決定部１２６を快適度決定部１２６’に変更し、この快適度決定部１２６’における快適度推定モデル構築処理及び快適度決定処理には、属性情報から生成された特徴量も入力とし、
（ｃ）残りの機能構成部を同一構成・機能のものとした
装置となっている。

ここで、家族の快適度とは、家族の各人が生活する中で抱く快適感の程度を総合した、自宅・家族における快適さの度合いである。例えば、快適度を示す「快適スコア」として、非常に快適である場合に1、快適である場合に0.75、ニュートラルである場合に0.5、不快である場合に0.25、非常に不快である場合に0となるスコアを設定する。

次いで、各人に対するアンケート調査結果や各人からの申告によって、快適スコア調査期間（例えば2018年1月1日〜1月31日）の所定時間（例えば5分）経過毎の各時刻における、各人毎の「快適スコア」を収集し、収集した「快適スコア」の平均値や中央値といった代表値を、当該時刻における「快適度ラベル」（0.00〜1.00）に決定することも好ましい。この決定された「快適度ラベル」が、快適度決定部１２６’における快適度推定モデル構築処理に使用される正解データとして、快適度ラベル保存部１０４’に保存されるのである。

快適度決定部１２６’は、快適度推定対象の（人物グループ）における（ａ）属性情報から生成された特徴量、（ｂ）各人について決定された行動識別情報、（ｃ）各人について決定された滞在判定情報、及び（ｄ）各人について決定された乖離スコアを用い、学習済みの快適度推定モデルによって、快適度推定対象の家族（人物グループ）についての該当快適度ラベルを含む快適度情報を決定する。

ここで、快適度推定モデルは、例えばランダムフォレスト、Xgboost、ＮＮや、ＳＶＭ、さらには、ＣＮＮやＲＮＮ等の教師有り学習を行う深層学習手段によって構築することができる。また、快適度ラベル保存部１０４’に保存された快適度ラベルが十分に多くない場合、半教師有り学習手段によって構築されることも好ましい。

また、この快適度推定モデルは、モデル構築対象の家族（人物グループ）の各人における行動識別情報、滞在判定情報、対応する乖離スコア、モデル構築対象の家族（人物グループ）の属性情報から生成された特徴量、及び正解快適度ラベル情報を含む教師データを用いた学習によって構築することができる。

さらに、この教師データの中に、対応する検出・測定データから生成された特徴量を含めてもよい。また、快適度推定モデルは、例えば構築時点までに蓄積されたデータを利用して構築されることも好ましく、定期的に再構築若しくは更新されることも好ましい。

快適度決定部１２６’は、以上に説明した快適度推定モデルによる快適度推定処理を、推定対象の家族（人物グループ）に対して所定の時間間隔（例えば5分間隔）で実施し、推定時刻毎に、決定された快適度ラベルを含む快適度情報と、推定スコアとが対応付けられた快適度推定情報を、保存し適宜出力する。ここで、この推定スコアも0.00から1.00までの数値をとり、より大きな値をとるほど、推定結果の尤度がより高いものとなる。

ちなみに、以上説明したように構築された快適度推定モデルは、多くの行動種別に関し、入力される乖離スコアが大きいほど（例えば起床時刻が通常より遅くなるほど）、ネガティブな（例えば「不快」や「非常に不快」といった）快適度ラベル情報を出力する傾向を有するものになることが考えられる。

以上、詳細に説明したように、本発明によれば、感情推定対象の人物について、行動パターン情報を基準とした行動情報の乖離度を決定し、この乖離度を考慮して当該人物の感情情報を推定することができる。例えば、人間は通常、各人固有の生活パターンを有しているが、このパターンが崩れると情緒的に不安定となる傾向があり、ネガティブな感情が発生しやすい。本発明によれば、そのような人間の特性を鑑み、上述した乖離度を考慮することによって、より高い精度で感情情報が推定可能となるのである。

なお、以上に説明した感情推定装置１によって取得されるユーザ毎の感情推定情報や、さらには快適度推定装置１’によって取得されるユーザグループ（ユーザ世帯）の快適度推定情報を利用し、当該ユーザグループ（ユーザ世帯）や各ユーザに対し、その状況に適したサービスを提供したり、レコメンドしたりすることもできる。

また特に、各ユーザ又は全ユーザにおけるリアルタイムな生活状況・精神状態に応じた適切なサービス、例えばコミュニケーションを促進し互いの絆を深め得るようなサービスを展開することも可能となるのである。

前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

１ 感情推定装置
１０１ 通信インタフェース部
１０２ 行動関連データ保存部
１０３ 属性情報保存部
１０４ 感情ラベル保存部
１０４’ 快適度ラベル保存部
１０５ ディスプレイ（ＤＰ）
１０６ キーボード（ＫＢ）
１１１ 人物識別データ管理部
１１２ 検出・測定データ管理部
１１３ 属性情報管理部
１１４ 属性情報決定部
１１５ 特徴量生成部
１２１ 人物識別部
１２２ 行動識別部
１２３ 滞在判定部
１２４ 行動パターン生成部
１２５ 乖離度決定部
１２６ 感情決定部
１２６’ 快適度決定部
１３１ 通信制御部
１３２ 入出力制御部
２ カメラ
３ 各種センサ
４ スマートメータ
５ ホームゲートウェイ（ＨＧＷ）
６ 属性情報管理装置
７ サーバ

Claims (14)

1. あるエリアを行動拠点とするグループに属する人物の感情情報を、当該エリアについて取得された行動関連データに基づいて推定する装置に搭載されたコンピュータを機能させる感情推定プログラムであって、
   当該行動関連データを用い、当該グループに属する人物毎に構築された学習済みの行動識別モデルによって、当該人物の行動情報を決定する行動識別手段と、
   当該グループに属する人物毎に、決定された当該行動情報に基づいて、当該人物による行動の時系列を含む行動パターン情報を生成する行動パターン生成手段と、
   感情推定対象の人物について生成された行動パターン情報を基準とした、当該人物について決定された行動情報の乖離度を決定する乖離度決定手段と、
   当該感情推定対象の人物について決定された行動情報及び乖離度を用い、学習済みの感情推定モデルによって、当該人物の感情情報を決定する感情決定手段と
   してコンピュータを機能させることを特徴とする感情推定プログラム。
2. 人物を識別することが可能な当該行動関連データである人物識別データを用い、学習済みの人物識別モデルによって、当該人物識別データに係る人物の識別情報を決定する人物識別手段としてコンピュータを更に機能させ、
   前記行動識別手段は、当該エリアに係る検出・測定手段によって取得された当該行動関連データである検出・測定データと、当該識別情報とを用い、当該グループに属する人物毎に構築された学習済みの行動識別モデルによって、当該人物の行動情報を決定する
   ことを特徴とする請求項１に記載の感情推定プログラム。
3. 前記乖離度決定手段は、決定された行動情報に含まれる行動種別に係る時刻情報と、生成された行動パターン情報における当該行動種別に係る時刻情報との時間差が大きいほど大きな値となる傾向を有する乖離度を決定することを特徴とする請求項１又は２に記載の感情推定プログラム。
4. 前記行動パターン生成手段は、所定期間内で繰り返される各単位期間の各時刻において決定された行動情報に係る行動種別に基づき、当該単位期間において決定された行動情報毎に、当該行動情報に係る行動種別と、当該行動情報に係る時刻の代表値とを対応付けた情報を当該行動パターン情報として生成することを特徴とする請求項１から３のいずれか１項に記載の感情推定プログラム。
5. 前記行動識別手段は、当該グループに属する人物毎に且つ予め設定された行動種別毎に構築された学習済みの行動識別モデルによって、当該人物の行動情報を決定することを特徴とする請求項１から４のいずれか１項に記載の感情推定プログラム。
6. 当該グループに係る属性情報を保持する属性情報管理手段としてコンピュータを更に機能させ、
   前記行動識別手段は、当該行動関連データ及び当該属性情報を用い、当該グループに属する人物毎に構築された学習済みの行動識別モデルによって、当該人物の行動情報を決定する
   ことを特徴とする請求項１から５のいずれか１項に記載の感情推定プログラム。
7. 当該行動関連データを用い、学習済みの属性情報推定モデルによって、当該グループに係る属性情報を決定する属性情報決定手段としてコンピュータを更に機能させることを特徴とする請求項６に記載の感情推定プログラム。
8. 当該行動関連データを用い、当該グループに属する人物毎に構築された学習済みのエリア内滞在判定モデルによって、当該人物が当該エリア内に滞在しているか否かについての情報である滞在判定情報を決定する滞在判定手段としてコンピュータを更に機能させ、
   前記行動パターン生成手段は、当該グループに属する人物毎に、決定された行動情報及び滞在判定情報に基づいて、当該人物の当該行動パターン情報を生成し、
   前記乖離度決定手段は、感情推定対象の人物について生成された行動パターン情報を基準とした、当該人物について決定された行動情報及び滞在判定情報の乖離度を決定し、
   前記感情決定手段は、当該感情推定対象の人物について決定された行動情報、滞在判定情報及び乖離度を用い、学習済みの感情推定モデルによって、当該人物の感情情報を決定する
   ことを特徴とする請求項１から７のいずれか１項に記載の感情推定プログラム。
9. 当該人物識別データは、当該エリアについて設けられたカメラによって取得される画像データ、及び／又は当該エリアについて設けられたマイクによって取得される音声データを含むことを特徴とする請求項２に記載の感情推定プログラム。
10. 当該検出・測定データは、当該エリアについて設けられた電力計、通信装置、温度計、湿度計、照度計、人感センサ及び生体センサによってそれぞれ取得される、消費電力量データ、通信量データ、温度データ、湿度データ、照度データ、人検出データ及び生体データのうちの少なくとも１つのデータを含むことを特徴とする請求項２に記載の感情推定プログラム。
11. あるエリアを行動拠点とする人物グループの快適度を、当該エリアについて取得された行動関連データに基づいて推定する装置に搭載されたコンピュータを機能させる快適度推定プログラムであって、
    当該行動関連データを用い、当該人物グループに属する人物毎に構築された学習済みの行動識別モデルによって、当該人物の行動情報を決定する行動識別手段と、
    当該人物グループに属する人物毎に、決定された当該行動情報に基づいて、当該人物による行動の時系列を含む行動パターン情報を生成する行動パターン生成手段と、
    当該人物グループに属する人物毎に、生成された行動パターン情報を基準とした、当該人物について決定された行動情報の乖離度を決定する乖離度決定手段と、
    当該人物グループに属する人物について決定された行動情報及び乖離度を用い、学習済みの快適度推定モデルによって、当該人物グループの快適度を決定する快適度決定手段と
    してコンピュータを機能させることを特徴とする快適度推定プログラム。
12. 人物を識別することが可能な当該行動関連データである人物識別データを用い、学習済みの人物識別モデルによって、当該人物識別データに係る人物の識別情報を決定する人物識別手段としてコンピュータを更に機能させ、
    前記行動識別手段は、当該エリアに係る検出・測定手段によって取得された当該行動関連データである検出・測定データと、当該識別情報とを用い、当該グループに属する人物毎に構築された学習済みの行動識別モデルによって、当該人物の行動情報を決定する
    ことを特徴とする請求項１１に記載の快適度推定プログラム。
13. あるエリアを行動拠点とするグループに属する人物の感情情報を、当該エリアについて取得された行動関連データに基づいて推定する感情推定装置であって、
    当該行動関連データを用い、当該グループに属する人物毎に構築された学習済みの行動識別モデルによって、当該人物の行動情報を決定する行動識別手段と、
    当該グループに属する人物毎に、決定された当該行動情報に基づいて、当該人物による行動の時系列を含む行動パターン情報を生成する行動パターン生成手段と、
    感情推定対象の人物について生成された行動パターン情報を基準とした、当該人物について決定された行動情報の乖離度を決定する乖離度決定手段と、
    当該感情推定対象の人物について決定された行動情報及び乖離度を用い、学習済みの感情推定モデルによって、当該人物の感情情報を決定する感情決定手段と
    を有することを特徴とする感情推定装置。
14. あるエリアを行動拠点とするグループに属する人物の感情情報を、当該エリアについて取得された行動関連データに基づいて推定する装置に搭載されたコンピュータにおける感情推定方法であって、
    当該行動関連データを用い、当該グループに属する人物毎に構築された学習済みの行動識別モデルによって、当該人物の行動情報を決定するステップと、
    当該グループに属する人物毎に、決定された当該行動情報に基づいて、当該人物による行動の時系列を含む行動パターン情報を生成するステップと、
    感情推定対象の人物について生成された行動パターン情報を基準とした、当該人物について決定された行動情報の乖離度を決定するステップと、
    当該感情推定対象の人物について決定された行動情報及び乖離度を用い、学習済みの感情推定モデルによって、当該人物の感情情報を決定するステップと
    を有し、上記の各ステップをコンピュータが実行することを特徴とする感情推定方法。

Images