JP7085266B2 - 行動情報に基づいて満足度を推定可能な装置、プログラム及び方法 - Google Patents

Description

本発明は、人物の行動に関するデータを用いて、当該人物の精神的状態を推定する技術に関する。

従来、人物の行動に関するデータ、例えば音声データを用いて、当該人物の感情や満足度を推定する技術の開発が盛んに進められている。例えば、スマートフォンを操作するユーザの感情や満足度を適切に把握することによって、当該ユーザにとって好適なサービスをスマートフォン経由で提供することも可能となる。

このような感情や満足度の推定技術として、例えば特許文献１には、人物の音声から、その人物の満足度を算出する満足度算出方法が開示されている。この方法では、管理サーバが、取得した音声に基づいて、その発話区間毎に感情を認識し、この感情認識結果に基づいて、少なくとも喜び及び笑いの感情状態を示す喜データ及び笑データを算出し、計算式「“喜データ”＋“笑データ”×Ａ」（Ａは０≦Ａ≦１の定数）によって発話区間毎の満足度を示す満足度データを求め、最終的に満足度を算出している。

一方で、このような感情や満足度の推定にあたり、推定対象人物の属するグループ、例えば家族や職場のグループ等におけるその属性や状況を考慮することによって、より的確な推定の可能となることが認識されている。

このようなグループの属性や状況を判定する技術として、例えば特許文献２には、ある家族にとって最適な商品やサービスを提供することを目的として、予め形成した家族像モデルを参照し、当該家族の家族像を特定する方法が開示されている。

この方法では、家族のかたちを形成する第１のデータ群（例：単身者、血縁者の集合体等）と、家族の機能及びその担い方（家族の機能の例：家事、育児等、担い方の例：家族で行う、サービスを利用する等）を示す第２のデータ群とを用い、第１のデータ群に含まれる家族員の構成、属性、ライフスタイルを含む一定条件に基づいて、第１のデータ群と第２のデータ群とを組み合わせることにより、家族像モデルが形成されている。

次いで、家族像特定対象の家族に対して行ったアンケートの回答等に基づいて、当該家族についての家族のかたちが第１のデータ群から選択され、家族の機能の担い方が第２のデータ群から選択される。さらに、選択されたデータを組み合わせ、この組み合わせに合致する家族像があるか否かを、形成された家族像モデルを参照しながら比較・検討し、最終的に当該家族の家族像が特定されるのである。

特開２０１１－２１０１３３号公報 特開２００２－０４９６５８号公報

しかしながら、特許文献１及び２に記載された技術を含む従来技術では、例えば家族の属性や状況も勘案して当該家族の構成員の満足度を的確に推定することは依然、困難であった。

例えば、特許文献１に記載された技術では、ある人物の満足度を算出するために当該人物の音声を必要としており、例えば通常会話を伴わない掃除や料理といった家事を行っている人物における満足度を的確に算出することは困難となっている。また、満足度を算出する際、例えば家族の属性や状況を勘案することは行われておらず、この点からも例えば家族の構成員における満足度を、十分な確度をもって算出することは困難であると言わざるを得ない。

また、特許文献２に記載された技術はそもそも、家族像を特定するまでの技術であり、特定された家族像を用いて直接、家族の構成員の満足度を推定することは想定していない。また、家族像特定対象の家族が、予め形成された家族像モデルのいずれにも合致しない場合には、家族像の特定自体ができないという問題も有している。

そこで、本発明は、家族等のグループの情報も勘案して、当該グループに属する人物の満足度情報をより的確に推定する満足度推定装置、プログラム及び方法を提供することを目的とする。

本発明によれば、あるエリアを行動拠点とするグループに属する人物の満足度情報を、当該エリアについて取得された行動関連データに基づいて推定する満足度推定装置であって、
当該行動関連データを用い、当該グループに属する満足度推定対象の人物について構築された学習済みの行動識別モデルによって、当該満足度推定対象の人物における行動の種別を識別した結果である行動識別情報であって、当該満足度推定対象の人物と当該グループに属する他の人物とのコミュニケーションに係る行動の種別を識別した結果を含む行動識別情報を決定する行動識別手段と、
決定された行動識別情報に基づいて、当該満足度推定対象の人物による当該グループでのコミュニケーションの度合いを示すコミュニケーションスコアであって、当該コミュニケーションに係る行動の種別の識別された度合いの単調増加関数として設定されたコミュニケーションスコアを決定するコミュニケーションスコア決定手段と、
決定されたコミュニケーションスコアに基づいて、当該満足度推定対象の人物の満足度を決定する満足度決定手段と
を有する満足度推定装置が提供される。

この本発明による満足度推定装置の一実施形態として、本満足度推定装置は、決定された行動識別情報に基づいて、当該満足度推定対象の人物が当該グループにおける所定の負担行動を実施している量又は割合に係る情報である負担行動情報を決定する負担行動情報決定手段を更に有し、
満足度決定手段は、決定された負担行動情報にも基づいて、当該満足度を決定することも好ましい。

また、本発明による満足度推定装置の他の実施形態として、本満足度推定装置は、決定された行動識別情報を用い、当該満足度推定対象の人物について構築された学習済みの感情推定モデルによって、当該満足度推定対象の人物の感情に係る感情情報を決定する感情推定手段を更に有し、
コミュニケーションスコア決定手段は、決定された感情情報にも基づいて、当該コミュニケーションスコアを決定することも好ましい。

さらに、本発明による満足度推定装置の更なる他の実施形態として、本満足度推定装置は、当該行動関連データを用い、当該グループに属する人物毎に構築された学習済みのエリア内滞在判定モデルによって、当該グループに属する人物毎に、当該人物が当該エリアに滞在している期間に係る情報を含むエリア内滞在情報を決定するエリア内滞在情報判定手段を更に有し、
コミュニケーションスコア決定手段は、当該満足度推定対象の人物及び当該グループに属する他の人物について決定されたエリア内滞在情報にも基づいて、当該コミュニケーションスコアを決定することも好ましい。

また、本発明に係る行動識別手段は、当該満足度推定対象の人物に係る属性情報、当該グループに係る属性情報、及び／又は当該エリアに係る属性情報をも用いて、当該行動識別情報を決定することも好ましい。

さらに、本発明に係る満足度決定手段は、当該満足度推定対象の人物に係る属性情報であって、当該満足度推定対象の人物の経済的成果に係る属性情報にも基づいて、当該満足度を決定することも好ましい。

また、本発明による満足度推定装置の更なる他の実施形態として、本満足度推定装置は、人物を識別することが可能な当該行動関連データである人物識別データを用い、学習済みの人物識別モデルによって、当該人物識別データに係る人物の識別情報を決定する人物識別手段を更に有し、
行動識別手段は、当該エリアに係る検出・測定手段によって取得された当該行動関連データである検出・測定データ、及び当該識別情報をも用いて、当該行動識別情報を決定することも好ましい。

さらに、上記の実施形態において、当該人物識別データは、当該エリアについて設けられたカメラによって取得される画像データ、及び／又は当該エリアについて設けられたマイクによって取得される音声データを含むことも好ましい。また、当該検出・測定データは、当該エリアについて設けられた電力計、通信装置、温度計、湿度計、照度計、人感センサ及び生体センサによってそれぞれ取得される、消費電力量データ、通信量データ、温度データ、湿度データ、照度データ、人検出データ及び生体データのうちの少なくとも１つのデータを含むことも好ましい。

また、上述した負担行動情報決定手段を有する実施形態において、当該エリアは住居エリアであって、当該グループは当該住居エリアの世帯であり、当該負担行動は、家事に係る行動及び育児に係る行動のうちのいずれか一方又は両方を含むことも好ましい。

本発明によれば、また、あるエリアを行動拠点とするグループに属する人物の満足度情報を、当該エリアについて取得された行動関連データに基づいて推定する装置に搭載されたコンピュータを機能させる満足度推定プログラムであって、
当該行動関連データを用い、当該グループに属する満足度推定対象の人物について構築された学習済みの行動識別モデルによって、当該満足度推定対象の人物における行動の種別を識別した結果である行動識別情報であって、当該満足度推定対象の人物と当該グループに属する他の人物とのコミュニケーションに係る行動の種別を識別した結果を含む行動識別情報を決定する行動識別手段と、
決定された行動識別情報に基づいて、当該満足度推定対象の人物による当該グループでのコミュニケーションの度合いを示すコミュニケーションスコアであって、当該コミュニケーションに係る行動の種別の識別された度合いの単調増加関数として設定されたコミュニケーションスコアを決定するコミュニケーションスコア決定手段と、
決定されたコミュニケーションスコアに基づいて、当該満足度推定対象の人物の満足度を決定する満足度決定手段と
してコンピュータを機能させる満足度推定プログラムが提供される。

本発明によれば、さらに、あるエリアを行動拠点とするグループに属する人物の満足度情報を、当該エリアについて取得された行動関連データに基づいて推定する装置に搭載されたコンピュータにおける満足度推定方法であって、
当該行動関連データを用い、当該グループに属する満足度推定対象の人物について構築された学習済みの行動識別モデルによって、当該満足度推定対象の人物における行動の種別を識別した結果である行動識別情報であって、当該満足度推定対象の人物と当該グループに属する他の人物とのコミュニケーションに係る行動の種別を識別した結果を含む行動識別情報を決定するステップと、
決定された行動識別情報に基づいて、当該満足度推定対象の人物による当該グループでのコミュニケーションの度合いを示すコミュニケーションスコアであって、当該コミュニケーションに係る行動の種別の識別された度合いの単調増加関数として設定されたコミュニケーションスコアを決定するステップと、
決定されたコミュニケーションスコアに基づいて、当該満足度推定対象の人物の満足度を決定するステップと
を有する満足度推定方法が提供される。

本発明の満足度推定装置、プログラム及び方法によれば、家族等のグループの情報も勘案して、当該グループに属する人物の満足度情報をより的確に推定することができる。

本発明による満足度推定装置を含む満足度推定システムの一実施形態を示す模式図である。 本発明による満足度推定方法の一実施例における宅内行動識別処理の結果を示すテーブルである。 本発明による満足度推定方法の一実施例における在宅（滞在）判定処理の結果を示すテーブルである。 本発明による満足度推定方法の一実施例における感情推定処理の結果を示すテーブルである。 本発明による満足度推定方法の一実施例におけるコミュニケーションスコア決定処理の結果を示すテーブルである。 本発明による満足度推定方法の一実施例における家事・育児分担比率決定処理の結果を示すテーブルである。 本発明による満足度推定方法の一実施例における満足度推定処理の結果を示すテーブルである。

以下、本発明の実施形態について、図面を用いて詳細に説明する。

[満足度推定システム]
図１は、本発明による満足度推定装置を含む満足度推定システムの一実施形態を示す模式図である。

図１に示した本実施形態の満足度推定システムは、固定系又は無線系アクセスネットワークである事業者通信網に設置されており、本発明による満足度推定装置１を含む。本満足度推定装置１は、自宅（エリア）を行動拠点とする家族世帯における世帯（家族）構成員である複数のユーザの各々についての満足度情報を、当該自宅（エリア）について取得された「行動関連データ」に基づいて推定することが可能な装置となっている。

ここで、「行動関連データ」は、本実施形態において、
（ａ）人物を識別することが可能な「人物識別データ」と、
（ｂ）自宅における検出・測定手段によって取得された「検出・測定データ」と
を含む。

具体的に、上記（ａ）の「人物識別データ」は、
（ａ１）自宅について設けられたカメラ２（例えば、ネットワークカメラやコミュニケーションロボットに搭載されたカメラ等）によって取得される画像（映像）データ、及び
（ａ２）自宅について設置されたマイク（例えば、ネットワークカメラに搭載されたマイクやスマートスピーカに搭載されたマイク等）によって取得される音声データ
の両方又はいずれか一方を含むことも好ましい。このような画像データや音声データに対し、画像解析・識別処理や音声解析・識別処理を施すことによって、当該データが、予め登録された人物のうちのいずれに係るデータであるかを判定することが可能となる。

また、上記（ｂ）の「検出・測定データ」は、
（ｂ１）自宅について設けられた電力計（例えばスマートメータ４等）によって取得される消費電力量データ、
（ｂ２）自宅について設けられた通信装置（例えばホームゲートウェイ（ＨＧＷ）５）によって取得される通信量データ、
（ｂ３）自宅について設けられた温度計３によって取得される温度データ、
（ｂ４）自宅について設けられた湿度計３によって取得される湿度データ、
（ｂ５）自宅について設けられた照度計３によって取得される照度データ、
（ｂ６）自宅について設けられた人感センサ３によって取得される人検出データ、及び
（ｂ７）自宅について設けられた生体センサ３（例えば、ユーザの装着したウェアラブル端末に搭載された（例えば脈拍、心拍、脳波等を計測可能な）生体センサや自宅に設置された体温感知赤外線センサ等）によって取得される生体データ
のうちの少なくとも１つのデータを含むことも好ましい。

ここで、上述したスマートメータ４や各種センサ３といった「検出・測定手段」は、自宅に係る手段であって、自宅（エリア）内（若しくは外）の所定位置に設置されていてもよく、自宅（エリア）内を移動する移動手段に設置されていてもよい。

また、上記（ｂ１）の消費電力量データは、本実施形態において世帯構成員の電力消費エリアである自宅に設置されたＨＧＷ５から事業者通信網を介して満足度推定装置１に送信される。ここで、消費電力量はスマートメータ４で計測され、この計測データが、例えばＨＥＭＳ（Home Energy Management System）を介してＨＧＷ５に出力される。また、変更態様として、スマートメータ４が消費電力量の計測データを（図示されていない）ＭＤＭＳ（Meter data Management System）に送信し、満足度推定装置１は、このＭＤＭＳから消費電力量データを取得してもよい。

いずれにしてもスマートメータ４は、ユーザによる自宅における消費電力量を計測し、単位時間毎の消費電力量の計測データを出力することができる。ここで、スマートメータ４の代わりに、分電盤に設置されたＣＴセンサ、クランプメータ（架線電流計）、又はコンセントに設置されたコンセントタップ（タップ型電力計）等を使用することも可能である。この場合、ＣＴセンサやコンセントタップ等によって宅内配電の個別の、又は主幹の消費電力量を計測し、消費電力量の計測データをＨＧＷ５に出力することになる。

ＨＧＷ５は、スマートフォンやパーソナルコンピュータ（ＰＣ）等の通信装置が接続されたホームネットワーク、及び（図示されていない）セットトップボックス（ＳＴＢ）等と、事業者通信網との間の通信を中継・制御する通信装置である。ＨＧＷ５は、接続されたこれらの通信装置と、例えばインターネット上に設置されたサーバ７との間の通信トラフィックの量を計測し、単位時間毎の通信トラフィック量の計測データ（通信量データ）を、事業者通信網を介して満足度推定装置１に送信する。

ここで、ＨＧＷ５は、通信量データとともに、当該データの通信主体である通信装置の装置識別子（例えば、ＭＡＣ（Media Access Control）アドレス）を、当該通信データに紐付けて満足度推定装置１に送信することも好ましい。

属性情報管理装置６は、例えば事業者通信網内に設置されており、当該世帯構成員である各ユーザから、例えばアンケート調査結果や申告内容として属性情報を受信し、当該属性情報を世帯（ユーザグループ）ＩＤと対応付けて記憶・管理する。ここで、属性情報としては、
世帯構成，居住地域，住居種別，間取り情報，所有家電情報，
世帯収入、各構成員の収入，・・・
等、世帯・自宅に関する静的属性情報ならば種々の情報を属性情報とすることができる。

ちなみに、本実施形態では、当該属性情報として、「家族関係ウエイト」も採用可能となっている。この「家族関係ウエイト」は、世帯構成員の各々について、他の世帯構成員との関係・繋がりの強さを示す指標値であるが、その内容や使用方法については、後に実施例において具体的に説明を行う。

ユーザは当該属性情報を、例えばホームネットワークに接続されたＰＣに入力し、ＨＧＷ５から事業者通信網を介して属性情報管理装置２に送信してもよい。満足度推定装置１は、この属性情報管理装置２から、世帯ＩＤに紐付けられた属性情報を取得する。

同じく図１に示すように、満足度推定装置１は、具体的にその特徴として、
（Ａ）「行動関連データ」を用い、当該世帯の構成員（グループに属する満足度推定対象の人物）について構築された学習済みの行動識別モデルによって、当該構成員の「行動情報」であって、当該構成員と当該世帯（グループ）に属する他の構成員とのコミュニケーションに係る行動の情報を含む「行動情報」を決定する行動識別部１２２と、
（Ｂ）決定された「行動情報」に基づいて、当該構成員（満足度推定対象の人物）による当該世帯（グループ）でのコミュニケーションの度合いを示す「コミュニケーションスコア」を決定するコミュニケーションスコア決定部（ＣＯＭスコア決定部）１２５と、
（Ｃ）決定された「コミュニケーションスコア」に基づいて、当該構成員（満足度推定対象の人物）の「満足度」（本実施形態では生活満足度）を決定する満足度決定部１２７と
を有している。

このように、満足度推定装置１は、「行動関連データ」を用いて決定した「行動情報」に基づいて「コミュニケーションスコア」を決定し、少なくともこのスコアに基づき「満足度」を推定している。ここで一般に、家族の構成員における他の構成員とのコミュニケーションの度合いが、各構成員の家族生活に対する満足／不満足の感じ方に非常に大きな影響を及ぼすことは、この分野における多くの研究でも指摘されているところである。

このように、満足度推定装置１は、世帯構成員の世帯（グループ）における満足の度合いに大きな影響を及ぼす「コミュニケーションスコア」を用いることによって、より高い精度の「満足度」推定処理を実施する。言い換えれば、例えば単に音声データだけで推定処理を行うのではなく、世帯（グループ）情報としての「コミュニケーションスコア」も勘案することによって、世帯構成員の「満足度」をより精度よく推定可能にするのである。

ちなみに、本実施形態の満足度推定装置１は、１つの世帯における世帯構成員の「満足度」を推定するものであるが、本発明による満足度推定装置は当然、それに限定されるものではない。例えば、所定の職場エリアを拠点とする職場グループにおける当該グループの構成員（例えば社員）における仕事や職場等に対する満足度を推定することもできる。また、介護施設や、中長期入院施設等における利用者・患者や施設スタッフ等の満足度推定に利用することも可能となっている。

すなわち、本発明による満足度推定装置は、グループ内における各構成員の「コミュニケーションスコア」を決定可能なグループであれば様々のものに対し、満足度推定処理を実施することができるのである。

また、「人物識別データ」や「検出・測定データ」についても以上に例示したものに限定されるものではない。例えば、指紋認証センサや光彩認証センサによる指紋認証データや光彩認証データを「人物識別データ」とすることも可能である。また、ガス使用量データや水道使用量データ、さらには（図示していない）気象情報管理サーバから取得される当該エリアにおける気象データを、「検出・測定データ」として採用してもよい。

［満足度推定装置，満足度推定プログラム］
同じく図１の機能ブロック図によれば、満足度推定装置１は、通信インタフェース部１０１と、行動関連データ保存部１０２と、属性情報保存部１０３と、感情ラベル保存部１０４と、ディスプレイ（ＤＰ）１０５と、キーボード（ＫＢ）１０６と、プロセッサ・メモリとを有する。

ここで、このプロセッサ・メモリは、本発明による満足度推定プログラムの一実施形態を保存しており、また、コンピュータ機能を有していて、この満足度推定プログラムを実行することによって、満足度推定処理を実施する。このことから、満足度推定装置１は、本発明による満足度推定プログラムを搭載した、例えばパーソナル・コンピュータ（ＰＣ）、ノート型若しくはタブレット型コンピュータ、又はスマートフォン等であってもよい。

さらに、プロセッサ・メモリは、人物識別データ管理部１１１と、検出・測定データ管理部１１２と、属性情報管理部１１３と、属性情報決定部１１４と、特徴量生成部１１５と、人物識別部１２１と、行動識別部１２２と、滞在情報判定部１２３と、感情推定部１２４と、コミュニケーションスコア決定部（ＣＯＭスコア決定部）１２５と、負担行動情報決定部１２６と、満足度決定部１２７と、通信制御部１３１と、入出力制御部１３２とを有する。

なお、これらの機能構成部は、プロセッサ・メモリに保存された満足度推定プログラムの機能と捉えることができる。また、図１における満足度推定装置１の機能構成部間を矢印で接続して示した処理の流れは、本発明による満足度推定方法の一実施形態としても理解される。

同じく図１において、通信インタフェース部１０１は、
（ａ）ユーザの自宅に設置されたＨＧＷ５等から、画像データや音声データ等の人物識別データと、各種センサ３、スマートフォン４、ＨＧＷ５による検出・測定データとを受信し、また、属性情報管理装置２から、アンケートや申告等の形で収集された属性情報を受信して、通信制御部１３１を介して装置内に取り込ませる。
またさらに、通信インタフェース部１０１は、
（ｂ）満足度決定部１２７で決定された各ユーザについての満足度推定結果データを、入出力制御部１３２及び通信制御部１３１を介して入力し、外部の情報処理装置へ送信してもよい。送信された感情推定結果データは、当該情報処理装置において、様々な用途に利用可能となる。

ちなみに、後に詳細に説明するが、この後実施される行動識別処理、在宅判定処理や、感情推定処理においては、画像データや音声データ（に係る特徴量）を必須とするわけではなく、これらのデータを取得・使用しないケースであっても当該処理が実施可能となっている。したがって、例えばプライバシー保護の観点等からカメラやマイクを設置できないユーザグループに対しても、満足度推定処理を実施することができるのである。

同じく図１において、行動関連データ保存部１０２は、取り込まれた行動関連データ（人物識別データ及び検出・測定データ）を、世帯ＩＤ及び年月日・時刻と紐づけて保存するデータベースである。また、属性情報保存部１０３は、同じく取り込まれた属性情報を、世帯ＩＤに紐づけて保存するデータベースとなっている。

人物識別データ管理部１１１は、人物識別部１２１での人物識別処理のために必要な人物識別データを適宜、行動関連データ保存部１０２から読み出して特徴量生成部１１５へ出力し、特徴量生成部１１５に対し人物識別処理で使用される特徴量を生成させる。

検出・測定データ管理部１１２は、行動識別部１２２、滞在情報判定部１２３及び感情推定部１２４での処理のために必要な検出・測定データを適宜、行動関連データ保存部１０２から読み出して特徴量生成部１１５へ出力し、特徴量生成部１１５に対し当該処理で使用される特徴量を生成させる。

属性情報管理部１１３は、行動識別部１２２及び滞在情報判定部１２３での処理のために必要な属性情報を適宜、属性情報保存部１０３から読み出し、この後の識別・判定・推定処理で使用可能な特徴量の形に変換した属性情報を出力する。

属性情報決定部１１４は、検出・測定データ管理部１１２（行動関連データ保存部１０２）から取得される検出・測定データを用い、学習済みの属性情報推定モデルによって、対象世帯に係る属性情報を決定する。具体的には、本願の出願人が出願人に含まれる特開２０１５－１６２２２９号公報「特徴時間帯での消費電力量からユーザ属性を推定するプログラム、装置及び方法」に記載されているように、
（ａ）消費電力量データから、各時間帯での消費電力量の最小値に基づいて機器起因電力量を算出し、当該時間帯での消費電力量と機器起因電力量とに基づいて、当該ユーザの活動に係る電力量に対応する活動電力量を算出し、
（ｂ）当該ユーザの所定期間での活動電力量から、当該所定期間を構成する単位期間毎に、各時間帯での活動電力量を要素とする活動電力ベクトルを生成し、活動電力ベクトルを所定数のクラスタに分類するクラスタリング処理を行い、最大のクラスタに属する活動電力ベクトルに基づいて、当該ユーザの特徴時間帯での活動電力量を代表する特徴時間代表ベクトルを生成し、
（ｃ）当該ユーザの１つの単位期間における活動電力ベクトルの要素と、当該ユーザについて生成された特徴時間代表ベクトルの要素とを含む特徴ベクトルを生成し、
（ｄ）当該特徴ベクトルと、当該特徴ベクトルに係るユーザの属性情報との組を教師データとして含む教師データセットを用いて機械学習を行って推定モデルを構築し、
（ｅ）当該ユーザの１つの単位期間における活動電力ベクトルの要素と、当該ユーザについて生成された特徴時間代表ベクトルの要素とを含む特徴ベクトルを構築された推定モデルに入力し、当該ユーザの属性情報を推定する
ことも好ましい。

また、本願の出願人が出願人に含まれる特開２０１４－１６７７１５号公報「生活関連量の決定木を用いてユーザ属性を推定するユーザ属性推定プログラム、装置及び方法」に記載されているように、
（ａ）単位期間における生活関連量データである単位期間データと、当該単位期間データに係る属性値との組を教師データとして含む教師データセットから、複数のサブセットを生成し、
（ｂ）生成されたサブセット毎に、当該サブセットにおける単位期間データについての分岐判定式が根ノード及び内部ノードの各々において規定された決定木であって、分岐判定式による学習の結果として葉ノードに属性値が対応付けられた決定木を生成し、
（ｃ）所定の推定期間における推定対象データを構成する単位期間データであって、当該推定期間を構成する複数の単位期間の各々において取得された単位期間データを、生成された複数の決定木に入力し、当該決定木の各々における到達先となった葉ノードに対応付
けられた属性値に基づいて、単位ユーザ属性情報を決定し、
（ｄ）推定期間を構成する複数の単位期間の各々について決定された単位ユーザ属性情報に基づいて、当該推定期間における属性情報を決定する
ことも好ましい。

さらに、本願の出願人が出願人に含まれる特開２０１４－０７１６５４号公報「ユーザ属性を考慮した電力消費関連支援装置、携帯端末、プログラム及び方法」に記載されているように、
（ａ）ユーザの生活行動又は生活環境に関連する生活関連量であって、電力消費量を含む少なくとも１つの生活関連量の計測値から生成される生活関連データを蓄積し、
（ｂ）電力消費パターン毎に、予め設定された属性情報を対応付けて記録した属性情報テーブルを有し、蓄積された当該ユーザに係る電力消費データに基づき、当該属性情報テーブルを用いて、当該ユーザの属性情報を推定する
ことも好ましい。

同じく図１において、特徴量生成部１１５は、人物識別データ及び／又は検出・測定データを用いて、後に実施される人物識別処理、行動識別処理、滞在情報判定処理及び感情推定処理に使用される特徴量（ベクトル）を生成し、各処理部に出力する。

特徴量生成部１１５は、例えば、人物識別データである画像（映像）データを用い、人物識別処理用の特徴量として、公知のＨＯＧ特徴量を生成することも好ましい。ＨＯＧ特徴量は、画像の局所領域における輝度の勾配方向をヒストグラム化し、各度数を成分としたベクトル量である。また、画像（映像）データから、公知の高速Ｒ-ＣＮＮ（faster Regions with Convolutional Neural Network features）によって特徴量を抽出してもよい。

さらに例えば、特徴量生成部１１５は、人物識別データである音声データを用い、高速フーリエ変換（ＦＦＴ，Fast Fourier Transform）や、メル周波数ケプストラム係数（ＭＦＣＣ，Mel-Frequency Cepstrum Coefficients）による人物識別処理用の特徴量を生成することも好ましい。

また、特徴量生成部１１５は、各種センサ３から取得された検出・測定データについて、例えば、所定単位時間（例えば5分間）におけるデータの平均値や分散値といった統計値を算出し、当該統計値をベクトル要素とした特徴量を生成してもよい。

人物識別部１２１は、人物識別データから生成された特徴量を用い、学習済みの人物識別モデルによって、当該人物識別データ（特徴量）に係る人物の識別情報であるユーザＩＤを決定する。ここで、人物識別モデルは、例えばＮＮ（Neural Network）やＳＶＭ（Support Vector machine）等によって構築されることも好ましく、人物識別データによる特徴量と正解ユーザＩＤとの教師データセットによって予め学習済みのものが使用される。また、人物識別部１２１は、識別結果としてのユーザＩＤと対応する時刻とが紐づけられた識別情報を、保存して適宜出力する。

行動識別部１２２は、行動識別対象のユーザについて、検出・測定データから生成された特徴量、当該ユーザのユーザＩＤ（識別情報）、対象世帯に係る属性情報や、世帯構成員に係る属性情報を用い、対象世帯に属するユーザ（世帯構成員）毎に且つ予め設定された行動種別毎に構築された学習済みの行動識別モデルによって、当該ユーザの行動識別情報（推定される行動種別を含む行動情報）を決定し、適宜保存する。

ここで、決定される行動識別情報は、当該ユーザと当該世帯に属する他のユーザ（世帯構成員人物）とのコミュニケーションに係る行動の情報、例えば「会話」に係る情報（会話量や会話時間等）も含んでおり、後にＣＯＭスコア決定部１２５において利用可能な情報となっている。

ここで、ユーザ毎且つ行動種別毎に設定された行動識別モデルは、例えばランダムフォレスト（Random Forest）、Xgboost（eXtreme Gradient Boosting）、ＳＶＭ、ＣＮＮ（Convolutional Neural Network）、ＲＮＮ（Recurrent Neural Network）等によって構築されることも好ましく、検出・測定データによる特徴量と、該当時間において人物識別部１２１より出力されたユーザＩＤと、対象世帯に係る属性情報や世帯構成員に係る属性情報と、正解の行動種別に係る情報との正解データセットによって予め学習済みのものが使用される。

このうち、正解の行動種別は、ユーザに対するアンケート結果やユーザによる申告内容によって決定してもよい。具体的な行動種別の例としては、
睡眠，起床，会話、調理，朝食，服薬，身支度（外出準備），出勤・外出，
掃除，洗濯，育児，スマホ・ＰＣ使用，昼食，外出，（子供の）帰宅，勉強，
（出勤者の）最寄り場所通過，（出勤者の）帰宅，夕食，テレビ視聴，
入浴，団欒，（子供の）就寝，仕事，（親の）就寝
が挙げられる。ここで、アンケート結果や申告内容は、対象世帯の各ユーザについて、正解データセットを生成するための所定期間における、実際に実施した行動種別毎にその開始時刻及び終了時刻を紐づけたデータとすることができる。

なお、行動識別部１２２は、以上に説明したような行動種別決定処理を、対象世帯の各ユーザに対して所定の時間間隔（例えば5分間隔）で実施し、推定時刻毎に、当該ユーザのユーザＩＤと、推定される行動種別と、当該行動種別の推定スコアとが対応付けられた行動識別情報を、保存し適宜出力する。

ここで、ユーザ毎且つ行動種別毎に設定された行動識別モデルからは、例えば、当該ユーザが当該行動種別の行動を実施した確率値が出力される（例えば、「父」が「就寝」している確率は「60％」であるとの結果が出力される）。この場合、行動識別部１２２は、当該ユーザについて、この確率値が最も高い行動種別を推定される行動種別に決定し、当該行動種別の確率値を（0.00から1.00までの数値をとる）推定スコアとしている。当然に、この推定スコアが大きいほど、推定結果の尤度がより高いものとなる。

なお、行動識別部１２２は、本願の出願人が出願人に含まれる特開２０１５－１５３１５６号公報「消費電力量に基づく整合性のある生活状況の推定が可能な装置、プログラム及び方法」に記載されているように、
（ａ）当該ユーザの消費電力量のデータに基づいて、推定対象となる複数の生活行動（生活状況）項目のそれぞれについて生活行動を推定し、
（ｂ）複数の生活行動の間の整合性を取り決めた生活行動ルール（生活状況ルール）に基づいて、当該複数の生活行動項目のそれぞれにおける生活行動の推定結果間の整合性を判断し、
（ｃ）複数の生活行動推定の推定精度に基づいて算定された評価値を保持し、
（ｄ）整合性がないと判断された推定結果の組について、当該組の推定結果に係る評価値に基づき、当該組の推定結果のうちの１つ又は複数の推定結果を変更して整合性のある状態とした場合の総評価値を算出し、算出された総評価値同士を比較することによって、最も評価の高い変更後の推定結果の組を、補正された推定結果の組とする
ことも好ましい。

同じく図１において、滞在情報判定部１２３は、滞在判定対象のユーザについて、検出・測定データから生成された特徴量、当該ユーザのユーザＩＤ（識別情報）、対象世帯に係る属性情報や、世帯構成員に係る属性情報を用い、対象世帯に属するユーザ（人物）毎に構築された学習済みの滞在判定モデルによって、当該ユーザの滞在状況、具体的には例えば、
（ａ）当該ユーザが自宅（エリア）に滞在しているか否かの情報、さらには
（ｂ）当該ユーザが自宅（エリア）に滞在している時間（時間帯）に係る情報
を含む滞在判定情報（エリア内滞在情報）を決定し、適宜保存する。

ここで、ユーザ毎に設定された滞在判定モデルも、例えばランダムフォレスト、Xgboost、ＳＶＭ、ＣＮＮ、ＲＮＮ等によって構築されることも好ましく、検出・測定データによる特徴量と、該当時間において人物識別部１２１より出力されたユーザＩＤと、対象世帯に係る属性情報や世帯構成員に係る属性情報と、正解の滞在判定情報との正解データセットによって予め学習済みのものが使用される。

なお、滞在情報判定部１２３においても、以上に説明したような滞在判定処理を、対象世帯の各ユーザに対して所定の時間間隔（例えば5分間隔）で実施し、推定時刻毎に、当該ユーザのユーザＩＤと、決定された滞在判定情報と、当該情報の判定スコアとが対応付けられた滞在判定情報を、保存し適宜出力する。ここで、この判定スコアも0.00から1.00までの数値をとり、より大きな値をとるほど、判定結果の尤度がより高いものとなる。

ちなみに、行動識別部１２２において、ユーザ毎且つ行動種別毎に設定された行動識別モデルのうちの１つを滞在判定モデルとし、滞在情報判定部１２３の機能を行動識別部１２２に含めてしまう形態も可能である。本実施形態では、滞在判定情報、特に、「対話者が同時に滞在している時間に係る情報」が、後述するＣＯＭスコア決定部１２５におけるコミュニケーションスコアの決定に重要な役割を果たすので、滞在情報判定部１２３をあえて分離して示しているのである。ここで、この「対話者が同時に滞在している時間に係る情報」も、コミュニケーションに係る行動の情報と捉えることができる。

なお、滞在情報判定部１２３は、本願の出願人が出願人に含まれる特開２０１５－０８７９００号公報「電力消費及び通信トラフィックを考慮したユーザ活動状況の判定装置、プログラム及び方法」に記載されているように、ユーザの自宅（滞在対象区域）で取得される複数の時間帯の各々における消費電力量データと、当該自宅で取得される複数の時間帯の各々における通信量データとに基づいて、ユーザが所定の時間帯に当該自宅に滞在していたか否かを判定してもよい。

ここで、蓄積された通信量データから、当該自宅でのユーザの行動に起因するユーザ起因の通信量データを分離し、当該ユーザ起因の通信量データを、ユーザが当該自宅に滞在していたか否かの判定における基準とすることも好ましい。

同じく図１において、感情推定部１２４は、感情推定対象のユーザについて、行動識別情報、滞在判定情報、検出・測定データから生成された特徴量、当該ユーザのユーザＩＤ（識別情報）、対象世帯に係る属性情報や、世帯構成員に係る属性情報を用い、学習済みの感情推定モデルによって、当該ユーザについての推定される感情ラベルを含む感情推定情報を決定し、適宜保存する。

ここで、感情推定モデルは、例えばランダムフォレスト、Xgboost、ＮＮや、ＳＶＭ、さらには、ＣＮＮやＲＮＮ等の教師有り学習を行う深層学習手段によって構築することができる。また、後に説明する感情ラベル保存部１０４に保存された感情ラベルが十分に多くない場合、半教師有り学習手段によって構築されることも好ましい。

また、この感情推定モデルは、ユーザ毎に構築されることも好ましく、当該ユーザにおける行動識別情報、滞在判定情報、対応する属性情報、及び当該ユーザの正解感情ラベル情報を含む教師データを用いた学習によって構築することができる。さらに、この教師データの中に、対応する検出・測定データから生成された特徴量を含めてもよい。

感情推定部１２４は、以上に説明した感情推定モデルによる感情推定処理を、対象世帯の各ユーザに対して所定の時間間隔（例えば5分間隔）で実施し、推定時刻毎に、当該ユーザのユーザＩＤと、決定された感情ラベルを含む感情情報と、推定スコアとが対応付けられた感情推定情報を、保存し適宜出力する。ここで、この推定スコアも0.00から1.00までの数値をとり、より大きな値をとるほど、推定結果の尤度がより高いものとなる。

また、感情推定モデル構築の際、及び感情推定処理の際に、感情推定対象以外のユーザについての行動識別情報及び滞在判定情報を入力することも好ましい。これにより、例えば一緒に所定の行動（例えば「団欒」や「食事」）をしているといった、他者との関係に係る情報をも加味した感情推定処理が可能となるのである。

なお変更態様として、感情推定部１２４は、本願の出願人が出願人に含まれる特開２０１５－１９１４７１号公報「感情情報推定装置、方法及びプログラム」に記載されているように、
（ａ）行動データを時間軸上で動作素片へと分割すると共に、各動作素片を分類して複数の動作種別のいずれに該当するかを特定し、
（ｂ）各動作素片より算出された特徴量に基づき、各動作素片が複数の感情情報のいずれに該当するかを推定し、
（ｃ）動作素片ごとに推定された感情情報を、特定された動作種別に対する重み情報を用い、行動データの全体に渡って統合することによって、行動データが複数の感情情報のいずれに該当するかを特定する
ことによって、感情情報を推定することも好ましい。

またさらに、感情推定部１２４は、本願の出願人が出願人に含まれる特願２０１８－１０３２９５号に記載されているように、所定期間の行動識別結果から導出される行動パターンに対し、あるユーザの行動識別結果がどの程度乖離しているかを示す乖離度を用いて、当該ユーザの感情情報を推定することも可能である。

感情ラベル保存部１０４は、上述した感情推定部１２４の感情推定モデルの構築時の学習用（正解）データとして使用されるユーザ毎の感情ラベル情報を、保存して感情推定部１２４へ適宜出力する。本実施形態では、対象世帯の各ユーザは、アンケート結果や申告内容としての感情ラベル情報を、例えばホームネットワークに接続されたＰＣへ入力し、ＨＧＷ５から事業者通信網を介して満足度推定装置１に送信して、感情ラベル保存部１０４に保存させることも可能となっている。

また、ホームネットワークに接続されたスマートフォンに搭載された感情ラベル登録用アプリを利用して感情ラベル情報を生成し、満足度推定装置１へ送信してもよい。さらには、カメラで撮影された映像を見てラベリングを行う等の方法で作成した感情ラベル情報を、スマートフォンやＰＣから満足度推定装置１へ送信する形態とすることも可能である。

ここで、感情ラベル情報に含まれる感情ラベルとしては、公知の様々な感情モデルにおける感情ラベルを採用することが可能である。例えば、実際の生活行動時に抱かれ易い感情として、
リラックス（時の感情），ニュートラル（な感情），
焦り，疲労（時の感情），・・・
を感情ラベルとし、このうち実際に該当した感情ラベルと、当該感情ラベルの感情が発生した時間区間情報（例えば発生時刻及び終了時刻）と、当該ユーザのユーザＩＤとを対応付けた情報を感情ラベル情報とすることも好ましい。ちなみに、後に説明する実施例では、感情ラベルとして、
ニュートラル（な感情），ネガティブ（な感情），ポジティブ（な感情）
が採用されている。

同じく図１において、ＣＯＭスコア決定部１２５は、スコア決定対象のユーザについて、行動識別情報、滞在判定情報、感情推定情報、対象世帯に係る属性情報や、世帯構成員に係る属性情報に基づき、当該ユーザによる家族（グループ）でのコミュニケーションの度合いを示すコミュニケーションスコアを決定し、適宜保存する。

具体的に本実施形態では、コミュニケーションスコアは、スコア決定対象のユーザ（世帯構成員）について、他のユーザ（世帯構成員）の各々との間で、所定時間経過毎に（例えば1日経過毎に）、次式
（１） 「コミュニケーションスコア」＝Ａ／Ｂ×「係数」
Ａ＝「会話量」×「家族関係ウエイト」
Ｂ＝「同時在宅時間」×「ネガティブ感情比率」
をもって算出可能となっている。ここで、「係数」はスコア値調整用の係数であり、例えば後述する実施例では100となっている。

また上式（１）において、「会話量」は、スコア決定対象のユーザ（世帯構成員）について、当該所定時間（例えば1日間）の行動識別情報において行動種別「会話」が識別された回数や、当該回数を時間に換算したもの（例えば5分毎に実施された行動識別で「会話」が10回であれば「会話量」は50分）とすることができる。

また、「家族関係ウエイト」は、スコア決定対象のユーザ（世帯構成員）について、他のユーザとの関係・繋がりの強さを示す指標値である。具体的には「家族関係ウエイト」として、後に図５を用いて示されるように、ユーザペアの各々について当該強さに応じた0.0から1.0までの値を予め付与しておいてもよい。この際、世帯構成員に係る属性情報から決定される家族関係、例えば夫婦、実親子、義理親子、姉弟等の情報を勘案して「家族関係ウエイト」を決定することも好ましい。

さらに上式（１）において、「同時在宅時間」は、
（ａ）スコア決定対象のユーザ（世帯構成員）につき滞在判定情報において在宅（滞在）していると判定されている時間帯と、
（ｂ）他のユーザ（世帯構成員）につき滞在判定情報において在宅（滞在）していると判定されている時間帯と
の重畳時間（例えば「両者が共に在宅していると判定された回数」×「単位時間（例えば5分間）」）とすることができる。

またさらに、「ネガティブ感情比率」は、行動識別情報で「会話」と識別されている時間である会話時間において、スコア決定対象のユーザ（世帯構成員）に対し感情推定情報において「ネガティブ」であると推定されている回数における、当該会話時間での全推定回数に対する割合とすることができる。

ちなみに、上式（１）を用いる場合において、「同時在宅時間」がゼロのときには例外としてコミュニケーションスコアもゼロとし、一方、「ネガティブ感情比率」がゼロのときは便宜的に、上式（１）中の「ネガティブ感情比率」を0.01等の小さな値とみなして、コミュニケーションスコアを算出することも好ましい。

なお当然に、コミュニケーションスコアは、上式（１）で算出されるものに限定されるものではない。例えば「会話量」及び「家族関係ウエイト」の単調増加関数であって「同時在宅時間」及び「ネガティブ感情比率」の単調減少関数であれば種々の形式のコミュニケーションスコアを規定することができる。また、最も単純な例として「会話量」に比例する値をコミュニケーションスコアとすることも可能である。

さらに、コミュニケーションに係る行動識別情報として、（他のユーザと一緒に行う）「ゲーム」が識別可能となるケースでは、会話量と同様にして「ゲーム」の実施量（又は実施時間）を決定し、上式（１）の「会話量」の代わりに、又は上式（１）の「会話量」に重みを付けて加算する形で、「ゲーム実施量」を取り入れた算出式を用いて、コミュニケーションスコアを算出してもよい。

同じく図１において、負担行動情報決定部１２６は、決定された行動識別情報に基づいて、負担行動情報決定対象のユーザ（世帯構成員）が世帯（グループ）における所定の「負担行動」を実施している量又は割合に係る情報である負担行動情報を決定し、適宜保存する。ここで本実施形態では、「負担行動」として家事（調理，掃除，洗濯等）及び育児を採用し、負担行動情報として、家事分担比率及び育児分担比率（いずれも0.00から1.00までの値）を算出する。

具体的に、家事分担比率及び育児分担比率は、両比率算出対象のユーザ（世帯構成員）について、所定時間経過毎に（例えば1日経過毎に）、次式
（２） 「家事分担比率」＝「家事時間」／「家族全員の合計家事時間」
（３） 「育児分担比率」＝「育児時間」／「家族全員の合計育児時間」
をもって算出することができる。

ここで、「家事（育児）時間」は、両比率算出対象のユーザ（世帯構成員）について、当該所定時間（例えば1日間）の行動識別情報において行動種別「調理」、「掃除」、「洗濯」等（「育児」）が識別された回数を時間に換算したものとすることができる。また、「家族全員の合計家事（育児）時間」は、全ユーザ（全世帯構成員）の各々について算出された「家事（育児）時間」を合計したものとしてもよい。

なお、負担行動情報として、家事分担比率及び育児分担比率のいずれか一方のみを採用することも可能であるが、本実施形態では、後に推定される満足度の精度を向上させるため、両比率を採用している。また勿論、満足度推定に適したものならば、家事や育児に代えて、又はそれらと共に、他の行動種別を「負担行動」に設定して負担行動情報を生成することも好ましい。

満足度決定部１２７は、満足度推定対象のユーザ（世帯構成員）について、決定されたコミュニケーションスコア、負担行動情報、対象世帯に係る属性情報や、世帯構成員に係る属性情報に基づき、満足度（生活満足度）を決定し、適宜保存する。ここで本実施形態では、満足度決定に用いる属性情報として、満足度推定対象のユーザの経済的成果に係る属性情報を採用している。

具体的に、満足度（生活満足度）は、満足度推定対象のユーザ（世帯構成員）について、所定時間経過毎に（例えば1日経過毎に）、次式
（４） 「満足度」＝Ｃ／(Ｄ＋Ｅ)×１／「係数」
Ｃ＝「コミュニケーションスコア」×「経済力ウエイト」
Ｄ＝「家事分担比率」
Ｅ＝「育児分担比率」
をもって算出することができる。ここで「係数」は満足度値調整用の係数であり、例えば後述する実施例では15となっている。

また上式（４）における「コミュニケーションスコア」は、満足度推定対象のユーザ（世帯構成員）に対し上式（１）を用い、当該所定時間について他のユーザ（世帯構成員）毎に算出されたコミュニケーションスコアにおける、当該他のユーザについての総和となっている。

また、「経済力ウエイト」は、満足度推定対象のユーザの（経済的成果に係る属性情報である）収入額（例えば年収額）における、世帯収入額（例えば世帯年収額）に対する割合（0.0から1.0までの値）とすることができる。

ちなみに、上式（４）を用いる場合において、「経済力ウエイト」は、学生、乳幼児や、高齢者、さらには療養者等、本来収入に関わらない（又はそのように設定された）ユーザ（世帯構成員）については便宜的に1、又は1に近い値とすることも好ましい。ここで、収入に関わっていない「母（妻）」については、1ではなく0.1等の小さな値を設定することも可能である。さらに、「家事分担比率」及び「育児分担比率」がいずれもゼロとなる場合、両者の和を便宜的に0.01等の小さな値とみなして満足度を算出することも好ましい。

ここで、上式（４）は、本願発明者等が、現場において得られた様々な経験・知識や、発達心理学の学説等を勘案し、より精度の高い満足度推定値を獲得できるように考案した算定式となっている。例えば、論文；柏木，若松，「「親となる」ことによる人格発達 : 生涯発達的視点から親を研究する試み」，発達心理学研究，第５巻，第１号，７２～８３頁，１９９４年によれば、夫の育児・家事参加の程度が高いほど妻は育児・家事への肯定感を高める傾向にあると報告されている。

この点、本願発明者等の経験・知識によっても、家事育児行動の実施が妻に偏ると、妻の生活満足度が低下する傾向にあることが分かっている。また、同時滞在時間が長いのに会話時間が短く家族間のコミュニケーションの程度が低い場合、生活満足度が低下する傾向にあることや、さらに、同時滞在時において会話時間は相当にあってもネガティブな感情が多く発現している場合、生活満足度は低い傾向にあることも分かっている。

さらに例えば、論文：平山，柏木，「中年期夫婦のコミュニケーション態度：夫と妻は異なるのか？」，発達心理学研究，第１２巻，第３号，２１６～２２７頁，２００１年によれば、妻の経済的地位が高いほど夫は共感的コミュニケーションをとる、すなわち妻の満足度がより高くなる傾向にあると報告されている。

この点についても、本願発明者等は、妻の収入が夫の収入に比べて非常に少ない場合、妻の生活満足度が低下する傾向にあることや、妻の収入が夫の収入と同等の場合、対等な立場での夫婦間コミュニケーションがとられ、妻の生活満足度も向上する傾向にあることを把握しているのである。

以上説明したように上式（４）は、精度のよい満足度を算出するために好適な式となっているが、当然、満足度は、上式（４）で算出されるものに限定されるものではない。例えば「コミュニケーションスコア」及び「経済力ウエイト」の単調増加関数であって「家事分担比率」及び「育児分担比率」の単調減少関数であれば種々の形式の満足度を規定可能である。また、「家事分担比率」及び「育児分担比率」以外の負担行動情報を用いてもよい。さらに、最も単純な例として「コミュニケーションスコア」に比例する値、若しくは「コミュニケーションスコア」×「経済力ウエイト」に比例する値を満足度とすることも可能である。

以上、満足度の推定処理について詳細に説明を行ったが、このように満足度決定部１２７によって決定され保存された満足度情報は、入出力制御部１３２を介してディスプレイ１０５に表示されてもよい。例えば、ユーザ（家族構成員）毎に、所定期間（例えば過去1年間）、コミュニケ―ションスコアと、家事・育児分担比率と、満足度（生活満足度）とが変遷していく様子が分かるテーブルやグラフが表示されることも好ましい。例えば、後に示す図２～７のテーブルが表示されてもよい。さらに、装置１のコンピュータに搭載された（図示していない）アプリケーションが、満足度情報を取り込んで、目的とする満足度関連情報を出力するための処理を実施してもよい。

さらに、この満足度情報が、通信制御部１３１及び通信インタフェース部１０１を介して、ＨＧＷ５や、当該ユーザの所持する端末・ＰＣ、さらには別の情報処理装置へ送信され利用されてもよい。また、以上に説明したような満足度推定処理の実行指示や、推定処理に必要となるデータの入力は、例えばキーボード１０６を介して行われてもよい。

［実施例］
以下、本発明による満足度推定方法の実施例を示し、本方法についてより具体的な説明を行う。ちなみに本実施例では、行動拠点エリアを自宅とする父、母、祖母、長女、及び次女からなる5人家族世帯において、2019年1月20日及び1月21日に収集したデータに基づき、2019年1月20日及び1月21日の各日に、父、母、祖母、長女及び次女の各々について満足度推定処理を実施している。

図２は、本発明による満足度推定方法の一実施例における宅内行動識別処理の結果を示すテーブルである。

図２のテーブルには、2019年1月20日及び1月21日の両日における5分経過毎の各時刻において、父、母、祖母、長女及び次女の各々に対し推定された宅内行動の行動種別と、当該行動種別についての推定スコアとが対応付けて記録されている。ちなみに、図２のテーブルに現れているのは当該記録の一部である。

また、本実施例の宅内行動識別処理は、検出・測定データから生成された特徴量と、当該家族世帯の属性情報とを入力として、各人毎且つ行動種別毎に構築された（行動識別部１２２の）行動識別モデルで実行され、宅内行動識別情報（推定行動）と、当該識別情報の推定スコア（0.00から1.00までの値）とを出力とする処理となっている。また、この行動識別モデルは、本実施例においてランダムフォレストによって構築されている。さらに、入力として用いた当該家族世帯の属性情報は、世帯構成（大人の人数，子供の人数を含む）、ユーザＩＤ（識別情報）、使用したセンサ種別、及び当該センサの宅内設置場所を含む情報となっている。

図３は、本発明による満足度推定方法の一実施例における在宅（滞在）判定処理の結果を示すテーブルである。

図３のテーブルには、2019年1月20日及び1月21日の両日における5分経過毎の各時刻において、父、母、祖母、長女及び次女の各人に対し判定を行った結果である在宅判定情報と、当該判定情報についての判定スコアとが対応付けて記録されている。ちなみに、図３のテーブルに現れているのも当該記録の一部である。

また、本実施例の在宅判定処理は、検出・測定データから生成された特徴量と、当該家族世帯の属性情報とを入力として、各人毎に構築された（滞在情報判定部１２３の）滞在判定モデルで実行され、在宅判定情報と、当該判定情報の判定スコア（0.00から1.00までの値）とを出力とする処理となっている。また、この滞在判定モデルは、本実施例においてランダムフォレストによって構築されている。さらに、入力として用いた当該家族世帯の属性情報は、上述した宅内行動識別処理で使用したものと同様となっている。

図４は、本発明による満足度推定方法の一実施例における感情推定処理の結果を示すテーブルである。

図４のテーブルには、2019年1月20日及び1月21日の両日における5分経過毎の各時刻において、父、母、祖母、長女及び次女の各々に対し推定を行った結果である感情推定情報（推定感情）と、当該推定情報についての推定スコアとが対応付けて記録されている。ちなみに、図４のテーブルに現れているのも当該記録の一部である。

また、本実施例の感情推定処理は、図２に示した宅内行動識別情報（推定行動）と、図３に示した在宅判定情報と、検出・測定データから生成された特徴量と、当該家族世帯の属性情報と、当該感情推定対象ユーザの属性情報とを入力として、各人毎に構築された（感情推定部１２４の）感情推定モデルで実行され、感情推定情報と、当該推定情報の推定スコア（0.00から1.00までの値）とを出力とする処理となっている。

また、この感情推定モデルは、本実施例においてランダムフォレストによって構築されている。さらに、入力として用いた当該家族世帯の属性情報は、上述した宅内行動識別処理で使用したものと同様となっており、また、当該感情推定対象ユーザの属性情報は、当該感情推定対象ユーザの年齢及び性別を含む情報となっている。

ちなみに、本実施例では、感情推定情報（推定感情）は、予め設定された感情ラベルである、ニュートラル（な感情）、ネガティブ（な感情）及びポジティブ（な感情）のいずれかとなっている。

図５は、本発明による満足度推定方法の一実施例におけるコミュニケーションスコア決定処理の結果を示すテーブルである。

図５のテーブルには、2019年1月20日及び1月21日の各日において、父、母、祖母、長女及び次女の各人に対し、当該各人の対話の相手となる4人の各々について算出されたコミュニケーションスコア（ＣＯＭスコア）と、当該スコアを算出するのに用いた会話量と、同時在宅時間と、ネガティブ感情比率と、家族関係ウエイトとが対応付けて記録されている。ちなみに、図５のテーブルに現れているのも当該記録の一部である。

また、本実施例のコミュニケーションスコアは、上式（１）を用い、「係数」を100として算出されている。本実施例では例えば、2019年1月20日における「父」については、母、祖母、長女及び次女の4人のうち、「次女」との間でのコミュニケーションスコア（25.0）が最も高くなっている。これは主に、当日における「父」と「次女」との会話量（60分）が2番目に大きく、また「父」と「次女」との家族関係ウエイトが最大値（1.0）となっていることによる。

図６は、本発明による満足度推定方法の一実施例における家事・育児分担比率決定処理の結果を示すテーブルである。

図６のテーブルには、2019年1月20日及び1月21日の各日において、父、母、祖母、長女及び次女の各々に対して算出された家事分担比率と、育児分担比率と、それぞれの比率を算出するのに用いた家事時間と、育児時間とが対応付けて記録されている。ちなみに、図６のテーブルに現れているのも当該記録の一部である。

また、本実施例の家事分担比率及び育児分担比率はそれぞれ、上式（２）及び（３）を用いて算出されている。本実施例では例えば、2019年1月20日における「父」の育児分担比率は、「母」や「祖母」よりも高く、家族の中で最高の値（0.46）となっている。

図７は、本発明による満足度推定方法の一実施例における満足度推定処理の結果を示すテーブルである。

図７のテーブルには、2019年1月20日及び1月21日の各日において、父、母、祖母、長女及び次女の各人に対して算出された満足度である生活満足度スコアと、当該満足度スコアを算出するのに用いたコミュニケーションスコアと、家事分担比率と、育児分担比率と、経済力ウエイトとが対応付けて記録されている。ちなみに、図７のテーブルに現れているのも当該記録の一部である。

また、本実施例の生活満足度スコアは、上式（４）を用いて算出されている。本実施例では例えば、2019年1月20日における「父」についてのコミュニケーションスコア、家事分担比率と育児分担比率の合計、経済力ウエイトはいずれも、「母」と「祖母」との間の値となっており、その結果、「父」の生活満足度スコアも、「母」（1.4）と「祖母」（11.3）との間の値（4.5）となっている。

このように本実施例によれば、家族世帯の各構成員について、行動識別情報を利用し、発達心理学の学説等に基づきコミュニケーションスコアや家事・育児分担比率を適宜活用して、最終的に精度のよい満足度（生活満足度スコア）を推定できていることが理解される。

以上詳細に説明したように、本発明によれば、行動関連データを用いて決定した行動情報（行動識別情報）に基づいてコミュニケーションスコアを決定し、このスコアに基づき満足度を推定することができる。すなわち、例えば単に音声データだけで満足度を推定するのではなく、また、予め作成した家族像モデル等のグループモデルに合致した場合にのみ推定処理を行うというのではなく、グループに係る情報であるコミュニケーションスコアを利用して、グループ構成員の満足度をより的確に精度よく推定することができるのである。

例えば、１つの可能な応用例とはなるが、本発明によれば、家族関係を考慮した生活満足度を精度よく推定することによって、家庭内暴力や、幼児虐待、いじめやストレスによる抑うつ状態の発症等、家庭内の閉じた空間における事態であるが故にこれまで外から察知されることなく進行していた問題に対し、早期の救済策をとることも可能となるのである。またその他、人間のグループに関わる様々な社会的問題の解決に貢献することも十分に考えられる。

さらに今後、サービス提供企業がＩｏＴ（Internet of Things）技術を活用してユーザに対し実施するサービスの中心は、物理的ニーズ・要望を満たすものから、精神的ニーズ・要望を満たすものへ移行していく可能性が高い。本発明は、そのトレンドに合致したサービスの提供を実現するのに大いに資するものになると考えられる。

前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

１ 満足度推定装置
１０１ 通信インタフェース部
１０２ 行動関連データ保存部
１０３ 属性情報保存部
１０４ 感情ラベル保存部
１０５ ディスプレイ（ＤＰ）
１０６ キーボード（ＫＢ）
１１１ 人物識別データ管理部
１１２ 検出・測定データ管理部
１１３ 属性情報管理部
１１４ 属性情報決定部
１１５ 特徴量生成部
１２１ 人物識別部
１２２ 行動識別部
１２３ 滞在情報判定部
１２４ 感情推定部
１２５ コミュニケーションスコア（ＣＯＭスコア）決定部
１２６ 負担行動情報決定部
１２７ 満足度決定部
１３１ 通信制御部
１３２ 入出力制御部
２ カメラ
３ 各種センサ
４ スマートメータ
５ ホームゲートウェイ（ＨＧＷ）
６ 属性情報管理装置
７ サーバ

Claims (12)

1. あるエリアを行動拠点とするグループに属する人物の満足度情報を、当該エリアについて取得された行動関連データに基づいて推定する満足度推定装置であって、
   当該行動関連データを用い、当該グループに属する満足度推定対象の人物について構築された学習済みの行動識別モデルによって、当該満足度推定対象の人物における行動の種別を識別した結果である行動識別情報であって、当該満足度推定対象の人物と当該グループに属する他の人物とのコミュニケーションに係る行動の種別を識別した結果を含む行動識別情報を決定する行動識別手段と、
   決定された行動識別情報に基づいて、当該満足度推定対象の人物による当該グループでのコミュニケーションの度合いを示すコミュニケーションスコアであって、当該コミュニケーションに係る行動の種別の識別された度合いの単調増加関数として設定されたコミュニケーションスコアを決定するコミュニケーションスコア決定手段と、
   決定されたコミュニケーションスコアに基づいて、当該満足度推定対象の人物の満足度を決定する満足度決定手段と
   を有することを特徴とする満足度推定装置。
2. 決定された行動識別情報に基づいて、当該満足度推定対象の人物が当該グループにおける所定の負担行動を実施している量又は割合に係る情報である負担行動情報を決定する負担行動情報決定手段を更に有し、
   前記満足度決定手段は、決定された負担行動情報にも基づいて、当該満足度を決定する
   ことを特徴とする請求項１に記載の満足度推定装置。
3. 決定された行動識別情報を用い、当該満足度推定対象の人物について構築された学習済みの感情推定モデルによって、当該満足度推定対象の人物の感情に係る感情情報を決定する感情推定手段を更に有し、
   前記コミュニケーションスコア決定手段は、決定された感情情報にも基づいて、当該コミュニケーションスコアを決定する
   ことを特徴とする請求項１又は２に記載の満足度推定装置。
4. 当該行動関連データを用い、当該グループに属する人物毎に構築された学習済みのエリア内滞在判定モデルによって、当該グループに属する人物毎に、当該人物が当該エリアに滞在している期間に係る情報を含むエリア内滞在情報を決定するエリア内滞在情報判定手段を更に有し、
   前記コミュニケーションスコア決定手段は、当該満足度推定対象の人物及び当該グループに属する他の人物について決定されたエリア内滞在情報にも基づいて、当該コミュニケーションスコアを決定する
   ことを特徴とする請求項１から３のいずれか１項に記載の満足度推定装置。
5. 前記行動識別手段は、当該満足度推定対象の人物に係る属性情報、当該グループに係る属性情報、及び／又は当該エリアに係る属性情報をも用いて、当該行動識別情報を決定することを特徴とする請求項１から４のいずれか１項に記載の満足度推定装置。
6. 前記満足度決定手段は、当該満足度推定対象の人物に係る属性情報であって、当該満足度推定対象の人物の経済的成果に係る属性情報にも基づいて、当該満足度を決定する
   ことを特徴とする請求項１から５のいずれか１項に記載の満足度推定装置。
7. 人物を識別することが可能な当該行動関連データである人物識別データを用い、学習済みの人物識別モデルによって、当該人物識別データに係る人物の識別情報を決定する人物識別手段を更に有し、
   前記行動識別手段は、当該エリアに係る検出・測定手段によって取得された当該行動関連データである検出・測定データ、及び当該識別情報をも用いて、当該行動識別情報を決定することを特徴とする請求項１から６のいずれか１項に記載の満足度推定装置。
8. 当該人物識別データは、当該エリアについて設けられたカメラによって取得される画像データ、及び／又は当該エリアについて設けられたマイクによって取得される音声データを含むことを特徴とする請求項７に記載の満足度推定装置。
9. 当該検出・測定データは、当該エリアについて設けられた電力計、通信装置、温度計、湿度計、照度計、人感センサ及び生体センサによってそれぞれ取得される、消費電力量データ、通信量データ、温度データ、湿度データ、照度データ、人検出データ及び生体データのうちの少なくとも１つのデータを含むことを特徴とする請求項７又は８に記載の満足度推定装置。
10. 当該エリアは住居エリアであって、当該グループは当該住居エリアの世帯であり、当該負担行動は、家事に係る行動及び育児に係る行動のうちのいずれか一方又は両方を含むことを特徴とする請求項２に記載の満足度推定装置。
11. あるエリアを行動拠点とするグループに属する人物の満足度情報を、当該エリアについて取得された行動関連データに基づいて推定する装置に搭載されたコンピュータを機能させる満足度推定プログラムであって、
    当該行動関連データを用い、当該グループに属する満足度推定対象の人物について構築された学習済みの行動識別モデルによって、当該満足度推定対象の人物における行動の種別を識別した結果である行動識別情報であって、当該満足度推定対象の人物と当該グループに属する他の人物とのコミュニケーションに係る行動の種別を識別した結果を含む行動識別情報を決定する行動識別手段と、
    決定された行動識別情報に基づいて、当該満足度推定対象の人物による当該グループでのコミュニケーションの度合いを示すコミュニケーションスコアであって、当該コミュニケーションに係る行動の種別の識別された度合いの単調増加関数として設定されたコミュニケーションスコアを決定するコミュニケーションスコア決定手段と、
    決定されたコミュニケーションスコアに基づいて、当該満足度推定対象の人物の満足度を決定する満足度決定手段と
    してコンピュータを機能させることを特徴とする満足度推定プログラム。
12. あるエリアを行動拠点とするグループに属する人物の満足度情報を、当該エリアについて取得された行動関連データに基づいて推定する装置に搭載されたコンピュータにおける満足度推定方法であって、
    当該行動関連データを用い、当該グループに属する満足度推定対象の人物について構築された学習済みの行動識別モデルによって、当該満足度推定対象の人物における行動の種別を識別した結果である行動識別情報であって、当該満足度推定対象の人物と当該グループに属する他の人物とのコミュニケーションに係る行動の種別を識別した結果を含む行動識別情報を決定するステップと、
    決定された行動識別情報に基づいて、当該満足度推定対象の人物による当該グループでのコミュニケーションの度合いを示すコミュニケーションスコアであって、当該コミュニケーションに係る行動の種別の識別された度合いの単調増加関数として設定されたコミュニケーションスコアを決定するステップと、
    決定されたコミュニケーションスコアに基づいて、当該満足度推定対象の人物の満足度を決定するステップと
    を有することを特徴とする満足度推定方法。

Images