JP5087153B2 - 行動状態推定システムおよびその方法 - Google Patents

Description

本発明の実施形態は、行動状態推定システムおよびその方法に関し、たとえば、住宅やビルなど、閉じた空間内において、人間の行動状態を推定する技術に関する。

従来、住宅内やビル内の行動は、カメラなどの画像情報を用いずに高い精度で推定することができなかった。

また、こうしたカメラを用いることはプライバシーを侵害する恐れがあり、住宅内で多くのカメラを設置することはできなかった。

一方で、家庭内の電力消費を適切に管理するためには、家庭内の居住者の行動状態を簡便に推定する必要がある、

特開2003−256957号公報

本発明の一側面は、家庭内の電力消費を適切に管理するために家庭内の居住者の行動状態を簡便に推定する行動状態推定システムおよびその方法を提供する。

本発明の一態様としての行動状態推定システムは、機器使用情報データベースと、センサ情報データベースと、建物構造関係情報データベースと、動線推定器と、行動制約条件抽出器と、人別行動推定器と、行動状態推定器と、出力部とを備える。

前記機器使用情報データベースは、建物内の機器の使用情報を時刻に関連づけて記憶する。

前記センサ情報データベースは、前記建物内のセンサにより検出されるセンサ情報を時刻に関連づけて記憶する。

前記建物構造関係情報データベースは、前記建物の部屋と機器及びセンサの配置関係を示す配置関係情報を記憶する。

前記行動制約条件抽出器は、前記機器使用情報データベースと、前記センサ情報データベースと、前記建物構造関係情報データベースとに基づき、前記部屋間の移動情報と、各前記部屋での機器使用およびセンサ検出のうちの少なくとも一方によって定まる行動の情報とを取得する。

前記人別行動推定器は、前記複数人分の時間スロットをそれぞれ設定し、前記移動情報と前記行動の情報に基づき、各人のそれぞれの前記時間スロットに、前記行動を割り当てる。

前記行動状態推定器は、行動と行動状態とを対応づけた行動状態／行動関連情報に基づき、前記各人に割り当てられた前記行動に対応する行動状態を推定する。

前記出力部は、前記行動状態推定器により推定された行動状態を、前記時間スロットに関連づけて出力する。

実施形態に係る行動状態推定システムの全体ブロック図である。 機器使用情報とセンサ情報の例を示す図である。 時系列波形からの行動推定の例を示す図である。 建物内の部屋、機器、センサを示す図である。 行動制約条件抽出器で抽出される制約条件を示す図である。 行動状態順序制約データベースの例を示す図である。 行動時間制約データベースの例を示す図である。 行動状態時刻制約データベースの例を示す図である。 行動状態／行動関連データベースの例を示す図である。 行動割り当ての動作シーケンスのフローを示す図である。 行動の推定結果の一例を示す図である。 行動状態の推定結果の一例を示す図である。 行動および行動状態の推定結果を時系列で示した図である。 ユーザからの行動状態修正の入力例を示す図である。 行動割り当ての再探索フローを示す図である。

以下、図面を参照しながら、本発明の実施形態を説明する。

図1に、本発明の実施形態に係る行動状態推定システムの構成を示す。

機器使用情報データベース（DB：DataBase）11は、建物内に設置された機器の消費電力、使用状況などを表す、機器使用情報を、時刻に関連づけて逐次、格納する。機器使用情報の一例を、図2の上に示す。なお、機器の使用情報は、電力のON／OFFでもよいし、図3の上に示すように、電力波形の特徴的波形であってもよい。

センサ情報DB12は、建物内に設置されたセンサの値を表すセンサ情報を時刻に関連づけて、逐次格納する。センサには、人感センサを含む各種センサがある。センサ情報の一例を、図2の下に示す。

建物構造関係情報DB13は、それぞれの機器及びセンサが、建物内のどの場所に設置されているかを示す情報、その場所の空間的な位置関係を示す情報、および人間の動線（移動）を制約するような障害の位置情報等の配置関係情報を格納する。機器およびセンサの配置関係といった部屋のレイアウトの例を図4に示す。部屋のレイアウト情報はユーザから設定されることができる。

動線推定器15は、機器使用情報DB11、センサ情報DB12、建物構造関係情報DB13に基づき、建物内の人間の動線情報を推定する。具体的には、どの部屋から、どの部屋へ、何人移動したかを推定する。なお、サーモパイルセンサ1個を用いた場合は部屋の在室の有無は分かるが、人数や出入りは分からない。サーモパイルセンサを複数個組み合わせた場合は、出入りは分かるが、人数は推定確度が低い。

行動制約条件抽出器14は、動線推定器15から得られる時刻及び動線情報と、機器使用情報DB11およびセンサ情報DB12から得られる時刻及び行動情報（機器使用やセンサ検知状態などイベント的な行動）を、建物構造関係情報DB13に含まれる機器及びセンサの設置場所情報により関連づけることで、制約条件を取得する。図3の上のように、機器使用が電力波形情報のときは、その形状から機器の開始および終了までを、当該機器の使用期間（ON期間）として特定すればよい。

行動制約条件抽出器14は、確度が一定値以上に高い制約条件をハード制約に、確度が一定値より低い制約条件をソフト制約に分類して、行動制約可能性群DB16に格納する。

本実施形態では、部屋間の移動情報に関しては推定確度が低いとして、ソフト制約に分類する。各部屋での行動の情報（機器の使用状況やセンサ情報による検知）に関しては確度が高く、ハード制約に分類する。ただし、これは一例であり、本実施形態はこれに制限されるものではない。

行動制約条件抽出器14により検出された制約条件（各部屋での行動の情報、部屋間の移動情報等）の一例を、図5に示す。これらの制約条件は、行動制約可能性群とも称される。制約満足度は、移動情報に対して、推定精度が高いほど、大きい値が設定される。推定精度の計算方法は任意でよい。たとえば測定方法に応じて事前に推定精度を定めておいても良い。図中の行動A、行動B等は、特定の機器のONなど、行動に名前を付けたものである。

行動状態順序制約DB17は、建物内の複数の行動又は行動状態のうち順序に規則性のある行動又は行動状態群について、行動間、および行動状態間の順序の制約を記憶している。行動状態順序制約の一例を、図6に示す。

なお、行動状態は、後の説明から明らかにされるように、行動と時刻等から推論した食事、睡眠などのより高レベルな人に関する情報であり、行動は、機器操作やセンサ情報から得られる、人に関するほぼ機械的な情報であるといえる。たとえば行動は、TVの電源スイッチがONになった、照明がONになったなど、機器の操作（又は機器の操作から簡単に分かる行動）のことである。なおどの機器およびどのセンサがどこの部屋に設置されているかは既知であるため、行動の特定は、部屋の特定も含む。

行動時間制約DB18は、建物内の代表的な行動又は行動状態の継続時間の制約が、記憶されている。行動に対する継続時間の制約の一例を、図7に示す。

行動状態時刻制約DB19は、建物内の代表的な行動又は行動状態の時間帯の制約が、記憶されている。当該制約の例を、図8に示す。

DB17〜DB19のうち、行動の順序制約、継続時間制約、時間帯制約を記憶した部分は第1データベースに対応する。DB17〜DB19のうち、行動状態の順序制約、継続時間制約、時間帯制約を記憶した部分は第2データベースに対応する。

行動状態／行動関連DB20は、代表的な行動状態（例えば食事）を、複数の行動（例えば行動Aや行動B）に紐付けて、記憶している。本DB20に記憶されている情報の一例を、図9に示す。

人数入力部22は、ユーザによって、建物内の人数を入力するためのユニットである。

図10は、人別行動推定器21の動作の流れを示すフローチャートである。

人別行動推定器21は、人数入力部22により入力された人数分だけ、所定時間分の時間スロット（行動割り当てスロットと行動状態割り当てスロット）を確保する（S101）。そして、この行動割り当てスロットに対し、ハード制約から起こりうる行動の候補を列挙し（S102）、任意の探索アルゴリズムを利用して、各人の行動割り当てスロットに行動を割り当てる（S103）。

次に、人別行動推定器21は、割り当てた行動割り当てスロットがソフト制約をどれだけ満たしているかを調べ、ソフト制約を満たす制約満足度の合計を行動割り当てスロットの評価値とする（S104）。すなわち、上記割り当てた行動に従った場合、ソフト制約に示される部屋間の人数の移動とマッチするかを検査し、マッチする制約満足度の合計を、評価値として得る。

この評価値が事前に設定しておいた値（所定値）を超えていない場合（S105のNO）、人別行動推定器21は、探索の初期値を変更して、行動の再割り当てを行い、評価値が所定値を超える行動割り当てを探索する。

評価値が所定値を超えた場合は、そのときの行動割り当てパターンを答えとして探索を終了する（S105のYES）。探索が所定時間で終了しない場合は、最も評価値の高い行動割り当てパターンを答えとして、探索を終了する。また、行動が割り当てられない時間帯は、不定時間帯（後述する図14参照）として許容する。

探索の具体例として、行動状態順序制約DB17、行動時間制約DB18、行動状態時刻制約DB19の各DB内の制約（行動の制約）、およびハード制約を満たすように、分枝限定法、山崩し法、遺伝的アルゴリズムなどにより、行動を割り当てる。たとえば図7の「行動Aの長さ≧40分」の制約の場合、1人に対して少なくとも40分以上となるように行動Aを割り当てる。仮に行動情報から特定される行動Aの長さが100分であれば、最初の40分と、残りの60分とで、異なる人に割り当てる可能性や、100分間の間、2人が同時に行動Aを取る可能性もある。

なお、ここでは行動割り当て探索を行う手法としたが、解析的（シミュレーションベース）で、制約充足解を求めても構わない。

図11に、人別行動推定器21による行動推定の結果の例を示す。

行動状態推定器23は、人別行動推定器21で求めた行動割り当てスロット内の行動に対して、行動状態／行動DB20に記載された規則に従って、行動状態の推定を行う。この際、DB17、18、19内に格納された行動状態に関する制約も利用して、行動状態の推定を行っても良い。

推定した行動状態は、行動状態割り当てスロットに割り当てられ、管理される。行動状態の推定結果の例を、図12に示す。また、行動および行動状態の推定結果を時系列で示したものを、図13に示す。このように本実施形態では、建物内に、複数人が存在する場合、その人ごとの行動状態を推定することができる。また本実施形態を応用することで、複数人を分けた各グループの単位で、行動および行動状態を推定してもよい。

行動状態／電力消費情報表示部（出力部）26は、人別行動推定器21で推定された行動推定結果と、行動状態推定器23で推定された行動状態推定結果とを表示する。

また、行動状態／電力消費情報表示部26は、行動推定結果に応じて、行動状態ごとに機器使用情報DBの関連する消費電力情報を表示する。また人物が複数いるときは、その複数人数ごとの消費電力情報を提示する。このようにして、居住者毎の省エネ意識を高めることができる。

行動状態修正入力部25は、行動状態／電力消費情報表示部26に表示された、行動割当て結果と行動状態割当て結果の修正を、ユーザにより行うためのユニットである。

行動推定結果や行動状態推定結果、ユーザからの行動状態修正情報、およびユーザが入力するスケジュールなどは、人物ごとに行動状態履歴DB24で記憶管理される。ユーザによる修正の一例を図14に示す。なお一部の時間帯が、前述した不定時間帯となっている。

なお、行動状態修正入力部25により修正が行われた時に、その修正内容から行動制約条件を抽出して、行動制約可能性群DB16にハード制約として追加してもよい。

本システムは、行動状態履歴DB24に、DB17〜DB20に存在しない、新たな制約が含まれるかを検査し、含まれるときは、その制約を、DB17〜20のうちの該当するDBに格納してもよい。これにより推定精度を上げることができる。なお、行動状態を推定する際に、行動状態履歴DB24を、人物特定の行動パターンとして参照することも可能である。

ハード制約の追加、またはDB17〜DB20の更新後における人別行動推定器21の動作の例を図15に示す。ステップS201では、ユーザ指定された行動がハード制約として用いられている。図10と同様にして、行動割り当てを行い（S202）、評価値が、所定値を超え（S203、S204のYES）、さらにユーザ修正前の評価値を超えたら（S205のYES）、新たな行動割り当て結果を得る。以降の処理は、こまれまで述べたのと同様である。

以上のように、本実施形態によれば、建物内の部屋のレイアウトと機器、センサの配置情報を利用して、在室状態、動線を特定しながら、ユーザ毎の行動を推定し、その行動から行動に紐付けされた行動状態（食事、洗濯など）を推定することで、建物内に複数人いる場合でもユーザ毎の行動状態を、カメラを使うことなく、特定できるとともに、ユーザ毎の消費電力も計算できる。

また居住者に、居住者毎の消費エネルギーを提示することで居住者毎の省エネ意識を高めることができる。

なお、以上に説明した実施形態におけるシステムは、例えば、汎用のコンピュータ装置を基本ハードウェアとして用いることでも実現することが可能である。すなわち、図1のシステムにおける各処理部は、上記のコンピュータ装置に搭載されたプロセッサにプログラムを実行させることにより実現することができる。このとき、本システムは、上記のプログラムをコンピュータ装置にあらかじめインストールすることで実現してもよいし、CD−ROMなどの記憶媒体に記憶して、あるいはネットワークを介して上記のプログラムを配布して、このプログラムをコンピュータ装置に適宜インストールすることで実現してもよい。また、システム内の各DBは、上記のコンピュータ装置に内蔵あるいは外付けされたメモリ、ハードディスクもしくはCD−R、CD−RW、DVD−RAM、DVD−Rなどの記憶媒体などを適宜利用して実現することができる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

Claims (7)

1. 建物内の機器の使用情報を時刻に関連づけて記憶する機器使用情報データベースと、
   前記建物内のセンサにより検出されるセンサ情報を時刻に関連づけて記憶するセンサ情報データベースと、
   前記建物の部屋と機器及びセンサの配置関係を示す配置関係情報を記憶する建物構造関係情報データベースと、
   前記機器使用情報データベースと、前記センサ情報データベースと、前記建物構造関係情報データベースとに基づき、前記部屋間の移動情報と、前記部屋での機器使用およびセンサ検出のうちの少なくとも一方によって定まる行動の情報と、を取得する行動制約条件抽出器と、
   行動の継続時間制約、時間帯制約、および順序制約の少なくとも１つを記憶する第1データベースと、
   複数人分の時間スロットをそれぞれ設定し、前記移動情報と前記行動の情報に基づき、前記第1データベースに記憶された前記行動の継続時間制約、時間帯制約、および順序制約にしたがって、各人のそれぞれの前記時間スロットに、前記行動を割り当てる人別行動推定器と、
   行動と行動状態とを対応づけた行動状態／行動関連情報に基づき、前記各人に割り当てられた前記行動に対応する行動状態を推定する行動状態推定器と、
   前記行動状態推定器により推定された行動状態を、前記時間スロットに関連づけて出力する出力部と、
   を備えた行動状態推定システム。
2. 前記行動状態推定器により推定された行動状態を記憶する行動状態履歴データベースをさらに備え、
   前記行動状態履歴データベース内の前記行動状態をユーザ入力により修正する行動状態修正入力部
   をさらに備えたことを特徴とする請求項1に記載の行動状態推定システム。
3. 前記行動制約条件抽出器は、前記機器使用情報データベースと、前記センサ情報データベースと、前記建物構造関係情報データベースとに基づき、前記部屋間の移動情報を推定するとともに、前記移動情報の推定精度に応じた値を有する制約満足度を計算し、
   前記人別行動推定器は、各人に割り当てた行動が満足する移動情報の制約満足度の合計に応じた評価値を計算し、前記評価値が所定値を越えるように、前記各人へ前記行動を割り当てる
   請求項1または2に記載の行動状態推定システム。
4. 行動状態の継続時間制約、時間帯制約、および順序制約の少なくとも１つを記憶する第2データベースをさらに備え、
   前記行動状態推定器は、前記第2データベース内の前記継続時間制約、前記時間帯制約、前記順序制約にしたがって、前記行動状態を推定する
   ことを特徴とする請求項1ないし3のいずれか一項に記載の行動状態推定システム。
5. 前記人数を入力する人数入力部
   をさらに備えたことを特徴とする請求項1に記載の行動状態推定システム。
6. 建物内の機器の使用情報を時刻に関連づけて記憶する機器使用情報データベースと、
   前記建物内のセンサにより検出されるセンサ情報を時刻に関連づけて記憶するセンサ情報データベースと、
   前記建物の部屋と機器及びセンサの配置関係を示す配置関係情報を記憶する建物構造関係情報データベースと、に基づき、前記部屋間の移動情報と、前記部屋での機器使用およびセンサ検出のうちの少なくとも一方によって定まる行動の情報とを取得する行動制約条件抽出ステップと、
   複数人分の時間スロットをそれぞれ設定し、前記移動情報と前記行動の情報に基づき、、行動の継続時間制約、時間帯制約、および順序制約の少なくとも１つを記憶する第1データベースに記憶された前記継続時間制約、前記時間帯制約、および前記順序制約にしたがって、各人のそれぞれの前記時間スロットに、前記行動を割り当てる人別行動推定ステップと、
   行動と行動状態とを対応づけた行動状態／行動関連情報に基づき、前記各人に割り当てられた前記行動に対応する行動状態を推定する行動状態推定ステップと、
   前記行動状態推定ステップにより推定された行動状態を、前記時間スロットに関連づけて出力する出力ステップと
   をコンピュータが実行する行動状態推定方法。
7. 前記行動制約条件抽出ステップは、前記機器使用情報データベースと、前記センサ情報データベースと、前記建物構造関係情報データベースとに基づき、前記部屋間の移動情報を推定するとともに、前記移動情報の推定精度に応じた値を有する制約満足度を計算し、
   前記人別行動推定ステップは、各人に割り当てた行動が満足する移動情報の制約満足度の合計に応じた評価値を計算し、前記評価値が所定値を越えるように、前記各人へ前記行動を割り当てる
   請求項6に記載の行動状態推定方法。

Images