JP6452593B2 - 情報処理装置及び情報処理方法 - Google Patents

情報処理装置及び情報処理方法 Download PDF

Info

Publication number
JP6452593B2
JP6452593B2 JP2015213896A JP2015213896A JP6452593B2 JP 6452593 B2 JP6452593 B2 JP 6452593B2 JP 2015213896 A JP2015213896 A JP 2015213896A JP 2015213896 A JP2015213896 A JP 2015213896A JP 6452593 B2 JP6452593 B2 JP 6452593B2
Authority
JP
Japan
Prior art keywords
occupancy
room
unit
feature vector
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015213896A
Other languages
English (en)
Other versions
JP2017084213A (ja
Inventor
白須賀 恵一
恵一 白須賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2015213896A priority Critical patent/JP6452593B2/ja
Publication of JP2017084213A publication Critical patent/JP2017084213A/ja
Application granted granted Critical
Publication of JP6452593B2 publication Critical patent/JP6452593B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)
  • Selective Calling Equipment (AREA)

Description

本発明は、情報処理装置及び情報処理方法に関し、特に、ユーザの在室部屋を推定する情報処理装置及び情報処理方法に関する。
生活者の在室場所を推定する技術として、監視カメラから直接的に計測するのではなく、宅内のある機器の稼働状態をもとに、予め記憶装置に格納した機器稼働状態と在室場所とを関連付けた辞書データを検索して、生活者の在室場所を推定する方法がある(例えば、特許文献1を参照)。
また、生活者の個別の生活行動の識別モデルを徐々にユーザに特化するために、ユーザが生活行動をタブレット端末で修正する方法がある(非特許文献1)。
特開2009−26305号公報
尾崎太亮著、「家庭における消費電力用いた生活行動分析システム」電子情報通信学会、2015年3月10日、p.172
特許文献1に記載された方法では、機器の稼働状態と在室場所の関係とを関連付けた辞書データが記憶装置に予め記憶させている。このため、様々な生活者に特化するには、予め個々の生活者に適した辞書データを用意する必要がある。また、生活者の生活パターンの変化により、在室部屋推定の精度が劣化することが懸念される。
また、非特許文献1に記載された方法では、個々のユーザに適合した生活行動推定を行うためには、推定結果をタブレット端末上に表示し、その内容がユーザの実際の行動と異なった推定結果であった場合、ユーザがタブレット端末で修正を行わなければならない。
そこで、本発明は、事前に個々のユーザの行動パターンを格納しておかなくても、個々のユーザの行動パターンに適合した在室部屋推定を行うことができるようにすることを目的とする。
本発明の一態様に係る情報処理装置は、ネットワークに接続され、複数の部屋の何れかに設置された複数の機器と通信を行い、当該複数の機器の各々から、自装置の使用状態を示す使用状態情報を含む機器情報を受信する通信部と、前記通信部で受信された機器情報に基づいて、前記複数の機器の全ての使用状態を示す全使用状態情報、及び、現在の時刻を少なくとも含む時間情報を含む特徴ベクトルを生成するとともに、前記通信部で受信された機器情報に基づいて、当該機器情報を送ってきた機器に対してユーザが操作を行ったか否かを判断し、当該操作の行われた機器が設置されている部屋をユーザの在室部屋として特定し、当該特定された在室部屋を示す在室部屋ラベルを、前記生成された特徴ベクトルに付加する特徴量抽出部と、前記在室部屋ラベルが付加された特徴ベクトルに含まれている時間情報で示される時刻に対応する時間帯を含めることで、前記在室部屋ラベルが付加された特徴ベクトルを、前記在室部屋ラベルが付加された更新特徴ベクトルに更新するデータ処理部と、前記データ処理部で更新された、前記在室部屋ラベルが付加された更新特徴ベクトルを学習用データとして格納するデータ格納部と、前記データ格納部に格納されている学習用データに基づいて、前記時間帯及び前記複数の機器の全ての使用状態の組み合わせ毎に、前記複数の部屋の各々の在室確率を算出する在室確率算出部と、前記在室確率算出部で算出された在室確率の内、前記特徴量抽出部で生成された特徴ベクトルに対応する在室確率から、ユーザの在室部屋を推定する在室部屋推定部と、を備えることを特徴とする。
本発明の他の態様に係る情報処理装置は、複数の部屋の何れかに設置された複数の機器と通信を行い、当該複数の機器の各々から、自装置の使用状態を示す使用状態情報を含む機器情報を受信する通信部と、前記通信部で受信された機器情報に基づいて、前記複数の機器の全ての使用状態を示す全使用状態情報、及び、現在の時刻を少なくとも含む時間情報を含む特徴ベクトルを生成するとともに、前記通信部で受信された機器情報に基づいて、当該機器情報を送ってきた機器に対してユーザが操作を行ったか否かを判断し、当該操作の行われた機器が設置されている部屋をユーザの在室部屋として特定し、当該特定された在室部屋を示す在室部屋ラベルを、前記生成された特徴ベクトルに付加する特徴量抽出部と、前記在室部屋ラベルが付加された特徴ベクトルに含まれている時間情報で示される時刻に対応する時間帯を含めることで、前記在室部屋ラベルが付加された特徴ベクトルを、前記在室部屋ラベルが付加された更新特徴ベクトルに更新するとともに、前記時間帯及び前記複数の機器の全ての使用状態の組み合わせ毎に、前記複数の部屋の各々の在室確率を、前記在室部屋ラベルが付加された更新特徴ベクトルに基づいて算出する学習部と、前記学習部で算出された在室確率を格納するデータ格納部と、前記特徴量抽出部で生成された特徴ベクトルに対応する、前記複数の部屋の各々の在室確率を前記データ格納部から抽出する在室確率抽出部と、前記在室確率抽出部で抽出された在室確率からユーザの在室部屋を推定する在室部屋推定部と、を備えることを特徴とする。
本発明の一態様に係る情報処理方法は、ネットワークに接続され、複数の部屋の何れかに設置された複数の機器と通信を行い、当該複数の機器の各々から、自装置の使用状態を示す使用状態情報を含む機器情報を受信し、前記受信された機器情報に基づいて、前記複数の機器の全ての使用状態を示す全使用状態情報、及び、現在の時刻を少なくとも含む時間情報を含む特徴ベクトルを生成し、前記受信された機器情報に基づいて、当該機器情報を送ってきた機器に対してユーザが操作を行ったか否かを判断し、当該操作の行われた機器が設置されている部屋をユーザの在室部屋として特定し、当該特定された在室部屋を示す在室部屋ラベルを、前記生成された特徴ベクトルに付加し、前記在室部屋ラベルが付加された特徴ベクトルに含まれている時間情報で示される時刻に対応する時間帯を含めることで、前記在室部屋ラベルが付加された特徴ベクトルを、前記在室部屋ラベルが付加された更新特徴ベクトルに更新し、前記在室部屋ラベルが付加された更新特徴ベクトルを学習用データとして格納し、前記学習用データに基づいて、前記時間帯及び前記複数の機器の全ての使用状態の組み合わせ毎に、前記複数の部屋の各々の在室確率を算出し、前記算出された在室確率の内、前記特徴ベクトルに対応する在室確率から、ユーザの在室部屋を推定することを特徴とする。
本発明の他の態様に係る情報処理方法は、複数の部屋の何れかに設置された複数の機器と通信を行い、当該複数の機器の各々から、自装置の使用状態を示す使用状態情報を含む機器情報を受信し、前記受信された機器情報に基づいて、前記複数の機器の全ての使用状態を示す全使用状態情報、及び、現在の時刻を少なくとも含む時間情報を含む特徴ベクトルを生成し、前記受信された機器情報に基づいて、当該機器情報を送ってきた機器に対してユーザが操作を行ったか否かを判断し、当該操作の行われた機器が設置されている部屋をユーザの在室部屋として特定し、当該特定された在室部屋を示す在室部屋ラベルを、前記生成された特徴ベクトルに付加し、前記在室部屋ラベルが付加された特徴ベクトルに含まれている時間情報で示される時刻に対応する時間帯を含めることで、前記在室部屋ラベルが付加された特徴ベクトルを、前記在室部屋ラベルが付加された更新特徴ベクトルに更新し、前記時間帯及び前記複数の機器の全ての使用状態の組み合わせ毎に、前記複数の部屋の各々の在室確率を、前記在室部屋ラベルが付加された更新特徴ベクトルに基づいて算出し、前記算出された在室確率を格納し、前記特徴ベクトルに対応する、前記複数の部屋の各々の在室確率を抽出し、前記抽出された在室確率からユーザの在室部屋を推定することを特徴とする。
本発明の一態様によれば、事前に個々のユーザの行動パターンを格納しておかなくても、個々のユーザの行動パターンに適合した在室部屋推定を行うことができる。
実施の形態1〜3に係る在室部屋推定システムの構成を概略的に示すブロック図である。 実施の形態1における特徴量抽出部の構成を概略的に示すブロック図である。 実施の形態1におけるユーザ操作定義リストの概略図である。 実施の形態1における設置部屋リストの概略図である。 実施の形態1における在室部屋ラベルが付加された特徴ベクトルを示す概略図である。 実施の形態1における特徴量抽出部の動作を示すフローチャートである。 実施の形態1における学習用データテーブルの一例を示す概略図である。 実施の形態1における集計テーブルの一例を示す概略図である。 実施の形態1における在室確率リストの一例を示す概略図である。 実施の形態1における在室部屋推定部の内部処理を示す概略図である。 実施の形態2における特徴量抽出部の構成を概略的に示すブロック図である。 実施の形態2における機器使用継続時間の算出処理の一例を示す概略図である。 実施の形態2において、部屋毎に求められた最小の機器使用継続時間の値に割り振る順番を説明するための概略図である。 実施の形態2における在室部屋ラベルが付加された特徴ベクトルを示す概略図である。 実施の形態2における更新特徴ベクトル毎の在室検出回数の集計結果を示す概略図である。 実施の形態3における在室部屋推定部の内部処理を示す概略図である。 実施の形態4に係る在室部屋推定システムの構成を概略的に示すブロック図である。 実施の形態5に係る在室部屋推定システムの構成を概略的に示すブロック図である。 実施の形態6に係る在室部屋推定システムの構成を概略的に示すブロック図である。 実施の形態1〜6におけるコントローラのハードウェア構成の一例を示す概略図である。
実施の形態1.
図1は、実施の形態1に係る機器制御システムとしての在室部屋推定システム100の構成を概略的に示すブロック図である。
図1に示されるように、在室部屋推定システム100は、一又は複数の機器110A〜110C(特に各々を区別する必要がない場合には、機器110という)と、情報処理装置としてのコントローラ120とを備える。機器110は、BHEMS(ホームエネルギーマネージメントシステム)等の宅内のホームネットワーク101に接続されている。コントローラ120は、それらの機器110の制御を行う、例えばHEMSコントローラである。なお、実施の形態1に係る情報処理方法は、コントローラ120で行われる方法である。
通信ネットワークであるホームネットワーク101に接続される機器110は、例えば、照明機器、エアコン、テレビ、換気扇、冷蔵庫、クッキングヒータ、温水暖房器、給湯器、太陽電池、燃料電池又は蓄電池等である。図1では、第1の部屋102Aに機器110A及び機器110Bが設置されており、第2の部屋102Bに機器110Cが設置されている。
機器110は、複数の部屋の何れかに設定されており、周期的に機器110の状態を示す機器情報を、ホームネットワーク101を介して、コントローラ120に送信する。
図示してはいないが、機器110は、機器110の機能を発揮する処理部と、機器110の状態を示す機器情報を生成する機器情報生成部と、ホームネットワーク101を介して機器情報をコントローラ120に送信する通信部とを備える。
機器情報生成部は、例えば、メモリに記憶されているプログラムを実行するCPU(Central Processing Unit)等のプロセッサで実現することができ、通信部は、例えば、NIC(Network Interface Card)等の通信装置で実現することができる。
機器情報は、少なくとも機器の使用状態を示す使用状態情報を含んでいる。
また、機器情報は、機器情報が生成された時間を示す時間情報を含んでいてもよい。時間情報は、例えば、年、月、日、時刻及び曜日の少なくとも1つを含む情報である。
さらに、機器情報は、前回機器情報が送信されてから、機器110で起こったイベントを示すイベント情報が含まれていてもよい。
コントローラ120は、ホームネットワーク101に接続されており、様々な部屋に設置されている機器110の制御を行う。
コントローラ120は、通信部121と、特徴量抽出部122と、データ処理部123と、データ格納部124と、在室確率算出部125と、在室部屋推定部126とを備える。
通信部121は、ホームネットワーク101を介して、機器110と通信を行う。例えば、通信部121は、機器110から、機器110の使用状態を示す機器情報を周期的に受信する。通信部121は、受信された機器情報を特徴量抽出部122に与える。
特徴量抽出部122は、通信部121から与えられた機器情報から特徴量を抽出して、抽出された特徴量を含む特徴ベクトルを生成する。例えば、特徴量抽出部122は、通信部121で受信された機器情報に基づいて、複数の機器110の全ての使用状態を示す全使用状態情報、及び、現在の時刻を少なくとも含む時間情報を含む特徴ベクトルを生成する。
また、特徴量抽出部122は、通信部121で受信された機器情報に基づいて、この機器情報を送ってきた機器110に対してユーザが操作を行ったか否かを判断する。特徴量抽出部122は、ユーザが操作を行ったと判断した場合には、操作の行われた機器110が設置されている部屋をユーザの在室部屋として特定する。そして、特徴量抽出部122は、特定された在室部屋を示す在室部屋ラベルを、生成された特徴ベクトルに付加する。
図2は、特徴量抽出部122の構成を概略的に示すブロック図である。
特徴量抽出部122は、機器状態サンプリング部130と、ユーザ操作検出部131と、ユーザ操作定義情報としてのユーザ操作定義リスト132と、在室部屋検知部133と、設置部屋情報としての設置部屋リスト134と、在室部屋ラベル付加部135とを備える。なお、ユーザ操作定義リスト132及び設置部屋リスト134は、記憶部136に記憶されている。
機器状態サンプリング部130は、通信部121を介して、ホームネットワーク101に接続されているそれぞれの機器110から機器情報を周期的に取得する。機器状態サンプリング部130は、取得された機器情報から各機器110の特徴量として、機器110の使用状態情報を抽出する。そして、機器状態サンプリング部130は、抽出された特徴量を一次元に並べた特徴ベクトルを生成する。
ここで、機器情報に時刻を含む時間情報が含まれている場合には、機器状態サンプリング部130は、その時間情報を特徴量として特徴ベクトルに含める。この場合、機器情報に含まれている時間情報で示される時刻が現在の時刻として扱われる。一方、機器情報に時間情報が含まれていない場合には、機器状態サンプリング部130は、現在の時刻を少なくとも含む時間情報を生成して、生成された時間情報を特徴量として特徴ベクトルに含める。なお、本実施の形態においては、特徴ベクトルに含まれている時間情報は、時刻及び曜日である。
また、機器110の使用状態情報は、機器が使用されているか否かを示す情報であり、例えば、使用中なら「ON」、不使用なら「OFF」を示す。なお、特徴ベクトルには、全ての機器110の使用状態情報が含まれており、全ての機器110の使用状態情報をまとめて全使用状態情報という。
機器状態サンプリング部130は、機器の情報を取得する毎に、このような特徴ベクトルを生成し、在室確率算出部125及び在室部屋ラベル付加部135に与える。また、機器状態サンプリング部130は、通信部121から与えられた機器情報をユーザ操作検出部131に与える。
ユーザ操作検出部131は、取得された機器情報から機器110へのユーザ操作の有無の検出を行う。例えば、ユーザ操作検出部131は、機器情報にイベント情報が含まれている場合には、ユーザ操作定義リスト132を参照して、機器110のユーザ操作の有無の検出を行う。
ユーザ操作定義リスト132は、どのようなイベントがユーザ操作なのかを機器毎に定義した情報である。例えば、機器110が冷蔵庫の場合、電源のオン又はオフといった使用状態情報ではユーザ操作の有無は把握できない。また、テレビのタイマー設定による視聴開始又は停止、エアコンのタイマー設定による動作開始又は停止、及び、ネットワーク接続先のコントローラ120からの動作開始又は停止指示等があった場合は、機器の使用状態情報だけではユーザ操作の有無を把握することができない。
そこで、ユーザ操作定義リスト132を予め保持しておくことで、ユーザ操作検出部131は、どのようなイベントがあった場合に、ユーザ操作が有ったかを判断することができる。言い換えると、ユーザ操作検出部131は、イベント情報で示されるイベントが予め定められたイベントである場合に、ユーザが操作を行ったと判断する。
図3は、ユーザ操作定義リスト132の概略図である。
ユーザ操作定義リスト132は、機器列132aと、ユーザ操作要因の定義列132bとを有するテーブル形式の情報である。
機器列132aは、機器110を識別するための機器識別情報である機器IDを格納する。
ユーザ操作要因の定義列132bは、機器列132aで識別される機器110で起こるイベントの内、ユーザ操作が行われたと判断することのできるイベントを示すイベント識別情報であるイベントIDを格納する。
図3に示されているように、機器110が冷蔵庫の場合は、ドア開閉のイベントがあった場合に、ユーザ操作があったと検出することができる。機器110が照明機器の場合はスイッチによる照明のオン又はオフのイベント、又は、リモコン操作のイベントで、ユーザ操作があったと検出することができる。機器110が電子レンジの場合は、ドア開閉のイベント又は本体パネル操作のイベントで、ユーザ操作があったと検出することができる。機器110が、テレビ、オーディオ機器、レコーダ、エアコン又は扇風機の場合は、リモコン操作のイベント、又は、本体パネル操作のイベントで、ユーザ操作があったと検出することができる。機器110が、クッキングヒータ、トースター、換気扇、床暖房機器又は洗濯機の場合は、本体パネル操作のイベントで、ユーザ操作があったと検出することができる。機器110がドライヤーの場合は、本体スイッチ操作のイベントで、ユーザ操作があったと検出することができる。
なお、ユーザ操作検出部131は、機器情報にイベント情報が含まれていない場合には、機器情報に含まれている使用状態の変化から、ユーザ操作の検出を行う。例えば、機器110が、クッキングヒータである場合には、ユーザ操作検出部131は、使用状態の変化により、ユーザ操作があったことを検出することができる。
ユーザ操作検出部131は、ユーザ操作があったことを検出すると、在室部屋検知部133に通知を行う。
在室部屋検知部133は、ユーザ操作検出部131からの通知に基づいて、ユーザの在室部屋を検知する。例えば、在室部屋検知部133は、設置部屋リスト134を参照して、ユーザ操作検出部131からの通知により、ユーザ操作のあった機器110が設置されている部屋を、ユーザの在室部屋として検知する。
設置部屋リスト134は、機器110が設置されている部屋を示す情報である。
図4は、設置部屋リスト134の概略図である。
設置部屋リスト134は、機器列134aと、設置部屋列134bとを有するテーブル形式の情報である。
機器列134aは、機器110を識別するための機器識別情報である機器IDを格納する。
設置部屋列134bは、機器列134aで識別される機器110が設置されている部屋を識別するための部屋識別情報である部屋IDを格納する。
設置部屋リスト134は、例えば、予め機器110をホームネットワーク101に接続した際に、ユーザがその機器110の設置部屋を、図示しないユーザインターフェース経由で入力することで生成される。
在室部屋検知部133は、ユーザ操作された機器IDを在室部屋検知部133から通知されると、設置部屋リスト134を参照して、対応する設置部屋(設置部屋ID)を把握する。そして、在室部屋検知部133は、把握した部屋IDをユーザ在室部屋IDとして確定し、在室部屋ラベル付加部135に通知する。
在室部屋ラベル付加部135は、機器状態サンプリング部130が抽出した特徴ベクトル(時間情報及び各機器110の使用状態情報)に、在室部屋検知部133から通知を受けた在室部屋IDを在室部屋ラベルとして付加する。但し、在室部屋ラベルは、ユーザの在室部屋が検知された一部の特徴ベクトルに対してのみ付加され、全ての特徴ベクトルに付加されるわけではない。
図5は、一部に在室部屋ラベルが付加された特徴ベクトルを示す概略図である。
特徴ベクトルは、図5の一つの行に格納された特徴量を有するデータであり、図5に示されているように、一部の特徴ベクトルには、在室部屋ラベルが付加されている。なお、図5に示されているように、ユーザ操作が検出されなかった機器情報から生成された特徴ベクトルについては、在室部屋ラベルが空欄となっている。
なお、図5に示されているように、時刻が7:03:30にキッチンの照明がユーザ操作によってONからOFFになっている。この場合、在室部屋ラベル付加部135は、照明がOFFにされた特徴ベクトルに在室部屋ラベルとして「キッチン」を付加せずに、一つ前の7:03:00の特徴量を有する特徴ベクトルに在室部屋ラベルとして「キッチン」を付加する。これは、機器をOFFに操作したユーザはその後、その部屋から居なくなる傾向が高いため、機器110の使用状態がOFFとなった特徴ベクトルに在室部屋ラベルを付加せずに、一つ前の機器110の使用状態がONである特徴量を有する特徴ベクトルに在室部屋ラベルを付加するようにしている。
このため、在室部屋ラベル付加部135は、特徴ベクトルを一時的に記憶する記憶部(バッファ)を備えている。
在室部屋ラベル付加部135は、機器110からの情報を取得する周期毎に、一つ前に取得された機器情報から生成された在室部屋ラベル付特徴ベクトル又は特徴ベクトルをデータ処理部123に与える。
図6は、特徴量抽出部122の動作を示すフローチャートである。
まず、機器状態サンプリング部130は、ホームネットワーク101に接続された機器110から機器情報をある一定周期毎にサンプリングする(S10)。
次に、機器状態サンプリング部130は、得られた機器情報から少なくとも使用状態情報を抽出し、特徴ベクトルを生成する(S11)。機器状態サンプリング部130は、生成した特徴ベクトルを在室部屋ラベル付加部135及び在室確率算出部125に与える。また、機器状態サンプリング部130は、得られた機器情報をユーザ操作検出部131に与える。
次に、ユーザ操作検出部131は、機器状態サンプリング部130から与えられた機器情報に基づいて、ユーザ操作の有無を判断する(S12)。ユーザ操作検出部131は、機器情報にイベント情報が含まれている場合には、ユーザ操作定義リスト132を参照し、このリストで定義されたユーザ操作に相当するイベントが発生したかを判断する。ユーザ操作があった場合(S12でYes)には、処理はステップS13に進み、ユーザ操作がなかった場合(S12でNo)には、処理はステップS15に進む。
ステップS13では、ユーザ操作検出部131は、ユーザ操作があった機器110の機器IDを在室部屋検知部133に通知して、在室部屋検知部133は、設置部屋リスト134を参照して、ユーザ操作があった機器110が設置されている部屋を特定する(S13)。そして、在室部屋検知部133は、特定された部屋の部屋IDを在室部屋ラベル付加部135に通知する。
次に、在室部屋ラベル付加部135は、在室部屋検知部133から通知された部屋IDに基づいて、機器状態サンプリング部130から与えられた特徴ベクトルに在室部屋ラベルを付加する(S14)。そして、処理はステップS15に進む。
ステップS15では、在室部屋ラベル付加部135は、在室部屋ラベルが付加された特徴ベクトル又はこのような在室部屋ラベルが付加されていない特徴ベクトルをデータ処理部123に与える。
そして、処理は、ステップS10に戻り、機器状態サンプリング部130は、次のサンプリング周期まで待った後、各機器110から機器情報を取得する。
図1に示されているデータ処理部123は、特徴量抽出部122から与えられた特徴ベクトルを処理して、処理後の特徴ベクトルを学習用データとしてデータ格納部124に格納する。例えば、データ処理部123は、在室部屋ラベルが付加された特徴ベクトルに含まれている時間情報で示される時刻が含まれる時間帯を含めることで、在室部屋ラベルが付加された特徴ベクトルを、在室部屋ラベルが付加された更新特徴ベクトルに更新する。そして、データ処理部123は、在室部屋ラベルが付加された更新特徴ベクトルを学習用データとしてデータ格納部124に格納する。
具体的には、データ処理部123は、在室部屋ラベルが付加されていない特徴ベクトルを削除する。そして、データ処理部123は、在室部屋ラベルが付加された特徴ベクトルに含まれている時刻を、その時刻が含まれる時間帯に変換する。例えば、本実施の形態では、データ処理部123は、特徴ベクトルに含まれている時刻から分及び秒を除いて、一時間を一単位とする時間帯に更新する。データ処理部123は、更新特徴ベクトル及び在室部屋ラベルを学習用データとしてデータ格納部124に格納する。
データ格納部124は、学習用データを格納した学習用データ情報としての学習用データテーブルを記憶する。
図7は、学習用データテーブルの一例を示す概略図である。
図7に示されている学習用データテーブル124aは、更新特徴ベクトル列124bと、在室部屋ラベル列124cとを有する。
更新特徴ベクトル列124bは、データ処理部123で更新された特徴ベクトルである更新特徴ベクトルを格納する。
ここで、図7に示されている例では、7時0分0秒から7時59分30秒までの60分間の時刻が、7時台という時間帯に変換されている。なお、データ処理部123は、時間帯を、30分単位としたり、2時間単位としたり、朝、昼、夕、晩又は深夜のような時間単位としてもよい。また、図示されていないが、データ処理部123は、年及び月を特徴ベクトルに追加して、学習用データとして格納してもよい。
在室部屋ラベル列124cは、更新特徴ベクトル列124bに格納された更新特徴ベクトルに付加された在室部屋ラベルを格納する。
なお、データ処理部123は、データ格納部124の容量に応じて、古いデータから削除し新たなデータを追加しておく。
以上のように、特徴量抽出部122が、各機器110から収集した機器情報から、在室推定のために有効となる機器110の使用状態情報と、時刻、曜日、月又は日等の時間情報とを特徴ベクトルとして抽出し、さらに、機器110に対してのユーザ操作の有無を検知し、ユーザ操作に基づいてユーザが存在した部屋を在室部屋ラベルとして付加することで、学習用データをデータ格納部124に蓄積していく。
在室部屋推定のための学習用データは、ユーザ操作が発生した機器110が設置されている部屋、即ち、ユーザの在室部屋情報(在室部屋ラベル)を、そのユーザ操作発生時におけるユーザが操作した機器110の使用状態情報だけでなく、他の機器110の使用状態情報にも関連付けして記録されていく。
次に、在室部屋を識別するための識別処理について説明する。
図1に示されている在室確率算出部125は、更新特徴ベクトルで示される時間帯及び複数の機器110の全ての使用状態の組み合わせ毎に、各部屋の在室確率を、データ格納部124に格納されている学習用データから算出する。
そして、在室部屋推定部126は、在室確率算出部125で算出された在室確率の内、特徴量抽出部122で生成された特徴ベクトルで示される時刻が含まれる時間帯及び複数の機器110の全ての使用状態の組み合わせに対応する在室確率から、ユーザの在室部屋を推定する。例えば、在室部屋推定部126は、対応する在室確率の内、最も在室確率の高い部屋を推定在室部屋と判断する。
以下、在室確率算出部125の在室確率の求め方について説明する。
ここでは、以下の仮定の下、説明を行う。
宅内には、R個の部屋ω,ω,・・・,ωがあり、ホームネットワークに接続された機器110がn台ある。ここで、R及びnは、2以上の整数である。
ある時点の特徴ベクトル(入力パターン)が、x(n)=x,x,・・・,xであるものとする。ここで、mは、2以上の整数である。このとき観測された特徴ベクトルx(n)をもとに、在室部屋ωを推定するアルゴリズムについて以下に記載する。
在室部屋を推定するには、ベイズ決定則を適用して、ある特徴ベクトルx(n)が観測されたもとでのある部屋ωに在室する事後確率P(ω|x(n))が最大となる在室部屋ωを求めればよい。ここで、iは、1≦i≦Rを満たす整数で、kも、1≦k≦Rを満たす整数である。なお、ある部屋ωに在室する事後確率のことを、在室確率という。
事後確率最大化に基づくベイズ決定則を用いると、事後確率が最大となる在室部屋ωは、(1)式により求まる。
Figure 0006452593
ここで、ヘイズ決定則により、事後確率P(ω|x(n))は、下記の(2)式により求まる。
Figure 0006452593
(2)式において、P(x(n)|ω)は、在室部屋がωであったときに、特徴ベクトルx(n)がある値をとる出現確率である。例えば、xが時刻、xがTVの使用状態、xがリビングの照明の使用状態、ωがリビング、及び、ωがキッチンである場合に、ωがキッチンで、特徴ベクトルx(n)が(x=7:00,x=ON,x=ON)であるとする。このような例では、P(x(n)|ω)は、学習用データテーブルにおいて、在室ラベルがω(キッチン)を満たし、かつ、更新特徴ベクトルが特徴ベクトルx(n)を満たす学習用データの数を、全ての学習用データの数(学習用データテーブルの全ての行数)で割った値となる。
また、(2)式において、P(x(n))は、特徴ベクトルx(n)の出現確率である。例えば、特徴ベクトルx(n)の要素として、xが時刻、xがTVの使用状態、及び、xがリビングの照明の使用状態である場合に、特徴ベクトルx(n)が(x=7:00,x=ON,x=ON)であるとする。このような例では、P(x(n))は、更新特徴ベクトルが特徴ベクトルx(n)を満たす学習用データの数を、全ての学習用データの数(学習用データテーブルの全ての行数)で割った値となる。
さらに、(2)式において、P(ωi)は、ユーザが部屋ωに在室している確率である。例えば、ωがリビング、及び、ωがキッチンである場合に、ωがキッチンであるとする。このような例では、P(ωi)は、在室ラベルがω(キッチン)を満たす学習用データの数を、全ての学習用データの数(学習用データテーブルの全ての行数)で割った値となる。
また、(2)式の分母は、下記の(3)式で求められる。
Figure 0006452593
従って、(2)式は、下記の(4)式に変形することができる。
Figure 0006452593
ここで、(2)式のP(x(n))は、各iに共通であるので、言い換えると、在室部屋には依存しない値であるので、P(x(n)|ω)の大小には影響しない。従って、(1)式では、下記の(5)式のように、(4)式の分子のみを考慮すればよい。
Figure 0006452593
さらに、在室部屋の推定を簡単に行うため、特徴ベクトルx(n)について、その各要素x,x,・・・,xは、それぞれ依存性が無く独立する。言い換えると、時間情報及び各部屋の使用状態は独立とすると、P(x(n)|ω)は、下記の(6)式で求めることができる。
Figure 0006452593
以上により、在室部屋ωは、下記の(7)式で求めることができる。
Figure 0006452593
例えば、説明を簡単にするため、宅内にリビング、キッチン及び寝室の3部屋があり、第1の機器及び第2の機器がホームネットワークに接続されている場合を考える。
現在の時間帯が、日曜日の7時台とし、各機器の使用状態として、第1の機器が使用中及び第2の機器が使用中だった場合、推定在室部屋を以下のようにして求めることができる。
ここでは、リビングをω、キッチンをω、寝室をω、曜日をx、時間帯をx、第1の機器の使用状態をx、及び、第2の機器の使用状態をxとすると、在室確率算出部125は、第1の機器が使用中、第2の機器が使用中の元でのリビング、キッチン及び寝室の事後確率をそれぞれ以下のように求める。そして、在室部屋推定部126は、その値が最大となる部屋を在室部屋と推定する。
リビング(ω)の事後確率は、下記の(8)式で求めることができる。
Figure 0006452593
キッチン(ω)の事後確率は、下記の(9)式で求めることができる。
Figure 0006452593
寝室(ω)の事後確率は、下記の(10)式で求めることができる。
Figure 0006452593
以上の計算を行うため、在室確率算出部125は、データ格納部124に格納された学習用データテーブル124a(図7参照)から、図8に示されているように、更新特徴ベクトル毎に、各々の部屋の在室検出回数を集計する。具体的には、在室確率算出部125は、曜日、時間帯、リビングの照明の使用状態、リビングのテレビの使用状態、キッチンの照明の使用状態、キッチンの電子レンジの使用状態、・・・、寝室の照明の使用状態を要素として構成されている更新特徴ベクトルについて、更新特徴ベクトル毎にリビング、キッチン、・・・、寝室の各部屋の在室ラベルが何回存在したかを集計し、図8に示されているような集計テーブル140を作成する。
そして、在室確率算出部125は、集計テーブル140をもとに、更新特徴ベクトル及び部屋の組み合わせ毎に在室確率を算出することで、図9に示されているような在室確率リスト141を作成する。図9において在室確率と記載している列の値は、上記(8)式、(9)式及び(10)式に相当する計算が行われた結果である。
そして、在室確率算出部125は、図9に示されている在室確率リスト141の内、更新特徴ベクトルが入力パターンに対応する行に格納されている各部屋の在室確率を在室部屋推定部126に与える。
例えば、入力パターンにおいて、曜日が日曜日、時間帯が7:30:00、リビングの照明がON、リビングのテレビがON、キッチンの照明がON、キッチンの電子レンジがOFF、・・・、寝室の照明がOFFであった場合、図9に示されているように、各部屋の在室確率は、リビングが0.47、キッチンが0.44、・・・、寝室が0.08であるため、在室確率算出部125は、これらの値を在室部屋推定部126に与える。
在室部屋推定部126は、図10に示すように、各部屋の在室確率のうち最大のものを選択し、その部屋を推定在室部屋とする。
以上のように、実施の形態1によれば、事前に機器110の使用パターンを記憶しておくのではなく、オンサイトで機器110に対するユーザ操作の検知による確定した在室部屋情報と、その際の全機器110の使用状態とから、学習用データを自動的に生成、蓄積する。そして、実施の形態1は、このような学習用データに基づいて、現時点での時間情報及び各機器使用状態から最も確率の高い部屋を在室部屋として推定するため、個々のユーザの行動パターンに適合した在室推定を行うことができる。
ユーザ毎に生活パターンの種類は非常に多く、事前に記憶させておくことが非常に困難であるので、実施の形態1によって、日時に応じた各機器110の使用状態を示す特徴量と、ユーザ操作検知による機器110の設置部屋ラベルとをペアとした学習用データの蓄積量が増加するのに伴い、個々のユーザに適合した在室部屋推定の精度が向上する。
また、実施の形態1では、ホームネットワーク101に接続された機器110の使用状態と、ユーザ操作の検知とから学習データを生成することで、ユーザに適合した学習に基づいた在室推定が可能である。このため、在室推定用に監視カメラを使用する必要がなく、ユーザの心理としてカメラで監視されているという違和感を全く与えずに在室推定を行うことができる。
また、実施の形態1によれば、わざわざ人感センサーを追加設置する必要がなく、ホームネットワーク101に、エアコン、テレビ、電子レンジ等の生活に使用する必需品である機器110を接続するだけで在室推定が可能である。このため、人感センサー設置の手間及び人感センサーの購入コストが不要である。
また、実施の形態1によれば、ユーザ操作の発生した機器110の使用状態だけでなく、ユーザ操作の発生した時点の他の全ての機器110の使用状態を特徴ベクトルに加え、在室部屋の学習及び推定を行うようにしたので、高精度で在室部屋を推定することが可能である。
さらにまた、実施の形態1によれば、家の外部のネットワークにユーザの機器110の使用状態、部屋の構成等の個人情報を一切出力しないので、ユーザにプライバシー情報が外部に流出してしまうのではないかという懸念を与えたりすることなく安心して使用してもらうことが出来る。
さらに、実施の形態1は、使用されていた機器110を未使用状態にするユーザ操作が発生したときに、その際の機器110の特徴ベクトルに在室部屋ラベルを付加せずに、一つ前にサンプリングした機器110の特徴ベクトルに在室部屋ラベルを付加して学習用データを生成するようにし、未使用状態の機器110の設置部屋に在室ラベルが付加されないようにしている。このため、高精度での在室推定が実現できる。
実施の形態2.
図1に示されるように、実施の形態2に係る在室部屋推定システム200は、一又は複数の機器110と、コントローラ220とを備える。実施の形態2に係る在室部屋推定システム200は、コントローラ220を除いて、実施の形態1に係る在室部屋推定システム100と同様に構成されている。従って、以下では、コントローラ220について主に説明する。
コントローラ220は、通信部121と、特徴量抽出部222と、データ処理部123と、データ格納部124と、在室確率算出部125と、在室部屋推定部126とを備える。実施の形態2におけるコントローラ220は、特徴量抽出部222を除いて、実施の形態1と同様に構成されている。従って、以下では、特徴量抽出部222について主に説明する。
特徴量抽出部222は、通信部121で受信された機器情報に基づいて、複数の機器110の使用継続時間に関する情報を、さらに特徴ベクトルに含める。
このため、在室確率算出部125は、時間帯、複数の機器110の全ての使用状態、及び、複数の機器110の使用継続時間に関する情報の組み合わせ毎に、各部屋の在室確率を算出する。
そして、在室部屋推定部126は、在室確率算出部125で算出された在室確率の内、特徴量抽出部222で生成された特徴ベクトルに対応する在室確率から、ユーザの在室部屋を推定する。
なお、特徴ベクトルの要素が一つ増えただけであるため、在室確率算出部125及び在室部屋推定部126での処理は、実施の形態1と同様である。
図11は、実施の形態2における特徴量抽出部222の構成を概略的に示すブロック図である。
特徴量抽出部222は、機器状態サンプリング部130と、ユーザ操作検出部131と、ユーザ操作定義リスト132と、在室部屋検知部133と、設置部屋リスト134と、在室部屋ラベル付加部135と、機器使用継続時間算出部237とを備える。実施の形態2における特徴量抽出部222は、機器使用継続時間算出部237が追加されている点を除いて、実施の形態1における特徴量抽出部122と同様に構成されている。従って、以下では、機器使用継続時間算出部237について主に説明する。但し、実施の形態2においては、機器状態サンプリング部130は、生成した特徴ベクトルを機器使用継続時間算出部237に与える。
機器使用継続時間算出部237は、各機器110がユーザ操作によって未使用状態から使用状態にされてからの使用状態継続時間をカウントし、使用状態継続時間に関する情報を、機器状態サンプリング部130から取得した特徴ベクトルに要素(特徴量)として加える。そして、機器使用継続時間算出部237は、このような情報が加えられた特徴ベクトルを在室確率算出部125及びユーザ操作検出部131に与える。なお、特徴ベクトルの要素が一つ増えただけであるため、在室確率算出部125及びユーザ操作検出部131での処理は、実施の形態1と同様である。
機器使用継続時間算出部237は、機器状態サンプリング部130から与えられる特徴ベクトルに基づいて、各部屋に設置されている機器110の使用時間をカウントする。例えば、機器使用継続時間算出部237は、記憶部136に、各部屋に設置されている機器110の使用時間を記憶させておくことで、このようなカウント行うことができる。
そして、図12に示されているように、機器使用継続時間算出部237は、各部屋に設置された機器110のうち、使用継続時間が最小の機器110の使用継続時間を、部屋毎に特定する。
さらに、機器使用継続時間算出部237は、図12に示されているような情報を元にして、図13に示されているように、特徴ベクトルが与えられる毎に、部屋毎に求められた最小の機器使用継続時間の値が小さい順に1から順に番号を割り振る。
図12では、例えば、「7:01:00」の時刻を有する特徴ベクトルにおいて、最小機器使用継続時間は、リビングが1:00、キッチンが0:30、・・・、寝室が0:00である。従って、部屋毎に求められた最小の機器使用継続時間の値は、図13において、「7:01:00」の時刻を有する特徴ベクトルに示されているように、リビングが2、キッチンが1、・・・、寝室は機器が未使用のため無効を示す“―”となる。
このように、機器使用継続時間算出部237は、使用状態継続時間に基づいて、部屋毎の使用継続時間順序情報を生成し、この使用継続時間順序情報を特徴ベクトルに追加する。
在室部屋ラベル付加部135は、実施の形態1の動作と同様に、ユーザ操作を検知して、在室部屋ラベルを特徴ベクトルに付加し、特徴ベクトル又は在室部屋ラベルが付加された特徴ベクトルをデータ処理部123に与える。部分的に在室部屋ラベル付き特徴ベクトルをデータ格納部124に格納する。
図14は、在室部屋ラベル付加部135で部分的ラベルが付加された特徴ベクトルの例を示す概略図である。
在室確率算出部125は、実施の形態1と同様にデータ格納部124に格納された学習用データテーブルを参照して、各部屋の在室確率を算出する。
例えば、在室確率算出部125は、データ格納部124に格納されている学習用データテーブルから、更新特徴ベクトル毎の在室検出回数を集計する。
図15は、更新特徴ベクトル毎の在室検出回数の集計結果を示す概略図である。
例えば、図15の4行目と5行目の更新特徴ベクトルは、時間情報及び使用状態情報の要素(x〜x)が同じパターンであり、リビングの照明とキッチンの照明だけが使用されている状態である。実施の形態1では、これらは同じ更新特徴ベクトルとして集計され、在室確率が計算される。しかしながら、実施の形態2では、使用継続時間順序情報がリビングとキッチンとで異なっているため、これらは異なる更新特徴ベクトルとして、それぞれ在室検出回数が集計される。そして、各部屋の在室確率が、実施の形態1と同様にして算出される。但し、実施の形態2では特徴ベクトルの要素が一つ増えている点が異なる。
以上のように、実施の形態2に係る在室部屋推定システム200は、各機器110の使用継続時間に関する情報を特徴量として抽出し、特徴ベクトルに追加されている。このため、機器110の最小の使用継続時間に基づいて定められる使用継続時間順序が異なる更新特徴ベクトルは、別々の更新特徴ベクトルとして在室確率が算出される。これは、一般に、ユーザは、機器使用時間が短い部屋に在室している傾向が高いためである。このため、実施の形態2に係る在室部屋推定システム200は、ユーザの在室部屋を高精度に特定することができる。
例えば、リビングの照明を点灯したままで、トイレの照明が点灯された場合、機器使用時間の短いトイレにユーザが在室している可能性が高い。実施の形態2に係る在室部屋推定システム200は、このような特徴を抽出することで、在室部屋を高精度に推定することができる。
また、使用継続時間順序情報で示される値が小さな値をもつ、即ち、使用継続時間が短い機器110が存在する部屋の在室確率が高くなるように、得られた在室確率にさらに重み付けを行って、在室確率が求められてもよい。
以上のように、実施の形態2における在室部屋推定システム200では、各機器110の使用継続時間に関する情報を特徴量として抽出し、特徴ベクトルに追加し、使用継続時間がより短い機器110の設置部屋の在室確率が高くなるように重み付けが行われるので、在室部屋を高精度に特定することができる。
なお、実施の形態2では、機器使用継続時間算出部237は、機器110毎にカウントされた使用状態継続時間を、機器使用継続時間に関する情報として、特徴ベクトルに付加してもよい。
実施の形態3.
図1に示されるように、実施の形態3に係る在室部屋推定システム300は、一又は複数の機器110と、コントローラ320とを備える。実施の形態3に係る在室部屋推定システム300は、コントローラ320を除いて、実施の形態1に係る在室部屋推定システム100と同様に構成されている。従って、以下では、コントローラ320について主に説明する。
コントローラ320は、通信部121と、特徴量抽出部122と、データ処理部123と、データ格納部124と、在室確率算出部125と、在室部屋推定部326とを備える。実施の形態3におけるコントローラ320は、在室部屋推定部326を除いて、実施の形態1と同様に構成されている。従って、以下では、在室部屋推定部326について主に説明する。
実施の形態3における在室部屋推定部326は、在室確率算出部125から与えられた在室確率が予め定められた閾値以上であるもののうち、上位の予め定められた数の在室確率に対応する部屋を在室部屋として推定する。
図16は、在室部屋推定部326の内部処理を示す概略図である。
図16に示されているように、在室部屋推定部326には、在宅人数がU人(Uは、1以上の整数)であるという情報が入力される。
そして、在室部屋推定部326は、在室確率算出部125から入力された各部屋の在室確率のうち、在室確率がある閾値以上であるもののうち、上位U番目までに対応する部屋を在室部屋として推定する。
ここで、図示してはいないが、在室人数は、例えば、玄関に人の入退出を検知し、在宅人数を検出することのできるセンサー(在室人数検出部)をホームネットワーク101に接続することで把握することができる。
以上のように、実施の形態3における在室部屋推定システム300によれば、世帯人数が複数人の場合でも在室部屋を推定することができる。また、一つの部屋に複数人在室する場合でも、他の部屋の在室確率が閾値以下と低くなるため、在室部屋の推定が可能である。
実施の形態4.
図17は、実施の形態4に係る在室部屋推定システム400の構成を概略的に示すブロック図である。
図17に示されるように、在室部屋推定システム400は、一又は複数の機器110と、コントローラ420とを備える。実施の形態4に係る在室部屋推定システム400は、コントローラ420を除いて、実施の形態1に係る在室部屋推定システム100と同様に構成されている。従って、以下では、コントローラ420について主に説明する。
コントローラ420は、通信部121と、特徴量抽出部122と、データ格納部424と、在室部屋推定部126と、学習部427と、在室確率抽出部428とを備える。実施の形態4におけるコントローラ420は、データ格納部424、学習部427及び在室確率抽出部428を除いて、実施の形態1と同様に構成されている。従って、以下では、データ格納部424、学習部427及び在室確率抽出部428について主に説明する。
学習部427は、実施の形態1のデータ処理部123と同様に、特徴量抽出部122から与えられた特徴ベクトルを処理して、処理後の特徴ベクトルを学習用データとしてデータ格納部424に格納する。
また、学習部427は、実施の形態1の在室確率抽出部428と同様に、時間帯及び複数の機器110の全ての使用状態の組み合わせ毎に、各部屋の在室確率を、学習用データに基づいて算出する。
そして、学習部427は、図9に示されているように、時間帯及び複数の機器110の全ての使用状態の組み合わせ毎に在室確率を示した在室確率リスト141を作成する。そして、学習部427は、このような在室確率リスト141をデータ格納部424に格納する。
データ格納部424は、上述のように、学習用データテーブルの他、在室確率リスト141を格納する。
在室確率抽出部428は、データ格納部424に格納されている在室確率リスト141から、入力パターンに対応する在室確率を抽出し、在室部屋推定部126に与える。
以上のように実施の形態4における在室部屋推定システム400によれば、特徴ベクトルが追加又は更新される毎に、特徴ベクトルの各パターンに対して各部屋の在室確率が予め算出されるので、ある特徴ベクトル(入力パターン)が与えられたときに要する在室部屋を推定するまでの処理時間を短縮することができる。
なお、実施の形態4では、実施の形態1に、データ格納部424、学習部427及び在室確率抽出部428が適用されているが、このような例に限定されない。例えば、実施の形態2又は実施の形態3に、データ格納部424、学習部427及び在室確率抽出部428が適用されてもよい。
実施の形態5.
図18は、実施の形態5に係る在室部屋推定システム500の構成を概略的に示すブロック図である。
図18に示されるように、在室部屋推定システム500は、一又は複数の機器110と、コントローラ520とを備える。実施の形態5に係る在室部屋推定システム500は、コントローラ520を除いて、実施の形態1に係る在室部屋推定システム100と同様に構成されている。従って、以下では、コントローラ520について主に説明する。
コントローラ520は、通信部121と、特徴量抽出部122と、データ処理部523と、データ格納部524と、在室確率算出部125と、在室部屋推定部526と、異常生活パターン検知部540とを備える。実施の形態5におけるコントローラ520は、データ処理部523、データ格納部524、在室部屋推定部526及び異常生活パターン検知部540を除いて、実施の形態1と同様に構成されている。従って、以下では、データ処理部523、データ格納部524、在室部屋推定部526及び異常生活パターン検知部540について主に説明する。
データ処理部523は、実施の形態1におけるデータ処理部123と同様の処理を行うが、在室部屋ラベルが付加された特徴ベクトルに含まれている時刻を、その時刻が含まれる時間帯に変換するとともに、その時刻を学習用データに残しておく。
このため、実施の形態5におけるデータ格納部524に格納されている学習用データテーブルには、時間帯のほか時刻も格納されている。
在室部屋推定部526は、実施の形態1における在室部屋推定部126と同様に、在室部屋の推定を行う。そして、在室部屋推定部526は、通信部121及びホームネットワーク101に接続されたゲートウェイ503を介して、推定された在室部屋を示す推定在室部屋情報をインターネットの特定のアドレスにのみ出力する。また、在室部屋推定部526は、推定された在室部屋及び時刻を示す推定情報を異常生活パターン検知部540に与える。ここでの時刻は、入力パターンとして入力された特徴ベクトルに格納されている時刻である。ここでの時刻は、入力パターンとして入力された特徴ベクトルに格納されている時刻である。
異常生活パターン検知部540は、在室部屋推定部526からの推定情報で示される推定された在室部屋の履歴を監視し、データ格納部524に格納されているデータから把握される通常の生活パターンと異なる在室パターンが検知された場合に、通信部121及びゲートウェイ503を介して、異常生活パターン検知通知をインターネットの特定のアドレスにのみ出力する。
例えば、異常生活パターン検知部540は、データ格納部524に格納されている学習用データテーブルを参照して、部屋毎に、時刻及びユーザの在室時間の分布を特定する。例えば、異常生活パターン検知部540は、学習用データテーブルに含まれている在室部屋ラベルで示される在室部屋が変更されるまで、その部屋にユーザが在室しているものとして、部屋毎に、時刻及びユーザの在室時間の分布を特定する。
そして、異常生活パターン検知部540は、在室部屋推定部526からの推定情報で示される推定された在室部屋の履歴から、推定情報で示される時刻における、推定情報で示される推定在室部屋の在室時間を特定する。
異常生活パターン検知部540は、推定情報で示される時刻における推定在室部屋の在室時間を、学習用データテーブルに基づいて特定された分布と比較して、この分布から離れたパターンが生じたときに異常生活パターンが発生したと判断する。
具体的には、異常生活パターン検知部540は、データ格納部524に格納されている学習用データテーブルを参照して、部屋毎に、時刻を横軸、在室時間を縦軸とする座標系において、時刻毎にユーザの在室時間の分布を特定する。
そして、異常生活パターン検知部540は、推定情報で示される時刻における推定在室部屋の在室時間を、その部屋におけるユーザの在室時間の分布がプロットされている座標系にプロットする。異常生活パターン検知部540は、推定情報に基づいてプロットされた第1の点から、学習用データテーブル124aに基づいてプロットされた複数の第2の点の内、第1の点からの距離が近い予め定められた数(例えば、10個)の第2の点までの距離の平均値を算出する。そして、その平均値が予め定められた閾値よりも大きい場合に、異常生活パターン検知部540は、異常生活パターンが検出されたと判断する。
例えば、トイレで倒れている場合、推定情報に基づいて、トイレの在室時間がプロットされるのは、通常の分布とは離れた領域にプロットされる。この点は、他の点からの距離が大きくなるため、異常を検出することができる。
異常生活パターン検知部540は、異常が検知された場合には、異常生活パターン検出通知を、通信部121及びゲートウェイ503経由でインターネットに出力し、予め設定された特定のアドレスに異常状態を通知する。なお、異常生活パターン検知部540は、機器110の使用状況が日常の使用パターンと異なる場合を検出するようにしてもよい。
以上のように、実施の形態5に係る在室部屋推定システム500は、次に示す社会的意義を有する。
近年高齢化が進む中、一人暮らしのお年寄りが増え、孤独死等の様々な問題がクローズアップされてきており、万が一の事態に不安を抱えながら孤独な生活を強いられているお年寄りが増加している。一方、一人暮らしの親を持つ都市部で生活をせざるを得ない子世帯も、都会を中心に増え続けており、一人暮らしの親を心配しながら生活を送っている。
このような状況において、実施の形態5に係る在室部屋推定システム500を活用し、一人暮らしのお年寄りの推定在室部屋情報を、その子供等の特定者に提供したり、介護サービス等の福祉サービス会社に送信したりすることで、お年寄りの状態を見守ることができる。さらに、推定在室部屋情報を元に通常の生活パターンと異なる在室状況を検知する異常生活パターン検知部540が設けられているので、夜になっても電気がつかない、冷蔵庫の開け閉めがない、テレビ又はエアコンが使用されない、あるいは、一晩中テレビが使用されたままなどの異常状態が検出された際に通知が可能となるので、お年寄りの異常状態を見守ることができると共に、見守る側の、情報をチェックする作業に対する負担も軽減することができる。
実施の形態5に係る在室部屋推定システム500の構成によれば、監視カメラを使用しないので監視されているという違和感等を与えることなく、余分な在室センサーを設置するコスト、手間をなくし、一人暮らしの方を見守ることができ、今後の高齢化社会において非常に重要な役割を果たすことができる。
以上に記載された実施の形態5は、実施の形態1にデータ処理部523、データ格納部524、在室部屋推定部526及び異常生活パターン検知部540を適用しているが、このような例に限定されず、例えば、実施の形態1〜4の何れかに、データ処理部523、データ格納部524、在室部屋推定部526及び異常生活パターン検知部540が適用されてもよい。
実施の形態6.
図19は、実施の形態6に係る在室部屋推定システム600の構成を概略的に示すブロック図である。
図19に示されるように、在室部屋推定システム600は、一又は複数の機器110と、コントローラ620とを備える。実施の形態6に係る在室部屋推定システム600は、コントローラ620を除いて、実施の形態1に係る在室部屋推定システム100と同様に構成されている。従って、以下では、コントローラ620について主に説明する。
コントローラ620は、通信部121と、特徴量抽出部122と、データ処理部623と、データ格納部624と、在室確率算出部125と、在室部屋推定部126と、機器使用状態制御部641とを備える。
実施の形態6におけるコントローラ620は、データ処理部623、データ格納部624及び機器使用状態制御部641を除いて、実施の形態1と同様に構成されている。従って、以下では、データ処理部623、データ格納部624及び機器使用状態制御部641について主に説明する。
なお、在室部屋推定部126は、推定された在室部屋を示す推定在室部屋情報を機器使用状態制御部641に与える。
データ処理部623は、実施の形態1におけるデータ処理部123と同様の処理を行うが、在室部屋ラベルが付加された特徴ベクトルに含まれている時刻を、その時刻が含まれる時間帯に変換するとともに、その時刻を学習データに残しておく。
このため、実施の形態6におけるデータ格納部624に格納されている学習用データテーブルには、時間帯のほか時刻も格納されている。
機器使用状態制御部641は、データ格納部624に格納されたデータから、現在の時間帯において在室する部屋の確率値を取得する。
例えば、7時台にキッチンにいる確率の算出する場合、機器使用状態制御部641は、図7に示されている学習用データテーブルにおいて、時間帯(x)が現在の時間帯(7時台)であり、在室ラベル(Y)がキッチンの個数と、同時間帯(x)の在室ラベル(Y)がキッチン以外である個数とを求め、前者を後者で割ることで確率値を算出する。
そして、機器使用状態制御部641は、以上のようにして算出した部屋毎の確率値が予め定められた閾値よりも高い等、その時間帯において、通常は非常に高い確率である特定の部屋に在室する確率が高い場合において、推定在室部屋情報で示されている現在の推定在室部屋もその確率の高い部屋にいることを示しているときには、推定在室部屋情報で示されている現在の推定在室部屋とは異なる部屋に設置され、かつ、使用状態になっている機器110の電源をオフする制御を行う。
また、逆に、通常の生活パターンから、まもなく別の特定の部屋に在室する確率が非常に高く、その特定の部屋内のある特定の機器110が使用状態となる確率が非常に高い場合に、機器使用状態制御部641は、その特定の機器110の電源を投入する制御を行う。
例えば、機器使用状態制御部641は、データ格納部624に記憶されている学習用データテーブルから、時間帯の分解能を数分単位(例えば、10分毎)とした、在室部屋ラベル付特徴ベクトルを生成する。
次に、機器使用状態制御部641は、現在の時刻帯から例えば10分後の時間帯の行において、各部屋の在室確率を求め、最大値をとる部屋を把握する。そして、機器使用状態制御部641は、この最大値をとる部屋の確率値がある閾値を超えた場合、以下の処理を行う。
機器使用状態制御部641は、同時刻帯(現在時刻から10分後)において、在室確率最大値の部屋に設置された機器110毎に、その使用されている使用確率を求める。この使用確率は、その時間帯におけるその部屋内の機器110毎に、その機器110のON状態の個数(頻度)を、その時間帯におけるその部屋内のその機器110のONとOFFの全個数で割って求める。このようにして求められた使用確率が、予め定められた閾値よりも高い機器110を特定する。
そして、機器使用状態制御部641は、以上のようにして特定された機器110を、例えば、その時間帯(10分後)に電源をONするように制御する。
機器使用状態制御部641による制御は、例えば、機器使用状態制御部641から、制御対象の機器110に、通信部121を介して、予め定められたコマンドを送信することで行われる。
以上に記載された実施の形態6は、実施の形態1にデータ処理部623、データ格納部624及び機器使用状態制御部641を適用しているが、このような例に限定されず、例えば、実施の形態1〜5の何れかに、データ処理部623、データ格納部624及び機器使用状態制御部641が適用されてもよい。
以上のように、実施の形態6に係る在室部屋推定システム600によれば、機器使用状態制御部641が、データ格納部624に格納されたデータから得た在室確率から、機器110の電源のオン、オフ制御を行うようにしたので、電力の無駄遣いを避け、省電力化を図ったり、予めエアコンの電源を投入しておくことで快適性を高めたりすることができる。
以上に記載されたコントローラ120〜620は、例えば、図20に示されているように、記憶装置としてのメモリ801に格納されているプログラムを実行するCPU等のプロセッサ802を備えるコンピュータ800により実現することができる。なお、プロセッサ802は、NIC等の通信装置803を制御することで、通信機能を実現することができる。また、プロセッサ802は、メモリ801にデータを保持することができる。このようなプログラムは、ネットワークを通じて提供されてもよく、また、記録媒体に記録されて提供されてもよい。
100,200,300,400,500,600 在室部屋推定システム、 110 機器、 120,220,320,420,520,620 コントローラ、 121 通信部、 122,222 特徴量抽出部、 123,523,623 データ処理部、 124,424,524,624 データ格納部、 125 在室確率算出部、 126,326,526 在室部屋推定部、 427 学習部、 428 在室確率抽出部、 130 機器状態サンプリング部、 131 ユーザ操作検出部、 132 ユーザ操作定義リスト、 133 在室部屋検知部、 134 設置部屋リスト、 135 在室部屋ラベル付加部、 136 記憶部、 237 機器使用継続時間算出部、 540異常生活パターン検知部、 641 機器使用状態制御部。

Claims (13)

  1. ネットワークに接続され、複数の部屋の何れかに設置された複数の機器と通信を行い、当該複数の機器の各々から、自装置の使用状態を示す使用状態情報を含む機器情報を受信する通信部と、
    前記通信部で受信された機器情報に基づいて、前記複数の機器の全ての使用状態を示す全使用状態情報、及び、現在の時刻を少なくとも含む時間情報を含む特徴ベクトルを生成するとともに、前記通信部で受信された機器情報に基づいて、当該機器情報を送ってきた機器に対してユーザが操作を行ったか否かを判断し、当該操作の行われた機器が設置されている部屋をユーザの在室部屋として特定し、当該特定された在室部屋を示す在室部屋ラベルを、前記生成された特徴ベクトルに付加する特徴量抽出部と、
    前記在室部屋ラベルが付加された特徴ベクトルに含まれている時間情報で示される時刻に対応する時間帯を含めることで、前記在室部屋ラベルが付加された特徴ベクトルを、前記在室部屋ラベルが付加された更新特徴ベクトルに更新するデータ処理部と、
    前記データ処理部で更新された、前記在室部屋ラベルが付加された更新特徴ベクトルを学習用データとして格納するデータ格納部と、
    前記データ格納部に格納されている学習用データに基づいて、前記時間帯及び前記複数の機器の全ての使用状態の組み合わせ毎に、前記複数の部屋の各々の在室確率を算出する在室確率算出部と、
    前記在室確率算出部で算出された在室確率の内、前記特徴量抽出部で生成された特徴ベクトルに対応する在室確率から、ユーザの在室部屋を推定する在室部屋推定部と、を備えること
    を特徴とする情報処理装置。
  2. 前記特徴量抽出部は、前記通信部で受信された機器情報に基づいて、前記複数の機器の使用継続時間に関する情報を、前記特徴ベクトルに含め、
    前記在室確率算出部は、前記時間帯、前記複数の機器の全ての使用状態、及び、前記複数の機器の使用継続時間に関する情報の組み合わせ毎に、前記複数の部屋の各々の在室確率を算出すること
    を特徴とする請求項1に記載の情報処理装置。
  3. 複数の部屋の何れかに設置された複数の機器と通信を行い、当該複数の機器の各々から、自装置の使用状態を示す使用状態情報を含む機器情報を受信する通信部と、
    前記通信部で受信された機器情報に基づいて、前記複数の機器の全ての使用状態を示す全使用状態情報、及び、現在の時刻を少なくとも含む時間情報を含む特徴ベクトルを生成するとともに、前記通信部で受信された機器情報に基づいて、当該機器情報を送ってきた機器に対してユーザが操作を行ったか否かを判断し、当該操作の行われた機器が設置されている部屋をユーザの在室部屋として特定し、当該特定された在室部屋を示す在室部屋ラベルを、前記生成された特徴ベクトルに付加する特徴量抽出部と、
    前記在室部屋ラベルが付加された特徴ベクトルに含まれている時間情報で示される時刻に対応する時間帯を含めることで、前記在室部屋ラベルが付加された特徴ベクトルを、前記在室部屋ラベルが付加された更新特徴ベクトルに更新するとともに、前記時間帯及び前記複数の機器の全ての使用状態の組み合わせ毎に、前記複数の部屋の各々の在室確率を、前記在室部屋ラベルが付加された更新特徴ベクトルに基づいて算出する学習部と、
    前記学習部で算出された在室確率を格納するデータ格納部と、
    前記特徴量抽出部で生成された特徴ベクトルに対応する、前記複数の部屋の各々の在室確率を前記データ格納部から抽出する在室確率抽出部と、
    前記在室確率抽出部で抽出された在室確率からユーザの在室部屋を推定する在室部屋推定部と、を備えること
    を特徴とする情報処理装置。
  4. 前記特徴量抽出部は、前記通信部で受信された機器情報に基づいて、前記複数の機器の使用継続時間に関する情報を、前記特徴ベクトルに含め、
    前記学習部は、前記時間帯、前記複数の機器の全ての使用状態、及び、前記複数の機器の使用継続時間に関する情報の組み合わせ毎に、前記複数の部屋の各々の在室確率を算出すること
    を特徴とする請求項3に記載の情報処理装置。
  5. 前記在室部屋推定部は、一又は複数のユーザの数に対応して、前記複数の部屋から、一又は複数の部屋を前記一又は複数のユーザの在室部屋として推定すること
    を特徴とする請求項1から4の何れか一項に記載の情報処理装置。
  6. 前記通信部は、前記機器情報を周期的に受信し、
    前記特徴量抽出部は、前記通信部で受信された機器情報から、当該機器情報を送ってきた機器に対してユーザが電源をOFFにする操作を行ったことを検出した場合には、前記通信部で前回受信された機器情報に基づいて生成された特徴ベクトルに、前記在室部屋ラベルを付加すること
    を特徴とする請求項1から5の何れか一項に記載の情報処理装置。
  7. 前記機器情報には、前記機器情報を送ってきた機器で行われたイベントを示すイベント情報が含まれており、
    前記特徴量抽出部は、前記通信部で受信された機器情報に含まれているイベント情報で示されるイベントが、予め定められたイベントである場合に、ユーザが操作を行ったと判断すること
    を特徴とする請求項1から6の何れか一項に記載の情報処理装置。
  8. 前記特徴量抽出部は、前記通信部で受信された機器情報に含まれている使用状態情報に基づいて、使用状態に変化があった場合に、ユーザが操作を行ったと判断すること
    を特徴とする請求項1から7の何れか一項に記載の情報処理装置。
  9. 前記在室部屋推定部で推定された在室部屋に基づいて、推定された在室部屋の在室時間を算出し、当該算出された在室時間が、前記データ格納部に格納されている学習用データに基づいて、異常な生活パターンであると判断した場合に、前記通信部を介して、特定のアドレスに異常状態を通知する異常生活パターン検知部をさらに備えること
    を特徴とする請求項1から8の何れか一項に記載の情報処理装置。
  10. 前記異常生活パターン検知部は、前記在室部屋推定部で在室部屋の推定が行われた時刻での、前記在室部屋推定部で推定された在室部屋における在室時間が、前記データ格納部に格納されている学習用データにおける、前記在室部屋推定部で在室部屋の推定が行われた時刻での、前記在室部屋推定部で推定された在室部屋に対応する部屋の在室時間の分布から離れている場合に、異常な生活パターンと判断すること
    を特徴とする請求項9に記載の情報処理装置。
  11. 前記在室部屋推定部で推定された在室部屋に基づいて、前記通信部を介して、前記複数の機器の少なくとも1つを制御する機器使用状態制御部をさらに備えること
    を特徴とする請求項1から8の何れか一項に記載の情報処理装置。
  12. ネットワークに接続され、複数の部屋の何れかに設置された複数の機器と通信を行い、当該複数の機器の各々から、自装置の使用状態を示す使用状態情報を含む機器情報を受信し、
    前記受信された機器情報に基づいて、前記複数の機器の全ての使用状態を示す全使用状態情報、及び、現在の時刻を少なくとも含む時間情報を含む特徴ベクトルを生成し、
    前記受信された機器情報に基づいて、当該機器情報を送ってきた機器に対してユーザが操作を行ったか否かを判断し、当該操作の行われた機器が設置されている部屋をユーザの在室部屋として特定し、当該特定された在室部屋を示す在室部屋ラベルを、前記生成された特徴ベクトルに付加し、
    前記在室部屋ラベルが付加された特徴ベクトルに含まれている時間情報で示される時刻に対応する時間帯を含めることで、前記在室部屋ラベルが付加された特徴ベクトルを、前記在室部屋ラベルが付加された更新特徴ベクトルに更新し、
    前記在室部屋ラベルが付加された更新特徴ベクトルを学習用データとして格納し、
    前記学習用データに基づいて、前記時間帯及び前記複数の機器の全ての使用状態の組み合わせ毎に、前記複数の部屋の各々の在室確率を算出し、
    前記算出された在室確率の内、前記特徴ベクトルに対応する在室確率から、ユーザの在室部屋を推定すること
    を特徴とする情報処理方法。
  13. 複数の部屋の何れかに設置された複数の機器と通信を行い、当該複数の機器の各々から、自装置の使用状態を示す使用状態情報を含む機器情報を受信し、
    前記受信された機器情報に基づいて、前記複数の機器の全ての使用状態を示す全使用状態情報、及び、現在の時刻を少なくとも含む時間情報を含む特徴ベクトルを生成し、
    前記受信された機器情報に基づいて、当該機器情報を送ってきた機器に対してユーザが操作を行ったか否かを判断し、当該操作の行われた機器が設置されている部屋をユーザの在室部屋として特定し、当該特定された在室部屋を示す在室部屋ラベルを、前記生成された特徴ベクトルに付加し、
    前記在室部屋ラベルが付加された特徴ベクトルに含まれている時間情報で示される時刻に対応する時間帯を含めることで、前記在室部屋ラベルが付加された特徴ベクトルを、前記在室部屋ラベルが付加された更新特徴ベクトルに更新し、
    前記時間帯及び前記複数の機器の全ての使用状態の組み合わせ毎に、前記複数の部屋の各々の在室確率を、前記在室部屋ラベルが付加された更新特徴ベクトルに基づいて算出し、
    前記算出された在室確率を格納し、
    前記特徴ベクトルに対応する、前記複数の部屋の各々の在室確率を抽出し、
    前記抽出された在室確率からユーザの在室部屋を推定すること
    を特徴とする情報処理方法。
JP2015213896A 2015-10-30 2015-10-30 情報処理装置及び情報処理方法 Active JP6452593B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015213896A JP6452593B2 (ja) 2015-10-30 2015-10-30 情報処理装置及び情報処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015213896A JP6452593B2 (ja) 2015-10-30 2015-10-30 情報処理装置及び情報処理方法

Publications (2)

Publication Number Publication Date
JP2017084213A JP2017084213A (ja) 2017-05-18
JP6452593B2 true JP6452593B2 (ja) 2019-01-16

Family

ID=58710956

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015213896A Active JP6452593B2 (ja) 2015-10-30 2015-10-30 情報処理装置及び情報処理方法

Country Status (1)

Country Link
JP (1) JP6452593B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7227261B2 (ja) * 2018-02-02 2023-02-21 コーニンクレッカ フィリップス エヌ ヴェ 最適なセンサ配置のためのシステム及び方法
JP2021518004A (ja) * 2018-04-13 2021-07-29 ブレイノフティー インコーポレイテッド 事象/活動予測のための環境コンポーネント領域のコンテキスト情報の利用
CN114004396A (zh) * 2021-10-26 2022-02-01 广东电网有限责任公司 面向能源管理的在家人数预测方法、系统、设备和介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002352352A (ja) * 2001-05-29 2002-12-06 Mitsubishi Electric Corp 生活行動パターンの異常度判定システム及び生活行動パターンの異常度判定方法
EP1705617A3 (fr) * 2005-03-24 2011-04-20 France Telecom Procédé et dispositif de suivi à distance de l'activité d'une personne dans une habitation
JP5016968B2 (ja) * 2007-04-24 2012-09-05 トヨタホーム株式会社 機器制御システム
WO2009125627A1 (ja) * 2008-04-11 2009-10-15 三菱電機株式会社 機器状態検出装置及び機器状態検出方法並びに生活者異常検知装置、生活者異常検知システム及び生活者異常検知方法
JP5087153B2 (ja) * 2011-03-29 2012-11-28 株式会社東芝 行動状態推定システムおよびその方法
CN104778504B (zh) * 2015-03-18 2018-05-18 南京邮电大学 一种家庭用户智能家电的用电安排优化方法

Also Published As

Publication number Publication date
JP2017084213A (ja) 2017-05-18

Similar Documents

Publication Publication Date Title
JP5058504B2 (ja) 住居の中の人物の遠隔人物追跡方法とその装置
US9721208B2 (en) Living activity inference device, program, and computer-readable recording medium
JP6491193B2 (ja) 建造物の熱力学的モデルの生成および実施
JP3996428B2 (ja) 異常検知装置及び異常検知システム
Khan et al. Occupancy monitoring using environmental & context sensors and a hierarchical analysis framework
US20180034657A1 (en) Method and System of Monitoring Appliance Usage
JP4982511B2 (ja) 行動時間比率計算装置及び行動時間比率計算方法
US20120150463A1 (en) Utilization-time changing support device and method of supporting change in utilization time
WO2012026589A1 (ja) 電気量管理システムおよびセンタサーバ
KR101660487B1 (ko) 소비 특성에 따른 전력 소비량 예측 방법 및 장치
JP2007265017A (ja) 高齢者安否情報生成システム
JP6197258B2 (ja) 行動予測装置、プログラム
JP6452593B2 (ja) 情報処理装置及び情報処理方法
JP6400834B2 (ja) 推薦装置、推薦決定方法、およびコンピュータプログラム
EP2903217B1 (en) Building automation method and system
JP2016218801A (ja) 行動推定装置、行動推定方法、及び行動推定プログラム
US11514537B2 (en) Decoupled modeling methods and systems
JP5558520B2 (ja) 状態判定装置、状態判定システム、状態判定方法及びプログラム
US20140143189A1 (en) On-demand power control system, on-demand power control system program, and computer-readable recording medium recording the same program
JP2008102884A (ja) 日常生活度解析システム
JP6384791B2 (ja) 断熱性能推定装置、プログラム
Alam et al. Smart-energy group anomaly based behavioral abnormality detection
WO2014141354A1 (ja) 電気機器制御装置および電気機器制御システム
WO2017104044A1 (ja) 遠隔健康管理装置、遠隔健康管理方法、および遠隔健康管理システム
WO2013190603A1 (ja) 電気機器制御システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170925

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181025

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181211

R150 Certificate of patent or registration of utility model

Ref document number: 6452593

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250