JP5473750B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

一般家庭環境等における人物の行動を映像と音声とで記録する。そして、記録された行動群の中から人にとって意味のある行動パターンを自動的に抽出して、それを情報として人に提示したり、ＩＴ家電や家事ロボットの制御内容のプランニングに利用したりすることを目指した技術がいくつか知られている。
例えば、一般家庭の各部屋の天井に備え付けたカメラ及びマイクにより住居人の行動を記録し続け、そこで起こる行動へのアノテーションを半自動的につけることを目指した技術が知られている。
また、床に圧力センサ、天井にカメラやマイクを多数設置された家庭内での生活行動を記録し、人のいる位置に基づく記録映像の要約・閲覧や、家具や人同士のインタラクション検出を行う技術も知られている。
更に、ユーザの現状況の変化に応じて将来状況を予測し、その予測に応じて時間を要する情報処理を前もって始めて、そのユーザの行動に先行させて機器の制御を完了させておく技術も知られている。より具体的には、この技術には、ユーザがテレビ番組を見ている際、ＣＭになったらトイレに行く確率が高いので、ＣＭになる前に便座を暖める情報処理を開始しておく、ということが示されている。

しかしながら、知られている多くの事例では、カメラやマイクといったセンサ機器を家全体に数多く設置することを前提としている。そのため、その実現にあたっては機器コストがかかるという問題がある。また、機器の設置コストがかかるという問題もある。
また、カメラを利用する場合、一般家庭環境においてオクルージョンを発生させる事が無いように数多くのカメラを設置して、人物の行動を全て記録することは非常に困難であり、カメラで追跡していた人物が消失してしまうことがしばしば発生する。
即ち、現実には、家庭環境下での全行動を記録しようとしても、それらは部分的に欠損し、細かく分断されたものになる。すると、記録の連続性が利用できないため、人物の行動を記録するための情報処理そのもの（例えば映像からの人物抽出）や、人物行動記録からの行動パターンの抽出が破綻しやすいといった問題が生じる。
こうした問題に対処しうる技術として、家庭環境下での行動を対象にするものではないが、ある一つの行動から時間的・場所的に連続していない未来の行動を予測する技術が、開示されている（特許文献１）。この特許文献１では、「ある行動」とそのあとに続く行動との組合せパターンを使って、「ある行動」の観察に基づくその後の行動予測を行う技術が開示されている。例として、ある人が、朝の決まった時刻に駅の通過した日は、必ずその夕方にビールを購買するという行動パターンがある際には、その人物の朝の駅通過時刻に基づいて、その夕方にはビールを購買するという行動を予測するという例が示されている。

特許第３３４９０３３号公報

しかしながら、「ある行動」とそれに続く行動の間には多くの自由度があり、「ある行動」の後には必ず「特定の行動」が起こるというケースは、特に家庭環境下での行動に関して言えば、多くないといえる。

本発明はこのような問題点に鑑みなされたもので、記録できた「ある行動」に関する情報と、その「ある行動」の発現後に得られる情報と、を利用して、再び記録が可能になる「次の行動」を予測することを目的とする。

そこで、本発明の情報処理装置は、撮影手段で撮影された映像から消失した人物の消失中の行動を推定する消失中行動推定手段と、前記消失中行動推定手段で推定された消失中行動に対応する登場時行動予測モデルを、消失中行動ごとの複数の登場時行動予測モデルを保持する登場時行動予測モデル保持手段より取得する取得手段と、前記取得手段で取得した登場時行動予測モデルに基づき前記映像から消失した人物が再び映像中に登場するときの行動を予測する登場時行動予測手段と、を有する。

本発明によれば、記録できた「ある行動」に関する情報と、その「ある行動」の発現後に得られる情報と、を利用して、再び記録が可能になる「次の行動」を予測することができる。

第一実施形態に係る映像情報処理装置が対象とする一般家庭の間取り例を示す図である。 第一実施形態に係る映像情報処理装置の構成を示す図である。 第一実施形態に係る映像情報処理装置が対象とする一般家庭に置かれたカメラが撮影するシーンの例を示す図である。 第一実施形態に係る映像情報処理装置が取り扱う「現実空間の部分領域に対応付けられた映像の部分領域（エリア）」の例を示す図である。 第一実施形態に係る映像情報処理装置の処理を示す図である。 第二実施形態に係る映像情報処理装置が対象とする一般家庭の一階間取り例を示す図である。 第二実施形態に係る映像情報処理装置が対象とする一般家庭の二階間取り例を示す図である。 第二実施形態に係る映像情報処理装置の構成を示す図である。 第二実施形態に係る映像情報処理装置が対象とする一般家庭に置かれたカメラが撮影するシーンの例を示す図である。 第二実施形態に係る映像情報処理装置が対象とする一般家庭に置かれたカメラが撮影するシーンの例を示す図である。 第二実施形態に係る映像情報処理装置の処理を示す図である。 第二実施形態に係る映像情報処理装置が取り扱う「現実空間の部分領域に対応付けられた映像の部分領域（エリア）」の例を示す図である。 第二実施形態に係る映像情報処理装置が取り扱う「現実空間の部分領域に対応付けられた映像の部分領域（エリア）」の例を示す図である。 第三実施形態に係る映像情報処理装置が対象とする一般家庭の間取り例を示す図である。 第三実施形態に係る映像情報処理装置が対象とする一般家庭に置かれたカメラが撮影するシーンの例を示す図である。 第三実施形態に係る映像情報処理装置の構成を示す図である。 第三実施形態に係る映像情報処理装置の処理を示す図である。

以下、本発明の実施形態について図面に基づいて説明する。

（概要）
以下に示す実施形態では、映像情報処理装置は、記録できた「ある行動」に関する情報と、その「ある行動」の発現後に得られる情報と、を利用して、再び記録が可能になる「次の行動」を予測する。「次の行動」を予測可能にすることによって、部分的に欠損し細かく分断された行動記録しかできない環境下において、行動記録の非連続性に起因する情報処理の破綻を解決することできる。
即ち以下に示す実施形態では、より少ないセンサ数（究極的にはカメラ一台だけ）で、一般家庭環境下における人物の行動を記録する環境において、人物がカメラの視野外に消失している間、映像情報処理装置は、消失前の情報を利用してその間の行動を推定する。このことで、人物が再度、カメラの前に登場した時の行動追跡等の情報処理精度を向上させることを目指す。
より具体的には、映像情報処理装置は、カメラ映像に映る範囲での行動は従来例と同様に映像として記録すると共に、カメラ映像に映らない範囲での行動は、対象人物が存在する場所を特定した上で定性的に推定し、それをデータとして記録する。映像情報処理装置は、人物存在場所の特定を、カメラ映像において人が消失若しくは登場したエリアに基づいて特定する。この技術を適用する場所が広大ではない一般家庭であれば、消失後若しくは登場前に人が存在しうる場所は限定的であるので、家の中心にあることの多い居間等にカメラを一台設置すれば、消失後若しくは登場前に人が存在していた場所を特定することができる。若しくは少数の候補に限定することができる。更に、一般家庭における場所のそれぞれで起こりうる行動の種類は多くないので、場所が特定（又は限定）されるのであれば、少ないセンサで、若しくはカメラ一台だけでも、そこでの人物行動を高い精度で定性的には推定することができる。そして、映像情報処理装置は、推定した消失時行動に基づき、再度、カメラの前に人物が登場した時の動作、服装、姿勢、場所を予測して行動追跡に必要な初期値やデータベースを切替える。又は、映像情報処理装置は、消失時行動に応じた家電やロボット等の自律制御機器の制御処理の内容をプランニングする。このようにすることで、人物再登場時の行動に適応した情報処理を実施することを目指す。
なお、カメラ映像に映る範囲での行動記録においても、人が物体等の陰に隠れてそこでの行動が映像に記録されないということは、例え複数台のカメラを用いていても、物の多い一般家庭環境では多く起こりうる。よって、以下に示す実施形態は、カメラ映像に映る範囲での行動記録に対しても有効である。

［第一実施形態］
情報処理装置の一例である映像情報処理装置は、カメラ一台だけで、その視野外を含む一般家庭における人物の行動を推定し、推定した内容に基づいた人物際登場時の予測に合わせて情報処理方法を自律的に制御する。以下、図を用いて一例を示す。
図１は、一般家庭の間取り例を示す図である。一例として３ＬＤＫのマンションを想定したものである。即ち、南側（図の下側）にリビングダイニングと和室とがあり、リビングダイニングの北側（図の上側）にカウンターキッチン、そして壁を挟んで洋室Ａがある。和室の北側（図の上側）にはバス・トイレがあり、そして壁を挟んで洋室Ｂがある。また、リビングダイニングから洋室Ａと、洋室Ｂ、バス・トイレとの間に廊下が伸びて、廊下の北側（図の上側）に玄関がある。
以下、本実施形態に係る映像情報処理装置の構成及び処理について説明する。

（構成１００）
図２は、映像情報処理装置のハードウェア構成及びソフトウェア構成等を示す図である。図２の（ｂ）に示すように、映像情報処理装置１００は、ハードウェア構成として、ＣＰＵ１１０と、記憶装置１１１と、通信装置１１２と、を含む。なお、映像情報処理装置１００は、カメラ１０１をハードウェア構成として有してもよいし、カメラ１０１を映像情報処理装置１００とは別体としてもよい。カメラ１０１を映像情報処理装置１００とは別体とする場合、映像情報処理装置１００は、ネットワーク等を介してカメラ１０１からカメラ１０１で撮影された画像を取得する。カメラ１０１は、撮影手段の一例であり、現実空間を撮影する。カメラ１０１は、映像情報処理装置１００と通信可能であれば、天井から吊り下げられてもよいし、床や台やテレビの上に据え置いてもよいし、テレビ等の家電に内蔵させてもよい。以下では、図１に示すような一般家庭のリビングの角（図１における右下）に設置されるものとして説明する。この場合、カメラ１０１は図３に示すようなシーンを撮影する。即ち、カメラ１０１は、カメラの視野中心にリビングダイニングが映り、左手に和室の引き戸、右手にキッチン、奥側（上側）やや右寄りにバス・トイレへのドア、そしてその右隣に二つの洋室と玄関に続く廊下が映るシーンを撮影する。
ＣＰＵ１１０は、記憶装置１１１等に記憶されているプログラムに基づき処理を実行することによって、図１の（ａ）に示されるような映像情報処理装置１００の機能構成（ソフトウェア構成）を実現する。通信装置１１２は、ＣＰＵ１１０の制御に基づき映像、映像情報処理装置１００と他の装置（例えば、カメラ１０１等）との通信を制御する。なお、図２（ａ）に示される消失中行動推定モデル保持部１０４、登場時行動予測モデル保持部１０７は、より具体的には、記憶装置１１１の所定の領域である。

映像情報処理装置１００は、ソフトウェア構成として、人物抽出部１０２、人物消失エリア判定部１０３、消失中行動推定モデル選択部１０５、消失中行動推定部１０６、登場時行動予測部１０８、情報処理方法変更部１０９を有する。
カメラ１０１で撮影された画像（撮影画像）撮影映像は人物抽出部１０２へと出力される。パンチルトやズームといったカメラパラメータは、固定でもよいし可変であってもよい。カメラパラメータが固定な場合は、パラメータは事前に計測され、人物消失エリア判定部１０３が保持しているか、参照可能な状態になっている。カメラパラメータが可変な場合、その可変値はカメラ１０１において計測され、人物消失エリア判定部１０３へと出力される。
人物抽出部１０２は、カメラ１０１から映像を受け取り、この映像中から人物が映っている領域（人物領域）を抽出する処理を行う。この処理に関しては、公知の技術（例えば参考文献１参照）であるので、ここでは詳しく述べない。
＜参考文献１＞米国特許出願公開第２００７／０２３７３８７号明細書
人物抽出部１０２は、映像から人物を検出した際に、その検出領域の情報を人物抽出領域情報として人物消失エリア判定部１０３に出力する。ここで人物抽出領域情報とは、例えば、座標情報の集まりであったり、代表座標と形状情報との組であったりする。
人物抽出部１０２は、人物認識機能・服装認識機能・姿勢認識機能・動作認識機能等を備える。人物抽出部１０２は、映像から抽出された人物が、誰であるか、どんな人であるか（男性か女性か、何歳くらいか、等）、どんな服装であるか、どんな姿勢であるか、どんな動作をしているか、どんな行動をしているか、何を持っているか、等を認識してもよい。この場合、人物抽出部１０２は、抽出した人物の特徴認識結果を人物抽出領域情報に加えて、人物消失エリア判定部１０３に出力する。
また、人物抽出部１０２は、人物が保持する特徴や人物が置かれている状況に応じた認識手法やパラメータを数種類持っており、それらの手法とパラメータとを適応的に変更することで、最適な人物抽出を行うことができる。例えば、日常生活において人物の見え方が劇的に変化する場合として入浴後がある（入浴後は一般的に人物の着衣が変わっている上に、肌の色や髪型も変化しているため）。このような入浴後の人物を抽出するために入浴前の服装や肌の色や髪型によらない方法ならびにパラメータを使うようにすることで、より破綻が少なく人物の抽出を行うことができる。

人物消失エリア判定部１０３は、現実空間の部分領域に対応付けられた映像の部分領域（以下、これを「エリア」と呼ぶ）から、カメラ１０１が撮影している映像中で人物が消失したエリア（人物消失エリア）を判定する。
エリアは、例えば図４に示すような映像の部分領域である。即ち、バス・トイレへのドア及びその近辺が映っている部分映像領域が、現実空間に存在するバス・トイレへのドアに対応付けられて、「バス・トイレへのドアに対応するエリア」となっている。
部分映像領域と現実空間との対応付けには、カメラ１０１のカメラパラメータが利用される。この対応付け方法は公知の技術であるため（例えば参考文献２参照）、ここでは詳しく述べない。カメラパラメータが変化した場合、映像中のエリアが移動したり変形したりする。全映像領域が何らかのエリアとして定義されていてもよいし、人が消失しうる（映像に映らなくなりうる）領域（の一部）のみが、エリアとして用意されていてもよい。
＜参考文献２＞出口光一郎、ロボットビジョンの基礎、コロナ社、２０００年
人物消失エリアとは、例えば、人物消失エリア判定部１０３が人物抽出部１０２から一定時間以上、人物抽出領域情報を受け取り続けたあとに、人物抽出領域情報が受け取れなくなった場合における、最後に受け取った人物抽出領域が含まれるエリアである。この人物消失エリアの定義はあくまで例であり、他の定義を用いてもよい。
人物消失エリア判定部１０３は、まず、人物消失エリアの存在を、内部に保持する人物抽出領域情報の受け取り履歴（人物抽出領域情報の受け取った時刻のリスト）を参照して確認する。人物消失エリアの存在が確認できた場合、人物消失エリア判定部１０３は、最後に受け取った人物抽出情報が示す領域が含まれるエリアを、人物消失エリアと判定する。
人物消失エリア判定部１０３は、人物消失エリアを判定すると、そのエリアを示す情報と人物消失エリアを判定した時刻とを含んだ人物消失エリア情報を消失中行動推定モデル選択部１０５へと出力する。人物抽出領域情報に抽出された人物の特徴認識結果が含まれる場合、人物消失エリア判定部１０３は、その特徴認識結果を人物消失エリア情報に含めて、消失中行動推定モデル選択部１０５へと出力する。

消失中行動推定モデル保持部１０４は、エリアごとに用意された消失中行動推定モデルを保持する。例えば図４に示すエリアが用意されている場合、消失中行動推定モデル保持部１０４は、以下の様な消失中行動推定モデルを保持する。即ち、消失中行動推定モデル保持部１０４は、和室の引き戸に対応するエリアＡ用のモデル、バス・トイレのドアに対応するエリアＢ用のモデル、廊下に対応するエリアＣ用のモデル、キッチンに対応するエリアＤ用のモデルを保持する。人物抽出部１０２が人物認識機能や服装認識機能等を備え、人物抽出領域情報が抽出された人物の特徴認識結果を含む場合、消失中行動推定モデル保持部１０４は、抽出された人物の特徴認識結果ごとに用意されたそれぞれのエリア用の行動推定モデルを保持する。
各消失中行動推定モデルは、行動を推定する時刻、（人物消失エリア情報が含む）人物が消失した時刻、その人物が消失してからの時間の長さ、の何れか若しくは全てを変数として持つ。即ち、消失中行動推定モデルの例としては、人物の消失時間帯ごとに消失中行動推定結果がリスト化されているものや、人物の消失時刻及び消失からの経過時間の長さによって消失中行動推定結果が変化する関数等である。
例えば、エリアＢ用のモデルには、人物がエリアＢで消失してから１０分以内であれば消失中の人物行動は「トイレの利用」と推定し、１０分以上が経過すると消失中の人物行動は「入浴」と推定するようなテーブルが用意されている。
なお、バス・トイレの利用時間は個々人で差があるため、映像情報処理装置１００は、その個人差を機械学習等で学習して、消失中行動推定モデルを適応的に変更してもよい。例えば、映像情報処理装置１００は、エリアＢで人が消失してから１０分以上経って人物が再登場した際に、人物の着衣や髪型に変化が無ければ、入浴では無かった（掃除又はトイレ）と判断し、テーブルの情報を書き換えるようにしてもよい。
ここで、人物の行動を推定するモデルは、機械学習における教師なし学習の枠組みの一つでもある参考文献３の自己組織化マップや参考文献４のＳＯＩＮＮ等の手法を用いることで効果的に学習することができる。
＜参考文献３＞ 平野廣美著 "Ｃ＋＋とＪａｖａでつくるニューラルネットワーク"、パーソナルメディア、２００８、ｐ２３４−２５７
＜参考文献４＞ Ｓｈｅｎ Ｆｕｒａｏ ａｎｄ Ｏｓａｍｕ Ｈａｓｅｇａｗａ、 "Ａｎ Ｉｎｃｒｅｍｅｎｔａｌ Ｎｅｔｗｏｒｋ ｆｏｒ Ｏｎ−ｌｉｎｅ Ｕｎｓｕｐｅｒｖｉｓｅｄ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ Ｔｏｐｏｌｏｇｙ Ｌｅａｒｎｉｎｇ"、 Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ 、 ２００５

消失中行動推定モデル保持部１０４に保持された行動推定モデルは、次に述べる消失中行動推定モデル選択部１０５に取得される。
消失中行動推定モデル選択部１０５は、人物消失エリア判定部１０３より人物消失エリア情報を受け取ると、受け取った情報に示される人物消失エリア用の消失中行動推定モデルを消失中行動推定モデル保持部１０４から取得（又は選択）する。そして、消失中行動推定モデル選択部１０５は、取得した消失中行動推定モデルを消失中行動推定部１０６へと出力する。
消失中行動推定モデル選択部１０５は、人物消失エリア情報に抽出された人物の特徴認識結果が含まれる場合、その特徴認識結果ごとに用意された、人物消失エリア用の消失中行動推定モデルを消失中行動推定モデル保持部１０４から取得する。そして、消失中行動推定モデル選択部１０５は、取得した消失中行動推定モデルを消失中行動推定部１０６へと出力する。例えば、住居人それぞれの用の行動推定モデルが用意されていたり、人物消失時の（正確には消失直前の）人物姿勢や人物動作ごとに行動推定モデルが用意されていたりする。
消失中行動推定部１０６は、消失中行動推定モデル選択部１０５より消失中行動推定モデルを受け取ると、受け取った消失中行動推定モデルを利用してカメラ１０１が撮影している映像中から人物が消失している間の行動を推定する。消失中行動推定部１０６は、人物の消失が判定された後はその人物が再び映像から抽出されるまで逐次推定を行い、消失中行動推定結果を登場時行動予測部１０８へと出力する。一例として、エリアＢで人物が消失した場合、消失中行動推定部１０６は、消失中行動推定モデル保持部１０４から取得したモデルにより、消失してから１０分経過するまでは、トイレの使用であると推定し、１０分を経過した後は、入浴であると推定する。

登場時行動予測モデル保持部１０７には、消失中行動推定部１０６から得られる消失中行動推定結果ごとに、再度、人物が登場する時の登場時行動予測モデルが保持されている。例えば、登場時行動予測モデル保持部１０７には、図４のエリアＢで人物が消失し、消失中行動推定部１０６が消失中の行動を「入浴」であると推定する場合に対して、登場時行動は「浴衣に着替え、顔を火照らせて登場する」と予測するモデルが保持されている。
登場時行動予測部１０８は、消失中行動推定部１０６から消失中行動推定結果を受け取ると、受け取った情報に示される消失中行動推定結果用の登場時行動予測モデルを登場時行動予測モデル保持部１０７から取得し、これに基づき登場時の行動を予測する。例えば、消失中行動推定結果が「入浴」である場合、登場時行動予測部１０８は、「消失時とは違う服装で登場する」と予測する。そして、登場時行動予測部１０８は、登場時行動の予測結果を、情報処理方法変更部１０９へと出力する。
情報処理方法変更部１０９は、登場時行動予測部１０８から登場時行動の予測結果を受け取ると、予測結果に合わせ、必要に応じて情報処理方法を変更する。例えば、登場時行動予測部１０８で人物が「浴衣に着替え、顔を火照らせて登場する」と予測した場合、情報処理方法変更部１０９は、以下のように情報処理を変更する。即ち、情報処理方法変更部１０９は、人物検出処理時に消失前の服装を想定しないように、予め人物抽出部１０２における服装抽出機能のパラメータを変更したり、顔の火照りを加味し肌色抽出のためのパラメータを変更したりする。この場合、人物抽出部１０２は、情報処理方法変更部１０９の変更結果を受け取り、人物抽出に必要なパラメータや抽出手法の変更を行う。
以上のように、人物消失中の行動を推定し、それに基づいて再度、人物が登場するときの行動を予測して情報処理方法を変更することで、例えば人物検出のための初期値を最適化することができる。

映像情報処理装置１００は、人物の登場時行動の予測結果を、人物抽出処理方法の変更だけでなく、データとして記録して、ディスプレイ装置で提示してもよい。映像情報処理装置１００は、提示前にデータの加工を行ってもよい。例えば、映像情報処理装置１００は、登場時行動予測結果とその予測が行われた時刻と、を組にしたデータを記憶媒体に記録し、そのデータを時系列順に並べたリストを画面等に提示する。この登場時行動予測データは、それが居住者や別居の家族や居住者のケアを行っている医療従事者や介護従事者等に提示され、それを見た人の行動プランの判断材料となる。また、家事手伝いロボット等の自律制御機器は、この登場時行動予測データを、人物消失中に行う制御処理の内容のプランニングに利用してもよい。より具体的には、消失中行動が「入浴」で、登場時行動が「髪の毛を乾かす」と予測された場合に、家事手伝いロボットは、予めドライヤーを用意しておく、等である。
以上が、本実施形態にかかる映像情報処理装置１００に関する構成部分である。

（処理）
続いて、図５に示したフローチャートを用いて、本実施形態の映像情報処理装置１００が行う処理について説明する。
処理が開始されると、まずステップＳ１００において、カメラ１０１は、現実空間の撮影を行う。引き続いて、カメラ１０１は、撮影映像を人物抽出部１０２に送る。人物抽出部１０２は、撮影映像中から人物が映っている領域を抽出する。人物抽出部１０２は、人物が映る領域が抽出されなかった場合、ステップＳ２００へと処理を進める。人物抽出部１０２は、人物が映る領域が抽出された場合、その抽出領域の情報を人物抽出領域情報として人物消失エリア判定部１０３に出力する。人物抽出部１０２が人物認識機能や服装認識機能等を備える場合、抽出された人物の特徴認識結果を人物抽出領域情報に加えて、人物消失エリア判定部１０３に出力する。それを受け取った人物消失エリア判定部１０３は、その時刻に人物抽出部１０２から人物抽出領域情報を受け取ったという情報を内部に記録する。
ステップＳ２００において、人物消失エリア判定部１０３は、その時刻以前の一定時間に、人物抽出部１０２から人物抽出領域情報を受け取っているか否かを、内部記録を参照して確認する。人物消失エリア判定部１０３は、過去の一定時間（例えば３秒）の間に、人物抽出領域情報を受け取っていなければ、即ち人物が継続的に映像中に映っていないと解釈し、処理をステップＳ１００に戻す。逆に、人物消失エリア判定部１０３は、過去の一定時間（例えば３秒）の間に、人物抽出領域情報を受け取っていれば、即ち過去の一定時間の間に人物が映像中から消失したと解釈し、処理をステップＳ３００へと進める。

ステップＳ３００において、人物消失エリア判定部１０３は、人物消失エリアの判定を行う。即ち、人物消失エリア判定部１０３は、人物消失エリア判定部１０３内部の記録を参照し、最後に受け取った人物抽出領域情報が示す領域が、どのエリア（現実空間の部分領域に対応付けられた映像の部分領域）に含まれるかを特定する。そして、人物消失エリア判定部１０３は、特定したエリアを人物消失エリアと判定する。人物消失エリア判定部１０３は、人物消失エリアを示す情報と、内部に記録されている人物抽出領域情報を受け取った時刻の最新のもの（人物消失時刻に相当）とを、人物消失エリア情報として消失中行動推定モデル選択部１０５へと出力する。このとき、人物消失エリア判定部１０３は、人物抽出部１０２から受け取っている人物抽出領域情報に、抽出された人物の特徴認識結果が含まれる場合、これを人物消失エリア情報に含めて、消失中行動推定モデル選択部１０５へと出力する。続いて、人物消失エリア判定部１０３は、処理をステップＳ４００へと進める。
ステップＳ４００において、消失中行動推定モデル選択部１０５は、人物消失エリア判定部１０３より受け取った人物消失エリア情報に基づいて、人物消失エリアに対応する消失中行動推定モデルを、消失中行動推定モデル保持部１０４より取得する。人物消失エリア情報に抽出された人物の特徴認識結果が含まれる場合、消失中行動推定モデル選択部１０５は、抽出された人物の特徴認識結果にも対応している消失中行動推定モデルを消失中行動推定モデル保持部１０４より取得する。消失中行動推定モデル選択部１０５は、取得したモデルを、消失中行動推定部１０６へと送る。その後、消失中行動推定モデル選択部１０５は、処理をステップＳ５００へと進める。

ステップＳ５００において、消失中行動推定部１０６は、消失中行動推定モデル選択部１０５から受け取った消失中行動推定モデルに基づいて、カメラ１０１の撮影映像中から消失した人物の、消失中の行動推定を行う。消失中行動推定部１０６におけるこの行動推定方法は、消失中行動を推定する時刻ならびに人物消失エリア情報が含む人物消失時刻と消失人物の特徴認識結果とを用いて行われ、その実現方法はなんでもよい。以下、消失中行動推定部１０６における推定の例を示す。
例えば、図４に示した和室の引き戸に対応するエリアＡが人物消失エリアで、人物消失時刻が２１時以降で朝６時前であり、消失した人物が消失前にあくびをしていた場合、消失中行動推定部１０６は「（消失した人物が）和室で寝ている」と推定する。また例えば、図４に示したバス（お風呂）・トイレのドアに対応するエリアＢが人物消失エリアで、行動推定時刻が人物消失時刻の５分後であれば、消失中行動推定部１０６は「（消失した人物が）トイレに入っている」と推定する。時間が経過して、行動推定時刻が人物消失時刻の１０分後になり、かつ、人物消失時刻が１８時以降２４時前であれば、消失中行動推定部１０６は「（消失した人物が）お風呂に入っている」と推定する。また例えば、同じくエリアＢが人物消失エリアで、人物消失時刻が１８時よりも前で、消失した人物が掃除道具をもっている場合、消失中行動推定部１０６は、「（消失した人物が）トイレかお風呂を掃除している」と推定する。また例えば、図４に示した廊下に対応するエリアＣが人物消失エリアで、行動推定時刻が人物消失時刻の３０分後であれば、消失中行動推定部１０６は、「（消失した人物が）外出している」と推定する。また例えば、図４に示したキッチンに対応するエリアＤが人物消失エリアで、行動推定時刻が夕方１７時前後で、消失した人物がこの家の家事を担当する人であれば、消失中行動推定部１０６は、「（消失した人物が）夕食を準備している」と推定する。
こうして消失した人物の消失中行動を推定すると、消失中行動推定部１０６は、その消失中行動推定結果を登場時行動予測部１０８へと送り、処理をステップＳ６００へと進める。

ステップＳ６００において、登場時行動予測部１０８は、消失中行動推定部１０６から受け取る消失中行動推定結果に基づいて、登場時行動予測モデル保持部１０７に保持される登場時行動予測モデルを選択する。そして、登場時行動予測部１０８は、選択した登場時行動予測モデルに基づき、再び人物がカメラ１０１の撮影映像に再登場するときの行動を予測する。登場時行動予測部１０８におけるこの登場時行動予測方法は、消失中行動推定結果を用いて行われ、その実現方法はなんでもよい。以下、登場時行動予測部１０８における予測の例を示す。
例えば、図４に示したバス（お風呂）・トイレのドアに対応するエリアＢが人物消失エリアで、ステップＳ５００の消失中行動推定において「（消失した人物が）お風呂に入っている」と推定されていた場合、人物が再登場する際には着衣の大きな変化が予測できる。したがって、登場時行動予測部１０８は、エリアＢより人物は浴衣に着替えて、消失したエリアと同じエリアＢから再登場すると予測する。また、入浴後には体温が上昇するので、登場時行動予測部１０８は、肌の色が赤味を帯びて登場すると予測する。別の例として、「（消失した人物が）和室で寝ている」と推定されていた場合、登場時行動予測部１０８は、朝になって再登場するときには着替えていると予想して、見た目上の大きな変化があると予測する。逆に、「（消失した人物が）トイレに入っている」「（消失した人物が）トイレかお風呂を掃除している」と推定されていた場合、登場時行動予測部１０８は、着衣の変化や肌の色変化等は特に生じないと予測する。
こうして消失した人物が再登場する時の行動を予測すると、登場時行動予測部１０８は、その行動予測結果を情報処理方法変更部１０９へと送り、処理をステップＳ７００へと進める。

ステップＳ７００において、情報処理方法変更部１０９は、登場時行動予測部１０８から受け取った予測結果に基づいて、人物抽出部１０２の人物抽出方法や抽出に用いるパラメータ、カメラ１０１に適応するカメラパラメータ等を変更する。
例えば、ワイシャツとズボンとを着ていた人物がエリアＢから消失し、入浴後に再度、エリアＢから登場するときには浴衣を着ていると予測された場合、情報処理方法変更部１０９は、以下のように情報処理を変更する。即ち、情報処理方法変更部１０９は、入浴前に全身のパーツ情報を利用して人物抽出を行っていたのに対して、入浴後は頭部又は上半身までの情報を利用した方法に切替える。これは、ワイシャツとズボンとを着ていた場合、腕や足のパーツが映像中から分離して抽出することができるが、浴衣を着て登場した場合、ワイシャツやズボンの時ほど腕や足のパーツが明確に抽出できなくなるためである。また、入浴後は入浴前と比べ、体温が上昇しているため、顔や腕の色が赤味を帯びる傾向にある。したがって、肌色抽出を行う場合、情報処理方法変更部１０９は、予め登録しておいた肌色の情報に加えて、赤味成分も加味した色抽出パラメータを設定する。また、消失人物の身長等の情報が予め入力されているシステムの場合、情報処理方法変更部１０９等は、再登場時の頭の位置を大まかに推定することも可能である。そのため、情報処理方法変更部１０９は、再登場時に行う人物探索エリアを限定しておくこともできる。
このようにして、消失した人物が再度、登場する際の行動予測に基づいて人物抽出の方法ならびにパラメータを変更すると、情報処理方法変更部１０９は、人物抽出部１０２にその結果を反映し、処理をステップＳ８００へと進める。なお、ここでは、人物が再度、登場する際に認識方法を変更する処理について言及したが、必ずしもアルゴリズムの変更や設置したカメラパラメータの変更するだけに留まらない。情報処理方法変更部１０９は、人物の行動を推定・予測することで対人ロボットのような自律制御機器の制御処理の内容を変更するようにしてもよい。例えば、入浴後にエリアＢより身体に障害がある人物が再登場する場合、情報処理方法変更部１０９は、対人ロボットに制御処理の内容を変更するパラメータ等を、無線等を介して送信する。対人ロボットは、無線等を介してパラメータ等を受信すると、受信したパラメータに基づき、例えば、予めエリアＢ付近に待機しておき、登場後、直ぐにケアできるような姿勢をとるように制御を実行する。

ステップＳ８００において、ステップＳ１００と同様、カメラ１０１は、現実空間の撮影を行う。引き続いて、その撮影映像がカメラ１０１から人物抽出部１０２に送られ、人物抽出部１０２は、映像中から人物が映っている領域を抽出する処理を行う。この処理によって人物が映る領域が抽出されなかった場合、人物抽出部１０２は、処理をステップＳ５００へと進める。消失中行動推定部１０６は、既に保持している消失中行動推定モデルに基づいて、消失した人物の消失中の行動を推定する。人物が映る領域が抽出された場合、人物抽出部１０２は、その抽出領域の情報を人物抽出領域情報として人物消失エリア判定部１０３に出力する。但し、人物抽出部１０２が人物認識機能を備え、抽出した人物識別が可能な場合、人物抽出部１０２は、以下の場合にのみ、人物抽出領域情報を人物消失エリア判定部１０３に出力する。つまり、人物抽出部１０２は、ステップＳ１００にて抽出された人物と同一人物が抽出された場合に限り、その抽出領域の情報及び抽出された人物の特徴認識結果を、人物抽出領域情報として人物消失エリア判定部１０３に出力する。そうでない場合、人物抽出部１０２は、処理をステップＳ５００へと進める（同一人物でなかった場合、抽出された人物に関する処理は、別途行われる）。人物抽出領域情報を受け取った人物消失エリア判定部１０３は、その時刻に人物抽出部１０２から人物抽出領域情報を受け取ったという情報を内部に記録する。そして人物消失エリア判定部１０３は、処理をステップＳ１００へと進める。
以上の処理によって、映像情報処理装置１００は、カメラ一台だけで、視野外を含む一般家庭における人物の行動を推定し、推定した内容に基づいた人物再登場時行動の予測に合わせて情報処理方法を自律的に制御することができる。

［第二実施形態］
本実施形態に係る映像情報処理装置は、視野の重なりのない複数台のカメラと、それぞれのカメラのそばにあるセンサと、それぞれのカメラから離れた場所にあるセンサとにより、カメラの視野外を含む一般家庭における人物の行動を推定する。そして、映像情報処理装置は、推定した内容に基づいて人物再登場時行動の予測に合わせて情報処理方法を自律的に制御する。以下、図を用いて一例を示す。
図６及び図７は、本実施形態が対象とする一般家庭の間取りの例を示す図である。４ＬＤＫの２階建て戸建てを想定したものである。図６が１階間取り、図７が２階間取りを示している。図６に示した１階にはソファとダイニングテーブルとが置かれたリビングダイニング、和室、キッチン、トイレ１、玄関、２階への階段がある。図７に示した２階には１階からの階段、洋室Ａ、洋室Ｂ、洋室Ｃ、洗面所・バス、トイレ２がある。
以下、本実施形態に係る映像情報処理装置の構成及び処理について説明する。

（構成２００）
図８は、映像情報処理装置のソフトウェア構成等を示す図である。なお、本実施形態の映像情報処理装置２００のハードウェア構成は、第一実施形態の映像情報処理装置１００のハードウェア構成と同様である。なお、映像情報処理装置２００は、各カメラ及び各センサをハードウェア構成として有してもよいし、各カメラ及び各センサを映像情報処理装置２００とは別体としてもよい。各カメラ及び各センサを映像情報処理装置２００とは別体とする場合、映像情報処理装置２００は、ネットワーク等を介して各カメラ及び各センサと通信可能に接続されているものとする。
カメラ２０１は、現実空間を撮影する。カメラ２０１は、映像情報処理装置２００と通信可能であれば、天井から吊り下げられてもよいし、床や台やテレビの上に据え置いてもよいし、テレビ等の家電に内蔵させてもよい。以下では、図６に示すようなリビングの南側の（図の下側の）壁際に置かれるテレビの上にカメラを置く場合を想定する。この場合、カメラ２０１には図９に示すようなシーンが映り、この住居に住む家族がリビングダイニングで食事をしたり、くつろいだりする様子が撮影できる。しかし、リビングダイニング以外の場所である和室、キッチン、トイレ１、玄関、２階への階段の様子は撮影されない。
カメラ２１０も、現実空間を撮影する。カメラ２１０も、映像情報処理装置２００と通信可能であれば、天井から吊り下げられてもよいし、床や台やテレビの上に据え置いてもよいし、テレビ等の家電に内蔵させてもよい。以下では、図７に示すような、１階からの階段を上ったところの天井にカメラが設置される場合を想定する。この場合、カメラ２１０には図１０に示すようなシーンが映る。即ち、洋室Ａ、洋室Ｂ、洋室Ｃのドアと、トイレ２及び洗面所・バスへと続く短い廊下と、が映る。
なお、消失中行動推定モデル保持部２０４、登場時行動予測モデル保持部２０７は、より具体的には、記憶装置１１１の所定の領域である。

映像情報処理装置２００は、ソフトウェア構成として、人物抽出部２０２、人物消失エリア判定部２０３、消失中行動推定モデル選択部２０５、消失中行動推定部２０６、登場時行動予測部２０８、情報処理方法変更部２０９を有する。
カメラ２０１及びカメラ２１０の撮影映像は、両方とも人物抽出部２０２へと出力される。パンチルトやズームといったカメラパラメータは、カメラ２０１及びカメラ２１０の何れも、固定でもよいし可変であってもよい。カメラパラメータが固定な場合は、パラメータは事前に計測され、人物消失エリア判定部２０３が保持しているか、参照可能な状態になっている。カメラパラメータが可変な場合、その可変値はカメラ２０１、カメラ２１０それぞれにおいて計測され、人物消失エリア判定部２０３へと出力される。
人物抽出部２０２は、カメラ２０１及びカメラ２１０から映像を受け取り、この映像中から人物が映っている領域を抽出する処理を行う。人物抽出部２０２は、映像から人物を抽出した際に、その抽出領域の情報を人物抽出領域情報として人物消失エリア判定部２０３に出力する。ここで人物抽出領域情報とは、例えば座標情報の集まりであったり、代表座標と形状情報との組であったりする。更に人物抽出領域情報は、その抽出がどのカメラで行われたのかがわかるデータを含んでいる。
人物抽出部２０２は、人物認識機能・服装認識機能・姿勢認識機能・動作認識機能等を備える。人物抽出部２０２は、映像から抽出された人物が、誰であるか、どんな人であるか（男性か女性か、何歳くらいか、等）、どんな服装であるか、どんな姿勢であるか、どんな動作をしているか、どんな行動をしているか、何を持っているか、等を認識してもよい。この場合、人物抽出部２０２は、抽出した人物の特徴認識結果を人物抽出領域情報に加えて、人物消失エリア判定部２０３に出力する。
人物消失エリア判定部２０３は、現実空間の部分領域に対応付けられた映像の部分領域（「エリア」）から、カメラ２０１若しくはカメラ２１０が撮影している映像中で人物が消失したエリア（人物消失エリア）を判定する。人物消失エリア判定部２０３は、人物消失エリアを判定すると、そのエリアを示す情報と人物消失エリアを判定した時刻とを含んだ人物消失エリア情報を消失中行動推定モデル選択部２０５へと出力する。人物抽出領域情報に抽出された人物の特徴認識結果が含まれる場合、人物消失エリア判定部２０３は、その特徴認識結果を人物消失エリア情報に含めて、人物消失エリア情報を消失中行動推定モデル選択部２０５へと出力する。

消失中行動推定モデル保持部２０４は、エリアごとに用意された消失中行動推定モデルを保持する。各消失中行動推定モデルは、消失中行動を推定する時刻、人物が消失した時刻、その人物が消失してからの経過時間の長さ、の何れか若しくは全てを変数として持つ。更に、各消失中行動推定モデルは、センサ２１１、センサ２１２、センサ２１３の出力値も変数として持つ。即ち、それぞれのセンサ出力値によって消失中行動推定結果を決定する関数が、消失中人物行動推定モデルの例となる。消失中行動推定モデル保持部２０４に保持された消失中行動推定モデルは、次に述べる消失中行動推定モデル選択部２０５によって取得される。
消失中行動推定モデル選択部２０５は、人物消失エリア判定部２０３より人物消失エリア情報を受け取ると、受け取った情報に示される人物消失エリア用の消失中行動推定モデルを消失中行動推定モデル保持部２０４から取得する。そして、消失中行動推定モデル選択部２０５は、取得した消失中行動推定モデルを消失中行動推定部２０６へと出力する。人物消失エリア情報に抽出された人物の特徴認識結果が含まれる場合、消失中行動推定モデル選択部２０５は、その特徴認識結果ごとに用意された、人物消失エリア用の消失中行動推定モデルを消失中行動推定モデル保持部２０４から取得する。そして、消失中行動推定モデル選択部２０５は、取得した消失中行動推定モデルを消失中行動推定部２０６へと出力する。
消失中行動推定部２０６は、消失中行動推定モデル選択部２０５より消失中行動推定モデルを受け取ると、それを利用してカメラ２０１若しくはカメラ２１０が撮影している映像中から人物が消失した後の行動を推定する。ここで、消失中行動推定部２０６は、受け取った消失中行動推定モデルの中身に基づき、必要であればセンサ２１１、センサ２１２、センサ２１３よりセンサ出力を得る。消失中行動推定部２０６は、人物の消失が判定された後はその人物が再び映像から抽出されるまで逐次推定を行い、消失中行動推定結果を登場時行動予測部２０８へと出力する。

登場時行動予測モデル保持部２０７には、消失中行動推定部２０６から得られる消失中行動推定結果ごとに、再度、人物が登場する時の登場時行動予測モデルが保持されている。なお、本実施形態の場合、消失した人物は必ずしも消失した場所（人物消失エリア）から再び登場するとは限らない。よって、登場時行動の予測結果には、どのカメラ映像のどの場所（エリア）から登場するかについての情報も含まれている。
登場時行動予測部２０８は、消失中行動推定部２０６から消失中行動推定結果を受け取ると、受け取った情報に示される消失中行動推定結果用の登場時行動予測モデルを登場時行動予測モデル保持部２０７から取得し、これに基づき登場時の行動を予測する。そして登場時行動予測部２０８は、登場時行動の予測結果を、情報処理方法変更部２０９へと出力する。
情報処理方法変更部２０９は、登場時行動予測部２０８から登場時行動の予測結果を受け取ると、予測結果に合わせ、必要に応じて情報処理方法を変更する。例えば、登場時行動予測部２０８で人物が「浴衣に着替え、顔を火照らせて登場する」と予測された場合、情報処理方法変更部２０９は、以下のように情報処理の方法を変更する。即ち、情報処理方法変更部２０９は、人物抽出処理時に消失前の服装を想定しないように予め人物抽出部２０２における服装抽出機能のパラメータを変更したり、顔の火照りを加味し肌色抽出のためのパラメータを変更したりする。この場合、人物抽出部２０２は、情報処理方法変更部２０９の変更結果を受け取り、人物抽出に必要なパラメータや抽出手法の変更を行う。なお、先に述べたように、本実施形態の場合、消失した人物は必ずしも消失した場所（人物消失エリア）から再び登場するとは限らない。ということは、必ずしも人物の消失を判定したカメラと同じカメラで再登場を検出するとは限らない。したがって、情報処理方法変更部２０９は、人物抽出部２０２の情報処理方法やそのパラメータを変更する際、以下の様に情報処理方法を変更する。即ち、情報処理方法変更部２０９は、登場時行動予測に含まれる「どのカメラ映像のどの場所（エリア）から人物が登場するか」という予測内容に基づき、しかるべきカメラに関する情報処理方法を変更する。

センサ２１２及びセンサ２１３は、それぞれカメラ２０１、カメラ２１０のそばに設置される現実空間における現象を計測又は検知するセンサである。このセンサは、それぞれのカメラに映らない視野外の現実空間の状況を計測する。例えばこのセンサはマイクで、視野外で起こる事象によって発生する音を計測する。マイクが二つあり、それぞれが指向性をもっているとすると、一つのマイクはカメラ視野外の右側の現実空間で起こる事象の音を計測し、もう一方のマイクがカメラ視野外の左側の現実空間で起こる事象の音を計測する、といった役割分担を持たせることができる。もちろん、計測対象となる現実空間の状況はカメラの視野外のものだけに限るものではなく、カメラ視野内の現実空間の状況が含まれていてもよい。本実施形態の説明においては、センサ２１２を指向性のある二つのマイクからなるものとし、センサ２１３を指向性のない一つのマイクからなるものとする。
センサ２１１は、カメラ２０１及びカメラ２１０とは離れた場所に設置される現実空間における現象を計測又は検知するセンサである。例えば、カメラ２０１とカメラ２１０との視野外の現実空間におかれた家電製品や電灯のＯＮ／ＯＦＦを検知するセンサであったり、人の存在を検知する人感センサであったりする。説明上、センサ２１１と単数表記をしているが、センサ自体が複数あってもよいし、複数の場所にそれぞれ独立に存在していてもよい（即ち、センサ２１４、センサ２１５、・・・と数多くのセンサが存在してよい。）。
なお、本実施形態では、カメラ２０１及びカメラ２１０の出力を人物抽出部２０２へ入力して情報を統合した上で人物の消失中行動を推定しているが、必ずしも入力を統合してから消失中行動を推定する必要はない。つまり、カメラ２０１とカメラ２１０との入力をそれぞれ異なる系統で処理を行い、別々に出力された結果をそれぞれの場合に応じて適応的に選択して情報処理方法変更部２０９で認識方法やパラメータを変更してもよい。それはカメラを設置するシーンや構築するシステムに応じて好適な手段を選択すればよい。
以上が、本実施形態にかかる映像情報処理装置２００に関する構成部分である。

（処理）
続いて、図１１に示したフローチャートを用いて、本実施形態の映像情報処理装置２００が行う処理について説明する。
処理が開始されると、まずステップＳ１０１において、カメラ２０１及びカメラ２１０は、現実空間の撮影を行う。引き続いて、カメラ２０１及びカメラ２１０は、撮影映像を人物抽出部２０２に送る。人物抽出部２０２は、撮影映像中から人物が映っている領域を抽出する。人物抽出部２０２は、人物が映る領域が抽出されなかった場合、ステップＳ２０１へと処理を進める。人物抽出部２０２は、人物が映る領域が抽出された場合、その抽出領域の情報を、どちらのカメラの領域であるかを示す識別情報も含めて、人物抽出領域情報として人物消失エリア判定部２０３に出力する。人物抽出部２０２が人物認識機能や服装認識機能等を備える場合、人物抽出部２０２は、抽出した人物の特徴認識結果を人物抽出領域情報に加えて、人物消失エリア判定部２０３に出力する。それ受け取った人物消失エリア判定部２０３は、その時刻に人物抽出部２０２から人物抽出領域情報を受け取ったという情報を内部に記録する。ここで、原理的にはカメラ２０１及びカメラ２１０の両方で同時に人物が検出されうるし、実際に同時に行ってもよいが、以下の説明では、それぞれのカメラ映像における人物抽出は同時には行われない場合を想定して、説明を続ける。
ステップＳ２０１において、人物消失エリア判定部２０３は、その時刻以前の一定時間に、人物抽出部２０２から人物抽出領域情報を受け取っているか否かを、内部記録を参照して確認する。ここで、過去の一定時間（例えば３秒）の間に、人物抽出領域情報を受け取っていなければ、人物消失エリア判定部２０３は、即ち人物が継続的に映像中に映っていないと解釈し、処理をステップＳ１０１に戻す。逆に、過去の一定時間（例えば３秒）の間に、人物抽出領域情報を受け取っていれば、人物消失エリア判定部２０３は、即ち過去の一定時間の間に人物が映像中から消失したと解釈し、処理をステップＳ３０１へと進める。

ステップＳ３０１において、人物消失エリア判定部２０３は、人物消失エリアの判定を行う。即ち、人物消失エリア判定部１０３は、内部の記録を参照し、最後に受け取った人物抽出領域情報が示す領域が、どのエリア（現実空間の部分領域に対応付けられた映像の部分領域）に含まれるかを特定し、そのエリアを人物消失エリアと判定する。そして、人物消失エリア判定部２０３は、人物消失エリアを示す情報と内部に記録されている人物抽出領域情報を受け取った時刻の最新のもの（人物消失時刻に相当）とを、人物消失エリア情報として消失中行動推定モデル選択部２０５へと出力する。このとき、人物消失エリア判定部２０３は、人物抽出部２０２から受け取っている人物抽出領域情報に、抽出された人物の特徴認識結果が含まれる場合、これを人物消失エリア情報に含めて、消失中行動推定モデル選択部２０５へと出力する。続いて、人物消失エリア判定部２０３は、処理をステップＳ４０１へと進める。
ステップＳ４０１において、消失中行動推定モデル選択部２０５は、人物消失エリア判定部２０３より受け取る人物消失エリア情報に基づいて、人物消失エリアに対応する行動推定モデルを、消失中行動推定モデル保持部２０４より取得する。人物消失エリア情報に抽出された人物の特徴認識結果が含まれる場合、消失中行動推定モデル選択部２０５は、抽出された人物の特徴認識結果にも対応している行動推定モデルを消失中行動推定モデル保持部２０４より取得する。消失中行動推定モデル選択部２０５は、取得したモデルを、消失中行動推定部２０６へと送る。その後、消失中行動推定モデル選択部２０５は、処理をステップＳ５０１へと進める。

ステップＳ５０１において、消失中行動推定部２０６は、消失中行動推定モデル選択部２０５から受け取った行動推定モデルに基づいて、カメラ２０１若しくはカメラ２１０の撮影映像中から消失した人物の、消失中の行動推定を行う。この行動推定方法は、行動を推定する時刻ならびに人物消失エリア情報が含む人物消失時刻、ならびにセンサ２１１、センサ２１２、センサ２１３のセンサ出力を用いて行われ、その実現方法はなんでもよい。以下、消失中行動推定部２０６における推定の例を示す。
例えば、以下の場合を例に説明を行う。
（１）図１２に示した玄関及びトイレ１へと続く扉のある方向に対応するカメラ２０１の映像中のエリアＥが人物消失エリアで、センサ２１２のうちのその方向を向いたマイクが室内ドアの開閉音を録音した場合
（２）センサ２１２のエリアＥの方を向いたマイクが屋外ドアの開閉音と鍵をかける音を録音した場合
（３）図１２に示した和室・キッチン・階段へと続く方向に対応するカメラ２０１の映像中のエリアＦが人物消失エリアで、センサ２１２のエリアＦの方向を向いたマイクが水の音を録音した場合
（４）キッチンに置かれたコーヒーメーカーのスイッチがＯＮになったことがセンサ２１１の出力から判断された場合
（５）センサ２１２のエリアＦの方向を向いたマイクが襖を開け閉めする音を録音した場合
（６）センサ２１２のエリアＦの方向を向いたマイクが階段を登る音を録音した場合
（７）図１３に示した洋室Ａ／Ｂ／Ｃのドアに対応するカメラ２１０映像中のエリアＧ／Ｈ／Ｉが人物消失エリアで、人物消失時間が２１時以降で朝６時前であり、かつ、消失人物がその洋室Ａ／Ｂ／Ｃを主に利用する人物である場合
（８）エリアＧ／Ｈ／Ｉが人物消失エリアで、人物消失時間が深夜０時以降で朝６時前であり、消失人物がその洋室Ａ／Ｂ／Ｃを主に利用しない人物で、かつ、カメラ２１０のそばに備え付けられたセンサ２１３が咳き込む音を記録した場合
（９）図１３に示したトイレ２、洗面所・バスのある方向に対応するカメラ２１０映像中のエリアＪが人物消失エリアであり、洗面台の電灯のスイッチがＯＮになったことがセンサ２１３の出力から判断された場合
（１０）センサ２１３が浴室の引き戸が閉まる音を記録した場合
（１１）センサ２１３がトイレ２のドアが閉まる音を記録した場合
（１２）図１３に示した階段に続く方向に対応するカメラ２１０の映像中のエリアＫが人物消失エリアである場合、
（１）の場合、消失中行動推定部２０６は、「（消失した人物が）トイレに入った」と推定する。（２）の場合、消失中行動推定部２０６は「（消失した人物が）外出した」と推定する。（３）の場合、消失中行動推定部２０６は「（消失した人物が）キッチンで水仕事をしている」と推定する。（４）の場合、消失中行動推定部２０６は、「（消失した人物が）キッチンでコーヒーをつくっている」と推定する。（５）の場合、消失中行動推定部２０６は、「（消失した人物が）和室に入った」と推定する。（６）の場合、消失中行動推定部２０６は、「（消失した人物が）二階へ行った」と推定する。（７）の場合、消失中行動推定部２０６は、「（消失した人物が）自分の部屋で寝た」と推定する。（８）の場合、消失中行動推定部２０６は、「（消失した人物が）洋室Ａ／Ｂ／Ｃの主を心配して見に行った」と推定する。（９）の場合、消失中行動推定部２０６は、「（消失した人物が）洗面台を使っている」と推定する。（１０）の場合、消失中行動推定部２０６は、「（消失した人物が）お風呂に入った」と推定する。（１１）の場合、消失中行動推定部２０６は、「（消失した人物が）トイレに入った」と推定する。（１２）の場合、消失中行動推定部２０６は、「（消失した人物が）一階へ降りて行った」と推定する。
消失した人物の消失中の行動を推定すると、消失中行動推定部２０６は、その行動推定結果を登場時行動予測部２０８へと送り、処理をステップＳ６０１へと進める。

ステップＳ６０１において、登場時行動予測部２０８は、消失中行動推定部２０６から受け取る消失中行動推定結果に基づいて、登場時行動予測モデル保持部２０７に保持される登場時行動予測モデルを参照する。そして、登場時行動予測部２０８は、再び人物がカメラ２０１及びカメラ２１０の撮影映像に再登場するときの行動を予測する。この行動予測方法は、消失中行動推定結果を用いて行われ、その実現方法はなんでもよい。例えば、図１３に示した「階段に対応するエリアＫ」で人物が消失した場合、登場時行動予測部２０８は、その消失した人物は、図１２に示した「和室、キッチン、階段に対応するエリアＦ」から数秒又は数十秒後に登場すると予測する。消失した人物が再登場する時の行動を予測すると、登場時行動予測部２０８は、その行動予測結果を情報処理方法変更部２０９へと送り、処理をステップＳ７０１へと進める。
ステップＳ７０１において、情報処理方法変更部２０９は、登場時行動予測部２０８から受け取った予測結果に基づいて、人物抽出部２０２の人物抽出方法ならびに抽出に用いるパラメータ、若しくはカメラ２０１に適応するカメラパラメータを変更する。その後、情報処理方法変更部２０９は、人物抽出部２０２にその結果を反映し、処理をステップＳ８０１へと進める。
先の例でも挙げた通り、登場時行動予測結果に基づく情報処理方法の変更は、人物抽出方法の変更に限らない。例えば、自律移動型の介護ロボットの制御内容を変更してもよい。このケースを想定した場合、センサ２１３の値から、「（消失した人物が）入浴が終了し、今から着替えて数分後にエリアＪより登場する」ことが予測できたとすると、情報処理方法変更部２０９は、現在進行中の作業を一旦停止する旨の命令が発行する。この命令に基づき、自律移動型の介護ロボットは、介護作業を行うためエリアＪに移動する処理に移る。

ステップＳ８０１において、ステップＳ１０１と同様、カメラ２０１及びカメラ２１０は、現実空間の撮影を行う。引き続いて、その撮影映像がカメラ２０１及びカメラ２１０から人物抽出部２０２に送られ、人物抽出部２０２は、映像中から人物が映っている領域を抽出する処理を行う。この処理によって人物が映る領域が抽出されなかった場合、人物抽出部２０２は、処理をステップＳ５０１へと進める。消失中行動推定部２０６は、既に保持している行動推定モデルに基づいて、消失した人物の消失中行動を推定する。人物が映る領域が検出される場合、人物抽出部２０２は、その検出領域の情報を人物抽出領域情報として人物消失エリア判定部２０３に出力する。但し、人物抽出部２０２が人物認識機能を備え、抽出された人物識別が可能な場合、人物抽出部２０２は、以下の場合にのみ、その検出領域の情報及び抽出された人物の特徴認識結果を、人物抽出領域情報として人物消失エリア判定部２０３に出力する。つまり、人物抽出部２０２は、ステップＳ１０１にて抽出された人物と同一人物が抽出された場合に限り、その検出領域の情報及び抽出された人物の特徴認識結果を、人物抽出領域情報として人物消失エリア判定部２０３に出力する。そうでない場合、人物抽出部２０２は、処理をステップＳ５０１へと進める（同一人物でなかった場合、抽出された人物に関する処理は、別途行われる。）。人物抽出領域情報を受け取った人物消失エリア判定部２０３は、その時刻に人物抽出部２０２から人物抽出領域情報を受け取ったという情報を内部に記録する。そして、人物消失エリア判定部２０３は、処理をステップＳ１０１へと進める。
以上の処理によって、映像情報処理装置２００は、視野の重なりのない複数台のカメラと、それぞれのカメラのそばにあるセンサと、それぞれのカメラから離れた場所にあるセンサとにより、視野外を含む一般家庭における人物の行動を推定する。そして、映像情報処理装置２００は、推定した内容に基づいた人物再登場時行動の予測を行うことで情報処理方法を自律的に制御する。なお、本実施形態ではカメラが二台を例にしているが、カメラの台数はこれに制限されるものではない。また、本実施形態ではセンサとしてマイクと家電のＯＮを検知するセンサとを例にしているが、センサの種類等はこれに制限されるものではない。

［第三実施形態］
本実施形態に係る映像情報処理装置は、撮像装置の視野内に人物がいるにも関わらずオクルージョンによって一時的に消失した場合、その消失中の人物の行動を推定し、推定した内容に基づいた人物再登場時行動の予測に合わせた情報処理方法の自律制御を実現する。以下、図を用いて一例を示す。
図１４及び図１５は、本実施形態が対象とする一般家庭の間取りの例を示す図である。第１実施形態で対象とした間取りと一緒である。但し、カメラを設置する位置が異なっている。
以下、本実施形態に係る映像情報処理装置の構成及び処理について説明する。

（構成３００）
図１６は、映像情報処理装置のソフトウェア構成等を示す図である。なお、本実施形態の映像情報処理装置３００のハードウェア構成は、第一実施形態の映像情報処理装置１００のハードウェア構成と同様である。なお、映像情報処理装置３００は、カメラ３０１及びセンサ３１０をハードウェア構成として有してもよいし、カメラ３０１及びセンサ３１０を映像情報処理装置３００とは別体としてもよい。カメラ３０１及びセンサ３１０を映像情報処理装置３００とは別体とする場合、映像情報処理装置３００は、ネットワーク等を介してカメラ３０１及びセンサ３１０と通信可能に接続されているものとする。
カメラ３０１は、現実空間を撮影する。カメラ３０１は、映像情報処理装置３００と通信可能であれば、天井から吊り下げられてもよいし、床や台やテレビの上に据え置いてもよいし、テレビ等の家電に内蔵させてもよい。以下では、カメラ３０１は、一般家庭のリビングの壁際に観察対象となる人物と同じくらいの目線の高さで設置されるものとして説明する。この場合、カメラ３０１は、図１４に示すようなシーン、即ち、カメラの視野中心にリビングダイニングが映り、左手にバス・トイレへのドア、右手の手前にカウンター、その奥にキッチン、そして玄関に続く廊下が映るシーンを撮影する。
なお、消失中行動推定モデル保持部３０４、登場時行動予測モデル保持部３０７は、より具体的には、記憶装置１１１の所定の領域である。

映像情報処理装置３００は、ソフトウェア構成として、人物抽出部３０２、人物消失エリア判定部３０３、消失中行動推定モデル選択部３０５、消失中行動推定部３０６、登場時行動予測部３０８、情報処理方法変更部３０９を有する。
カメラ３０１の撮影映像は人物抽出部３０２へと出力される。パンチルトやズームといったカメラパラメータは、固定でもよいし可変であってもよい。カメラパラメータが固定な場合は、パラメータは事前に計測され、人物消失エリア判定部３０３が保持しているか、参照可能な状態になっている。カメラパラメータが可変な場合、その可変値はカメラ３０１において計測され、人物消失エリア判定部３０３へと出力される。
人物抽出部３０２は、カメラ３０１から映像を受け取り、この映像中から人物が映っている領域を抽出する処理を行う。処理の詳細は第一実施形態で説明した処理内容と同一であるため、ここでは説明を省略する。

人物消失エリア判定部３０３は、カメラ３０１が撮影する現実空間の、どのエリアで人物が消失したのかを判定する。但し、人物消失エリア判定部３０３は、単にどのエリアで人物が消失したのかを判定するだけでなく、そのエリアが、事前に定義されている「他の空間への移動に伴う消失が起こるエリア」であるか、そうでないエリアであるかを区別して判定する。例えば、図１５に示すような、「バス・トイレへのドアに対応するエリアＬ」、「キッチンに対応するエリアＭ」、「玄関・外出に対応するエリアＮ」が、「他の空間への移動に伴う消失が起こるエリア」である。これに対し図１５に示すように、エリアＭの近くにいた人物がカウンター越しに矢印が指す方向に倒れて映像から抽出されなくなった場合の人物消失エリアとなる「キッチンに対応するエリアＭ」の隣のエリアが人物消失エリアの例である。つまり、「他の空間への移動に伴う消失が起こるエリア」ではない人物消失エリアの例である。なお、部分映像領域と現実空間との対応付けには、カメラ３０１のカメラパラメータが利用される。この対応付け方法は第一実施形態と同様のため、ここでは説明を省略する。なお、予め用意した「エリア」以外でも人物が消失することは起こりうるが、この場合、人物消失エリア判定部３０３は、「事前に定義していないエリア」で消失したと判断する。
人物消失エリアの判定は、まず、人物消失エリア判定部３０３が人物消失エリアの存在を、内部に保持する人物抽出領域情報の受け取り履歴（人物抽出領域情報の受け取った時刻のリスト）を参照して確認する。人物消失エリアの存在が確認できた場合、人物消失エリア判定部３０３は、最後に受け取った人物抽出情報が示す領域が含まれるエリアを、人物消失エリアと判定する。続いて人物消失エリア判定部３０３は、人物消失エリアを判定すると、それが事前に定義されている「他の空間への移動に伴う消失が起こるエリア」であるかどうかを判別する。そして、人物消失エリア判定部３０３は、その判別結果を示す情報とそのエリアを示す情報と人物消失エリアを判定した時刻とを含んだ人物消失エリア情報を、消失中行動推定モデル選択部３０５へと出力する。人物抽出領域情報に抽出された人物の特徴認識結果が含まれる場合、人物消失エリア判定部３０３は、その特徴認識結果を人物消失エリア情報に含めて、人物消失エリア情報を消失中行動推定モデル選択部３０５へと出力する。

消失中行動推定モデル保持部３０４は、エリアごとに用意された行動推定モデルを保持する。このモデルには「他の空間への移動に伴う消失が起こるエリア」である人物消失エリア用のモデルと、「他の空間への移動に伴う消失が起こるエリア」ではない人物消失エリア用のモデルと、がある。更に場合により、消失中行動推定モデル保持部３０４は、「事前に定義していないエリア」用のモデルも保持する。人物抽出部３０２が人物認識機能や服装認識機能等を備え、人物抽出領域情報が抽出された人物の特徴認識結果を含む場合、消失中行動推定モデル保持部３０４は、抽出された人物の特徴認識結果ごとに用意された消失中行動推定モデルを保持する。各消失中行動推定モデルは、行動を推定する時刻、（人物消失エリア情報が含む）人物が消失した時刻、その人物が消失してからの経過時間の長さ、の何れか若しくは全てを変数として持つ。即ち、消失中人物行動推定モデルの例としては、人物の消失時間帯ごとに行動推定結果がリスト化されているものや、人物の消失時刻及び消失からの経過時間の長さによって行動推定結果が変化する関数等である。例えば、「他の空間への移動に伴う消失が起こるエリア」ではない、ある人物消失エリア用のモデルは、消失後１０分以内であれば正常行動を物陰で行っていると推定し、１０分以上の消失が続くと物陰で人物に何らかの異常行動があったと推定する。ここで、正常行動と異常行動との境目を決める時間は個々人で差があるため、その個人差は機械学習等で学習することで適応的に変更することができる。例えば、映像情報処理装置３００は、頻繁に物陰で１０分以上消失することの多い人物の場合、１０分以上経過しても特に異常が無いと判断し、テーブルの情報を書き換えて学習を行う。消失中行動推定モデル保持部３０４に保持された行動推定モデルは、次に述べる消失中行動推定モデル選択部３０５によって取得される。

消失中行動推定モデル選択部３０５は、人物消失エリア判定部３０３より人物消失エリア情報を受け取ると、受け取った情報に示される人物消失エリア用の行動推定モデルを消失中行動推定モデル保持部３０４から取得する。そして、消失中行動推定モデル選択部３０５は、取得した行動推定モデルを消失中行動推定部３０６へと出力する。
消失中行動推定部３０６は、消失中行動推定モデル選択部３０５より消失中行動推定モデルを受け取ると、それを利用してカメラ３０１が撮影している映像中から人物が消失している間の行動を推定する。ここで、受け取った消失中行動推定モデルの中身に基づき、消失中行動推定部３０６は、必要であればセンサ３１０よりセンサ出力を得る。例えば、図１５に示すように人物が「他の空間への移動に伴う消失が起こるエリア」ではない、ある人物消失エリアで消失した際に、センサ３１０が「ドン」という大きな音を計測した場合は、消失中行動推定部３０６は、以下のように推定する。つまり、消失中行動推定部３０６は、消失してからの時間が経過せずとも物陰で人物が何らかの異常行動を起こしたと推定する。消失中行動推定部３０６は、このような推定を、人物の消失が判定された後、その人物が再び映像から抽出されるまで逐次行い、消失中行動推定結果を登場時行動予測部３０８へと出力する。

登場時行動予測モデル保持部３０７には、消失中行動推定部３０６から得られる消失中行動推定結果ごとに、再度、人物が登場する時の登場時行動予測モデルが保持されている。
登場時行動予測部３０８は、消失中行動推定部３０６から消失中行動推定結果を受け取ると、受け取った情報に示される消失中行動推定結果用の登場時行動予測モデルを登場時行動予測モデル保持部３０７から取得し、これに基づき登場時の行動を予測する。そして、登場時行動予測部３０８は、登場時行動予測結果を、情報処理方法変更部３０９へと出力する。
情報処理方法変更部３０９は、登場時行動予測部３０８から登場時行動の予測結果を受け取ると、第一実施形態と同様に予測結果に合わせ、必要に応じて情報処理方法を変更する。例えば、空間の移動ではなく物陰に隠れた場合の消失については、再び映像に登場するときに見た目はあまり変わらないが登場する場所は消失する場所と異なるケースが多い。したがって、情報処理方法変更部３０９は、消失前の行動（例えば移動方向）等に基づいて、登場する場所を事前に予測し、その場所が映る映像を重点的に処理することで登場時行動の認識精度を上げる等の情報処理方法の変更を行う。

映像情報処理装置３００は、登場時行動の予測結果を、データとして記録して、ディスプレイ装置で提示してもよい。例えば、映像情報処理装置３００は、登場時行動予測結果とその予測が行われた時刻を組にしたデータを記憶媒体に記録し、そのデータを時系列順に並べたリストを画面等に提示する。なお、提示の方法等は、この方法に限らない。登場時行動予測データは、それが居住者や別居の家族や居住者のケアを行っている医療従事者や介護従事者等に提示され、それを見た人の行動プランの判断材料となる。また、登場時行動予測データを、家事手伝いロボットのような自律制御機器が人物消失中に行う制御処理の内容のプランニングに利用するようにしてもよい。
以上のように、人物消失中の行動を推定し、それに基づいて再度、人物が登場するときの行動を予測して情報処理方法を変更することで、例えば人物検出のための初期値を最適化することができる。
以上が、本実施形態にかかる映像情報処理装置３００に関する構成部分である。

（処理）
続いて、図１７に示したフローチャートを用いて、本実施形態の映像情報処理装置３００が行う処理について説明する。
処理が開始されると、まずステップＳ１０２において、カメラ３０１は、現実空間の撮影を行う。それ以降のステップＳ２０２からステップＳ４０２までの処理は、第一実施形態と同様であるため、ここでは処理の説明を省略する。
ステップＳ５０２において、消失中行動推定部３０６は、消失中行動推定モデル選択部３０５から受け取った消失中行動推定モデルに基づいて、カメラ３０１の撮影映像中から消失した人物の、消失中の行動推定を行う。この消失中行動推定方法は、行動を推定する時刻ならびに人物消失エリア情報が含む人物消失時刻、ならびにセンサ３１０のセンサ出力を用いて行われ、その実現方法はなんでもよい。以下、消失中行動推定部３０６における推定の例を示す。
消失中行動推定部３０６は、以下に示すような場合、第一実施形態及び第二実施形態と同様の処理に基づいて処理を行う。つまり、例えば、図１５に示すような「バス・トイレへのドアに対応するエリアＬ」、「キッチンに対応するエリアＭ」、「玄関・外出に対応するエリアＮ」が対応付けられていた場合で、かつ、それらのエリアから人物が消失した場合である。一方、図１５に示すようにカウンターの後ろ（エリアＬ〜Ｎ以外の領域）で急に人物が消失した場合で、そのカウンターの後ろ側に何か日用品を保管していた場合、消失中行動推定部３０６は、「日用品を取るために人物が消失した」と推定する。このとき、センサ３１０が不自然な物音を同時に記録していた場合、消失中行動推定部３０６は、その人物が何らかの異常行動を起こしたと推定する。
こうして消失した人物の消失中の行動を推定すると、消失中行動推定部３０６は、その消失時行動推定結果を登場時行動予測部３０８へと送り、処理をステップＳ６０２へと進める。

ステップＳ６０２において、登場時行動予測部３０８は、消失中行動推定部３０６から受け取った情報（消失した人物の消失中の行動推定結果）を取得し、登場時行動予測モデル保持部３０７のモデルを参照する。そして、登場時行動予測部３０８は、再び人物がカメラ３０１で撮影映像に再登場するときの行動を予測する。この行動予測方法は、消失中行動推定結果を用いて行われ、その実現方法はなんでもよい。以下、登場時行動予測部３０８における予測の例を示す。
例えば、図１５に示すようにカウンターの後ろ（エリアＬ〜Ｎ以外の領域）で急に人物が消失した場合で、何らかの異常音等が確認されない場合、消失中行動推定部３０６は、「日用品を取るために人物が消失した」と推定する。そして、登場時行動予測部３０８は、「数秒後又は数分後にはカウンター付近から人物が登場する」と予測する。また、何らかの異常音が確認された場合、登場時行動予測部３０８は、「（転倒等の異常行動の発生により）このままでは人物は再登場しない」と予測する。その後、登場時行動予測部３０８は、その行動予測結果を情報処理方法変更部３０９へと送り、処理をステップＳ７０２へと進める。

ステップＳ７０２において、情報処理方法変更部３０９は、登場時行動予測部３０８から受け取った予測結果に基づいて、人物抽出部３０２の人物抽出方法ならびに抽出に用いるパラメータ、若しくはカメラ３０１に適応するカメラパラメータを変更する。
先の例でも挙げた通り、登場時行動予測結果に基づく情報処理方法の変更は、人物抽出方法の変更に限らない。例えば、要介護者が人物消失エリア以外で一定時間出てこない場合、若しくはカメラ以外のセンサによって、何らかの異常が発生したと予測できる場合、その異常に対応すべく、情報処理方法変更部３０９は、処理内容を変更してもよい。即ち、出力装置がディスプレイであった場合、情報処理方法変更部３０９は、異常がある旨をディスプレイに警告表示したり、音で提示したりする。また、情報処理方法変更部３０９は、自律移動型ロボットに、消失したと思われる地点に移動し人物を発見するといった行動をとらせるよう制御する。また、予測の結果、特に処理内容を変更する必要がない場合、情報処理方法変更部３０９は、現在進行中の処理を継続して行わせる。
このようにして、消失した人物が再度、登場する際の行動予測に基づいて情報処理方法を変更すると、情報処理方法変更部３０９は、人物抽出部３０２にその結果を反映し、処理をステップＳ８０２へと進める。

ステップＳ８０２において、ステップＳ１０２と同様に、カメラ３０１は、現実空間の撮影を行う。引き続いて、その撮影映像がカメラ３０１から人物抽出部３０２に送られ、人物抽出部３０２は、映像中から人物が映っている領域を抽出する処理を行う。このとき、ステップＳ６０２で、消失した人物が何秒後又は何分後に再登場するかを予測しているため、ステップＳ８０２において、人物抽出部３０２は、その予測された時間に達するまでは、撮影・人物抽出の処理を継続して行う。そして、この処理によって予測時間を過ぎても人物が映る領域が検出されない場合、人物抽出部３０２は、処理をステップＳ５０２へと進める。そして、消失中行動推定部３０６が、既に保持している消失中行動推定モデルに基づいて、消失した人物の消失後の行動を推定する。人物が映る領域が抽出された場合、人物抽出部３０２は、その抽出領域の情報を人物抽出領域情報として人物消失エリア判定部３０３に出力する。但し、人物抽出部３０２が人物認識機能を備え、抽出された人物識別が可能な場合、人物抽出部３０２は、以下の場合にのみ、その検出領域の情報及び抽出された人物の特徴認識結果を、人物抽出領域情報として人物消失エリア判定部３０３に出力する。つまり、人物抽出部３０２は、ステップＳ１０２にて抽出された人物と同一人物が抽出された場合に限り、その検出領域の情報及び抽出された人物の特徴認識結果を、人物抽出領域情報として人物消失エリア判定部３０３に出力する。そうでない場合、人物抽出部３０２は、ステップＳ５０２へと処理を進める（同一人物でなかった場合、抽出された人物に関する処理は、別途行われる。）。人物抽出領域情報を受け取った人物消失エリア判定部３０３は、その時刻に人物抽出部３０２から人物抽出領域情報を受け取ったという情報を内部に記録する。そして人物消失エリア判定部３０３は、処理をステップＳ１０２へと進める。なお、ステップＳ８０２では、例えば、人物抽出部３０２は、人物が再度、登場するまでの時間を過去のデータを基に予測し、その予測結果が実際の人物の行動によってどの程度差異があったかを記録する。そして、人物抽出部３０２は、登場時行動予測モデル保持部３０７に記憶されている登場時行動予測モデル又は、それを計算するためのテーブル情報を更新してもよい。

以上の処理によって、映像情報処理装置３００は、カメラとそばにあるセンサにより、「他の空間への移動に伴う消失が起こるエリア」以外で人物が消失した場合にも、その人物の消失中行動を推定する。そして、映像情報処理装置３００は、その推定した内容に基づいた登場時行動予測を行うことで、情報処理方法の自律変更を実現する。なお、本実施形態ではカメラとセンサを１台ずつの構成を例にしているが、カメラの台数はこれに制限されるものではない。また、本実施形態ではセンサとしてマイクと家電のＯＮを検知するセンサを例にしているが、センサの種類等はこれに制限されるものではない。
また、以上の実施形態で述べた、消失中行動推定に用いる人物消失エリア、消失中行動推定時刻、人物消失時刻、人物消失時刻からの経過時間等の閾値パラメータは、使用者の行動や室内の構造・配置に応じて、使用者が自由に設定してよい。又は、上記映像情報処理装置を設置した際に、上述の消失中行動推定結果の記録と実際の行動との差異から上記パラメータを最適化する初期化操作を行ってもよい。また使用者の年齢変化に応じて、上記パラメータを自動的に変化させたり行動変化の結果を用いて自動学習させたりしてもよい。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

以上、上述した各実施形態によれば、記録できた「ある行動」に関する情報と、その「ある行動」の発現後に得られる情報と、を利用して、再び記録が可能になる「次の行動」を予測することができる。「次の行動」を予測可能にすることによって、部分的に欠損し細かく分断された行動記録しかできない環境下において、行動記録の非連続性に起因する情報処理の破綻を解決することできる。

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１１０ ＣＰＵ、１１１ 記憶装置、１１２ 通信装置

Claims (11)

1. 撮影手段で撮影された映像から消失した人物の消失中の行動を推定する消失中行動推定手段と、
   前記消失中行動推定手段で推定された消失中行動に対応する登場時行動予測モデルを、消失中行動ごとの複数の登場時行動予測モデルを保持する登場時行動予測モデル保持手段より取得する取得手段と、
   前記取得手段で取得した登場時行動予測モデルに基づき前記映像から消失した人物が再び映像中に登場するときの行動を予測する登場時行動予測手段と、
   を有する情報処理装置。
2. 撮影手段で撮影された映像から人物領域を抽出する人物抽出手段と、
   前記人物抽出手段で抽出された人物領域に基づき前記映像から人物が消失したエリアを判定する人物消失エリア判定手段と、
   を更に有し、
   前記消失中行動推定手段は、前記人物消失エリア判定手段で判定されたエリアに対応する消失中行動推定モデルを、エリアごとの複数の消失中行動推定モデルを保持する消失中行動推定モデル保持手段より取得し、取得した消失中行動推定モデルに基づき映像から消失した人物の消失中の行動を推定する請求項１記載の情報処理装置。
3. 前記人物消失エリア判定手段は、前記人物抽出手段で抽出された人物領域に基づき前記映像から人物が消失したエリアが事前に定義された他の空間への移動に伴う消失が起こるエリアであるか否かを判定する請求項２記載の情報処理装置。
4. 前記登場時行動予測手段で予測された行動に基づき、実行すべき処理を変更する変更手段を更に有する請求項２記載の情報処理装置。
5. 前記変更手段は、前記登場時行動予測手段で予測された行動に基づき、前記人物抽出手段での人物抽出処理を変更する請求項４記載の情報処理装置。
6. 前記変更手段は、前記登場時行動予測手段で予測された行動に基づき、自律制御機器の制御処理の内容を変更する請求項４記載の情報処理装置。
7. 前記消失中行動推定モデルは、前記人物の消失が起こった時刻に基づいて消失中行動推定結果を推定するモデルである請求項２乃至６何れか１項記載の情報処理装置。
8. 前記人物抽出手段は、撮影手段で撮影された映像から人物領域を抽出し、抽出した人物領域の人物の特徴を認識し、
   前記消失中行動推定モデルは、前記人物抽出手段で認識された人物の特徴に基づいて、消失中行動推定結果を推定するモデルである請求項２乃至６何れか１項記載の情報処理装置。
9. 現象を計測又は検知するセンサを更に有し、
   前記消失中行動推定モデルは、人物の消失中に得られる前記センサの出力に基づいて消失中行動推定結果を推定するモデルである請求項２乃至６何れか１項記載の情報処理装置。
10. 情報処理装置が実行する情報処理方法であって、
    撮影手段で撮影された映像から消失した人物の消失中の行動を推定する消失中行動推定ステップと、
    前記消失中行動推定ステップで推定された消失中行動に対応する登場時行動予測モデルを、消失中行動ごとの複数の登場時行動予測モデルを保持する登場時行動予測モデル保持手段より取得する取得ステップと、
    前記取得ステップで取得した登場時行動予測モデルに基づき前記映像から消失した人物が再び映像中に登場するときの行動を予測する登場時行動予測ステップと、
    を含む情報処理方法。
11. コンピュータを、
    撮影手段で撮影された映像から消失した人物の消失中の行動を推定する消失中行動推定手段と、
    前記消失中行動推定手段で推定された消失中行動に対応する登場時行動予測モデルを、消失中行動ごとの複数の登場時行動予測モデルを保持する登場時行動予測モデル保持手段より取得する取得手段と、
    前記取得手段で取得した登場時行動予測モデルに基づき前記映像から消失した人物が再び映像中に登場するときの行動を予測する登場時行動予測手段と、
    して機能させるプログラム。

Images