JP6277602B2 - 監視装置、プログラムおよび方法 - Google Patents

Description

本発明は、複数の画像の中の画像の選択に関する。

監視のためにカメラで撮像されて記録された一連の画像の中から、後で任意のまたは特定の人物の確認または識別に適した画像を、人が選択し抽出することがある。その人物の確認または識別は、人によってまたは認識装置によって行われることがある。

既知の画像抽出装置では、一次特徴抽出手段が、入力画像の動きベクトルを抽出し、特徴均質度評価手段および領域分割手段が、動きベクトルの大きさと方向の分布を評価値とし、評価値が所定範囲内にある領域を分割する。領域成長手段によって、分割領域から二次特徴として指定された色の領域が抽出され、その領域が連結して表示手段に表示される。分割画像手段が、その分割領域をラベル画像として表示させる。それによって、表示画像上でマウス等によりラベル画像に基づいて所望の領域の位置を大まかに指定するだけで対象物を簡単に自動的に切り出すことができる。

特開平９−１８５７２０号公報

監視カメラで撮影された一連のフレーム画像の全てにおいて人物の特徴が識別される場合には、そのための処理負荷または作業が過大になる。一方、一連のフレーム画像の中から、人物識別の対象とされるフレーム画像が或る時間間隔で取り出される場合、人物の映像を含むフレーム画像の数が限られて、人物を捕捉し損なうことがある。

フレーム画像において監視対象となる人物は様々な位置に出現する。既知の画像抽出装置では、例えば画像における人物の顔について、処理される画像領域を決めて、その特徴が抽出される。フレーム画像において特徴毎に抽出される領域を決定する作業は煩雑でコストが高い。

発明者たちは、一連のフレーム画像中に出現する人物の大きさと移動方向の間には相関性がある、と認識した。発明者たちは、そのような相関性に基づいて、識別される特徴毎に、フレーム画像における人物の位置を自動的に決定すれば、人物を捕捉し損なうことがない、と認識した。

１つの観点では、本発明の目的は、複数の画像から監視または識別に適した画像を選択できるようにすることである。

実施形態の一観点によれば、撮影されたフレーム画像における、少なくとも１つの移動体の画像を含む一連のフレーム画像を決定する移動体検出部と、その一連のフレーム画像におけるその１つの移動体の移動方向が或る方向であり、かつその１つの移動体のサイズの増加傾向に変化がある場合に、その１つの移動体のサイズの増加傾向と非増加傾向との間の境界の前と後のフレーム画像の少なくとも一方のフレーム画像を、その１つの移動体の身体的特徴または顔特徴を識別するためのフレーム画像として決定して記憶部に格納する適切画像選択部と、を含む監視装置であって、その適切画像選択部は、或る方向が、角を含む経路を表す場合に、境界の直前のフレーム画像を、１つの移動体の身体的特徴および顔特徴を識別するためのフレーム画像として決定し、或る方向が、角を含まない経路を表す場合に、境界の直前のフレーム画像を１つの移動体の身体的特徴を識別するためのフレーム画像として、および境界の後のフレーム画像を１つの移動体の顔特徴を識別するためのフレーム画像として決定するものである、監視装置が提供される。

実施形態の一観点によれば、複数の画像から監視または識別に適した画像を選択することができる。

図１は、実施形態による、監視システムに用いられる情報処理装置の概略的な構成（configuration）の例を示している。 図２は、情報処理装置のプロセッサの概略的な構成（configuration）の例を示している。 図３は、カメラから見てその視野における右上側の奥から左下側の手前の方向に移動する移動体識別情報が付与された移動体または人を監視する、通路の側部におけるカメラの配置の例を示している。 図４は、カメラによって撮影された、移動体識別情報が付与された人の映像を含むフレーム画像の例を示している。 図５は、カメラによって撮影された一連の複数のフレーム画像に出現する、同じ背景上で移動体識別情報が付与された人を表す長方形の移動とサイズの変化の例を示している。 図６は、図５の人を表す長方形の中心位置の移動方向に沿った移動距離に対する人を表す長方形のサイズの変化の例を示している。 図７は、カメラから見てその視野における上側の奥から下側の手前の方向に移動する移動体識別情報が付与された人を監視する、通路の天井におけるカメラの配置の例を示している。 図８は、カメラによって撮影された、移動体識別情報が付与された人の映像を含むフレーム画像の例を示している。 図９は、カメラによって撮影された一連の複数のフレーム画像に出現する、同じ背景上で移動体識別情報が付与された人を表す長方形の移動とサイズの変化の例を示している。 図１０は、図９の人を表す長方形の中心位置の移動方向に沿った移動距離に対する人を表す長方形のサイズの変化の例を示している。 図１１は、カメラから見てその視野における右上側の奥から前方へ移動し途中で左へ曲がって左側の方向に移動する移動体識別情報が付与された人を監視する、通路の天井におけるカメラの配置の例を示している。 図１２は、カメラによって撮影された、移動体識別情報が付与された人の映像を含むフレーム画像の例を示している。 図１３は、カメラによって撮影された一連の複数のフレーム画像に出現する、同じ背景上で移動体識別情報が付与された人を表す長方形の移動とサイズの変化の例を示している。 図１４は、図１３の人を表す長方形の中心位置の移動方向に沿った移動距離に対する人を表す長方形のサイズの変化の例を示している。 図１５は、一連のフレーム画像における複数の移動体識別情報の人の位置およびサイズ（高さ）の表の例を示している。 図１６は、図１５の隣接する２つのフレーム画像の間の複数の移動体識別情報の人の位置およびサイズ（高さ）の差分の表の例を示している。 図１７Ａおよび１７Ｂは、情報処理装置によって実行される、長時間にわたって連続的に撮影されたフレーム画像の中から、位置およびサイズに関して有意な差異を有する一連のフレーム画像を選択するための予備処理のためのフローチャートの例を示している。 (図17Aで説明) 図１８は、情報処理装置によって実行される、一連のフレーム画像の中から、特定の移動体識別情報について人の身体的特徴および顔特徴を識別するのに適した２つまたは１つのフレーム画像を選択するためのフローチャートの例を示している。 図１９は、情報処理装置によって実行される、一連のフレーム画像において、移動体または人の身体的特徴および顔特徴を識別するのに適した特徴領域を割り当ておよび抽出するためのフローチャートの例を示している。 図２０は、情報処理装置によって実行される、一連のフレーム画像の中から、身体的特徴および顔特徴を識別するのに適した、特徴識別用のまたは特徴抽出用の長方形の位置を決定するためのフローチャートの例を示している。 図２１は、情報処理装置によって実行される、フレーム画像において身体的特徴および顔特徴を識別するのに適した特徴領域を割り当てるためのフローチャートの例を示している。 図２２Ａは、特徴識別用または特徴抽出用の長方形の中心位置の例を示している。図２２Ｂは、多数の移動体識別情報について蓄積された多数の中心位置の例を示している。図２２Ｃは、蓄積された多数の中心位置に基づいて割り当てられた特徴領域の例を示している。 図２３は、情報処理装置によって実行される、一連のフレーム画像の中から、身体的特徴および顔特徴を識別するための長方形の中心位置が特徴領域の範囲にあるフレーム画像を決定するためのフローチャートの例を示している。 図２４は、処理の対象から除外され得る人を表す長方形の配置および形状を含むフレーム画像の例を示している。

発明の目的および利点は、請求の範囲に具体的に記載された構成要素および組み合わせによって実現され達成される。
前述の一般的な説明および以下の詳細な説明は、典型例および説明のためのものであって、本発明を限定するためのものではない、と理解される。

本発明の非限定的な実施形態を、図面を参照して説明する。図面において、同様のコンポーネントおよび要素には同じ参照番号が付されている。

監視用のカメラで撮影された一連のフレーム画像の全てにおいて人物の領域を画像認識して複数の特徴情報が抽出される場合、そのための処理負荷が過大になる。一方、その各フレーム画像における人物の領域を画像認識して複数の特徴を抽出する処理を簡略化すると、抽出された特徴情報の精度が低くなることある。また、一連のフレーム画像が間引きされて、その中から、処理対象とされるフレーム画像が或る時間間隔で取り出されることもある。この場合、人物の映像を含むフレーム画像の数が少なくなるので、人物を捕捉し損なうことがある。

フレーム画像において監視対象となる人物は様々な位置に出現する。フレーム画像において特徴が抽出される領域を決定するには、監視システム導入の際に、実際に撮影されたフレーム画像を分析して、フレーム画像のどの領域でどの特徴を抽出すれば人物の特徴抽出の精度が高くなるかを、試行錯誤で決定し、特徴毎に抽出領域を決定し調整することが望ましい。また、複数のカメラで監視が行われる場合、その全てのカメラに対して、個々に特徴毎の抽出領域が設定されることが望ましい。しかし、そのための作業は煩雑でコストが高い。

発明者たちは、一連のフレーム画像中に出現する或る人物の領域の大きさは、人物の移動方向に対して或る変化形態を示す、と認識した。発明者たちは、そのような変化形態に基づいて、抽出される特徴毎に、フレーム画像における人物領域の特徴抽出に適した位置を自動的に決定すれば、人物を捕捉し損なうことがなく、人物の特徴抽出のための処理負荷を低減することができる、と認識した。

実施形態の目的は、一連のフレーム画像から監視対象の識別または認識に適したフレーム画像を選択できるようにすることである。

実施形態の別の目的は、フレーム画像における監視対象の識別または認識に適した監視対象の位置を自動的に決定できるようにすることである。

図１は、実施形態による、監視システムに用いられる情報処理装置１００の概略的な構成（configuration）の例を示している。

情報処理装置１００は、プロセッサ１１２、メモリ１１４、入出力インタフェース（Ｉ／Ｏ）１１６、内部バス、等を含む例えばパーソナル・コンピュータのようなコンピュータまたは監視装置であってもよい。プロセッサ１１２は、コンピュータ用のＣＰＵ（Central Processing Unit）であってもよい。プロセッサ１１２およびメモリ１１４は、入出力インタフェース１１６に結合されている。メモリ１１４には、例えば、主記憶装置および半導体メモリ等が含まれる。情報処理装置１００は、さらに、入出力インタフェース（Ｉ／Ｏ）１１６に結合された、入力部１２２、表示部１２４、記録媒体読み取り用のドライブ１２８、および記憶部１３０を含んでいる。入力部１２２は、例えばキーボード、マウスまたはタッチパッドのようなポインティング・デバイス、およびタッチパネルを含んでいてもよい。ドライブ１２８は、例えば光ディスクのような記録媒体１２９を読み取るために設けられている。記憶部１３０は、ハードディスク・ドライブ（ＨＤＤ）および／またはフラッシュメモリ・ドライブ（ＳＳＤ：Solid State Drive）であってもよい。情報処理装置１００は、さらに、入出力インタフェース（Ｉ／Ｏ）１１６に結合された、ＵＳＢインタフェース（ＵＳＢ Ｉ／Ｆ）１４２、およびネットワーク・インタフェース（ＮＷ Ｉ／Ｆ）１４４を含んでいる。情報処理装置１００において、ＵＳＢインタフェース１４２および／またはネットワーク・インタフェース１４４は、少なくともカメラ２０２〜２０６からの画像信号を入力する入力部としても機能してもよい。

情報処理装置１００において、入力部１２２、表示部１２４、およびドライブ１２８は、情報処理装置１００の外部にあって、外部要素として情報処理装置１００に結合されてもよい。

プロセッサ１１２は、操作監視機能を含む例えば集積回路として実装された専用のプロセッサであってもよい。また、プロセッサ１１２は、メモリ１１４および／または記憶部１３０に格納された画像処理機能を有するアプリケーション・プログラムに従って動作するものであってもよい。アプリケーション・プログラムは、記録媒体１２９に格納されていて、ドライブ１２８によって記録媒体１２９から読み出されて情報処理装置１００にインストールされてもよい。

カメラ２０２〜２０６は、ＵＳＢケーブルによって、ＵＳＢインタフェース１４２および任意にＵＳＢハブ１４６を介して情報処理装置１００に結合される。情報処理装置１００は、ネットワーク・インタフェース１４４を介し、さらに外部ネットワーク５を介して、監視センタに設置された監視センタ装置（図示せず）に接続されてもよい。

図２は、情報処理装置１００のプロセッサ１１２の概略的な構成（configuration）の例を示している。

プロセッサ１１２は、例えば、制御部１１２０、画像取得部１１２２、移動体検出部１１２４、移動体変化検出部１１２８、適切画像選択部１１３０、特徴領域割当部１１３２、特徴抽出処理部１１３６、およびその他の処理部１１３８を含んでいてもよい。制御部１１２０は、画像取得部１１２２、移動体検出部１１２４、移動体変化検出部１１２８、適切画像選択部１１３０、特徴領域割当部１１３２、特徴抽出処理部１１３６および処理部１１３８に制御信号を供給して、これらの要素の動作を制御してもよい。

映像取得部１１２２は、カメラ２０２〜２０６で撮影されて記憶部１３０に格納された一連のフレーム画像のデータを取り出して、移動体検出部１１２４に供給する。

移動体検出部１１２４は、フレーム画像のデータから移動体を検出して追跡する。移動体検出部１１２４は、例えば、移動体に対応する複数種類のテンプレート・マッチングを行い、フレーム画像から移動体を抽出し、抽出した移動体の追跡を行う。移動体の検出には、その他の既知の技術を用いてもよい。例えば、予め用意された背景画像と現在のフレーム画像との間の差分を移動体として抽出し、この差分領域の重なりに基づいてその移動体を追跡してもよい。

移動体の位置およびサイズまたは大きさが、移動体の輪郭の外接長方形の中心および高さで表される。代替形態として、移動体の位置は、移動体の輪郭の外接長方形の特定位置（例えば、右上）の頂点で表されてもよい。また、移動体のサイズは、移動体の輪郭の外接長方形の高さと幅の積（面積）または高さと幅の和で表されてもよい。

移動体検出部１１２４は、フレーム画像における移動体の外接長方形の領域を切り出し、例えば図１５のような、各移動体の位置およびサイズを決定して、移動体の識別情報と共に移動体変化検出部１１２８に供給する。

移動体変化検出部１１２８は、例えば図１５のような移動体の位置およびサイズ（高さ）に基づいて、例えば図１６のような隣接フレーム間での移動体の位置およびサイズの差分を生成する。

適切画像選択部１１３０は、フレーム画像における移動体領域の位置に基づいて、特徴抽出に適したフレーム画像であるかどうかを判定し、特徴抽出に適したフレーム画像とその移動体領域に関する情報を特徴抽出処理部１１３６に供給する。適切画像選択部１１３０は、各移動体が、対象経路として規定された移動方向に沿って移動しているかどうかを判定する。規定の移動方向は、経路形状により予め与えることも可能である。規定の移動方向は、例えば、人の顔が映るように配置されたカメラでは、フレーム画像の奥から手前の方向であってもよい。例えば、その規定の移動方向と逆方向に後ろ向きで移動する移動体または人は、そのカメラの監視対象としなくてもよい。また、対象経路として規定する移動方向は、一連のフレーム画像における多数の人の移動方向の統計的な平均であっても、または一連の画像フレームにおける各人が最後の方で現れる画像フレームから遡って直近の数フレームにおける各人の移動方向の統計的な平均であってもよい。適切画像選択部１１３０は、人の移動方向が、規定の移動方向である場合、人のサイズの増加傾向が減少または非増加へと変化する境界Ｂを求める。適切画像選択部１１３０は、その境界Ｂの前後の２つのフレーム画像を、それぞれの異なる特徴を抽出するのに適したフレーム画像であるとしてもよい。規定の経路が角を曲がる形態のものであれば、その境界Ｂの前のフレーム画像が、人の全体的特徴と顔特徴の両特徴を抽出するのに用いられてもよい。一方、規定の経路が直線的な経路であれば、その境界Ｂの前のフレーム画像が人の全体的特徴の抽出に用いられ、その境界Ｂの後のフレーム画像が人の顔特徴を抽出するのに用いられてもよい。

特徴抽出処理部１１３６は、移動適切画像選択部１１３０の判定に従って、人の領域の画像を認識して、それぞれの特徴を抽出する。或る移動体識別情報または人識別情報の人の特徴が抽出される場合、特徴抽出処理部１１３６は、特徴の抽出に適したフレーム画像に関する情報に基づいて、そのフレーム画像を記憶部１３０から読み込んで、そのフレーム画像において位置およびサイズで表される人の領域に対して画像認識を行ってその特徴を抽出する。

人の全体的特徴には、例えば、身長、歩容特徴、服の色、等がある。特徴抽出処理部１１３６は、既知の技術を用いて、身長について、例えば、その位置とサイズに基づいて、グラフ・カット等のセグメンテーションによって画像中でのサイズを抽出し、カメラ校正情報を用いて身長に換算してもよい。特徴抽出処理部１１３６は、服の色について、例えば、セグメンテーション領域内のＲＧＢ（赤、緑、青）情報に基づいて認識および色を抽出してもよく、上半身と下半身に領域を分けて認識および色を抽出してもよい。顔検出処理として、例えばブースティング（Boosting）が用いられて、顔画像が切り出されてもよい。

特徴領域割当部１１３２は、フレーム画像における特徴抽出に適した人領域の位置に関するデータが充分に蓄積したとき、フレーム画像においてそれぞれの特徴抽出に適したその人領域の位置の領域を割り当ててもよい。その割当領域は、長方形またはその他の任意の形状であってもよい。特徴領域割当部１１３２は、抽出したい特徴の集合ごとに、その特徴を抽出するのに適した位置の領域を決定する。その後、特徴抽出処理部１１３６は、割り当てられた領域内に人領域の位置が来るフレーム画像のその人領域に対して、人領域に対して画像認識を行って特徴を抽出する。

図３は、カメラ２０２から見てその視野における右上側の奥から左下側の手前の方向に移動する移動体識別情報ＩＤ＝ｊが付与された移動体または人を監視する、通路の側部におけるカメラ２０２の配置の例を示している。移動体識別情報ＩＤは、フレーム画像に出現する移動体または人を識別するために付与される任意の順序番号であってもよい。

図４は、カメラ２０２によって撮影された、移動体識別情報ＩＤ＝ｊが付与された人の映像を含むフレーム画像ＦＮ＝ｉの例を示している（ｉ＝１〜Ｎ）。この場合、カメラ２０４は、概して人を前方斜め右横から見下ろす視野を有する。

図４において、フレーム画像ＦＮ＝ｉにおける中央の縦長の長方形状の領域の枠は、移動体識別情報ＩＤ＝ｊが付与された人の輪郭を含むまたは人の輪郭に外接する長方形であり、高さおよび幅のサイズを有し、中心位置×を有する。フレーム画像ＦＮ＝ｉには、例えば移動体識別情報ＩＤ＝ｊ−１およびｊ＋１等が付与された他の人の映像が含まれていてもよい。

図５は、カメラ２０２によって撮影された一連の複数のフレーム画像ＦＮ＝１〜Ｎに出現する、同じ背景上で移動体識別情報ＩＤ＝ｊが付与された人を表す長方形の移動とサイズの変化の例を示している。フレーム番号ＦＮ＝１〜Ｎは、最新のフレーム画像から最も古いフレーム画像までに対して、現在から過去へ遡る順序で付与される。この場合、通路に沿って人を表す長方形の中心位置が右上側の奥から左下側の手前へと概ね直線的に移動し、その長方形のサイズがその移動とともに徐々に拡大し、途中で或る位置または時点を境界Ｂにして徐々に縮小する。

但し、人物として画像認識または特徴抽出が困難な長方形またはそのような長方形のみを含むフレーム画像は、処理の対象から除外されてもよい。そのような長方形は、例えば、フレーム画像の上下左右の辺に接していて、横幅より小さい高さを有する長方形、高さ対幅の比が人物を表し得る或る閾値より大きいまたは或る閾値より小さい長方形、およびピクセル数で或る閾値のより小さい高さもしくは幅または面積を有するものである。図２４は、処理の対象から除外され得る人を表す長方形の配置および形状を含むフレーム画像ＦＮ＝０１、０２、０３、および（Ｎ＋１）の例を示している。

図６は、図５の人を表す長方形の中心位置の移動方向に沿った移動距離に対する人を表す長方形のサイズの変化の例を示している。この場合、人を表す長方形のサイズは高さである。

図６において、移動とともに、最初のフレーム画像ＦＮ＝Ｎから途中のフレーム画像ＦＮ＝３までに、移動体識別情報ＩＤ＝ｊの人を表す長方形のサイズが徐々に増大する。その後、或る位置または時点を境界Ｂにして、フレーム画像ＦＮ＝３から最新または最後のフレーム画像ＦＮ＝１までの間に、移動体識別情報ＩＤ＝ｊの人を表す長方形のサイズが徐々に減少する。

この場合、移動体識別情報ＩＤ＝ｊの人を表す長方形の高さが最大であるフレーム画像ＦＮ＝３は、その境界Ｂの直前に位置し、人の全身の映像が最大の高さおよび幅を有し最大の解像度を有するので、移動体識別情報ＩＤ＝ｊの人の全身的特徴を識別または抽出するのに適している。また、移動体識別情報ＩＤ＝ｊの人の顔領域が最大であるフレーム画像ＦＮ＝１は、人の顔部分の映像が最大の高さおよび幅を有し最大の解像度を有するので、移動体識別情報ＩＤ＝ｊの人の顔の特徴を識別または抽出するのに適している。従って、移動体識別情報ＩＤ＝ｊの人の全身的特徴および顔特徴の識別に適したものとして、この場合、Ｎ個のフレーム画像の中から２つのフレーム画像ＦＮ＝３および１だけが選択される。

図７は、カメラ２０４から見てその視野における上側の奥から下側の手前の方向に移動する移動体識別情報ＩＤ＝ｊが付与された人を監視する、通路の天井におけるカメラ２０４の配置の例を示している。

図８は、カメラ２０４によって撮影された、移動体識別情報ＩＤ＝ｊが付与された人の映像を含むフレーム画像ＦＮ＝ｉの例を示している（ｉ＝１〜Ｎ）。この場合、カメラ２０４は、概して人を前方斜め上から見下ろす視野を有する。

図９は、カメラ２０４によって撮影された一連の複数のフレーム画像ＦＮ＝１〜Ｎに出現する、同じ背景上で移動体識別情報ＩＤ＝ｊが付与された人を表す長方形の移動とサイズの変化の例を示している。この場合、通路に沿って人を表す長方形の位置が中上側の奥から中下側の手前へと概ね直線的に移動し、その長方形のサイズがその移動とともに徐々に拡大し、途中で或る位置または時点を境界Ｂにして途中で徐々に縮小する。但し、例えば図２４に示されているような人物として画像認識または特徴抽出が困難な長方形またはそのような長方形のみを含むフレーム画像は、除外されてもよい。

図１０は、図９の人を表す長方形の中心位置の移動方向に沿った移動距離に対する人を表す長方形のサイズの変化の例を示している。この場合、人を表す長方形のサイズは高さである。

図１０において、移動とともに、最初のフレーム画像ＦＮ＝Ｎから途中のフレーム画像ＦＮ＝３までに、移動体識別情報ＩＤ＝ｊの人を表す長方形のサイズが徐々に増大する。その後、或る位置または時点を境界Ｂにして、フレーム画像ＦＮ＝３から最新または最後のフレーム画像ＦＮ＝１までの間に、移動体識別情報ＩＤ＝ｊの人を表す長方形のサイズが徐々に減少する。この場合、図６の場合と同様に、移動体識別情報ＩＤ＝ｊの人の全身的特徴および顔特徴の識別に適したものとして、Ｎ個のフレーム画像の中から２つのフレーム画像ＦＮ＝３および１だけが選択される。

図１１は、カメラ２０６から見てその視野における右上側の奥から前方へ移動し途中で左へ曲がってさらに左側の方向に移動する移動体識別情報ＩＤ＝ｊが付与された人を監視する、通路の天井におけるカメラ２０６の配置の例を示している。

図１２は、カメラ２０６によって撮影された、移動体識別情報ＩＤ＝ｊが付与された人の映像を含むフレーム画像ＦＮ＝ｉの例を示している（ｉ＝１〜Ｎ）。この場合、カメラ２０６は、概して人を前方斜め上および斜め横から見下ろす視野を有する。

図１３は、カメラ２０６によって撮影された一連の複数のフレーム画像ＦＮ＝１〜Ｎに出現する、同じ背景上で移動体識別情報ＩＤ＝ｊが付与された人を表す長方形の移動とサイズの変化の例を示している。この場合、通路に沿って人を表す長方形の位置が右上側の奥から右下側の手前の方向に概ね直線的に移動し、その長方形のサイズがその移動とともに徐々に拡大し、途中で顔を左に向けて左に曲がり、そこからさらに左側へと直線的に移動してそのままの高さのサイズで消失する。但し、例えば図２４に示されているような人物として画像認識または特徴抽出が困難な長方形またはそのような長方形のみを含むフレーム画像は、除外されてもよい。

図１４は、図１３の人を表す長方形の中心位置の移動方向に沿った移動距離に対する人を表す長方形のサイズの変化の例を示している。この場合、人を表す長方形のサイズは高さである。

図１４において、移動とともに、最初のフレーム画像ＦＮ＝Ｎから途中のフレーム画像ＦＮ＝３までに、移動体識別情報ＩＤ＝ｊの人を表す長方形のサイズが徐々に増大する。フレーム画像ＦＮ＝３までは、人は正面を向いている。その後、或る時点を境界Ｂにして、フレーム画像ＦＮ＝３から最新または最後のフレーム画像ＦＮ＝１までの間に、移動体識別情報ＩＤ＝ｊの人の顔が横向きになって左側へと移動する。

この場合、人の長方形の高さが最大であるフレーム画像ＦＮ＝３は、その境界Ｂの直前に位置し、移動体識別情報ＩＤ＝ｊの人がほぼ正面を向いていてその全身の映像が概して最大の高さおよび幅を有し最大の解像度を有するので、移動体識別情報ＩＤ＝ｊの人の全身的特徴を抽出するのに適している。また、人の顔領域が最大でほぼ正面を向いているフレーム画像ＦＮ＝３は、移動体識別情報ＩＤ＝ｊの人の顔部分の映像が、最大の高さおよび幅を有し最大の解像度を有するので、移動体識別情報ＩＤ＝ｊの人の顔の特徴を識別するのに適している。フレーム画像ＦＮ＝１、２は、人を表す長方形のサイズは最大であるが、顔が正面を向かず左側を向いているので、顔の特徴の識別に適さない。従って、移動体識別情報ＩＤ＝ｊの人の全身的特徴および顔特徴の両方の識別に適したものとして、Ｎ個のフレーム画像の中からその境界Ｂの直前の１つのフレーム画像ＦＮ＝３だけが選択される。

図１５は、一連のフレーム画像ＦＮ＝１〜Ｎにおける複数の移動体識別情報ＩＤ１〜５の人の位置およびサイズ（高さ）の表の例を示している。ここで、ＦＮ＝１が時間的に最も新しいフレーム画像を表す。また、例えば、ｘ方向は図４、８および１２の画面における左方向であり、ｙ方向は、図４、８および１２の画面における下方向である。

図１５の表において、最新のフレーム画像ＦＮ＝１から遡ってフレーム画像ＦＮ＝６までにおける移動体識別情報ＩＤ＝１〜５の人を表す長方形の中心位置（ｘ，ｙ）およびサイズの例を示している。この場合、長方形のサイズは、長方形のｙ方向の高さを表す。代替形態として、長方形のサイズは、長方形のｙ方向の高さとｘ方向の幅の和であっても、長方形のｙ方向の高さの２乗とｘ方向の幅の２乗の和の平方根、即ち長方形の対角線の距離であっても、または長方形のｙ方向の幅とｘ方向の幅の積、即ち長方形の面積であってもよい。

図１６は、図１５の隣接する２つのフレーム画像ＦＮ＝１と２、２と３、３と４、．．．の間の複数の移動体識別情報ＩＤ１〜５の人の位置（座標）およびサイズ（高さ）の差分の表の例を示している。ここで、差分は、或るフレーム画像（例えばＦＮ＝１）における位置およびサイズから、それぞれその前のフレーム画像（例えばＦＮ＝２）における位置およびサイズを減算した値である。

図１６の表において、例えば、移動体識別情報ＩＤ３の長方形のサイズは、フレーム画像ＦＮ＝３とＦＮ＝４の間で、サイズの差分が正から負に転じ、増加から減少に転じ、フレーム画像ＦＮ＝１に近づくに従って減少している。また、例えば、移動体識別情報ＩＤ１の長方形のサイズは、フレーム画像ＦＮ＝１とＦＮ＝２の間で、サイズの差分が正から負に転じ、増加から減少に転じている。

図１７Ａおよび１７Ｂは、情報処理装置１００によって実行される、長時間にわたって連続的に撮影されたフレーム画像の中から、位置およびサイズに関して有意な差異を有する一連のフレーム画像ＦＮ＝１〜Ｎを選択するための予備処理のためのフローチャートの例を示している。その連続的に撮影されたフレーム画像は、例えば、毎秒２、１５または３０フレームの高いレートで撮影されたものであってもよい。選択された一連のフレーム画像ＦＮ＝１〜Ｎは、例えば、図５、９、１３および１５のようなものであってもよい。

図１７Ａのステップ５１０において、情報処理装置１００のプロセッサ１１２（その画像取得部１１２２）は、記憶部１３０から、長時間にわたって連続的に撮影されたフレーム画像を取得する。

ステップ５１２において、プロセッサ１１２（その移動体検出部１１２４）は、長時間にわたって連続的に撮影されたフレーム画像の中から、人の画像として識別され同じ移動体識別情報が付与される少なくとも一人または１つの移動体の画像を含む一連のフレーム画像１〜ｍを決定する。プロセッサ１１２（移動体検出部１１２４）は、フレーム画像１〜ｍ中の移動体を検出して、各フレーム画像における移動体の外接長方形の領域を切り出し、例えば図１５の表のような、各移動体を表す長方形の中心位置およびサイズを決定し、同じ移動体に同じ移動体識別情報を付与する。プロセッサ１１２（移動体検出部１１２４）は、各フレーム画像における各移動体を表す長方形の中心位置およびサイズをその移動体識別情報と共にそのフレーム画像の識別情報に関連付けて記憶部１３０に格納する。

ステップ５１４〜５５６は、フレーム画像１〜ｍにおける複数の移動体識別情報ＩＤの各々について繰り返し実行される。ここで、ｍはＮより大きい整数である（ｍ＞Ｎ）。また、フレーム画像は、その番号が大きくなるに従って（昇順に）時間的により古い過去のフレーム画像を表す。

ステップ５１６において、プロセッサ１１２（その移動体変化検出部１１２８）は、フレーム画像１〜ｍの中で、着目する移動体識別情報ＩＤの人の映像について、処理対象となり得るフレーム画像Ｍ１〜Ｍｎ（Ｍ１＜Ｍｎ≦ｍ）を決定する。フレーム画像Ｍ１〜Ｍｎは、例えば、上述したような、人物として画像認識または特徴抽出が困難な人を表す長方形またはそのような長方形のみを含むフレーム画像が除外されたものであってもよい。プロセッサ１１２（移動体変化検出部１１２８）は、さらに、開始フレームとして、フレーム画像１〜ｍ中の着目する移動体識別情報ＩＤの人の映像を含む最新フレームＭ１を設定し、メモリ１１４に格納する。

ステップ５１８〜５５４において、フレーム画像Ｍ１〜Ｍｎにおける１つの移動体識別情報ＩＤの長方形の中心位置およびサイズの各差分に関する判定が繰り返し実行される。

ステップ５２０において、プロセッサ１１２（移動体変化検出部１１２８）は、対象１として開始フレームを設定する。最初は、対象１として、開始フレームであるフレーム画像Ｍ１が設定される。ステップ５２２において、プロセッサ１１２（移動体変化検出部１１２８）は、対象２として対象１の前のフレーム画像（Ｍ１＋１）を設定する。

ステップ５２４〜５３８は、対象２のフレームとして対象１の前の１つ以上のフレーム画像に対して、対象１との間の１つの移動体識別情報ＩＤの長方形の中心位置およびサイズの各差分に関する判定が繰り返し実行される。

ステップ５２６において、プロセッサ１１２（移動体変化検出部１１２８）は、対象１と対象２の間の長方形の中心位置およびサイズの差分を算出する。例えば、移動体識別情報ＩＤ＝１について、最初は、対象１としてのフレーム画像Ｍ１における長方形の中心位置座標（ｘ４,ｙ４）と、対象２としてのフレーム画像（Ｍ１＋１）における長方形の中心位置座標（ｘ５,ｙ５）の間の差分（Δｘ４５，Δｙ４５）が求められる。また、例えば、移動体識別情報ＩＤ＝１について、最初は、対象１としてのフレーム画像Ｍ１における長方形の高さ（Ｈｙ４）と、対象２としてのフレーム画像（Ｍ１＋１）における長方形の高さ（Ｈｙ５）の間の差分ΔＨｙ４５が求められる。

図１７Ｂのステップ５３２において、プロセッサ１１２（移動体変化検出部１１２８）は、対象１と対象２の間の長方形の中心位置の差分ΔＰおよびサイズの差分ΔＨｙをそれぞれ閾値Ｐｔｈ、Ｓｔｈと比較して、それぞれ閾値Ｐｔｈ、Ｓｔｈより小さいかどうかを判定する（ΔＰ＝（Δｘ^２＋Δｙ^２）^１／２＜Ｐｔｈ、ΔＨｙ＜Ｓｔｈ）。それらの差分のいずれかがそれぞれ閾値Ｐｔｈ、Ｓｔｈより小さいと判定された場合は、手順はステップ５３４に進む。それらの差分のいずれもそれぞれ閾値Ｐｔｈ、Ｓｔｈより小さくない、即ちそれらの差分のいずれもそれぞれ閾値Ｐｔｈ、Ｓｔｈ以上である、と判定された場合は、手順はステップ５４２に進む。

ステップ５３４において、プロセッサ１１２（移動体変化検出部１１２８）は、対象２より前のフレーム画像が、フレーム画像Ｍ１＋２〜Ｍｎの中に存在するかどうかを判定する。対象２より前のフレーム画像が存在すると判定された場合は、手順はステップ５３６に進む。対象２より前のフレーム画像が存在しないと判定された場合は、手順はステップ５３８に進む。

ステップ５３６において、プロセッサ１１２（移動体変化検出部１１２８）は、対象２＝対象２の前のフレーム画像と設定する。例えば、現在の対象２がフレーム画像（Ｍ１＋１）の場合、新しい対象２としてフレーム画像（Ｍ１＋２）が設定される。その後、手順はステップ５３８に進む。

ステップ５３６の後で、ステップ５３８でステップ５２６に戻って、プロセッサ１１２（移動体変化検出部１１２８）は、対象１とその更新された対象２との間の長方形の中心位置およびサイズの差分を算出する。例えば、移動体識別情報ＩＤ＝１について、対象１としてのフレーム画像Ｍ１における長方形の中心位置座標（ｘ４,ｙ４）と、対象２としてのフレーム画像（Ｍ１＋２）における長方形の中心位置座標（ｘ６,ｙ６）の間の差分（Δｘ４６，Δｙ４６）が求められる。また、例えば、移動体識別情報ＩＤ＝１について、対象１としてのフレーム画像Ｍ１における長方形の高さ（Ｈｙ４）と、対象２としてのフレーム画像（Ｍ１＋２）における長方形の高さ（Ｈｙ６）の間の差分ΔＨｙ４６が求められる。

ステップ５４２において、プロセッサ１１２（移動体変化検出部１１２８）は、対象１および対象２のフレーム画像の識別情報と、その両フレーム画像における同じ識別情報の移動体を表す長方形の間の差分（Δｘ，Δｙ）および差分ΔＨｙとを記憶部１３０に格納する。このようにして、同じ移動体識別情報の人を表す長方形が、対象１のフレーム画像のものに対して有意な差分を有する対象２のフレーム画像が選択される。

ステップ５５０において、プロセッサ１１２（移動体変化検出部１１２８）は、対象２より前のフレーム画像が、対象２より前のフレーム画像（（Ｍ１＋２）〜Ｍ２）の中に存在するかどうかを判定する。対象２より前のフレーム画像が存在すると判定された場合は、手順はステップ５５２に進む。対象２より前のフレーム画像が存在しないと判定された場合は、手順はステップ５５４に進む。

ステップ５５２において、プロセッサ１１２（移動体変化検出部１１２８）は、次の開始フレームとして現在の対象２のフレーム画像を設定する。その後、手順はステップ５５４に進む。ステップ５５２において開始フレームとして設定された対象２のフレーム画像は、ステップ５２０において次の対象１として設定される。

このようにして、フレーム画像１〜ｍまたはそのフレーム画像Ｍ１〜Ｍ２の中から、１つの移動体識別情報が付与される人の長方形の中心位置およびサイズに関して有意な差異を有する一連のフレーム画像ＦＮ＝１〜Ｎが選択される。それによって、選択された各フレーム画像に対して類似し有意な差異のないフレーム画像が除去またはフィルタリングにより除外され、処理されるフレーム画像の数を低減することができ、処理負荷を小さくすることができる。例えば、隣接する元のフレーム画像間で位置および／またはサイズの差分が小さい場合、人が非常にゆっくり歩いているかまたは立ち止まっていることを表す。この場合、人の位置およびサイズの変化が適切に検出されない可能性がある。これに対して、フレーム画像Ｍ１〜Ｍ２に図１７Ａおよび１７Ｂの処理を施すことによって、選択されたフレーム画像ＦＮ＝１〜Ｎについて有意な量の差分を有する変化が検出できるように、余分なフレーム画像が間引かれる。それによって、例えば図１５および１６の表におけるフレーム画像ＦＮ＝１〜Ｎにおける人を表す長方形の位置およびサイズの推移並びにそれらの差分が、人の映像の位置およびサイズの変化を検出するのに有意なデータとなる。

図１８は、情報処理装置１００によって実行される、一連のフレーム画像ＦＮ＝１〜Ｎの中から、特定の移動体識別情報ＩＤについて人の身体的特徴および顔特徴を識別するのに適した２つまたは１つのフレーム画像を選択するためのフローチャートの例を示している。

図１８を参照すると、ステップ６６２〜６７８は、１つ以上の移動体識別情報ＩＤについて繰り返し実行される。

ステップ６６４において、情報処理装置１００のプロセッサ１１２（その適切画像選択部１１３０）は、１つの移動体識別情報ＩＤについて、一連のフレーム画像ＦＮ＝１〜Ｎにおける一連の位置の差分で表される移動が、規定の移動方向を表すかどうかを判定する。ここで、一連の位置とは、人を表す複数の長方形の中心位置である。その移動が規定の移動方向を表していないと判定された場合は、手順は図１８のルーチンを出る。その移動が規定の移動方向を表していると判定された場合は、手順はステップ６６６に進む。

その規定の移動方向は、例えば、通路が、カメラの視野における右上側の奥から左下側の手前へ向かう場合、および右上側の奥から前方へ向かい途中で左へ曲がる場合において、一連の位置の横ｘ軸方向の全ての差分が負（Δｘ＜０）でありかつ縦ｙ軸方向の全ての差分が正（Δｙ＞０）であることである。その規定の移動方向は、その通路の配置が左右逆の場合は、例えば、一連の位置の横ｘ軸方向の全ての差分が正（Δｘ＞０）でありかつ縦ｙ軸方向の全ての差分が正（Δｙ＞０）となる。

ステップ６６６において、プロセッサ１１２（適切画像選択部１１３０）は、一連のフレーム画像ＦＮ＝１〜Ｎにおける人を表す長方形のサイズまたは高さが、時間経過とともに（ＦＮ＝ＮからＦＮ＝１まで）或る時点まで増加傾向を示しかつ途中でその増加傾向が変化するかどうかを判定する。そのサイズが増加傾向を示しかつ増加傾向が途中で変化すると判定された場合は、手順はステップ６６８に進む。そのサイズが増加傾向を示すことがなくまたはその増加傾向が途中で変化することはないと判定された場合は、手順は図１８のルーチンを出る。それによって、例えば、一連のフレーム画像ＦＮ＝１〜Ｎにおいて、移動体としての昆虫がカメラの視野で規定の移動方向で空中を飛んでカメラに向かって接近し徐々に拡大して突然消える場合のそのような移動体が除外できるであろう。

ステップ６６８において、プロセッサ１１２（適切画像選択部１１３０）は、一連のフレーム画像ＦＮ＝１〜Ｎを特徴抽出対象として決定する。

ステップ６７０において、プロセッサ１１２（適切画像選択部１１３０）は、一連のフレーム画像ＦＮ＝１〜Ｎの長方形の一連の中心位置の差分およびサイズによって表される経路が、例えば図１１〜１４のような角を曲がるパターンであるかどうかを判定する。その経路が角を曲がるパターンであると判定された場合は、手順はステップ６７２に進む。その経路が角を曲がるパターンでないと判定された場合は、手順はステップ６７４に進む。

ステップ６７２において、プロセッサ１１２（適切画像選択部１１３０）は、移動体識別情報ＩＤ＝ｊの身体的特徴および顔特徴を識別するためのフレーム画像として、人を表す長方形のサイズまたは高さが増大から非増大に転じる境界Ｂの直前のフレーム画像ＦＮ＝Ｉを選択する。

例えば、図１３および１４において、身体的特徴および顔特徴を識別するためのフレーム画像として、フレーム画像ＦＮ＝３が選択される。この場合、フレーム画像ＦＮ＝３では、移動体識別情報ＩＤ＝ｊの人は、ほぼ正面を向いており、かつ人を表す長方形の面積が大きい。フレーム画像ＦＮ＝２では、移動体識別情報ＩＤ＝ｊの人を表す長方形の高さは最大であるが、顔が斜め横を向いており、顔の特徴を識別するのに適していないであろう。但し、人の横向きの特徴が識別または抽出される場合には、さらに、長方形のサイズまたは高さが増大から非増大に転じる境界Ｂの直後のフレーム画像ＦＮ＝２が選択されてもよい。

ステップ６７４において、プロセッサ１１２（適切画像選択部１１３０）は、移動体識別情報ＩＤ＝ｊの身体的特徴を識別するためのフレーム画像として、人が正面を向き、かつ人を表す長方形のサイズまたは高さが増大から減少に転じる境界Ｂの直前のフレーム画像ＦＮ＝Ｉを選択する。この場合、人の全身の高さおよび幅の両サイズが最大となる。さらに、プロセッサ１１２（適切画像選択部１１３０）は、移動体識別情報ＩＤ＝ｊの顔特徴を識別するためのフレーム画像として、顔が正面を向き、かつ顔領域の高さおよび幅の両サイズが最大となるフレーム画像ＦＮ＝１を選択する。

例えば、図５および６において、身体的特徴を識別するためのフレーム画像としてフレーム画像ＦＮ＝３が選択される。この場合、フレーム画像ＦＮ＝３では、移動体識別情報ＩＤ＝ｊの人は、人の全身を表す長方形の高さおよび幅の両サイズが最も大きい。また、図５および６において、顔特徴を識別するためのフレーム画像として最新のフレーム画像ＦＮ＝１が選択される。但し、最新のフレーム画像ＦＮ＝１では顔の領域の一部が画面から切れまたははみ出す可能性がある場合は、長方形のサイズまたは高さが増大から減少に転じる境界Ｂの後にある、最新のフレーム画像ＦＮ＝１の直前のフレーム画像ＦＮ＝２が選択されてもよい。

ステップ６７６において、プロセッサ１１２（適切画像選択部１１３０）は、身体的特徴を識別するためのフレーム画像ＦＮ＝Ｉと、顔特徴を識別するためのフレーム画像ＦＮ＝Ｉまたは１とを、特徴識別用または特徴抽出用のフレーム画像として決定する。ｓついで、プロセッサ１１２（適切画像選択部１１３０）は、そのフレーム画像ＦＮ＝Ｉおよびフレーム画像ＦＮ＝Ｉまたは１の識別情報を、特徴識別用または特徴抽出用のフレーム画像として記憶部１３０に格納する。フレーム画像の識別情報は、フレーム画像１〜ｍにおけるフレーム番号または時刻で表されてもよい。

全ての移動体識別情報についてステップ６６２〜６７８が繰り返された後、手順は図１８のルーチンを出る。

このようにして選択されて記憶部１３０に格納された、身体的特徴識別用のフレーム画像ＦＮ＝Ｉと、顔特徴識別用のフレーム画像ＦＮ＝Ｉまたは１の識別情報は、フレーム画像１〜ｍに関連付けて格納されて、フレーム画像１〜ｍにおける人の検索に用いられてもよい。さらに、その選択されたフレーム画像ＦＮ＝Ｉおよび／または１に関連付けて、その移動体識別情報ＩＤ＝ｊの人を表す長方形の位置情報が格納されて、その人の識別に用いられてもよい。それによって、監視者または管理人は、情報処理装置１００の入力部１２２を操作して、フレーム画像１〜ｍから２つまたは１つのフレーム画像ＦＮ＝Ｉおよび／または１を取り出して表示部１２４に表示し、移動体識別情報ＩＤ＝ｊの人を表す長方形を強調表示させて、その人の特徴を観察し、識別しまたは確認することができる。それよって、フレーム画像１〜ｍに含まれる複数の人の身体的特徴および顔特徴の識別または抽出が短時間で効率的に行える。

さらに、フレーム画像ＦＮ＝Ｉおよび／または１について、特徴抽出処理部１１３６によって、画像認識を行って身体的特徴および顔特徴が抽出されて検索情報またはキーワードとしてフレーム画像ＦＮ＝Ｉまたは１に関連付けて記憶部１３０に格納されてもよい。それによって、監視者または管理人は、情報処理装置１００の入力部１２２を操作して、検索情報に基づいて、フレーム画像１〜ｍの中から、特定の身体的特徴および顔特徴を有する人の映像を含むフレーム画像を検索して表示部１２４に表示することができる。それによって、フレーム画像１〜ｍに含まれる特定の身体的特徴および顔特徴を有する人の検索が短時間で効率的に行える。

図１９は、情報処理装置１００によって実行される、一連のフレーム画像ＦＮ＝１〜Ｎにおいて、移動体または人の身体的特徴および顔特徴を識別するのに適した特徴領域を割り当ておよび抽出するためのフローチャートの例を示している。

図１９を参照すると、ステップ７２０は、図１７Ａおよび１７Ｂの処理（ステップ５１０〜５５６）と同様である。ステップ７２０において、プロセッサ１１２（画像取得部１１２２）は、記憶部１３０から、長時間にわたって連続的に撮影されたフレーム画像を取得する。次いで、プロセッサ１１２（移動体検出部１１２４）は、長時間にわたって連続的に撮影されたフレーム画像の中から、人の画像として識別され同じ移動体識別情報が付与される少なくとも一人の画像を含む一連のフレーム画像１〜ｍを決定する。次いで、プロセッサ１１２（移動体変化検出部１１２８）は、フレーム画像１〜ｍの中から、１つの移動体識別情報が付与される人を表す長方形の位置およびサイズに関して有意な差異を有する一連のフレーム画像ＦＮ＝１〜Ｎを決定する。

ステップ７４０において、プロセッサ１１２（その特徴領域割当部１１３２）は、身体的特徴および顔特徴を識別するのに適した、人を表す長方形の中心位置の可能な範囲を表す特徴領域が、フレーム画像の画面において割り当てられているかどうかを判定する。その特徴領域が未だ割り当てられていないと判定された場合は、手順はステップ７５２に進む。最初は、特徴領域が未だ割り当てられていない。その特徴領域が既に割り当てられていると判定された場合は、手順はステップ７５４に進む。

ステップ７５２は、図１８の処理に類似した処理であり、後で詳しく説明する図２０のフローチャートに相当する処理を含んでいる。ステップ７５２において、プロセッサ１１２（適切画像選択部１１３０）は、一連のフレーム画像ＦＮ＝１〜Ｎの人を表す長方形の一連の中心位置の差分およびサイズまたは高さに基づいて、特徴の識別または抽出に適した長方形の中心位置を格納する。

図２２Ａは、特徴識別用または特徴抽出用の長方形の中心位置９０２および９０４の例を示している。図２２Ｂは、多数の移動体識別情報について蓄積された多数の中心位置９０２および９０４の例を示している。図２２Ｃは、蓄積された多数の中心位置９０２および９０４に基づいて割り当てられた特徴領域９１２、９１４の例を示している。

図２２Ａ〜２２Ｃにおいて、中心位置９０２は身体的特徴を識別するのに適した長方形の中心位置であり、中心位置９０４は顔特徴を識別するのに適した長方形の中心位置である。

ステップ７６２において、プロセッサ１１２（特徴領域割当部１１３２）は、長方形の中心位置のデータの数が閾値より多いかどうかを判定する。この閾値は、特徴領域を割り当てるのに充分なデータ数を表す。データの数が閾値より多いと判定された場合は、手順は図１９のルーチンを出る。データの数が閾値より多くないと判定された場合は、手順はステップ７７２に進む。

ステップ７７２は、後で詳しく説明する図２１のフローチャートに相当する処理を含んでいる。ステップ７７２において、プロセッサ１１２（特徴領域割当部１１３２）は、複数の移動体識別情報の身体的特徴を識別するのに適した各長方形の中心位置の集合を、フレーム画像における身体的特徴を識別するのに適した特徴領域として割り当てる。また、プロセッサ１１２（特徴領域割当部１１３２）は、複数の移動体識別情報の顔特徴を識別するのに適した各長方形の中心位置の集合を、フレーム画像における顔特徴を識別するのに適した特徴領域として割り当てる。それによって、以後、身体的特徴および顔特徴を識別するための長方形の中心位置の範囲を表す２つまたは１つの特徴領域が、フレーム画像の画面において割り当て済みとなる。

ステップ７５４は、図１８の処理に類似した処理であり、後で詳しく説明する図２３のフローチャートに相当する処理を含んでいる。ステップ７５４において、プロセッサ１１２（適切画像選択部１１３０）は、身体的特徴および顔特徴を識別するのに適した長方形の中心位置がそれぞれの特徴領域の範囲にあるフレーム画像ＦＮ＝Ｉ、およびＦＮ＝Ｉまたは１を、特徴識別用または特徴抽出用のフレーム画像として決定する。

図１９のステップ７７４において、プロセッサ１１２（適切画像選択部１１３０）は、経路が角かまたは直線かに応じて、図２２Ｃのような特徴領域９２２および／または９２４に中心が位置する移動体識別情報ＩＤの長方形の領域を含むフレーム画像ＦＮ＝ＩおよびＦＮ＝Ｉまたは１を選択する。次いで、プロセッサ１１２（適切画像選択部１１３０）は、フレーム画像ＦＮ＝ＩおよびＦＮ＝Ｉまたは１におけるその移動体識別情報ＩＤ＝ｊの長方形の領域を、特徴識別用または特徴抽出用の領域として抽出する。次いで、プロセッサ１１２（その特徴抽出処理部１１３６）は、フレーム画像ＦＮ＝Ｉおよび／または１に関連付けて、その移動体識別情報ＩＤ＝ｊの人を表す２つまたは１つの長方形の位置情報を記憶部１３０に格納してもよい。プロセッサ１１２（特徴抽出処理部１１３６）は、その２つまたは１つの長方形の領域から、移動体識別情報ＩＤ＝ｊの身体的特徴および顔特徴を識別し抽出して、そのフレーム画像の識別情報に関連付けて記憶部１３０に格納してもよい。

図２０は、情報処理装置１００によって実行される、一連のフレーム画像ＦＮ＝１〜Ｎの中から、身体的特徴および顔特徴を識別するのに適した、特徴識別用のまたは特徴抽出用の長方形の位置を決定するためのフローチャートの例を示している。

図２０において、ステップ６６２〜６７４は、図１８のものと同様である。

ステップ６７７において、プロセッサ１１２（適切画像選択部１１３０）は、フレーム画像ＦＮ＝Ｉおよび／または１における、例えば図２２Ａに示されているような特徴識別用または特徴抽出用の長方形の中心位置９０２および９０４の座標を記憶部１３０に格納する。中心位置９０２は、人の身体的特徴を識別するのに適した長方形の中心位置であり、中心位置９０４は、人の顔特徴を識別するのに適した長方形の中心位置である。その後、手順はステップ６７８に進む。

図１９のステップ７５２または図２０の処理が、複数の移動体識別情報ＩＤについて反復的に実行されて、例えば図２２Ｂのような多数の特徴識別または特徴抽出に適した長方形の中心位置９０２および９０４が蓄積される。

図２１は、情報処理装置１００によって実行される、フレーム画像において身体的特徴および顔特徴を識別するのに適した特徴領域を割り当てるためのフローチャートの例を示している。

図２１を参照すると、ステップ８０２〜８１０は、相異なる特徴を抽出するのに適した長方形の中心位置９０２、９０４の集合の数だけ実行される。図２２Ｂでは、身体的特徴を識別するのに適した長方形の中心位置９０２と、顔特徴を識別するのに適した長方形の中心位置９０２の２つの集合が存在する。

ステップ８０４において、プロセッサ１１２（特徴領域割当部１１３２）は、位置９０２または９０４の集合の各重心Ｇを求める。

ステップ８０６において、プロセッサ１１２（特徴領域割当部１１３２）は、重心Ｇを通るように各集合の複数の位置９０２または９０４の分散方向に伸びる直線９１２および９１４を求める。

ステップ８０８において、プロセッサ１１２（特徴領域割当部１１３２）は、位置９０２の集合に対する直線９１２に基づいてその直線９１２を２次元的に直線９１２に公差または直交する方向に拡大して、その集合の全ての位置９０２を含むように長方形状の特徴領域９２２を決定する。また、プロセッサ１１２（特徴領域割当部１１３２）は、位置９０４の集合の直線９１４に基づいてその直線９１４を２次元的に直線９１４に公差または直交する方向に拡大して、その集合の全ての位置９０４を含むように長方形状の特徴領域９２４を決定する。例えば、特徴領域９２２は、身体的特徴を抽出するのに適した長方形の中心位置の範囲を表す。また、例えば、特徴領域９２４は、顔特徴を抽出するのに適した長方形の中心位置の範囲を表す。このようにして割り当てられた特徴領域９２２、９２４は、図１９のステップ７７４において人の特徴識別または特徴抽出に利用できるものとなる。特徴領域は、特徴識別領域または特徴抽出領域と称してもよい。

図２３は、情報処理装置１００によって実行される、一連のフレーム画像ＦＮ＝１〜Ｎの中から、身体的特徴および顔特徴を識別するための長方形の中心位置が特徴領域の範囲にあるフレーム画像ＦＮ＝ＩおよびＦＮ＝Ｉまたは１を決定するためのフローチャートの例を示している。

ステップ６６２〜６７０は、図１８のものと同様である。

ステップ６７０において経路が角を曲がるパターンであると判定された場合、ステップ６７１において、プロセッサ１１２（適切画像選択部１１３０）は、経路を角と決定する。その後、手順はステップ６７８に進む。

ステップ６７０において経路が角を曲がるパターンでないと判定された場合、ステップ６７３において、プロセッサ１１２（適切画像選択部１１３０）は、経路を直線と決定する。その後、手順はステップ６７８に進む。

このようにして決定された経路の種類に応じて、図１９のステップ７７４において、特徴領域９２２、９２４に基づいて、身体的特徴および顔特徴を識別または抽出するのに適したフレーム画像ＦＮ＝Ｉおよび／または１とその長方形の領域が抽出される。

このようにして、一連のフレーム画像１〜ｍの中から、身体的特徴および顔特徴の識別に適した人の映像を含むフレーム画像を効率的に抽出することができる。

ここで挙げた全ての例および条件的表現は、発明者が技術促進に貢献した発明および概念を読者が理解するのを助けるためのものであり、ここで具体的に挙げたそのような例および条件に限定することなく解釈され、また、明細書におけるそのような例の編成は本発明の優劣を示すこととは関係ない、と理解される。本発明の実施形態を詳細に説明したが、本発明の精神および範囲から逸脱することなく、それに対して種々の変更、置換および変形を施すことができる、と理解される。

以上の実施例を含む実施形態に関して、さらに以下の付記を開示する。
（付記１）撮影されたフレーム画像における、少なくとも１つの移動体の画像を含む一連のフレーム画像を決定する移動体検出部と、
前記一連のフレーム画像における前記１つの移動体の移動方向が或る方向であり、かつ前記１つの移動体のサイズの増加傾向に変化がある場合に、前記１つの移動体のサイズの増加傾向と非増加傾向との間の境界の前と後のフレーム画像の少なくとも一方のフレーム画像を、前記１つの移動体の身体的特徴または顔特徴を識別するためのフレーム画像として決定して記憶部に格納する適切画像選択部と、
を含む監視装置。
（付記２）前記適切画像選択部は、
前記或る方向が、角を含む経路を表す場合に、前記境界の直前のフレーム画像を、前記１つの移動体の身体的特徴および顔特徴を識別するためのフレーム画像として決定し、
前記或る方向が、角を含まない経路を表す場合に、前記境界の直前のフレーム画像を前記１つの移動体の身体的特徴を識別するためのフレーム画像として、および前記境界の後のフレーム画像を前記１つの移動体の顔特徴を識別するためのフレーム画像として決定するものであることを特徴とする、付記１に記載の監視装置。
（付記３）前記少なくとも１つの移動体は複数の移動体であり、
さらに、前記境界の前と後の少なくとも一方のフレーム画像における前記複数の移動体の複数位置を蓄積し、前記複数位置の集合を身体的特徴および顔特徴の少なくとも一方の特徴を識別するための特徴領域として前記記憶部に格納する特徴領域割当部を含む、付記１または２に記載の監視装置。
（付記４）前記適切画像選択部は、前記一連のフレーム画像の中から、或る移動体の位置が前記特徴領域内に位置するフレーム画像を選択するものである、付記３に記載の監視装置。
（付記５）前記適切画像選択部は、前記或る移動体の移動方向が前記或る方向でありかつ前記或る移動体のサイズの増加傾向に変化がある場合に、前記或る移動体の位置が前記特徴領域内に位置するフレーム画像を選択するものである、付記４に記載の監視装置。
（付記６）さらに、前記撮影されたフレーム画像の中から、前記１つの移動体の位置が位置閾値より大きい変化を示しまたは前記１つの移動体がサイズ閾値より大きい変化を示す複数のフレーム画像を、前記一連のフレーム画像として取り出す移動体変化検出部を含む、付記１乃至４のいずれかに記載の監視装置。
（付記７）撮影されたフレーム画像における、少なくとも１つの移動体の画像を含む一連のフレーム画像を決定し、
前記一連のフレーム画像における前記１つの移動体の移動方向が或る方向であり、かつ前記１つの移動体のサイズの増加傾向に変化がある場合に、前記１つの移動体のサイズの増加傾向と非増加傾向との間の境界の前と後のフレーム画像の少なくとも一方のフレーム画像を、前記１つの移動体の身体的特徴または顔特徴を識別するためのフレーム画像として決定して記憶部に格納する
処理を情報処理装置に実行させるためのプログラム。
（付記８）情報処理装置が、
撮影されたフレーム画像における、少なくとも１つの移動体の画像を含む一連のフレーム画像を決定し、
前記一連のフレーム画像における前記１つの移動体の移動方向が或る方向であり、かつ前記１つの移動体のサイズの増加傾向に変化がある場合に、前記１つの移動体のサイズの増加傾向と非増加傾向との間の境界の前と後のフレーム画像の少なくとも一方のフレーム画像を、前記１つの移動体の身体的特徴または顔特徴を識別するためのフレーム画像として決定して記憶部に格納する
処理を実行する方法。

１００ 監視用の情報処理装置
２０２、２０４、２０６ 監視用のカメラ
１１２ プロセッサ
１２４ 表示部
１３０ 記憶部

Claims (6)

1. 撮影されたフレーム画像における、少なくとも１つの移動体の画像を含む一連のフレーム画像を決定する移動体検出部と、
   前記一連のフレーム画像における前記１つの移動体の移動方向が或る方向であり、かつ前記１つの移動体のサイズの増加傾向に変化がある場合に、前記１つの移動体のサイズの増加傾向と非増加傾向との間の境界の前と後のフレーム画像の少なくとも一方のフレーム画像を、前記１つの移動体の身体的特徴または顔特徴を識別するためのフレーム画像として決定して記憶部に格納する適切画像選択部と、
   を含む監視装置であって、
   前記適切画像選択部は、
   前記或る方向が、角を含む経路を表す場合に、前記境界の直前のフレーム画像を、前記１つの移動体の身体的特徴および顔特徴を識別するためのフレーム画像として決定し、
   前記或る方向が、角を含まない経路を表す場合に、前記境界の直前のフレーム画像を前記１つの移動体の身体的特徴を識別するためのフレーム画像として、および前記境界の後のフレーム画像を前記１つの移動体の顔特徴を識別するためのフレーム画像として決定するものであること
   を特徴とする監視装置。
2. 前記少なくとも１つの移動体は複数の移動体であり、
   さらに、前記境界の前と後の少なくとも一方のフレーム画像における前記複数の移動体の複数位置を蓄積し、前記複数位置の集合を身体的特徴および顔特徴の少なくとも一方の特徴を識別するための特徴領域として前記記憶部に格納する特徴領域割当部を含む、請求項１に記載の監視装置。
3. 前記適切画像選択部は、前記一連のフレーム画像の中から、或る移動体の位置が前記特徴領域内に位置するフレーム画像を選択するものである、請求項２に記載の監視装置。
4. 前記適切画像選択部は、前記或る移動体の移動方向が前記或る方向でありかつ前記或る移動体のサイズの増加傾向に変化がある場合に、前記或る移動体の位置が前記特徴領域内に位置するフレーム画像を選択するものである、請求項３に記載の監視装置。
5. 撮影されたフレーム画像における、少なくとも１つの移動体の画像を含む一連のフレーム画像を決定し、
   前記一連のフレーム画像における前記１つの移動体の移動方向が或る方向であり、かつ前記１つの移動体のサイズの増加傾向に変化がある場合に、前記１つの移動体のサイズの増加傾向と非増加傾向との間の境界の前と後のフレーム画像の少なくとも一方のフレーム画像を、前記１つの移動体の身体的特徴または顔特徴を識別するためのフレーム画像として決定して記憶部に格納し、その際、前記或る方向が、角を含む経路を表す場合に、前記境界の直前のフレーム画像を、前記１つの移動体の身体的特徴および顔特徴を識別するためのフレーム画像として決定し、前記或る方向が、角を含まない経路を表す場合に、前記境界の直前のフレーム画像を前記１つの移動体の身体的特徴を識別するためのフレーム画像として、および前記境界の後のフレーム画像を前記１つの移動体の顔特徴を識別するためのフレーム画像として決定する
   処理を情報処理装置に実行させるためのプログラム。
6. 情報処理装置が、
   撮影されたフレーム画像における、少なくとも１つの移動体の画像を含む一連のフレーム画像を決定し、
   前記一連のフレーム画像における前記１つの移動体の移動方向が或る方向であり、かつ前記１つの移動体のサイズの増加傾向に変化がある場合に、前記１つの移動体のサイズの増加傾向と非増加傾向との間の境界の前と後のフレーム画像の少なくとも一方のフレーム画像を、前記１つの移動体の身体的特徴または顔特徴を識別するためのフレーム画像として決定して記憶部に格納し、その際、前記或る方向が、角を含む経路を表す場合に、前記境界の直前のフレーム画像を、前記１つの移動体の身体的特徴および顔特徴を識別するためのフレーム画像として決定し、前記或る方向が、角を含まない経路を表す場合に、前記境界の直前のフレーム画像を前記１つの移動体の身体的特徴を識別するためのフレーム画像として、および前記境界の後のフレーム画像を前記１つの移動体の顔特徴を識別するためのフレーム画像として決定する
   処理を実行する方法。

Images