JP6952857B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関するものである。

画像上であらかじめ線分を指定し、その線分を通過した動体の数を計数するシステムがある。このようなシステムでは、通過した方向ごとにそれぞれ計数し、計数終了後に、操作者の指示によって通過動体数の時系列変化を出力することができる。このようなシステムは、交通量調査、店舗の顧客行動分析などに利用することができる。

従来の計数システムにおいては、通過動体数の時系列変化を出力ことはできるものの、それによって検出された動体がどのような動体であったかは出力することができない。例えば、通過した動体が人なのか、車両なのか、動物なのかを出力結果から判断することができない。

これに対して、特許文献１は、動画を構成する各画像についてユーザの指定した顔画像と照合し、検出された顔画像を時系列で表示する技術、すなわち動画中に出現する人物の顔画像を一覧表示する技術を開示している。

特開２００７−２８１６８０号公報 特開２０１６−１５７３３６号公報

しかしながら、特許文献１に記載の技術は、動体を単一の時系列上に表示するのみであり、通過方向に応じた動体の挙動を把握できないという課題がある。

本発明は、上記の課題に鑑みてなされたものであり、通過方向に応じた動体の挙動を容易に把握するための技術を提供することを目的とする。

上記の目的を達成する本発明に係る情報処理装置は、
撮像手段により撮像された撮像画像から動体を検出する動体検出手段と、
前記撮像画像において指定された通過線を通過した前記動体の領域画像を抽出する画像抽出手段と、
前記撮像画像において指定された通過線を第１方向に通過した複数の動体の各々について抽出された前記領域画像を時系列に並べて表示手段に表示させ、前記撮像画像において指定された通過線を当該第１方向と異なる第２方向に通過した複数の動体の各々について抽出された前記領域画像を時系列に並べて前記表示手段に表示させる表示制御手段とを有することを特徴とする。

本発明によれば、通過方向に応じた動体の挙動を容易に把握することが可能となる。

実施形態１に係る情報処理システムが含む各装置の機能構成の一例を示すブロック図。 実施形態１に係る情報処理システムが含む各装置のハードウェア構成の一例を示す図。 実施形態１に係るシーンの概観図。 実施形態１に係る処理の手順を示すフローチャート。 一実施形態に係る通過情報記憶部に記憶される通過情報を示す図。 実施形態１に係る表示例を示す図。 実施形態２に係るシーンの概観図。 実施形態２に係る情報処理システムが含む各装置の機能構成の一例を示すブロック図。 実施形態２に係る処理の手順を示すフローチャート。 実施形態２に係る表示例を示す図。 実施形態３に係る情報処理システムが含む各装置の機能構成の一例を示すブロック図。 実施形態４に係る情報処理システムが含む各装置の機能構成の一例を示すブロック図。 実施形態４に係る処理の手順を示すフローチャート。 実施形態４に係る通過情報記憶部に記憶される通過情報示す図。 実施形態４に係る表示例を示す図。 実施形態５に係るシーンの概観図。 実施形態５に係る情報処理システムが含む各装置の機能構成の一例を示すブロック図。 実施形態５に係る処理の手順を示すフローチャート。 実施形態５に係る表示例を示す図。

以下、図面を参照しながら実施形態を説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

（実施形態１）
＜情報処理システムの構成及び各装置の機能構成＞
図１は、実施形態１に係る情報処理システムが含む各装置の機能構成の一例を示すブロック図である。情報処理システムは、撮像装置１０１と、情報処理装置１０２と、表示装置１０３とを含んで構成されている。撮像装置１０１はカメラ２０１を備えている。情報処理装置１０２は、動体検出部２０３と、通過判定部２０４と、動体画像抽出部２０５と、通過情報記憶部と２０８、表示制御部２０９とを備えている。表示装置１０３は表示部２１０を備えている。

動体検出部２０３は、撮像装置１０１のカメラ２０１から画像を取得して動体を検出及び追尾し、当該動体の矩形領域の座標及び移動ベクトルを出力する。通過判定部２０４は、動体検出部２０３により検出された動体について、当該動体の矩形の座標及び移動ベクトルと、予め指定された位置における通過検知線との交差判定を行い、二次元の画像上で動体が通過検知線を通過したか否かを判定する。ここで図３は、本実施形態に係る撮像装置１０１が撮影した映像シーンの一例を示す図である。映像シーン３００において予め通過検知線３０１を指定しておくことで、情報処理装置１０２は、通過検知線３０１と交差するような第１の方向３０２、第２の方向３０３の２方向について動体の通過を検知することができる。通過判定部２０４は、動体ごとに、通過判定結果と、通過したと判定された場合には通過方向とを出力する。

動体画像抽出部２０５は、カメラ２０１から取得した画像から、通過判定部２０４により通過検知線を通過したと判定された動体の領域画像を抽出する。具体的には、動体検出部２０３により出力された動体の矩形領域の座標に基づいて、動体の矩形領域を領域画像として抽出する。通過情報記憶部２０８は、現在時刻を通過発生時刻として、通過判定部２０４により出力された通過方向の情報と、動体画像抽出部２０５により抽出された動体の領域画像とを関連付けて、通過情報として記憶する。ここで、図５に通過情報記憶部２０８に記憶される通過情報の一例を示す。通過情報は、時刻と通過方向と動体の領域画像とを含んで構成されている。

表示制御部２０９は、ユーザ指示に応じて、通過情報記憶部２０８に記憶された通過情報に基づいて、通過方向ごとに、動体の領域画像と通過時刻とを時系列に表示装置１０３の表示部２１０に表示させる制御を行う。

＜各装置のハードウェア構成＞
図２は、実施形態１に係る情報処理システムが含む各装置のハードウェア構成の一例を示す図である。情報処理システムを構成する撮像装置１０１、情報処理装置１０２、表示装置１０３は、それぞれがネットワーク１０４に接続されている。

撮像装置１０１は、画像を撮像する装置であり、通信バス１０１１と、通信装置１０１２と、ＣＰＵ１０１３と、ＲＡＭ１０１４と、ＲＯＭ１０１５と、画像センサ１０１６とを備えている。通信バス１０１１は、撮像装置１０１の各構成要素を接続している。通信装置１０１２は、ネットワーク１０４と通信するための通信インタフェースである。ＣＰＵ１０１３は、演算装置であり、撮像の処理に必要な演算を行う。ＲＡＭ１０１４は、制御プログラムの実行に必要な各種一時データを記憶するための領域である。ＲＯＭ１０１５は、ＣＰＵ１０１３で実行される制御プログラムや、制御プログラムの実行に必要な各種の定数を格納している。画像センサ１０１６は画像を撮像する。情報処理装置１０２は、撮像装置１０１により撮像された画像を処理する装置であり、通信バス１０２１と、通信装置１０２２と、ＣＰＵ１０２３と、ＲＡＭ１０２４と、ＲＯＭ１０２５と、記憶装置１０２６、入力装置１０２７とを備えている。通信バス１０２１は、情報処理装置１０２の各構成要素を接続している。通信装置１０２２は、ネットワーク１０４と通信するための通信インタフェースである。ＣＰＵ１０２３は、演算装置であり、情報処理に必要な演算を行う。ＲＡＭ１０２４は、制御プログラムの実行に必要な各種一時データを記憶するための領域である。ＲＯＭ１０２５は、ＣＰＵ１０２３で実行される制御プログラムや、制御プログラムの実行に必要な各種の定数を格納している。記憶装置１０２６は、ハードディスク等の不揮発性記憶装置である。入力装置１０２７は、キーボード、マウス、タッチパネルなどのユーザインタフェース装置であり、情報処理の開始や終了、その他様々な指示を情報処理装置１０２に入力するために用いられる。

表示装置１０３は、情報処理装置１０２により処理された情報処理結果をユーザに対して提示する装置である。表示装置１０３は、通信バス１０３１と、通信装置１０３２と、ＣＰＵ１０３３と、ＲＡＭ１０３４と、ＲＯＭ１０３５と、ディスプレイ１０３６、入力装置１０３７とを備えている。通信バス１０３１は、表示装置１０３の各構成要素を接続している。通信装置１０３２は、ネットワーク１０４と通信するための通信インタフェースである。ＣＰＵ１０３３は、演算装置であり、表示処理に必要な演算を行う。ＲＡＭ１０３４は、制御プログラムの実行に必要な各種一時データを記憶するための領域である。ＲＯＭ１０３５は、ＣＰＵ１０３３で実行される制御プログラムや、制御プログラムの実行に必要な各種の定数が格納される。ディスプレイ１０３６は、情報処理装置１０２の制御に基づいて情報処理結果を表示する。入力装置１０３７は、キーボード、マウス、タッチパネルなどのユーザインタフェース装置であり、表示に関する操作指示を表示装置１０３に入力するために用いられる。

なお、本実施形態では、撮像装置１０１、情報処理装置１０２、表示装置１０３が分離している構成を示したが、撮像装置１０１と情報処理装置１０２とが一体となった構成や、情報処理装置１０２と表示装置１０３とが一体となった構成であってもよい。また、それらすべてが一体となった構成であってもよい。

＜処理＞
続いて、図４のフローチャートを参照して、本実施形態に係る情報処理装置が実施する処理の手順を説明する。Ｓ７００において、情報処理装置１０２の表示制御部２０９は、処理を終了するか否かを判定する。例えば、入力装置１０２７を介して情報処理の終了が指示されたか否かに基づいて判定を行う。処理を終了しない場合、Ｓ７０１へ進む。処理を終了する場合は、情報処理装置１０２は動作を終了する。Ｓ７０１において、動体検出部２０３は、撮像装置１０１のカメラ２０１から画像を取得する。Ｓ７０２において、動体検出部２０３は、取得した画像から動体を検出及び追尾し、当該動体の矩形領域の座標及び移動ベクトルを出力する。

Ｓ７０３において、通過判定部２０４は、動体検出部２０３により検出された１つ以上の動体の各々について、当該動体の矩形の座標及び移動ベクトルと、予め指定された位置における通過検知線との交差判定を行う。そして、二次元の画像上で動体が通過検知線を通過したか否かを判定する。通過検知線を通過した動体が１以上ある場合は、Ｓ７０４へ進む。一方、通過検知線を通過した動体が無い場合には、Ｓ７００に戻る。

Ｓ７０４において、動体画像抽出部２０５は、カメラ２０１から取得した画像から、通過判定部２０４により通過検知線を通過したと判定された動体の領域画像を抽出する。具体的には、動体検出部２０３により出力された動体の矩形領域の座標に基づいて、動体の矩形領域を領域画像として抽出する。

Ｓ７０５において、通過情報記憶部２０８は、現在時刻を通過発生時刻として、通過判定部２０４により出力された通過方向の情報と、動体画像抽出部２０５により抽出された動体の領域画像とを関連付けて、通過情報として記憶する。その後、Ｓ７００に戻る。以上で図４の一連の処理が終了する。

なお、情報処理装置１０２の表示制御部２０９は、通過情報記憶部２０８に記憶された通過情報に基づいて、通過方向ごとに、動体の領域画像と通過時刻とを時系列に表示装置１０３の表示部２１０に表示させる制御を行う。当該制御は、図４の一連の処理と並行して、あるいは、図４の一連の処理の途中又は終了後におけるユーザ指示に応じて行う。ここで図６は、表示部２１０が図５に示したような通過情報を表示した画面の一例を示す図である。図６において横方向は時刻を表す。画面上部に、第１の方向に通過した動体を、画面下部に、第２の方向に通過した動体を表示している。通過情報記憶部２０８に記憶されているそれぞれの通過情報の時刻に合わせて横方向の位置を決定する。例えば、時刻１０時３３分に、第１の方向に車両が通過しており、動体の画像６０１が表示されている。

以上説明したように、本実施形態に係る情報処理装置は、撮像画像から動体を検出し、撮像画像における所定の位置を動体が通過したか否かを判定する通過判定を行い、撮像画像から所定の位置を通過した動体の領域画像を抽出する。そして、動体の領域画像を、所定の位置を通過した通過方向ごとに時系列に表示部に表示させる。これにより、通過方向に応じた動体の挙動を容易に把握することが可能となる。

（実施形態２）
実施形態１では、検出された動体の領域画像をそのまま表示する例を示したが、通過方向に応じて領域画像の一部を表示するように変更する例を説明する。

＜情報処理システムの構成及び各装置の機能構成＞
図８は、実施形態２に係る情報処理システムが含む各装置の機能構成の一例を示すブロック図である。各装置のうち情報処理装置１０２の構成が実施形態１とは異なっている。以下、主に情報処理装置１０２の機能構成について説明する。なお、ハードウェア構成については実施形態１と同様であるため、説明を省略する。

実施形態１では一般的な動体を検出対象としていたが、本実施形態では動体の中でも特に人体を検出対象とする。そのため、実施形態２に係る情報処理装置１０２は、実施形態１の動体検出部２０３に代えて人体検出部２１０１を、動体画像抽出部２０５に代えて人体画像抽出部２１０２を備えている。

人体検出部２１０１は、撮像装置１０１のカメラ２０１から画像を取得して人体を検出及び追尾し、当該人体の矩形領域の座標及び移動ベクトルを出力する。人体画像抽出部２１０２は、カメラ２０１から取得した画像から、通過判定部２０４により通過検知線を通過したと判定された人体の領域画像を抽出する。具体的には、人体検出部２１０１により出力された人体の矩形領域の座標に基づいて、人体の矩形領域を領域画像として抽出する。その際、通過判定部２０４から取得した人体の通過方向に基づいて、抽出する領域を変更する。

ここで図７は、本実施形態に係る撮像装置１０１が撮影した映像シーンの一例を示す図である。映像シーン７００において予め通過検知線７０１を指定しておくことで、情報処理装置１０２は、通過検知線７０１と交差するような第１の方向７０２、第２の方向７０３の２方向について人体の通過を検知することができる。通過判定部２０４は、人体ごとに、通過判定結果と、通過したと判定された場合には通過方向とを出力する。

図７のようなシーンの場合、人体画像抽出部２１０２は、通過判定部２０４から取得した人体の通過方向が第１の方向７０２である場合、人体の正面画像が得られる（人体の正面が観察される）ことが多いため、人体の矩形領域を領域画像として抽出する。そして、さらに当該領域画像に対して顔検出を行って顔領域の画像を抽出する。一方、通過方向が第２の方向７０３である場合、人体の背面画像（後姿画像）が得られる（背面が観察される）ことが多いため、人体検出部２１０１が出力する人体の矩形領域をそのまま領域画像として抽出する。

＜処理＞
続いて、図８のフローチャートを参照して、本実施形態に係る情報処理装置が実施する処理の手順を説明する。まず、Ｓ２２００〜Ｓ２２０３、Ｓ２２０５の各処理は、実施形態１で説明した図４のＳ７００〜Ｓ７０３、Ｓ７０５の各処理と同様であるため、説明を省略する。

Ｓ２２０４において、人体画像抽出部２１０２は、通過方向が図７に示した第１の方向７０２である場合、人体の矩形領域（全体領域）を領域画像として抽出し、さらに当該領域画像に対して顔検出を行って顔領域（一部領域）の画像を抽出する。一方、通過方向が第２の方向７０３である場合、人体検出部２１０１が出力する人体の矩形領域をそのまま領域画像として抽出する。

なお、情報処理装置１０２の表示制御部２０９は、通過情報記憶部２０８に記憶された通過情報に基づいて、通過方向ごとに、人体の領域画像（又は顔領域画像）と通過時刻とを時系列に表示装置１０３の表示部２１０に表示させる制御を行う。当該制御は、図９の一連の処理と並行して、あるいは、図９の一連の処理の途中又は終了後におけるユーザ指示に応じて行う。ここで図１０は、表示部２１０が図５に示したような通過情報を表示した画面の一例を示す図である。図１０において横方向は時刻を表す。画面上部に、第１の方向に通過した人体の顔領域画像を、画面下部に、第２の方向に通過した人体の領域画像を表示している。

以上説明したように、本実施形態に係る情報処理装置は、撮像画像から人体を検出し、撮像画像における所定の位置を人体が通過したか否かを判定する通過判定を行う。そして、撮像画像から所定の位置を通過した人体の領域画像を通過方向に応じて抽出領域を変更して抽出し、人体の領域画像又は当該領域画像の一部を、所定の位置を通過した通過方向ごとに時系列に表示部に表示させる。これにより、通過方向に応じた動体の挙動を容易に把握することが可能となるとともに、通過方向によっては、より詳細な情報を把握することが可能となる。

（実施形態３）
実施形態１、実施形態２では、抽出する動体（人体）の画像は通過時の画像である。しかし、動体（人体）が通過した瞬間の画像がボケている場合や、他の動体（人体）と重なっている場合も考えられる。そこで、本実施形態では、動体（人体）の過去の画像の中から適切な画像を選択して表示する例を説明する。また、以下では人体を対象とする実施形態２との違いを説明するが、実施形態１と同様に広く動体を対象としても適用可能である。

＜情報処理システムの構成及び各装置の機能構成＞
図１１は、実施形態３に係る情報処理システムが含む各装置の機能構成の一例を示すブロック図である。各装置のうち情報処理装置１０２の構成が実施形態２とは異なっている。以下、主に情報処理装置１０２の機能構成について説明する。なお、ハードウェア構成については実施形態２と同様であるため、説明を省略する。

実施形態３に係る情報処理装置１０２は、実施形態２の情報処理装置の構成に加えて、撮像画像記憶部３１０１をさらに備えている。撮像画像記憶部３１０１は、カメラ２０１から順次入力された画像を一定時間の過去、未来の分まで記憶する。

＜処理＞
続いて、実施形態２でも説明した図９のフローチャートを参照して、本実施形態に係る情報処理装置が実施する処理の手順を説明する。Ｓ２２００、Ｓ２２０２、Ｓ２２０３、Ｓ２２０５の各処理は実施形態２と同様であるため、説明を省略する。

Ｓ２２０１において、撮像画像記憶部３１０１は、カメラ２０１から取得した画像を記憶する。撮像画像記憶部３１０１は一定時間の過去の分まで遡って複数の画像を記憶する。

Ｓ２２０４において、人体画像抽出部３１０２は、通過判定部２０４により通過検知線を通過したと判定された人体の通過時点の前後の複数フレームの撮像画像の中から、画像のエッジ強度に基づいて撮像画像を選択する。そして、当該選択された撮像画像から領域画像を抽出する。ここで、人体の通過時点の前後の複数フレームの撮像画像とは、撮像画像記憶部３１０１に記憶されている過去の複数の画像の中の一部の画像である。例えば、画像のエッジ強度を各画像について算出してエッジ強度が最も大きい画像を選択する。これにより、焦点の合った明瞭な画像を選択することができる。また、着目する人体の矩形領域と他の人体の矩形領域との重複領域の面積を算出し、面積が最も小さい画像を選択してもよい。これにより、着目する人体が他の人体の影に隠れておらず、より広い人体領域を視認可能な画像を選択することができる。また、人体の領域画像に対して顔検出を行い、顔検出の信頼度スコアを算出し、当該信頼度スコアが最も高い画像を選択してもよい。これにより、人物の顔が適切に写っている画像を選択することができる。

以上説明したように、本実施形態に係る情報処理装置は、動体（人体）の過去の複数の画像を一定時間過去に遡って記憶しておき、それらの画像から適切な画像を選択して表示する。例えば、ボケが生じていない明瞭な画像、他の動体（人体）との重複が少ない画像、顔検出の信頼度スコアが高い画像などを選択する。これにより、ユーザの確認に適した画像を提供することが可能となる。

（実施形態４）
実施形態１〜３では、通過検知線を通過する動体（人体）の画像を表示する際、各動体（人体）を別個の動体として扱っていた。しかし、同一の動体が通過検知線を複数回通過したり、異なる通過方向へ通過したりすることがある。本実施形態では、そのような動体（人体）の挙動を適切に可視化し、容易に把握できるようにする例を説明する。

＜情報処理システムの構成及び各装置の機能構成＞
図１２は、実施形態４に係る情報処理システムが含む各装置の機能構成の一例を示すブロック図である。各装置のうち情報処理装置１０２の構成、表示装置１０３の構成が実施形態２とは異なっている。以下、主に情報処理装置１０２、表示装置１０３の機能構成について説明する。なお、ハードウェア構成については実施形態２と同様であるため、説明を省略する。

実施形態４に係る情報処理装置１０２は、図８を参照して説明した実施形態２の情報処理装置の構成に加えて、人物特徴抽出部４１０１をさらに備え、また、通過情報記憶部２０８に代えて通過情報記憶部４１０２を備えている。

人物特徴抽出部４１０１は、人体画像抽出部２１０２により抽出された人体の領域画像を用いて、個人の識別（個体識別）に用いる人物特徴ベクトルを抽出する。例えば、頭部・上半身・下半身の３つの色情報を抽出することにより、人物の服装を特徴付ける人物特徴ベクトルを抽出する。また、人体の領域画像をニューラルネットワークに入力し、中間層の出力を人体特徴ベクトルとして抽出してもよい。また、人体の領域画像を用いて身長や体型を算出して、その算出結果を人体特徴ベクトルとしてもよい。また、人体の領域画像をそのまま人体特徴ベクトルとして使用してもよい。

通過情報記憶部４１０２は、図５に示した通過情報に加えて、図１４に示すように、人物特徴抽出部４１０１により抽出された人物特徴ベクトルを通過情報としてさらに記憶する。

また、実施形態４に係る表示装置１０３は、表示部２１０に加えて、人物照合部４１０３をさらに備える。人物照合部４１０３は、通過情報記憶部４１０２に記憶されている通過情報に対して、人物特徴ベクトルによる照合を行い、通過情報間での同一人物の判定を行う。なお、人物照合部４１０３の機能は情報処理装置１０２が備えていてもよい。

＜処理＞
続いて、図１３のフローチャートを参照して、本実施形態に係る情報処理装置が実施する処理の手順を説明する。Ｓ４２００〜Ｓ４２０４の各処理は、実施形態２で図９を参照して説明したＳ２２００〜Ｓ２２０４の各処理と同様であるため、説明を省略する。

Ｓ４２０５において、人物特徴抽出部４１０１は、人体画像抽出部２１０２により抽出された人体の領域画像を用いて、個人の識別に用いる人物特徴ベクトルを抽出する。Ｓ４２０６において、通過情報記憶部４１０２は、現在時刻を通過発生時刻として、通過判定部２０４により出力された通過方向の情報と、人体画像抽出部２１０２により抽出された人体の領域画像と、人物特徴抽出部４１０１により抽出された人物特徴ベクトルとを関連付けて、通過情報として記憶する。

なお、表示装置１０３の人物照合部４１０３は、通過情報記憶部４１０２に記憶された通過情報に対し、人物特徴ベクトルによる照合を行い、通過情報間での同一人物の判定（動体同士が同一の動体であるかの判定）を行う。そして、表示部２１０は、図１５に示されるように、画面中央部に、人物照合部４１０３により同一人物であると判定された通過情報同士を線で結んで表示する。図１５では、図１０の表示に加えて、同一人物と判定された画像同士が人物ごとに異なる色の線で結ばれている。なお、色以外にも線の太さを人物ごとに変更したり、線の種類（点線、実践、一点鎖線など）を変更したり、これらを組み合わせたりしてもよい。

以上説明したように、本実施形態に係る情報処理装置（又は表示装置）は、検出した人物について通過方向ごとに時系列に表示する際に、同一人物同士を（例えば領域画像同士を線で結ぶことによって）関連付けて表示する。これにより、通過した人物がどのような行動をしたのかをより視覚的に把握することが可能となる。

（実施形態５）
実施形態１〜４では、撮像装置として単一のカメラを使用する例を説明した。これに対して、本実施形態では、複数のカメラを使用することにより動体（人体）のより適切な画像を抽出して表示する例を説明する。

ここで図１６は、本実施形態に係る複数のカメラを備える撮像装置が撮影した映像シーンの一例を示す図である。図１６（ａ）はシーンの俯瞰図である。第１のカメラ１６１、第２のカメラ１６２を使用して、通過検知線１６０１を第１の方向１６０２又は第２の方向１６０３に通過する動体（人体）の画像を撮像する。図１６（ｂ）は第１のカメラ１６１により撮像された映像シーンを示し、図１６（ｂ）は第２のカメラ１６２により撮像された映像シーンを示す。通過検知線１６０１は、空間上で同一の位置に存在するように各カメラに対して予め設定する。

第１の方向１６０２に通過した人物について、第１のカメラ１６１では後ろ姿が写っているのに対して（図１６（ｂ））、第２のカメラ１６２では正面の姿を捉えることができる（図１６（ｃ））。逆に、第２の方向１６０３に通過した人物については、第２のカメラ１６２では後ろ姿が写っているのに対して（図１６（ｃ））、第１のカメラ１６１では正面の姿を捉えることができる（図１６（ｂ））。

このような状況においては、第１の方向１６０２に通過した人物については第２のカメラ１６２の画像を、第２の方向１６０３に通過した人物については第１のカメラ１６１の画像を利用することで人物の顔がより鮮明に写った画像を表示することが可能となる。

＜情報処理システムの構成及び各装置の機能構成＞
図１７は、実施形態５に係る情報処理システムが含む各装置の機能構成の一例を示すブロック図である。各装置のうち撮像装置１０１、情報処理装置１０２の構成が実施形態２とは異なっている。以下、主に撮像装置１０１、情報処理装置１０２の機能構成について説明する。なお、ハードウェア構成については実施形態２と同様であるため、説明を省略する。

撮像装置１０１は、図１６に示したような第１のカメラ１６１、第２のカメラ１６２の２台のカメラを含む。情報処理装置１０２は、人体検出部５１０１と、人体統合部５１０２と、通過判定部５１０３と、人体画像抽出部５１０４と、通過情報記憶部２０８と、表示制御部２０９とを備えている。

人体検出部５１０１は、人体検出部２１０１と同様の機能を有しており、第１のカメラ１６１及び第２のカメラ１６２の各々から画像を取得して人体を検出及び追尾し、当該人体の矩形領域の座標及び移動ベクトルを出力する。

人体統合部５１０２は、第１のカメラ１６１及び第２のカメラ１６２の各々の画像に含まれる人体の矩形領域の座標を人体検出部５１０１から取得し、人体の矩形の幾何学的な位置関係に基づいて同一人物であるかの判定を行う。そして、全ての人体の矩形について、矩形の座標、矩形の移動ベクトル、人物を表す識別子を関連付けて、同一人物情報として出力する。同一人物であるかの判定には、例えば、特許文献２に開示の方法を用いることができる。

通過判定部５１０３は、人体統合部５１０２から取得した同一人物情報に含まれる人物を表す識別子のそれぞれについて、識別子の表す人物が通過検知線１６０１を通過したかどうかを判定する。そして、通過判定結果と、通過したと判定された場合には通過方向を示す情報（第１の方向１６０２又は第２の方向１６０３）と、人物を表す識別子とを出力する。例えば、人物を表す複数の人体の矩形から面積が最大の矩形を選択し、当該人体の矩形について、実施形態１で説明した通過判定部２０４と同じ方法により通過判定を行うことができる。

人体画像抽出部５１０４は、通過判定部５１０３により通過したと判定された人物の適切な画像を出力する。具体的には、通過判定部５１０３から取得した、通過した人物を表す識別子について、人体統合部５１０２から取得した同一人物情報から、当該人物を表す識別子と関連付けられた複数の人体の矩形の座標を取得する。それぞれの人体の矩形の座標について、その人体が含まれる画像を撮像装置１０１から取得し、人体の矩形領域の画像を領域画像として抽出し、当該領域画像に対して顔検出を行う。顔検出の結果、顔が検出された場合、領域画像から顔画像をさらに抽出する。何れの領域画像からも顔が検出されなかった場合は、領域画像のうち面積が最大の画像を出力する。

なお、本実施形態ではカメラを２台用いたる例を説明するが、３台以上備えてもよい。また、本実施形態では、撮像装置１０１と情報処理装置１０２とが分離した構成を例として示したが、例えば、複数のカメラのうち一台を主機とし、その中に情報処理装置の機能が含まれる構成であってもよい。

＜処理＞
続いて、図１８のフローチャートを参照して、本実施形態に係る情報処理装置が実施する処理の手順を説明する。まず、Ｓ５２００、Ｓ５２０６の各処理は、実施形態２で説明した図９のＳ２２００、Ｓ２２０５の各処理と同様であるため、説明を省略する。

Ｓ５２０１において、人体検出部５１０１は、第１のカメラ１６１及び第２のカメラ１６２の各々から画像を取得する。Ｓ５２０２において、人体検出部５１０１は、各カメラから取得した画像から人体を検出及び追尾し、当該人体の矩形領域の座標及び移動ベクトルを出力する。

Ｓ５２０３において、人体統合部５１０２は、第１のカメラ１６１及び第２のカメラ１６２の各々の画像に含まれる人体の矩形領域の座標を人体検出部５１０１から取得し、人体の矩形の幾何学的な位置関係に基づいて同一人物であるかの判定を行う。そして、全ての人体の矩形について、矩形の座標、矩形の移動ベクトル、人物を表す識別子を関連付けて、同一人物情報として出力する。

Ｓ５２０４において、通過判定部５１０３は、人体検出部５１０１により検出された１つ以上の人物の各々について、当該人物の矩形の座標及び移動ベクトルと、予め指定された位置における通過検知線１６０１との交差判定を行う。そして、二次元の画像上で人物が通過検知線１６０１を通過したか否かを判定する。通過検知線１６０１を通過した人物が１以上ある場合は、Ｓ５２０５へ進む。一方、通過検知線１６０１を通過した人物が無い場合には、Ｓ５２００に戻る。

Ｓ５２０５において、人体画像抽出部５１０４は、人体統合部５１０２から取得した同一人物情報に基づいて、通過判定部５１０３により通過したと判定された人物を表す識別子と関連付けられた複数の人体の矩形の座標を取得する。それぞれの人体の矩形の座標について、その人体が含まれる画像を各カメラから取得し、人体の矩形領域の画像を領域画像として抽出し、当該領域画像に対して顔検出を行う。顔が検出された場合、領域画像から顔画像をさらに抽出する。ここで図１９は、本実施形態に係る通過情報を表示部２１０に表示した画面例である。本実施形態でによれば、複数のカメラで取得された画像のうち、通過した人物の顔が写っている画像を人物の画像として通過方向ごとに時系列で表示することができる。

なお、何れの領域画像からも顔が検出されなかった場合は、領域画像のうち面積が最大の画像を出力する。これにより、顔画像に次いで通過人物を確認するのに適した画像を提示することが可能となる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０２：情報処理装置、２０３：動体検出部、２０４：通過判定部、２０５：動体画像抽出部、２０８：通過情報記憶部、２０９：表示制御部

Claims (25)

1. 撮像手段により撮像された撮像画像から動体を検出する動体検出手段と、
   前記撮像画像において指定された通過線を通過した前記動体の領域画像を抽出する画像抽出手段と、
   前記撮像画像において指定された通過線を第１方向に通過した複数の動体の各々について抽出された前記領域画像を時系列に並べて表示手段に表示させ、前記撮像画像において指定された通過線を当該第１方向と異なる第２方向に通過した複数の動体の各々について抽出された前記領域画像を時系列に並べて前記表示手段に表示させる表示制御手段とを有することを特徴とする情報処理装置。
2. 前記表示制御手段は、前記撮像画像における前記通過線を前記第１方向に通過した複数の動体の各々について抽出された前記領域画像を時系列に並べた第１表示領域と、前記撮像画像における前記通過線を前記第２方向に通過した複数の動体の各々について抽出された前記領域画像を時系列に並べた第２表示領域とを前記表示手段に表示させることを特徴とする請求項１に記載の情報処理装置。
3. 前記表示制御手段は、
   前記通過線を前記第１方向に通過した複数の動体の各々について抽出された前記領域画像を、前記通過線を通過した順に並べて表示させ、
   前記通過線を前記第２方向に通過した複数の動体の各々について抽出された前記領域画像を、前記通過線を通過した順に並べて表示させることを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記画像抽出手段は、前記通過線の通過方向に応じて前記動体の領域画像の抽出領域を変更することを特徴とする請求項１乃至３の何れか1項に記載の情報処理装置。
5. 前記画像抽出手段は、前記通過方向が前記第２方向である場合、前記動体の全体領域の領域画像を抽出し、前記通過方向が前記第１方向である場合、前記動体の一部領域の領域画像を抽出することを特徴とする請求項４に記載の情報処理装置。
6. 前記動体は人体であり、前記一部領域は顔領域であることを特徴とする請求項５に記載の情報処理装置。
7. 前記第１方向は、前記撮像画像において通過時に前記人体の正面が観察される方向であることを特徴とする請求項６に記載の情報処理装置。
8. 前記第２方向は、前記撮像画像において通過時に前記人体の背面が観察される方向であることを特徴とする請求項６又は７に記載の情報処理装置。
9. 前記画像抽出手段は、前記通過線を通過した前記動体の通過時点の前後の複数フレームの撮像画像の中から、画像のエッジ強度に基づいて撮像画像を選択し、当該選択された撮像画像から前記領域画像を抽出することを特徴とする請求項１乃至８の何れか１項に記載の情報処理装置。
10. 前記画像抽出手段は、前記通過線を通過した前記動体の通過時点の前後の複数フレームの撮像画像の中から、他の動体の領域との重複領域の面積に基づいて撮像画像を選択し、当該選択された撮像画像から前記領域画像を抽出することを特徴とする請求項１乃至８の何れか１項に記載の情報処理装置。
11. 前記画像抽出手段は、前記通過線を通過した前記動体の通過時点の前後の複数フレームの撮像画像の中から、各撮像画像に対する顔検出の信頼度スコアに基づいて撮像画像を選択し、当該選択された撮像画像から前記領域画像を抽出することを特徴とする請求項１乃至８の何れか１項に記載の情報処理装置。
12. 前記撮像画像から前記動体の個体識別のための特徴を抽出する特徴抽出手段と、
    前記特徴を用いて通過方向の異なる動体同士が同一の動体であるかを判定する判定手段と、をさらに備え、
    前記表示制御手段は、前記判定手段により同一の動体であると判定された動体同士を関連付けて前記表示手段に表示させることを特徴とする請求項１乃至１１の何れか１項に記載の情報処理装置。
13. 撮像手段により撮像された撮像画像から動体を検出する動体検出工程と、
    前記撮像画像において指定された通過線を通過した前記動体の領域画像を抽出する画像抽出工程と、
    前記撮像画像において指定された通過線を第１方向に通過した複数の動体の各々について抽出された前記領域画像を時系列に並べて表示手段に表示させ、前記撮像画像において指定された通過線を当該第１方向と異なる第２方向に通過した複数の動体の各々について抽出された前記領域画像を時系列に並べて前記表示手段に表示させる表示制御工程とを有することを特徴とする情報処理方法。
14. 前記表示制御工程において、前記撮像画像における前記通過線を前記第１方向に通過した複数の動体の各々について抽出された前記領域画像を時系列に並べた第１表示領域と、前記撮像画像における前記通過線を前記第２方向に通過した複数の動体の各々について抽出された前記領域画像を時系列に並べた第２表示領域とを前記表示手段に表示させることを特徴とする請求項１３に記載の情報処理方法。
15. 前記表示制御工程において、
    前記通過線を前記第１方向に通過した複数の動体の各々について抽出された前記領域画像を、前記通過線を通過した順に並べて表示させ、
    前記通過線を前記第２方向に通過した複数の動体の各々について抽出された前記領域画像を、前記通過線を通過した順に並べて表示させることを特徴とする請求項１３又は１４に記載の情報処理方法。
16. 前記画像抽出工程において、前記通過線の通過方向に応じて前記動体の領域画像の抽出領域を変更することを特徴とする請求項１３乃至１５の何れか１項に記載の情報処理方法。
17. 前記画像抽出工程において、前記通過方向が前記第２方向である場合、前記動体の全体領域の領域画像を抽出し、前記通過方向が前記第１方向である場合、前記動体の一部領域の領域画像を抽出することを特徴とする請求項１６に記載の情報処理方法。
18. 前記動体は人体であり、前記一部領域は顔領域であることを特徴とする請求項１７に記載の情報処理方法。
19. 前記第１方向は、前記撮像画像において通過時に前記人体の正面が観察される方向であることを特徴とする請求項１８に記載の情報処理方法。
20. 前記第２方向は、前記撮像画像において通過時に前記人体の背面が観察される方向であることを特徴とする請求項１８又は１９に記載の情報処理方法。
21. 前記画像抽出工程において、前記通過線を通過した前記動体の通過時点の前後の複数フレームの撮像画像の中から、画像のエッジ強度に基づいて撮像画像を選択し、当該選択された撮像画像から前記領域画像を抽出することを特徴とする請求項１３乃至２０の何れか１項に記載の情報処理方法。
22. 前記画像抽出工程において、前記通過線を通過した前記動体の通過時点の前後の複数フレームの撮像画像の中から、他の動体の領域との重複領域の面積に基づいて撮像画像を選択し、当該選択された撮像画像から前記領域画像を抽出することを特徴とする請求項１３乃至２０の何れか１項に記載の情報処理方法。
23. 前記画像抽出工程において、前記通過線を通過した前記動体の通過時点の前後の複数フレームの撮像画像の中から、各撮像画像に対する顔検出の信頼度スコアに基づいて撮像画像を選択し、当該選択された撮像画像から前記領域画像を抽出することを特徴とする請求項１３乃至２０の何れか１項に記載の情報処理方法。
24. 前記撮像画像から前記動体の個体識別のための特徴を抽出する特徴抽出工程と、
    前記特徴を用いて通過方向の異なる動体同士が同一の動体であるかを判定する判定工程と、をさらに備え、
    前記表示制御工程において、前記判定工程において同一の動体であると判定された動体同士を関連付けて前記表示手段に表示することを特徴とする請求項１３乃至２３の何れか１項に記載の情報処理方法。
25. コンピュータを、請求項１乃至１２の何れか１項に記載の情報処理装置の各手段として機能させるためのプログラム。

Images