JP5248236B2

JP5248236B2 - 画像処理装置および画像処理方法

Info

Publication number: JP5248236B2
Application number: JP2008206099A
Authority: JP
Inventors: 祥裕中野渡
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2008-08-08
Filing date: 2008-08-08
Publication date: 2013-07-31
Anticipated expiration: 2028-08-08
Also published as: JP2010044448A

Description

本発明は、人物捜査を支援する等のために、監視カメラで撮影した画像データを処理する画像処理装置および画像処理方法に関する。

近年、監視カメラで撮影した画像データを記録する監視カメラシステムが広く普及し、記録された画像データは人物捜査等に役立てられる。監視カメラシステムに人物の顔画像を検索キーとして用意することにより、ユーザは、検索キーを用いて被捜索者を設定すれば、その人物が監視対象エリア内に現れたこと、あるいは、その履歴を抽出すること等を行うことができる。

最近の監視カメラシステムは、記録可能な画像データの容量が大規模なものとなっているため、大量の画像データの中から、被捜索者およびその被捜索者に関連のある人物を特定し、これらの人物に関する必要な情報を短時間で抽出することが求められる。

人物の特定には、顔認証技術が利用される（非特許文献１参照）。特許文献１には、顔認証技術等を用いて、監視カメラに撮影された画像（以下、「撮影画像」という）の中に映っている複数の人物の中から被捜索者を捜し出す技術が開示されている。

ただし、特許文献１においては、被捜索者とその被捜索者とともに撮影画像に映っている人物（以下、「関係者」という）との関連性に関する情報を抽出することについては開示されていない。

被捜索者とその関係者との関連性については、例えば、撮影画像において当該２名が向き合っているか否かにより知ることができる。そして、当該２名が向き合っているか否かを推定するために、各人物の顔向きを推定する顔向き推定技術（非特許文献２）と人物間の位置関係を検出するための距離測定技術とが用いられる。
特開２００５−２３４７６５号公報 Weak Orthogonalization of Face and Perturbation, CVPR 1998, Kenji Nagao, Masaki Sohma Real-Time Combined 2D+3D Active Appearance Models J. Xiao, S. Baker, I. Matthews, and T. Kanade Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, June, 2004

しかしながら、従来の距離測定技術は、２次元的なものであるため、２次元画像上で顔が向き合っていると推定されても、実際には向き合っていない場合もあり、被捜索者の関係者に関する情報に用いるには精度が不十分である。

本発明はかかる点に鑑みてなされたものであり、被捜索者の関係者に関する情報を高い精度で表示することができる画像処理装置および画像処理方法を提供することを目的とする。

本発明の画像処理装置は、人物が映っている領域である人物領域を撮影画像から検出し、前記人物領域に対して固有ＩＤを割り当て、顔位置の画像データを切り出す人物切り出し手段と、前記顔位置の画像データから第１特徴量を抽出する人物特定情報抽出手段と、各フレームの撮影画像に映っている人物が同一であるか否かを前記第１特徴量に基づいて判断し、同一人物に同一の追跡ＩＤを割り当て、前記固有ＩＤ、前記追跡ＩＤおよび前記第１特徴量からなる人物特定情報に前記顔位置の画像データを対応付けて第１のデータベースに格納する人物追跡手段と、前記人物領域に係る人物の３次元空間上での顔位置を求める位置情報抽出手段と、前記顔位置の画像データの顔向きを推定する顔向き推定手段と、前記人物の３次元空間上での顔位置と前記顔向きとを用いて同一フレームの撮影画像に映っている人物間で互いに向かい合っているか否かを決定し、決定結果に応じて属性値を割り当て、それぞれの人物の固有ＩＤおよび属性値を紐付けて第２のデータベースに格納する人物間相対情報抽出手段と、を具備する構成を採る。

本発明の画像処理方法は、人物が映っている領域である人物領域を撮影画像から検出し、前記人物領域に対して固有ＩＤを割り当て、顔位置の画像データを切り出す人物切り出し工程と、前記顔位置の画像データから第１特徴量を抽出する人物特定情報抽出工程と、各フレームの撮影画像に映っている人物が同一であるか否かを前記第１特徴量に基づいて判断し、同一人物に同一の追跡ＩＤを割り当て、前記固有ＩＤ、前記追跡ＩＤおよび前記第１特徴量からなる人物特定情報に前記顔位置の画像データを対応付けて第１のデータベースに格納する人物追跡工程と、前記人物領域に係る人物の３次元空間上での顔位置を求める位置情報抽出工程と、前記顔位置の画像データの顔向きを推定する顔向き推定工程と、前記人物の３次元空間上での顔位置と前記顔向きとを用いて同一フレームの撮影画像に映っている人物間で互いに向かい合っているか否かを決定し、決定結果に応じて属性値を割り当て、それぞれの人物の固有ＩＤおよび属性値を紐付けて第２のデータベースに格納する人物間相対情報抽出工程と、を具備する。

本発明によれば、検索キーによって被捜索者を特定し、被捜索者の関係者に関する情報を自動的に抽出し、表示することができる。

さらに、本発明によれば、被捜索者とその関係者とが向き合っているか否かを３次元的に解析することができるので、被捜索者の関係者に関する情報を高い精度で表示することができる。

以下、本発明の実施の形態について図面を参照して詳細に説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理装置の構成を示すブロック図である。図１に示す画像処理装置１００は、人物切り出し部１０１と、人物特定情報抽出部１０２と、人物追跡部１０３と、人物検索データベース１０４と、位置情報抽出部１０５と、顔向き推定部１０６と、人物間相対情報抽出部１０７と、人物関連性データベース１０８と、人物設定部１０９と、人物推定部１１０と、関係者抽出部１１１と、人物サムネイル抽出部１１２と、から主に構成される。

人物切り出し部１０１は、撮影画像から人物が映っている領域（以下、「人物領域」という）を検出し、検出した人物領域に対して固有ＩＤを割り当てる。なお、人物領域の検出は、既存の方法を用いることにより実現される。例えば、人物切り出し部１０１は、入力した撮影画像の過去フレームの画像データ（背景情報）と現フレームの画像データとの差分に基づいて人物領域を検出する。

また、人物切り出し部１０１は、検出した人物領域における人物の顔位置を検出し、顔位置の画像データを切り出す。そして、人物切り出し部１０１は、顔位置の画像データおよび固有ＩＤを人物特定情報抽出部１０２および顔向き推定部１０６に出力する。また、人物切り出し部１０１は、固有ＩＤおよび人物領域の位置を示す情報を位置情報抽出部１０５に出力する。

人物特定情報抽出部１０２は、人物切り出し部１０１から出力された顔位置の画像データについて顔認証用の特徴量を抽出する。なお、顔認証用の特徴量の抽出は、上記の非特許文献１に記載された方法等、既存の方法を用いることにより実現される。そして、人物特定情報抽出部１０２は、顔位置の画像データ、固有ＩＤおよび特徴量を人物追跡部１０３に出力する。

人物追跡部１０３は、複数フレームに渡って人物の追跡を行い、人物特定情報抽出部１０２で抽出された特徴量に基づいて同一人物であるか否かを判断し、同一人物に対してフレーム間で同じＩＤ（以下、「追跡ＩＤ」という）を割り当てる。なお、固有ＩＤ、追跡ＩＤおよび特徴量を合わせて人物特定情報とする。人物追跡部１０３は、人物特定情報および顔位置の画像データを対応付けて人物検索データベース１０４に格納する。

位置情報抽出部１０５は、撮影画像の中から、人物切り出し部１０１で検出された人物領域に係る人物の３次元空間上での顔位置を求める。そして、位置情報抽出部１０５は、各人物の３次元空間上での顔位置を示す情報を固有ＩＤとともに人物間相対情報抽出部１０７に出力する。なお、位置情報抽出部１０５の処理の詳細については後述する。

顔向き推定部１０６は、人物切り出し部１０１で検出された顔位置の画像データについて、ワールド座標系（横軸ｘ、縦軸ｙ、奥行きｚ）における顔向き（法線ベクトル）を推定する。そして、顔向き推定部１０６は、推定した各人物の顔向きを示す情報を固有ＩＤとともに人物間相対情報抽出部１０７に出力する。なお、顔が見える場合の顔向きの推定は、非特許文献２に記載された方法等、既存の方法を用いることにより実現される。また、顔向き推定部１０６は、顔が見えず、顔検出を行うことができない場合には、カメラの光軸に沿って、カメラとは反対方向を向いているものと推定する。

人物間相対情報抽出部１０７は、位置情報抽出部１０５で決定した３次元空間上での顔位置と顔向き推定部１０６で推定した顔向きとを用いて同一フレームの撮影画像に映っている人物間で向かい合っているか否かを決定し、決定結果に応じて属性値を割り当てる。例えば、人物間相対情報抽出部１０７は、２人の人物が向かい合っていると決定した場合に属性値「０」を割り当て、２人の人物が向かい合っていないと決定した場合に属性値「１」を割り当てる。

なお、顔が見えていない人物は正確な顔向きを決定することができない。そこで、人物間相対情報抽出部１０７は、顔が見えていない場合には、垂直角、鉛直角ともに±９０度までを関連付ける対象範囲とする。一方、人物間相対情報抽出部１０７は、顔が見えている場合には、Ｙａｗ角、Ｐｉｔｃｈ角に基づいて、関連付ける対象範囲内にあるか否かを判定する。そして、人物間相対情報抽出部１０７は、２人の人物がそれぞれ関連付ける対象範囲内にいる場合、向き合っているものと推定する。

そして、人物間相対情報抽出部１０７は、同一フレームの撮影画像に映っている人物間について、それぞれの人物の固有ＩＤおよび属性値を紐付けて、人物関連性データベース１０８に格納する。なお、人物間相対情報抽出部１０７の処理の詳細については後述する。

人物設定部１０９は、人物の顔画像を検索キーとして用意し、ユーザの検索キー操作による指示に基づいて、ユーザが検索したい人物（被捜索者）を設定し、その顔認証用の特徴量を抽出する。なお、検索キーとして用意される人物の顔画像は、人物検索データベース１０４に既に登録されているものであっても良く、新たに用意されたものであっても良い。そして、人物設定部１０９は、設定した人物の顔認証用の特徴量を人物推定部１１０に出力する。

人物推定部１１０は、人物設定部１０９から出力された特徴量と人物検索データベース１０４の特徴量との照合を行い、特徴量が最も近い人物をユーザが検索したい人物として推定する。そして、人物推定部１１０は、推定した人物の追跡ＩＤと同一の追跡ＩＤを持つ全ての人物特定情報を関係者抽出部１１１に出力する。また、人物推定部１１０は、推定した人物の固有ＩＤを人物サムネイル抽出部１１２に出力する。

関係者抽出部１１１は、人物推定部１１０から出力された各人物特定情報の固有ＩＤと紐付けられている他方の固有ＩＤを人物関連性データベース１０８の中から選択する。そして、関係者抽出部１１１は、選択した固有ＩＤの中から、これに対応する属性値が、ユーザのキー入力による関連性に関する条件と一致するものを抽出する。例えば、関係者抽出部１１１は、関連性の条件が「友好」である場合には、２人の人物が向き合っていることを示す属性値「０」である固有ＩＤを抽出し、関連性の条件が「敵対」である場合には、２人の人物が向き合っていないことを示す属性値「１」である固有ＩＤを抽出する。そして、関係者抽出部１１１は、抽出した固有ＩＤを人物サムネイル抽出部１１２に出力する。

人物サムネイル抽出部１１２は、人物設定部１０９で設定した人物の固有ＩＤに対応付けられた顔位置の画像データを人物検索データベース１０４の中から抽出し、検索画面上の被捜索者の欄にサムネイル表示する。また、人物サムネイル抽出部１１２は、関係者抽出部１１１で抽出された関係者の固有ＩＤに対応付けられた顔位置の画像データを人物検索データベース１０４の中から抽出し、検索画面上の関係者の欄にサムネイル表示する。なお、人物サムネイル抽出部１１２は、検索画面上に、ユーザのキー入力による関連性に関する条件を表示しても良い。

次に、位置情報抽出部１０５が行う処理について数式を用いて詳細に説明する。まず、位置情報抽出部１０５は、あらかじめ、３次元で表される点を、画像上で観測される点に変換するための式（１）の透視投影行列Ｐを、カメラキャリブレーションにより算出しておく。なお、式（１）では、Ｐが３×４の行列である場合を示す。

次に、位置情報抽出部１０５は、人物切り出し部１０１で検出された人物領域の接地点の検出を行う。具体的には、位置情報抽出部１０５は、画面上のｙ軸を鉛直上向きとし、人物領域の最下部を接地点とする。

次に、位置情報抽出部１０５は、以下の式（２）において、画像上の接地点（ｕ，ｖ）およびＹ＝０を代入し、Ｘ，Ｚについて解き、接地面上の座標（Ｘ，Ｚ）を求める。これにより、位置情報抽出部１０５は、接地面上の３次元空間における座標を取得することができる。

次に、位置情報抽出部１０５は、上記式（２）において、求めた接地面上の座標（Ｘ，Ｚ）と画像上の顔位置（ｕ，ｖ）を代入し、Ｙについて解くことにより、人物の顔中心の３次元高さを求める。

そして、位置情報抽出部１０５は、接地面上の座標（Ｘ，Ｚ）と人物の顔中心の３次元高さＹから、３次元空間上での顔位置（Ｘ，Ｙ，Ｚ）を抽出する。

次に、人物間相対情報抽出部１０７が行う処理について図２を用いて詳細に説明する。

まず、人物間相対情報抽出部１０７は、同一フレームの撮影画像に映っている人物の中から２人（図２では、人物Ａおよび人物Ｂ）を選択し、当該２人の、位置情報抽出部１０５で検出された接地点（Ｘ_Ａ，０，Ｚ_Ａ）、（Ｘ_Ｂ，０，Ｚ_Ｂ）を結ぶ（直線２０１）。

次に、人物間相対情報抽出部１０７は、顔向きを判定する人物Ａの顔中心（Ｘ_Ａ，Ｙ_Ａ，Ｚ_Ａ）と対象となる人物Ｂの顔中心（Ｘ_Ｂ，Ｙ_Ｂ，Ｚ_Ｂ）とを通る水平な軸を設定する（直線２０２）。

次に、人物間相対情報抽出部１０７は、人物Ａの顔中心（Ｘ_Ａ，Ｙ_Ａ，Ｚ_Ａ）を中心とした３軸の直交な直線２０２，２０３，２０４を新たな座標系とし、顔向き推定時に定義したワールド座標系からこの新たな座標系への回転量を求める。なお、直線２０３は、（Ｘ_Ａ，Ｙ_Ａ，Ｚ_Ａ）と（Ｘ_Ａ，０，Ｚ_Ａ）とを通る直線である。直線２０４は、（Ｘ_Ａ，Ｙ_Ａ，Ｚ_Ａ）を通り、直線２０２および２０３と直交する直線である。

次に、人物間相対情報抽出部１０７は、顔向き推定部１０６で推定した人物Ａの顔向き（法線ベクトル）を新たな座標系に変換し、直線２０２に対するＹａｗ角、Ｐｉｔｃｈ角を求める。

そして、人物間相対情報抽出部１０７は、Ｙａｗ角、Ｐｉｔｃｈ角に基づいて、人物Ｂの顔が、あらかじめ定義した人物Ａの視野範囲内にあるか否かを判定する。人物Ｂの顔が人物Ａの視野範囲内にあれば、人物間相対情報抽出部１０７は、人物Ａが人物Ｂの方を向いていると推定する。

次に、本実施の形態における、撮影画像から必要な情報を作成してデータベースに登録するまでの処理の流れについて、図３のフロー図を用いて説明する。

まず、ステップＳＴ３０１において、人物切り出し部１０１が、撮影画像から第ｉ人物の顔位置の画像データを切り出す（ｉは自然数であり、固有ＩＤに対応する）。

次に、ステップＳＴ３０２において、人物特定情報抽出部１０２が、第ｉ人物の顔位置の画像データについて顔認証用の特徴量を抽出する。

次に、ステップＳＴ３０３において、人物追跡部１０３が、複数フレームに渡って第ｉ人物の追跡を行い、追跡結果に基づいて追跡ＩＤを割り当てる。

次に、ステップＳＴ３０４において、人物追跡部１０３が、第ｉ人物について、固有ＩＤ、追跡ＩＤおよび特徴量からなる人物特定情報と、顔位置の画像データとを対応付けて人物検索データベース１０４に登録する。

次に、ステップＳＴ３０５において、位置情報抽出部１０５が、第ｉ人物の顔の３次元位置を抽出し、ステップＳＴ３０６において、顔向き推定部１０６が、第ｉ人物の顔向きを推定する。なお、ステップＳＴ３０５とステップＳＴ３０６の処理は、並行して行われても良い。

そして、撮影画像中にまだ切り出していない人物が存在する場合には（ステップＳＴ３０７：ＹＥＳ）、ＳＴ３０１からＳＴ３０６のステップを繰り返す。

一方、撮影画像中の全ての人物を切り出した場合には（ステップＳＴ３０７：ＮＯ）、ステップＳＴ３０８において、人物間相対情報抽出部１０７が、_ＮＣ_２の人物の組み合わせについて、向かい合っているか否かを判断し、属性値ｋ（ｋは「０」または「１」）を割り当てる。

そして、ステップＳＴ３０９において、人物間相対情報抽出部１０７が、各組み合わせについて、第ｉ人物の固有ＩＤ、第ｊ人物の固有ＩＤ（ｊは自然数であり、ｉ≠ｊ、固有ＩＤに対応する）および属性値ｋを対応付けて人物関連性データベース１０８に登録する。

次に、本実施の形態における、データベースに登録された情報を使って被捜索者およびその関係者を検索して表示するまでの処理の流れについて、図４のフロー図を用いて説明する。

まず、ステップＳＴ４０１において、ユーザが、画像処理装置１００に対して、検索キー操作により検索したい人物を設定し、キー入力操作により関連性に関する条件を設定する。

次に、ステップＳＴ４０２において、人物設定部１０９が、ユーザが検索したい人物の顔認証用の特徴量を抽出する。

次に、ステップＳＴ４０３において、人物推定部１１０が、検索キー操作により特定された人物と特徴量が最も近い第ｍ_ｉ人物（ｍは自然数であり、追跡ＩＤに対応する、ｉは自然数であり、固有ＩＤに対応する）を人物検索データベース１０４の中から取得する。

次に、ステップＳＴ４０４において、関係者抽出部１１１が、ステップＳＴ４０３で取得された第ｍ_ｉ人物と属性値ｋで関連する第ｎ_ｊ人物（ｎは自然数であり、追跡ＩＤに対応する、ｊは自然数であり、ｉの固有ＩＤに紐付けられた固有ＩＤに対応する）を人物関連性データベース１０８の中から取得する。

次に、ステップＳＴ４０５において、人物サムネイル抽出部１１２が、第ｍ_ｉ人物の顔位置の画像データを人物検索データベース１０４から抽出し、画面上の被捜索者の欄にサムネイル表示する。また、人物サムネイル抽出部１１２が、第ｎ_ｊ人物の顔位置の画像データを人物検索データベース１０４から抽出し、画面上の関係者の欄にサムネイル表示する。

次に、本実施の形態における、撮影画像、データベースに登録される情報、および、検索画面の表示画像の関係について、図５から図８を用いて具体的に説明する。

図５は、画像処理装置１００に入力される撮影画像の一例を示す図である。図５の例では、フレーム１およびフレーム２の２つの撮影画像が示されている。

画像処理装置１００は、各フレームから人物領域５１１、５１２、５２１、５２２を検出し、検出した各人物領域に対して固有ＩＤ（Ｆ１００１、Ｆ１００２、Ｆ２００１、Ｆ２００２）を割り当てる。

さらに、画像処理装置１００は、各人物領域の中から顔位置の画像データ（５６１、５６２、５７１、５７２）を切り出し、各顔位置の画像データについて顔認証用の特徴量を抽出する。

また、画像処理装置１００は、複数フレームに渡って人物の追跡を行い、人物領域毎に追跡ＩＤ（Ｔ１００１、Ｔ１００２、Ｔ２００２）を割り当てる。なお、同一人物には、同一の追跡ＩＤが割り当てられる。

また、画像処理装置１００は、各人物について、３次元空間上での顔位置を求め、顔向きを推定する。そして、画像処理装置１００は、３次元空間上での顔位置と顔向きとに基づいて同一フレームの撮影画像に映っている人物間で向かい合っているか否かを決定し、決定結果に応じて属性値を割り当てる。図５の例では、フレーム１の撮影画像に映っている人物５１１と人物５１２とは向かい合っているため属性値「０」を割り当てる。同様に、フレーム２の撮影画像に映っている人物５２１と人物５２２とは向かい合っているため属性値「０」を割り当てる。

そして、画像処理装置１００は、図６に示すように、人物検索データベース１０４の中に、人物毎に、固有ＩＤ、追跡ＩＤおよび特徴量からなる人物特定情報と、顔位置の画像データとを対応づけて登録する。

また、画像処理装置１００は、図７に示すように、人物関連性データベース１０８の中に、同一フレームの撮影画像に映っている２人の人物間毎に、各人物の固有ＩＤと属性値とを対応づけて登録する。

そして、画像処理装置１００は、ユーザから被捜索者の検索を指示された場合、被捜索者およびその関係者の顔位置の画像データを人物検索データベース１０４の中から抽出し、図８に示すように、検索画面上の所定の欄にサムネイル表示する。なお、図８の例では、固有ＩＤがＦ１００１が被捜索者の場合が示されている。

このように、本実施の形態によれば、検索キーによって被捜索者を特定し、被捜索者の関係者に関する情報を自動的に抽出し、表示することができる。

さらに、本実施の形態によれば、被捜索者とその関係者とが向き合っているか否かを３次元的に解析することができるので、被捜索者の関係者に関する情報の精度を向上させることができる。

（実施の形態２）
図９は、本発明の実施の形態２に係る画像処理装置の構成を示すブロック図である。なお、図９に示す画像処理装置９００において、図１に示した画像処理装置１００と共通する構成部分については、図１と共通する符号を付してその説明を省略する。

図９に示す画像処理装置９００は、図１に示した画像処理装置１００に対して、累積時間計算部９０１を追加した構成を採る。また、図９に示す画像処理装置９００の人物サムネイル抽出部９０２の処理内容が、図１に示した画像処理装置１００の人物サムネイル抽出部１１２のものと異なる。

人物推定部１１０は、推定した人物の固有ＩＤを人物サムネイル抽出部９０２に出力する。関係者抽出部１１１は、抽出した固有ＩＤを累積時間計算部９０１に出力する。

累積時間計算部９０１は、関係者抽出部１１１で抽出された関係者の固有ＩＤに対応付けられた追跡ＩＤを人物検索データベース１０４の中から抽出し、当該追跡ＩＤを有するフレーム数を関係者の累積時間として算出し、関係者の固有ＩＤと累積時間を人物サムネイル抽出部９０２に出力する。

人物サムネイル抽出部９０２は、人物設定部１０９で設定した人物の固有ＩＤに対応付けられた顔位置の画像データを人物検索データベース１０４の中から抽出し、検索画面上の被捜索者の欄にサムネイル表示する。また、人物サムネイル抽出部９０２は、累積時間計算部９０１から出力された関係者の固有ＩＤに対応付けられた顔位置の画像データを人物検索データベース１０４の中から抽出し、検索画面上の関係者の欄にサムネイル表示する。さらに、人物サムネイル抽出部９０２は、累積時間計算部９０１から出力された関係者の累積時間を検索画面上の累積時間の欄にサムネイル表示する。なお、人物サムネイル抽出部９０２は、検索画面上に、ユーザのキー入力による関連性に関する条件を表示しても良い。

次に、本実施の形態における、データベースに登録された情報を使って被捜索者およびその関係者を検索して表示するまでの処理の流れについて、図１０のフロー図を用いて説明する。なお、図１０に示すフロー図において、図４に示したフロー図と共通するステップについては、図４と共通する符号を付してその説明を省略する。

図１０に示すフロー図は、ステップＳＴ４０１からステップＳＴ４０４までは、図４に示したフロー図と同一である。

ステップＳＴ４０４の次に、ステップＳＴ１００１において、累積時間計算部９０１が、ステップＳＴ４０４で取得された第ｎ_ｊ人物が記録されている累積時間を算出する。

次に、ステップＳＴ１００２において、人物サムネイル抽出部９０２が、第ｍ_ｉ人物の顔位置の画像データを人物検索データベース１０４から抽出し、画面上の被捜索者の欄にサムネイル表示する。また、人物サムネイル抽出部９０２が、第ｎ_ｊ人物の顔位置の画像データを人物検索データベース１０４から抽出し、画面上の関係者の欄にサムネイル表示する。さらに、人物サムネイル抽出部９０２が、累積時間を検索画面上の累積時間の欄にサムネイル表示する。

次に、本実施の形態における検索画面の表示画像について、図１１を用いて具体的に説明する。なお、本実施の形態における、撮影画像およびデータベースに登録される情報は、実施の形態１と同一であるので、説明を省略する。

画像処理装置９００は、ユーザから被捜索者の検索を指示された場合、被捜索者およびその関係者の顔位置の画像データを人物検索データベース１０４の中から抽出し、図１１に示すように、検索画面上の所定の欄にサムネイル表示する。さらに、画像処理装置９００は、関係者が記録されている累積時間を検索画面上の所定の欄にサムネイル表示する。

このように、本実施の形態によれば、被捜索者の関係者に関する情報として累積時間を自動的に計算して表示することができるので、さらに、被捜索者の関係者に関する情報の精度を向上させることができる。

なお、上記各実施の形態では、人物検索データベース１０４に顔位置の画像データを格納する場合について説明したが、本発明はこれに限られず、人物領域全体の画像データを人物検索データベース１０４に格納しても良い。さらに、検索画面上に人物領域全体の画像データを表示しても良い。

また、上記各実施の形態では、属性値が、２人の人物が向かい合っている場合と、２人の人物が向かい合っていない場合の２種類である例を用いて説明したが、本発明はこれに限られず、属性値を３種類以上用意することもできる。例えば、２人の人物が向かい合っている場合に属性値「０」、２人の人物のうち第ｉ人物が第ｊ人物の方を向いているが第ｊ人物が第ｉ人物の方を向いていない場合に属性値「１」、２人の人物とも相手の方を向いていない場合には属性値「２」を割り当てる、ようにしても良い。

本発明は、監視カメラで撮影した画像データを処理し、所望の画像データを表示する画像処理装置に用いるに好適である。

本発明の実施の形態１に係る画像処理装置の構成を示すブロック図本発明の実施の形態１に係る画像処理装置の人物間相対情報抽出部が行う処理を説明する図本発明の実施の形態１に係る画像処理装置における撮影画像から必要な情報を作成してデータベースに登録するまでの処理を示すフロー図本発明の実施の形態１に係る画像処理装置におけるデータベースに登録された情報を使って被捜索者およびその関係者を検索して表示するまでの処理を示すフロー図本発明の実施の形態１に係る画像処理装置に入力される撮影画像の一例を示す図本発明の実施の形態１に係る画像処理装置の人物検索データベースに登録される情報の一例を示す図本発明の実施の形態１に係る画像処理装置の人物関連性データベースに登録される情報の一例を示す図本発明の実施の形態１に係る画像処理装置が表示する検索画面の一例を示す図本発明の実施の形態２に係る画像処理装置の構成を示すブロック図本発明の実施の形態２に係る画像処理装置におけるデータベースに登録された情報を使って被捜索者およびその関係者を検索して表示するまでの処理を示すフロー図本発明の実施の形態２に係る画像処理装置が表示する検索画面の一例を示す図

符号の説明

１００、９００画像処理装置
１０１人物切り出し部
１０２人物特定情報抽出部
１０３人物追跡部
１０４人物検索データベース
１０５位置情報抽出部
１０６顔向き推定部
１０７人物間相対情報抽出部
１０８人物関連性データベース
１０９人物設定部
１１０人物推定部
１１１関係者抽出部
１１２、９０２人物サムネイル抽出部
９０１累積時間計算部

Claims

少なくとも２人の人物が映っている撮影画像から前記各々の人物の顔位置の画像データを切り出す人物切り出し手段と、
前記各々の人物の顔位置の画像データの３次元空間上での顔位置を求める位置情報抽出手段と、
前記顔位置の画像データの顔向きを推定する顔向き推定手段と、
前記３次元空間上での各々の顔位置を結ぶ直線を求め、前記直線と前記推定された顔向きから各々の人物が互いの視野範囲にあるか否かを判定し、前記各々の人物の視野範囲に相手の顔があると判定されたとき前記人物同士が互いに向かい合っていると推定する人物間相対情報抽出手段と、
を具備する画像処理装置。
前記位置情報抽出手段は、３次元で表される点を画像上で観測される点に変換するための透視投影変換行列を求め、前記人物の領域の最下部を接地点として求め、前記透視投影変換行列を用いて前記接地点に基づいて接地面上の座標を求め、前記接地面上の座標と前記画像上の顔位置に基づいて、前記人物の顔中心の３次元高さを求め、前記接地面上の座標と前記人物の顔中心の３次元高さから３次元空間上での顔位置を抽出する、
請求項１に記載の画像処理装置。
前記人物間相対情報抽出手段は、同一フレームの撮影画像に映っている人物の中から２人を選択し、顔向きを判定する第１人物の顔中心と対象となる第２人物の顔中心とを通る第１の直線を取得し、前記第１人物の顔中心と接地点とを通る第２の直線を取得し、前記第１の直線および前記第２の直線と直交する第３の直線を取得し、前記顔向き推定手段が推定した第１人物の顔向きを、前記第１の直線、前記第２の直線および前記第３の直線に基づく座標系に変換し、前記第１の直線に対するＹａｗ角およびＰｉｔｃｈ角に基づいて前記第１人物の視野範囲に前記第２の人物があるか否かを判定し、前記第２の人物が前記視野範囲に入っているとき、前記第１の人物が前記第２人物の方を向いていると推定する、
請求項２に記載の画像処理装置。
人物が映っている領域である人物領域を撮影画像から検出し、前記人物領域に対して固有ＩＤを割り当て、顔位置の画像データを切り出す人物切り出し手段と、
前記顔位置の画像データから第１特徴量を抽出する人物特定情報抽出手段と、
前記固有ＩＤおよび前記第１特徴量からなる人物特定情報に前記顔位置の画像データを対応付けて第１のデータベースに格納する人物追跡手段と、
前記人物領域に係る人物の３次元空間上での顔位置を求める位置情報抽出手段と、
前記顔位置の画像データの顔向きを推定する顔向き推定手段と、
前記人物の３次元空間上での顔位置と前記顔向きとを用いて同一フレームの撮影画像に映っている人物間で互いに向かい合っているか否かを決定し、決定結果に応じて属性値を割り当て、それぞれの人物の固有ＩＤおよび属性値を紐付けて第２のデータベースに格納する人物間相対情報抽出手段と、
被捜索者の第２特徴量を設定する人物設定手段と、
前記第１特徴量と前記第２特徴量との照合結果に基づいて、前記撮影画像に映っている人物の中から前記被捜索者を推定し、前記被捜索者の固有ＩＤと同一の固有ＩＤを持つ全ての人物特定情報を前記第１のデータベースから取得する人物推定手段と、
前記人物推定手段が取得した全ての人物特定情報の固有ＩＤと紐付けられている他方の固有ＩＤを前記第２のデータベースの中から選択し、選択した固有ＩＤの中からこれに対応する属性値が関連性に関する条件と一致するものを前記被捜索者の関係者の固有ＩＤとして抽出する関係者抽出手段と、
前記被捜索者の固有ＩＤに対応する顔位置の画像データおよび前記関係者の固有ＩＤに対応する顔位置の画像データを画面に表示させる表示手段と、
を具備する画像処理装置。
前記関係者の固有ＩＤに対応付けられた追跡ＩＤを有するフレーム数を前記関係者の累積時間として算出する累積時間計算手段をさらに具備し、
前記表示手段は、前記関係者の累積時間を前記画面に表示させる、
請求項４に記載の画像処理装置。
少なくとも２人の人物が映っている撮影画像から前記各々の人物の顔位置の画像データを切り出す人物切り出し工程と、
前記各々の人物の顔位置の画像データの３次元空間上での顔位置を求める位置情報抽出工程と、
前記顔位置の画像データの顔向きを推定する顔向き推定工程と、
前記３次元空間上での各々の顔位置を結ぶ直線を求め、前記直線と前記推定された顔向きから各々の人物が互いの視野範囲にあるか否かを判定し、前記各々の人物の視野範囲に相手の顔があると判定されたとき前記人物同士が互いに向かい合っていると推定する人物間相対情報抽出工程と、
を具備する画像処理方法。
人物が映っている領域である人物領域を撮影画像から検出し、前記人物領域に対して固有ＩＤを割り当て、顔位置の画像データを切り出す人物切り出し工程と、
前記顔位置の画像データから第１特徴量を抽出する人物特定情報抽出工程と、
前記固有ＩＤおよび前記第１特徴量からなる人物特定情報に前記顔位置の画像データを対応付けて第１のデータベースに格納する人物追跡工程と、
前記人物領域に係る人物の３次元空間上での顔位置を求める位置情報抽出工程と、
前記顔位置の画像データの顔向きを推定する顔向き推定工程と、
前記人物の３次元空間上での顔位置と前記顔向きとを用いて同一フレームの撮影画像に映っている人物間で互いに向かい合っているか否かを決定し、決定結果に応じて属性値を割り当て、それぞれの人物の固有ＩＤおよび属性値を紐付けて第２のデータベースに格納する人物間相対情報抽出工程と、
被捜索者の第２特徴量を設定する人物設定工程と、
前記第１特徴量と前記第２特徴量との照合結果に基づいて、前記撮影画像に映っている人物の中から前記被捜索者を推定し、前記被捜索者の固有ＩＤと同一の固有ＩＤを持つ全ての人物特定情報を前記第１のデータベースから取得する人物推定工程と、
前記人物推定工程において取得された全ての人物特定情報の固有ＩＤと紐付けられている他方の固有ＩＤを前記第２のデータベースの中から選択し、選択した固有ＩＤの中からこれに対応する属性値が関連性に関する条件と一致するものを前記被捜索者の関係者の固有ＩＤとして抽出する関係者抽出工程と、
前記被捜索者の固有ＩＤに対応する顔位置の画像データおよび前記関係者の固有ＩＤに対応する顔位置の画像データを画面に表示させる表示工程と、
を具備する請求項６に記載の画像処理方法。