WO2015005102A1 - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

Abstract

　外見にかかる特徴が判明している人や車両等のオブジェクトであれば、ビデオ画像に撮像されている該当するオブジェクトの確認が容易に行える技術を提供する。画像処理プロセッサ（４）は、画像入力部（３）に入力されたビデオ画像を処理し、撮像されているオブジェクトについて、予め定めた複数種類の属性毎に、その属性に当てはまるかどうかを判定する。また、画像処理プロセッサ（４）は、オブジェクトの属性の種類の指定を受け付けると、受け付けた種類の属性に当てはまるオブジェクトを、他のオブジェクトと区別した出力画像を生成し、出力部（７）から出力する。

Description

画像処理装置、画像処理方法、および画像処理プログラム

　この発明は、ビデオ画像に撮像されているオブジェクト（人や車両等）の中から、指定した属性に当てはまるオブジェクトを確認する技術に関する。

　従来、空港、駅、ショッピングセンター、街角等、様々な場所に監視カメラが設置されている。また、指名手配中の人物等を検出対象者とし、監視カメラの撮像画像に撮像されている人物の顔を、検出対象者の顔と照合する顔認識を行って、検出対象者が撮像されている撮像画像を検出することが提案されている（特許文献１等参照）。

　また、この種の装置では、撮像されている検出対象者を検出すると、その撮像画像が撮像された場所、日時、撮像されている検出対象者等を含む検出通知を関係機関等に通知することも行っている。

　関係機関等では、通知された検出通知に基づいて、警備員等が検出対象者の捜索を行っている。

特開２００４－　６２５６０号公報

　しかしながら、監視カメラの撮像エリア外において、何らかの事件や事故等のトラブルが発生することがある。このような場合、監視カメラがその現場を撮像していないので、トラブルが発生した現場周辺に設置されている複数の監視カメラの撮像画像を確認し、当事者らしき人物を見つけることになる。

　上述の特許文献１等で提案されている装置は、検出対象者の顔がすでに判明していることを前提にしているので、監視カメラの撮像画像に対して、顔が判明していない検出対象者（発生したトラブルの当事者）を簡単に探索することができない。したがって、警備員等の担当者が、そのトラブルを目撃した人（目撃者）から当事者の外見の特徴（マスクをつけていた、サングラスを掛けていた等）を聞き、監視カメラの撮像画像を目視で確認し、撮像されている当事者らしき人物を探していた。このように、外見にかかる特徴が判明していても、顔が判明していない人を監視カメラの撮像画像から確認する作業は時間と手間がかかるものであった。

　この発明の目的は、外見にかかる特徴が判明している人や車両等のオブジェクトであれば、ビデオ画像に撮像されている該当するオブジェクトの確認が容易に行える技術を提供する。

　この発明の画像処理装置は、上記目的を達するために以下のように構成している。

　属性判定部は、画像入力部に入力されたビデオ画像を処理し、撮像されているオブジェクトについて、予め定めた複数種類の属性毎に、その属性に当てはまるかどうかを判定する。画像入力部に入力されるビデオ画像は、監視カメラ等の撮像装置が撮像している撮像エリアのリアルタイムの画像であってもよいし、メディアに録画した画像であってもよい。

　また、属性判定部が属性を判定するオブジェクトの種類は、例えば人や車両等の移動体である。

　また、属性判定部が当てはまっているかどうかを判定する複数種類の属性は、対象としたオブジェクトの種類に応じて定めればよい。例えば、対象としたオブジェクトの種類が人であれば、マスクをつけているかどうか、サングラスをかけているかどうか、等の外見にかかる属性や、移動速度がはやいかどうか、顔が撮像されないように移動しているかどうか（顔を隠すように移動しているかどうか）等の状態（移動状態）にかかる属性を定めればよい。また、対象としたオブジェクトの種類が車両であれば、ナンバープレートが撮像されないように隠しているかどうか、ナンバープレートに表記されているナンバープレート番号を隠しているかどうか（ナンバープレート自体は隠されていない。）、車両正面側からドライバの顔が見えないように隠しているかどうか等の外見にかかる属性や、移動速度がはやいかどうか、逆走しているかどうか、蛇行しているかどうか、無灯火で走行しているかどうか、等の状態（移動状態）にかかる属性を定めればよい。

　出力画像生成部は、属性指定受付部において受け付けたオブジェクトの属性について、属性判定部が当てはまると判定したオブジェクトを、他のオブジェクトと区別した出力画像を生成する。例えば、属性指定受付部において受け付けたオブジェクトの属性について、属性判定部が当てはまると判定したオブジェクトの画像を一覧で表示するサムネイル画像や、属性指定受付部において受け付けたオブジェクトの属性について、属性判定部が当てはまると判定したオブジェクトの画像を他の画像よりも強調して表示する強調表示画像を出力画像として生成する。そして、出力部が、出力画像生成部において生成された出力画像を出力する。

　警備員等の担当者は、監視カメラ等で撮像したビデオ画像に撮像されている人に対する確認が簡単に行える。例えば、顔が判明していない人であっても、判明している外見にかかる属性や、状態にかかる属性での絞り込みが行える。また、監視カメラ等で撮像したビデオ画像に撮像されている車両等の他の種類のオブジェクトに対する確認も、判明している外見にかかる属性や、状態にかかる属性での絞り込みが行える。

　したがって、外見にかかる特徴が判明している人や車両等のオブジェクトであれば、ビデオ画像に撮像されている該当するオブジェクトの確認にかかる時間や手間が抑えられる。

　また、この発明にかかる画像処理装置は、画像入力部に入力されたビデオ画像に撮像されているオブジェクト毎に、そのオブジェクトの画像と、属性判定部が予め定めた複数種類の属性毎に、その属性に当てはまるかどうかを判定した判定結果と、を対応付けて記憶する属性判定結果記憶部を備える構成としてもよい。

　このように構成すれば、画像入力部に入力されたビデオ画像に撮像されているオブジェクトに対する、属性判定部における処理を事前に行っておくことができる。これにより、属性指定受付部がオブジェクトの属性の指定を受け付けると、出力画像生成部における出力画像の生成をすぐに開始することができ、処理効率の向上が図れる。

　また、この発明にかかる画像処理装置は、出力部が出力した出力画像に含まれるいずれかのオブジェクトが選択指定されたとき、ビデオ画像入力部に入力されたビデオ画像において、そのオブジェクトが撮像されている位置を再生する再生部を備える構成としてもよい。

　このように構成すれば、属性で絞り込んだオブジェクトが撮像されているビデオ画像の確認が簡単に行える。

　この発明によれば、外見にかかる特徴が判明している人や車両等のオブジェクトであれば、ビデオ画像に撮像されている該当するオブジェクトの確認が容易に行える。

画像処理装置の主要部の構成を示すブロック図である。 属性判定結果ＤＢを示す図である。 画像処理装置における属性判定結果ＤＢ作成処理を示すフローチャートである。 属性判定処理を示すフローチャートである。 移動速度以外の属性の判定処理を示すフローチャートである。 出力画像生成処理を示すフローチャートである。 出力画像であるサムネイル画像の表示画面例を示す図である。 再生処理を示すフローチャートである。

　以下、この発明の実施形態である画像処理装置について説明する。

　図１は、この例にかかる画像処理装置の主要部の構成を示すブロック図である。この例にかかる画像処理装置１は、制御部２と、画像入力部３と、画像処理プロセッサ４と、属性判定結果データベース５（属性判定結果ＤＢ５）と、操作部６と、出力部７と、を備えている。この例にかかる画像処理装置１は、ビデオ画像に撮像されている人について、予め定めた複数種類の属性毎に、その属性に当てはまるかどうかを判定するとともに、その判定結果を用いて出力画像を生成し、出力する。

　制御部２は、画像処理装置１本体各部の動作を制御する。

　画像入力部３には、ビデオ画像（動画像）が入力される。このビデオ画像は、監視カメラ等の撮像装置（不図示）が撮像している撮像エリアのリアルタイムの画像であってもよいし、ハードディスク等のメディアに録画したビデオ画像（ＭＰＥＧ２等で圧縮された動画像データ）であってもよい。

　画像処理プロセッサ４は、この発明で言う属性判定部に相当する構成を有し、画像入力部３に入力されたビデオ画像を処理し、撮像されている人について、予め定めた複数種類の属性毎に、その属性に当てはまるかどうかを判定する。この例では、外見にかかる属性として、マスクをつけているかどうか、サングラスをかけているかどうかの２つを定めている。また、状態にかかる属性として、移動速度がはやいかどうか、顔が撮像されないように移動しているかどうかの２つを定めている。

　詳細については後述するが、画像処理プロセッサ４は、入力されたビデオ画像に撮像されている人の顔を切り出し、外見にかかる属性に当てはまるかどうかを判定する。また、画像処理プロセッサ４は、入力されたビデオ画像に撮像されている人を追跡し、状態（移動状態）にかかる属性に当てはまるかどうかを判定する。

　また、画像処理プロセッサ４は、この発明で言う出力画像生成部に相当する構成を有し、上述の属性についての判定結果に基づく出力画像を生成する。

　この画像処理プロセッサ４が、この発明にかかる画像処理方法を実行する（画像処理プログラムを実行させる。）コンピュータに相当する。

　属性判定結果ＤＢ５は、入力されたビデオ画像に撮像されている人について、その人を識別するＩＤ、その人の顔画像（その人が撮像されているフレーム画像から切り出した顔画像）、予め定めた複数種類の属性について判定した判定結果、および入力されたビデオ画像の再生開始位置（その人がビデオ画像に撮像されている位置を示す時間データ）を対応付けて登録したデータベースである。図２は、この属性判定結果ＤＢの構成を示す図である。この図２において、〇は対応する属性に当てはまることを示し、×は対応する属性に当てはまらないことを示している。また、顔隠しに当てはまる人（図２に示すＩＤが０００６の人）については、顔画像を登録しなくてもよいが、この例では、その風体の確認が行えるように画像を登録している。属性判定結果ＤＢ５が、この発明で言う属性判定結果記憶部に相当する構成である。

　操作部６は、マウスやキーボード等の入力デバイスを有し、画像処理装置１本体に対する操作者の入力操作を受け付ける。操作者は、操作部６において、後述するオブジェクトの属性の種類の指定にかかる入力操作等を行う。画像処理プロセッサ４は、この発明で言う属性指定受付部に相当する構成を有し、操作部６において操作者が行った入力操作によって指定されたオブジェクトの属性の種類を受け付ける。

　出力部７は、画像処理プロセッサ４が生成した出力画像や、画像入力部３に入力されたビデオ画像（再生画像）を出力する。出力部７には、表示装置（不図示）が接続されている。この表示装置は、出力部７が出力した画像を表示する。

　以下、この画像処理装置１の動作について説明する。この画像処理装置１は、以下に示す属性判定結果ＤＢ作成処理、出力画像生成処理、再生処理等を実行する。

　図３は、この画像処理装置における属性判定結果ＤＢ作成処理を示すフローチャートである。この画像処理装置１は、画像入力部３に入力されたビデオ画像にかかるフレーム画像を、画像処理プロセッサ４で時系列に処理する。

　画像処理プロセッサ４は、処理対象のフレーム画像に撮像されているオブジェクトを検出する（ｓ１）。この例では、検出するオブジェクトは、人である。オブジェクトの検出は、例えばフレーム間差分画像や背景差分画像により検出した移動体毎に、パターンマッチングにより人らしき形状のオブジェクトを人として検出する。

　画像処理プロセッサ４は、ｓ１で検出した人毎に、処理対象のフレーム画像を識別するフレーム番号、そのフレーム画像から切り出したその人の撮像画像、フレーム画像上における位置（座標）を対応付けた検出レコードを作成する（ｓ２）。

　画像処理プロセッサ４は、ｓ２で検出レコードを作成した人毎に、前回の処理対象のフレーム画像においても撮像されていた検出済の人であるかどうかを判定する（ｓ３）。画像処理プロセッサ４は、ｓ３で、前回の処理対象のフレーム画像に撮像されていなかった人（すなわち、前回の処理対象のフレーム画像の撮像タイミングと、今回の処理対象のフレーム画像の撮像タイミングと、の間にあらわれた人）であると判定すると、その人に対してＩＤを付与する（ｓ４）。また、画像処理プロセッサ４は、ｓ４で付与したＩＤにかかる人のオブジェクトマップを作成する（ｓ５）。ｓ５では、ｓ４で付与したＩＤを用いて、ｓ２で作成した検出レコードを登録したオブジェクトマップを作成する。このオブジェクトマップは、ＩＤを付与した人毎に区別して作成する。

　また、画像処理プロセッサ４は、ｓ３で検出済の人であると判定すると、その人に対してすでに付与しているＩＤを判定する（ｓ６）。また、画像処理プロセッサ４は、ｓ６で判定したＩＤにかかるオブジェクトマップに、ｓ２で作成した検出レコードを追加登録するオブジェクトマップの更新を行う（ｓ７）。

　上述したように、このｓ３～ｓ７にかかる処理は、ｓ２で検出レコードを作成した人毎に行う。

　画像処理プロセッサ４は、前回の処理対象のフレーム画像に撮像されていて、今回の処理対象のフレーム画像に撮像されていなかった人（検出完了の人）を抽出する（ｓ８）。

　画像処理プロセッサ４は、ｓ８で抽出した人毎に、その人の属性を判定する属性判定処理を行う（ｓ９）。ｓ９では、ｓ８で抽出した人毎に、
　（１）マスクをつけているかどうか、
　（２）サングラスをかけているかどうか
　（３）移動速度がはやいかどうか、
　（４）顔が撮像されないように移動しているかどうか、
の４つの属性について、当てはまるかどうかを判定する。

　このｓ９にかかる属性判定処理の詳細については、後述する。また、このｓ９にかかる属性判定処理は、図３示す他の処理と切り離し、この図３に示す処理と並列に実行する構成としてもよい。

　画像処理プロセッサ４は、画像入力部３に入力されたビデオ画像において、未処理のフレーム画像があるかどうかを判定する（ｓ１０）。画像処理プロセッサ４は、未処理のフレーム画像があれば、処理対象のフレーム画像を時間的に１つの先のフレーム画像に更新し（ｓ１１）、ｓ１に戻る。

　また、画像処理プロセッサ４は、画像入力部３に入力されたビデオ画像において、未処理のフレーム画像がなければ、この時点で属性を判定していない人について属性判定処理を行う（ｓ１２）。ｓ１２は、ｓ９と同じ処理であり、画像入力部３に入力されたビデオ画像の最後のフレーム画像に撮像されていた人についても属性を判定するために設けている。

　ここでｓ９およびｓ１２にかかる属性判定処理について説明する。図４は、この属性判定処理を示すフローチャートである。このｓ９、および１２にかかる処理が、この発明で言う属性判定ステップに相当する。

　画像処理プロセッサ４は、属性を判定する対象者毎に、図４に示す処理を繰り返し行う。すなわち、図４は、１人の対象者に対する属性判定処理を示している。

　画像処理プロセッサ４は、対象者について作成されたオブジェクトマップを読み出す（ｓ２１）。このオブジェクトマップには、上述したように、この対象者が撮像されていたフレーム画像毎に、そのフレーム画像から切り出した対象者の撮像画像、フレーム画像上における位置（座標）を対応付けた検出レコードが登録されている。

　画像処理プロセッサ４は、ｓ２１で読み出したオブジェクトマップから、対象者の移動経路、および移動速度を検出する（ｓ２２）。移動経路は、オブジェクトマップに登録されている各検出レコードのフレーム画像上における位置（座標）から得られる。移動速度は、フレーム画像上の位置の変化量から得られるが、そのためには、フレーム画像上の距離と、実空間上の距離との関係が必要になる。画像入力部３に入力されるビデオ画像が特定の場所に設置したビデオカメラで撮像したビデオ画像であれば、フレーム画像上の距離と、実空間上の距離との関係を予め設定しておくことで、実空間上における対象者の移動速度を検出することができる。

　一方で、画像入力部３に入力されるビデオ画像が、特定のビデオカメラで撮像されたビデオ画像でない場合（そのときの状況に応じて入力されるビデオ画像を撮像したビデオカメラが異なる場合）、フレーム画像上の距離と、実空間上の距離との関係を予め設定しておくことは困難である。このような理由から、この例では、実空間上の移動速度を検出するのではなく、フレーム画像上における移動速度を検出する構成としている。

　画像処理プロセッサ４は、ｓ２２で検出した対象者の移動経路から、この対象者が顔が撮像される方向に移動しているかどうかを判定する（ｓ２３）。例えば、対象者の移動方向が、このビデオ画像を撮像したビデオカメラに対して、背を向けて遠ざかる方向である場合、この対象者は顔が撮像されない方向に移動していると判定する。また、対象者の移動方向が、このビデオ画像を撮像したビデオカメラに対して、近づいてくる方向である場合、この対象者は顔が撮像される方向に移動していると判定する。

　画像処理プロセッサ４は、ｓ２３で対象者が顔が撮像される方向に移動していると判定すると、移動速度以外の属性について、当てはまるかどうかの判定を行う（ｓ２４）。この例では、外見にかかる属性として上述した（１）マスクをつけているかどうか、および、（２）サングラスをかけているかどうかについて判定する。また、状態にかかる属性として（４）顔が撮像されないように移動しているかどうかについて判定する。

　画像処理プロセッサ４は、ｓ２３で対象者が顔が撮像される方向に移動していないと判定すると、このｓ２４にかかる処理を行わない。

　図５は、このｓ２４にかかる移動速度以外の属性についての判定処理を示すフローチャートである。画像処理プロセッサ４は、対象者のオブジェクトマップに登録されている検出レコードを用いて、時間的に連続するフレーム画像間における対象者の移動ベクトルを取得する（ｓ３１）。画像処理プロセッサ４は、画像入力部３に入力されたビデオ画像を撮像したビデオカメラのアングルの水平方向成分を検出し（ｓ３２）、この水平方向成分にかかる直線と、なす角度が最小である移動ベクトルが得られたフレーム画像（時間的に遅い方のフレーム画像）を判定する（ｓ３３）。ｓ３３では、ビデオカメラに対して対象者が正面を向いている可能性が高い、すなわち対象者の顔が撮像されている可能性が高い、フレーム画像を判定している。

　画像処理プロセッサ４は、ｓ３３で判定したフレーム画像から切り出した対象者の画像（検出レコードに登録されている画像）に対して、第１の顔画像検出処理を行う（ｓ３４）。この第１の顔画像検出処理は、マスクをつけていない人の画像を入力とし、その画像に対して顔の切り出しを学習させたアルゴリズムによる処理である。

　画像処理プロセッサ４は、ｓ３４にかかる第１の顔画像検出処理で顔画像が検出できれば、この対象者がマスクをつけていないと判定する（ｓ３５、ｓ３６）。一方、画像処理プロセッサ４は、ｓ３４にかかる第１の顔画像検出処理で顔画像が検出できなければ、ｓ３３で判定したフレーム画像から切り出した対象の画像に対して、第２の顔画像検出処理を行う（ｓ３７）。この第２の顔画像検出処理は、マスクをつけている人の画像を入力とし、その画像に対して顔の切り出しを学習させたアルゴリズムによる処理である。

　この例では、第１の顔画像検出処理、および第２の顔画像検出処理を行うことで、マスクをつけている人に対して、顔が撮像されていないという誤判定が行われるのを防止している。

　画像処理プロセッサ４は、ｓ３７にかかる第２の顔画像検出処理で顔画像が検出できれば、この対象者についてマスクをつけていると判定する（ｓ３８、ｓ３９）。一方、画像処理プロセッサ４は、ｓ３７にかかる第２の顔画像検出処理で顔画像が検出できなければ、切り出した画像を処理していない検出レコード（未処理の検出レコード）があるかどうかを判定する（ｓ４０）。画像処理プロセッサ４は、未処理の検出レコードがあれば、ビデオカメラのアングルの水平方向成分にかかる直線と、なす角度が次に小さい移動ベクトルが得られたフレーム画像を判定し（ｓ４１）、このフレーム画像に対して上述したｓ３４以降の処理を行う。

　また、画像処理プロセッサ４は、ｓ４０で未処理の検出レコードがないと判定すると、顔が撮像されないように移動している対象者であると判定する（ｓ４２）。このｓ４２は、対象者の状態にかかる属性の判定である。

　なお、この例では、ｓ３４にかかる第１の顔画像検出処理で顔を検出した対象者については、第２の顔画像検出処理を行うことなく、マスクをつけていないと判定する構成であるが、第１の顔画像検出処理、および第２の顔画像検出処理を実行し、それぞれの処理による顔画像の検出確度によって決定してもよい。

　また、画像処理プロセッサ４は、ｓ３６でマスクをつけていないと判定した対象者、およびｓ３９でマスクをつけていると判定した対象者について、サングラスをかけているかどうかを判定する（ｓ４３）。ｓ４３では、対象者の顔に眼鏡のフレームがあり、且つ目の周辺（検出したフレームの内側であるレンズ部分）の輝度が鼻や頬等の部位の輝度に比べて予め定めた値以上低いときに、サングラスをかけていると判定する。

　画像処理プロセッサ４は、ｓ２４にかかる処理が完了すると、対象者の移動速度にかかる属性について判定する（ｓ２５）。上述したように、この例は、実空間上における対象者の移動速度を検出する構成ではなく、フレーム画像上における対象者の移動速度を検出する構成である。画像処理プロセッサ４は、フレーム画像上における人の平均移動速度Ｖａｖｅを得ている。この平均移動速度Ｖａｖｅは、画像入力部３に入力されたビデオ画像に撮像されている複数人について検出した移動速度Ｖの平均値である。ｓ２５では、対象者の移動速度Ｖと、平均移動速度Ｖａｖｅとの比較により、この対象者の移動速度Ｖが、他の人に比べてはやいかどうかを判定する。具体的には、画像処理プロセッサ４は、
　移動速度Ｖ＞平均移動速度Ｖａｖｅ＋α（但し、αは予め定めた補正定数）
であれば、移動速度がはやい対象者であると判定する。

　画像処理プロセッサ４は、上述した処理で判定した属性の判定結果に基づき、この対象者に対するレコードを作成し、これを図２に示す属性判定結果ＤＢ５に登録する（ｓ２６）。

　次に、出力画像生成処理について説明する。上述したように、画像入力部３に入力されたビデオ画像に撮像されていた人は、
　（１）マスクをつけているかどうか、
　（２）サングラスをかけているかどうか
　（３）移動速度がはやいかどうか、
　（４）顔が撮像されないように移動しているかどうか、
の４つの属性について、当てはまるかどうかを判定した判定結果を対応付けて属性判定結果ＤＢ５に登録している。図６は、出力画像生成処理を示すフローチャートである。

　操作者は、操作部６において、オブジェクトの属性の種類の指定にかかる入力操作等を行う。画像処理プロセッサ４は、操作部６において操作者が行った入力操作によって指定されたオブジェクトの属性の種類を受け付ける（ｓ５１）。ｓ５１で受け付ける属性の種類は、１つ以上であればいくつであってもよい。このｓ５１にかかる処理が、この発明で言う属性指定受付ステップに相当する。

　画像処理プロセッサ４は、属性判定結果ＤＢ５を検索し、ｓ５１で受け付けた種類の属性について、当てはまると判定した対象者を抽出する（ｓ５２）。画像処理プロセッサ４は、ｓ５１で受け付けた属性の種類が複数である場合、受け付けた全ての種類の属性について、当てはまると判定した対象者を抽出する処理としてもよいし、受け付けたいずれかの種類の属性について、当てはまると判定した対象者を抽出する構成としてもよい。

　画像処理プロセッサ４は、ｓ５２で抽出した各対象者の顔画像を一覧で表示するサムネイル画像を出力画像として生成する（ｓ５３）。このｓ５３にかかる処理が、この発明で言う出力画像生成ステップに相当する。画像処理プロセッサ４は、ｓ５２で生成したサムネイル画像を出力部７から出力する（ｓ５４）。このサムネイル画像は、出力部７に接続されている表示装置等において表示される。このｓ５４にかかる処理が、この発明で言う出力ステップに相当する。

　図７は、このサムネイル画像の表示画面例を示す図である。図７は、指定した属性の種類が「マスクをつけている」であった場合の例である。

　したがって、外見にかかる特徴（マスクをつけていたや、サングラスをかけていた等）が判明している人であれば、ビデオ画像に撮像されている該当する人の確認にかかる時間や手間が抑えられる。また、移動速度がはやい等の状態にかかる属性で、確認する対象を絞り込むことができる。

　また、上記の例では、指定された種類の属性に当てはまる人の顔画像を一覧で表示するサムネイル画像を出力画像として生成し、出力するとしたが、画像入力部３に入力されたビデオ画像に撮像されている人全員の顔画像を一覧で表示するとともに、指定された種類の属性に当てはまる人については、他の人に比べて強調した画像、例えば顔画像の枠線を太くしたり、色を異ならせたりした画像、を出力画像として生成してもよい。

　次に、再生処理について説明する。図８は、この再生処理を示すフローチャートである。

　画像処理プロセッサ４は、図７に示している出力画像において、表示されている顔画像の指定を受け付ける（ｓ６１）。画像処理プロセッサ４は、顔画像が指定された人のＩＤを判断する（ｓ６２）。画像処理プロセッサ４は、ｓ６２で判断したＩＤをキーにして、属性判定結果ＤＢ５を検索し、該当者の再生開始位置を取得する（ｓ６３）。画像処理プロセッサ４は、画像入力部３に入力されたビデオ画像について、ｓ６３で取得した再生位置から再生を開始する（ｓ６４）。このｓ６４が、この発明で言う再生部に相当する構成である。すなわち、画像処理プロセッサ４は、この発明で言う再生部に相当する構成も有している。

　なお、再生対象であるビデオ画像については、画像入力部３に接続されているハードディスク等のメディア（不図示）に記録（録画）されている。また、このメディアは、画像処理装置１に内蔵されているものであってもよいし、画像処理装置１に対して外付けされたものであってもよい。

　これにより、警備員等の担当者は、顔画像を指定することによって、その顔画像にかかる人が撮像されているビデオ画像を簡単に確認できる。

　また、上記の例では、
　（１）マスクをつけているかどうか、
　（２）サングラスをかけているかどうか
　（３）移動速度がはやいかどうか、
　（４）顔が撮像されないように移動しているかどうか、
の４つの属性について当てはまるかどうかを判定するとしたが、判定する属性の種類はこれに限らない。

　また、上記の例では、対象とするオブジェクトの種類を人にしたが、他の移動体であってもよい。例えば、対象とするオブジェクトの種類を車両にする場合には、
　（ａ）ナンバープレートが隠されているかどうか、
　（ｂ）ナンバープレートに表記されているナンバープレート番号を隠しているかどうか（ナンバープレート自体は隠されていない。）、
　（ｃ）車両正面側からドライバの顔が見えないように隠しているかどうか等を外見にかかる属性として判定し、
　（ｄ）移動速度がはやいかどうか、
　（ｅ）逆走しているかどうか、
　（ｆ）蛇行しているかどうか、
　（ｇ）無灯火が走行しているかどうか、等を状態にかかる属性として判定すればよい。

　（ａ）は、車両が撮像されているフレーム画像に対するパターンマッチング等の処理で、その車両のナンバープレートが見つけられなかったときに、ナンバープレートが隠されていると判定すればよい。また、（ｂ）は、車両が撮像されているフレーム画像に対するパターンマッチング等の処理で、その車両のナンバープレートが見つけられたが、表記されている文字（ナンバープレート番号）に対する文字認識処理で、ナンバープレート番号が認識できなかったときに、ナンバープレート番号を隠していると判定すればよい。また、（ｃ）は、略正面から車両を撮像したフレーム画像において、上述した第１の顔画像検出処理、および第２の顔画像検出処理の両方でドライバの顔が検出できなかったときに、ドライバの顔が見えないように隠していると判定すればよい。

　また、（ｄ）は、上述した人の場合と同様に判定すればよい。また、（ｅ）、および（ｆ）は、車両の移動経路から判定すればよい。さらに、（ｆ）は、ほとんどの車両が前照灯を点灯させている状況において、前照灯を点灯させていない車両を無灯火で走行している車両であると判定すればよい。前照灯が点灯しているかどうかは、撮像されているフレーム画像において、車両の左右両側に輝度が高い領域があるかどうかによって判定できる。

　この場合も、外見にかかる特徴が判明している車両であれば、ビデオ画像に撮像されている該当する車両の確認にかかる時間や手間が抑えられる。また、移動速度がはやい等の状態にかかる属性で、確認する対象を絞り込むことができる。

　また、対象とするオブジェクトの種類は、上述した人や車両にかぎらず、他の種類の移動体であってもよい。また、対象とするオブジェクトの種類は、１種類に限らず、複数種類であってもよい。この場合、対象とするオブジェクトの種類毎に分けて、図２に示した属性判定結果ＤＢ５を作成するのが好ましい。

　１…画像処理装置
　２…制御部
　３…画像入力部
　４…画像処理プロセッサ
　５…属性判定結果データベース（属性判定結果ＤＢ）
　６…操作部
　７…出力部

Claims (7)

1. 　ビデオ画像を入力する画像入力部と、
   　前記画像入力部に入力されたビデオ画像を処理し、撮像されているオブジェクトについて、予め定めた複数種類の属性毎に、その属性に当てはまるかどうかを判定する属性判定部と、
   　オブジェクトの属性の指定を受け付ける属性指定受付部と、
   　前記属性指定受付部で受け付けたオブジェクトの属性について、前記属性判定部が当てはまると判定したオブジェクトを、他のオブジェクトと区別した出力画像を生成する出力画像生成部と、
   　前記出力画像生成部が生成した出力画像を出力する出力部と、を備えた画像処理装置。
2. 　前記属性判定部は、オブジェクトの外見にかかる属性、およびオブジェクトの状態にかかる属性について、その属性に当てはまるオブジェクトであるかどうかを判定する、請求項１に記載の画像処理装置。
3. 　前記出力画像生成部は、前記属性指定受付部で受け付けたオブジェクトの属性について、前記属性判定部が当てはまると判定したオブジェクトを、一覧で表示するサムネイル画像を前記出力画像として生成する、請求項１、または２に記載の画像処理装置。
4. 　前記画像入力部に入力されたビデオ画像に撮像されているオブジェクト毎に、そのオブジェクトの画像と、前記属性判定部が予め定めた複数種類の属性毎に、その属性に当てはまるかどうかを判定した判定結果と、を対応付けて記憶する属性判定結果記憶部を備えた請求項１～３のいずれかに記載の画像処理装置。
5. 　前記出力部が出力した出力画像に含まれるいずれかのオブジェクトが選択指定されたとき、前記画像入力部に入力されたビデオ画像において、そのオブジェクトが撮像されている位置を再生する再生部を備えた請求項１～４のいずれかに記載の画像処理装置。
6. 　画像入力部に入力されたビデオ画像を処理し、撮像されているオブジェクトについて、予め定めた複数種類の属性毎に、その属性に当てはまるかどうかを判定する属性判定ステップと、
   　属性指定受付部において、オブジェクトの属性の指定を受け付ける属性指定受付ステップと、
   　前記属性指定受付ステップで受け付けたオブジェクトの属性について、前記属性判定ステップが当てはまると判定したオブジェクトを、他のオブジェクトと区別した出力画像を生成する出力画像生成ステップと、
   　前記出力画像生成部が生成した出力画像を出力部から出力する出力ステップと、をコンピュータが、実行する画像処理方法。
7. 　画像入力部に入力されたビデオ画像を処理し、撮像されているオブジェクトについて、予め定めた複数種類の属性毎に、その属性に当てはまるかどうかを判定する属性判定ステップと、
   　属性指定受付部において、オブジェクトの属性の指定を受け付ける属性指定受付ステップと、
   　前記属性指定受付ステップで受け付けたオブジェクトの属性について、前記属性判定ステップが当てはまると判定したオブジェクトを、他のオブジェクトと区別した出力画像を生成する出力画像生成ステップと、
   　前記出力画像生成部が生成した出力画像を出力部から出力する出力ステップと、をコンピュータに実行させる画像処理プログラム。

Images