JP6407493B1 - 画像処理装置および画像処理方法 - Google Patents

Abstract

画像データに現れるオブジェクトを検出するオブジェクト検出部（１０３ａ）と、検出されたオブジェクトを時間方向に追跡するオブジェクト追跡部（１０３ｂ）と、オブジェクトの検出結果と追跡結果とに基づいて、オブジェクトの特徴記述子を生成する記述子生成部（１０４）と、生成された特徴記述子と、当該特徴記述子に対応したオブジェクトの画像データとからデータベースを構成するデータ記録制御部（１０５）と、データベースから検索条件に合致するオブジェクトであって、それぞれ異なる領域を撮像した画像データに現れるオブジェクトの組を構成するオブジェクトを検索する画像検索部（１０８ａ）と、検索されたオブジェクトの画像データおよび特徴記述子から、照合に用いる特徴量を抽出する特徴抽出部（１０８ｂ）と、抽出された特徴量の照合を行い、オブジェクトの組を構成するオブジェクトが同一であるか否か判定を行う判定部（１０８ｃ）とを備える。

Description

この発明は、複数のカメラで撮影されたオブジェクトが同一のオブジェクトであるか解析を行う画像処理技術に関するものである。

複数のカメラにまたがって撮影されたオブジェクトが、同一のオブジェクトであるかどうかを推定する従来の方法が、例えば非特許文献１および非特許文献２に開示されている。
非特許文献１では、人物画像を含む矩形領域をサブウィンドウに分割し、分割したサブウィンドウごとに色のヒストグラムとテクスチャのヒストグラムとを特徴量として生成する。さらに、同一人物かどうかのラベルが付与されている学習用の人物画像を集めたデータセットを用意し、学習用の人物画像から上述した特徴量のベクトルを生成し、距離学習を行う。距離学習では、同一の人物画像のペアの特徴量のベクトルの距離が小さくなるように重みパラメータの学習を行い、同一でない人物画像のペアの特徴量のベクトルの距離は大きくなるように重みパラメータの学習を行っている。
非特許文献２では、人物画像からニューラルネットワークを用いて特徴抽出を行い、ニューラルネットワークが生成した特徴量のベクトルを使って、人物画像のペアが同一人物かどうかを判定している。

上述した非特許文献１または非特許文献２に開示された従来の方法では、静止画の人物画像のペアを比較することにより、同一人物であるかを判定している。一方、実際の環境下では、例えば監視カメラで撮影された動画像から人物画像のシーケンスを特定し、特定された人物画像のシーケンスと、他の監視カメラで撮影された動画像の人物画像のシーケンスと比較し、同一人物であるか判定を行う必要がある。動画像から同一のオブジェトであるかを推定する従来の方法が、例えば非特許文献３に開示されている。
非特許文献３では、シーケンス内の人物画像の色とテクスチャのヒストグラムを特徴量として生成し、生成した特徴量をシーケンス内で平均化し、人物画像のシーケンスの特徴量としている。特徴量をシーケンスン内で平均化することにより、背景またはオクルージョンによる特徴量の変化を無視し、ロバストな人物画像の特徴量を生成している。

S. Liao, Y. Hu, X. Zhu, S. Z. Li, "Person re-identification by local maximal occurrence representation and metric learning", In Computer Vision and Pattern Recognition (CVPR), 2015. E. Ahmed, M. Jones, T.K. Marks, "An improved deep learning architecture for person re-identification," In Computer Vision and Pattern Recognition (CVPR), 2015. J. You, A. Wu, X. Li, and W.-S. Zheng, "Top-push video-based person re-identification," in Computer Vision and Pattern Recognition (CVPR), 2016.

複数のカメラにまたがって撮影される場合、同一人物を撮影していたとして、例えば鞄の持ち方が途中で変化する、またはカメラの設置位置と人物の移動の方向によって、カメラに人物の持ち物等が映っている場合と映ってない場合が存在する。この場合、上記非特許文献３に開示された技術では、各人物画像から取得される特徴量をシーケンス内で平均化した場合、背景またはオクルージョンによる特徴量の変化を無視することができる一方で、同一人物であるかを判定するために有効な特徴量を無視してしまう場合があるという課題があった。

この発明は、上記のような課題を解決するためになされたもので、背景またはオクルージョンによる特徴量の変化に対してロバストに、複数のカメラで撮影された画像間で同一オブジェクトであるか否か判定することを目的とする。

この発明に係る画像処理装置は、画像データを解析して当該画像データに現れるオブジェクトを検出するオブジェクト検出部と、オブジェクト検出部が検出したオブジェクトを時間方向に追跡するオブジェクト追跡部と、オブジェクト検出部の検出結果と、オブジェクト追跡部の追跡結果とに基づいて、オブジェクトの特徴記述子を生成する記述子生成部と、記述子生成部が生成した特徴記述子と、当該特徴記述子に対応したオブジェクトの画像データとからデータベースを構成するデータ記録制御部と、データ記録制御部が構成したデータベースから、設定された検索条件に合致するオブジェクトであって、それぞれ異なる領域を撮像した画像データに現れるオブジェクトの組を構成するオブジェクトを検索する画像検索部と、画像検索部が検索したオブジェクトの画像データおよび特徴記述子から、照合に用いる特徴量を抽出する特徴抽出部と、特徴抽出部が抽出した特徴量の照合を行い、オブジェクトの組を構成するオブジェクトが同一であるか否か判定を行う判定部とを備え、特徴抽出部は、画像検索部が検索したオブジェクトの画像データおよび特徴記述子から、検索された各オブジェクトの画像データ間で特徴量を用いたクラスタリングを行い、クラスタリングの結果から定義されるクラスタ内の画像データから、クラスタに対して１つの特徴量を抽出するものである。

この発明によれば、背景またはオクルージョンによる特徴量の変化に対してロバストに、複数のカメラで撮影された画像間で、同一オブジェクトであるか判定することができる。

実施の形態１に係る画像処理装置の構成を示すブロック図である。 実施の形態１に係る画像処理装置の画像認識結果の一例を示す図である。 図３Ａ、図３Ｂは、実施の形態１に係る画像処理装置のハードウェア構成例を示す図である。 実施の形態１に係る画像処理装置の画像認識処理の動作を示すフローチャートである。 実施の形態１に係る画像処理装置の画像照合処理の動作を示すフローチャートである。 図６Ａ、図６Ｂは、実施の形態１に係る画像処理装置の照合処理において、オブジェクトとして追跡された人物の画像データ例を示す図である。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、実施の形態１に係る画像処理装置１００を備えた画像処理システムの構成を示すブロック図である。
図１に示すように、画像処理システムは、ｎ台（ｎは１以上の整数）のネットワークカメラＮＣ_１，ＮＣ_２，…，ＮＣ_ｎと、これらネットワークカメラＮＣ_１，ＮＣ_２，…，ＮＣ_ｎの各々から配信された静止画像データまたは動画像ストリームを、通信ネットワークＮＷを介して受信する画像処理装置１００とで構成される。画像処理装置１００は、ネットワークカメラＮＣ_１，ＮＣ_２，…，ＮＣ_ｎから受信した静止画像データまたは動画像データ（以下、総じて画像データと記載する）に対して画像解析を行う。画像処理装置１００は、画像解析の結果を示す空間的、地理的または時間的記述子を、画像と関連付けて蓄積する。

通信ネットワークＮＷとしては、例えば、有線ＬＡＮ（Local Area Network）、無線ＬＡＮなどの構内通信網、拠点間を結ぶ専用回線網、またはインターネットなどの広域通信網が挙げられる。

ネットワークカメラＮＣ_１，ＮＣ_２，…，ＮＣ_ｎは全て同一構成を有している。各ネットワークカメラＮＣは、被写体を撮像する撮像部（図示しない）と、撮像部の出力を通信ネットワークＮＷ上の画像処理装置１００に向けて送信する送信部（図示しない）とで構成される。撮像部は、被写体の光学像を形成する撮像光学系と、形成された光学像を電気信号に変換する固体撮像素子と、変換された電気信号を静止画像データまたは動画像データとして圧縮符号化するエンコーダ回路とを有している。固体撮像素子としては、例えば、ＣＣＤ（Charge-Coupled Device）またはＣＭＯＳ（Complementary Metal-oxide Semiconductor）素子を使用すればよい。

ネットワークカメラＮＣ_１，ＮＣ_２，…，ＮＣ_ｎの各々は、固体撮像素子の出力を動画像データとして圧縮符号化する場合には、例えば、ＭＰＥＧ−２ ＴＳ（Moving Picture Experts Group 2 Transport Stream）、ＲＴＰ／ＲＴＳＰ（Real-time Transport Protocol/Real Time Streaming Protocol）、ＭＭＴ（MPEG Media Transport）またはＤＡＳＨ（Dynamic Adaptive Streaming over HTTP）のストリーミング方式に従い、圧縮符号化された動画像ストリームを生成する。なお、本実施の形態で使用されるストリーミング方式は、ＭＰＥＧ−２ ＴＳ、ＲＴＰ／ＲＴＳＰ、ＭＭＴまたはＤＡＳＨに限定されるものではない。ただし、いずれのストリーミング方式でも、動画像ストリームに含まれる動画像データを画像処理装置１００で一意に分離できる識別子情報が、当該動画像ストリーム内に多重化されているものとする。

図１に示すように、画像処理装置１００は、受信部１０１、復号部１０２、画像認識部１０３、記述子生成部１０４、データ記録制御部１０５、ストレージ１０６、インタフェース部１０７および画像照合部１０８を備える。
受信部１０１は、ネットワークカメラＮＣ_１，ＮＣ_２，…，ＮＣ_ｎから配信データを受信し、受信した配信データから画像データを分離する。ここで、画像データには、静止画像データまたは動画像ストリームが含まれる。受信部１０１は、分離した画像データを復号部１０２に出力する。
復号部１０２は、受信部１０１から入力された、圧縮符号化された画像データを、ネットワークカメラＮＣ_１，ＮＣ_２，…，ＮＣ_ｎで使用された圧縮符号化方式に従って復号する。復号部１０２は、復号した画像データを画像認識部１０３に出力する。

画像認識部１０３は、復号部１０２から入力された画像データに対して画像認識処理を行う。画像認識部１０３は、オブジェクト検出部１０３ａおよびオブジェクト追跡部１０３ｂを備える。
オブジェクト検出部１０３ａは、復号部１０２から入力された時間的に連続した複数の画像データを解析して、当該画像データに現れるオブジェクトを検出する。オブジェクト検出部１０３ａは、検出されたオブジェクトの数、各オブジェクトの視覚的特徴量、各オブジェクトの位置情報、および各オブジェクトの撮影時刻等を取得し、オブジェクトの検出結果としてオブジェクト追跡部１０３ｂおよび記述子生成部１０４に出力する。ここで、オブジェクトの視覚的特徴量とは、オブジェクトの色、オブジェクトのテクスチャ、オブジェクトの形状、オブジェクトの動きおよびオブジェクト内の顔等の特徴量である。オブジェクト検出部１０３ａは、オブジェクト追跡部１０３ｂに対して画像データも合わせて出力する。

図２は、実施の形態１に係る画像処理装置１００の画像認識処理の画像認識結果の一例を示す図である。図２では、画像処理装置１００が、領域Ｘａおよび領域Ｘｂを撮像する２つのネットワークカメラＮＣ_１，ＮＣ_２から配信データを受信した場合を示している。また、図２は、配信データ間で、オブジェクトＡで示された人物、オブジェクトＢで示された人物、およびオブジェクトＣで示された人物の３人の人物の動きを追跡した結果を示している。
オブジェクト検出部１０３ａは、復号されたネットワークカメラＮＣ_１の画像データから、オブジェクトＡ１ａを検出する。オブジェクト検出部１０３ａはネットワークカメラＮＣ_１の次の画像データからオブジェクトＡ１ｂを検出する。続けて、オブジェクト検出部１０３ａはネットワークカメラＮＣ_１の次の画像データからオブジェクトＡ１ｃを検出する。オブジェクト検出部１０３ａは、上述した検出処理を連続して行い、オブジェクトＡ１ａからオブジェクトＡ１ｇを検出する。
同様に、オブジェクト検出部１０３ａは、復号されたネットワークカメラＮＣ_２の各画像データから、オブジェクトＡ２ａからオブジェクトＡ２ｃ、オブジェクトＢａからオブジェクトＢｇおよびオブジェクトＣａからオブジェクトＣｅを検出する。オブジェクト検出部１０３ａは、検出した全てのオブジェクト（Ａ１ａ〜Ａ１ｇ，Ａ２ａ〜Ａ２ｃ，Ｂａ〜Ｂｇ，Ｃａ〜Ｃｅ）の視覚的特徴量、位置情報および撮影時刻等を取得する。

オブジェクト追跡部１０３ｂは、オブジェクト検出部１０３ａから入力されたオブジェクトの検出結果を参照し、検出されたオブジェクトを時間方向に追跡する。オブジェクト追跡部１０３ｂは、オブジェクトの時間方向への追跡を行う場合、オブジェクト検出部１０３ａで検出されたオブジェクトの検出結果を、１つの画像データ内、および時間的に連続する複数の画像データ間で比較して追跡を行う。オブジェクト追跡部１０３ｂは、オブジェクトの追跡結果であるオブジェクトの動き情報（オプティカルフロー）を記述子生成部１０４に出力する。例えば、追跡対象のオブジェクトが人物の場合、一台のネットワークカメラで撮影された同一人物を追跡する。

図２に追跡対象のオブジェクトが人物の場合の具体例を示している。
図２の場合、オブジェクト追跡部１０３ｂは、領域Ｘａを撮像した画像データ間で、同一の特徴を有するオブジェクトＡ１（Ａ１ａ〜Ａ１ｇ）を追跡する。同様に、オブジェクト追跡部１０３ｂは、領域Ｘｂを撮像した画像データ間で、同一の特徴を有するオブジェクトＡ２（Ａ２ａ〜Ａ２ｃ）、オブジェクトＢ（Ｂａ〜Ｂｇ）およびオブジェクトＣ（Ｃａ〜Ｃｅ）を追跡する。
オブジェクト追跡部１０３ｂは、オブジェクトＡ１，Ａ２，Ｂ，Ｃの動き情報として、例えばオブジェクトＡ１が領域Ｘａを撮像した画像データ内に出現していた時間、オブジェクトＡ２，Ｂ，Ｃが領域Ｘｂを撮像した画像データ内に出現していた時間、オブジェクトＡ１，Ａ２，Ｂ，Ｃの動きを示す情報を記述子生成部１０４に出力する。

記述子生成部１０４は、オブジェクト検出部１０３ａから入力されたオブジェクトの検出結果、およびオブジェクト追跡部１０３ｂから入力されたオブジェクトの動き情報に基づいて、空間的な記述子、地理的な記述子、時間的な記述子またはこれらの組み合わせを示す記述子を生成する。
具体的には、記述子生成部１０４は、所定のフォーマットに従って、オブジェクトの検出結果およびオブジェクトの追跡結果を、特徴記述子に変換する。特徴記述子には、オブジェクト検出部１０３ａで検出されたオブジェクトの数、各オブジェクトの視覚的特徴量、各オブジェクトの位置情報、および各オブジェクトの撮影時刻等が含まれる。また、特徴記述子には、時間方向に追跡された同一のオブジェクトであることを示す識別子が含まれる。

データ記録制御部１０５は、復号部１０２から入力された復号された画像データと、記述子生成部１０４から入力された特徴記述子とからデータベースを構成する。データ記録制御部１０５は、構成したデータベースをストレージ１０６に格納する制御を行う。データ記録制御部１０５は、画像データと、特徴記述子とを、双方向に高速にアクセスすることができる形式で、ストレージ１０６に格納するのが望ましい。また、データ記録制御部１０５は、画像データと特徴記述子との対応関係を示すインデックステーブルを作成してデータベースを構成してもよい。例えば、データ記録制御部１０５は、画像データを構成する特定の画像フレームのデータ位置が与えられた場合、当該データ位置に対応する記述子データのストレージ１０６上の格納位置を高速に特定可能なように、インデックス情報を付加する。また、データ記録制御部１０５は、ストレージ１０６上の格納位置に対応するデータ位置を高速に特定可能なようにインデックス情報を付加してもよい。

ストレージ１０６は、例えば、ＨＤＤ（Hard Disk Drive）またはフラッシュメモリの大容量記録媒体で構成される。ストレージ１０６は、画像データが蓄積される第１のデータ記憶部１０６ａと、記述子データが蓄積される第２のデータ記憶部１０６ｂで構成されている。図１では、１つのストレージ１０６内に第１のデータ記憶部１０６ａおよび第２のデータ記憶部１０６ｂを設ける構成を示したが、これに限定されるものではない。例えば、第１のデータ記憶部１０６ａと、第２のデータ記憶部１０６ｂとが、それぞれ異なるストレージに分散して設けられていてもよい。

また、図１では、画像処理装置１００がストレージ１０６を備える構成を示したが、当該構成に限定されるものではない。画像処理装置１００は、ストレージ１０６に替えて、通信ネットワークＮＷ上に配置された単数または複数のネットワークストレージ装置（図示しない）に、データ記録制御部１０５がアクセスするように構成してもよい。これにより、データ記録制御部１０５が画像データと特徴記述子とを、外部のネットワークストレージ装置に蓄積することができ、画像処理装置１００の外部にデータベースを構築することができる。

外部機器２００は、インタフェース部１０７を介して、ストレージ１０６内のデータベースにアクセスする。
画像照合部１０８は、インタフェース部１０７を介して、外部機器２００から検索条件が設定されると、処理を開始する。ここで、検索条件とは、検索対象とするエリア情報、検索対象とする時刻情報、検索対象とするオブジェクトの種類または検索対象とするオブジェクトの判定時間等である。検索条件の具体例として、例えば、あるネットワークカメラＮＣ内で同一のオブジェクトとして追跡された時間が一定時間超えたオブジェクトを検索することを指示する条件、またはネットワークカメラＮＣ内で予め設定されたエリア（例えば、進入禁止エリア）に該当する位置情報を有するオブジェクトを検出することを指示する条件が挙げられる。

画像照合部１０８は、画像検索部１０８ａ、特徴抽出部１０８ｂおよび判定部１０８ｃを備える。画像検索部１０８ａは、ストレージ１０６にアクセスし、外部機器２００が設定した検索条件に合致するオブジェクトを検索する。画像検索部１０８ａは、検索条件に合致したオブジェクトに対して、照合するオブジェクトの組（以下、オブジェクトペアと記載する）の絞り込みを行う。照合するオブジェクトペアは、異なる領域を撮像した画像データにそれぞれ存在するオブジェクトの組み合わせである。また、オブジェクトペアの絞り込みは、オブジェクトの出現時間、オブジェクトの移動軌跡および予め設定された一般的な人の歩行時間を考慮して行われる。画像検索部１０８ａは、検索およびオブジェクトペアの絞り込みによって得られたオブジェクトの画像データと特徴記述子とを特徴抽出部１０８ｂに出力する。
図２の例において、画像検索部１０８ａが、検索条件に合致するオブジェクトとして、例えばオブジェクトＡ１、オブジェクトＡ２、オブジェクトＢおよびオブジェクトＣを検索する。さらに、画像検索部１０８ａは、異なるネットワークカメラＮＣで撮像されたオブジェクトペアの絞り込みを行い、オブジェクトＡ１と移動方向が異なるオブジェクトＢをオブジェクトから除外する。画像検索部１０８ａは、検索したオブジェクトＡ１、オブジェクトＡ２およびオブジェクトＣの画像データと特徴記述子とを、特徴抽出部１０８ｂに出力する。

特徴抽出部１０８ｂは、画像検索部１０８ａから入力されたオブジェクトの画像データおよび記述データを用いて、各オブジェクトの複数の画像データ間で特徴量を用いたクラスタリングを行う。特徴抽出部１０８ｂは、クラスタリングの結果、クラスタに含まれる画像数が最大のものを、オブジェクトを特徴付けるクラスタと定義する。特徴抽出部１０８ｂは、定義したクラスタに含まれる画像データから、オブジェクトの照合に用いる特徴量を抽出する。特徴抽出部１０８ｂは、例えば上述した非特許文献１または非特許文献２に開示された手法と同様の手法で、オブジェクトの照合に用いる特徴量を抽出する。非特許文献１または非特許文献２に開示された手法で求められる特徴量は、いずれもＮ次元のベクトルデータとなる。特徴抽出部１０８ｂは、クラスタに含まれる各画像データに対してＮ次元ベクトルデータを算出した後、クラスタに含まれる全ての画像データのＮ次元ベクトルデータを平均化する、または最大値を示すベクトルデータを選択し、クラスタに対して１つの特徴量を抽出する。特徴抽出部１０８ｂは、抽出した特徴量を判定部１０８ｃに出力する。

判定部１０８ｃは、特徴抽出部１０８ｂから入力された特徴量のうち、オブジェクトペアを構成する各オブジェクトの特徴量を比較し、オブジェクトが互いに同一であるか否か判定を行う。判定部１０８ｃは、判定結果を記述子としてバッファ（図示しない）等に記録し、インタフェース部１０７を介して外部機器２００に出力する。
図２の例の場合、判定部１０８ｃは、異なるネットワークカメラＮＣで撮像されたオブジェクトペアである、オブジェクトＡ１とオブジェクトＡ２との特徴量の比較、およびオブジェクトＡ１とオブジェクトＣとの特徴量の比較を行う。判定部１０８ｃは、オブジェクトＡ１とオブジェクトＡ２の特徴量が同一であると判定する。また、判定部１０８ｃは、オブジェクトＡ１の特徴量とオブジェクトＣの特徴量が同一でないと判定する。

次に、画像処理装置１００のハードウェア構成例を説明する。
図３Ａおよび図３Ｂは、画像処理装置１００のハードウェア構成例を示す図である。
画像処理装置１００における受信部１０１、復号部１０２、画像認識部１０３、記述子生成部１０４、データ記録制御部１０５、インタフェース部１０７および画像照合部１０８の各機能は、処理回路により実現される。即ち、画像処理装置１００は、上記各機能を実現するための処理回路を備える。当該処理回路は、図３Ａに示すように専用のハードウェアである処理回路１００ａであってもよいし、図３Ｂに示すようにメモリ１００ｃに格納されているプログラムを実行するプロセッサ１００ｂであってもよい。

図３Ａに示すように、受信部１０１、復号部１０２、画像認識部１０３、記述子生成部１０４、データ記録制御部１０５、インタフェース部１０７および画像照合部１０８が専用のハードウェアである場合、処理回路１００ａは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-programmable Gate Array）、またはこれらを組み合わせたものが該当する。受信部１０１、復号部１０２、画像認識部１０３、記述子生成部１０４、データ記録制御部１０５、インタフェース部１０７および画像照合部１０８の各部の機能それぞれを処理回路で実現してもよいし、各部の機能をまとめて１つの処理回路で実現してもよい。

図３Ｂに示すように、受信部１０１、復号部１０２、画像認識部１０３、記述子生成部１０４、データ記録制御部１０５、インタフェース部１０７および画像照合部１０８がプロセッサ１００ｂである場合、各部の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ１００ｃに格納される。プロセッサ１００ｂは、メモリ１００ｃに記憶されたプログラムを読み出して実行することにより、受信部１０１、復号部１０２、画像認識部１０３、記述子生成部１０４、データ記録制御部１０５、インタフェース部１０７および画像照合部１０８の各機能を実現する。即ち、受信部１０１、復号部１０２、画像認識部１０３、記述子生成部１０４、データ記録制御部１０５、インタフェース部１０７および画像照合部１０８は、プロセッサ１００ｂにより実行されるときに、後述する図４および図５に示す各ステップが結果的に実行されることになるプログラムを格納するためのメモリ１００ｃを備える。また、これらのプログラムは、受信部１０１、復号部１０２、画像認識部１０３、記述子生成部１０４、データ記録制御部１０５、インタフェース部１０７および画像照合部１０８の手順または方法をコンピュータに実行させるものであるともいえる。

ここで、プロセッサ１００ｂとは、例えば、ＣＰＵ（Central Processing Unit）、処理装置、演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、またはＤＳＰ（Digital Signal Processor）などのことである。
メモリ１００ｃは、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically EPROM）等の不揮発性または揮発性の半導体メモリであってもよいし、ハードディスク、フレキシブルディスク等の磁気ディスクであってもよいし、ミニディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等の光ディスクであってもよい。

なお、受信部１０１、復号部１０２、画像認識部１０３、記述子生成部１０４、データ記録制御部１０５、インタフェース部１０７および画像照合部１０８の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。このように、画像処理装置１００における処理回路１００ａは、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。

次に、画像処理装置１００の動作について説明する。
まず、画像処理装置１００の画像認識処理について、図４を参照しながら説明する。
図４は、実施の形態１に係る画像処理装置１００の画像認識処理の動作を示すフローチャートである。
受信部１０１は、ネットワークカメラＮＣ_１，ＮＣ_２，…，ＮＣ_ｎから配信データを受信して画像データを分離し（ステップＳＴ１）、復号部１０２に出力する。復号部１０２は、ステップＳＴ１で分離された画像データを復号し（ステップＳＴ２）、画像認識部１０３に出力する。

画像認識部１０３のオブジェクト検出部１０３ａは、ステップＳＴ２で復号された画像データに現れるオブジェクトの検出を試みる（ステップＳＴ３）。ここで、検出対象となるオブジェクトは、自動車、自転車および歩行者など、追跡対象の動くオブジェクトである。オブジェクト検出部１０３ａは、オブジェクトを検出したか否か判定を行う（ステップＳＴ４）。オブジェクトを検出しなかった場合（ステップＳＴ４；ＮＯ）、フローチャートはステップＳＴ１の処理に戻る。

一方、オブジェクトを検出した場合（ステップＳＴ４；ＹＥＳ）、オブジェクト検出部１０３ａは、検出したオブジェクトの視覚的特徴量、位置情報および撮影時刻等を取得する（ステップＳＴ５）。オブジェクト検出部１０３ａは、検出したオブジェクトの画像データと、取得したオブジェクトの視覚的特徴量、位置情報および撮影時刻等を検出結果としてオブジェクト追跡部１０３ｂおよび記述子生成部１０４に出力する。

オブジェクト追跡部１０３ｂは、オブジェクト検出部１０３ａから入力されたオブジェクトの画像データを参照し、１つの画像フレーム内で検出された各オブジェクトに対してそれぞれ異なるＩＤを付与する（ステップＳＴ６）。オブジェクト追跡部１０３ｂは、１つのフレーム内で検出された各オブジェクトの画像データから、各オブジェクトの動き情報を抽出する（ステップＳＴ７）。オブジェクト追跡部１０３ｂは、ステップＳＴ５で取得されたオブジェクトの視覚的特徴量と、ステップＳＴ７で抽出したオブジェクトの動き情報とを参照し、オブジェクト検出部１０３ａから入力されたオブジェクトと、当該オブジェクトと時間的に連続した過去の画像フレームから検出されたオブジェクトとが、同一であるか否か判定を行う（ステップＳＴ８）。オブジェクトが同一でないと判定した場合（ステップＳＴ８；ＮＯ）、ステップＳＴ１０の処理に進む。

一方、オブジェクトが同一であると判定した場合（ステップＳＴ８；ＹＥＳ）、オブジェクト追跡部１０３ｂは、ステップＳＴ６で付与したＩＤを、同一である過去のオブジェクトに付与されたＩＤで書き換える（ステップＳＴ９）。オブジェクト追跡部１０３ｂは、オブジェクト検出部１０３ａから入力された全てのオブジェクトに対して処理を行ったか否か判定を行う（ステップＳＴ１０）。全てのオブジェクトに対して処理を行っていない場合（ステップＳＴ１０；ＮＯ）、フローチャートはステップＳＴ７の処理に戻る。一方、全てのオブジェクトに対して処理を行った場合（ステップＳＴ１０；ＹＥＳ）、オブジェクト追跡部１０３ｂはオブジェクトのＩＤおよびオブジェクトの動き情報を記述子生成部１０４に出力する（ステップＳＴ１１）。

記述子生成部１０４は、オブジェクト検出部１０３ａから入力されたオブジェクトの視覚的特徴量、位置情報および撮影時刻、ステップＳＴ１１としてオブジェクト追跡部１０３ｂから入力されたオブジェクトのＩＤおよびオブジェクトの動き情報に基づいて、記述子を生成する（ステップＳＴ１２）。記述子生成部１０４は、生成した記述子をデータ記録制御部１０５に出力する。データ記録制御部１０５は、ステップＳＴ１２で生成された記述子と、ステップＳＴ２で復号された画像データとを関連付けてストレージ１０６に格納する制御を行い（ステップＳＴ１３）、処理を終了する。

次に、画像処理装置１００の画像照合処理について、図５を参照しながら説明する。
図５は、実施の形態１に係る画像処理装置１００の画像照合処理の動作を示すフローチャートである。なお、以下では、２つのネットワークカメラが撮像した２つの画像データ間で、オブジェクトペアを検索する場合の処理を想定した説明を行うが、３以上の画像データ間でオブジェクトペアを検索する処理にも同様に適用可能である。
インタフェース部１０７を介して外部機器２００から検索条件が設定されると（ステップＳＴ２１）、画像検索部１０８ａはストレージ１０６内の検索を行い、設定された検索条件と一致するオブジェクトを検索し、オブジェクトペアの絞り込みを行う（ステップＳＴ２２）。画像検索部１０８ａは、それぞれ異なるネットワークカメラＮＣで撮像されたオブジェクトペアを１組以上検索したか否か判定を行う（ステップＳＴ２３）。オブジェクトペアを１組以上検索しなかった場合（ステップＳＴ２３；ＮＯ）、画像検索部１０８ａは処理を終了する。

一方、オブジェクトペアを１組以上検索した場合（ステップＳＴ２３；ＹＥＳ）、画像検索部１０８ａは、ストレージ１０６から検索した１組以上のオブジェクトペアの画像データおよび記述子データを読み出す（ステップＳＴ２４）。画像検索部１０８ａは、読み出した画像データおよび記述子データを特徴抽出部１０８ｂに出力する。特徴抽出部１０８ｂは、ステップＳＴ２４で読み出された画像データおよび記述子データを用いて、各オブジェクトの各画像データ間で特徴量を用いたクラスタリングを行う（ステップＳＴ２５）。特徴抽出部１０８ｂは、各オブジェクトを特徴付けるクラスタを定義する（ステップＳＴ２６）。特徴抽出部１０８ｂは、ステップＳＴ２６で定義したクラスタ内の画像データから特徴量を抽出する（ステップＳＴ２７）。特徴抽出部１０８ｂは、抽出した特徴量を判定部１０８ｃに出力する。

判定部１０８ｃは、ステップＳＴ２７で抽出された特徴量を比較し、オブジェクトペアを構成するオブジェクトが互いに同一であるか否か判定を行う（ステップＳＴ２８）。判定部１０８ｃは、ステップＳＴ２８の判定結果を、バッファ等に格納し、インタフェース部１０７を介して外部機器２００に出力し（ステップＳＴ２９）、処理を終了する。

次に、図５のフローチャートの各処理について、図２で示した例を参照しながら説明する。
ステップＳＴ２１として、外部機器２００から、例えば「ネットワークカメラＮＣ_１およびネットワークカメラＮＣ_２が撮影しているエリアにおいて、一定時間以上滞在している人物」との検索条件が設定される。
ステップＳＴ２２として、画像検索部１０８ａは、ストレージ１０６内の検索を行い、「ネットワークカメラＮＣ_１およびネットワークカメラＮＣ_２が撮影しているエリアにおいて、一定時間以上滞在している人物」との検索条件と一致するオブジェクトの検索を行う。

上述したが、ストレージ１０６には、オブジェクトの画像データと関連付けられて、オブジェクトのＩＤ、視覚的特徴量、位置情報、撮影時刻、オブジェクトのＩＤおよび動き情報が格納されている。図２の例では、ネットワークカメラＮＣ_１で検出され、追跡された人物であるオブジェクトＡ１について、新しいＩＤが付与された時刻が、ネットワークカメラＮＣ_１の撮像画像に該当する人物であるオブジェクトＡ１ａが現れた時刻に相当する。また、当該新しいＩＤと同一のＩＤが付与された人物であるオブジェクト（Ａ１ｂからＡ１ｇ）は、同一オブジェクトであるとして追跡されたオブジェクトである。よって、新しいＩＤと同一のＩＤが付与されていた時間が、そのオブジェクトがネットワークカメラ撮像画像内に滞在していた時間に相当する。また、図２において示した矢印Ｔａ１は、同一オブジェクトであるとして追跡されたオブジェクト（Ａ１ａからＡ１ｇ）の位置情報から推定される、オブジェクトＡ１の移動軌跡を示す矢印である。

ステップＳＴ２３として、画像検索部１０８ａは、検索条件と一致する４つのオブジェクト（オブジェクトＡ１、オブジェクトＡ２、オブジェクトＢおよびオブジェクトＣ）を検索する。また、ステップＳＴ２３として、画像検索部１０８ａは、オブジェクトペアの絞り込みを行って、オブジェクトＢを除外し、３つのオブジェクト（オブジェクトＡ１、オブジェクトＡ２およびオブジェクトＣ）を検出する（ステップＳＴ２３；ＹＥＳ）。

ステップＳＴ２４として、画像検索部１０８ａはオブジェクトＡ１、オブジェクトＡ２、オブジェクトＣの画像データおよび記述子データを、ストレージ１０６から読み出す。ステップＳＴ２５として、特徴抽出部１０８ｂは、オブジェクトＡ１の特徴量を用いたクラスタリング、オブジェクトＡ２の特徴量を用いたクラスタリングおよびオブジェクトＣの特徴量を用いたクラスタリングを行う。ステップＳＴ２６として、特徴抽出部１０８ｂは、オブジェクトＡ１、オブジェクトＡ２およびオブジェクトＣのそれぞれに対してクラスタを定義する。ステップＳＴ２７として、特徴抽出部１０８ｂは、定義したクラスタ内の画像データから特徴量を抽出する。

ステップＳＴ２８として、判定部１０８ｃはオブジェクトＡ１、オブジェクトＡ２およびオブジェクトＣの視覚的特徴量および画像データの特徴量を用いて、オブジェクトペアを構成するオブジェクトＡ１とオブジェクトＡ２が同一であると判定する。また、判定部１０８ｃは、オブジェクトペアを構成するオブジェクトＡ１とオブジェクトＣが同一でないと判定する。ステップＳＴ２９として、判定部１０８ｃは、オブジェクトＡ１とオブジェクトＡ２は同一のオブジェクトであるとの判定結果、オブジェクトＡ１とオブジェクトＢは同一のオブジェクトでないとの判定結果、オブジェクトＡ１とオブジェクトＣは同一のオブジェクトでないとの判定結果を、バッファ等に記録し、外部機器２００に出力する。

図６は、実施の形態１に係る画像処理装置１００の照合処理において、オブジェクトとして追跡された人物の画像データ例を示す図である。
図６Ａは図２で示したオブジェクトＡの画像データを示し、図６Ｂは図２で示したオブジェクトＣの画像データを示す図である。
図６Ａに示すように、同一のオブジェクトＡを追跡した画像データであっても、例えば障害物Ｙによって、オブジェクトＡの一部が隠れている場合もある。また、同一のオブジェクトＡを追跡した画像データであっても、例えばオブジェクトの姿勢が変化した場合に、撮像される内容が異なる。そのため、図６Ａで示したオブジェクトＡの４つの画像データから１つの画像データ（例えば、オブジェクトＡｃを撮像した画像データ）を選択し、図６ＢのオブジェクトＣの４つの画像データから選択した画像データ（例えば、オブジェクトＣｂを撮像した画像データ）と比較すると、選択した画像データに依存し、画像照合部１０８の照合精度が低下する。

そこで、画像照合部１０８は、図６Ａで示した例えば４つの画像データを用いてクラスタを定義し、定義したクラスタ内の画像データから特徴量を抽出する。同様に、画像照合部１０８は、図６Ｂで示した例えば３つの画像データを用いてクラスタを定義し、定義したクラスタ内の画像データから特徴量を抽出する。判定部１０８ｃは、オブジェクトＡの抽出された特徴量と、オブジェクトＣの抽出された特徴量とを比較することにより、判定結果が画像データに依存するのを抑制することができる。

以上のように、実施の形態１によれば、画像データを解析して当該画像データに現れるオブジェクトを検出するオブジェクト検出部１０３ａと、検出されたオブジェクトを時間方向に追跡するオブジェクト追跡部１０３ｂと、オブジェクトの検出結果と追跡結果とに基づいて、オブジェクトの特徴記述子を生成する記述子生成部１０４と、生成された特徴記述子と、当該特徴記述子に対応したオブジェクトの画像データとからデータベースを構成するデータ記録制御部１０５と、データベースから、設定された検索条件に合致するオブジェクトであって、それぞれ異なる領域を撮像した画像データに現れるオブジェクトの組を構成するオブジェクトを検索する画像検索部１０８ａと、検索されたオブジェクトの画像データおよび特徴記述子から、照合に用いる特徴量を抽出する特徴抽出部１０８ｂと、抽出された特徴量の照合を行い、オブジェクトの組を構成するオブジェクトが同一であるか否か判定を行う判定部１０８ｃとを備えるように構成したので、背景またはオクルージョンによる特徴量の変化にロバストに、複数のカメラで撮影された画像間で同一のオブジェクトであるか判定することができる。

また、実施の形態１によれば、特徴抽出部は、検索されたオブジェクトの画像データおよび特徴記述子から、検索された各オブジェクトの画像データ間で特徴量を用いたクラスタリングを行い、クラスタリングの結果から定義されるクラスタ内の画像データから、特徴量を抽出するように構成したので、画像データに依存して照合精度が低下するのを抑制することができる。

この発明に係る画像処理装置は、例えば、監視システムを含む物体認識システム、または画像検索システムに用いられるのに適している。

１００ 画像処理装置、１０１ 受信部、１０２ 復号部、１０３ 画像認識部、１０３ａ オブジェクト検出部、１０３ｂ オブジェクト追跡部、１０４ 記述子生成部、１０５ データ記録制御部、１０６ ストレージ、１０６ａ 第１のデータ記憶部、１０６ｂ 第２のデータ記憶部、１０７ インタフェース部、１０８ 画像照合部、１０８ａ 画像検索部、１０８ｂ 特徴抽出部、１０８ｃ 判定部。

Claims (3)

1. 画像データを解析して当該画像データに現れるオブジェクトを検出するオブジェクト検出部と、
   前記オブジェクト検出部が検出した前記オブジェクトを時間方向に追跡するオブジェクト追跡部と、
   前記オブジェクト検出部の検出結果と、前記オブジェクト追跡部の追跡結果とに基づいて、前記オブジェクトの特徴記述子を生成する記述子生成部と、
   前記記述子生成部が生成した前記特徴記述子と、当該特徴記述子に対応したオブジェクトの前記画像データとからデータベースを構成するデータ記録制御部と、
   前記データ記録制御部が構成した前記データベースから、設定された検索条件に合致するオブジェクトであって、それぞれ異なる領域を撮像した前記画像データに現れるオブジェクトの組を構成するオブジェクトを検索する画像検索部と、
   前記画像検索部が検索したオブジェクトの前記画像データおよび前記特徴記述子から、照合に用いる特徴量を抽出する特徴抽出部と、
   前記特徴抽出部が抽出した前記特徴量の照合を行い、前記オブジェクトの組を構成するオブジェクトが同一であるか否か判定を行う判定部とを備え、
   前記特徴抽出部は、前記画像検索部が検索したオブジェクトの前記画像データおよび前記特徴記述子から、前記検索された各オブジェクトの前記画像データ間で特徴量を用いたクラスタリングを行い、前記クラスタリングの結果から定義されるクラスタ内の前記画像データから、前記クラスタに対して１つの前記特徴量を抽出することを特徴とする画像処理装置。
2. 前記特徴記述子には、前記オブジェクトの視覚的特徴量、および前記オブジェクトの位置情報が含まれることを特徴とする請求項１記載の画像処理装置。
3. オブジェクト検出部が、画像データを解析して当該画像データに現れるオブジェクトを検出するステップと、
   オブジェクト追跡部が、前記検出されたオブジェクトを時間方向に追跡するステップと、
   記述子生成部が、前記オブジェクトの検出結果と、前記検出されたオブジェクトの追跡結果とに基づいて、前記検出されたオブジェクトの特徴記述子を生成するステップと、
   データ記録制御部が、前記生成された特徴記述子と、当該特徴記述子に対応したオブジェクトの前記画像データとからデータベースを構成するステップと、
   画像検索部が、前記構成されたデータベースから、設定された検索条件に合致するオブジェクトであって、それぞれ異なる領域を撮像した前記画像データに現れるオブジェクトの組を構成するオブジェクトを検索するステップと、
   特徴抽出部が、前記検索されたオブジェクトの前記画像データおよび前記特徴記述子から、照合に用いる特徴量を抽出するステップと、
   判定部が、前記抽出された特徴量の照合を行い、前記オブジェクトの組を構成するオブジェクトが同一であるか否か判定を行うステップとを備え、
   前記特徴抽出部は、前記画像検索部が検索したオブジェクトの前記画像データおよび前記特徴記述子から、前記検索された各オブジェクトの前記画像データ間で特徴量を用いたクラスタリングを行い、前記クラスタリングの結果から定義されるクラスタ内の前記画像データから、前記クラスタに対して１つの前記特徴量を抽出することを特徴とする画像処理方法。

Images