JP7132387B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明の実施形態は、画像処理装置、画像処理方法およびプログラムに関する。

従来から、保有する画像中の人物と別の画像中の人物とが同一人物であるか判定する方式として、顔や全身など予め定めた特定領域を検出し、その領域から得られる特徴量を用いて算出した画像間の類似性を用いる方式が知られている。また、判定性能を向上させるために、顔領域を用いた顔認証に加え、社員証などのネームプレートの情報を同時に利用する照合装置が知られている。また、映像内の特定物体をフレーム間で対応付ける追跡処理に関して、物体の複数領域を検出し、領域の間の位置関係に基づき、一部領域が検出困難であっても追跡可能とする技術が知られている。

特許第５６４９６０１号公報 特許第６０４０８２５号公報

P. F. Felzenszwalb，R. B. Girshick，D. McAllester and D. Ramanan，"Object detection with discriminatively trained part based models"，PAMI，vol.32，no.9，pp.1627-1645，2010 N. Dalal and B. Triggs，"Histograms of oriented gradients for human detection"，CVPR，vol.1，pp.886-893， 2005 Ren, Shaoqing, et al. "Faster R-CNN: Towards real-time object detection with region proposal networks." Advances in neural information processing systems. 2015 He, Kaiming, et al. "Deep Residual Learning for Image Recognition." arXiv preprint arXiv:1512.03385 （2015）

しかしながら、従来技術では、例えば物体の姿勢および物体とカメラとの位置関係により、対象とする領域が検出できず、判定が実行できない場合があった。また、時間的に近接する画像であることが仮定できない場合には、上記のような追跡処理の技術が適用できない場合があった。このように、従来技術では、画像中の物体が同一であるかを精度よく判定できない場合があった。

実施形態の画像処理装置は、検出部と、抽出部と、判定部と、を備える。検出部は、第１画像から、物体に含まれる予め定められた複数の部位のうち２以上の部位にそれぞれ対応する２以上の第１部分領域を検出し、第２画像から、複数の部位のうち２以上の部位にそれぞれ対応する２以上の第２部分領域を検出する。抽出部は、２以上の第１部分領域から２以上の第１特徴量を抽出し、２以上の第２部分領域から２以上の第２特徴量を抽出する。判定部は、第１特徴量と第２特徴量とを用いて、第１画像に含まれる物体と第２画像に含まれる物体が同一であるか否かを判定する。

第１の実施形態にかかる画像処理装置のブロック図。 変形例にかかる画像処理システムのブロック図。 第１の実施形態における判定処理のフローチャート。 画像内の１つの領域を用いて物体の同一性を判定する例を示す図。 画像内の複数の領域を用いて物体の同一性を判定する例を示す図。 画像内の複数の領域を用いて物体の同一性を判定する例を示す図。 判定結果の出力方法の一例を示す図。 判定結果の出力方法の一例を示す図。 第２の実施形態にかかる画像処理装置のブロック図。 第２の実施形態における判定処理のフローチャート。 属性情報の具体例を示す図。 属性情報の具体例を示す図。 第１または第２の実施形態にかかる装置のハードウェア構成図。

以下に添付図面を参照して、この発明にかかる画像処理装置の好適な実施形態を詳細に説明する。

以下の実施形態の画像処理装置は、例えば、監視カメラで撮像した映像から、特定人物が映っている時間を特定する人物検索システムに適用できる。この場合、例えば画像処理装置は、予め登録した画像中の人物と、監視カメラに映る歩行者などの人物とが同一であるかを判定する。これにより、登録人物が映像中のどの区間に存在していたか解析することが可能となる。また、実施形態の画像処理装置は、スポーツの映像から特定人物を検出するシステム、および、映像内の特定物体を追跡するシステムに適用できる。適用可能なシステムはこれらに限られるものではない。また判定対象は人物に限られず、どのような物体であってもよい。

（第１の実施形態）
第１の実施形態に係る画像処理装置は、同一物体であるかを判定する２つの画像に対して、物体に含まれる予め定められた複数の部位（特定部位）に相当する２以上の領域を検出する。画像処理装置は、検出した各領域から同一物体であると判定するための特徴量を抽出し、２つの画像間で共通に抽出できた領域の特徴量を用いて、同一物体であるかを判定する。これにより、一部の領域から特徴量が抽出できない場合であっても、画像中の物体の同一判定をより高精度に実行可能となる。複数の領域からの特徴量を用いることができるため、複数の視点からの判定が可能になり、判定の精度をより高くすることができる。また、２つの画像が時間的に近接する画像であることを仮定する必要はない。

図１は、第１の実施形態にかかる画像処理装置１００の構成の一例を示すブロック図である。図１に示すように、画像処理装置１００は、撮像部１２１と、記憶部１２２と、検出部１０１と、抽出部１０２と、判定部１０３と、出力制御部１０４と、を備えている。

撮像部１２１は、物体を撮像し、物体が撮像された画像を出力する。撮像部１２１は、例えば、カメラなどの撮像装置により実現できる。なお、例えば記憶部１２２などの記憶媒体、または、他の装置から画像を取得する場合は、画像処理装置１００は撮像部１２１を備えなくてもよい。

記憶部１２２は、画像処理装置１００における各種処理で用いられる各種情報を記憶する。例えば記憶部１２２は、事前に得られた特定物体（特定人物）の画像、および、各部による処理結果などを記憶する。記憶部１２２は、ＨＤＤ（Hard Disk Drive）、光ディスク、メモリカード、ＲＡＭ（Random Access Memory）などの一般的に利用されているあらゆる記憶媒体により構成することができる。

検出部１０１は、画像から物体の特定部位に相当する部分領域を検出する。例えば検出部１０１は、２つの画像（第１画像、第２画像）のそれぞれから、物体に含まれる予め定められた複数の部位（特定部位）のうち２以上の部位にそれぞれ対応する２以上の部分領域を検出する。例えば第１画像から２以上の部分領域（第１部分領域）が検出され、第２画像から２以上の部分領域（第２部分領域）が検出される。２つの画像から検出される部分領域は一致する場合もあるし、一致しない場合もある。

物体が人物の場合、部分領域は、例えば、顔、頭部、全身、上半身、下半身、胴体、腕、脚、および、足などである。部分領域は、例えば対象を包含する矩形で表現する。領域の形状は矩形に限られず、円形または楕円形などでもよい。

比較する２つの画像（第１画像、第２画像）はどのような画像であってもよい。例えば、画像処理装置１００を人物検索システムに適用する場合は、事前に撮像された特定人物の画像を第１画像とし、その後に監視カメラで撮像された映像内の画像を第２画像としてもよい。スポーツの映像から特定人物を検出するシステムに適用する場合は、事前に撮像された特定人物の画像を第１画像とし、映像内の画像を第２画像としてもよい。映像内の２つの画像が第１画像および第２画像として比較されてもよい。特定物体を追跡するシステムに適用する場合は、映像内の相互に近接するフレームを第１画像および第２画像としてもよい。

検出部１０１が部分領域を検出する方法はどのような方法であってもよい。例えば検出部１０１は、各部分領域を抽出する個別の検出器を学習し、学習した検出器を用いてもよい。検出部１０１は、非特許文献１のように、各部分領域の位置関係を学習することで姿勢変動に対して頑健性を向上させたモデル（Deformable Part Model）を用いてもよい。個別の検出器は、輝度勾配を特徴として、サポートベクタマシンで前景と背景を学習する手法により実現してもよい（非特許文献２）。

検出部１０１は、深層学習を用いた検出手法を用いてもよい。深層学習を用いる手法としては、非特許文献３のＦａｓｔｅｒ Ｒ－ＣＮＮ（Region-based Convolutional Neural Networks）などが知られている。Ｆａｓｔｅｒ Ｒ－ＣＮＮの場合、検出部１０１は、入力画像から中間表現である特徴マップを共通で抽出し、その後、その特徴マップから各部分領域に対応した候補矩形を抽出し、出力できる。そのため、複数の部分領域を同時に学習し、同時に推定して出力することが可能である。

抽出部１０２は、検出部１０１で検出できた部分領域から特徴量を算出する。抽出部１０２は、対象の見え方により検出できなかった部分領域からは特徴量を抽出しない。複数の部分領域から特徴量が抽出できた場合、抽出部１０２は、それらの特徴量を統合して出力してもよい。

抽出部１０２は、検出部１０１で検出できた部分領域それぞれから、部分領域に応じて設計した特徴抽出方法により特徴量を抽出する。抽出する特徴量は、同一人物を判定するための特徴量であり、個人性を表現する情報である。このため、同一人物は類似し、他人は類似しない特徴空間が学習され、特徴量の抽出に用いられる。

一般的に特徴抽出方法は、特徴記述と、計量学習した空間への写像と、で構成される。特徴記述は、部分領域中の画像情報から、予め設計した方法で、固定次元の数値ベクトル（特徴ベクトル）を求める処理である。例えば抽出部１０２は、部分領域を複数のブロックに分割し、各ブロックの輝度勾配の頻度を記述するＨＯＧ（Histogram of Gradients、非特許文献２）を用いてもよい。抽出部１０２は、部分領域を固定サイズにリサイズして、画素値を並べた特徴ベクトルを求めてもよい。

計量学習は、どのような学習方法を用いてもよい。例えば、線形判別分析および深層学習などを計量学習に用いてもよい。深層学習は、特徴抽出と計量学習とを、学習データに関して認識する性能が最大になるように同時に最適化（学習）する方式である（非特許文献４）。Ｒｅｓｉｄｕａｌ Ｎｅｔのような深層学習を用いる場合、予め学習したモデルの最終出力は学習に用いた物体の尤度列であり、未学習の物体についての情報が得られない。そのため、最終出力層の直前のｐｏｏｌ５層などの中間状態が特徴量として抽出され、使用される。

判定部１０３は、抽出された特徴量を用いて、２つの画像（第１画像、第２画像）に含まれる物体が同一であるか否かを判定する。例えば判定部１０３は、第１部分領域から抽出された特徴量（第１特徴量）と、第２部分領域から抽出された特徴量（第２特徴量）とを判定に用いる。

判定部１０３は、例えば、２つの画像間で共通に特徴量が抽出された部分領域（第３部分領域）の特徴量を用いて類似度を算出し、類似度と閾値とを比較することにより、画像内の物体が同一であるかを判定する。例えば第１画像から顔、上半身、および、全身の特徴量が抽出され、第２画像から上半身および全身の特徴量が抽出されたとする。この場合、判定部１０３は、共通に抽出された上半身および全身の特徴量を用いる。第１画像および第２画像それぞれから２以上の部分領域が検出されるため、２つの画像間で共通に特徴量が抽出される第３部分領域の個数は１以上となる。

判定部１０３は、２以上の部分領域それぞれから抽出される２以上の特徴量を用いることができる。このため、１つの領域のみを用いていた従来技術と比較して、特徴量が抽出できないことにより判定が実行できなくなる確率を大きく下げることが可能となる。

特徴量の類似度はどのような方法で算出してもよい。例えば判定部１０３は、特徴量（特徴ベクトル）のベクトル類似度を用いてもよいし、特徴ベクトルのベクトル間距離を用いてもよい。

判定部１０３は、２以上の特徴量それぞれについて、対応する特徴量との間の類似度を算出し、算出された２以上の類似度の重み付け和などを閾値と比較することにより、２つの画像内の物体が同一であるかを判定してもよい。例えば判定部１０３は、物体間の類似度ｓｉｍ（ｉ，ｊ）を以下の（１）式で算出する。

ここで、＜ａ｜ｂ＞はベクトルａとベクトルｂとの内積を表す。ｘ_ｐ，ｉは部分領域ｐについての物体ｉの特徴ベクトルとする。ｘ_ｐ，ｊは部分領域ｐについての物体ｊの特徴ベクトルとする。Ｓ（ｉ，ｊ，ｐ）は、部分領域ｐについての特徴量間の類似度に相当する。Σは、すべての部分領域ｐについての和を算出することを意味する。

重みｗ_ｐは、部分領域ｐに対して定められた重みを表す。重みｗ_ｐは、大きい値であるほど、その部分領域に関する類似度をより考慮して物体間の類似度を算出することとなる。重みは、例えば、各部分領域の個人認証に対する信頼度（物体が同一であるか否かの判定に対する信頼度）に応じて定められる。例えば、スポーツの映像から同一人物を検出するシステムに適用する場合、ユニホームを含む上半身の領域が、個人を特定するのにより信頼できると考えられる。このため、上半身の領域の重みを、他の領域より大きい値とすることができる。このように、各部分領域の重みは、本実施形態を適用するシステムの種類、および、処理対象とする画像（映像）の種類などに応じて変更してもよい。

判定部１０３は、以下の（２）式のように、各部分領域ｐの類似度を要素とするベクトルαを定義し、サポートベクタマシンなどを用いて予め学習した回帰式により、部分領域の類似度ベクトルから物体間の類似度を算出してもよい。

判定部１０３は、算出された２以上の類似度それぞれを、部位ごとに定められた閾値と比較し、閾値を超えた個数により、画像内の物体が同一であるか判定してもよい。言い換えると、同一物体であるかどうかをそれぞれの部分領域で判定し、多数決により判定してもよい。例えば判定部１０３は、以下の（３）式により物体間の類似度ｓｉｍ（ｉ，ｊ）を算出する。ｔｈ_ｐは、部分領域ｐに対して定められた閾値を表す。Ｐは、類似度算出に用いる部分領域の数とする。重みｗ_ｐはすべて均等としてもよい。

判定部１０３は、２以上の特徴量（特徴ベクトル）を１つに統合して、物体の特徴量を生成し、統合した特徴量間の類似度により同一物体であるか否かを判定してもよい。特徴ベクトルの統合は、例えば、部分空間法により、部分空間として表現してもよい。判定部１０３は、すべての特徴ベクトルの次元数ｄを同一に決めておき、以下の（４）式のように、２以上の特徴ベクトルの重み付け和である特徴量（統合特徴量）を算出してもよい。重みｗ_ｐは、（１）式と同様に部分領域ｐに対して定められた重みを表す。ｘ_{ｐ，ｉ，ｄ}は部分領域ｐについての物体ｉのｄ次元の特徴ベクトルを表す。Ｍ_ｉは物体ｉのｄ次元の特徴ベクトルとなる。

判定部１０３は、２つの画像それぞれに対して算出された２つの統合特徴量の類似度を算出することにより、２つの画像内の物体が同一であるか判定する。

（４）式のように次元数が共通となる統合特徴量を用いる場合、共通で検出できた部分領域に限る必要はないため、判定部１０３は、２つの画像間で共通に特徴量が抽出された部分領域（第３部分領域）以外の特徴量も含めて統合特徴量を算出してもよい。例えば判定部１０３は、第１画像から抽出されたすべての特徴量を統合した統合特徴量を算出し、第２画像から抽出されたすべての特徴量を統合した統合特徴量を算出し、両者の類似度を算出してもよい。

例えば上記と同様に、第１画像から顔、上半身、および、全身の特徴量が抽出され、第２画像から上半身および全身の特徴量が抽出されたとする。この場合、判定部１０３は、第１画像に対しては、顔、上半身、および、全身の特徴量を統合した統合特徴量を算出し、第２画像に対しては上半身および全身の特徴量を統合した統合特徴量を算出し、両者の類似度を算出する。

判定部１０３は、算出した類似度が閾値以上である場合、２つの画像内の物体が同一であると判定し、類似度が閾値未満である場合、２つの画像内の物体が同一でないと判定する。

出力制御部１０４は、画像処理装置１００による各種処理の処理結果などの出力処理を制御する。例えば出力制御部１０４は、判定部１０３による判定結果（物体が同一であるか否か、同一であると判定された物体が映っている時間など）を出力する。出力方法はどのような方法であってもよい。例えば出力制御部１０４は、判定結果をディスプレイなどの表示装置に出力する。出力制御部１０４は、ネットワークなどを介して外部の装置に判定結果を送信してもよい。

図１の各部の機能を、複数の装置により実現してもよい。図２は、このように構成した場合の画像処理システムの構成の一例を示すブロック図である。なお、図１と同様の構成については同一の符号を付し、説明を省略する。また図２のように機能を複数の装置に分散する構成は、後述の実施形態にも適用できる。

図２に示すように、画像処理システムは、端末装置１００ａと、画像処理装置１００ｂと、を備えている。端末装置１００ａと画像処理装置１００ｂとは、例えばインターネットなどのネットワークにより接続される。端末装置１００ａは、例えば、監視カメラ、パーソナルコンピュータ、携帯電話、スマートフォン、および、タブレットなどである。画像処理装置１００ｂは、例えば、クラウド上に構築されたサーバ装置である。

端末装置１００ａは、撮像部１２１と、通信制御部１１１と、を備えている。画像処理装置１００ｂは、通信制御部１１２と、記憶部１２２と、検出部１０１と、抽出部１０２と、判定部１０３と、出力制御部１０４と、を備えている。

通信制御部１１１は、画像処理装置１００ｂなどの外部装置との間の通信を制御する。例えば通信制御部１１１は、撮像部１２１により撮像された画像を画像処理装置１００ｂに送信する。また、通信制御部１１１は、画像処理装置１００ｂによる処理結果（判定部１０３の判定結果など）を、画像処理装置１００ｂから受信する。

通信制御部１１２は、端末装置１００ａなどの外部装置との間の通信を制御する。例えば通信制御部１１２は、撮像部１２１により撮像された画像を端末装置１００ａから受信する。また、通信制御部１１２は、画像処理装置１００ｂによる処理結果（判定部１０３の判定結果など）を、端末装置１００ａに送信する。

図２は、撮像部１２１とそれ以外の機能部とを２つの装置に分けた例を示す。各機能部の分離方法はこれに限られるものではなく、どのような分離方法であってもよい。例えば、抽出部１０２が特徴量を抽出する処理（詳細は後述）までの機能を端末装置１００ａが備え、判定部１０３以降の処理を画像処理装置１００ｂが実行してもよい。また、図１の各部の機能を、３以上の装置に分散して実行するように構成してもよい。

上記各部（検出部１０１、抽出部１０２、判定部１０３、出力制御部１０４、および、通信制御部１１１、１１２）は、例えば、１または複数のプロセッサにより実現される。例えば上記各部は、ＣＰＵ（Central Processing Unit）などのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のＩＣ（Integrated Circuit）などのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、各プロセッサは、各部のうち１つを実現してもよいし、各部のうち２以上を実現してもよい。

次に、このように構成された第１の実施形態にかかる画像処理装置１００による判定処理について図３を用いて説明する。図３は、第１の実施形態における判定処理の一例を示すフローチャートである。

検出部１０１は、例えば撮像部１２１から、処理対象とする画像を取得する（ステップＳ１０１）。検出部１０１は、取得した画像から、物体の特定部位に相当する部分領域を検出する（ステップＳ１０２）。抽出部１０２は、検出された部分領域それぞれから、特徴量を抽出する（ステップＳ１０３）。判定部１０３は、特徴量を用いて、２つの画像内の物体が同一であるか否かを判定する（ステップＳ１０４）。出力制御部１０４は、判定部１０３による判定結果を出力する（ステップＳ１０５）。

次に、判定処理の具体例について説明する。図４は、画像内の１つの領域を用いて物体の同一性を判定する場合の例を示す図である。図４は、顔領域が判定処理に用いられる例を示す。図４に示すように、画像４０２では顔が認識できるため顔領域４１２が検出されるが、画像４０１では顔が認識できないため顔領域が検出されない。この結果、２つの画像内の物体が同一であるか否かを判定できなくなる。

図５および図６は、画像内の複数の領域を用いて物体の同一性を判定する場合の例を示す図である。図５および図６は、顔領域、上半身領域、および、全身領域が判定処理に用いられる例を示す。画像５０１では顔領域が検出されないが、上半身領域５２１および全身領域５３１が検出される。画像５０２では、顔領域５１２、上半身領域５２２、および、全身領域５３２がすべて検出される。

この場合、判定部１０３は、例えば両画像に共通する上半身領域および全身領域から得られる特徴量を用いて判定処理を実行可能となる。統合特徴量を用いる場合、判定部１０３は、画像５０１に対しては上半身領域５２１および全身領域５３１の２つの領域から抽出される特徴量を統合した統合特徴量を用い、画像５０２に対しては顔領域５１２、上半身領域５２２、および、全身領域５３２の３つの領域から抽出される特徴量を統合した統合特徴量を用いることができる。

なお図５は、例えばある施設内に設置された監視カメラで得られた画像から同一の人物を検出するシステムに適用した例である。このような例では人物の服装が変化しないため、顔領域が検出できなくても、上半身領域および全身領域を用いることにより、同一人物であるかの判定処理を高精度に実行可能となる。

図６は、スポーツの映像から同一人物を検出するシステムに適用した例である。このような例では表情の変化などにより顔の見え方が異なる場合がある。このため、顔領域以外の領域も活用したほうが、より高精度に判定処理を実行可能となる。図６の例では、画像６０１から顔領域６１１、上半身領域６２１、および、全身領域６３１が検出され、画像６０２から顔領域６１２、上半身領域６２２、および、全身領域６３２が検出される。判定部１０３は、３つの領域それぞれから抽出される特徴量を用いて、２つの画像内の人物が同一であるか判定する。

図７および図８は、判定結果の出力方法の一例を示す図である。図７および図８は、同一物体または同一物体でないと判定するに至った画像上の領域をユーザへ可視化して出力する場合の例を示す。

例えば出力制御部１０４は、判定部１０３により算出された各部分領域の類似度、または、重みを付けた類似度を、同一物体と判定した場合は降順に並べ替え、同一でないと判定した場合は昇順に並び替え、予め定めた値域内の上位の部分領域に関して、強調表示した画像を出力する。

強調表示の方法は、どのような方法であってもよい。例えば出力制御部１０４は、同一物体の判定に用いた部分領域の枠線の太さなどを変更する方法、当部分領域のみを通常の色で表示し、他の部分領域の輝度値を低下させる方法などを適用できる。変更させる表示態様（属性）は上記に限られるものではない。

図７は、部分領域の枠線を変更する例を示す。図７では、画像７０１内の上半身領域７２１、画像７０２内の上半身領域７１２の枠線が太く表示され、他の部分領域である全身領域７３１、顔領域７１２、および、全身領域７３２が破線で示されている。

また、出力制御部１０４は、２つの画像を並べ、部分領域を枠で囲み、２つの画像の同じ部分領域の枠を線で結んで表示してもよい。これにより、同一と判定した部分領域が判別可能となる。図８は、このように部分領域を対応づけた表示例を示す。図８では、部分領域８１１と部分領域８１２とを対応づける線８３１と、部分領域８２１と部分領域８２２とを対応づける線８３２と、が表示される。

また、出力制御部１０４は、白黒の物体アイコンを用意し、同一の判定に用いられた部分領域について色を付けてもよい。このとき、類似度に応じてヒートマップのように類似度の高い領域は、色が濃くまたは赤に近くし、類似度が低くなるにつれ、色が薄くなるまたは青に近づくように色付けしてもよい。

画像処理装置１００は、検索処理および検知処理に応用することができる。例えば画像処理装置１００は、予め大量の登録画像を、検出部１０１および抽出部１０２を用いて処理し、検出された各部分領域について、検出できたか否かを示すフラグと、抽出した特徴量とを対応づけて記憶部１２２などの登録用データベースに保存する。

検索処理を行う場合、画像処理装置１００は、処理対象の画像を入力し、入力された画像に対して検出部１０１および抽出部１０２を用いて各部分領域の特徴量を抽出する。画像処理装置１００は、登録用データベースに保存される登録データ（登録画像）を第１画像とし、入力された画像を第２画像として、判定部１０３を用いて、同一物体であるかを判定する。出力制御部１０４は、例えば同一物体であると判定された登録画像のみを出力する。

検知処理を行う場合、画像処理装置１００は、入力された処理対象の画像と登録画像とに対して、判定部１０３を用いて同一物体であるかを判定する。入力された画像内の物体が、登録画像に含まれるいずれかの物体と同一であると判定された場合、出力制御部１０４は、入力された画像に、登録された物体の中に該当する物体が存在することを検知結果として出力する。

このように、第１の実施形態にかかる画像処理装置では、２つの画像から２以上の部分領域を検出し、各部分領域から同一物体であると判定するための特徴量を抽出し、抽出した特徴量を用いて、同一物体であるかを判定する。これにより、２つの画像中の物体が同一であるかをより高精度に判定可能となる。

（第２の実施形態）
第２の実施形態にかかる画像処理装置は、画像から物体の属性を推定し、推定した属性も考慮して、２つの画像内の物体が同一であるかを判定する。

図９は、第２の実施形態にかかる画像処理装置１００－２の構成の一例を示すブロック図である。図９に示すように、画像処理装置１００－２は、撮像部１２１と、記憶部１２２と、検出部１０１と、抽出部１０２と、判定部１０３－２と、出力制御部１０４と、推定部１０５－２と、を備えている。

第２の実施形態では、推定部１０５－２を追加したこと、および、判定部１０３－２の機能が第１の実施形態と異なっている。その他の構成および機能は、第１の実施形態にかかる画像処理装置１００のブロック図である図１と同様であるので、同一符号を付し、ここでの説明は省略する。

推定部１０５－２は、２つの画像それぞれから物体の属性を示す属性情報を推定する。例えば推定部１０５－２は、検出されたすべての部分領域を包含する領域を対象として、物体の属性情報を推定する。属性情報を推定する対象とする領域はこれに限られない。例えば推定部１０５－２は、画像全体から属性情報を推定してもよいし、各部分領域に相当する画像から属性情報を推定してもよい。

属性情報は、特徴量のように物体を個別に認識するための情報ではなく、物体を分類するカテゴリを示す情報である。物体が人物の場合、属性情報は、例えば、年齢、年代、性別、髪の長さ、髪の色、肌の色、向き、上半身の服の種類、上半身の服の色、下半身の服の種類、下半身の服の色、靴の種類、靴の色、カバンの種類、カバンの有無、カバンの色、帽子の種類、帽子の有無、および、帽子の色、などである。色は、予め想定した色数に量子化してもよい。服、靴、カバン、および、帽子以外の装着物（所持品）の種類、有無、および、色などを属性情報としてもよい。

推定部１０５－２が画像から属性情報を抽出する方法はどのような方法であってもよい。例えば推定部１０５－２は、入力された画像に対して属性情報を出力するように予め学習された学習モデルに画像を入力することにより、属性情報を推定してもよい。

判定部１０３－２は、２つの画像それぞれに対して推定された２つの属性情報（第１属性情報、第２属性情報）と、２つの画像から抽出された特徴量と、を用いて、２つの画像に含まれる物体が同一であるか否かを判定する。

例えば判定部１０３－２は、推定された複数の属性情報を並べて属性数と同じ次元数のベクトルを求める。判定部１０３－２は、２つの画像それぞれに対して得られた２つのベクトル間の類似度を算出する。ベクトル間の類似度は、予め計量学習により同一物体が近くなり、同一でない物体が遠くなる空間へ射影しておいてもよい。

判定部１０３－２は、例えば属性情報間の類似度を、他の部分領域の特徴量（特徴ベクトル）から算出した類似度と同様に扱い、同一人物であるかを判定する。属性情報（ベクトル）は、特徴ベクトルと独立に処理してもよいし、特徴ベクトルと統合したベクトルとして処理してもよい。

次に、このように構成された第２の実施形態にかかる画像処理装置１００－２による判定処理について図１０を用いて説明する。図１０は、第２の実施形態における判定処理の一例を示すフローチャートである。

ステップＳ２０１からステップＳ２０３までは、第１の実施形態にかかる画像処理装置１００におけるステップＳ１０１からステップＳ１０３までと同様の処理なので、その説明を省略する。

推定部１０５－２は、取得した画像から、物体の属性を示す属性情報を推定する（ステップＳ２０４）。判定部１０３－２は、特徴量とともに属性情報を用いて、２つの画像内の物体が同一であるか否かを判定する（ステップＳ２０５）。ステップＳ２０６は、第１の実施形態にかかる画像処理装置１００におけるステップＳ１０５と同様の処理なので、その説明を省略する。

次に、属性情報の具体例について説明する。図１１および図１２は、属性情報の具体例を示す図である。図１１および図１２では、判定対象とする物体を人物とし、以下の属性情報を用いる例が示されている。
・年代（若者、大人など）
・性別（女性、男性など）
・髪の長さ（長髪、短髪など）
・上半身の服の種類（Ｔシャツ、半袖など）
・下半身の服の種類（短パン、ズボンなど）
・靴の種類（サンダルなど）
・帽子の有無
・サンブラスの有無
・メガネの有無
・リュックの有無
・バッグの有無
・手提鞄の有無
・上半身の色
・下半身の色
・髪の色
・靴の色
・バッグの色
・手提鞄の色

各属性情報には、推定の確信度が対応づけられている。判定部１０３－２は、確信度を考慮して属性情報の類似度を判定してもよい。例えば判定部１０３－２は、確信度が閾値以上の属性情報のみを用いて類似度を判定してもよい。

判定部１０３－２は、属性情報のうち少なくとも１つを特徴量とともに用いて物体の同一性を判定する。これにより、特徴量のみを用いる場合よりも判定の精度を向上させることが可能となる。例えば特徴量が類似する場合であっても属性情報の類似度が小さい場合に、２つの画像内の物体が同一でないと判定することが可能となる。

このように、第２の実施形態にかかる画像処理装置では、画像から推定した物体の属性も考慮することにより、物体が同一であるかの判定をさらに高精度に実行可能となる。

以上説明したとおり、第１から第２の実施形態によれば、複数の画像中の物体が同一であるかを、より高精度に判定可能となる。

次に、第１または第２の実施形態にかかる装置（画像処理装置、端末装置）のハードウェア構成について図１３を用いて説明する。図１３は、第１または第２の実施形態にかかる装置のハードウェア構成例を示す説明図である。

第１または第２の実施形態にかかる装置は、ＣＰＵ（Central Processing Unit）５１などの制御装置と、ＲＯＭ（Read Only Memory）５２やＲＡＭ（Random Access Memory）５３などの記憶装置と、ネットワークに接続して通信を行う通信Ｉ／Ｆ５４と、各部を接続するバス６１を備えている。

第１または第２の実施形態にかかる装置で実行されるプログラムは、ＲＯＭ５２等に予め組み込まれて提供される。

第１または第２の実施形態にかかる装置で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ（Compact Disk Read Only Memory）、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ（Compact Disk Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供されるように構成してもよい。

さらに、第１または第２の実施形態にかかる装置で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、第１または第２の実施形態にかかる装置で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。

第１または第２の実施形態にかかる装置で実行されるプログラムは、コンピュータを上述した各部として機能させうる。このコンピュータは、ＣＰＵ５１がコンピュータ読取可能な記憶媒体からプログラムを主記憶装置上に読み出して実行することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００、１００ｂ、１００－２ 画像処理装置
１００ａ 端末装置
１０１ 検出部
１０２ 抽出部
１０３、１０３－２ 判定部
１０４ 出力制御部
１０５－２ 推定部
１１１、１１２ 通信制御部
１２１ 撮像部
１２２ 記憶部

Claims (10)

1. 第１画像から、物体に含まれる予め定められた複数の部位のうち２以上の第１部位にそれぞれ対応する２以上の第１部分領域を検出し、第２画像から、前記複数の部位のうち２以上の第２部位にそれぞれ対応する２以上の第２部分領域を検出する検出部と、
   ２以上の前記第１部分領域から２以上の第１特徴量を抽出し、２以上の前記第２部分領域から２以上の第２特徴量を抽出する抽出部と、
   前記第１特徴量と前記第２特徴量とを用いて、前記第１画像に含まれる物体と前記第２画像に含まれる物体が同一であるか否かを判定する判定部と、を備え、
   前記判定部は、２以上の前記第１特徴量のうち、前記第１部位と前記第２部位とで共通する部位に対応する前記第１部分領域から抽出された前記第１特徴量と、２以上の前記第２特徴量のうち、前記第１部位と前記第２部位とで共通する部位に対応する前記第２部分領域から抽出された前記第２特徴量と、の間の類似度を用いて、前記第１画像に含まれる物体と前記第２画像に含まれる物体が同一であるか否かを判定する、
   画像処理装置。
2. 前記判定部は、部位ごとに前記第１特徴量と前記第２特徴量の前記類似度を算出し、前記複数の部位それぞれに対して定められた重みを用いて前記類似度を重み付けして得られる値を用いて、前記第１画像に含まれる物体と前記第２画像に含まれる物体が同一であるか否かを判定する、
   請求項１に記載の画像処理装置。
3. 前記重みは、物体が同一であるか否かの判定に対する信頼度に応じて定められる、
   請求項２に記載の画像処理装置。
4. 前記判定部は、前記複数の部位それぞれに対して定められた重みを用いて２以上の前記第１特徴量を重み付けして得られる特徴量と、前記重みを用いて２以上の前記第２特徴量を重み付けして得られる特徴量と、を用いて、前記第１画像に含まれる物体と前記第２画像に含まれる物体が同一であるか否かを判定する、
   請求項１に記載の画像処理装置。
5. 前記重みは、物体が同一であるか否かの判定に対する信頼度に応じて定められる、
   請求項４に記載の画像処理装置。
6. 前記物体は人物であり、
   前記複数の部位は、顔、頭部、全身、上半身、下半身、胴体、腕、脚、および、足のうちいずれか２以上である、
   請求項１に記載の画像処理装置。
7. 前記第１画像から物体の属性を示す第１属性情報を推定し、前記第２画像から物体の属性を示す第２属性情報を推定する推定部をさらに備え、
   前記判定部は、前記第１属性情報と前記第２属性情報と前記第１特徴量と前記第２特徴量とを用いて、前記第１画像に含まれる物体と前記第２画像に含まれる物体が同一であるか否かを判定する、
   請求項１に記載の画像処理装置。
8. 前記判定部は、部位ごとに前記第１特徴量と前記第２特徴量の前記類似度を算出し、前記類似度が閾値を超えた個数を用いて、前記第１画像に含まれる物体と前記第２画像に含まれる物体が同一であるか否かを判定する、
   請求項１に記載の画像処理装置。
9. 第１画像から、物体に含まれる予め定められた複数の部位のうち２以上の第１部位にそれぞれ対応する２以上の第１部分領域を検出し、第２画像から、前記複数の部位のうち２以上の第２部位にそれぞれ対応する２以上の第２部分領域を検出する検出ステップと、
   ２以上の前記第１部分領域から２以上の第１特徴量を抽出し、２以上の前記第２部分領域から２以上の第２特徴量を抽出する抽出ステップと、
   前記第１特徴量と前記第２特徴量とを用いて、前記第１画像に含まれる物体と前記第２画像に含まれる物体が同一であるか否かを判定する判定ステップと、を含み、
   前記判定ステップは、２以上の前記第１特徴量のうち、前記第１部位と前記第２部位とで共通する部位に対応する前記第１部分領域から抽出された前記第１特徴量と、２以上の前記第２特徴量のうち、前記第１部位と前記第２部位とで共通する部位に対応する前記第２部分領域から抽出された前記第２特徴量と、の間の類似度を用いて、前記第１画像に含まれる物体と前記第２画像に含まれる物体が同一であるか否かを判定する、
   画像処理方法。
10. コンピュータを、
    第１画像から、物体に含まれる予め定められた複数の部位のうち２以上の第１部位にそれぞれ対応する２以上の第１部分領域を検出し、第２画像から、前記複数の部位のうち２以上の第２部位にそれぞれ対応する２以上の第２部分領域を検出する検出部と、
    ２以上の前記第１部分領域から２以上の第１特徴量を抽出し、２以上の前記第２部分領域から２以上の第２特徴量を抽出する抽出部と、
    前記第１特徴量と前記第２特徴量とを用いて、前記第１画像に含まれる物体と前記第２画像に含まれる物体が同一であるか否かを判定する判定部と、として機能させ、
    前記判定部は、２以上の前記第１特徴量のうち、前記第１部位と前記第２部位とで共通する部位に対応する前記第１部分領域から抽出された前記第１特徴量と、２以上の前記第２特徴量のうち、前記第１部位と前記第２部位とで共通する部位に対応する前記第２部分領域から抽出された前記第２特徴量と、の間の類似度を用いて、前記第１画像に含まれる物体と前記第２画像に含まれる物体が同一であるか否かを判定する、
    プログラム。

Images