JP7113217B2 - 照合装置、照合方法、及びプログラム - Google Patents

Description

本開示は、対象を含む画像を特定する照合装置、照合方法、及びプログラムに関する。

特許文献１は、車両が撮像されることによって生成された撮像データから、車両を識別可能な部分を含む車両画像データを生成する車両画像データ生成装置を開示している。この車両画像データ生成装置は、撮像データにおいて車体の部位を特定し、車体の部位に基づいて車両を識別する領域を抽出することによって、車両画像データを生成している。これにより、車両の識別を可能にしたままで、画像のデータ量を小さくしている。

国際公開第２００６／０８２６４４号

本開示は、照合性能を向上させる照合装置、照合方法、及びプログラムを提供する。

本開示の照合装置は、検索対象を示す検索対象画像を格納する記憶部と、撮像装置によって生成された撮影画像を取得する取得部と、撮影画像において、検索対象の少なくとも一部に類似する被写体を含む照合領域を探索し、探索結果に応じて、検索対象画像の全体及び／又は検索対象画像の一部を選択して撮影画像と照合することにより、撮影画像において検索対象が含まれるか否かを特定する制御部と、を備える。検索対象画像の一部は、検索対象に特有の特徴部分を含む。検索対象の特徴部分は、ナンバープレート、ロゴ、広告、模様、文字、及び運転手の服のうちの少なくとも１つを含む。照合領域は、検索対象の全体に類似する第１の被写体を含む第１の照合領域と、検索対象の特徴部分に類似する第２の被写体を含む第２の照合領域とを含む。制御部は、探索により、第１の照合領域及び第２の照合領域の両方を特定できたときは、第１の照合領域及び第２の照合領域を検索対象画像の全体及び一部と照合し、第１の照合領域を特定できずに第２の照合領域を特定できたときは、第２の照合領域と検索対象画像の一部とを照合し、第１の照合領域が特定できて第２の照合領域を特定できなかったときは、第１の照合領域と検索対象画像の全体とを照合する。

これらの概括的かつ特定の態様は、システム、方法、及びコンピュータプログラム、並びに、それらの組み合わせにより、実現されてもよい。

本開示の照合装置、照合方法、及びプログラムによれば、撮像装置から取得した撮影画像において、検索対象の少なくとも一部に類似する被写体を含む照合領域を探索し、探索結果に応じて、検索対象画像の全体及び／又は検索対象画像の一部を選択して撮影画像と照合するため、照合機会が増加する。よって、照合性能が向上する。また、このような照合によって、撮影画像において検索対象が含まれるか否かを特定するため、精度良く検索対象を含む撮影画像を特定することができる。

第１実施形態における照合装置の構成を示す図 クエリ情報の一例を示す図 検索対象の全体領域と局所領域を説明するための図 第１実施形態における照合装置の全体動作を説明するためのフローチャート 撮影画像から抽出される車の全体領域と局所領域を説明するための図 第１実施形態における照合装置の照合処理を説明するためのフローチャート 第２実施形態における照合装置の照合処理を説明するためのフローチャート 第３実施形態における照合装置の構成を示す図 第３実施形態における照合装置のクエリ情報の生成処理を説明するためのフローチャート

（本開示の基礎となった知見）
街中にある複数の監視カメラで生成された複数の撮影画像の中から、検索対象（例えば、車）を含む撮影画像を特定する場合、撮影画像内の検索対象に対応する被写体を検索対象と照合する方法がある。例えば、検索対象が車の場合、車全体が比較し、照合される。しかし、形状が類似している場合等のように車全体が類似している場合がある。この場合、複数の撮影画像において検索対象の車が写っている撮影画像を特定すること、すなわち、検索対象と同一の車の候補を絞り込むことが難しい場合があった。また、別の照合方法では、撮影画像の中から特徴部分を取得して、取得した特徴部分を検索対象の特徴部分と照合する方法がある。例えば、検索対象が車の場合、車のナンバープレートの数字が特徴部分として使用される。この場合、撮影画像から抽出したナンバープレートの数字が、検索対象のナンバープレートの数字と比較される。しかし、例えば、撮影画像の解像度が低い場合、又は照明が暗い状態で撮影画像が生成された場合、ナンバープレートの数字が撮影画像から読み取れないことがある。この場合、数字を比較することができない。よって、従来は、撮影画像の画質等によって照合ができない場合があった。

本開示の照合装置は、検索対象の全体画像と検索対象に特有の特徴部分を含む局所画像の両方を用いて、照合を行う。全体画像より確度の高い特徴部分の局所画像を利用することにより、照合性能が向上する。これにより、検索対象が含まれる撮影画像の候補を絞りやすくできる。また、検索対象の全体と特徴部分のいずれかが撮影画像に含まれていれば、検索対象を含む撮影画像を特定するための照合を実施することができる。これにより、照合機会が減少することを防止する。

（第１実施形態）
以下、第１実施形態について、図面を参照しながら説明する。本実施形態では、検索対象が車である例を説明する。具体的には、本実施形態では、照合の一例として、街中にある監視カメラによって生成された撮影画像を検索対象である特定の車の画像と照合して、検索対象の車が写っている撮影画像を特定する例について説明する。

１．１ 照合装置の構成
図１は、本開示の第１実施形態の照合装置の構成を示している。照合装置１０と複数の監視カメラ２０（撮像装置の一例）とによって、照合システム１を構成する。照合システム１は、複数の撮影画像を検索対象の画像と照合する。照合装置１０は、パソコン及びタブレット端末等の種々の情報処理装置である。監視カメラ２０は、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ、又はＮＭＯＳイメージセンサなどの画像センサを備える。複数の監視カメラ２０は、街中に配置されていて、異なる場所を撮影する。照合装置１０は、各監視カメラ２０によって生成された撮影画像を取得して、取得した撮影画像を検索対象である車の画像と照合する。

照合装置１０は、画像取得部１１０、記憶部１２０、制御部１３０、入力部１４０、及び出力部１５０を備える。

画像取得部１１０は、所定の通信規格（例えばＬＡＮ、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＵＳＢ、ＨＤＭＩ（登録商標））に準拠して外部機器との通信を行う回路を含む。画像取得部１１０は、監視カメラ２０が生成した撮影画像を取得する。

記憶部１２０は、照合装置１０の機能を実現するために必要なプログラム及びデータを記憶する記憶媒体である。記憶部１２０は、検索対象である車を示す情報であるクエリ情報Ｑ１２を格納する。記憶部１２０は、例えば、ハードディスク（ＨＤＤ）、ＳＳＤ、ＲＡＭ、ＤＲＡＭ、強誘電体メモリ、フラッシュメモリ、磁気ディスク、又はこれらの組み合わせによって実現できる。

制御部１３０は、半導体素子などで実現可能である。制御部１３０は、例えば、マイコン、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣで構成することができる。制御部１３０の機能は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。制御部１３０は、記憶部１２０に格納されたデータやプログラムを読み出して種々の演算処理を行うことで、所定の機能を実現する。本実施形態において、制御部１３０は、機能的構成として、領域探索部１３１、特徴量抽出部１３２、及び照合部１３３を含む。

領域探索部１３１は、監視カメラ２０によって生成された撮影画像において、検索対象の全体に類似する第１の被写体を含む第１の照合領域と、検索対象の特徴部分に類似する第２の被写体を含む第２の照合領域とを探索する。本実施形態において、第１の被写体は撮影画像に含まれる車の外形全体であり、第１の照合領域を「全体領域」と称する。第２の被写体は車に特有の特徴部分であり、第２の照合領域を「局所領域」と称する。領域探索部１３１は、例えば、探索する領域を記憶部１２０に格納されているクエリ情報Ｑ１２に基づいて又は入力部１４０を介したユーザからの指示に基づいて決定する。以下、車の外形全体を含む画像（全体領域内の画像）を「全体画像」と称し、車の特徴部分のみを含む画像（局所領域内の画像）を「局所画像」とも称する。特徴量抽出部１３２は、全体画像の特徴量と局所画像の特徴量をそれぞれ抽出する。照合部１３３は、撮影画像内の車の全体画像及び局所画像の特徴量を検索対象である車の全体画像及び局所画像の特徴量と照合して、検索対象の車と撮影画像に写っている車の類似度を算出する。

入力部１４０は、ユーザによる種々の操作を入力するユーザインタフェースである。入力部１４０は、タッチパネル、キーボード、ボタン、スイッチ、及びこれらの組み合わせによって実現できる。

出力部１５０は、検索対象の車と撮影画像に写っている車の類似度を照合結果として出力する。出力部１５０は、例えば、液晶ディスプレイ又は有機ＥＬディスプレイで構成される表示部である。出力部１５０が表示部の場合、出力部１５０は照合結果を画面に表示する。出力部１５０は、外部機器に照合結果を送信する通信部であってもよい。出力部１５０が通信部の場合、出力部１５０は、所定の通信規格（例えばＬＡＮ、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＵＳＢ、ＨＤＭＩ（登録商標））に準拠して外部機器との通信を行う回路を含む。

図２は、クエリ情報Ｑ１２の一例を示している。クエリ情報Ｑ１２は、全体画像情報Ｑ１２ａと局所画像情報Ｑ１２ｂとを含む。全体画像情報Ｑ１２ａは、検索対象の車の外形全体に関する情報である。局所画像情報Ｑ１２ｂは、検索対象の車に特有の特徴部分に関する情報である。車に特有の特徴部分は、検索対象である車の特定を補助できるような部分であって、例えば、ナンバープレート、ロゴ、車体に描かれた広告、模様、文字、運転手の服である。

図３は、クエリ情報Ｑ１２に含まれる検索対象の車の画像の一例であって、車の全体領域ＱＲ１と局所領域ＱＲ２を示している。全体領域ＱＲ１は、車の外形全体を含む領域である。局所領域ＱＲ２は、車の特徴部分（ナンバープレート、ロゴ、模様など）のみを含む領域である。

図２に示すクエリ情報Ｑ１２の全体画像情報Ｑ１２ａは、図３に示すような全体領域ＱＲ１の画像（全体画像）を含む。全体画像情報Ｑ１２ａは、さらに、全体画像の画像サイズ及び全体画像の特徴量を含む。局所画像情報Ｑ１２ｂは、図３に示すような局所領域ＱＲ２の画像（局所画像）を含む。局所画像情報Ｑ１２ｂは、局所領域ＱＲ２の画像の代わりに、全体領域ＱＲ１内における局所領域ＱＲ２の位置を特定する位置情報を含んでもよい。例えば、局所領域ＱＲ２の位置情報は、全体領域ＱＲ１内における局所領域ＱＲ２の四隅の座標、又は全体領域ＱＲ１内における局所領域ＱＲ２の開始点と高さと幅である。局所画像情報Ｑ１２ｂは、さらに、複数の局所画像をそれぞれ識別するための識別番号（ＩＤ）と、特徴部分の種類を識別するための種類識別情報と、局所画像の特徴量とを含む。種類識別情報は、例えば、１（＝ナンバープレート）、２（＝ロゴ）、３（＝広告）、４（＝その他の文字列）などの数字である。

１．２ 照合装置の動作
１．２．１ 全体動作
図４及び図５を用いて、照合装置１０の全体動作を説明する。図４は、照合装置１０の制御部１３０の全体動作を説明するためのフローチャートである。図５は、監視カメラ２０が生成した撮影画像ｖの一例を示している。

図４に示す処理において、制御部１３０は、複数の監視カメラ２０が生成した撮影画像の中から、クエリ情報Ｑ１２と照合するための撮影画像を照合対象画像として選択する。例えば、ユーザが、入力部１４０を介して、監視カメラ２０と撮影日を指定することによって、照合対象画像が選択される。

制御部１３０は、記憶部１２０に格納されているクエリ情報Ｑ１２を読み出すことによって、クエリ情報Ｑ１２を取得する（Ｓ１）。制御部１３０は、画像取得部１１０を介して、照合対象画像である撮影画像を取得する（Ｓ２）。例えば、制御部１３０は、図５に示すような撮影画像ｖを取得する。制御部１３０は、撮影画像ｖをクエリ情報Ｑ１２に含まれる検索対象の画像と照合する（Ｓ３）。制御部１３０は、全ての照合対象画像の照合が終了したか否かを判断する（Ｓ４）。全ての照合対象画像の照合が終了していなければ、ステップＳ２に戻る。制御部１３０は、全ての照合対象画像の照合が終了するまで、ステップＳ２～Ｓ４を繰り返す。全ての照合対象画像の照合が終了すると、図４に示す処理を終了する。

１．２．２ 照合処理
照合は、撮影画像から数字を読み出すことなく、撮影画像自体と検索対象の画像自体を用いて実施する。画像自体を比較して照合することにより、例えば、撮影画像から文字を読み取れない又は文字がオクルージョンによって遮蔽されているような場合でも、検索対象と撮影画像との照合が可能になる。これにより、照合機会が増える。よって、文字自体を読み取れない場合であっても、照合結果を出力することができる。例えば、低解像度やオクルージョン等の理由により、車のナンバープレートの文字や数字自体を読み取ることができない場合でも、画像自体による照合によれば、画像自体の比較によって例えば類似度を算出することができる。

図６は、照合処理（図４のステップＳ３）の詳細を示している。領域探索部１３１は、クエリ情報Ｑ１２に基づいて、撮影画像内の車に特有の特徴部分のみを含む局所領域Ｒ２を撮影画像ｖ内において探索する（Ｓ３０１）。例えば、局所画像情報Ｑ１２ｂの種類識別情報が、ナンバープレートを示す「１」であれば、撮影画像ｖからナンバープレートらしい領域を探索する。領域の探索は、画像認識により行う。画像認識において、例えば、「ディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）」又は「ハンドクラフト（Ｈａｎｄ－ｃｒａｆｔｅｄ）特徴量」を用いた手法を使用してもよい。例えば、ディープラーニングの場合、学習済みのニューラルネットワークモデルを使用する。ニューラルネットワークモデルは、サーバから取得して、記憶部１２０に格納しておいてもよい。ナンバープレートを探索する場合は、ナンバープレートを検出するためのニューラルネットワークに撮影画像を入力して、ナンバープレートの領域を取得する。同様に、ロゴを探索する場合は、ロゴを検出するためのニューラルネットワークに撮影画像を入力して、ロゴの領域を取得する。広告を探索する場合は、広告を検出するためのニューラルネットワークに撮影画像を入力して、広告の領域を取得する。もしくは、ナンバープレート、ロゴ、及び広告などを別のクラスとして出力する一つのネットワークに撮影画像を入力して、各クラスの領域を取得してもよい。ハンドクラフトの場合、輝度、色、及び形状等の画像情報から記述した特徴量を利用して、ナンバープレートの領域、ロゴの領域、及び広告の領域等を取得する。領域探索部１３１は、局所領域Ｒ２の探索に成功したか否かを判断する（Ｓ３０２）。

局所領域Ｒ２の探索に成功すると（Ｓ３０２でＹｅｓ）、特徴量抽出部１３２は、その局所領域Ｒ２を照合する領域として特定し、局所領域Ｒ２内の画像の特徴量を抽出する（Ｓ３０３）。特徴量は、例えば、数値、又は数字の配列で表されるベクトルである。特徴量は、例えば、上述のディープラーニング又はハンドクラフトの手法により取得できる。照合部１３３は、撮影画像ｖの局所領域Ｒ２の特徴量をクエリ情報Ｑ１２の局所領域ＱＲ２の画像の特徴量と照合して、検索対象の車の特徴部分と撮影画像ｖに写っている車の特徴部分との類似度を算出する（Ｓ３０４）。例えば、特徴量であるベクトルの比較に基づいて、類似度を算出する。類似度は、例えば、類似の度合いを示す０～１００％の範囲内の数値である。照合部１３３は、「特徴部分の類似度＝車の類似度」とし、類似度に基づいて、例えば算出した類似度の度合いが所定値以上の場合に、撮影画像に写っている車は検索対象の車であると判断する。すなわち、照合している撮影画像を、検索対象を含む撮影画像として特定する。なお、類似度は、検索対象の車の特徴部分と撮影画像内の車の特徴部分が一致しているか否かを示す二値であってもよい。照合部１３３は、照合結果を出力部１５０に出力する（Ｓ３０９）。例えば、照合部１３３は、局所領域Ｒ２を示す枠を撮影画像ｖに付加した画像と共に、算出した類似度を照合結果として画面に表示させてもよい。

局所領域Ｒ２の探索に失敗すると（Ｓ３０２でＮｏ）、領域探索部１３１は、撮影画像ｖ内において車の外形全体を含む全体領域Ｒ１を探索する（Ｓ３０５）。例えば、上述したディープラーニング又はハンドクラフトの手法を使用した画像認識により、車らしい領域を抽出する。領域探索部１３１は、全体領域Ｒ１の探索に成功したか否かを判断する（Ｓ３０６）。

全体領域Ｒ１の探索に成功すると（Ｓ３０６でＹｅｓ）、特徴量抽出部１３２は、その全体領域Ｒ１を照合する領域として特定し、全体領域Ｒ１内の画像の特徴量を抽出する（Ｓ３０７）。特徴量は、例えば、数値又はベクトルである。特徴量は、例えば、上述のディープラーニング又はハンドクラフトの手法により、取得する。照合部１３３は、撮影画像内の全体領域Ｒ１の特徴量をクエリ情報Ｑ１２の全体領域ＱＲ１の画像の特徴量と照合して、検索対象の車の外形全体と撮影画像ｖに写っている車の外形全体との類似度を算出する（Ｓ３０８）。類似度は、類似の度合いを示す０～１００％の範囲内の数値である。照合部１３３は、「外形全体の類似度＝車の類似度」とし、類似度に基づいて、例えば算出した類似度の度合いが所定値以上の場合に、撮影画像に写っている車は検索対象の車であると判断する。すなわち、照合している撮影画像を、検索対象を含む撮影画像として特定する。なお、類似度は、検索対象の車の外形全体と撮影画像内の車の外形全体が一致しているか否かを示す二値であってもよい。照合部１３３は、照合結果を出力部１５０に出力する（Ｓ３０９）。例えば、照合部１３３は、全体領域Ｒ１を示す枠を撮影画像ｖに付加した画像と共に、算出した類似度を照合結果として画面に表示させてもよい。

局所領域Ｒ２及び全体領域Ｒ１の両方の探索に失敗すると（Ｓ３０６でＮｏ）、照合部１３３は、現在照合している撮影画像には検索対象の車が写っていないと判断して、この撮影画像の照合を中止する（Ｓ３１０）。

本実施形態において、複数の局所画像情報Ｑ１２ｂがクエリ情報Ｑ１２に含まれていてもよい。例えば、ナンバープレート、ロゴ、及び広告についての局所画像情報Ｑ１２ｂがクエリ情報Ｑ１２に含まれていてもよい。この場合、領域探索部１３１は、複数の局所画像情報Ｑ１２の種類識別情報に基づいて、複数種類の局所領域Ｒ２を探索する。特徴量抽出部１３２は、探索に成功した全ての局所領域Ｒ２のそれぞれについて特徴量を抽出する。照合部１３３は、抽出された複数の特徴量を使用して、検索対象の車と撮影画像ｖに写っている車との類似度を算出する。複数の特徴量に基づく照合を行うことによって、照合の確度を高めることができる。複数の特徴量に基づく類似度の算出方法は任意である。例えば、複数種類の局所領域Ｒ２の探索に成功した場合、照合部１３３は、ステップＳ３０４において、下記（Ａ）から（Ｄ）のいずれかの方法によって、類似度を算出してもよい。

（Ａ）多数決に基づく方法
撮影画像ｖの各局所領域Ｒ２の画像の特徴量を、特徴部分の種類毎にそれぞれ対応するクエリ情報Ｑ１２の局所領域ＱＲ２の画像の特徴量と照合する。そして、検索対象の車と撮影画像内の車が同一であるという判定結果の数と、検索対象の車と撮影画像内の車が異なるという判定結果の数に応じて、検索対象の車と撮影画像内の車の類似度を算出する。例えば、同一であるという判定結果の数が同一でないという判定結果の数よりも多い場合に、撮影画像に写っている車と検索対象の車とが同一であると決定する。
（Ｂ）信頼度に基づく方法
特徴部分の種類に応じて、信頼度を予め設定する。例えば、ナンバープレート、広告、ロゴの順に信頼度を高く設定する。別の例では、局所領域Ｒ２の探索成功率に応じて信頼度を設定する。そして、撮影画像ｖから探索できた複数の特徴部分の中で、最も信頼度が高い特徴部分の特徴量を使用した照合に基づいて、検索対象の車と撮影画像内の車の類似度を決定する。さらに別の例では、「信頼度＝類似度」として、探索できた複数の特徴部分のそれぞれの特徴量を使用して類似度を算出し、算出した類似度の中で最も高い類似度を、検索対象の車と撮影画像内の車の類似度として決定してもよい。
（Ｃ）学習による方法
複数の特徴部分の照合の結果を使用した機械学習によって予めモデルを生成し、そのモデルを使用して検索対象の車と撮影画像内の車の類似度を算出する。
（Ｄ）新たなベクトルを生成して使用する方法
各特徴部分の特徴量を結合した結合ベクトルを新たに生成する。例えば、特徴部分の種類に基づく順番で各特徴量を結合する。このときに、特徴部分の種類に応じた重み又は特徴部分の探索成功率に応じた重みを各特徴量に乗算してもよい。また、各特徴量の組み合わせ方を学習させてもよい。また、重み付き加算平均を用いてもよい。さらに、各特徴部分のベクトルから照合に適した新たなベクトルを出力するニューラルネットワークを学習して、得られた新たなベクトルを用いてもよい。このような方法によって生成した新たなベクトルを用いた照合により、検索対象の車と撮影画像内の車の類似度を算出する。

１．３ 効果及び補足
本実施形態の照合装置１０は、検索対象の全体領域ＱＲ１の画像（検索対象画像の一例）を格納する記憶部１２０と、監視カメラ２０（撮像装置の一例）によって生成された撮影画像を取得する画像取得部１１０（取得部の一例）と、撮影画像において検索対象が含まれるか否かを特定する制御部１３０と、を備える。本実施形態において、検索対象は車である。制御部１３０は、撮影画像において、車の外形全体（検索対象の少なくとも一部に類似する被写体の一例）を含む全体領域Ｒ１（第１の照合領域の一例）、及び／又は車の特徴部分（検索対象の少なくとも一部に類似する被写体の一例）を含む局所領域Ｒ２（第２の照合領域の一例）を探索する。制御部１３０は、探索結果に応じて、検索対象画像の全体領域ＱＲ１及び／又は局所領域ＱＲ２を選択して撮影画像と照合することにより、撮影画像において検索対象が含まれるか否かを特定する。

本実施形態の照合装置１０は、検索対象の画像の全体領域ＱＲ１の特徴量及び局所領域ＱＲ２の特徴量と、撮影画像内の全体領域Ｒ１の特徴量及び局所領域Ｒ２の特徴量とに基づいて、照合を行う。本実施形態によれば、全体領域と局所領域の両方を使用して照合を行うため、照合性能が向上する。また、照合の機会が増える。

また、制御部１３０は、数字又は文字による照合ではなく、画像による照合を行うため、例えば、撮影画像の解像度が低い場合、又は照明が暗い状態で撮影画像が生成された場合であっても、その撮影画像を使用して照合を行うことができる。よって、照合の機会が減少することを防ぐことができる。これにより、照合の性能が向上する。本実施形態では、数字や文字による比較が不可能な情報（例えば、形状）を照合に使用することができる。

制御部１３０は、探索により、撮影画像内の局所領域Ｒ２を特定できたときは、撮影画像内の局所領域Ｒ２を検索対象の画像の局所領域ＱＲ２と照合し、撮影画像から局所領域Ｒ２を特定できずに全体領域Ｒ１を特定できたときは、撮影画像内の全体領域Ｒ１を検索対象の画像の全体領域ＱＲ１と照合する。このように、本実施形態の照合装置１０は、全体領域と局所領域の画像を使用した照合を行う。よって、撮影画像において、全体領域Ｒ１と局所領域Ｒ２のいずれか一方を探索できれば照合を行えるため、照合の機会が、撮影画像に応じて減少することを防ぐことができる。このように、本開示の照合装置１０によれば、照合の機会が、撮影画像に応じて減少することを防ぐことができるため、照合性能が向上する。

撮影画像において検索対象が含まれるか否かの特定において、制御部１３０は、車の外形全体の類似度、及び／又は車の特徴部分の類似度を算出する。これにより、複数の撮影画像の中から、検索対象を含む撮影画像を精度良く特定することができる。

検索対象が車の場合、ナンバープレートは、その車のみを固有に特定できる特殊な情報である。よって、最初に、ナンバープレートの領域を探索して、ナンバープレートによる照合を試みてもよい。そして、ナンバープレートの領域を特定できず、ナンバープレートによる照合ができなかった場合に、全体画像及びナンバープレート以外の局所画像を利用してもよい。例えば、まずナンバープレートの探索を試み、ナンバープレートの探索に失敗した場合に、車の全体領域を探索して、車の全体画像を利用した照合を実施してもよい。もしくは、まずナンバープレートの探索を試み、ナンバープレートの探索に失敗した場合に、別の局所領域の探索を試み、別の局所領域の探索に失敗した場合に、車の全体領域の探索を実施してもよい。これにより、より確度の高いナンバープレートの情報を優先的に利用して照合することができるため、さらに照合性能（特に、照合効率）を向上させることができる。本実施形態では検索対象が車である場合について例示しているが、検索対象が車でない場合であっても、最初に、車におけるナンバープレートのような、個々を固有に識別可能な局所領域を探索して、その局所領域の画像を照合に利用してもよい。

なお、全体画像及び局所画像は、オクルージョン等によって遮蔽されている領域を含んでいてもよい。すなわち、全体画像において、検索対象の外形全体の一部が写っていなくてもよい。また、局所画像において、特徴部分の一部が写っていなくてもよい。

（第２実施形態）
第２実施形態は、照合装置１０の動作が第１実施形態と異なる。第１実施形態では、撮影画像ｖにおいて局所領域Ｒ２の探索に成功した場合は局所領域Ｒ２の特徴量に基づいて照合を行い、全体領域Ｒ１の探索に成功した場合は全体領域Ｒ１の特徴量に基づいて照合を行った。本実施形態では、全体領域Ｒ１と局所領域Ｒ２の探索の両方に成功した場合、全体領域Ｒ１と局所領域Ｒ２の両方の特徴量に基づいて照合を行う。本実施形態の照合装置１０の構成は、第１実施形態の図１に示す構成と同一である。

図７は、第２実施形態における照合処理（図４のステップＳ３の詳細）を示している。領域探索部１３１は、クエリ情報Ｑ１２に基づいて又は入力部１４０を介したユーザの指示に基づいて、撮影画像ｖ内において車の外形全体を含む全体領域Ｒ１を探索する（Ｓ３２１）。領域探索部１３１は、クエリ情報Ｑ１２に基づいて、車の特徴部分のみを含む局所領域Ｒ２を撮影画像ｖ内において探索する（Ｓ３２２）。

領域探索部１３１は、全体領域Ｒ１と局所領域Ｒ２の探索の両方に成功したか否かを判断する（Ｓ３２３）。両方の探索に成功すると（Ｓ３２３でＹｅｓ）、特徴量抽出部１３２は、全体領域Ｒ１と局所領域Ｒ２の両方を照合する領域として特定し、全体領域Ｒ１内の画像と局所領域Ｒ２内の画像とからそれぞれ特徴量を抽出する（Ｓ３２４）。照合部１３３は、撮影画像内の車の全体領域Ｒ１及び局所領域Ｒ２の画像の特徴量を、検索対象の車の画像の全体領域ＱＲ１及び局所領域ＱＲ２の特徴量と照合し、検索対象の車の外形全体及び特徴部分と撮影画像ｖに写っている車の外形全体及び特徴部分との類似度を算出する（Ｓ３２５）。この場合、「外形全体及び特徴部分の類似度＝車の類似度」とする。照合部１３３は、算出した類似度に基づく照合結果を出力部１５０に出力する（Ｓ３３２）。

全体領域Ｒ１と局所領域Ｒ２の少なくともいずれか一方の探索に失敗すると（Ｓ３２３でＮｏ）、領域探索部１３１は、局所領域Ｒ２の探索のみが成功したか否かを判断する（Ｓ３２６）。

局所領域Ｒ２の探索のみが成功した場合（Ｓ３２６でＹｅｓ）は、特徴量抽出部１３２は、局所領域Ｒ２を照合する領域として特定し、局所領域Ｒ２内の画像から特徴量を抽出する（Ｓ３２７）。照合部１３３は、撮影画像の局所領域Ｒ２の特徴量を検索対象の局所領域ＱＲ２の画像の特徴量と照合し、検索対象の車の特徴部分と撮影画像ｖに写っている車の特徴部分との類似度を算出する（Ｓ３２８）。この場合、「特徴部分の類似度＝車の類似度」とする。照合部１３３は、算出した類似度に基づく照合結果を出力部１５０に出力する（Ｓ３３２）。

局所領域Ｒ２の探索に失敗した場合（Ｓ３２６でＮｏ）は、領域探索部１３１は全体領域Ｒ１の探索のみが成功したか否かを判断する（Ｓ３２９）。全体領域Ｒ１の探索のみが成功した場合（Ｓ３２９でＹｅｓ）、特徴量抽出部１３２は、全体領域Ｒ１を照合する領域として特定し、全体領域Ｒ１内の画像から特徴量を抽出する（Ｓ３３０）。照合部１３３は、撮影画像内の全体領域Ｒ１の特徴量を検索対象の全体領域ＱＲ１の画像の特徴量と照合し、検索対象の車の外形全体と撮影画像ｖに写っている車の外形全体との類似度を算出する（Ｓ３３１）。この場合、「外形全体の類似度＝車の類似度」とする。照合部１３３は、算出した類似度に基づく照合結果を出力部１５０に出力する（Ｓ３３２）。

全体領域Ｒ１と局所領域Ｒ２の両方の探索に失敗すると（Ｓ３２９でＮｏ）、照合部１３３は、現在照合している撮影画像には検索対象の車が写っていないと判断して、この撮影画像の照合を中止する（Ｓ３３３）。

本実施形態において、撮影画像から全体領域Ｒ１と局所領域Ｒ２の探索の両方に成功した場合に、全体領域Ｒ１と局所領域Ｒ２の両方の特徴量に基づいて照合を行うこと（Ｓ３２５）以外は、第１実施形態と同一である。よって、本実施形態における領域の探索（Ｓ３２１及びＳ３２２）、特徴量の抽出（Ｓ３２４、Ｓ３２７、Ｓ３３０）、局所領域の照合（Ｓ３２８）、全体領域の照合（Ｓ３３１）、及び照合結果の出力（Ｓ３３２）は、第１実施形態の領域の探索（Ｓ３０１及びＳ３０５）、特徴量の抽出（Ｓ３０３及びＳ３０７）、局所領域の照合（Ｓ３０４）、全体領域の照合（Ｓ３０８）、及び照合結果の出力（Ｓ３０９）と同一の方法で行うことができる。

ステップＳ３２５における全体領域と局所領域の両方を用いて照合する場合の類似度の算出方法は、第１実施形態において上述したように、例えば、（Ａ）多数決に基づく方法、（Ｂ）信頼度に基づく方法、（Ｃ）学習による方法、及び（Ｄ）新たなベクトルを生成して使用する方法のいずれかと同様の方法で行うことができる。

以上のように、本実施形態の照合装置１０では、制御部１３０が、探索により、撮影画像から車の全体領域Ｒ１（第１の照合領域の一例）及び局所領域Ｒ２（第２の照合領域の一例）の両方を特定できたときは、撮影画像内の全体領域Ｒ１及び局所領域Ｒ２を、検索対象の画像の全体領域ＱＲ１及び局所領域ＱＲ２と照合する。制御部１３０は、全体領域Ｒ１を特定できずに局所領域Ｒ２を特定できたときは、撮影画像内の局所領域Ｒ２と検索対象の画像の局所領域ＱＲ２とを照合する。制御部１３０は、撮影画像から全体領域Ｒ１が特定できて局所領域Ｒ２を特定できなかったときは、撮影画像内の全体領域Ｒ１と検索対象の画像の全体領域ＱＲ２とを照合する。このように、本実施形態によれば、抽出できた領域の全ての特徴量を使用して照合を行うため、照合性能が向上する。

本実施形態によれば、検索対象の全体画像と検索対象に特有の特徴部分を含む局所画像の両方を用いて、照合を行うことにより、複数の撮影画像において、検索対象が写っている撮影画像の候補を精度良く特定することもできる。すなわち、全体画像に基づく照合と局所画像に基づく照合との組み合わせにより、照合の確度を高めることができる。例えば、ナンバープレートを比較する例において、二台の車が検索対象に対して同程度の類似度を示した場合、一方が検索対象と同じ車の色であって、もう一方が検索対象と異なる車の色であった場合などは、ナンバープレートによる照合と車全体の情報による照合とを混合することにより、相対的に前者の類似度を高くすることができる。これにより、撮影画像内のナンバープレートと車の色の両方が検索対象と同一である場合に、検索対象の車が写っている画像として特定できる。

（第３実施形態）
第１実施形態では、クエリ情報Ｑ１２が記憶部１２０に予め格納されていた。本実施形態では、照合装置１０は、画像取得部１１０によって取得された撮影画像に基づいてクエリ情報Ｑ１２を生成する。例えば、照合装置１０は、複数の監視カメラ２０によって生成された複数の撮影画像のうちの少なくとも１つの撮影画像からクエリ情報Ｑ１２を生成し、クエリ情報Ｑ１２の生成に使用していない別の撮影画像をクエリ情報Ｑ１２と照合する。

図８は、第３実施形態における照合装置１０の構成を示している。本実施形態では、第１実施形態の構成に加え、制御部１３０が、機能的構成として、識別部１３４と、クエリ情報生成部１３５とをさらに含む。

識別部１３４は、種類特定部１３４ａと位置特定部１３４ｂを含む。種類特定部１３４ａは、領域探索部１３１によって探索された領域内に写っている特徴部分の種類を特定する。特徴部分の種類は、例えば、ナンバープレート、ロゴ、広告、模様、文字、運転手の服である。位置特定部１３４ｂは、領域探索部１３１によって探索された局所領域Ｒ２について、全体領域Ｒ１内における位置を特定する。例えば、位置特定部１３４ｂは、全体領域Ｒ１内における局所領域Ｒ２の四隅の座標、又は全体領域Ｒ１内における局所領域ＱＲ２の開始点と高さと幅を特定する。

クエリ情報生成部１３５は、領域探索部１３１が探索した検索対象の外形全体を含む全体領域Ｒ１と、種類特定部１３４ａが特定した検索対象に特有の特徴部分の種類と、位置特定部１３４ｂが特定した局所領域Ｒ２の位置とに基づいて、クエリ情報Ｑ１２を生成して記憶部１２０に格納する。クエリ情報生成部１３５は、局所領域Ｒ２の位置情報の代わりに、領域探索部１３１が探索した局所領域Ｒ２の画像をクエリ情報Ｑ１２に含めてもよい。

図９は、本実施形態における制御部１３０によるクエリ情報Ｑ１２の生成を示すフローチャートである。図９に示すクエリ情報Ｑ１２の生成は、図４に示す照合動作を行う前に行われる。

領域探索部１３１は、画像取得部１１０を介して撮影画像を取得する（Ｓ５０１）。領域探索部１３１は、撮影画像から検索対象の外形全体を含む全体領域Ｒ１を探索する（Ｓ５０２）。領域探索部１３１は、撮影画像から検索対象に特有の特徴部分を示す局所領域を探索する（Ｓ５０３）。探索すべき検索対象及び探索すべき特徴部分の全て又は一部は、領域探索部１３１が撮影画像から自動で判断してもよいし、入力部１４０を介してユーザから予め指定されてもよい。領域探索部１３１は、例えば、上述した画像認識により、全体領域と局所領域を探索する。

種類特定部１３４ａは、領域探索部１３１によって探索された局所領域Ｒ２内に写っている特徴部分の種類を特定する（Ｓ５０４）。例えば、輝度、色、形状などを判断して、特徴部分の種類を特定する。位置特定部１３４ｂは、領域探索部１３１によって探索された局所領域Ｒ２について、全体領域Ｒ１内における位置を特定する（Ｓ５０５）。クエリ情報生成部１３５は、クエリ情報Ｑ１２を生成する（Ｓ５０６）。例えば、クエリ情報生成部１３５は、領域探索部１３１により探索された検索対象の全体領域Ｒ１の画像と、その画像サイズとを含む全体画像情報Ｑ１２ａを生成する。また、クエリ情報生成部１３５は、位置特定部１３４ｂによって特定された局所領域Ｒ２の位置を示す位置情報と、種類特定部１３４ａによって特定された特徴部分の種類を示す種類識別情報とを含む局所画像情報Ｑ１２ｂを生成する。

クエリ情報生成部１３５は、全体画像情報Ｑ１２ａ及び局所画像情報Ｑ１２ｂを含むクエリ情報Ｑ１２を記憶部１２０に格納する（Ｓ５０７）。なお、クエリ情報生成部１３５が記憶部１２０にクエリ情報Ｑ１２を格納する前に、例えば、出力部１５０を介して、生成したクエリ情報Ｑ１２を格納するかどうかをユーザに問い合わせてもよい。

局所領域ＱＲ２の位置情報の代わりに、局所領域Ｒ２の画像そのものを局所画像情報Ｑ１２に含めてもよい。この場合、局所領域Ｒ２の位置を特定するステップ（Ｓ５０５）を省略してもよい。

クエリ情報Ｑ１２を格納する前又は後の所定のタイミングで、特徴量抽出部１３２が抽出した全体領域Ｒ１及び局所領域Ｒ２の特徴量をクエリ情報Ｑ１２に追加してもよい。

クエリ情報Ｑ１２の生成に使用される撮影画像は複数であってもよい。照合装置１０は、クエリ情報Ｑ１２を生成した後に、クエリ情報Ｑ１２の生成に使用していない撮影画像から、検索対象を探し出す。例えば、ある監視カメラ２０が生成した撮影画像からクエリ情報Ｑ１２を生成し、生成したクエリ情報Ｑ１２を用いて別の監視カメラ２０が生成した撮影画像から検索対象を探し出す。

以上のように、本実施形態では、画像取得部１１０は、１つ以上の監視カメラ２０から複数の撮影画像を取得する。制御部１３０は、複数の撮影画像のうちの少なくとも１つに基づいてクエリ情報Ｑ１２を生成して記憶部１２０に格納する。また、制御部１３０は、複数の撮影画像のうちクエリ情報Ｑ１２の生成に使用していない撮影画像の中から、検索対象を含む撮影画像を特定する。これにより、例えば、照合装置１０は、ある監視カメラ２０の撮影画像に写っている車を別の監視カメラ２０の撮影画像から探し出すことができる。

（他の実施形態）
以上のように、本出願において開示する技術の例示として、上記実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。そこで、以下、他の実施形態を例示する。

上記実施形態では、クエリ情報Ｑ１２が、検索対象の画像の全体領域ＱＲ１の特徴量と局所領域ＱＲ２の特徴量を含む例について説明したが、特徴量はクエリ情報Ｑ１２に含まれていなくてもよい。この場合、照合を行うときに、例えば、撮影画像についての特徴量を抽出するとき（図６のステップＳ３０３及びＳ３０７）において、クエリ情報Ｑ１２に含まれる検索対象の画像の全体領域ＱＲ１の特徴量と局所領域ＱＲ２の特徴量を抽出してもよい。

上記実施形態において、記憶部１２０に格納されているクエリ情報Ｑ１２を撮影画像に基づいて更新してもよい。例えば、新たな局所画像情報Ｑ１２ｂをクエリ情報Ｑ１２に追加する。具体的には、領域探索部１３１は、取得した撮影画像に基づいて、探索する局所領域Ｒ２を決定して、局所領域Ｒ２を探索する。識別部１３４は、局所領域Ｒ２の位置と特徴部分の種類を特定する。照合部１３３は、照合において、クエリ情報Ｑ１２を参照し、検索対象の特徴部分の種類と同一種類の特徴部分を含む局所領域Ｒ２を使用する。そして、照合部１３３が撮影画像に写っている車とクエリ情報Ｑ１２に含まれている検索対象の車とが同一であると判断したときに、クエリ情報Ｑ１２に含まれていない新たな局所領域Ｒ２の画像が領域探索部１３１により探索されていれば、その新たな局所領域Ｒ２に関する情報を新たな局所画像情報Ｑ１２ｂとしてクエリ情報Ｑ１２に追加する。これにより、クエリ情報Ｑ１２内の局所画像情報Ｑ１２ｂが増えていくため、撮影画像と局所画像情報Ｑ１２ｂとを照合する機会が増加する。また、局所画像情報Ｑ１２ｂの種類が増えることによって、照合の精度がより良くなる。なお、同一種類の特徴部分を示す局所画像情報Ｑ１２ｂをクエリ情報Ｑ１２に追加してもよい。例えば、特徴部分の向き、照明条件、オクルージョンの量等が、撮影画像によって、例えば、監視カメラ２０の位置によって、既に記憶している局所画像と異なる場合がある。よって、同一種類の特徴部分であっても、特徴部分の向き、照明条件、又はオクルージョンの量等が異なる場合は、局所画像をクエリ情報Ｑ１２に追加してもよい。例えば、異なる撮影画像から得られた局所画像をクエリ情報Ｑ１２に追加してもよい。これにより、照合の精度が向上する。また、上記実施形態では、クエリ情報Ｑ１２は一つの全体画像を含んでいたが、複数の全体画像をクエリ情報Ｑ１２に含めても良い。例えば、全体画像においても、車の向き、照明条件、オクルージョンの量等が、既に記憶している全体画像と異なる場合がある。よって、車の向き、照明条件、オクルージョンの量等が異なる場合は、全体画像をクエリ情報Ｑ１２に追加してもよい。例えば、異なる撮影画像から得られた全体画像をクエリ情報Ｑ１２に追加してもよい。これにより、照合の精度を高めることができる。

上記実施形態では、複数の照合対象画像の中から、検索対象と同一の車が写っている撮影画像を特定する例について説明したが、検索対象を含む画像の候補として、検索対象の車と類似する車を含む撮影画像を特定してもよい。例えば、類似度が所定値以上の場合は、撮影画像内の車が検索対象の車に類似していると判断して、その撮影画像を検索対象の車と類似する車を含む画像として特定してもよい。この場合、複数（ｎ枚）の照合対象画像の中から、検索対象の車と類似する車を含む複数（ｍ枚）の撮影画像が抽出されてもよい（ｍ＜ｎ）。例えば、類似度が高い順にｍ枚の撮影画像が抽出されてもよい。又は、ｎ枚の照合対象画像の中から、検索対象の車と類似する車をｍ台抽出してもよい。これにより、膨大な数の撮影画像の中から、検索対象の車が写っている可能性のある画像を絞り込むことができるため、非常に有用である。

上記実施形態では、制御部１３０が、領域探索部１３１、特徴量抽出部１３２、及び照合部１３３をそれぞれ含む例について説明したが、領域探索部１３１、特徴量抽出部１３２、及び照合部１３３による機能の全部又は一部が統合されてもよい。例えば、制御部１３０は、領域探索部１３１、特徴量抽出部１３２、及び照合部１３３の全ての機能を実行するような画像照合部を備えてもよい。画像照合部は、撮影画像と検索対象の画像とが入力されると、撮影画像内の車と検索対象の車との類似度を直接出力するニューラルネットワークモデルを使用してもよい。この場合も画像照合部は、クエリ情報Ｑ１２に基づいて撮影画像から車の全体領域Ｒ１及び局所領域Ｒ２を抽出して、撮影画像内の車の全体領域Ｒ１及び局所領域Ｒ２と検索対象の車の全体領域ＱＲ１及び局所領域ＱＲ２とを照合する。また、クエリ情報Ｑ１２は、特徴量を含まなくてもよい。

上記実施形態では、検索対象が車である場合について説明したが、検索対象は車に限らない。検索対象は任意である。例えば、検索対象は、バイク、自転車、又は人物であってもよい。

上記実施形態では、照合処理は画像自体を用いて実施する場合について説明したが、画像自体の照合に限らず、照合方法は任意である。例えば、照合対象がナンバープレート等の文字であった場合、画像から文字情報を抽出し、文字の比較による照合を実施してもよい。また画像自体による照合や文字による照合等の複数の照合方法を使用してもよい。

（実施形態の概要）
（１）本開示の照合装置は、検索対象を示す検索対象画像を格納する記憶部と、撮像装置によって生成された撮影画像を取得する取得部と、撮影画像において検索対象が含まれるか否かを特定する制御部と、を備え、制御部は、撮影画像において、検索対象の少なくとも一部に類似する被写体を含む照合領域を探索し、探索結果に応じて、検索対象画像の全体及び／又は検索対象画像の一部を選択して撮影画像と照合することにより、撮影画像において検索対象が含まれるか否かを特定する。

このように、検索対象の全体の画像と一部の画像を使用した画像による照合を行うため、照合の機会が減少することを防ぐことができる。よって、照合の性能が向上する。

（２）（１）の照合装置において、検索対象画像の一部は、検索対象に特有の特徴部分を含み、照合領域は、検索対象の全体に類似する第１の被写体を含む第１の照合領域と、検索対象の特徴部分に類似する第２の被写体を含む第２の照合領域とを含んでもよい。

このように、全体の画像と特徴部分の画像とを使用した画像による照合を行うため、照合の性能が向上する。

（３）（２）の照合装置において、制御部は、探索により、第２の照合領域を特定できたときは、第２の照合領域を検索対象画像の一部と照合し、第２の照合領域を特定できずに第１の照合領域を特定できたときは、第１の照合領域を検索対象画像の全体と照合してもよい。

このように、全体の画像と特徴部分の画像とを使用した画像による照合を行うため、照合の性能が向上する。

（４）（２）の照合装置において、制御部は、探索により、第１の照合領域及び第２の照合領域の両方を特定できたときは、第１の照合領域及び第２の照合領域を検索対象画像の全体及び一部と照合し、第１の照合領域を特定できずに第２の照合領域を特定できたときは、第２の照合領域と検索対象画像の一部とを照合し、第１の照合領域が特定できて第２の照合領域を特定できなかったときは、第１の照合領域と検索対象画像の全体とを照合してもよい。

このように、全体の画像と特徴部分の画像とを使用した画像による照合を行うため、照合の性能が向上する。

（５）（２）の照合装置において、撮影画像において検索対象が含まれるか否かの特定において、制御部は、照合により、検索対象の全体と第１の被写体との類似度、及び／又は検索対象の特徴部分と第２の被写体との類似度を算出してもよい。

これにより、検索対象を含む撮影画像を精度良く特定することができる。

（６）（２）の照合装置において、制御部は、検索対象画像の全体の特徴量及び一部の特徴量と、撮影画像の第１の照合領域内の特徴量及び第２の照合領域内の特徴量とに基づいて、照合を行ってもよい。

これにより、検索対象を含む撮影画像を精度良く特定することができる。

（７）（１）の照合装置において、取得部は、１つ以上の撮像装置から複数の撮影画像を取得し、制御部は、複数の撮影画像のうちの少なくとも１つに基づいて検索対象画像を生成して記憶部に格納し、複数の撮影画像のうち検索対象画像の生成に使用していない撮影画像の中から、検索対象を含む撮影画像を特定してもよい。

（８）（２）の照合装置において、検索対象は車であってもよい。

（９）（８）の照合装置において、検索対象の特徴部分は、ナンバープレート、ロゴ、及び広告のうちの少なくとも１つを含んでもよい。

（１０）（９）の照合装置において、制御部は、撮影画像において、ナンバープレートの領域を探索し、探索によりナンバープレートの領域を特定できなかった場合に、車の全体又はナンバープレート以外の特徴部分の領域を探索してもよい。

ナンバープレートは、車を特定できる固有の情報であるため、ナンバープレートによる照合を優先することによって、照合性能及び照合効率が向上する。

（１１）本開示の照合方法は、検索対象を示す検索対象画像を記憶部から取得し、撮像装置によって生成された撮影画像を撮像装置から取得し、撮影画像において、検索対象の少なくとも一部に類似する被写体を含む照合領域を探索し、探索結果に応じて、検索対象画像の全体及び／又は検索対象画像の一部を選択して撮影画像と照合することにより、撮影画像において検索対象が含まれるか否かを特定する。

本開示の全請求項に記載の照合装置及び照合方法は、ハードウェア資源、例えば、プロセッサ、メモリ、及びプログラムとの協働などによって、実現される。

本開示の照合装置は、例えば、複数の撮影画像から検索対象を探し出す装置として有用である。

１ 照合システム
１０ 照合装置
２０ 監視カメラ
１１０ 画像取得部
１２０ 記憶部
１３０ 制御部
１３１ 領域探索部
１３２ 特徴量抽出部
１３３ 照合部
１３４ 識別部
１３４ａ 種類特定部
１３４ｂ 位置特定部
１３５ クエリ情報生成部
１４０ 入力部
１５０ 出力部
Ｑ１２ クエリ情報
Ｑ１２ａ 全体画像情報
Ｑ１２ｂ 局所画像情報

Claims (8)

1. 検索対象を示す検索対象画像を格納する記憶部と、
   撮像装置によって生成された撮影画像を取得する取得部と、
   前記撮影画像において、前記検索対象の少なくとも一部に類似する被写体を含む照合領域を探索し、前記探索結果に応じて、前記検索対象画像の全体及び／又は前記検索対象画像の一部を選択して前記撮影画像と照合することにより、前記撮影画像において前記検索対象が含まれるか否かを特定する制御部と、を備え、
   前記検索対象画像の一部は、前記検索対象に特有の特徴部分を含み、
   前記検索対象の前記特徴部分は、ナンバープレート、ロゴ、広告、模様、文字、及び運転手の服のうちの少なくとも１つを含み、
   前記照合領域は、前記検索対象の全体に類似する第１の被写体を含む第１の照合領域と、前記検索対象の前記特徴部分に類似する第２の被写体を含む第２の照合領域とを含み、
   前記制御部は、前記探索により、
   前記第１の照合領域及び前記第２の照合領域の両方を特定できたときは、前記第１の照合領域及び前記第２の照合領域を前記検索対象画像の全体及び一部と照合し、
   前記第１の照合領域を特定できずに前記第２の照合領域を特定できたときは、前記第２の照合領域と前記検索対象画像の一部とを照合し、
   前記第１の照合領域が特定できて前記第２の照合領域を特定できなかったときは、前記第１の照合領域と前記検索対象画像の全体とを照合する、
   照合装置。
2. 前記撮影画像において前記検索対象が含まれるか否かの特定において、前記制御部は、前記照合により、前記検索対象の全体と前記第１の被写体との類似度、及び／又は前記検索対象の前記特徴部分と前記第２の被写体との類似度を算出する、
   請求項１に記載の照合装置。
3. 前記制御部は、前記検索対象画像の全体の特徴量及び一部の特徴量と、前記撮影画像の前記第１の照合領域内の特徴量及び前記第２の照合領域内の特徴量とに基づいて、前記照合を行う、
   請求項１に記載の照合装置。
4. 前記取得部は、１つ以上の撮像装置から複数の撮影画像を取得し、
   前記制御部は、
   前記複数の撮影画像のうちの少なくとも１つに基づいて前記検索対象画像を生成して前記記憶部に格納し、
   前記複数の撮影画像のうち前記検索対象画像の生成に使用していない撮影画像の中から、前記検索対象を含む撮影画像を特定する、
   請求項１に記載の照合装置。
5. 前記検索対象は車である、
   請求項１に記載の照合装置。
6. 前記制御部は、前記撮影画像において、前記ナンバープレートの領域を探索し、前記探索により前記ナンバープレートの領域を特定できなかった場合に、前記検索対象の全体又は前記ナンバープレート以外の特徴部分の領域を探索し、
   前記ナンバープレート以外の特徴部分は、前記ロゴ、前記広告、前記模様、前記文字、及び前記運転手の服のうちの少なくとも１つを含む、
   請求項１に記載の照合装置。
7. コンピュータにより実行される照合方法であって、
   検索対象を示す検索対象画像を記憶部から取得する第１ステップ、
   撮像装置によって生成された撮影画像を前記撮像装置から取得する第２ステップ、
   前記撮影画像において、前記検索対象の少なくとも一部に類似する被写体を含む照合領域を探索する第３ステップ、及び、
   前記探索結果に応じて、前記検索対象画像の全体及び／又は前記検索対象画像の一部を選択して前記撮影画像と照合することにより、前記撮影画像において前記検索対象が含まれるか否かを特定する第４ステップを含み、
   前記検索対象画像の一部は、前記検索対象に特有の特徴部分を含み、
   前記検索対象の前記特徴部分は、ナンバープレート、ロゴ、広告、模様、文字、及び運転手の服のうちの少なくとも１つを含み、
   前記照合領域は、前記検索対象の全体に類似する第１の被写体を含む第１の照合領域と、前記検索対象の前記特徴部分に類似する第２の被写体を含む第２の照合領域とを含み、
   前記第４ステップでは、前記探索により、
   前記第１の照合領域及び前記第２の照合領域の両方を特定できたときは、前記第１の照合領域及び前記第２の照合領域を前記検索対象画像の全体及び一部と照合し、
   前記第１の照合領域を特定できずに前記第２の照合領域を特定できたときは、前記第２の照合領域と前記検索対象画像の一部とを照合し、
   前記第１の照合領域が特定できて前記第２の照合領域を特定できなかったときは、前記第１の照合領域と前記検索対象画像の全体とを照合する、
   照合方法。
8. 請求項７に記載の照合方法をコンピュータに実行させるプログラム。

Images