JP6950376B2 - 画像処理装置、訓練画像処理装置、画像識別装置、訓練画像処理方法、画像識別方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、訓練画像処理装置、画像識別装置、訓練画像処理方法、画像識別方法、及びプログラムに関し、特に、画像中の被写体を識別するための画像処理装置、訓練画像処理装置、画像識別装置、訓練画像処理方法、画像識別方法、及びプログラムに関する。

画像をクエリとして、事前に構築された画像データベース（ＤＢ）からクエリに写る内容（コンテンツ）を識別したり、類似した内容を検索したりする被写体識別・検索技術は、視覚的な情報を手がかりとして、対象に関する情報取得や、撮影者自身の自己位置推定、対象の登録を実現するための必須技術である。

通常、被写体識別・検索技術の入力となる画像は、被写体から反射してきた光が、カメラやスマートフォン等撮像デバイス中のレンズで集光され、ＣＣＤ／ＣＭＯＳ等撮像素子で結像し電気信号へと変換されることで生成(イメージング)される。

特開２０１５−２０１１２３号公報

T.Merten et al., Exposure Fusion: A Simple and Practical Alternative to High Dynamic Range Photography, COMPUTER GRAPHICS forum, 2009.

このとき、上記プロセスのいずれかの部分に生じた外乱、あるいは、被写体の（局所的な）反射特性ないしはそれに入射する光源の性質によっては、生成される画像が、ヒトが知覚するそれとは異なる見えの、いわゆる「不明瞭な」画像として出力されることが少なくない。

例えば、写り込んだ複数の被写体のうち一部のみが照明で照らされている場合、照明に近い被写体の全貌は概ね明瞭にイメージングされているものの、照明と離れた画像下部に写る被写体は全体的に暗く、その模様が黒つぶれしてしまう。

また、被写体の形状や材質によっては、特定の領域において光の鏡面反射成分が支配的となり、該当領域の模様が白飛びしてしまう。

これらのケースでは、被写体の全貌あるいはその一部が画像として明瞭に捉えられていないため、後段の認識・検索処理を、例えば特許文献１で開示されている技術を用いるなどして高度化しても、その性能を向上させることは難しい。

上記の課題を解決するアプローチの一つとして、同一空間を捉えた画像を撮像デバイスのパラメータを変化させながら複数枚撮影し、得られる画像シーケンスを合成して得られた画像を識別・検索処理の入力とする方法が考えられる。

一例として、撮像パラメータのうち露光（ｅｘｐｏｓｕｒｅ）を変化させつつ複数枚の画像からなる画像シーケンスが取得できる。

複数の露光パターンで画像を取得することで、上述の例では黒つぶれしてしまっていた被写体の模様を、最も高い露光の画像で捉えられるようになり、これらを非特許文献１で開示されているような画像合成技術に適用することで、画像中の位置によらず明瞭な画像を生成することができる。

露光を変化させつつ同一空間の画像を複数枚取得する方法はｅｘｐｏｓｕｒｅ ｂｒａｃｋｅｔｉｎｇと呼ばれ、デジタルカメラやスマートフォンのカメラアプリから容易に利用できる。

また、画像シーケンスの中で変化させることが可能な撮像パラメータとしては、露光の他にフォーカス（焦点）も挙げられ、この撮像方法はｆｏｃｕｓ ｓｔａｃｋｉｎｇと呼ばれる。

このように取得された画像シーケンスから、各画像に含まれる不明瞭性が除去されるよう合成された画像を入力とすることで、識別・検索の性能は向上すると見込まれる。

しかし一方で、非特許文献１に代表される画像合成処理の計算コストは膨大であることから、識別・検索全体の処理コストを大幅に増大させてしまうという問題がある。

この問題は、高いレスポンスが求められることの多いクエリ画像シーケンスを識別・検索する際に特に顕著となる。

計算コストの問題は、画像合成処理のパラメータを調整することや、シーケンス中の画像をあらかじめ低解像度化させておく等といった方法で緩和させることが可能なものの、このようにして得られた画像の質は総じて低く、その画像から抽出された画像特徴には多くのノイズが含まれてしまうという別の問題が生じてしまう。

すなわち、撮像パラメータを変化させて取得した画像シーケンスを合成して得られる画像を識別・検索するというアプローチをとると、画像合成処理の処理速度と出力画像の質のトレードオフの影響を、識別・検索処理が強く受けてしまう、という問題がある。

以上をまとめると、公知の技術には以下のような問題があった。

イメージングの過程で不明瞭性が伴なう画像には被写体の見えに関する情報が欠損してしまっているため、精度よく対象の識別・検索を行うことができない。

撮像デバイスのパラメータを変化させて取得される画像シーケンスを合成して得られた画像を識別・検索の入力とするというアプローチでは、高品質な画像合成処理に要する処理コストが一般的に高いため、処理速度と識別、検索性能を両立させることができない。

本発明は、この課題を鑑みてなされたものであり、画像シーケンスから適切な局所特徴を得ることができる画像処理装置及びプログラムを提供することを目的とする。

また、本発明は、精度よく被写体を識別するための訓練画像の局所特徴を得ることができる訓練画像処理装置、訓練画像処理方法、及びプログラムを提供することを目的とする。

また、本発明は、画像から、その中に写る被写体を精度良く識別することができる画像識別装置、画像識別方法、及びプログラムを提供することを目的とする。

本発明に係る画像処理装置は、入力された画像シーケンスを構成する複数の画像の各々から、局所特徴を抽出する局所特徴抽出部と、前記画像シーケンスを構成する複数の画像の各々について、前記画像を分割した各領域の撮像状態の質であるコンディションスコアを算出するコンディションスコア算出部と、前記画像シーケンスを構成する複数の画像の各々について、前記画像のコンディションスコアに基づいて、前記画像の局所特徴を選択して、前記画像シーケンスの局所特徴とする特徴選択部とを含んで構成される。

本発明に係る画像処理装置によれば、局所特徴抽出部が、入力された画像シーケンスを構成する複数の画像の各々から、局所特徴を抽出し、コンディションスコア算出部が、前記画像シーケンスを構成する複数の画像の各々について、前記画像を分割した各領域の撮像状態の質であるコンディションスコアを算出する。

そして、特徴選択部が、前記画像シーケンスを構成する複数の画像の各々について、前記画像のコンディションスコアに基づいて、前記画像の局所特徴を選択して、前記画像シーケンスの局所特徴とする。

このように、入力された画像シーケンスを構成する複数の画像の各々から、局所特徴を抽出し、当該画像シーケンスを構成する複数の画像の各々について、当該画像を分割した各領域の撮像状態の質であるコンディションスコアを算出し、画像のコンディションスコアに基づいて、当該画像の局所特徴を選択して、当該画像シーケンスの局所特徴とすることにより、画像シーケンスから適切な局所特徴を得ることができる。

本発明に係る訓練画像処理装置は、入力された訓練画像シーケンスを構成する複数の画像の各々から、局所特徴を抽出する局所特徴抽出部と、前記訓練画像シーケンスを構成する複数の画像の各々について、前記画像を分割した各領域の撮像状態の質であるコンディションスコアを算出するコンディションスコア算出部と、前記訓練画像シーケンスを構成する複数の画像の各々について、前記画像のコンディションスコアに基づいて、前記画像の局所特徴を選択して、前記訓練画像シーケンスの局所特徴とする特徴選択部と、を含んで構成される。

また、本発明に係る訓練画像処理方法は、局所特徴抽出部が、入力された訓練画像シーケンスを構成する複数の画像の各々から、局所特徴を抽出し、コンディションスコア算出部が、前記訓練画像シーケンスを構成する複数の画像の各々について、前記画像を分割した各領域の撮像状態の質であるコンディションスコアを算出し、特徴選択部が、前記訓練画像シーケンスを構成する複数の画像の各々について、前記画像のコンディションスコアに基づいて、前記画像の局所特徴を選択して、前記訓練画像シーケンスの局所特徴とする。

本発明に係る訓練画像処理装置、及び訓練画像処理方法によれば、局所特徴抽出部が、入力された訓練画像シーケンスを構成する複数の画像の各々から、局所特徴を抽出し、コンディションスコア算出部が、前記訓練画像シーケンスを構成する複数の画像の各々について、前記画像を分割した各領域の撮像状態の質であるコンディションスコアを算出する。

そして、特徴選択部が、前記訓練画像シーケンスを構成する複数の画像の各々について、前記画像のコンディションスコアに基づいて、前記画像の局所特徴を選択して、前記訓練画像シーケンスの局所特徴とする。

このように、入力された訓練画像シーケンスを構成する複数の画像の各々から、局所特徴を抽出し、当該訓練画像シーケンスを構成する複数の画像の各々について、当該画像を分割した各領域の撮像状態の質であるコンディションスコアを算出し、画像のコンディションスコアに基づいて、当該画像の局所特徴を選択して、当該訓練画像シーケンスの局所特徴とすることにより、精度よく被写体を識別するための訓練画像の局所特徴を得ることができる。

また、本発明に係る訓練画像処理装置は、前記訓練画像シーケンスを構成する複数の画像の各々の位置合わせを行い、複数の画像の各々の位置合わせの結果に基づいて、各領域のコンディションスコアの座標変換、及び局所特徴の座標変換を行うデータアラインメント部を更に含み、前記特徴選択部は、前記訓練画像シーケンスを構成する複数の画像の各々について、前記画像の座標変換後のコンディションスコアに基づいて、前記画像の座標変換後の局所特徴を選択して、前記訓練画像シーケンスの局所特徴とすることができる。

また、本発明に係る訓練画像処理装置は、複数の訓練画像シーケンスの各々について、前記特徴選択部により得られた前記訓練画像シーケンスの局所特徴を、検索可能な形へ整形しデータベースへ格納するインデクシング部を更に含むことができる。

本発明に係る画像識別装置は、入力されたテスト画像シーケンスを構成する複数の画像の各々から、局所特徴を抽出する局所特徴抽出部と、前記テスト画像シーケンスを構成する複数の画像の各々について、前記画像を分割した各領域の撮像状態の質であるコンディションスコアを算出するコンディションスコア算出部と、前記テスト画像シーケンスを構成する画像の各々について、前記画像のコンディションスコアに基づいて、前記画像の局所特徴を選択することにより、前記テスト画像シーケンスの局所特徴とする特徴選択部と、少なくとも１つ以上の訓練画像又は少なくとも１つ以上の訓練画像シーケンスの各々について局所特徴を記憶するデータベースの訓練画像又は訓練画像シーケンスの各々について、前記訓練画像又は前記訓練画像シーケンスの局所特徴と前記テスト画像シーケンスの局所特徴との類似度を示すスコアを算出するデータベース画像スコアリング部と、前記スコアが上位Ｎ個の前記訓練画像又は前記訓練画像シーケンスの各々について、前記訓練画像又は前記訓練画像シーケンスの局所特徴と、前記テスト画像シーケンスの局所特徴とに基づいて、前記訓練画像又は前記訓練画像シーケンスと前記テスト画像シーケンスとの同一性を検証することにより、前記テスト画像シーケンスの被写体を識別する被写体検証部とを含んで構成される。

また、本発明に係る画像識別方法は、局所特徴抽出部が、入力されたテスト画像シーケンスを構成する複数の画像の各々から、局所特徴を抽出し、コンディションスコア算出部が、前記テスト画像シーケンスを構成する複数の画像の各々について、前記画像を分割した各領域の撮像状態の質であるコンディションスコアを算出し、特徴選択部が、前記テスト画像シーケンスを構成する画像の各々について、前記画像のコンディションスコアに基づいて、前記画像の局所特徴を選択することにより、前記テスト画像シーケンスの局所特徴とし、データベース画像スコアリング部が、少なくとも１つ以上の訓練画像又は少なくとも１つ以上の訓練画像シーケンスの各々について局所特徴を記憶するデータベースの訓練画像又は訓練画像シーケンスの各々について、前記訓練画像又は前記訓練画像シーケンスの局所特徴と前記テスト画像シーケンスの局所特徴との類似度を示すスコアを算出し、被写体検証部が、前記スコアが上位Ｎ個の前記訓練画像又は前記訓練画像シーケンスの各々について、前記訓練画像又は前記訓練画像シーケンスの局所特徴と、前記テスト画像シーケンスの局所特徴とに基づいて、前記訓練画像又は前記訓練画像シーケンスと前記テスト画像シーケンスとの同一性を検証することにより、前記テスト画像シーケンスの被写体を識別する。

本発明に係る画像識別装置、及び画像識別方法によれば、局所特徴抽出部が、入力されたテスト画像シーケンスを構成する複数の画像の各々から、局所特徴を抽出し、コンディションスコア算出部が、前記テスト画像シーケンスを構成する複数の画像の各々について、前記画像を分割した各領域の撮像状態の質であるコンディションスコアを算出し、特徴選択部が、前記テスト画像シーケンスを構成する画像の各々について、前記画像のコンディションスコアに基づいて、前記画像の局所特徴を選択することにより、前記テスト画像シーケンスの局所特徴とする。

そして、データベース画像スコアリング部が、少なくとも１つ以上の訓練画像又は少なくとも１つ以上の訓練画像シーケンスの各々について局所特徴を記憶するデータベースの訓練画像又は訓練画像シーケンスの各々について、前記訓練画像又は前記訓練画像シーケンスの局所特徴と前記テスト画像シーケンスの局所特徴との類似度を示すスコアを算出し、被写体検証部が、前記スコアが上位Ｎ個の前記訓練画像又は前記訓練画像シーケンスの各々について、前記訓練画像又は前記訓練画像シーケンスの局所特徴と、前記テスト画像シーケンスの局所特徴とに基づいて、前記訓練画像又は前記訓練画像シーケンスと前記テスト画像シーケンスとの同一性を検証することにより、前記テスト画像シーケンスの被写体を識別する。

このように、入力されたテスト画像シーケンスを構成する複数の画像の各々から、局所特徴を抽出し、当該テスト画像シーケンスを構成する複数の画像の各々について、当該画像を分割した各領域の撮像状態の質であるコンディションスコアを算出し、画像のコンディションスコアに基づいて、当該画像の局所特徴を選択することにより、テスト画像シーケンスの局所特徴とし、訓練画像又は訓練画像シーケンスの局所特徴と当該テスト画像シーケンスの局所特徴とに基づいて、当該テスト画像シーケンスの被写体を識別することにより、画像から、その中に写る被写体を精度良く識別することができる。

また、本発明に係る画像識別装置は、前記テスト画像シーケンスを構成する複数の画像の各々の位置合わせを行い、複数の画像の各々の位置合わせの結果に基づいて、各領域のコンディションスコアの座標変換、及び局所特徴の座標変換を行うデータアラインメント部を更に含み、前記特徴選択部は、前記テスト画像シーケンスを構成する複数の画像の各々について、前記画像の座標変換後のコンディションスコアに基づいて、前記画像の座標変換後の局所特徴を選択して、前記テスト画像シーケンスの局所特徴とすることができる。

本発明に係るプログラムは、上記の画像処理装置、訓練画像処理装置又は画像識別装置の各部として機能させるためのプログラムである。

本発明の画像処理装置及びプログラムによれば、画像シーケンスから適切な局所特徴を得ることができる。

また、本発明の訓練画像処理装置、訓練画像処理方法、及びプログラムによれば、精度よく被写体を識別するための訓練画像の局所特徴を得ることができる。

また、本発明の画像識別装置、画像識別方法、及びプログラムによれば、画像から、その中に写る被写体を精度良く識別することができる。

本発明の実施の形態に係る画像識別装置の構成を示す概略図である。 本発明の実施の形態に係る画像識別装置の特徴選択の例を示す図である。 本発明の実施の形態に係る画像識別装置の特徴選択の例を示す図である。 本発明の実施の形態に係る画像識別装置の特徴選択の例を示す図である。 本発明の実施の形態に係る画像識別装置の訓練画像処理ルーチンを示すフローチャートである。 本発明の実施の形態に係る画像識別装置の画像識別処理ルーチンを示すフローチャートである。 本発明の他の実施の形態の変形例１に係る画像識別装置の構成を示す概略図である。 本発明の他の実施の形態の変形例２に係る画像識別装置の構成を示す概略図である。 本発明の他の実施の形態の変形例３に係る画像識別装置の構成を示す概略図である。 本発明の他の実施の形態の変形例４に係る画像識別装置の構成を示す概略図である。 本発明の他の実施の形態の変形例５に係る画像識別装置の構成を示す概略図である。 本発明の他の実施の形態の変形例６に係る画像識別装置の構成を示す概略図である。 本発明の他の実施の形態の変形例７に係る画像識別装置の構成を示す概略図である。 本発明の他の実施の形態の変形例８に係る画像識別装置の構成を示す概略図である。

以下、本発明の実施の形態について図面を用いて説明する。

＜本発明の実施の形態に係る画像識別装置の構成＞

次に、本発明の実施の形態に係る画像識別装置の構成について説明する。図１は、本発明の実施の形態に係る画像識別装置の構成を示す概略図である。

本発明の実施の形態に係る画像識別装置１０は、ＣＰＵと、ＲＡＭと、後述する訓練画像処理ルーチン、及び画像識別処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成され、機能的には次に示すように構成されている。

図１に示すように、画像識別装置１０は、入力部１００と、入力部１１０と、訓練画像処理部２００と、データベース３００と、画像識別部４００と、出力部５００とを備えて構成される。

入力部１００及び入力部１１０は、既知のキーボード、記憶装置などの入力器により実現される。また、入力部１００は、インターネット等のネットワークを介して観測データを入力するネットワークインターフェースでも良い。

出力部５００は、ディスプレイ、プリンタ、磁気ディスクなどで実装される。

入力部１００は、複数の訓練画像シーケンスの入力を受け付ける。訓練画像シーケンスには、当該訓練画像シーケンス中に存在する被写体を示すラベル情報が付与されている。

なお、ラベル情報は、予め与えられ、又は別途入力部１００に入力される構成を取っても良い。

そして、入力部１００は、入力された複数の訓練画像シーケンスを訓練画像処理部２００へ渡す。

なお、訓練画像シーケンスにおいて、訓練画像シーケンスの長さ（すなわち、訓練画像シーケンスを構成する画像の枚数）は任意である。また、画像の枚数は、訓練画像シーケンス毎に異なっていてもよい。

訓練画像処理部２００は、入力された複数の訓練画像シーケンスの各々について、局所特徴を抽出し、検索可能な形へ成形し、データベース３００へ格納する。

具体的には、訓練画像処理部２００は、前処理部２１０と、局所特徴抽出部２２０と、コンディションスコア算出部２３０と、データアラインメント部２４０と、特徴選択部２５０と、インデクシング部２６０とを含んで構成される。

前処理部２１０は、複数の訓練画像シーケンスの各々に対し、当該訓練画像シーケンスを構成する複数の画像の各々について、当該画像を所定のサイズに拡大縮小する。

具体的には、前処理部２１０は、入力部１００に入力された複数の訓練画像シーケンスの各々における、当該訓練画像シーケンスを構成する複数の画像の各々について、当該画像を所定のサイズに拡大縮小する。

なお、この拡大縮小サイズは、後段の局所特徴抽出部２２０、コンディションスコア算出部２３０、局所特徴抽出部４２０、及びコンディションスコア算出部４３０ついて、それぞれ独立に設定することができる。

また、前処理部２１０では、この他にも例えば、画像ノイズを軽減するために平滑化処理や、γ補正等の画像全体の明るさを調整する処理を行ってもよい。

そして、前処理部２１０は、拡大縮小した複数の訓練画像シーケンスを、局所特徴抽出部２２０及びコンディションスコア算出部２３０に渡す。

局所特徴抽出部２２０は、複数の訓練画像シーケンスの各々について、当該訓練画像シーケンスを構成する複数の画像の各々から、局所特徴を抽出する。

具体的には、局所特徴抽出部２２０は、前処理部２１０で得られた複数の訓練画像シーケンスの各々における、当該訓練画像シーケンスを構成する複数の画像において、当該画像から、局所特徴量、及び各局所特徴に対応する属性情報を抽出する。

抽出する局所特徴量は、任意の公知の技術を用いることが可能である。例えば、参考文献１で開示されているＳＩＦＴや、他にもＳＵＲＦ、ＢＥＩＥＦ、ＢＲＩＳＫ、ＯＲＢ、ＦＲＥＡＫ、ＡＫＡＺＥ等を用いることができる。

また属性情報としては、参考文献１同様位置（ｘ，ｙ）、スケール、回転量の４つを取得してもよいし、参考文献２で開示されている方法を用いて位置（ｘ，ｙ）、スケール、回転(ロー、ピッチ、ヨー)の６つを取得してもよい。

［参考文献１］D. G. Lowe, Distinctive Image Features from Scale-Invariant Keypoints, IJCV, 2004.

［参考文献２］J. Morel et al., ASIFT: A New Framework for Fully Affine Invariant Image Comparison, SIAM Journal on Image Sciences, 2009.

コンディションスコア算出部２３０は、前処理部２１０で得られた複数の訓練画像シーケンスの各々における、当該訓練画像シーケンスを構成する複数の画像において、当該画像を分割した各領域の撮像状態の質であるコンディションスコアを算出する。

具体的には、コンディションスコア算出部２３０は、前処理部２１０で得られた複数の訓練画像シーケンスの各々における、当該訓練画像シーケンスを構成する複数の画像において、当該画像中の各領域における撮像状態の質（コンディション）を算出したコンディションマップを生成する。

画像中の各領域の撮像状態の質を評価する指標は任意のものを用いることが可能である。例えば、以下のように、（１）コントラスト、（２）彩度、（３）露光状態（カラー）、（４）露光状態（グレースケール）のうち少なくとも何れか１つを、コンディションの評価をする指標として用いることができる。

＜＜（１）コントラスト＞＞
画像シーケンスを構成する画像Ｉ_ｋ（ｋ：画像のインデックス）の各位置（ｉ，ｊ）におけるコントラストが高いほど、該当領域の撮像コンディションはよいと考えられる。

そこで、画像Ｉ_ｋをグレースケール変換したものにラプラシアンフィルタを適用することで、コントラストの指標に対応するスコアＣ_ｉｊ，ｋを算出する。

＜＜（２）彩度＞＞
画像シーケンスを構成する画像Ｉ_ｋの各位置（ｉ，ｊ）が鮮やかであるほど、該当領域の撮像コンディションはよいと考えられる。

そこで、画像Ｉ_ｋの位置（ｉ，ｊ）におけるＲ、Ｇ、Ｂの輝度値の標準偏差として、彩度の指標に対応するスコアＳ_ｉｊ，ｋを算出する。

＜＜（３）露光状態（カラー）＞＞
画像シーケンスを構成する画像Ｉ_ｋの各位置（ｉ，ｊ）が適切な露光状態で撮像されているほど、該当領域の撮像コンディションはよいと考えられる。

そこで、露光状態(カラー)の指標に対応するスコアＥ_ｉｊ，ｋを、下記の式（１）で算出する。

ここで、

は、画像Ｉ_ｋの位置（ｉ，ｊ）におけるＲ、Ｇ、Ｂの輝度値、

をパラメータとする。

＜＜（４）露光状態（グレースケール）＞＞
露光状態（カラー）のアプローチは、カラー画像をグレースケールに変換したものに適用することも可能である。

そこで、露光状態（グレースケール）の指標に対応するスコアＧ_ｉｊ，ｋを、下記の式（２）のように算出する。

ここで、

は、画像Ｉ_ｋの位置（ｉ，ｊ）における輝度値とする。

上記４種類の指標は、画像が取得された照明状態の質に関連している。その他にも、例えば参考文献３で開示されているＬｏｃａｌ Ｐｏｗｅｒ Ｓｐｅｃｔｒａｌ Ｓｌｏｐｅ、Ｇｒａｄｉｅｎｔ Ｈｉｓｔｏｇｒａｍ Ｓｐａｎ、Ｍａｘｉｍｕｍ Ｓａｔｕｒａｔｉｏｎ、Ｌｏｃａｌ Ａｕｔｏｃｏｒｒｅｌａｔｉｏｎ Ｃｏｎｇｒｕｅｎｃｙといった指標を用いることで、画像中各領域のブレ状態に関するスコアを算出することができる。

［参考文献３］H. Jegou et al., Aggregating local descriptors into a compact image representation, in Proc. CVPR, 2010.

また、コンディションスコア算出部２３０では、画像各領域の撮像状態の質を評価する任意の指標一つ以上を組み合わせて用いることが可能である。

例えば、下記の式（３）のように、画像シーケンスを構成する画像Ｉ_ｋの位置（ｉ，ｊ）における最終的な撮像コンディションスコアＷ_ｉｊ，ｋを計算すればよい。

ここで、ω_Ｃ、ω_Ｓ、ω_Ｅ、ω_Ｇは、パラメータである。

データアラインメント部２４０は、訓練画像シーケンスを構成する複数の画像の各々の位置合わせを行い、複数の画像の各々の位置合わせの結果に基づいて、各領域のコンディションスコアの座標変換、及び局所特徴の座標変換を行う。

具体的には、データアラインメント部２４０は、訓練画像シーケンスを構成する各画像の位置合わせを行う。訓練画像シーケンスを構成する各画像の位置合わせを行う方法は任意である。

例えば、訓練画像シーケンスを構成する最初の画像を基準として、最初の画像とそれ以外の各画像から局所特徴抽出部２２０で得られた局所特徴の対応付けを行い、その結果から画像間の座標変換パラメータ（例えばアフィン行列やホモグラフィ行列）を、ＲＡＮＳＡＣ等のロバスト推定で求め、局所特徴及びコンディションマップの座標系を変換させるといった方法を用いることができる。

なお、ｅｘｐｏｓｕｒｅ ｂｒａｃｋｅｔｉｎｇやｆｏｃｕｓ ｓｔａｃｋｉｎｇ等で得られた画像は、多くの場合シーケンス中の画像間でアラインメントが既に撮られているが多い。このような場合には、各画像の座標系をそのまま後段の処理で用いてもよい。

特徴選択部２５０は、複数の訓練画像シーケンスの各々について、当該訓練画像シーケンスを構成する複数の画像の各々について、当該画像の座標変換後のコンディションスコアに基づいて、当該画像の座標変換後の局所特徴を選択して、当該訓練画像シーケンスの局所特徴とする。

具体的には、特徴選択部２５０は、コンディションスコア算出部２３０で得られた各訓練画像シーケンスにおける、当該訓練画像シーケンスを構成する各画像から算出された座標変換後のコンディションマップに基づいて、各画像から抽出された座標変換後の局所特徴を選択し、当該訓練画像シーケンスから抽出された局所特徴とする。

コンディションマップに基づいて局所特徴を選択する方法は任意である。

例えば、図２に示すように、コンディションマップの各領域の値が所定の閾値以上の領域から抽出された局所特徴を選択する方法（方法１）、図３に示すように、同一シーケンス内のコンディションマップで同一領域を捉えた領域を比較し、最もスコアの高い領域から抽出された局所特徴を選択する方法（方法２）を用いることができる。

また、例えば、図４に示すように、各画像から選択された局所特徴を全て選択する方法（方法３）を用いてもよい。

インデクシング部２６０は、複数の訓練画像シーケンスの各々について、特徴選択部２５０により得られた当該訓練画像シーケンスの局所特徴を、検索可能な形へ整形し、データベース３００へ格納する。

具体的には、インデクシング部２６０は、特徴選択部２５０で得られた訓練画像シーケンスに対応する局所特徴を、後述のＤＢ画像スコアリング部４６０で検索可能な状態へと変換し、データベース３００へ格納する。

局所特徴を検索可能な状態へと変換する方法は任意であり、例えば参考文献３のように、各局所特徴をまずコードブックへ割当て割り当てられたコードブックとの残渣を集計して一つのベクトルを生成する方法や、参考文献４のように、参考文献３と同様に抽出されたベクトルを二値化する方法を用いることができる。これにより、高速な識別が可能となる。

［参考文献４］特開２０１７−０５４４３８号公報

データベース３００は、複数の訓練画像シーケンスの各々について、当該訓練画像シーケンスと、特徴選択部２５０で得られた当該訓練画像シーケンスの特徴量と、当該訓練画像シーケンスのラベルと、当該訓練画像シーケンスの局所特徴について、インデクシング部２６０で変換された検索可能な状態とを紐付けて記憶する。

入力部１１０は、テスト画像シーケンスの入力を受け付ける。

そして、入力部１１０は、入力されたテスト画像シーケンスを画像識別部４００へ渡す。

なお、テスト画像シーケンスにおいて、テスト画像シーケンスの長さ（すなわち、テスト画像シーケンスを構成する画像の枚数）は任意である。また、テスト画像シーケンスを構成する画像の枚数は、入力部１１０に入力される度に異なっていてもよい。

画像識別部４００は、入力されたテスト画像シーケンスの被写体を識別する。

具体的には、画像識別部４００は、前処理部４１０と、局所特徴抽出部４２０と、コンディションスコア算出部４３０と、データアラインメント部４４０と、特徴選択部４５０と、インデクシング部２６０と、ＤＢ画像スコアリング部４６０と、被写体検証部４７０とを含んで構成される。

前処理部４１０は、テスト画像シーケンスを構成する複数の画像の各々について、当該画像を所定のサイズに拡大縮小する。

具体的には、前処理部４１０は、前処理部２１０と同様に、入力部１１０に入力されたテスト画像シーケンスを構成する複数の画像の各々について、当該画像を所定のサイズに拡大縮小する。

そして、前処理部２１０は、拡大縮小したテスト画像シーケンスを、局所特徴抽出部４２０及びコンディションスコア算出部４３０に渡す。

なお、テスト画像シーケンスには、複数の被写体が写り込んでいる場合があるため、前処理部４１０は、例えば参考文献５に示すような、画像中で被写体が写り込んでいそうな領域候補を抽出する方法を適用し、得られた各領域のシーケンスを後段の処理へ入力してもよい。

［参考文献５］M.-M. Cheng et al., BING: Binarized Normed Gradients for Objectness Estimation at 300fps,in Proc. CVPR, 2014.

局所特徴抽出部４２０は、入力されたテスト画像シーケンスを構成する複数の画像の各々から、局所特徴を抽出する。

具体的には、局所特徴抽出部４２０は、局所特徴抽出部２２０と同様に、前処理部４１０で得られたテスト画像シーケンスを構成する複数の画像において、当該画像から、局所特徴量、及び各局所特徴に対応する属性情報を抽出する。

コンディションスコア算出部４３０は、テスト画像シーケンスを構成する複数の画像の各々について、当該画像を分割した各領域の撮像状態の質であるコンディションスコアを算出する

具体的には、コンディションスコア算出部４３０は、コンディションスコア算出部２３０と同様に、前処理部４１０で得られたテスト画像シーケンスを構成する複数の画像において、当該画像中の各領域における撮像状態の質を算出したコンディションマップを生成する。

データアラインメント部４４０は、テスト画像シーケンスを構成する複数の画像の各々の位置合わせを行い、複数の画像の各々の位置合わせの結果に基づいて、各領域のコンディションスコアの座標変換、及び局所特徴の座標変換を行う

具体的には、データアラインメント部４４０は、データアラインメント部２４０と同様に、テスト画像シーケンスを構成する各画像の位置合わせを行う。

特徴選択部４５０は、テスト画像シーケンスを構成する画像の各々について、当該画像の座標変換後のコンディションスコアに基づいて、当該画像の座標変換後の局所特徴を選択することにより、当該画像シーケンスの局所特徴とする。

具体的には、特徴選択部４５０は、特徴選択部２５０と同様に、コンディションスコア算出部４３０で得られたテスト画像シーケンスを構成する各画像から算出された座標変換後のコンディションマップに基づいて、各画像から抽出された座標変換後の局所特徴を選択し、テスト画像シーケンスから抽出された局所特徴とする。

なお、ＤＢ画像スコアリング部４６０で用いる、特徴選択部２５０から出力される訓練画像シーケンスの局所特徴と、被写体検証部４７０で用いる、特徴選択部４５０から出力されるテスト画像シーケンスの局所特徴とは、異なる方法で出力されたものであってもよい。

例えば、後述のインデクシング部２６０とＤＢ画像スコアリング部４６０で用いる局所特徴は、図２のコンディションマップの各領域の値が所定の閾値以上の領域から抽出された局所特徴を選択する方法を用い、被写体検証部４７０で用いる局所特徴は、図４の各画像から選択された局所特徴を全て選択する方法を用いるなどすることができる。

なお、コンディションマップ中で領域を定義する方法は、コンディションマップ中の各ピクセルをそのまま用いる方法や、マップを所定の数の矩形領域へ等分割し、その中のスコア平均値を領域のコンディションスコアとする方法を用いることができる。

ＤＢ画像スコアリング部４６０は、データベース３００が記憶している訓練画像シーケンスの各々について、訓練画像シーケンスの局所特徴とテスト画像シーケンスの局所特徴との類似度を示すスコアを算出する。

具体的には、ＤＢ画像スコアリング部４６０は、特徴選択部４５０で得られたテスト画像シーケンスに対応する局所特徴を、インデクシング部２６０と対応した方法で、検索可能な状態へと変換する。そして、データベース３００に格納された各訓練画像シーケンスとの類似度、又は距離を示すスコアを算出し、得られたスコアに基づいて各訓練画像シーケンスをランキングする。

被写体検証部４７０は、スコアが上位Ｎ個の訓練画像シーケンスの各々について、当該訓練画像シーケンスの局所特徴と、テスト画像シーケンスの局所特徴とに基づいて、当該訓練画像シーケンスとテスト画像シーケンスとの同一性を検証することにより、前記テスト画像シーケンスの被写体を識別する。

具体的には、ＤＢ画像スコアリング部４６０で得られた各訓練画像シーケンスのスコアに基づいて、テスト画像シーケンスと特に類似している、又は関連していると考えられる所定数の訓練画像シーケンスの各々について、当該訓練画像シーケンスと、テスト画像シーケンスとの同一性を、特徴選択部２５０及び特徴選択部４５０で出力された各画像シーケンスの局所特徴を用いて検証する。

局所特徴集合から画像シーケンス間の同一性判定を行う方法は、任意の方法を用いてよい。例えば、特許文献１のように、画像シーケンス間の画像変換パラメータを、局所特徴に付随する属性空間への投票によって推定する方法を用いることができる。

そして、被写体検証部４７０は、テスト画像シーケンスに写り込んでいると考えられる被写体の識別結果を出力部５００に渡す。

なお、識別結果と共に、又は識別結果の代わりに、テスト画像シーケンスと同一性のある訓練画像シーケンスに対応するラベルを出力部５００に渡してもよい。

出力部５００は、被写体検証部４７０から受け取った識別結果を、出力する。

＜本発明の実施の形態に係る画像識別装置の作用＞

次に、本発明の実施の形態に係る画像識別装置の作用について説明する。

図５及び図６は、それぞれ本発明の実施の形態に係る画像識別装置１０の訓練画像処理ルーチン、及び画像識別処理ルーチンを示すフローチャートである。

まず、訓練画像処理ルーチンについて説明する。

入力部１００に複数の訓練画像シーケンスが入力されると、訓練画像処理部２００において、図５に示す訓練画像処理ルーチンが実行される。

まず、ステップＳ１００において、前処理部２１０が、入力部１００から、複数の訓練画像シーケンスを取得する。

そして、ステップＳ１１０において、前処理部２１０が、１番目の訓練画像シーケンスを選択し、選択された訓練画像シーケンスを構成する複数の画像の各々について、当該画像を所定のサイズに拡大縮小する。

ステップＳ１２０において、局所特徴抽出部２２０が、訓練画像シーケンスを構成する複数の画像の各々から、局所特徴を抽出する。

ステップＳ１３０において、コンディションスコア算出部２３０が、前処理部２１０で得られた訓練画像シーケンスを構成する複数の画像において、当該画像を分割した各領域の撮像状態の質であるコンディションスコアを算出する。

ステップＳ１４０において、データアラインメント部２４０が、訓練画像シーケンスを構成する複数の画像の各々の位置合わせを行い、複数の画像の各々の位置合わせの結果に基づいて、各領域のコンディションスコアの座標変換、及び局所特徴の座標変換を行う。

ステップＳ１５０において、特徴選択部２５０が、訓練画像シーケンスを構成する複数の画像の各々について、当該画像の座標変換後のコンディションスコアに基づいて、当該画像の座標変換後の局所特徴を選択して、当該訓練画像シーケンスの局所特徴とする。

ステップＳ１６０において、インデクシング部２６０が、訓練画像シーケンスについて、特徴選択部２５０により得られた当該訓練画像シーケンスの局所特徴を、検索可能な形へ整形する。

ステップＳ１７０において、訓練画像処理部２００が、全ての訓練画像シーケンスについて、訓練画像処理を行ったか否かを判断する。

未処理の訓練画像シーケンスがある場合（ステップＳ１７０のＮＯ）、ステップＳ１１０に戻り、次の訓練画像シーケンスを選択して、ステップＳ１１０〜ステップＳ１６０の処理を行う。

全ての訓練画像シーケンスについて処理が終了している場合（ステップＳ１７０のＹＥＳ）、ステップＳ１８０において、データベース３００が、複数の訓練画像シーケンスの各々について、当該訓練画像シーケンスと、特徴選択部２５０で得られた当該訓練画像シーケンスの特徴量と、当該訓練画像シーケンスのラベルと、当該訓練画像シーケンスの局所特徴について、インデクシング部２６０で変換された検索可能な状態とを紐付けて記憶し、訓練画像処理ルーチンを終了する。

次に、画像識別処理ルーチンについて説明する。

入力部１１０にテスト画像シーケンスが入力されると、画像識別部４００において、図６に示す画像識別処理ルーチンが実行される。

まず、ステップＳ２００において、前処理部４１０が、入力部１１０から、テスト画像シーケンスを取得する。

そして、ステップＳ２１０において、前処理部４１０が、テスト画像シーケンスを構成する複数の画像の各々について、当該画像を所定のサイズに拡大縮小する。

ステップＳ２２０において、局所特徴抽出部４２０が、テスト画像シーケンスを構成する複数の画像の各々から、局所特徴を抽出する。

ステップＳ２３０において、コンディションスコア算出部４３０が、前処理部２１０で得られたテスト画像シーケンスを構成する複数の画像において、当該画像を分割した各領域の撮像状態の質であるコンディションスコアを算出する。

ステップＳ２４０において、データアラインメント部４４０が、テスト画像シーケンスを構成する複数の画像の各々の位置合わせを行い、複数の画像の各々の位置合わせの結果に基づいて、各領域のコンディションスコアの座標変換、及び局所特徴の座標変換を行う。

ステップＳ２５０において、特徴選択部４５０が、テスト画像シーケンスを構成する複数の画像の各々について、当該画像の座標変換後のコンディションスコアに基づいて、当該画像の座標変換後の局所特徴を選択して、テスト画像シーケンスの局所特徴とする。

ステップＳ２６０において、ＤＢ画像スコアリング部４６０が、データベース３００が記憶する訓練画像シーケンスの各々について、訓練画像シーケンスの局所特徴とテスト画像シーケンスの局所特徴との類似度を示すスコアを算出する。

ステップＳ２７０において、被写体検証部４７０が、スコアが上位Ｎ個の訓練画像シーケンスの各々について、当該訓練画像シーケンスの局所特徴と、テスト画像シーケンスの局所特徴とに基づいて、当該訓練画像シーケンスとテスト画像シーケンスとの同一性を検証することにより、前記テスト画像シーケンスの被写体を識別する。

ステップＳ２８０において、出力部５００が、被写体検証部４７０から受け取った識別結果を、出力する。

以上説明したように、本実施形態に係る画像識別装置によれば、入力された訓練画像シーケンスを構成する複数の画像の各々から、局所特徴を抽出し、当該訓練画像シーケンスを構成する複数の画像の各々について、当該画像を分割した各領域の撮像状態の質であるコンディションスコアを算出し、画像のコンディションスコアに基づいて、当該画像の局所特徴を選択して、当該訓練画像シーケンスの局所特徴とすることにより、精度よく被写体を識別するための訓練画像の局所特徴を得ることができる。

また、本実施形態に係る画像識別装置によれば、入力されたテスト画像シーケンスを構成する複数の画像の各々から、局所特徴を抽出し、当該テスト画像シーケンスを構成する複数の画像の各々について、当該画像を分割した各領域の撮像状態の質であるコンディションスコアを算出し、画像のコンディションスコアに基づいて、当該画像の局所特徴を選択することにより、テスト画像シーケンスの局所特徴とし、訓練画像又は訓練画像シーケンスの局所特徴と当該テスト画像シーケンスの局所特徴とに基づいて、テスト画像シーケンスの被写体を識別することにより、画像から、その中に写る被写体を精度良く識別することができる。

なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

本実施形態では、訓練画像処理部２００と、画像識別部４００とを同一の装置に実装した例で説明したが、別装置に実装してもよい。例えば、訓練画像処理部２００を含む訓練画像処理装置と、画像識別部４００を含む画像識別装置とに分けて実装してもよい。

また、訓練画像処理装置及び画像識別装置以外の画像処理装置に本発明を適用してもよい。

また、本発明の実施形態は、訓練画像処理部２００及びお画像識別部４００における入力がともに画像シーケンスであり、画像識別部４００において、訓練画像シーケンスをランキングし、その上位についてテスト画像シーケンスとの同一性検証を実施する場合の構成となっている。

一方で、本発明の実施形態は、訓練画像処理部２００と画像識別部４００どちらか一方における入力が単画像（すなわち、シーケンスの長さが１）であってもよい。

また、本発明の実施形態として、最終的な出力はＤＢ画像スコアリング部４６０の出力であるスコア付き訓練画像のリストでも、被写体検証部４７０の出力である識別結果／ラベルであってもよい。

図７〜図１４に、入力データの形態／画像識別部４００の出力形態が異なる本実施形態の変形例１〜８を示す。

＜変形例１＞
図７は、訓練画像処理部２００に入力される訓練データのみ画像シーケンスであり、画像識別部４００では、データベース３００に登録されたデータの検索のみを行う場合の実施形態を示している。

この場合、画像識別部４００の入力は画像１枚のみとなるため、画像識別部４００では局所特徴抽出部４２０で出力された局所特徴を、ＤＢ画像スコアリング部４６０の入力とする。

そして、ＤＢ画像スコアリング部４６０は、算出したスコアの上位Ｎ個の訓練画像シーケンスを、スコア付きで、出力部５００に渡す。

そして、出力部５００は、スコア付き訓練画像のリストを出力する。

＜変形例２＞
図８は、訓練データのみ画像シーケンスであり、画像識別部４００ではデータベース３００に登録された全てのデータに対して、同一性の検証を行う場合の実施形態を示している。

この場合、画像識別部４００の入力は画像１枚のみとなるため、画像識別部４００では局所特徴抽出部４２０で出力された局所特徴を被写体検証部４７０の入力とすればよい。

＜変形例３＞
図９は、訓練データのみ画像シーケンスであり、画像識別部４００ではデータベース３００に登録されたデータの検索をまず行い、特に類似した訓練データとテストデータの同一性の検証を行う場合の実施形態を示している。

この場合、画像識別部４００の入力は画像1枚のみとなるため、画像識別部４００では局所特徴抽出部４２０で出力された局所特徴を、ＤＢ画像スコアリング部４６０部の入力とすればよい。

＜変形例４＞
図１０は、テストデータのみ画像シーケンスであり、画像識別部４００ではデータベース３００に登録されたデータの検索のみを行う場合の実施形態を示している。

この場合、訓練画像処理部２００の各入力は画像１枚のみとなるため、訓練画像処理部２００では局所特徴抽出部２２０で出力された局所特徴集合をインデクシング部２６０の入力とすればよい。

＜変形例５＞
図１１は、テストデータのみ画像シーケンスであり、画像識別部４００ではデータベース３００に登録された全てのデータに対して、同一性の検証を行う場合の実施形態を示している。

この場合、訓練画像処理部２００の各入力は画像１枚のみとなるため、訓練画像処理部２００では局所特徴抽出部２２０で出力された局所特徴を直接データベース３００に登録すればよい。

＜変形例６＞
図１２は、訓練データのみ画像シーケンスであり、画像識別部４００ではデータベース３００に登録されたデータの検索をまず行い、特に類似した訓練データとテストデータの検証を行う場合の実施形態を示している。

この場合、訓練画像処理部２００の各入力は画像１枚のみとなるため、訓練画像処理部２００では局所特徴抽出部２２０で出力された局所特徴をインデクシング部２６０の入力とすればよい。

＜変形例７＞
図１３は、訓練データ、テストデータ共に画像シーケンスであり、画像識別部４００ではデータベース３００に登録されたデータの検索のみを行う場合の実施形態を示している。

＜変形例８＞
図１４は、訓練データ、テストデータ共に画像シーケンスであり、画像識別部４００ではデータベース３００に登録された全てのデータに対して、同一性の検証を行う場合の実施形態を示している。

また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。

１０ 画像識別装置
１００ 入力部
１１０ 入力部
２００ 訓練画像処理部
２１０ 前処理部
２２０ 局所特徴抽出部
２３０ コンディションスコア算出部
２４０ データアラインメント部
２５０ 特徴選択部
２６０ インデクシング部
３００ データベース
４００ 画像識別部
４１０ 前処理部
４２０ 局所特徴抽出部
４３０ コンディションスコア算出部
４４０ データアラインメント部
４５０ 特徴選択部
４６０ 画像スコアリング部
４７０ 被写体検証部
５００ 出力部

Claims (8)

1. 入力された画像シーケンスを構成する複数の画像の各々から、局所特徴を抽出する局所特徴抽出部と、
   前記画像シーケンスを構成する複数の画像の各々について、前記画像を分割した各領域の撮像状態の質を評価する指標として、彩度、カラーの露光状態、及びグレースケールの露光状態のうち少なくとも１つを用いて、前記質を示すコンディションスコアを算出するコンディションスコア算出部と、
   前記画像シーケンスを構成する複数の画像の各々について、前記画像のコンディションスコアに基づいて、前記画像の局所特徴を選択して、前記画像シーケンスの局所特徴とする特徴選択部と、
   を含む画像処理装置。
2. 入力された訓練画像シーケンスを構成する複数の画像の各々から、局所特徴を抽出する局所特徴抽出部と、
   前記訓練画像シーケンスを構成する複数の画像の各々について、前記画像を分割した各領域の撮像状態の質を評価する指標として、彩度、カラーの露光状態、及びグレースケールの露光状態のうち少なくとも１つを用いて、前記質を示すコンディションスコアを算出するコンディションスコア算出部と、
   前記訓練画像シーケンスを構成する複数の画像の各々について、前記画像のコンディションスコアに基づいて、前記画像の局所特徴を選択して、前記訓練画像シーケンスの局所特徴とする特徴選択部と、
   を含む訓練画像処理装置。
3. 前記訓練画像シーケンスを構成する複数の画像の各々の位置合わせを行い、複数の画像の各々の位置合わせの結果に基づいて、各領域のコンディションスコアの座標変換、及び局所特徴の座標変換を行うデータアラインメント部を更に含み、
   前記特徴選択部は、前記訓練画像シーケンスを構成する複数の画像の各々について、前記画像の座標変換後のコンディションスコアに基づいて、前記画像の座標変換後の局所特徴を選択して、前記訓練画像シーケンスの局所特徴とする請求項２記載の訓練画像処理装置。
4. 入力されたテスト画像シーケンスを構成する複数の画像の各々から、局所特徴を抽出する局所特徴抽出部と、
   前記テスト画像シーケンスを構成する複数の画像の各々について、前記画像を分割した各領域の撮像状態の質を評価する指標として、彩度、カラーの露光状態、及びグレースケールの露光状態のうち少なくとも１つを用いて、前記質を示すコンディションスコアを算出するコンディションスコア算出部と、
   前記テスト画像シーケンスを構成する画像の各々について、前記画像のコンディションスコアに基づいて、前記画像の局所特徴を選択することにより、前記テスト画像シーケンスの局所特徴とする特徴選択部と、
   少なくとも１つ以上の訓練画像又は少なくとも１つ以上の訓練画像シーケンスの各々について局所特徴を記憶するデータベースの訓練画像又は訓練画像シーケンスの各々について、前記訓練画像又は前記訓練画像シーケンスの局所特徴と前記テスト画像シーケンスの局所特徴との類似度を示すスコアを算出するデータベース画像スコアリング部と、
   前記スコアが上位Ｎ個の前記訓練画像又は前記訓練画像シーケンスの各々について、前記訓練画像又は前記訓練画像シーケンスの局所特徴と、前記テスト画像シーケンスの局所特徴とに基づいて、前記訓練画像又は前記訓練画像シーケンスと前記テスト画像シーケンスとの同一性を検証することにより、前記テスト画像シーケンスの被写体を識別する被写体検証部と
   を含む画像識別装置。
5. 前記テスト画像シーケンスを構成する複数の画像の各々の位置合わせを行い、複数の画像の各々の位置合わせの結果に基づいて、各領域のコンディションスコアの座標変換、及び局所特徴の座標変換を行うデータアラインメント部を更に含み、
   前記特徴選択部は、前記テスト画像シーケンスを構成する複数の画像の各々について、前記画像の座標変換後のコンディションスコアに基づいて、前記画像の座標変換後の局所特徴を選択して、前記テスト画像シーケンスの局所特徴とする請求項４記載の画像識別装置。
6. 局所特徴抽出部が、入力された訓練画像シーケンスを構成する複数の画像の各々から、局所特徴を抽出し、
   コンディションスコア算出部が、前記訓練画像シーケンスを構成する複数の画像の各々について、前記画像を分割した各領域の撮像状態の質を評価する指標として、彩度、カラーの露光状態、及びグレースケールの露光状態のうち少なくとも１つを用いて、前記質を示すコンディションスコアを算出し、
   特徴選択部が、前記訓練画像シーケンスを構成する複数の画像の各々について、前記画像のコンディションスコアに基づいて、前記画像の局所特徴を選択して、前記訓練画像シーケンスの局所特徴とする
   訓練画像処理方法。
7. 局所特徴抽出部が、入力されたテスト画像シーケンスを構成する複数の画像の各々から、局所特徴を抽出し、
   コンディションスコア算出部が、前記テスト画像シーケンスを構成する複数の画像の各々について、前記画像を分割した各領域の撮像状態の質を評価する指標として、彩度、カラーの露光状態、及びグレースケールの露光状態のうち少なくとも１つを用いて、前記質を示すコンディションスコアを算出し、
   特徴選択部が、前記テスト画像シーケンスを構成する画像の各々について、前記画像のコンディションスコアに基づいて、前記画像の局所特徴を選択することにより、前記テスト画像シーケンスの局所特徴とし、
   データベース画像スコアリング部が、少なくとも１つ以上の訓練画像又は少なくとも１つ以上の訓練画像シーケンスの各々について局所特徴を記憶するデータベースの訓練画像又は訓練画像シーケンスの各々について、前記訓練画像又は前記訓練画像シーケンスの局所特徴と前記テスト画像シーケンスの局所特徴との類似度を示すスコアを算出し、
   被写体検証部が、前記スコアが上位Ｎ個の前記訓練画像又は前記訓練画像シーケンスの各々について、前記訓練画像又は前記訓練画像シーケンスの局所特徴と、前記テスト画像シーケンスの局所特徴とに基づいて、前記訓練画像又は前記訓練画像シーケンスと前記テスト画像シーケンスとの同一性を検証することにより、前記テスト画像シーケンスの被写体を識別する
   画像識別方法。
8. コンピュータを、請求項１記載の画像処理装置、請求項２若しくは３記載の訓練画像処理装置、又は請求項４若しくは請求項５記載の画像識別装置の各部として機能させるためのプログラム。

Images