JP4547639B2

JP4547639B2 - 画像処理装置および方法、並びにプログラム

Info

Publication number: JP4547639B2
Application number: JP2008216986A
Authority: JP
Inventors: 宜邦野村
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2008-08-26
Filing date: 2008-08-26
Publication date: 2010-09-22
Anticipated expiration: 2028-08-26
Also published as: JP2010055195A; US20100054611A1; US8369621B2; CN101661622A; CN101661622B

Description

本発明は画像処理装置および方法、並びにプログラムに関し、特に、計算コストが低く、簡易に利用できる特徴量を画像から抽出できるようにした画像処理装置および方法、並びにプログラムに関する。

画像中の対象物体を認識する画像認識技術は、広い応用範囲を持つ画像処理技術であり、幅広い画像認識手法が研究されてきた。従来、画像認識に関する技術として、画像における特徴点の位置を検出する技術と、検出された特徴点の位置における特徴量を検出する技術とがある。

例えば、特徴点の位置を検出する技術として、「Harris corner detector」、「SUSAN corner detector」、「KLT corner detector」などの検出方法が提案されている（例えば、非特許文献１、特許文献１、および非特許文献２参照）。

また、特徴量を検出する技術として、「Steerable filters」や「Complex filters」を用いて検出する方法、「SIFT descriptor」、「PCA-SIFT」などの検出方法が提案されている（例えば、非特許文献３、非特許文献４、特許文献２、および非特許文献５参照）。

C. Harris and M. Stephens, "A combined corner and edge detector," Proc. 4th Alvey Vision Conf., pp.147-151, Manchester, U.K., Aug. 1988 英国特許第ＧＢ２２７２２８５号明細書 C.Tomasi and T.Kanade, "Detection and Tracking of Point Features" Technical Report CMU-CS-91-132 W. Freeman and E. Adelson, "The Design and Use of Steerable Filters," IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 13, no. 9, pp. 891-906, Sept. 1991. F. Schaffalitzky and A. Zisserman, "Multi-View Matching for Unordered Image Sets," Proc. Seventh European Conf. Computer Vision, pp. 414-431, 2002. 米国特許第６７１１２９３号明細書 Y. Ke and R. Sukthankar, "PCA-SIFT: A More Distinctive Representation for Local Image Descriptors", Computer Vision and Pattern Recognition, 2004

ところで、画像認識に用いられる特徴量は、異なる画像のそれぞれに、同一の物体が含まれる場合に、その物体の同一性を示すことのできる何らかの記述子であり、この記述子は、通常、ベクトル量とされる。

特徴量を画像認識に用いる場合、特徴量に対しては、物体（特徴点）への視点や照明が変化しても特徴量に変化が生じないという性能上の要求に加え、特徴量が如何に少ないデータ量で簡易に表現されるかという記述上の要求がなされる。

特に、特徴量に対する記述上の要求は、計算能力やデータ容量に制限の多い携帯型の機器や、高速な処理速度が要求されるリアルタイム性の高い機器で、特徴量を用いた処理を行う場合に、より厳しくなる。

しかしながら、上述した技術では、性能上の要求と記述上の要求とを充分に満たす特徴量を抽出することは困難であった。

例えば、従来提案されてきた特徴量は、性能面での向上を目的とするものが多く、上述した「SIFT descriptor」と呼ばれる特徴量の検出方法では、画像から検出される、１つの特徴点における特徴量は１２８次元のベクトルで表される。したがって、２つの画像のそれぞれから検出された特徴点における特徴量間の類似度を求めて比較する場合、特徴量は、次元の大きなベクトルであるため、計算コストが高くなってしまう。なお、特徴量間の類似度は、ベクトル間のユークリッド距離で表される。

また、「PCA-SIFT」と呼ばれる特徴量の検出方法では、「SIFT descriptor」により検出された特徴量に対して、主成分分析を行うことによって、特徴量の次元数が削減されるが、この次元の削減のための主成分分析の計算コストが高くなってしまう。つまり、最終的に利用する特徴量を算出する段階での処理量が多くなってしまう。このように、特徴量の検出における計算コストを考える場合、特徴量の検出そのものに必要な処理量と、検出された特徴量を利用して画像認識を行うのに必要な処理の処理量との２つの側面に対する考慮が必要となる。

本発明は、このような状況に鑑みてなされたものであり、視点や照明の変化に対してロバストであり、かつ計算コストが低く、簡易に利用できる特徴量を画像から検出することができるようにするものである。

本発明の一側面の画像処理装置は、画像上の特徴点を含む第１の局所領域における、輝度勾配ベクトルの分布を求める第１の分布算出手段と、前記画像上の前記特徴点の近傍にある第２の局所領域における、前記輝度勾配ベクトルの分布を求める第２の分布算出手段と、前記第１の局所領域の前記勾配ベクトルの分布と、前記第２の局所領域の前記勾配ベクトルの分布とを比較して、複数の前記第２の局所領域の前記勾配ベクトルの分布のうち、前記第１の局所領域の前記勾配ベクトルの分布と最も分布が異なる前記第２の局所領域の前記勾配ベクトルの分布を選択する選択手段と、前記第１の局所領域の前記勾配ベクトルの分布と、前記選択手段により選択された前記第２の局所領域の前記勾配ベクトルの分布とに基づいて、前記特徴点における特徴量を算出する特徴量算出手段とを備える。

前記輝度勾配ベクトルの分布として、前記輝度勾配ベクトルの方向ごとに求められた、前記方向を有する前記輝度勾配ベクトルの出現頻度を示す輝度勾配ヒストグラムが求められるようにし、前記選択手段には、前記第２の局所領域の前記輝度勾配ヒストグラムについて、前記第１の局所領域の前記輝度勾配ヒストグラムとの類似度を求めさせ、前記複数の前記第２の局所領域の前記輝度勾配ヒストグラムのうち、前記類似度により示される類似の度合いの最も低い前記第２の局所領域の前記輝度勾配ヒストグラムを選択させることができる。

本発明の一側面の画像処理方法またはプログラムは、画像上の特徴点を含む第１の局所領域における、輝度勾配ベクトルの分布を求め、前記画像上の前記特徴点の近傍にある第２の局所領域における、前記輝度勾配ベクトルの分布を求め、前記第１の局所領域の前記勾配ベクトルの分布と、前記第２の局所領域の前記勾配ベクトルの分布とを比較して、複数の前記第２の局所領域の前記勾配ベクトルの分布のうち、前記第１の局所領域の前記勾配ベクトルの分布と最も分布が異なる前記第２の局所領域の前記勾配ベクトルの分布を選択し、前記第１の局所領域の前記勾配ベクトルの分布と、選択された前記第２の局所領域の前記勾配ベクトルの分布とに基づいて、前記特徴点における特徴量を算出するステップを含む。

本発明の一側面においては、画像上の特徴点を含む第１の局所領域における、輝度勾配ベクトルの分布が求められ、前記画像上の前記特徴点の近傍にある第２の局所領域における、前記輝度勾配ベクトルの分布が求められ、前記第１の局所領域の前記勾配ベクトルの分布と、前記第２の局所領域の前記勾配ベクトルの分布とが比較されて、複数の前記第２の局所領域の前記勾配ベクトルの分布のうち、前記第１の局所領域の前記勾配ベクトルの分布と最も分布が異なる前記第２の局所領域の前記勾配ベクトルの分布が選択され、前記第１の局所領域の前記勾配ベクトルの分布と、選択された前記第２の局所領域の前記勾配ベクトルの分布とに基づいて、前記特徴点における特徴量が算出される。

本発明の一側面によれば、画像から特徴量を検出することができる。特に、本発明の一側面によれば、視点や照明の変化に対してロバストであり、かつ計算コストが低く、簡易に利用できる特徴量を画像から検出することができる。

以下、図面を参照して、本発明を適用した実施の形態について説明する。

図１は、本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。

画像処理装置１１は、特徴点検出部２１、輝度勾配ヒストグラム生成部２２、輝度勾配ヒストグラム生成部２３、輝度勾配ヒストグラム選択部２４、および特徴量生成部２５から構成される。

特徴点検出部２１には、特徴量の検出対象となる入力画像が供給される。特徴点検出部２１は、供給された入力画像から、入力画像の特徴的な画素である特徴点の位置を検出し、入力画像と、検出した特徴点位置とを輝度勾配ヒストグラム生成部２２に供給する。

輝度勾配ヒストグラム生成部２２は、特徴点検出部２１からの入力画像および特徴点位置に基づいて、特徴点位置ごとに輝度勾配ヒストグラムを生成する。この輝度勾配ヒストグラムは、特徴点を含む局所領域における、各画素の輝度勾配ベクトルの分布を示す情報、すなわち輝度勾配ベクトルの方向ごとに求められた、各方向を有する輝度勾配ベクトルの出現頻度を示す情報である。

輝度勾配ヒストグラム生成部２２は、輝度勾配ベクトル算出部４１、輝度勾配ヒストグラム更新部４２、代表方向算出部４３、および画像回転部４４から構成される。

輝度勾配ベクトル算出部４１は、特徴点検出部２１から供給された入力画像および特徴点位置、または画像回転部４４から供給された入力画像に基づいて、入力画像における特徴点位置を含む局所領域内の各画素の輝度勾配ベクトルを算出し、輝度勾配ヒストグラム更新部４２に供給する。

輝度勾配ヒストグラム更新部４２は、輝度勾配ベクトル算出部４１から供給された輝度勾配ベクトルを用いて、保持している輝度勾配ヒストグラムを更新し、最終的な輝度勾配ヒストグラムを生成する。輝度勾配ヒストグラム更新部４２は、生成した輝度勾配ヒストグラムを代表方向算出部４３または輝度勾配ヒストグラム選択部２４に供給する。

代表方向算出部４３は、輝度勾配ヒストグラム更新部４２から供給された輝度勾配ヒストグラムに基づいて、特徴点位置を含む局所領域内の画素の代表的な輝度勾配ベクトルの方向を代表方向として求め、画像回転部４４に供給する。画像回転部４４は、特徴点検出部２１から供給された入力画像および特徴点位置と、代表方向算出部４３から供給された代表方向とに基づいて入力画像を回転させ、回転された入力画像を輝度勾配ベクトル算出部４１および輝度勾配ヒストグラム生成部２３に供給する。

なお、以下、画像回転部４４により回転された入力画像を、回転入力画像とも称する。また、輝度勾配ヒストグラム更新部４２から輝度勾配ヒストグラム選択部２４には、特徴点検出部２１から供給された入力画像に基づいて生成された輝度勾配ヒストグラムではなく、回転入力画像から生成された輝度勾配ヒストグラムが供給される。

輝度勾配ヒストグラム生成部２３は、画像回転部４４から供給された回転入力画像に基づいて、各特徴点位置について、回転入力画像における特徴点近傍の位置を含む局所領域の輝度勾配ヒストグラムを生成する。輝度勾配ヒストグラム生成部２３は、近傍位置選択部４５、輝度勾配ベクトル算出部４６、輝度勾配ヒストグラム更新部４７から構成される。

近傍位置選択部４５は、画像回転部４４から供給された回転入力画像における特徴点について、回転入力画像の特徴点近傍にある位置をいくつか選択し、選択された位置である近傍位置と、回転入力画像とを輝度勾配ベクトル算出部４６に供給する。例えば、１つの特徴点に対して、その特徴点近傍の４つの近傍位置が選択される。

輝度勾配ベクトル算出部４６は、近傍位置選択部４５から供給された特徴点の近傍位置、および回転入力画像を用いて、各近傍位置を含む局所領域内の各画素の輝度勾配ベクトルを算出し、輝度勾配ヒストグラム更新部４７に供給する。

輝度勾配ヒストグラム更新部４７は、輝度勾配ベクトル算出部４６から供給された輝度勾配ベクトルを用いて、保持している輝度勾配ヒストグラムを更新し、最終的な輝度勾配ヒストグラムを生成する。輝度勾配ヒストグラム更新部４７では、近傍位置を含む局所領域ごとに輝度勾配ヒストグラムが生成されて、輝度勾配ヒストグラム更新部４７から輝度勾配ヒストグラム選択部２４に供給される。

輝度勾配ヒストグラム選択部２４は、輝度勾配ヒストグラム更新部４２から供給された輝度勾配ヒストグラムと、輝度勾配ヒストグラム更新部４７から供給された輝度勾配ヒストグラムとを比較する。すなわち、輝度勾配ヒストグラム選択部２４は、１つの特徴点の近傍に位置する複数の近傍位置の輝度勾配ヒストグラムのうち、特徴点の輝度勾配ヒストグラムと、最も輝度勾配ベクトルの分布の異なる輝度勾配ヒストグラムを選択する。そして、輝度勾配ヒストグラム選択部２４は、特徴点の輝度勾配ヒストグラムと、その特徴点に対して選択された１つの近傍位置の輝度勾配ヒストグラムとを特徴量生成部２５に供給する。

特徴量生成部２５は、輝度勾配ヒストグラム選択部２４から供給された、特徴点の輝度勾配ヒストグラムと、その特徴点の近傍にある近傍位置の輝度勾配ヒストグラムとを用いて、特徴点における特徴量を生成し、出力する。

このようにして入力画像から検出された特徴量は、例えば、複数の画像から同一の被写体を検出する画像認識に用いられる。画像認識は、例えば、視差を持った画像群において、同一の被写体が映っている領域を認識し、その結果得られた情報に基づいて奥行き情報を算出するステレオビジョン技術に用いられる。また、画像認識は、事前に撮影しておいた対象物、例えば、人物や交通標識を所定の画像から検出する技術や、動画像において、特定の物体を追跡し続けるトラッキング技術にも用いられる。

ところで、画像処理装置１１は、入力画像が供給されて、入力画像からの特徴量の検出が指示されると、入力画像から特徴量を検出（抽出）して出力する処理である特徴量生成処理を開始する。以下、図２のフローチャートを参照して、画像処理装置１１による特徴量生成処理について説明する。

ステップＳ１１において、特徴点検出部２１は、供給された入力画像から特徴点の位置を検出し、検出した特徴点の位置である特徴点位置および入力画像を、輝度勾配ベクトル算出部４１および画像回転部４４に供給する。例えば、特徴点検出部２１は、「Harris corner detector」と呼ばれる検出方法により入力画像から特徴点を検出する。

ステップＳ１２において、輝度勾配ベクトル算出部４１は、特徴点検出部２１から供給された入力画像上の複数の特徴点のうちの１つを選択する。

ステップＳ１３において、輝度勾配ヒストグラム生成部２２は、特徴点位置における輝度勾配ヒストグラム生成処理を行って、ステップＳ１２の処理において選択した特徴点を含む局所領域の輝度勾配ヒストグラムを生成する。

ここで、図３のフローチャートを参照して、ステップＳ１３の処理に対応する、特徴点位置における輝度勾配ヒストグラム生成処理について説明する。

ステップＳ５１において、輝度勾配ベクトル算出部４１は、注目している特徴点、つまりステップＳ１２の処理において選択された特徴点（以下、注目特徴点とも称する）に対して、局所領域を設定する。具体的には、輝度勾配ベクトル算出部４１は、入力画像上において、注目特徴点を中心とし、半径をｒ画素とする円内に含まれる領域を、注目特徴点の局所領域とする。

以下では、局所領域に含まれる画素の数はｍ個（但し、ｍは自然数）であるとし、局所領域内の画素Ｇ_i（但し、１≦ｉ≦ｍ）の位置が、画素位置（ｘ_i，ｙ_i）で表されるものとする。ここで、画素位置（ｘ_i，ｙ_i）における「ｘ_i」および「ｙ_i」は、入力画像上において、互いに直交する所定の方向をｘ方向およびｙ方向としたｘｙ座標系における、画素Ｇ_iの画素位置のｘ座標およびｙ座標を示している。

また、より詳細には、輝度勾配ベクトル算出部４１により、入力画像全体の領域のうちの、注目特徴点を中心とする所定の大きさの領域が切り出されて、その切り出された入力画像の領域が用いられて、輝度勾配ヒストグラムを生成する処理が行われる。

ステップＳ５２において、輝度勾配ベクトル算出部４１は、局所領域内の処理対象となっている画素Ｇ_iを特定するためのループカウンタｉを初期化し、ｉ＝１とする。

ステップＳ５３において、輝度勾配ベクトル算出部４１は、画素位置（ｘ_i，ｙ_i）における画素Ｇ_iの輝度勾配ベクトルを算出して、輝度勾配ヒストグラム更新部４２に供給する。具体的には、輝度勾配ベクトル算出部４１は、次式（１）および式（２）を計算することにより、画素Ｇ_iの画素値のｘ方向の一次微分Ｉｘ（ｘ_i，ｙ_i）と、画素値のｙ方向の一次微分Ｉｙ（ｘ_i，ｙ_i）とを求める。

Ｉｘ（ｘ_i，ｙ_i）＝Ｉ（ｘ_i＋１，ｙ_i）−Ｉ（ｘ_i−１，ｙ_i）・・・（１）

Ｉｙ（ｘ_i，ｙ_i）＝Ｉ（ｘ_i，ｙ_i＋１）−Ｉ（ｘ_i，ｙ_i−１）・・・（２）

なお、式（１）および式（２）において、Ｉ（ｘ，ｙ）は、画素位置が（ｘ，ｙ）である画素の画素値を示している。したがって、画素Ｇ_iにｘ方向に隣接する画素の画素値と、画素Ｇ_iにｘ方向とは反対方向に隣接する画素の画素値との差分が、画素Ｇ_iのｘ方向の一次微分Ｉｘ（ｘ_i，ｙ_i）とされる。同様に、画素Ｇ_iにｙ方向に隣接する画素の画素値と、画素Ｇ_iにｙ方向とは反対方向に隣接する画素の画素値との差分が、画素Ｇ_iのｙ方向の一次微分Ｉｙ（ｘ_i，ｙ_i）とされる。

この一次微分Ｉｘ（ｘ_i，ｙ_i）および一次微分Ｉｙ（ｘ_i，ｙ_i）は、画素Ｇ_iにおける所定の方向の輝度の勾配、つまり画素値の変化量を示している。輝度勾配ベクトル算出部４１は、このようにして得られた、一次微分Ｉｘ（ｘ_i，ｙ_i）、および一次微分Ｉｙ（ｘ_i，ｙ_i）からなるベクトルを、画素Ｇ_iの輝度勾配ベクトルとする。なお、この輝度勾配ベクトルの大きさｎ（ｘ_i，ｙ_i）および方向θ（ｘ_i，ｙ_i）は、次式（３）および式（４）により表される。

ｎ（ｘ_i，ｙ_i）＝（（Ｉｘ（ｘ_i，ｙ_i））²＋（Ｉｙ（ｘ_i，ｙ_i））²）^1/2 ・・・（３）

θ（ｘ_i，ｙ_i）＝ｔａｎ^-1（Ｉｙ（ｘ_i，ｙ_i）／Ｉｘ（ｘ_i，ｙ_i））・・・（４）

ステップＳ５４において、輝度勾配ヒストグラム更新部４２は、輝度勾配ベクトル算出部４１から供給された輝度勾配ベクトルに基づいて、保持している局所領域の輝度勾配ヒストグラムを更新する。

具体的には、輝度勾配ヒストグラム更新部４２は、処理対象となっている局所領域の輝度勾配ヒストグラムを保持している。この輝度勾配ヒストグラムは、縦軸に度数（輝度勾配ベクトルの出現頻度）、横軸に、画素における輝度勾配ベクトルの角度を取ったヒストグラムであり、輝度勾配ベクトルの方向からヒストグラムのビンが決定され、そのビンに追加される度数として、輝度勾配ベクトルの大きさが用いられる。

ここで、ビンとは、輝度勾配ヒストグラムの横軸により示される輝度勾配ベクトルの方向の取り得る値の範囲を、いくつかの数に分割したときの、分割された１つの方向の範囲をいう。例えば、輝度勾配ヒストグラムの横軸の範囲が［０，２π）、つまり０から２πまでの範囲（但し、２πは含まれない）であり、ビンの数がＰ個であるとすると、輝度勾配ベクトルの方向θ（ｘ_i，ｙ_i）に対して、ビンは、次式（５）により定められる。

すなわち、輝度勾配ベクトルの方向θ（ｘ_i，ｙ_i）を（２π／Ｐ）で除算して得られる数を超えない最大の整数が、方向がθ（ｘ_i，ｙ_i）である輝度勾配ベクトルのビンとされる。このようにして、各輝度勾配ベクトルに対して、Ｐ個のビンのうちの何れかが定められる。輝度勾配ヒストグラム更新部４２は、保持している局所領域の輝度勾配ヒストグラムのビンのうち、輝度勾配ベクトル算出部４１から供給された輝度勾配ベクトルの方向により定まるビンの度数に、その輝度勾配ベクトルの大きさｎ（ｘ_i，ｙ_i）を加算して、保持している輝度勾配ヒストグラムを更新する。

つまり、輝度勾配ヒストグラム更新部４２は、Ｐ個の各ビンの度数からなるベクトルを、輝度勾配ヒストグラムとして保持しており、輝度勾配ベクトル算出部４１から輝度勾配ベクトルが供給されるたびに、その輝度勾配ベクトルに対応するビンの度数に輝度勾配ベクトルの大きさを加算する。

輝度勾配ヒストグラムの更新時においては、各ビンの度数に、輝度勾配ベクトルの出現頻度ではなく、輝度勾配ベクトルの大きさが加算されることにより、輝度勾配ベクトルの大きさに応じた輝度勾配ヒストグラムの度数への重み付けが行われる。このような重み付けが行われるのは、輝度勾配ベクトルの大きさが小さい画素よりも、輝度勾配ベクトルの大きさが大きい画素の方が、より入力画像の特徴を表しているからである。

このようにして、処理対象の局所領域の輝度勾配ヒストグラムが更新されると、ステップＳ５５において、輝度勾配ベクトル算出部４１は、ループカウンタｉの値がｍであるか否かを判定する。

ステップＳ５５において、ループカウンタｉの値がｍでないと判定された場合、まだ局所領域内のｍ個の画素全てが処理対象とされていないので、輝度勾配ベクトル算出部４１は、ループカウンタｉの値をインクリメントする。その後、処理はステップＳ５３に戻り、局所領域内の次の画素が選択されて、その画素の輝度勾配ベクトルが求められる。

これに対して、ステップＳ５５において、ループカウンタｉの値がｍであると判定された場合、局所領域内の画素が全て処理対象とされて、輝度勾配ヒストグラムの更新が行われたので、輝度勾配ヒストグラム更新部４２は、保持している輝度勾配ヒストグラムを、局所領域の輝度勾配ヒストグラムとして代表方向算出部４３に供給する。

このようにして、１つの特徴点を含む局所領域の輝度勾配ヒストグラムが生成されると、特徴点位置における輝度勾配ヒストグラム生成処理は終了し、その後、処理は、図２のステップＳ１４に進む。

図２のフローチャートの説明に戻り、ステップＳ１４において、代表方向算出部４３は、輝度勾配ヒストグラム更新部４２から供給された輝度勾配ヒストグラムを用いて、処理対象となっている局所領域における、輝度勾配ベクトルの代表方向を求める。

例えば、代表方向算出部４３は、供給された輝度勾配ヒストグラムのビンのうち、度数の最も大きいビンを選択し、その選択したビンにより示される輝度勾配ベクトルの方向の範囲の中央値を、特徴点を含む局所領域の輝度勾配ベクトルの代表方向θ０とする。そして、代表方向算出部４３は、求めた代表方向θ０を画像回転部４４に供給する。

ステップＳ１５において、画像回転部４４は、特徴点検出部２１から供給された入力画像および特徴点位置と、代表方向算出部４３から供給された代表方向とに基づいて入力画像を回転させる。

具体的には、画像回転部４４は、入力画像全体の領域のうちの注目特徴点を中心とする所定の大きさの領域を切り出し、切り出した領域を、注目特徴点を中心として局所領域の代表方向θ０とは反対方向に、代表方向θ０の大きさの角度だけ回転させる。そして、画像回転部４４は、回転により得られた入力画像を回転入力画像として、輝度勾配ベクトル算出部４１および近傍位置選択部４５に供給する。

ここで、各画素の輝度勾配ベクトルの方向は、入力画像における所定の基準となる方向（以下、基準方向とも称する）に対する回転角度、つまり、基準方向と、輝度勾配ベクトルとのなす角度を示している。また、代表方向θ０は、局所領域内の画素の輝度勾配ベクトルの方向のうち、最も多い方向ということができる。

例えば、入力画像上の被写体が回転した場合、被写体上の特徴点を含む局所領域の代表方向θ０も、被写体の回転方向に、その回転角度と同じ角度だけ変化することになる。そのため、特徴点を中心として、代表方向θ０に示される角度だけ入力画像を回転させて回転入力画像とすると、回転入力画像の特徴点における代表方向θ０は、常に基準方向となる。したがって、その回転入力画像から再度、特徴点を含む局所領域の輝度勾配ヒストグラムを求めると、被写体の回転に対して不変な輝度勾配ヒストグラムを得ることができる。

なお、入力画像の回転時において、ｘｙ座標系は回転せずにそのままとされる。また、入力画像上における被写体が並進移動しても、輝度勾配ベクトルは変化しないので、輝度勾配ヒストグラムは、被写体の並進移動に対して不変である。さらに、局所領域は半径ｒ画素の円形の領域であり、入力画像の回転中心は特徴点であるため、局所領域は入力画像の回転に対して不変である。

画像回転部４４は、入力画像を代表方向θ０に基づいて回転させ、これにより得られた回転入力画像から輝度勾配ヒストグラムを生成させる。

なお、特徴点近傍の近傍位置における輝度勾配ヒストグラムの生成時には、特徴点の局所領域における代表方向が、近傍位置の局所領域における代表方向として用いられる。すなわち、近傍位置の輝度勾配ヒストグラムの生成には、代表方向に基づいて入力画像を回転させて得られた回転入力画像が用いられる。

ステップＳ１６において、輝度勾配ヒストグラム生成部２２は、回転入力画像を処理対象として、特徴点位置における輝度勾配ヒストグラム生成処理を行い、輝度勾配ヒストグラムを生成する。なお、この特徴点位置における輝度勾配ヒストグラム生成処理は、図３を参照して説明した処理と同様の処理であるため、その説明は、省略する。

但し、処理対象の画像が回転入力画像とされる。すなわち、輝度勾配ベクトル算出部４１は、画像回転部４４からの回転入力画像を用いて輝度勾配ベクトルを算出する。そして、輝度勾配ヒストグラム更新部４２は、回転入力画像から得られた輝度勾配ベクトルの大きさを度数とし、輝度勾配ベクトルの方向を角度として、輝度勾配ベクトルの大きさを輝度勾配ヒストグラムの各ビンに振り分ける。これにより、局所領域内での輝度勾配ベクトルの分布を示す輝度勾配ヒストグラムが得られる。

ステップＳ１７において、輝度勾配ヒストグラム更新部４２は、ステップＳ１６の処理により生成された輝度勾配ヒストグラムを正規化して、輝度勾配ヒストグラム選択部２４に供給する。具体的には、輝度勾配ヒストグラム更新部４２は、輝度勾配ヒストグラムを構成する各ビンの度数の総和が１となるように、輝度勾配ヒストグラムを正規化する。

例えば、輝度勾配ヒストグラムが、ビンＢ１乃至ビンＢＰ（但し、Ｐは自然数）のＰ個のビンから構成され、ビンＢｐ（但し、１≦ｐ≦Ｐ）の度数がＨ（ｐ）であるものとすると、正規化されたビンＢｐの度数Ｈ’（ｐ）は、次式（６）により表される。

すなわち、ビンＢｐの度数Ｈ（ｐ）を、各ビンの度数Ｈ（１）乃至度数Ｈ（Ｐ）の総和で除算して得られる値が、正規化されたビンＢｐの度数Ｈ’（ｐ）とされる。このように、輝度勾配ヒストグラムを正規化することにより、輝度勾配ヒストグラムを、入力画像上の被写体に照射される照明の強度に対して不変なものとすることができる。これは、輝度勾配ベクトルの大きさが、被写体を照らす照明の強度の変化に応じて変化するため、各ビンの度数を正規化すれば、各ビンの度数が、他のビンの度数に対する相対的な大きさを示すものとなり、照明強度の変化に対して不変量となるからである。

ステップＳ１８において、輝度勾配ヒストグラム生成部２３は、画像回転部４４から供給された回転入力画像を用いて、特徴点の近傍位置における、輝度勾配ヒストグラム生成処理を行い、近傍位置の輝度勾配ヒストグラムを生成する。

ここで、図４のフローチャートを参照して、ステップＳ１８の処理に対応する、特徴点の近傍位置における輝度勾配ヒストグラム生成処理について説明する。

ステップＳ８１において、近傍位置選択部４５は、画像回転部４４から供給された回転入力画像に基づいて、回転入力画像上の注目特徴点の近傍の複数の近傍位置のうちの１つを選択し、その選択結果および回転入力画像を輝度勾配ベクトル算出部４６に供給する。

例えば、近傍位置選択部４５は、図５に示すように、回転入力画像８１の中心に位置する特徴点位置Ｃ１１の近傍にある４つの近傍位置Ａ１１乃至近傍位置Ａ１４のうちの１つを選択する。図５では、特徴点位置Ｃ１１の画素（特徴点）を始点とする矢印Ｂ１１は、特徴点の輝度勾配ベクトルの代表方向を示しており、特徴点位置Ｃ１１を中心とする円形の領域Ｒ１１は、特徴点の局所領域を示している。

また、近傍位置Ａ１１乃至近傍位置Ａ１４のそれぞれは、特徴点位置Ｃ１１を中心とする同一円周上の画素の位置であって、その円周を等分割する位置とされる。つまり、近傍位置Ａ１１乃至近傍位置Ａ１４のそれぞれは、特徴点位置Ｃ１１から互いに等距離にある位置とされる。

図５の例では、特徴点位置Ｃ１１の図中、上下左右の各方向に近傍位置Ａ１１乃至近傍位置Ａ１４が位置し、それらの近傍位置によって、特徴点位置Ｃ１１を中心とする円の円周が４つに等分割されている。そして、近傍位置Ａ１１乃至近傍位置Ａ１４のそれぞれを中心とする半径ｒ画素の円内の領域Ｒ１２乃至領域Ｒ１５のそれぞれが、近傍位置Ａ１１乃至近傍位置Ａ１４の局所領域とされる。なお、特徴点位置Ｃ１１および近傍位置Ａ１１乃至近傍位置Ａ１４の局所領域である、領域Ｒ１１乃至領域Ｒ１５のそれぞれは、同じ大きさ（面積）の領域とされる。

回転入力画像では、いくつかの画素位置が近傍位置とされ、これらの近傍位置の輝度勾配ヒストグラムが生成される。そして、これらの近傍位置の輝度勾配ヒストグラムのうち、最も特徴点の輝度勾配ヒストグラムと分布が異なるものと、特徴点の輝度勾配ヒストグラムとから特徴点における特徴量が生成されることになる。

ここで、特徴点の近傍の局所領域の輝度勾配ヒストグラムを生成するにあたり、特徴点近傍の画素は複数あるが、それら全ての画素位置で輝度勾配ヒストグラムを生成するのは無駄である。なぜなら、特徴点の近傍位置が特徴点と近すぎると、これら２点の輝度勾配ヒストグラムは、ほぼ同じものとなるため、特徴点に近すぎる画素位置の輝度勾配ヒストグラムは、特徴量の生成に用いるのには不適切だからである。

そこで、特徴点から充分に離れた距離をｒ画素として、特徴点を中心とし、半径ｒ画素の円の円周上の画素の位置を近傍位置とすることで、特徴量を求めるのに適した位置を近傍位置とすることができる。また、近傍位置が、特徴点を中心とする円の円周を等分割する位置とされるのは、円周上の全ての画素位置の輝度勾配ヒストグラムを求めるのは無駄であり、近傍位置とされる位置は、適当な間隔を空けて選ばれるべきだからである。

このように、近傍位置選択部４５は、画像回転部４４から、例えば、図５の回転入力画像８１が供給されると、近傍位置Ａ１１乃至近傍位置Ａ１４のうちの１つを選択する。

図４のフローチャートの説明に戻り、ステップＳ８２において、輝度勾配ベクトル算出部４６は、近傍位置選択部４５からの選択結果および回転入力画像を用いて、選択された近傍位置の局所領域を設定する。これにより、例えば、選択された図５の近傍位置Ａ１１に対して、局所領域Ｒ１２が設定される。

近傍位置の局所領域が設定されると、その後、ステップＳ８３乃至ステップＳ８６の処理が行われるが、これらの処理は、図３のステップＳ５２乃至ステップＳ５５の処理のそれぞれと同様であるので、その説明は省略する。

すなわち、設定された近傍位置の局所領域内の各画素について、輝度勾配ベクトル算出部４６により、上述した式（１）および式（２）が計算されて輝度勾配ベクトルが求められる。そして、輝度勾配ヒストグラム更新部４７により、局所領域内の各画素の輝度勾配ベクトルから輝度勾配ヒストグラムが更新されて、選択された近傍位置の輝度勾配ヒストグラムが生成される。

ステップＳ８６において、ループカウンタｉの値がｍであると判定された場合、つまり選択された近傍位置の局所領域内の全ての画素の輝度勾配ベクトルにより、輝度勾配ヒストグラムが更新された場合、処理はステップＳ８７に進む。

ステップＳ８７において、輝度勾配ヒストグラム更新部４７は、ステップＳ８１乃至ステップＳ８６の処理により得られた輝度勾配ヒストグラムを正規化して、輝度勾配ヒストグラム選択部２４に供給する。

具体的には、輝度勾配ヒストグラム更新部４７は、上述した式（６）を計算して、輝度勾配ヒストグラムを構成する各ビンの度数の総和が１となるように、輝度勾配ヒストグラムを正規化する。なお、この場合、式（６）において、近傍位置の輝度勾配ヒストグラムのビンの度数がＨ（ｐ）とされる。この正規化により、選択された近傍位置の輝度勾配ヒストグラムは、被写体の回転や照明強度の変化に対して不変の値となる。

ステップＳ８８において、近傍位置選択部４５は、注目特徴点の近傍にある全ての近傍位置を選択したか否かを判定する。例えば、図５の近傍位置Ａ１１乃至近傍位置Ａ１４の全てが選択されて、それらの近傍位置の輝度勾配ヒストグラムが求められた場合、全ての近傍位置を選択したと判定される。

ステップＳ８８において、まだ全ての近傍位置が選択されていないと判定された場合、処理はステップＳ８１に戻り、上述した処理が繰り返される。すなわち、新たな近傍位置が選択され、その近傍位置の輝度勾配ヒストグラムが求められる。

これに対して、ステップＳ８８において、全ての近傍位置を選択したと判定された場合、特徴点の近傍位置における輝度勾配ヒストグラム生成処理は終了し、処理は図２のステップＳ１９に進む。特徴点の近傍位置における輝度勾配ヒストグラム生成処理が行われると、注目特徴点近傍にある複数の近傍位置の輝度勾配ヒストグラムのそれぞれが、輝度勾配ヒストグラム更新部４７から輝度勾配ヒストグラム選択部２４に供給される。

図２のフローチャートの説明に戻り、ステップＳ１９において、輝度勾配ヒストグラム選択部２４は、輝度勾配ヒストグラム更新部４７から供給された複数の近傍位置の輝度勾配ヒストグラムのうち、輝度勾配ヒストグラム更新部４２から供給された、特徴点の輝度勾配ヒストグラムと最も分布の異なるものを選択する。

例えば、特徴点の近傍のＫ箇所の近傍位置Ａ₁乃至近傍位置Ａ_Kのそれぞれの輝度勾配ヒストグラムが得られたとする。また、各輝度勾配ヒストグラムがＰ個のビンから構成され、特徴点の輝度勾配ヒストグラムの各ビンの度数がＨｃ（ｊ）（但し、１≦ｊ≦Ｐ）とされ、近傍位置Ａ_k（但し、１≦ｋ≦Ｋ）の輝度勾配ヒストグラムの各ビンの度数がＨｋ（ｊ）（但し、１≦ｊ≦Ｐ）とされるとする。

そのような場合、輝度勾配ヒストグラム選択部２４は、次式（７）を計算することにより、特徴点の輝度勾配ヒストグラムと、近傍位置Ａ_kの輝度勾配ヒストグラムとの類似度Ｓｋを求める。

すなわち、特徴点の輝度勾配ヒストグラムと、近傍位置の輝度勾配ヒストグラムとの対応するビンの度数Ｈｃ（ｊ）および度数Ｈｋ（ｊ）の差分の自乗和が類似度Ｓｋとされる。

この類似度Ｓｋは、その値が大きいほど、特徴点の輝度勾配ヒストグラムと、近傍位置の輝度勾配ヒストグラムとの輝度勾配ベクトルの分布がより異なることを示している。つまり、類似度Ｓｋは、近傍位置の輝度勾配ヒストグラムの、特徴点の輝度勾配ヒストグラムとの類似の度合いを示しており、類似度Ｓｋの値が大きいほど、より特徴点の輝度勾配ヒストグラムとの類似の度合いが低いことを示している。

輝度勾配ヒストグラム選択部２４は、Ｋ個の近傍位置の輝度勾配ヒストグラムのうち、類似度Ｓｋが最大のものを、特徴点の輝度勾配ヒストグラムと最も輝度勾配ベクトルの分布が異なる輝度勾配ヒストグラムとして選択する。そして、輝度勾配ヒストグラム選択部２４は、選択した近傍位置の輝度勾配ヒストグラムと、特徴点の輝度勾配ヒストグラムとを特徴量生成部２５に供給する。

ステップＳ２０において、特徴量生成部２５は、輝度勾配ヒストグラム選択部２４から供給された、特徴点の輝度勾配ヒストグラムと、近傍位置の輝度勾配ヒストグラムとを用いて、特徴点における特徴量を生成し、出力する。

輝度勾配ヒストグラムは、各ビンの度数をベクトルの要素と考えることができ、それらの複数の度数を並べることで、輝度勾配ヒストグラムをベクトル表現することができる。そこで、特徴量生成部２５は、特徴点の輝度勾配ヒストグラムおよび近傍位置の輝度勾配ヒストグラムから得られた２つのベクトルを連結し、その結果得られた１つのベクトルを特徴点における特徴量とする。

このようにして生成された特徴点の特徴量は、特徴点の輝度勾配ヒストグラムおよび近傍位置の輝度勾配ヒストグラムから生成されたものであるから、被写体の回転、つまり視点の変化や、被写体への照明強度の変化に対してロバストなものとなる。

また、生成された特徴量は、後段において、複数の画像から同一の被写体を検出する画像認識処理などに用いられる。例えば、被写体の検出は、異なる画像上の特徴点のそれぞれにおける特徴量同士を比較することにより行われる。この特徴量の比較は、特徴量としてのベクトル間のユークリッド距離などにより類似度が求められ、その類似度により、特徴点同士が類似しているか否かが評価される。そして、特徴点同士が類似していると判定された場合には、それらの特徴点は、同じ被写体の同じ部位であるとの認識がなされる。

１つの特徴点の特徴量が生成されて出力されると、処理はステップＳ２０からステップＳ２１に進む。

ステップＳ２１において、画像処理装置１１は、入力画像から検出された全ての特徴点について特徴量を生成したか否かを判定する。ステップＳ２１において、まだ全ての特徴点の特徴量が生成されていないと判定された場合、処理はステップＳ１２に戻り、上述した処理が繰り返される。すなわち、入力画像上の新たな特徴点が選択されて、選択された特徴点における特徴量が生成される。

一方、ステップＳ２１において、全ての特徴点について特徴量を生成したと判定された場合、特徴量生成処理は終了する。

以上のようにして、画像処理装置１１は、入力画像から特徴点を検出し、特徴点の輝度勾配ヒストグラムと、特徴点近傍の複数の近傍位置の輝度勾配ヒストグラムとを生成する。そして、画像処理装置１１は、生成した複数の近傍位置の輝度勾配ヒストグラムのうち、特徴点の輝度勾配ヒストグラムと最も輝度勾配ベクトルの分布の異なるものを選択し、選択した輝度勾配ヒストグラムと、特徴点の輝度勾配ヒストグラムとから特徴点の特徴量を生成する。

このように、特徴点の輝度勾配ヒストグラムと、最も輝度勾配ベクトルの分布の異なる近傍位置の輝度勾配ヒストグラムとを連結して特徴量とすることにより、視点や照明の変化に対してロバストであり、かつ検出に必要な計算コストが低く、簡易に利用できる特徴量を画像から検出することができる。

すなわち、特徴点の輝度勾配ヒストグラムと、最も輝度勾配ベクトルの分布の異なる近傍位置の輝度勾配ヒストグラムとを用いて特徴量を生成することで、単に特徴点における輝度勾配ヒストグラムのみを特徴量とする場合よりも、特徴量の性能の向上を図ることができる。

具体的には、局所領域内における輝度勾配ベクトルの分布をヒストグラムで表すと、輝度勾配ベクトルの空間的な情報が失われることになる。つまり、複数の輝度勾配ベクトルが与えられた場合、どのような順番で輝度勾配ヒストグラムのビンに輝度勾配ベクトルを振り分けても、結果として得られる輝度勾配ヒストグラムは同一のものになる。逆に言えば、同一の輝度勾配ヒストグラムであっても、その輝度勾配ヒストグラムが得られた局所領域における空間的な輝度勾配ベクトルの分布には、様々な可能性があり得る。

そのため、特徴点における輝度勾配ヒストグラムのみを特徴量とした場合、異なる被写体を同一のものであると誤認識する可能性が大きい。そこで、誤認識の可能性を下げる一つの方法として、特徴点近傍の複数の画素位置で輝度勾配ヒストグラムを算出し、画素位置の空間的な配置順と同じ順序で輝度勾配ヒストグラムを並べることにより、特徴量の性能を上げる方法が考えられる。

このような方法は、「SIFT descriptor」と呼ばれる特徴量の検出方法で用いられているが、特徴量の次元数が大きく増えてしまうという問題がある。この特徴量の次元数を下げるために主成分分析が有効であるということは「PCA-SIFT」と呼ばれる検出方法で示されている。つまり、単に複数の輝度勾配ヒストグラムを並べるだけでは、特徴量の記述法としては冗長であることが分かる。

そこで、画像処理装置１１では、特徴点近傍の複数の画素位置（近傍位置）で得られた輝度勾配ヒストグラムのうちの１つを選び、特徴点における輝度勾配ヒストグラムと合わせたものが、冗長性を減らした特徴量とされる。

ここで、特徴点における輝度勾配ヒストグラムをＨｃとし、複数の近傍位置のうちの選択された近傍位置の輝度勾配ヒストグラムをＨｎとし、最終的に生成された特徴量を（Ｈｃ，Ｈｎ）とする。

画像処理装置１１では、特徴点の近傍から近傍位置が選択されることから、それらの近傍位置から得られる輝度勾配ヒストグラムには、特徴点の輝度勾配ヒストグラムＨｃと類似しているものが多いことが予想される。

特徴量（Ｈｃ，Ｈｎ）を生成する場合に、輝度勾配ヒストグラムＨｃと、その輝度勾配ヒストグラムＨｃと類似した、近傍位置の輝度勾配ヒストグラムとを組み合わせて特徴量を生成しても、殆ど情報量が増えない。そのため、輝度勾配ヒストグラムＨｎとして、輝度勾配ヒストグラムＨｃと最も似ていないものが選択されることが妥当である。

輝度勾配ヒストグラムは、正規化されており、自然数をＮとしてＮ次元のベクトルで表すことができるので、幾何学的に考えれば輝度勾配ヒストグラムＨｃはＮ次元空間の超球上の１点となり、輝度勾配ヒストグラムＨｎも同様に、Ｎ次元空間の超球上の１点となる。

仮に、輝度勾配ヒストグラムＨｎとして、輝度勾配ヒストグラムＨｃと類似したものが選択されたとすると、これらの輝度勾配ヒストグラムを示す超球上の２点は、超球上で近傍に位置する。逆に、輝度勾配ヒストグラムＨｎとして、輝度勾配ヒストグラムＨｃと類似していないものが選択されたとすると、これらの輝度勾配ヒストグラムを示す超球上の２点は、互いに超球上において離れて位置することになる。

ここで、互いに異なる画像から検出された２つの特徴量（Ｈｃ０，Ｈｎ０）および特徴量（Ｈｃ１，Ｈｎ１）が与えられたとする。この場合、輝度勾配ヒストグラムＨｎとして、輝度勾配ヒストグラムＨｃと類似したものが選択されると、例え２つの特徴量が異なる被写体から得られたものであっても、超球上において、Ｈｃ０，Ｈｎ０，Ｈｃ１，Ｈｎ１の４つの点は、一箇所に集中して存在することになる。そのような場合、２つの特徴量を比較しても、それらの特徴量が得られた特徴点が、同じ被写体上から検出されたか否かを判定することは困難である。

これに対して、輝度勾配ヒストグラムＨｎとして、輝度勾配ヒストグラムＨｃと類似していないものが選択されたとする。この場合、２つの特徴量が異なる被写体から得られたものであれば、超球上において、Ｈｃ０とＨｃ１が互いに近い位置に存在していたとしても、Ｈｎ０およびＨｎ１は、Ｈｃ０およびＨｃ１から離れた位置に存在することが期待される。そのため、それらの特徴量が得られた特徴点が、同じ被写体上から検出されたか否かを容易に判定することができるようになる。

したがって、画像処理装置１１において、特徴点の輝度勾配ヒストグラムと、最も輝度勾配ベクトルの分布の異なる近傍位置の輝度勾配ヒストグラムと組み合わせることで、より少ない次元数で簡単に利用することができ、かつより確実に被写体を検出できる特徴量を提供することができる。しかも、特徴点における輝度勾配ヒストグラムと、その特徴点近傍のいくつかの画素位置における輝度勾配ヒストグラムとを求めるだけという簡単な処理で、つまり低い計算コストで特徴量を得ることができる。

画像処理装置１１により得られる特徴量は、簡単な処理で求めることができ、かつ求めた特徴量を用いて画像認識を行えば、簡易に安定した認識結果を得ることができるので、このような特徴量は、特に、携帯型の機器においての利用に好適である。

上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７、ハードディスクや不揮発性のメモリなどよりなる記録部２０８、ネットワークインターフェースなどよりなる通信部２０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１を駆動するドライブ２１０が接続されている。

以上のように構成されるコンピュータでは、CPU２０１が、例えば、記録部２０８に記録されているプログラムを、入出力インターフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU２０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インターフェース２０５を介して、記録部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記録部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記録部２０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用した画像処理装置の一実施の形態の構成例を示す図である。特徴量生成処理を説明するフローチャートである。特徴点位置における輝度勾配ヒストグラム生成処理を説明するフローチャートである。特徴点の近傍位置における輝度勾配ヒストグラム生成処理を説明するフローチャートである。特徴点の近傍位置について説明する図である。コンピュータの構成例を示すブロック図である。

符号の説明

１１画像処理装置，２２輝度勾配ヒストグラム生成部，２３輝度勾配ヒストグラム生成部，２４輝度勾配ヒストグラム選択部，２５特徴量生成部，４１輝度勾配ベクトル算出部，４２輝度勾配ヒストグラム更新部，４３代表方向算出部，４４画像回転部，４５近傍位置選択部，４６輝度勾配ベクトル算出部，４７輝度勾配ヒストグラム更新部

Claims

画像上の特徴点を含む第１の局所領域における、輝度勾配ベクトルの分布を求める第１の分布算出手段と、
前記画像上の前記特徴点の近傍にある第２の局所領域における、前記輝度勾配ベクトルの分布を求める第２の分布算出手段と、
前記第１の局所領域の前記勾配ベクトルの分布と、前記第２の局所領域の前記勾配ベクトルの分布とを比較して、複数の前記第２の局所領域の前記勾配ベクトルの分布のうち、前記第１の局所領域の前記勾配ベクトルの分布と最も分布が異なる前記第２の局所領域の前記勾配ベクトルの分布を選択する選択手段と、
前記第１の局所領域の前記勾配ベクトルの分布と、前記選択手段により選択された前記第２の局所領域の前記勾配ベクトルの分布とに基づいて、前記特徴点における特徴量を算出する特徴量算出手段と
を備える画像処理装置。
前記複数の前記第２の局所領域の中心位置のそれぞれは、前記特徴点を中心とする円の円周上に位置する
請求項１に記載の画像処理装置。
前記中心位置のそれぞれは、複数の前記中心位置により、前記円周が等分割される位置とされる
請求項２に記載の画像処理装置。
前記輝度勾配ベクトルの分布として、前記輝度勾配ベクトルの方向ごとに求められた、前記方向を有する前記輝度勾配ベクトルの出現頻度を示す輝度勾配ヒストグラムが求められ、
前記選択手段は、前記第２の局所領域の前記輝度勾配ヒストグラムについて、前記第１の局所領域の前記輝度勾配ヒストグラムとの類似度を求め、前記複数の前記第２の局所領域の前記輝度勾配ヒストグラムのうち、前記類似度により示される類似の度合いの最も低い前記第２の局所領域の前記輝度勾配ヒストグラムを選択する
請求項１に記載の画像処理装置。
画像上の特徴点を含む第１の局所領域における、輝度勾配ベクトルの分布を求める第１の分布算出手段と、
前記画像上の前記特徴点の近傍にある第２の局所領域における、前記輝度勾配ベクトルの分布を求める第２の分布算出手段と、
前記第１の局所領域の前記勾配ベクトルの分布と、前記第２の局所領域の前記勾配ベクトルの分布とを比較して、複数の前記第２の局所領域の前記勾配ベクトルの分布のうち、前記第１の局所領域の前記勾配ベクトルの分布と最も分布が異なる前記第２の局所領域の前記勾配ベクトルの分布を選択する選択手段と、
前記第１の局所領域の前記勾配ベクトルの分布と、前記選択手段により選択された前記第２の局所領域の前記勾配ベクトルの分布とに基づいて、前記特徴点における特徴量を算出する特徴量算出手段と
を備える画像処理装置の画像処理方法であって、
前記第１の分布算出手段が、前記画像を用いて前記第１の局所領域の前記輝度勾配ベクトルの分布を求め、
前記第２の分布算出手段が、前記画像を用いて前記第２の局所領域の前記輝度勾配ベクトルの分布を求め、
前記選択手段が、前記第１の局所領域の前記勾配ベクトルの分布と最も分布が異なる前記第２の局所領域の前記勾配ベクトルの分布を選択し、
前記特徴量算出手段が、前記特徴点における特徴量を算出する
ステップを含む画像処理方法。
画像上の特徴点を含む第１の局所領域における、輝度勾配ベクトルの分布を求め、
前記画像上の前記特徴点の近傍にある第２の局所領域における、前記輝度勾配ベクトルの分布を求め、
前記第１の局所領域の前記勾配ベクトルの分布と、前記第２の局所領域の前記勾配ベクトルの分布とを比較して、複数の前記第２の局所領域の前記勾配ベクトルの分布のうち、前記第１の局所領域の前記勾配ベクトルの分布と最も分布が異なる前記第２の局所領域の前記勾配ベクトルの分布を選択し、
前記第１の局所領域の前記勾配ベクトルの分布と、選択された前記第２の局所領域の前記勾配ベクトルの分布とに基づいて、前記特徴点における特徴量を算出する
ステップを含む処理をコンピュータに実行させるプログラム。