JP6265641B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及び画像処理プログラム等に関する。

デジタル画像を用いた撮像対象の認識をする場合、撮像画像データから特徴量を抽出する手法が広く用いられている。この特徴量を抽出する手法には、回転不変特徴量を抽出する手法と、回転依存特徴量を抽出する手法が存在している。

前者の回転不変特徴量を抽出する手法では、画像全体または画像の部分における主方向を計算し、その主方向を基準として特徴量抽出を行う。そのため、撮像画像が回転している場合でも回転していない画像と同一の特徴量を抽出できる。

一方、後者の回転依存特徴量を抽出する手法では、撮像画像が回転している場合に抽出した特徴量は、回転していない画像から抽出した特徴量と同一にはならない。このような回転依存という性質を用いることで、例えば画像中の垂直方向の縞と水平方向の縞を異なる特徴量として抽出し、区別することが可能となる。

回転依存特徴量としては、例えば、非特許文献１に開示されるLocal Binary Patterns (LBP)や、非特許文献２に開示されるHistograms of oriented gradients (HOG)等が知られている。

特開２００５−２１５７６０号公報

Timo Ojala, Matti Pietikainen, and Topi Maenpaa (2000) "Gray Scale and Rotation Invariant Texture Classification with Local Binary Patterns", In Sixth European Conference on Computer Vision, Part 1, pp. 404-420. Navneet Dalal and Bill Triggs (2005) "Histograms of oriented gradients for human detection", In Computer Vision and Pattern Recognition.

特徴量として回転依存特徴量を抽出する場合、画像が回転すれば特徴量が変化するため、撮像対象の物理的な上下方向である天地方向が回転した場合にも特徴量が変化してしまうという課題がある。

例えば、カメラで撮影を行う際、９０度回転したポートレート状態で撮影する場合がある。この場合、得られた画像データの上下方向と撮像対象の天地方向は一致しない。そのため、ポートレート状態で撮像した画像から抽出した特徴量と、画像の上下方向と天地方向が一致している場合に同じ撮像対象を撮像した画像から抽出した特徴量とは、一致しない。正しい画像認識を行うためには、同一の撮像対象に対して同一の特徴量が得られるべきであるが、上記のように天地方向の回転にも依存してしまうため、正しい画像認識が行えない。

天地方向の回転依存性を補正する手法として、特許文献１には、天地修正手段が、画像の天地方向に基づいて画像を回転させて天地方向の回転を修正し、画像特徴量算出手段が、その回転させた画像から特徴量を算出する手法が開示されている。しかしながら、この手法では、ハードウェアによる回路実装やリアルタイム性が要求される環境において、入力画像の回転処理の処理コストが大きいという課題がある。

本発明の幾つかの態様によれば、天地方向の回転を補正した特徴量を低処理コストで抽出可能な画像処理装置、画像処理方法及び画像処理プログラム等を提供できる。

本発明の一態様は、入力画像を取得する画像取得部と、前記入力画像の天地方向を表す天地情報を取得する天地情報取得部と、前記入力画像の部分領域における特徴量を前記天地情報に基づいて算出する特徴量処理部と、を含み、前記特徴量処理部は、前記特徴量の算出において、前記部分領域内に設定した空間的な順序を用いた又は前記部分領域内の画素値に基づいて求めた回転依存の情報を、前記天地方向に基づいて回転変換する処理を行う画像処理装置に関係する。

本発明の一態様によれば、部分領域内に設定した又は部分領域内の画素値に基づいて求めた回転依存の情報が、特徴量の算出において天地方向に基づいて回転変換される。これにより、天地方向の回転を補正した特徴量を低処理コストで抽出することが可能になる。

また本発明の他の態様は、入力画像を取得する画像取得部と、前記入力画像の天地方向を表す天地情報を取得する天地情報取得部と、前記入力画像の部分領域における特徴量を算出する特徴量処理部と、予め作成した複数の特徴量の配列である辞書データを保持する辞書データ保持部と、を含み、前記特徴量処理部は、前記辞書データ内の特徴量を前記天地方向に基づいて回転補正し、前記回転補正した前記辞書データ内の特徴量の中から、前記部分領域における前記特徴量に最も類似した特徴量を探索する画像処理装置に関係する。

本発明の他の態様によれば、辞書データ内の特徴量が天地方向に基づいて回転補正され、その回転補正された辞書データ内の特徴量の中から、部分領域における特徴量に最も類似した特徴量が探索される。これにより、天地方向の回転を補正した特徴量を低処理コストで抽出することが可能になる。

また本発明の更に他の態様は、入力画像を取得する処理を行い、前記入力画像の天地方向を表す天地情報を取得する処理を行い、前記入力画像の部分領域における特徴量の算出において、前記部分領域内に設定した又は前記部分領域内の画素値に基づいて求めた回転依存の情報を、前記天地方向に基づいて回転変換する処理を行う画像処理方法に関係する。

また本発明の更に他の態様は、入力画像を取得する処理を行い、前記入力画像の天地方向を表す天地情報を取得する処理を行い、前記入力画像の部分領域における特徴量の算出において、前記部分領域内に設定した又は前記部分領域内の画素値に基づいて求めた回転依存の情報を、前記天地方向に基づいて回転変換する処理を行う、ステップをコンピューターに実行させる画像処理プログラムに関係する。

回転依存特徴量についての説明図。 天地方向と回転依存特徴量の関係についての説明図。 本実施形態における画像処理装置の基本構成例。 第１実施形態における画像処理装置の構成例。 特徴量（ＬＢＰ）についての説明図。 特徴量（ＬＢＰ）の回転補正についての説明図。 特徴量（ＬＢＰ）の回転補正についての説明図。 各天地方向における画素と順番の対応を表す表。 第２実施形態における画像処理装置の構成例。 特徴量（ＬＢＰ）を算出する際の輝度値の例。 特徴量（ＬＢＰ）の算出手法についての説明図。 特徴量（ＬＢＰ）の回転補正についての説明図。 第３実施形態における画像処理装置の構成例。 特徴量（ＬＢＰのヒストグラム）についての説明図。 特徴量（ＬＢＰのヒストグラム）の回転補正についての説明図。 第４実施形態における画像処理装置の構成例。 特徴量（ＨＯＧ）についての説明図。 勾配ベクトルの角度指数についての説明図。 角度指数の回転補正についての説明図。 角度指数の回転補正についての説明図。 セル特徴量についての説明図。 セル特徴量の結合についての説明図。 特徴量（ＨＯＧ）の回転補正についての説明図。 特徴量（ＨＯＧ）の回転補正についての説明図。 第５実施形態における画像処理装置の構成例。 勾配ベクトルの回転補正についての説明図。 第６実施形態における画像処理装置の構成例。 セル特徴量の回転補正についての説明図。 第７実施形態における画像処理装置の構成例。

以下、本発明の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された本発明の内容を不当に限定するものではなく、本実施形態で説明される構成の全てが本発明の解決手段として必須であるとは限らない。

１．本実施形態の概要
図１に示すように、カメラで人物を撮影したとする。左側の画像では人物は顔を真っ直ぐ立てており、右側の画像では人物は顔を右に傾けている。画像認識を行う際、これらの画像を異なるシーンの画像として区別したいというニーズがある。このような場合、顔の向きに依存して値が変化する回転依存特徴量を用いればよい。

しかしながら、図２に示すようにカメラを回転させた場合にも回転依存特徴量は変化する。即ち、カメラを回転させると、画像の上方向ＵＤに対して被写体が回転するため、天地方向ＴＤに依存して回転依存特徴量が変化してしまう。そのため、同一のシーンを撮影しているにも関わらず、同一のシーンとして認識できないという課題がある。なお以下では、「回転依存特徴量」を単に「特徴量」とも呼ぶ。

天地方向ＴＤに依存しない特徴量を求める手法として、上述した特許文献１がある。しかしながら、特許文献１の手法では、天地方向ＴＤの補正において、処理負荷が大きい画像回転を用いているという課題がある。

そこで図３に示すように、本実施形態の画像処理装置は、入力画像を取得する画像取得部２００と、入力画像の天地方向を表す天地情報を取得する天地情報取得部２１０と、入力画像の部分領域における特徴量を天地情報に基づいて算出する特徴量処理部１００と、を含む。そして、特徴量処理部１００は、特徴量の算出において、部分領域内に設定した空間的な順序を用いた又は部分領域内の画素値に基づいて求めた回転依存の情報を、天地方向に基づいて回転変換する処理を行う。

このようにすれば、入力画像を回転させることなく、天地方向ＴＤに依存しない特徴量を求めることができる。これにより、入力画像の上方向ＵＤと天地方向ＴＤが一致しない場合（図２の右方向、左方向、下方向）でも、部分領域において、画像回転よりも小さい処理コストで、上方向ＵＤと天地方向ＴＤが一致する場合（図２の正位置）と同一の特徴量を出力できる。

具体的には、部分領域内に設定した空間的な順序を用いた回転依存の情報とは、特徴量処理部１００が部分領域内の画素や領域に対応付けて設定した情報であり、画像の回転に伴って回転する情報である。この情報を、天地方向ＴＤが画像の上方向ＵＤに一致するように回転変換し、特徴量の天地方向ＴＤへの依存性を補正する。

例えば、後述するＬＢＰでは、ビットを並べる順番は部分領域内の画素に対応付けられた空間的な順序の情報である。或は、後述するＨＯＧでは、部分領域を分割したセル領域のヒストグラムを結合し、部分領域のヒストグラムとする。この結合の順番は、セル領域に対応付けられた空間的な順序の情報である。このような画素やセル領域と順番の対応付けを、天地方向ＴＤに応じて並び替える（回転変換する）ことで、ＬＢＰ、ＨＯＧを回転補正する。これらの例では、順番を変換するだけなので、画像回転に比べて非常に軽い処理負荷で実行できる。

また、部分領域内の画素値に基づいて求めた回転依存の情報とは、特徴量処理部１００が部分領域内の画像を処理（例えば変換、微分、統計、量子化、フィルタリング等の処理）して求めた回転依存の情報である。この情報を天地方向ＴＤに応じて回転変換し、特徴量の天地方向ＴＤへの依存性を補正する。

例えば、後述するＬＢＰのヒストグラムでは、ＬＢＰは各画素における局所的な回転依存の情報である。また、ヒストグラムはＬＢＰの値をビンとしており、そのビンも回転依存の情報である。或は、後述する勾配ベクトルや、それを量子化した角度指数は、各画素における局所的な回転依存の情報である。或は、後述するＨＯＧでは、角度指数をビンとしており、そのビンは回転依存の情報である。このような勾配ベクトルや角度指数を天地方向ＴＤに応じて回転変換し、又はヒストグラムのビンを天地方向ＴＤに応じて入れ替える（回転変換する）ことで、ＬＢＰのヒストグラム、ＨＯＧを回転補正できる。これらの例では、ＬＢＰや角度指数、勾配ベクトル、ヒストグラムのビンを変換するだけなので、画像回転に比べて非常に軽い処理負荷で実行できる。

ここで、天地方向とは、画像に写った被写体の天地を表す方向である。天地は例えば上下であり、重力の方向（鉛直方向）が下方向、その反対方向が上方向である。なお図２では、上方向（天）を天地方向ＴＤとしているが、これに限定されず、例えば下方向等の、被写体の天地に対して固定された方向であればよい。

また、回転依存とは、画像の回転により特徴量が変化することである。画像の回転は、画像の一部での（局所的な）回転であってもよいし、画像全体での（大局的な）回転であってもよい。回転は、例えば画像内の所定の方向を基準とする角度変化である。所定の方向は、例えば、カメラを通常の正位置で構えたときの上方向ＵＤである。

２．第１実施形態
２．１．撮像装置、画像処理装置
次に、本実施形態の詳細について説明する。図２に示すように、天地方向ＴＤが上方向ＵＤに一致した「正位置」の画像と、天地方向ＴＤが上方向ＵＤに対して「右方向」、「下方向」、「左方向」に回転した画像と、を例に説明する。なお、天地方向ＴＤは、これに限定されず、これらの中間の角度で傾いた場合等にも本実施形態を適用できる。

図４に、撮像装置の構成例と、第１実施形態における画像処理装置の構成例を示す。撮像装置は、画像処理装置１０、撮像部２０、天地方向センサー３０を含む。

撮像部２０は、被写体の画像を撮像し、その画像を画像処理装置１０へ入力する。例えば、撮像部２０は光学系と撮像センサー（例えばＣＣＤ、ＣＭＯＳセンサー等）で構成される。

天地方向センサー３０は、カメラに対する重力方向を検出し、その検出した方向を天地情報（即ち、天地方向の情報）として画像処理装置１０へ入力する。例えば、天地方向センサー３０は重力センサー（加速度センサー）で構成される。

画像処理装置１０は、特徴量処理部１００、画像取得部２００、天地情報取得部２１０を含む。

画像取得部２００は、撮像部２０から入力画像を取得する処理を行う。取得処理とは、例えば撮像部２０から転送されるデジタルの画像データを受信する処理である。或は、撮像部２０からアナログの画像信号が転送され、それをＡ／Ｄ変換する処理である。或は、撮像部２０から転送された画像に対して、基本的な画像処理（例えばＯＢ処理、ホワイトバランス処理、階調処理等）を行うことである。

天地情報取得部２１０は、天地方向センサー３０から天地情報を取得する処理を行う。取得処理とは、例えば天地方向センサー３０から転送されるデジタルのセンサー出力を受信する処理である。或は、天地方向センサー３０からアナログのセンサー出力が転送され、それを処理（Ａ／Ｄ変換等）して天地方向の情報に変換する処理である。なお、天地情報取得部２１０は、天地方向センサー３０の代わりに入力画像から天地方向を判定し、天地情報を取得してもよい。この場合、天地方向センサー３０を省略可能である。

特徴量処理部１００は、情報回転補正部１１０、特徴量算出部１２０を含む。詳細は図５〜図８で後述するが、第１実施形態では、特徴量としてＬＢＰを用いる。まず、情報回転補正部１１０が、画素に対応付けた順番を天地情報に基づいて回転変換し（図６）、次に、特徴量算出部１２０が、その変換した順番でビットを並べてＬＢＰを求める（図７）。

なお、上記では画像処理装置１０を撮像装置に適用した場合を例に説明したが、例えば画像処理装置１０を情報処理装置（ＰＣ）等で別体に構成することも可能である。この場合、画像取得部２００は、画像ファイルを入力画像として取得する。また、天地情報取得部２１０は、画像ファイルに関連づけられた天地情報を取得する。

２．２．特徴量処理部
特徴量処理部１００が行う処理の詳細について説明する。まず、本実施形態で特徴量として用いるＬＢＰについて説明する。

図５に示すように、３×３ピクセルの領域を部分領域とする。部分領域の中心画素が注目画素ｐ_ｃ（ｘ，ｙ）であり、その周囲の８画素が周辺画素ｐ_ｉ（ｘ，ｙ）（ｉ＝０，１，…，７）である。注目画素ｐ_ｃ（ｘ，ｙ）と各周辺画素ｐ_ｉ（ｘ，ｙ）との輝度値の大小関係を比較し、その大小関係を表すビットＦｉを求める。即ち、図７に示すｐ_０等のように、周辺画素ｐ_ｉの輝度値が注目画素ｐ_ｃの輝度値以上である場合には、ビットＦｉ＝１である。ｐ_２等のように、周辺画素ｐ_ｉの輝度値が注目画素ｐ_ｃの輝度値未満である場合には、ビットＦｉ＝０である。通常のＬＢＰでは、このビットＦｉをＬＳＢ側から順に並べ、８ビットのビット列Ｆ７Ｆ６Ｆ５・・・Ｆ０＝１００１１０１１とする。

ここで、（ｘ，ｙ）は画像上の直交座標であり、例えばｘは水平走査方向の座標であり、ｙは垂直走査方向の座標である。

次に、特徴量処理部１００が行う処理を説明する。情報回転補正部１１０は、図６に示すように、天地情報に基づいて周辺画素ｐ_ｉに対して順番（順序）を設定する。この画素の順番は、基準の順番を天地方向ＴＤの回転の分だけ回転変換したものである。即ち、天地方向ＴＤに対して固定された順番である。例えば、正位置の場合、左上を開始位置（順番“０”）として時計回りに順番を設定する。右方向、下方向、左方向の場合、正位置の順番を基準として、時計回りに９０度ずつ開始位置をずらした順番を設定する。情報回転補正部は予め右方向、下方向、左方向の場合に対して回転変換を行った順番をＲＯＭなどのテーブルに保持し、天地方向ＴＤに対応した順番を設定してもよい。

特徴量算出部１２０は、情報回転補正部１１０が設定した順番に従ってビットＦｉを並べ、そのビット列を、回転補正された特徴量として出力する。例えば右方向の順番を例にとると、図７に示すビットＦｉを、図６に示す右方向の順番に従ってＦ１Ｆ０Ｆ７Ｆ６Ｆ５Ｆ４Ｆ３Ｆ２と並べ、ビット列１１１００１１０を求める。このビット列は、天地方向ＴＤに従って回転された順番で並んでいるので、画像の上方向ＵＤに対して天地方向ＴＤがどの方向を向いていても、同一のビット列が求められる。

より具体的には、情報回転補正部１１０は、図８に示す対応付けｎ_ｊを天地方向に応じて取得し、特徴量算出部１２０は、その対応付けｎ_ｊを用いて、下式（１）により注目画素ｐ_ｃ（ｘ，ｙ）での特徴量Ｆ（ｘ，ｙ）を求める。

図８に示す対応付けｎ_ｊは、周辺画素ｐ_ｎｊにｊ番目（ｊ＝０，１，…，７）の順番が設定されることを意味する。例えば右方向のｎ_０＝２を例にとると、画素ｐ_２（右上の画素）は０番目に設定される（図６参照）。なお、情報回転補正部１１０は、不図示のメモリー等から天地方向ＴＤに応じた対応付けｎ_ｊを読み出してもよいし、基準（例えば正位置）の対応付けｎ_ｊを天地方向ＴＤに応じて変換処理してもよい。

なお、上記では部分領域を３×３ピクセルとしたが、本実施形態はこれに限定されず、例えば部分領域を５×５ピクセルや、７×７ピクセルに設定してもよい。

以上の第１実施形態によれば、特徴量処理部１００は、回転依存の情報（周辺画素ｐ_ｉに設定した順番）を天地方向ＴＤに基づいて回転変換する処理を行う情報回転補正部１１０と、その回転変換された回転依存の情報に基づいて、部分領域（３×３ピクセル）における特徴量（ＬＢＰ）を算出する特徴量算出部１２０と、を有する。

このようにすれば、回転依存の情報を天地方向ＴＤに依存しない情報に補正することができるので、その情報を用いて天地方向ＴＤに依存しない特徴量を求めることが可能となる。この補正した特徴量は、カメラを回転させただけでは変化せず、天地方向ＴＤに対して画像が回転したときに変化するので、カメラの回転に関わらず高精度なシーン判別を実現できる。

また、本実施形態では、情報回転補正部１１０は、回転依存の情報として部分領域内の画素（周辺画素ｐ_ｉ）に順番（“０”〜“７”）を設定し、その順番を天地方向ＴＤに基づいて並び替える（図６等）。そして特徴量算出部１２０は、部分領域内の画素値に基づいて二値化処理（輝度値の大小比較）を行って各画素（ｐ_ｉ）についてビットデータ（Ｆｉ）を求め、並び替えられた順番でビットデータを並べたビット列データ（ＬＢＰ）を特徴量として求める（図７等）。

このようにすれば、周辺画素ｐ_ｉに設定した順番を並び変え、その順番でビットデータを並べることで、部分領域のテクスチャ情報に関する特徴量（ＬＢＰ）に対して回転補正を行うことができる。このような順番の並び変えは簡素な処理であるため、小さい処理コストで回転補正を実現できる。

３．第２実施形態
図９に、第２実施形態における画像処理装置の構成例を示す。画像処理装置１０は、特徴量処理部１００、画像取得部２００、天地情報取得部２１０を含む。なお、上述した実施形態で説明した構成要素と同一の構成要素については、同一の符号を付し、適宜説明を省略する。

特徴量処理部１００は、特徴量算出部１２０、特徴量回転補正部１４０を含む。第１実施形態とは異なり、まず、特徴量算出部１２０が部分領域における特徴量を算出し、次に、特徴量回転補正部１４０が天地情報に基づいて特徴量の回転補正を行う。

具体的には、特徴量として、第１実施形態と同様にＬＢＰを用いる。例えば、注目画素ｐ_ｃ及び周辺画素ｐ_ｉの輝度値が、図１０に示す通りであるとする。図１１に示すように、特徴量算出部１２０は、輝度値の大小関係を示すビットＦｉを求める。第２実施形態では、このビットＦｉを天地方向ＴＤに依らない順番で並べ、ビット列Ｆ７Ｆ６Ｆ５・・・Ｆ０＝１００１１０１１を求める。即ち、下式（２）により注目画素ｐ_ｃ（ｘ，ｙ）での特徴量Ｆ（ｘ，ｙ）を算出する。

図１２に示すように、特徴量回転補正部１４０は、天地方向ＴＤに応じてビット列の並び替え（例えば循環シフト）を行う。具体的には、正位置の場合、特徴量回転補正部１４０は特徴量算出部１２０が出力した特徴量をそのまま出力する。右方向の場合、特徴量回転補正部１４０は、ビット列をＬＳＢ側に２ビットシフト（又はＭＳＢ側に６ビットシフト）させる。得られたビット列は、右上から時計回りにｐ_０〜ｐ_７を割り振った場合のビット列と同じである。同様に、下方向の場合、ビット列をＬＳＢ側（又はＭＳＢ側）に４ビットシフトさせる。左方向の場合、ビット列をＬＳＢ側に６ビット（又はＭＳＢ側に２ビット）シフトさせる。

以上の第２実施形態によれば、特徴量処理部１００は、部分領域（３×３ピクセル）における特徴量（ＬＢＰ）を算出する特徴量算出部１２０と、回転依存の情報（ビットの並び順）を天地方向ＴＤに基づいて回転変換する処理を、特徴量算出部１２０により算出された特徴量に対して行い、特徴量を回転補正する特徴量回転補正部１４０と、を有する。

このようにすれば、特徴量を求めた後に、その特徴量に含まれる回転依存の情報（ビットの並び順）を天地方向ＴＤに依存しない情報に補正できる。これにより、天地方向ＴＤに依存しない特徴量を求めることが可能となる。この補正した特徴量により、カメラの回転に関わらず高精度なシーン判別を実現できる。

また本実施形態では、特徴量算出部１２０は、部分領域内の画素値に基づいて二値化処理（輝度値の大小比較）を行って各画素（周辺画素ｐ_ｉ）についてビットデータ（Ｆｉ）を求める（図１１）。特徴量算出部１２０は、そのビットデータを所定の順番（“０”〜“７”）で並べたビット列データ（ＬＢＰ）を特徴量として求める（図１１）。そして、特徴量回転補正部１４０は、ビット列データにおけるビットデータの並び順を回転依存の情報として天地方向ＴＤに基づいて並び替え、特徴量を回転補正する（図１２）。

このようにすれば、ビット列データにおけるビットデータ（Ｆｉ）の並び順を並び変えることで、部分領域のテクスチャ情報に関する特徴量（ＬＢＰ）に対して回転補正を行うことができる。このようなビットの並び変え（例えば循環的なビットシフト）は簡素な処理であるため、小さい処理コストで回転補正を実現できる。

４．第３実施形態
図１３に、第３実施形態における画像処理装置の構成例を示す。画像処理装置１０は、特徴量処理部１００、画像取得部２００、天地情報取得部２１０を含む。特徴量処理部１００は、特徴量算出部１２０、特徴量回転補正部１４０を含む。なお、上述した実施形態で説明した構成要素と同一の構成要素については、同一の符号を付し、適宜説明を省略する。

特徴量算出部１２０は、図１１に示すように、３０×３０ピクセルの部分領域を設定し、その部分領域におけるＬＢＰのヒストグラムを特徴量として算出する。具体的には、特徴量算出部１２０は、セル特徴量算出部１２１、ヒストグラム算出部１２２を含む。

セル特徴量算出部１２１は、部分領域を１×１ピクセルのセル領域（画素）に分割する。部分領域内には、３０×３０個のセル領域が存在することになる。そして、セル特徴量算出部１２１は、各セル領域のＬＢＰをセル特徴量として算出する。ＬＢＰの算出手法は第２実施形態と同様であり、第３実施形態では、そのＬＢＰをセル領域での特徴量として扱う。

ヒストグラム算出部１２２は、下式（３）によりヒストグラムを作成する。ｆ_ｋは、ｋ番のセル領域におけるＬＢＰの値である。ｋ＝１，２，…，９００であり、部分領域の各セル領域に割り当てられている。Ｈ_ｉは、ヒストグラムのビンであり、ＬＢＰの値がｉであるセル領域の個数である。ＬＢＰは８ビットのビット列なので、取りうる値は０から２５５となる。即ち、ｉ＝０，１，…，２５５である。

特徴量回転補正部１４０は、天地方向ＴＤに基づいて特徴量Ｈ_ｉの各次元を並び替えることで特徴量の回転補正を行う。並び替えにおいては、補正前の第ｉ次元が回転補正後の第ｊ次元に対応するとする。ｊからｉへの対応は、予め天地方向ＴＤ毎にテーブルを作成することで行う。このテーブルをｍ_ｊ＝ｉ（ｊ＝０，１，…，２５５）とする。

図１５に示すように、例えば、天地方向ＴＤが右方向であり、ＬＢＰがｉ＝１_（１０）＝０００００００１_（２）である場合を考える。このセル特徴量は天地方向ＴＤに依存しており、回転補正が必要である。即ち、天地方向ＴＤが上を向くように９０度左に回転し、左上から時計回りにビットを並べ、天地方向ＴＤに依存しないＬＢＰとしてｊ＝６４_（１０）＝０１００００００_（２）が得られる。これにより、ｊ＝６４のテーブルはｍ_６４＝１であることが分かる。同様にして、全てのｊについてテーブルｍ_ｊ＝ｉを用意しておく。

特徴量回転補正部１４０は、テーブルｍ_ｊを用いて、下式（４）により特徴量Ｈ_ｉを回転補正し、回転補正後の特徴量Ｈ_ｊ’を出力する。図１５の例では、回転補正後のビンＨ_６４’を回転補正前のビンＨ_１に置き換える。

なお、上記では部分領域の大きさを３０×３０ピクセルとしたが、本実施形態はこれに限定されず、部分領域は種々の大きさに設定できる。

以上の第３実施形態によれば、特徴量算出部１２０は、部分領域（３０×３０ピクセル）内の各画素について回転依存の特徴量（ＬＢＰ）を算出し、その回転依存の特徴量をビン（Ｈ_ｉ）とするヒストグラムを部分領域の特徴量として求める（図１４）。そして、特徴量回転補正部１４０は、ヒストグラムのビンを回転依存の情報として天地方向ＴＤに基づいて並び替え、部分領域の特徴量を回転補正する（図１５）。

このようにすれば、部分領域を更にセル領域に分割し、各セル領域で計算したセル特徴量を用いて計算される特徴量（セル特徴量の値をビンとするヒストグラム）に対して、回転補正を行うことができる。ヒストグラムのビンの並び変え（テーブルｍ_ｊ＝ｉを用いた変換）は簡素な処理であるため、小さい処理コストで回転補正を実現できる。

５．第４実施形態
５．１．角度指数の算出処理、補正処理
図１６に、第４実施形態における画像処理装置の構成例を示す。画像処理装置１０は、特徴量処理部１００、画像取得部２００、天地情報取得部２１０を含む。特徴量処理部１００は、特徴量算出部１２０、特徴量回転補正部１４０を含む。なお、上述した実施形態で説明した構成要素と同一の構成要素については、同一の符号を付し、適宜説明を省略する。

特徴量算出部１２０は、図１７に示すように、３０×３０ピクセルの部分領域を設定し、更に部分領域を１０×１０ピクセルのセル領域に分割する。部分領域内にはセル領域が３×３個存在することになる。特徴量算出部１２０は、各セル領域について勾配ベクトルのヒストグラム（セル特徴量）を求め、そのヒストグラムを結合し、部分領域の特徴量として出力する。具体的には、特徴量算出部１２０は、セル特徴量算出部１２１、勾配ベクトル算出部１２３、ノルム算出部１２４、角度指数算出部１２５、角度指数回転補正部１２６、セル特徴量結合部１２７を含む。

勾配ベクトル算出部１２３は、入力画像における各画素（ｘ，ｙ）の輝度値Ｉ（ｘ，ｙ）を求める。そして、下式（５）により、画素（ｘ，ｙ）における勾配ベクトル（ｈ（ｘ，ｙ），ｖ（ｘ，ｙ））を算出する。

ノルム算出部１２４は、下式（６）により、画素（ｘ，ｙ）における勾配ベクトルのノルムｎ（ｘ，ｙ）を算出する。

角度指数算出部１２５は、勾配ベクトルの方向を量子化し、画素（ｘ，ｙ）における角度指数を算出する。即ち、図１８に示すように、３６０度を４５度ずつの８つの範囲に分割し、各範囲に“０”〜“７”の角度指数を割り当てる。例えば、ｘ軸を含む範囲を開始位置として時計回りに順に“０”〜“７”を割り当てる。角度指数算出部１２５は、勾配ベクトルの方向を回転角（例えばｘ軸を基準とする時計回りの回転角）で表し、その回転角を上記の割り当てで角度指数に変換する。角度指数の個数は８個としたが、本実施形態ではこれに限定されず、その他の分割数を用いてもよい。

角度指数回転補正部１２６は、角度指数算出部１２５が出力した角度指数を、天地情報に基づいて回転補正する。具体的には、撮像時の天地方向ＴＤが正位置の場合は、角度指数算出部１２５が出力した角度指数をそのまま出力する。天地方向ＴＤが右方向、下方向、左方向の場合には、図１９に示す対応で角度指数を変換し、角度指数の回転補正を行う。この変換は、例えばルックアップテーブルにより実現してもよいし、或は、演算により変換を行ってもよい。

図１９の対応は、次のようにして決定する。図２０を用いて、右方向の場合を例にとり説明する。天地方向ＴＤに対する依存性を補正したいので、天地方向ＴＤに対して角度指数の割り当てが固定されていればよい。そこで、天地方向ＴＤが正位置の場合の角度指数を右に９０度回転させる。この割り当てで量子化できれば、天地方向ＴＤが右方向であっても、天地方向ＴＤに依存しない角度指数が求まることになる。即ち、この２つの割り当てを比較し、その角度指数の対応を決定し、その対応で角度指数を変換することで、天地方向ＴＤに依存しない角度指数に補正できる。天地方向ＴＤが他の方向の場合も、同様にして対応を決定する。

５．２．ヒストグラムの算出処理、補正処理
図２１に示すように、セル特徴量算出部１２１は、勾配ベクトルのノルムと角度指数に基づいてヒストグラムを作成し、そのヒストグラムをセル特徴量として出力する。具体的には、セル領域内で勾配ベクトルのノルムを角度指数毎に集計して加算することで、角度指数の個数である８次元分のヒストグラムを作成する。或は、セル特徴量算出部１２１は、セル領域内で角度指数の頻度を集計することで、８次元分のヒストグラムを作成してもよい。

セル特徴量結合部１２７は、セル特徴量を結合してＨＯＧを作成し、そのＨＯＧを部分領域の特徴量として出力する。具体的には、図２２に示すように、３×３個のセル領域に順番（番号）を設定し、その順番でセル領域のヒストグラムを結合し、８×９次元のヒストグラムをＨＯＧとして作成する。順番は、例えばラスター的に割り当てる。即ち、左上を基準として右方向に順番に“０”〜“２”を割り当て、１段下のセル領域に同様に“３”〜“５”を割り当て、更に１段下のセル領域に同様に“６”〜“８”を割り当てる。結合の際には、例えば、次元の低い側から順にセル領域“０”〜“８”のヒストグラムを並べる。

特徴量回転補正部１４０は、特徴量算出部１２０が出力した特徴量を、天地情報に基づいてセル特徴量単位で並び替え、特徴量の回転補正を行う。具体的には、天地方向ＴＤが正位置の場合、特徴量回転補正部１４０は、特徴量算出部１２０が出力したＨＯＧをそのまま出力する。天地方向ＴＤが右方向、下方向、左方向の場合には、図２３に示すように、ＨＯＧの中でセル領域のヒストグラムを並び替え、ＨＯＧを回転補正する。

この並び替えは、セル領域に割り当てた順番を天地方向ＴＤに応じて変換することに対応している。図２４を用いて、右方向の場合を例に説明する。天地方向ＴＤに対する依存性を補正したいので、天地方向ＴＤに対してセル領域の順番の割り当てが固定されていればよい。そこで、天地方向ＴＤが正位置の場合の順番を右に９０度回転させる。この割り当てでセル領域のヒストグラムを連結できれば、天地方向ＴＤが右方向であっても、天地方向ＴＤに依存しないＨＯＧが求まることになる。即ち、この２つの割り当てを比較し、その順番の対応を決定し、その対応でセル領域のヒストグラムを並び替えることで、天地方向ＴＤに依存しないＨＯＧに補正できる。天地方向ＴＤが他の方向の場合も、同様にして対応を決定する。

なお、上記では部分領域の大きさを３０×３０ピクセルとし、セル領域の大きさを１０×１０ピクセルとしたが、本実施形態はこれに限定されず、部分領域及びセル領域は種々の大きさに設定できる。

以上の第４実施形態によれば、特徴量算出部１２０は、部分領域（３０×３０ピクセル）を複数の分割領域（１０×１０ピクセルのセル領域）に分割する（図１７）。特徴量算出部１２０は、各分割領域内の各画素での特徴量（勾配ベクトルの角度指数）を算出し（図１８）、その各画素での特徴量をビンとする各分割領域でのヒストグラムを求める（図２１）。特徴量算出部１２０は、複数の分割領域に順番（“０”〜“８”）を設定し、その順番で各分割領域でのヒストグラムを結合して部分領域の特徴量（セル領域でのヒストグラム、セル特徴量）を求める（図２２）。そして、特徴量回転補正部１４０は、結合したヒストグラムにおいて各分割領域のヒストグラムの並び順を天地方向ＴＤに基づいて並び替え、部分領域の特徴量を回転補正する（図２３）。

このようにすれば、部分領域を更にセル領域に分割し、各セル領域で計算したセル特徴量を結合することで計算される特徴量に対して、回転補正を行うことができる。ヒストグラムの結合順を並び変える処理（図２４のような対応を用いた変換）は簡素な処理であるため、小さい処理コストで回転補正を実現できる。

また本実施形態では、特徴量算出部１２０は、各画素について回転依存の特徴量（勾配ベクトルの角度指数）を回転依存の情報として算出する（図１８）。そして、特徴量算出部１２０は、その回転依存の特徴量を天地方向ＴＤに基づいて回転変換する処理を行い（図１９）、処理後の回転依存の特徴量に基づいて各分割領域のヒストグラムを求める（図２１）。

このようにすれば、セル特徴量が回転依存である場合に、各画素についての回転依存の特徴量（角度指数）を天地方向ＴＤに基づいて回転補正することで、天地方向ＴＤに依存しないセル特徴量を求めることができる。

また本実施形態では、特徴量算出部１２０は、各画素（ｘ，ｙ）について画素値（輝度値）の勾配ベクトル（ｈ（ｘ，ｙ），ｖ（ｘ，ｙ））を算出する勾配ベクトル算出部１２３と、勾配ベクトルの方向を量子化した角度指数を回転依存の特徴量として算出する角度指数算出部１２５と、その角度指数を天地方向ＴＤに基づいて回転変換する処理を行う角度指数回転補正部１２６と、を有する（図１６）。

このようにすれば、部分領域の勾配情報を用いた特徴量を回転補正することができる。具体的には、勾配ベクトルのノルムを各角度指数で加算したヒストグラム（ＨＯＧ）を作成する際に、角度指数を回転補正することで天地方向ＴＤに依存しないＨＯＧを作成できる。勾配ベクトルの角度指数を変換する処理（図１９、図２０のような対応を用いた変換）は簡素な処理であるため、小さい処理コストで回転補正を実現できる。例えば、ルックアップテーブルを用いて角度指数を回転補正することにより、演算器の使用を削減することができる。

６．第５実施形態
図２５に、第５実施形態における画像処理装置の構成例を示す。画像処理装置１０は、特徴量処理部１００、画像取得部２００、天地情報取得部２１０を含む。特徴量処理部１００は、特徴量算出部１２０、特徴量回転補正部１４０を含む。なお、上述した実施形態で説明した構成要素と同一の構成要素については、同一の符号を付し、適宜説明を省略する。

第５実施形態では、第４実施形態と同様に、特徴量としてＨＯＧを用いる。第４実施形態と異なるのは、特徴量算出部１２０が、角度指数の回転補正でなく勾配ベクトルの回転補正を行う点である。具体的には、特徴量算出部１２０は、セル特徴量算出部１２１、勾配ベクトル算出部１２３、ノルム算出部１２４、角度指数算出部１２５、セル特徴量結合部１２７、勾配ベクトル回転補正部１２８を含む。

勾配ベクトル回転補正部１２８は、天地情報に基づいて勾配ベクトルを回転補正し、それを回転補正勾配ベクトルとして出力する。即ち、下式（７）により、勾配ベクトル（ｈ（ｘ，ｙ），ｖ（ｘ，ｙ））を回転補正勾配ベクトル（ｈ’（ｘ，ｙ）， ｖ’（ｘ，ｙ））に変換する。

この変換は、図２６に示すように勾配ベクトルの回転変換である。その回転角度は、正位置での天地方向ＴＤを基準とする天地方向ＴＤの回転角度と同じである。これにより、天地方向ＴＤに依存しない勾配ベクトルに変換される。

以下の処理は第４実施形態と同様である。即ち、ノルム算出部１２４が回転補正勾配ベクトルのノルムを算出し、角度指数算出部１２５が回転補正勾配ベクトルを角度指数に量子化し、セル特徴量算出部１２１がノルム及び角度指数をヒストグラム化してセル特徴量を求め、セル特徴量結合部１２７がセル特徴量を結合してＨＯＧを出力し、特徴量回転補正部１４０が天地方向ＴＤに応じてセル特徴量の結合順を並び替え、ＨＯＧを回転補正する。

以上の第５実施形態によれば、特徴量算出部１２０は、各画素（ｘ，ｙ）について画素値（輝度値）の勾配ベクトル（ｈ（ｘ，ｙ），ｖ（ｘ，ｙ））を回転依存の特徴量として算出する勾配ベクトル算出部１２３と、勾配ベクトルを天地情報に基づいて回転変換する処理を行う勾配ベクトル回転補正部１２８と、その回転変換された勾配ベクトル（ｈ’（ｘ，ｙ）， ｖ’（ｘ，ｙ））の方向を量子化した角度指数を算出する角度指数算出部１２５と、を有する。

このようにすれば、部分領域の勾配情報を用いた特徴量（勾配ベクトル）を回転補正することができる。具体的には、勾配ベクトルを天地方向ＴＤに基づいて回転し、その勾配ベクトルでＨＯＧを作成することにより、天地方向ＴＤに依存しないＨＯＧを作成できる。勾配ベクトルの回転（図２６のような変換）は簡素な処理であるため、小さい処理コストで回転補正を実現できる。例えば、演算器を用いて勾配ベクトルを回転補正することにより、ルックアップテーブルの使用を削減（メモリー容量を節約）することができる。

７．第６実施形態
図２７に、第６実施形態における画像処理装置の構成例を示す。画像処理装置１０は、特徴量処理部１００、画像取得部２００、天地情報取得部２１０を含む。特徴量処理部１００は、特徴量算出部１２０、特徴量回転補正部１４０を含む。なお、上述した実施形態で説明した構成要素と同一の構成要素については、同一の符号を付し、適宜説明を省略する。

第６実施形態では、第４実施形態と同様に、特徴量としてＨＯＧを用いる。第４実施形態と異なるのは、特徴量算出部１２０が、角度指数の回転補正でなくセル特徴量の回転補正を行う点である。具体的には、特徴量算出部１２０は、セル特徴量算出部１２１、勾配ベクトル算出部１２３、ノルム算出部１２４、角度指数算出部１２５、セル特徴量結合部１２７、セル特徴量回転補正部１２９を含む。

セル特徴量回転補正部１２９は、セル特徴量算出部１２１が出力したセル特徴量を天地情報に基づいて回転補正する。即ち、天地方向ＴＤが正位置の場合には、セル特徴量算出部１２１が出力した８次元のヒストグラムをそのまま出力する。天地方向ＴＤが右方向、下方向、左方向の場合には、図２８に示すように、８次元のヒストグラムの次元（角度指数のビン）を並び替え、回転補正セル特徴量として出力する。図２８において、例えば「角度指数０」の記載は、図２１のヒストグラムにおける角度指数０のビンに対応している。

この並び替えは、第４実施形態における角度指数の変換と結果的に同じである。右方向の場合を例に説明する。図１９で説明したように、角度指数を変換する場合には、例えば角度指数“０”は“６”に変換される。これは、元の角度指数“０”が７番目のビン（“０”番があるので“６”は第７次元）になることを意味する。図２８に示すように、ビンを並び替える場合も、角度指数“０”のビンが７番目のビンに並び替えられており、角度指数の変換と同一の結果となっている。

以上の第６実施形態によれば、特徴量算出部１２０は、各画素（ｘ，ｙ）について回転依存の特徴量（勾配ベクトルの角度指数）を算出し、その回転依存の特徴量をビンとする各分割領域のヒストグラムを各分割領域の特徴量（セル特徴量）として求める。そして、特徴量算出部１２０は、その各分割領域のヒストグラムにおいてビンを回転依存の情報として天地方向ＴＤに基づいて並び替え、各分割領域の特徴量を回転補正する（図２８）。

このようにすれば、セル特徴量であるヒストグラムが回転依存である場合に、ヒストグラムのビンを天地方向ＴＤに基づいて回転補正することで、天地方向ＴＤに依存しないセル特徴量を求めることができる。このようなビンの並び変え（図２８の対応を用いた変換）は簡素な処理であるため、小さい処理コストで回転補正を実現できる。

また、本実施形態では、特徴量算出部１２０は、各画素（ｘ，ｙ）について画素値（輝度値）の勾配ベクトル（ｈ（ｘ，ｙ），ｖ（ｘ，ｙ））を算出する勾配ベクトル算出部１２３と、その勾配ベクトルの方向を量子化した角度指数（“０”〜“７”）を回転依存の特徴量として算出する角度指数算出部１２５と、を有する。

このようにすれば、勾配ベクトルを用いたセル特徴量（セル領域のヒストグラム）を回転補正することができる。具体的には、セル領域のヒストグラムにおいて、天地方向ＴＤに基づいてビンを並び変えることにより、天地方向ＴＤに依存しないセル特徴量を作成できる。このようなビンの並び変え（図２８の対応を用いた変換）は簡素な処理であるため、小さい処理コストで回転補正を実現できる。

８．第７実施形態
図２９に、第７実施形態における画像処理装置の構成例を示す。画像処理装置１０は、特徴量処理部１００、画像取得部２００、天地情報取得部２１０、辞書データ保持部２２０を含む。特徴量処理部１００は、特徴量算出部１２０と特徴量探索部１５０を含む。なお、上述した実施形態で説明した構成要素と同一の構成要素については、同一の符号を付し、適宜説明を省略する。

第７実施形態では、第１〜第６実施形態で説明した種々の特徴量を用いることができる。第１〜第６実施形態と異なる点は、辞書データを探索して特徴量を決定する点と、特徴量でなく辞書データを回転補正する点である。なお、以下では特徴量が第３〜第６実施形態のようなヒストグラムである場合を例に説明する。

辞書データ保持部２２０は、特徴量の配列を辞書データとして保持する。辞書データ内の特徴量は、ＬＢＰのヒストグラムやＨＯＧである。辞書データは、次のようにして予め作成する。即ち、多数のサンプル画像から特徴量を抽出し、その特徴量に対して例えばｋ平均法等の統計処理を行い、特徴量の配列を作成する。以下では、区別のために、特徴量算出部１２０が出力した特徴量を対象特徴量と呼び、辞書データ中の特徴量を辞書特徴量と呼ぶ。

特徴量算出部１２０は、入力画像の特徴量を算出し、対象特徴量として出力する。このとき、天地情報に基づく回転補正は行わない。対象特徴量は、辞書特徴量と同一タイプのヒストグラムである。

特徴量探索部１５０は、辞書データの中から対象特徴量に最も類似した辞書特徴量を探索する。特徴量探索部１５０は、辞書特徴量を探索する際に、辞書特徴量を天地情報に基づいて回転補正し、その回転補正した辞書特徴量と対象特徴量の類似度を求める。ヒストグラムの回転補正は、第３〜第６実施形態と同様の手法により行う。

類似度としては、例えば、下式（８）により対象特徴量ＦＡ_ｉと回転補正された辞書特徴量Ｄ_ｎ，ｉとの距離ｄ_ｎを算出する。ＦＡ_ｉ、Ｄ_ｎ，ｉは、ヒストグラムの第ｉのビンであり、ヒストグラムをＮ次元とすると、ｉ＝１，２，…，Ｎである。Ｄ_ｎ，ｉの“ｎ”は、辞書データの配列中の番号であり、配列中のｎ番目のデータであることを表す。

特徴量探索部１５０は、例えば距離ｄ_ｎが小さいほど類似度が高いとして、距離ｄ_ｎが最小となる配列の番号“ｎ”を出力する。

なお、上記では特徴量探索部１５０が辞書特徴量を回転補正する場合を例に説明したが、本実施形態はこれに限定されない。例えば、辞書データ保持部２２０は、天地方向ＴＤが正位置の場合の特徴量だけでなく、天地方向ＴＤが右方向、下方向、左方向の場合の予め回転補正された特徴量を保持しもよい。そして、特徴量探索部１５０は、天地情報に基づいて天地方向ＴＤに対応する辞書特徴量を辞書データ保持部２２０から取り出してもよい。

以上の第７実施形態によれば、画像処理装置１０は、入力画像を取得する画像取得部２００と、入力画像の天地方向ＴＤを表す天地情報を取得する天地情報取得部２１０と、入力画像の部分領域における特徴量（対象特徴量ＦＡ_ｉ）を算出する特徴量処理部１００と、予め作成した複数の特徴量の配列である辞書データを保持する辞書データ保持部２２０と、を含む。そして、特徴量処理部１００は、辞書データ内の特徴量（辞書特徴量）を天地方向ＴＤに基づいて回転補正し、その回転補正した辞書データ内の特徴量（Ｄ_ｎ，ｉ）の中から、部分領域における特徴量（ＦＡ_ｉ）に最も類似した（距離ｄ_ｎが最も小さい）特徴量を探索する。

このようにすれば、部分領域において計算した特徴量を辞書データに対応づける処理において、画像の上下方向（上方向ＵＤ）と天地方向ＴＤが一致しない場合であっても、正しく対応付けを行うことができる。辞書データの回転補正は、第１〜第６実施形態で説明したように順番やセルの並び変え等の簡素な処理であるため、小さい処理コストで回転補正を実現できる。また、予め回転補正した辞書データを保持する場合には、回転補正処理が不要のため、演算器の使用を削減できる。

９．ソフトウェア
以上に説明した実施形態では、画像処理装置１０を構成する各部をハードウェアで構成することとしたが、本実施形態はこれに限定されない。例えば、撮像装置を用いて予め取得された画像と天地情報に対して、ＣＰＵが各部の処理を行う構成とし、ＣＰＵがプログラムを実行することによってソフトウェアとして実現することとしてもよい。あるいは、各部が行う処理の一部をソフトウェアで構成することとしてもよい。

この場合、情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサーが実行する。ここで、情報記憶媒体（コンピューターにより読み取り可能な媒体）は、プログラムやデータなどを格納するものである。情報記憶媒体は、ＣＤ−ＲＯＭやＵＳＢメモリーの他、ＭＯディスクやＤＶＤディスク、フレキシブルディスク（ＦＤ）、光磁気ディスク、ＩＣカード等を含む「可搬用の物理媒体」、コンピューターシステムの内外に備えられるＨＤＤやＲＡＭ、ＲＯＭ等の「固定用の物理媒体」、モデムを介して接続される公衆回線や、他のコンピューターシステム又はサーバーが接続されるローカルエリアネットワーク又は広域エリアネットワーク等のように、プログラムの送信に際して短期にプログラムを記憶する「通信媒体」等、コンピューターシステムによって読み取り可能なプログラムを記録するあらゆる記録媒体を含む。

即ち、プログラムは、上記の記録媒体にコンピューター読み取り可能に記録されるものであり、コンピューターシステム（操作部、処理部、記憶部、出力部を備える装置）は、このような記録媒体からプログラムを読み出して実行することで画像処理装置を実現する。なお、プログラムは、コンピューターシステムによって実行されることに限定されるものではなく、他のコンピューターシステム又はサーバーがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。

以上、本発明を適用した実施形態およびその変形例について説明したが、本発明は、各実施形態やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。

１０ 画像処理装置、２０ 撮像部、３０ 天地方向センサー、
１００ 特徴量処理部、１１０ 情報回転補正部、１２０ 特徴量算出部、
１２１ セル特徴量算出部、１２２ ヒストグラム算出部、
１２３ 勾配ベクトル算出部、１２４ ノルム算出部、１２５ 角度指数算出部、
１２６ 角度指数回転補正部、１２７ セル特徴量結合部、
１２８ 勾配ベクトル回転補正部、１２９ セル特徴量回転補正部、
１４０ 特徴量回転補正部、１５０ 特徴量探索部、２００ 画像取得部、
２１０ 天地情報取得部、２２０ 辞書データ保持部、
Ｆ０〜Ｆ７ ビット、ＴＤ 天地方向、ＵＤ 上方向、ｐ_ｃ 注目画素、
ｐ_０〜ｐ_７ 周辺画素

Claims (6)

1. 入力画像を取得する画像取得部と、
   前記入力画像の天地方向を表す天地情報を取得する天地情報取得部と、
   前記入力画像の部分領域における特徴量を前記天地情報に基づいて算出する特徴量処理部と、
   を含み、
   前記特徴量処理部は、
   前記部分領域内の画素値に基づいて二値化処理を行って各画素についてビットデータを求め、前記ビットデータを所定の順番で並べたビット列データを特徴量として求める特徴量算出部と、
   前記ビット列データにおける前記ビットデータの並び順を回転依存の情報として前記天地方向に基づいて並び替えることで、前記特徴量を回転補正する特徴量回転補正部と、
   を有することを特徴とする画像処理装置。
2. 入力画像を取得する画像取得部と、
   前記入力画像の天地方向を表す天地情報を取得する天地情報取得部と、
   前記入力画像の部分領域における特徴量を前記天地情報に基づいて算出する特徴量処理部と、
   を含み、
   前記特徴量処理部は、
   回転依存の情報として前記部分領域内の画素に順番を設定し、前記順番を前記天地方向に基づいて並び替えることで、前記回転依存の情報を回転変換する処理を行う情報回転補正部と、
   前記部分領域内の画素値に基づいて二値化処理を行って各画素についてビットデータを求め、前記並び替えられた前記順番で前記ビットデータを並べたビット列データを特徴量として求める特徴量算出部と、
   を有することを特徴とする画像処理装置。
3. 入力画像を取得する処理を行い、
   前記入力画像の天地方向を表す天地情報を取得する処理を行い、
   前記入力画像の部分領域内の画素値に基づいて二値化処理を行って各画素についてビットデータを求め、前記ビットデータを所定の順番で並べたビット列データを特徴量として求め、
   前記ビット列データにおける前記ビットデータの並び順を回転依存の情報として前記天地方向に基づいて並び替えることで、前記特徴量を回転補正することを特徴とする画像処理方法。
4. 入力画像を取得する処理を行い、
   前記入力画像の天地方向を表す天地情報を取得する処理を行い、
   回転依存の情報として前記入力画像の部分領域内の画素に順番を設定し、前記順番を前記天地方向に基づいて並び替えることで、前記回転依存の情報を回転変換する処理を行い、
   前記部分領域内の画素値に基づいて二値化処理を行って各画素についてビットデータを求め、前記並び替えられた前記順番で前記ビットデータを並べたビット列データを特徴量として求めることを特徴とする画像処理方法。
5. 入力画像を取得する処理を行い、
   前記入力画像の天地方向を表す天地情報を取得する処理を行い、
   前記入力画像の部分領域内の画素値に基づいて二値化処理を行って各画素についてビットデータを求め、前記ビットデータを所定の順番で並べたビット列データを特徴量として求め、
   前記ビット列データにおける前記ビットデータの並び順を回転依存の情報として前記天地方向に基づいて並び替えることで、前記特徴量を回転補正する、
   ステップをコンピューターに実行させる画像処理プログラム。
6. 入力画像を取得する処理を行い、
   前記入力画像の天地方向を表す天地情報を取得する処理を行い、
   回転依存の情報として前記入力画像の部分領域内の画素に順番を設定し、前記順番を前記天地方向に基づいて並び替えることで、前記回転依存の情報を回転変換する処理を行い、
   前記部分領域内の画素値に基づいて二値化処理を行って各画素についてビットデータを求め、前記並び替えられた前記順番で前記ビットデータを並べたビット列データを特徴量として求める、
   ステップをコンピューターに実行させる画像処理プログラム。