JP6149829B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置及び画像処理方法に関する。

従来、印刷した用紙を読み取って得られた画像を検品済みの基準画像と照合することにより、画像の誤り、消失、汚れ等の不良を検出することが行われている。
画像のわずかな位置ずれによる不良の誤検出を減らすため、不良の検出時には、各画像から固有の画像特性を有する特徴点を検出して、その画像特性を表す特徴量を照合することが行われている。

例えば、特徴点として照合する各画像からエッジを検出し、当該エッジのエッジ方向及びエッジ強度を特徴量として求めることが行われている（例えば、特許文献１参照）。
また、ＦＡＳＴ（Features from Accelerated Segment Test）は、特徴点としてコーナーを検出する手法として知られている（例えば、非特許文献１参照）。ＦＡＳＴは、ソフトウェアにより特徴点を検出する際に、特徴点を効率良く、精度良く決定できるように機械学習を利用しており、ソフトウェアによる検出処理を高速化するために最適化されている。

特開２００７−１５６６２６号公報

Machine learning for high-speed corner detection,Edward Rosten,Tom Drummond

しかしながら、エッジ方向の特徴量を求めるためには、エッジ検出時に垂直、水平及び斜め方向の各方向用のエッジ検出フィルタを切り替えてそれぞれフィルタ演算しなければならず、演算量が増大する。また、エッジ強度の特徴量はデータ量が大きいため、特徴量を保存するために必要な記憶容量も増え、コストが上昇する。さらに、各画素の周辺画素にノイズが付加されていると、エッジの誤検出が増えやすいという問題もある。

一方、ＦＡＳＴは、各画素から数画素離れて環状に位置する複数の周辺画素を元に特徴点を決定しているため、ノイズの影響は少なく、固有の画像特性を持つ特徴点を精度良く決定することができる。しかしながら、ＦＡＳＴは特徴点の検出のみ行う手法であり、特徴量を得るには、特徴点の決定後、さらに特徴点に固有の特徴量を算出するステップが必要となる。

本発明の課題は、データ量が少なく、目的の画像部分の検出精度が高い特徴量を効率良く算出することである。

請求項１に記載の発明によれば、
画像から１又は複数の特徴点を検出する特徴点検出部と、
前記特徴点検出部により検出された前記１又は複数の特徴点の特徴量を算出する特徴量算出部と、を備え、
前記特徴点検出部は、
前記画像の各画素を注目画素として、注目画素と複数の周辺画素の各画素値を入力し、前記注目画素と比較して、前記各周辺画素の画素値が大きくその差が第１閾値以上であるか、前記各周辺画素の画素値が小さくその差が第１閾値以上であるか又は前記注目画素と前記各周辺画素の画素値の差が第１閾値未満であるかによって、前記各周辺画素の画素値を、前記注目画素と比較した各周辺画素の明るさが明るい、暗い又は同程度であることを表す３つの信号値のいずれかに変換する３値化処理部と、
前記複数の周辺画素のうち、前記３値化処理部により明るい又は暗いことを表す信号値に変換された周辺画素が連続する数が第２閾値以上である場合、前記注目画素を特徴点として決定する決定部と、を備え、
前記特徴量算出部は、前記特徴点を決定した後、前記特徴点として決定した前記注目画素の特徴量として、前記注目画素から複数の方向に位置する各周辺画素の信号値を用いて各方向の特徴量成分を算出し、当該特徴量成分が前記３つの信号値のうちのいずれか１つの信号値からなることを特徴とする画像処理装置が提供される。

請求項２に記載の発明によれば、
前記複数の方向の数が、前記複数の周辺画素の数より少ないことを特徴とする請求項１に記載の画像処理装置が提供される。

請求項３に記載の発明によれば、
画像から１又は複数の特徴点を検出する特徴点検出部と、
前記特徴点検出部により検出された前記１又は複数の特徴点の特徴量を算出する特徴量算出部と、を備え、
前記特徴点検出部は、
前記画像の各画素を注目画素として、注目画素と複数の周辺画素の各画素値を入力し、前記注目画素と比較して、前記各周辺画素の画素値が大きくその差が第１閾値以上であるか、前記各周辺画素の画素値が小さくその差が第１閾値以上であるか又は前記注目画素と前記各周辺画素の画素値の差が第１閾値未満であるかによって、前記各周辺画素の画素値を、前記注目画素と比較した各周辺画素の明るさが明るい、暗い又は同程度であることを表す３つの信号値のいずれかに変換する３値化処理部と、
前記複数の周辺画素のうち、前記３値化処理部により明るい又は暗いことを表す信号値に変換された周辺画素が連続する数が第２閾値以上である場合、前記注目画素を特徴点として決定する決定部と、を備え、
前記特徴量算出部は、
前記注目画素の特徴量として、前記注目画素から複数の方向に位置する各周辺画素の信号値を用いて各方向の特徴量成分を算出し、当該特徴量成分が前記３つの信号値のいずれかからなり、
前記複数の方向の数が、前記複数の周辺画素の数より少ない場合、前記特徴量成分を算出する方向に位置する周辺画素の信号値と、当該周辺画素から一定範囲内に位置する他の周辺画素の信号値のうち、頻度が最大の信号値を前記方向の特徴量成分とすることを特徴とする画像処理装置が提供される。

請求項４に記載の発明によれば、
画像から１又は複数の特徴点を検出する特徴点検出部と、
前記特徴点検出部により検出された前記１又は複数の特徴点の特徴量を算出する特徴量算出部と、を備え、
前記特徴点検出部は、
前記画像の各画素を注目画素として、注目画素と複数の周辺画素の各画素値を入力し、前記注目画素と比較して、前記各周辺画素の画素値が大きくその差が第１閾値以上であるか、前記各周辺画素の画素値が小さくその差が第１閾値以上であるか又は前記注目画素と前記各周辺画素の画素値の差が第１閾値未満であるかによって、前記各周辺画素の画素値を、前記注目画素と比較した各周辺画素の明るさが明るい、暗い又は同程度であることを表す３つの信号値のいずれかに変換する３値化処理部と、
前記複数の周辺画素のうち、前記３値化処理部により明るい又は暗いことを表す信号値に変換された周辺画素が連続する数が第２閾値以上である場合、前記注目画素を特徴点として決定する決定部と、を備え、
前記特徴量算出部は、
前記注目画素の特徴量として、前記注目画素から複数の方向に位置する各周辺画素の信号値を用いて各方向の特徴量成分を算出し、当該特徴量成分が前記３つの信号値のいずれかからなり、
前記複数の方向の数が、前記複数の周辺画素の数より少ない場合、前記特徴量成分を算出する方向に位置する周辺画素の信号値と、当該周辺画素から一定範囲内に位置する他の周辺画素の信号値を重み付け平均し、得られた信号値を前記方向の特徴量成分とすることを特徴とする画像処理装置が提供される。

請求項５に記載の発明によれば、
前記特徴量算出部は、前記重み付け平均により得られた信号値の少数部を四捨五入することを特徴とする請求項４に記載の画像処理装置が提供される。

請求項６に記載の発明によれば、
前記３値化処理部は、前記第１閾値を前記注目画素の画素値に応じて決定することを特徴とする請求項１〜５のいずれか一項に記載の画像処理装置が提供される。

請求項７に記載の発明によれば、
前記画像の解像度を、前記特徴量を用いて前記画像中から検出する画像部分のサイズに応じた解像度に変換する解像度変換部を備え、
前記特徴点検出部は、前記解像度変換部による解像度変換後の画像から前記特徴点の検出を行うことを特徴とする請求項１〜６のいずれか一項に記載の画像処理装置が提供される。

請求項８に記載の発明によれば、
前記複数の方向が、それぞれの隣接する方向となす角度が同じであることを特徴とする請求項１〜７のいずれか一項に記載の画像処理装置が提供される。

請求項９に記載の発明によれば、
（ａ）画像から１又は複数の特徴点を検出するステップと、
（ｂ）前記ステップ（ａ）により検出された前記１又は複数の特徴点の特徴量を算出するステップと、を含み、
前記ステップ（ａ）は、
（ａ１）前記画像の各画素を注目画素として、注目画素と複数の周辺画素の各画素値を入力するステップと、
（ａ２）前記注目画素と比較して、前記各周辺画素の画素値が大きくその差が第１閾値以上であるか、前記各周辺画素の画素値が小さくその差が第１閾値以上であるか又は前記注目画素と前記各周辺画素の画素値の差が第１閾値未満であるかによって、前記各周辺画素の画素値を、前記注目画素と比較した各周辺画素の明るさが明るい、暗い又は同程度であることを表す３つの信号値のいずれかに変換するステップと、
（ａ３）前記複数の周辺画素のうち、明るい又は暗いことを表す信号値に変換された周辺画素が連続する数が第２閾値以上である場合、前記注目画素を特徴点として決定するステップと、をさらに含み、
前記ステップ（ｂ）では、前記特徴点を決定した後、前記特徴点として決定した前記注目画素の特徴量として、前記注目画素から複数の方向に位置する各周辺画素の信号値を用いて各方向の特徴量成分を算出し、当該特徴量成分が前記３つの信号値のうちのいずれか１つの信号値からなることを特徴とする画像処理方法が提供される。
請求項１０に記載の発明によれば、
（ａ）画像から１又は複数の特徴点を検出するステップと、
（ｂ）前記ステップ（ａ）により検出された前記１又は複数の特徴点の特徴量を算出するステップと、を含み、
前記ステップ（ａ）は、
（ａ１）前記画像の各画素を注目画素として、注目画素と複数の周辺画素の各画素値を入力するステップと、
（ａ２）前記注目画素と比較して、前記各周辺画素の画素値が大きくその差が第１閾値以上であるか、前記各周辺画素の画素値が小さくその差が第１閾値以上であるか又は前記注目画素と前記各周辺画素の画素値の差が第１閾値未満であるかによって、前記各周辺画素の画素値を、前記注目画素と比較した各周辺画素の明るさが明るい、暗い又は同程度であることを表す３つの信号値のいずれかに変換するステップと、
（ａ３）前記複数の周辺画素のうち、明るい又は暗いことを表す信号値に変換された周辺画素が連続する数が第２閾値以上である場合、前記注目画素を特徴点として決定するステップと、をさらに含み、
前記ステップ（ｂ）では、
前記注目画素の特徴量として、前記注目画素から複数の方向に位置する各周辺画素の信号値を用いて各方向の特徴量成分を算出し、当該特徴量成分が前記３つの信号値のいずれかからなり、
前記複数の方向の数が、前記複数の周辺画素の数より少ない場合、前記特徴量成分を算出する方向に位置する周辺画素の信号値と、当該周辺画素から一定範囲内に位置する他の周辺画素の信号値のうち、頻度が最大の信号値を前記方向の特徴量成分とすることを特徴とする画像処理方法が提供される。
請求項１１に記載の発明によれば、
（ａ）画像から１又は複数の特徴点を検出するステップと、
（ｂ）前記ステップ（ａ）により検出された前記１又は複数の特徴点の特徴量を算出するステップと、を含み、
前記ステップ（ａ）は、
（ａ１）前記画像の各画素を注目画素として、注目画素と複数の周辺画素の各画素値を入力するステップと、
（ａ２）前記注目画素と比較して、前記各周辺画素の画素値が大きくその差が第１閾値以上であるか、前記各周辺画素の画素値が小さくその差が第１閾値以上であるか又は前記注目画素と前記各周辺画素の画素値の差が第１閾値未満であるかによって、前記各周辺画素の画素値を、前記注目画素と比較した各周辺画素の明るさが明るい、暗い又は同程度であることを表す３つの信号値のいずれかに変換するステップと、
（ａ３）前記複数の周辺画素のうち、明るい又は暗いことを表す信号値に変換された周辺画素が連続する数が第２閾値以上である場合、前記注目画素を特徴点として決定するステップと、をさらに含み、
前記ステップ（ｂ）では、
前記注目画素の特徴量として、前記注目画素から複数の方向に位置する各周辺画素の信号値を用いて各方向の特徴量成分を算出し、当該特徴量成分が前記３つの信号値のいずれかからなり、
前記複数の方向の数が、前記複数の周辺画素の数より少ない場合、前記特徴量成分を算出する方向に位置する周辺画素の信号値と、当該周辺画素から一定範囲内に位置する他の周辺画素の信号値を重み付け平均し、得られた信号値を前記方向の特徴量成分とすることを特徴とする画像処理方法が提供される。
請求項１２に記載の発明によれば、
前記ステップ（ｂ）では、前記重み付け平均により得られた信号値の少数部を四捨五入することを特徴とする請求項１１に記載の画像処理方法が提供される。
請求項１３に記載の発明によれば、
前記ステップ（ａ２）では、前記第１閾値を前記注目画素の画素値に応じて決定することを特徴とする請求項９〜１２のいずれか一項に記載の画像処理方法が提供される。
請求項１４に記載の発明によれば、
（ｃ）前記画像の解像度を、前記特徴量を用いて前記画像中から検出する画像部分のサイズに応じた解像度に変換するステップをさらに含み、
前記ステップ（ａ）では、前記ステップ（ｃ）による解像度変換後の画像から前記特徴点の検出を行うことを特徴とする請求項９〜１３のいずれか一項に記載の画像処理方法が提供される。
請求項１５に記載の発明によれば、
前記複数の方向が、それぞれの隣接する方向となす角度が同じであることを特徴とする請求項９〜１４のいずれか一項に記載の画像処理方法が提供される。

本発明によれば、データ量が少なく、目的の画像部分の検出精度が高い特徴量を効率良く算出することができる。

本実施の形態に係る画像処理装置の概略構成を機能ごとに表すブロック図である。 注目画素と複数の周辺画素を例示する図である。 第１閾値の決定に用いられる特性曲線の一例を示す図である。 第１閾値の決定に用いられる特性曲線の一例を示す図である。 特徴量成分を算出する複数の方向を示す図である。 画像処理装置が、特徴点を検出し、特徴量を算出する際の処理手順を示すフローチャートである。

以下、本発明の画像処理装置及び画像処理方法の実施の形態について、図面を参照して説明する。

図１は、本実施の形態に係る画像処理装置１０の概略構成を機能ごとに表すブロック図である。
画像処理装置１０は、画像から１又は複数の特徴点を検出し、各特徴点の特徴量を算出して出力する。画像中の文字、図形、写真等の画像部分だけでなく、濃度変化を示すのであれば、汚れ、スジ、濃度ムラ等の画像部分も固有の画像特性を有することから、画像処理装置１０により出力された特徴量を用いて、画像の検査、パターン認識等を行うことができる。

例えば、画像の検査時、トナー等の色材により用紙上に形成された画像と検品済みの基準画像のそれぞれから、画像処理装置１０により複数の特徴点を検出し、各特徴点の特徴量を算出して照合することにより、画像の誤り、消失、汚れ等の不良を検出することができる。また、パターン認識によって、例えば人物の画像部分を検出する場合、画像処理装置１０により画像から複数の特徴点を検出してその特徴量を算出し、学習用の人物の画像からあらかじめ求められていた各特徴点の特徴量と照合することにより、画像中の人物の画像部分を検出することができる。

画像処理装置１０は、図１に示すように、解像度変換部１、特徴点検出部２及び特徴量算出部３を備えている。解像度変換部１、特徴点検出部２及び特徴量算出部３は、それぞれラインバッファ等を内蔵するＬＳＩ（Large Scale Integration）等により構成することができる。
以下、各部の詳細を説明する。

解像度変換部１は、入力された画像の解像度を変換する。画像の解像度変換は必須ではなく、解像度変換を実施しない場合は、解像度変換部１は入力された画像をそのまま特徴点検出部２へ出力する。

解像度変換部１は、画像処理装置１０により出力された特徴量を用いて画像中から検出する画像部分のサイズに応じて、画像の解像度を変換することができる。これにより、画像中の検出対象の画像部分を効率的に検出することが可能となる。
例えば、電子写真方式によりトナーで用紙上に画像を形成する際、感光体、転写体等のクリーニング不良が原因で除去しきれなかったトナーが汚れとして用紙上に付着することがある。このような汚れの画像部分を検出対象とする場合、検出対象の画像部分はトナーの粉体の塊であり、そのサイズは０．１ｍｍから数ｍｍ程度である。画像の解像度を、１００〜３００dpiの範囲内の解像度に変換して、特徴点を検出する際の評価窓のサイズを上記粉体のサイズに合わせると、汚れの画像部分が特徴点として検出されやすくなり、汚れの画像部分の検出精度が向上する。
数ｍｍ程度のスジ、周期的な濃度ムラ等の画像部分を検出対象とする場合は、１０〜５０dpiの範囲内の解像度に変換することにより、当該画像部分の検出精度を高めることができる。

特徴点検出部２は、入力された画像から１又は複数の特徴点を検出する。解像度変換部１により解像度変換が実行された場合は、特徴点検出部２は、当該解像度変換後の画像から特徴点の検出を行う。
特徴点検出部２は、図１に示すように、３値化処理部２１及び決定部２２を備えて構成されている。

３値化処理部２１は、画像の各画素を注目画素として、注目画素と複数の周辺画素の各画素値を入力する。
複数の周辺画素は、注目画素から２画素以上離れて位置する画素である。複数の周辺画素が、注目画素を中心とする円の円周上に位置する各画素であると、コーナーの特性を有する特徴点を精度良く検出することができ、好ましい。円の半径は２画素以上であれば特に限定されないが、コーナーの特性を有する特徴点を高精度に検出できることから、３画素であることが好ましい。
図２は、注目画素と複数の周辺画素の例を示している。図２において、注目画素をＣ０と表し、注目画素Ｃ０を中心とする半径３画素の円を点線で表し、当該円の円周上に位置する１６の周辺画素をＣ１〜Ｃ１６と表している。

３値化処理部２１は、注目画素と比較して、各周辺画素の画素値が大きくその差が第１閾値以上であるか、各周辺画素の画素値が小さくその差が第１閾値以上であるか又は注目画素と各周辺画素の画素値の差が第１閾値未満であるかによって、各周辺画素の画素値を注目画素に対する各周辺画素の明るさが明るい、暗い及び同程度であることを表す３つの信号値のいずれかに変換する。３つの信号値はそれぞれ０、１及び２であり、各信号値のデータ量は２ビットである。なお、注目画素と各周辺画素の画素値の差とは、差の絶対値をいう。

図２に示す注目画素Ｃ０の画素値をＤ［Ｃ０］、第１閾値をＴｈ１（Ｔｈ１は正の整数）、各周辺画素Ｃ１〜Ｃ１６の画素値をＤ［ｋ］（ｋはＣ１〜Ｃ１６を表す）、各周辺画素Ｃ１〜Ｃ１６の変換後の信号値をＲ［ｋ］で表すと、３値化処理部２１による変換を次のように表すことができる。
Ｄ［Ｃ０］＋Ｔｈ１≦Ｄ［ｋ］のとき、Ｒ［ｋ］＝０
Ｄ［Ｃ０］−Ｔｈ１＜Ｄ［ｋ］＜Ｄ［Ｃ０］＋Ｔｈ１のとき、Ｒ［ｋ］＝１
Ｄ［ｋ］≦Ｄ［Ｃ０］−Ｔｈ１のとき、Ｒ［ｋ］＝２

図２に示す例では、注目画素Ｃ０と画素値が同じである周辺画素Ｃ８及びＣ１２は、画素値Ｄ［ｋ］がそれぞれ１の信号値Ｒ［ｋ］に変換される。注目画素Ｃ０よりも画素値が大きくその差が第１閾値Ｔｈ１以上である周辺画素Ｃ９〜Ｃ１１は、画素値Ｄ［ｋ］がそれぞれ０の信号値Ｒ［ｋ］に変換される。注目画素Ｃ０よりも画素値が小さくその差が第１閾値Ｔｈ１以上である周辺画素Ｃ１３〜Ｃ１６及びＣ１〜Ｃ７は、画素値Ｄ［ｋ］がそれぞれ２の信号値Ｒ［ｋ］に変換される。

上記変換の場合、注目画素と比較した周辺画素の明るさが明るい順と信号値が大きい順とが一致するように各信号値が割り当てられている。すなわち、２の信号値は周辺画素が注目画素よりも明るい（Brighter）ことを表し、１の信号値は周辺画素と注目画素の明るさが同程度（Similar）であることを表し、０の信号値は周辺画素が注目画素よりも暗い（Darker）ことを表している。

次のような変換により、注目画素と比較した周辺画素の明るさが暗い順と信号値が大きい順とが一致するように各信号値を割り当ててもよい。
Ｄ［Ｃ０］＋Ｔｈ１≦Ｄ［ｋ］のとき、Ｒ［ｋ］＝２
Ｄ［Ｃ０］−Ｔｈ１＜Ｄ［ｋ］＜Ｄ［Ｃ０］＋Ｔｈ１のとき、Ｒ［ｋ］＝１
Ｄ［ｋ］≦Ｄ［Ｃ０］−Ｔｈ１のとき、Ｒ［ｋ］＝０
この変換の場合、２の信号値は周辺画素が注目画素より暗い（Darker）ことを表し、１の信号値は周辺画素と注目画素の明るさが同程度（Similar）であることを表し、０の信号値は周辺画素が注目画素より明るい（Brighter）ことを表している。

３値化処理部２１は、第１閾値Ｔｈ１を、注目画素の画素値に応じて決定することができる。これにより、特徴量を用いて画像中から目的の画像部分を検出する際の検出精度を高めることができる。
例えば、白地の背景上のベタ汚れ等のように、最大濃度に近く、背景との濃度差が大きい画像部分を検出対象とする場合、図３に示す特性曲線に基づいて注目画素の画素値（％）に対応する第１閾値Ｔｈ１を決定することができる。図３に示す特性曲線によれば、画素値が５０％付近の中間調値であれば、決定される第１閾値Ｔｈ１が大きくなる。第１閾値Ｔｈ１が大きいほど、中間調の画像部分において特徴点が検出されにくくなるため、できるだけ最大濃度付近の画像部分の特徴点のみが検出されるように、汚れに対する検出感度を調整することができる。

一方、中間調の背景上のベタ汚れ等のように、背景との濃度差が小さい画像部分を検出対象とする場合、図４に示す特性曲線に基づいて注目画素の画素値（％）に対応する第１閾値Ｔｈ１を決定することができる。図４に示す特性曲線によれば、画素値が５０％付近の中間調値であれば、決定される第１閾値Ｔｈ１が小さくなる。第１閾値Ｔｈ１が小さいほど、中間調の画像部分において特徴点が検出されやすくなるため、検出対象の画像部分かどうかが疑わしい中間調の画像部分が特徴点として検出されるように、汚れに対する検出感度を調整することができる。
なお、図３及び図４中の画素値（％）を０〜１００％の濃淡のレベルで表している。

決定部２２は、複数の周辺画素のうち、３値化処理部２１により明るいことを表す信号値に変換された周辺画素が連続する数か、又は暗いことを表す信号値に変換された周辺画素が連続する数が第２閾値以上である場合、注目画素を特徴点として決定する。
例えば、図２に示す各周辺画素Ｃ１〜Ｃ１６のうち、各周辺画素Ｃ１〜Ｃ７、Ｃ１３〜Ｃ１６の信号値Ｒ［ｋ］が２（Brighter）である場合、注目画素Ｃ０に比較して明るいことを表す２の信号値に変換された周辺画素が連続する数は１１である。第２閾値をＴｈ２と表し、Ｔｈ２＝１１である場合、２の信号値に変換された周辺画素が連続する数は第２閾値Ｔｈ２以上であるので、決定部２２は注目画素Ｃ０を特徴点として決定する。

特徴量算出部３は、特徴点検出部２により検出された１又は複数の特徴点の特徴量を算出する。
具体的には、特徴量算出部３は、注目画素の特徴量として、注目画素から複数の方向に位置する各周辺画素の信号値を用いて各方向の特徴量成分を算出する。この特徴量成分は、３つの信号値のいずれかからなる。

特徴量算出部３は、すべての周辺画素の信号値を、注目画素からすべての周辺画素に向かうそれぞれの方向の特徴量成分とすることができる。
上記周辺画素Ｃ１〜Ｃ１６の場合、各周辺画素Ｃ１〜Ｃ１６の信号値Ｒ［ｋ］を、図５に示すように注目画素Ｃ０から各周辺画素Ｃ１〜Ｃ１６に向かう１６の方向Ｗ１〜Ｗ１６の特徴量成分とすることができる。例えば、方向Ｗ１の特徴量成分は周辺画素Ｃ１の信号値Ｒ［Ｃ１］であり、方向Ｗ２の特徴量成分は周辺画素Ｃ２の信号値Ｒ［Ｃ２］である。１方向の特徴量成分のデータ量は信号値のデータ量と同じ２ビットであるので、すべての方向Ｗ１〜Ｗ１６について特徴量を求めても、全部で３２ビットのデータ量に抑えることができる。

特徴量算出部３は、特徴量成分を算出する複数の方向の数を、複数の周辺画素の数よりも少なくすることができる。
例えば、図５に示す１６の方向Ｗ１〜Ｗ１６のうち、８の方向Ｗ２、Ｗ４、Ｗ６、Ｗ８、Ｗ１０、Ｗ１２、Ｗ１４及びＷ１６の特徴量成分を算出することができる。
これにより、特徴量のデータ量ひいては特徴量を保存するための記憶容量を減らすことができ、コストの低下を図ることができる。

特徴量を算出する複数の方向は、それぞれの隣接する方向となす角度が同じとなることが好ましい。
これにより、均等な角度ごとに特徴量成分を求めることができ、特徴量成分の方向性の偏りを排除して、目的の画像部分の検出精度が高い特徴量を得ることができる。例えば、同じ４方向でも、各方向が隣接する方向となす角度が不均一な方向Ｗ１、Ｗ２、Ｗ４及びＷ１５だと下方向の画像の特性を表す特徴量成分が得られない。一方、９０度間隔の方向Ｗ２、Ｗ６、Ｗ１０及びＷ１４であれば、全方向の画像の特性を表す特徴量成分が得られ、特徴量を用いた目的の画像部分の検出精度が向上する。

特徴量成分を算出する複数の方向の数を、複数の周辺画素の数よりも少なくする場合、特徴量算出部３は、特徴量成分を算出する方向に位置する周辺画素の信号値を、当該方向の特徴量とすることができる。
例えば、図５に示す方向Ｗ２、Ｗ６、Ｗ１０及びＷ１４の特徴量成分を、各方向Ｗ２、Ｗ６、Ｗ１０及びＷ１４上に位置する各周辺画素Ｃ２、Ｃ６、Ｃ１０及びＣ１４の信号値Ｒ［ｋ］に決定することができる。

特徴量算出部３は、特徴量成分を算出する方向に位置する周辺画素の信号値と、当該周辺画素から一定範囲内に位置する他の周辺画素の信号値のうち、頻度が最大の信号値を当該方向の特徴量成分とすることができる。
各方向の周辺に位置する複数の周辺画素の信号値を統合して、各方向の特徴量成分を算出することができるため、周辺画素にノイズが付加されている場合でもノイズの特徴量への影響を減らすことができる。

例えば、図５に示す方向Ｗ７の特徴量成分を、方向Ｗ７上に位置する周辺画素Ｃ７と当該周辺画素Ｃ７から半径１画素の円の範囲内に位置する周辺画素Ｃ６及びＣ８の各信号値Ｒ［Ｃ６］〜Ｒ［Ｃ８］のうち、頻度が最大の信号値Ｒ［ｋ］を方向Ｗ７の特徴量成分とする。信号値Ｒ［Ｃ６］及びＲ［Ｃ７］が２、信号値Ｒ［Ｃ８］が１である場合、頻度が最大の信号値Ｒ［ｋ］は２であるので、方向Ｗ７の特徴量成分を２とする。

また、特徴量算出部３は、特徴量成分を算出する方向に位置する周辺画素の信号値と、当該周辺画素から一定範囲内に位置する他の周辺画素の各信号値を重み付け平均し、得られた信号値を、当該方向の特徴量成分とすることもできる。
この場合も、各方向の周辺に位置する複数の周辺画素の信号値を統合して、各方向の特徴量成分を算出することができるため、周辺画素に付加されたノイズの特徴量への影響を減らすことができる。

例えば、図５に示す方向Ｗ７の特徴量を算出する場合、方向Ｗ７上に位置する周辺画素Ｃ７と当該周辺画素Ｃ７から半径１画素の円の範囲内に位置する周辺画素Ｃ６及びＣ８の各信号値Ｒ［Ｃ６］〜Ｒ［Ｃ８］を次のようにして重み付け平均し、方向Ｗ７の特徴量成分Ｆ［Ｗ７］を算出する。
Ｆ［Ｗ７］＝（Ｒ［Ｃ６］＋２×Ｒ［Ｃ７］＋Ｒ［Ｃ８］）／４

特徴量成分を算出する方向上に位置する周辺画素の信号値を特徴量に大きく反映したい場合は、上記重み付け平均の算出式のように、各周辺画素Ｃ６、Ｃ７及びＣ８のうち、特徴量成分を算出する方向上に位置する周辺画素Ｃ７の重み付け係数の比率を最大にすればよい。
特徴量成分を算出する方向上に位置する周辺画素だけでなく、その方向周辺に位置する周辺画素の信号値も等しく特徴量に反映したい場合は、各信号値の平均値を求めるようにしてもよい。上記算出式においては、各周辺画素Ｃ６、Ｃ７及びＣ８の重み付け係数を１：１：１とすべて等しい比率にして、信号値Ｒ［ｋ］の平均値を、方向Ｗ７の特徴量成分Ｆ［Ｗ７］として算出する。

特徴量算出部３は、重み付け平均により得られた信号値の少数部を四捨五入して、各方向の特徴量成分とすることが好ましい。四捨五入により、特徴量成分をハードウェア資源により処理しやすい２のべき乗のデータとすることができる。また、小数部の切り捨てによる目的の画像部分の検出精度の低下を防ぐことができる。

図６は、上記画像処理装置１０が特徴点を検出し、特徴量を算出する際の処理手順を示している。
図６に示すように、画像処理装置１０では、画像の解像度変換を実施する場合は（ステップＳ１；Ｙ）、解像度変換部１が画像の解像度を変換して（ステップＳ２）、ステップＳ３の処理へ移行する。解像度変換を実施しない場合は（ステップＳ１；Ｎ）、解像度変換部１による解像度変換を行わずに、ステップＳ３の処理へ移行する。

３値化処理部２１が画像の各画素のうち先頭の画素を注目画素として、注目画素と複数の周辺画素の各画素値を入力する（ステップＳ３）。入力する画像は、解像度変換部１により解像度変換が実行されている場合は、解像度変換後の画像である。

次に、３値化処理部２１は、注目画素と比較して画素値が大きくその差が第１閾値以上である周辺画素の画素値を、注目画素と比較した明るさが暗いことを表す０の信号値に変換する。また、３値化処理部２１は、注目画素と比較して画素値が小さくその差が第１閾値以上である周辺画素の画素値を、注目画素と比較した明るさが明るいことを表す２の信号値に変換する。また、３値化処理部２１は、注目画素と画素値の差が第１閾値未満である周辺画素の画素値を、注目画素と比較した明るさが同程度であることを表す１の信号値に変換する（ステップＳ４）。上述のように、明るいことを表す信号値が０で、暗いことを表す信号値が２であってもよい。

決定部２２は、複数の周辺画素のうち、３値化処理部２１により０又は２の信号値に変換された周辺画素の連続する数が第２閾値以上である場合は、注目画素を特徴点として決定する（ステップＳ５）。

特徴量算出部３は、注目画素が特徴点として決定されると、注目画素の特徴量として、注目画素から複数の方向に位置する各周辺画素の信号値を用いて各方向の特徴量成分を算出する（ステップＳ６）。上述したように、注目画素からすべての周辺画素へ向かう各方向の特徴量成分を算出することもできるし、すべての周辺画素へ向かう方向よりも数が少ない方向の特徴量成分を算出することもできる。

画像のすべての画素について特徴点の検出及び特徴量の算出を終えていない場合は（ステップＳ７；Ｎ）、ステップＳ３の処理へ戻り、１画素隣の未処理の画素を注目画素としてステップＳ３〜Ｓ６の処理を繰り返す。そして、すべての画素について特徴点の検出及び特徴量の算出を終えると（ステップＳ７；Ｙ）、本処理を終了する。

以上のように、本実施の形態の画像処理装置１０は、画像から１又は複数の特徴点を検出する特徴点検出部２と、特徴点検出部２により検出された１又は複数の特徴点の特徴量を算出する特徴量算出部３と、を備えている。特徴点検出部２は、画像の各画素を注目画素として、注目画素と複数の周辺画素の各画素値を入力し、注目画素と比較して、各周辺画素の画素値が大きくその差が第１閾値以上であるか、各周辺画素の画素値が小さくその差が第１閾値以上であるか又は注目画素と各周辺画素の画素値の差が第１閾値未満であるかによって、各周辺画素の画素値を、注目画素と比較した各周辺画素の明るさが明るい、暗い又は同程度であることを表す３つの信号値のいずれかに変換する３値化処理部２１と、複数の周辺画素のうち、３値化処理部２１により明るい又は暗いことを表す信号値に変換された周辺画素が連続する数が第２閾値以上である場合、注目画素を特徴点として決定する決定部２２と、を備えている。特徴量算出部３は、注目画素の特徴量として、注目画素から複数の方向に位置する各周辺画素の信号値を用いて各方向の特徴量成分を算出し、当該特徴量成分が上記３つの信号値のいずれかからなる。

これにより、注目画素よりも明るい又は暗い周辺画素が連続するコーナーの特徴点を精度良く検出することができる。また、特徴点の検出時に得られた周辺画素の信号値を特徴量の算出に用いることができ、効率の良い算出が可能である。特徴量は複数の方向の特徴量成分からなるので、画像の特性をよく表す特徴量を提供することができ、特徴量を用いた目的の画像部分の検出精度を高めることができる。また、特徴量は３つの信号値のいずれかからなるため、１方向の特徴量成分のデータ量を２ビットの少ないデータ量とすることができ、特徴量の保存に必要な記憶容量を減らしてコストの削減を実現できる。

上記実施の形態は本発明の好適な一例であり、これに限定されない。本発明の主旨を逸脱しない範囲で適宜変更可能である。

例えば、上記処理手順をプログラム化し、ＣＰＵ（Central Processing Unit）等のコンピューターにプログラムを読み取らせて上記処理手順を実行させることにより、特徴点及び特徴量をソフトウェア処理により決定することもできる。
また、プログラムのコンピューター読み取り可能な媒体としては、ＲＯＭ、フラッシュメモリー等の不揮発性メモリー、ＣＤ-ＲＯＭ等の可搬型記録媒体を適用することが可能である。また、プログラムのデータを、通信回線を介して提供する媒体として、キャリアウエーブ(搬送波)も適用される。

１０ 画像処理装置
１ 解像度変換部
２ 特徴点検出部
２１ ３値化処理部
２２ 決定部
３ 特徴量算出部

Claims (15)

1. 画像から１又は複数の特徴点を検出する特徴点検出部と、
   前記特徴点検出部により検出された前記１又は複数の特徴点の特徴量を算出する特徴量算出部と、を備え、
   前記特徴点検出部は、
   前記画像の各画素を注目画素として、注目画素と複数の周辺画素の各画素値を入力し、前記注目画素と比較して、前記各周辺画素の画素値が大きくその差が第１閾値以上であるか、前記各周辺画素の画素値が小さくその差が第１閾値以上であるか又は前記注目画素と前記各周辺画素の画素値の差が第１閾値未満であるかによって、前記各周辺画素の画素値を、前記注目画素と比較した各周辺画素の明るさが明るい、暗い又は同程度であることを表す３つの信号値のいずれかに変換する３値化処理部と、
   前記複数の周辺画素のうち、前記３値化処理部により明るい又は暗いことを表す信号値に変換された周辺画素が連続する数が第２閾値以上である場合、前記注目画素を特徴点として決定する決定部と、を備え、
   前記特徴量算出部は、前記特徴点を決定した後、前記特徴点として決定した前記注目画素の特徴量として、前記注目画素から複数の方向に位置する各周辺画素の信号値を用いて各方向の特徴量成分を算出し、当該特徴量成分が前記３つの信号値のうちのいずれか１つの信号値からなることを特徴とする画像処理装置。
2. 前記複数の方向の数が、前記複数の周辺画素の数より少ないことを特徴とする請求項１に記載の画像処理装置。
3. 画像から１又は複数の特徴点を検出する特徴点検出部と、
   前記特徴点検出部により検出された前記１又は複数の特徴点の特徴量を算出する特徴量算出部と、を備え、
   前記特徴点検出部は、
   前記画像の各画素を注目画素として、注目画素と複数の周辺画素の各画素値を入力し、前記注目画素と比較して、前記各周辺画素の画素値が大きくその差が第１閾値以上であるか、前記各周辺画素の画素値が小さくその差が第１閾値以上であるか又は前記注目画素と前記各周辺画素の画素値の差が第１閾値未満であるかによって、前記各周辺画素の画素値を、前記注目画素と比較した各周辺画素の明るさが明るい、暗い又は同程度であることを表す３つの信号値のいずれかに変換する３値化処理部と、
   前記複数の周辺画素のうち、前記３値化処理部により明るい又は暗いことを表す信号値に変換された周辺画素が連続する数が第２閾値以上である場合、前記注目画素を特徴点として決定する決定部と、を備え、
   前記特徴量算出部は、
   前記注目画素の特徴量として、前記注目画素から複数の方向に位置する各周辺画素の信号値を用いて各方向の特徴量成分を算出し、当該特徴量成分が前記３つの信号値のいずれかからなり、
   前記複数の方向の数が、前記複数の周辺画素の数より少ない場合、前記特徴量成分を算出する方向に位置する周辺画素の信号値と、当該周辺画素から一定範囲内に位置する他の周辺画素の信号値のうち、頻度が最大の信号値を前記方向の特徴量成分とすることを特徴とする画像処理装置。
4. 画像から１又は複数の特徴点を検出する特徴点検出部と、
   前記特徴点検出部により検出された前記１又は複数の特徴点の特徴量を算出する特徴量算出部と、を備え、
   前記特徴点検出部は、
   前記画像の各画素を注目画素として、注目画素と複数の周辺画素の各画素値を入力し、前記注目画素と比較して、前記各周辺画素の画素値が大きくその差が第１閾値以上であるか、前記各周辺画素の画素値が小さくその差が第１閾値以上であるか又は前記注目画素と前記各周辺画素の画素値の差が第１閾値未満であるかによって、前記各周辺画素の画素値を、前記注目画素と比較した各周辺画素の明るさが明るい、暗い又は同程度であることを表す３つの信号値のいずれかに変換する３値化処理部と、
   前記複数の周辺画素のうち、前記３値化処理部により明るい又は暗いことを表す信号値に変換された周辺画素が連続する数が第２閾値以上である場合、前記注目画素を特徴点として決定する決定部と、を備え、
   前記特徴量算出部は、
   前記注目画素の特徴量として、前記注目画素から複数の方向に位置する各周辺画素の信号値を用いて各方向の特徴量成分を算出し、当該特徴量成分が前記３つの信号値のいずれかからなり、
   前記複数の方向の数が、前記複数の周辺画素の数より少ない場合、前記特徴量成分を算出する方向に位置する周辺画素の信号値と、当該周辺画素から一定範囲内に位置する他の周辺画素の信号値を重み付け平均し、得られた信号値を前記方向の特徴量成分とすることを特徴とする画像処理装置。
5. 前記特徴量算出部は、前記重み付け平均により得られた信号値の少数部を四捨五入することを特徴とする請求項４に記載の画像処理装置。
6. 前記３値化処理部は、前記第１閾値を前記注目画素の画素値に応じて決定することを特徴とする請求項１〜５のいずれか一項に記載の画像処理装置。
7. 前記画像の解像度を、前記特徴量を用いて前記画像中から検出する画像部分のサイズに応じた解像度に変換する解像度変換部を備え、
   前記特徴点検出部は、前記解像度変換部による解像度変換後の画像から前記特徴点の検出を行うことを特徴とする請求項１〜６のいずれか一項に記載の画像処理装置。
8. 前記複数の方向が、それぞれの隣接する方向となす角度が同じであることを特徴とする請求項１〜７のいずれか一項に記載の画像処理装置。
9. （ａ）画像から１又は複数の特徴点を検出するステップと、
   （ｂ）前記ステップ（ａ）により検出された前記１又は複数の特徴点の特徴量を算出するステップと、を含み、
   前記ステップ（ａ）は、
   （ａ１）前記画像の各画素を注目画素として、注目画素と複数の周辺画素の各画素値を入力するステップと、
   （ａ２）前記注目画素と比較して、前記各周辺画素の画素値が大きくその差が第１閾値以上であるか、前記各周辺画素の画素値が小さくその差が第１閾値以上であるか又は前記注目画素と前記各周辺画素の画素値の差が第１閾値未満であるかによって、前記各周辺画素の画素値を、前記注目画素と比較した各周辺画素の明るさが明るい、暗い又は同程度であることを表す３つの信号値のいずれかに変換するステップと、
   （ａ３）前記複数の周辺画素のうち、明るい又は暗いことを表す信号値に変換された周辺画素が連続する数が第２閾値以上である場合、前記注目画素を特徴点として決定するステップと、をさらに含み、
   前記ステップ（ｂ）では、前記特徴点を決定した後、前記特徴点として決定した前記注目画素の特徴量として、前記注目画素から複数の方向に位置する各周辺画素の信号値を用いて各方向の特徴量成分を算出し、当該特徴量成分が前記３つの信号値のうちのいずれか１つの信号値からなることを特徴とする画像処理方法。
10. （ａ）画像から１又は複数の特徴点を検出するステップと、
    （ｂ）前記ステップ（ａ）により検出された前記１又は複数の特徴点の特徴量を算出するステップと、を含み、
    前記ステップ（ａ）は、
    （ａ１）前記画像の各画素を注目画素として、注目画素と複数の周辺画素の各画素値を入力するステップと、
    （ａ２）前記注目画素と比較して、前記各周辺画素の画素値が大きくその差が第１閾値以上であるか、前記各周辺画素の画素値が小さくその差が第１閾値以上であるか又は前記注目画素と前記各周辺画素の画素値の差が第１閾値未満であるかによって、前記各周辺画素の画素値を、前記注目画素と比較した各周辺画素の明るさが明るい、暗い又は同程度であることを表す３つの信号値のいずれかに変換するステップと、
    （ａ３）前記複数の周辺画素のうち、明るい又は暗いことを表す信号値に変換された周辺画素が連続する数が第２閾値以上である場合、前記注目画素を特徴点として決定するステップと、をさらに含み、
    前記ステップ（ｂ）では、
    前記注目画素の特徴量として、前記注目画素から複数の方向に位置する各周辺画素の信号値を用いて各方向の特徴量成分を算出し、当該特徴量成分が前記３つの信号値のいずれかからなり、
    前記複数の方向の数が、前記複数の周辺画素の数より少ない場合、前記特徴量成分を算出する方向に位置する周辺画素の信号値と、当該周辺画素から一定範囲内に位置する他の周辺画素の信号値のうち、頻度が最大の信号値を前記方向の特徴量成分とすることを特徴とする画像処理方法。
11. （ａ）画像から１又は複数の特徴点を検出するステップと、
    （ｂ）前記ステップ（ａ）により検出された前記１又は複数の特徴点の特徴量を算出するステップと、を含み、
    前記ステップ（ａ）は、
    （ａ１）前記画像の各画素を注目画素として、注目画素と複数の周辺画素の各画素値を入力するステップと、
    （ａ２）前記注目画素と比較して、前記各周辺画素の画素値が大きくその差が第１閾値以上であるか、前記各周辺画素の画素値が小さくその差が第１閾値以上であるか又は前記注目画素と前記各周辺画素の画素値の差が第１閾値未満であるかによって、前記各周辺画素の画素値を、前記注目画素と比較した各周辺画素の明るさが明るい、暗い又は同程度であることを表す３つの信号値のいずれかに変換するステップと、
    （ａ３）前記複数の周辺画素のうち、明るい又は暗いことを表す信号値に変換された周辺画素が連続する数が第２閾値以上である場合、前記注目画素を特徴点として決定するステップと、をさらに含み、
    前記ステップ（ｂ）では、
    前記注目画素の特徴量として、前記注目画素から複数の方向に位置する各周辺画素の信号値を用いて各方向の特徴量成分を算出し、当該特徴量成分が前記３つの信号値のいずれかからなり、
    前記複数の方向の数が、前記複数の周辺画素の数より少ない場合、前記特徴量成分を算出する方向に位置する周辺画素の信号値と、当該周辺画素から一定範囲内に位置する他の周辺画素の信号値を重み付け平均し、得られた信号値を前記方向の特徴量成分とすることを特徴とする画像処理方法。
12. 前記ステップ（ｂ）では、前記重み付け平均により得られた信号値の少数部を四捨五入することを特徴とする請求項１１に記載の画像処理方法。
13. 前記ステップ（ａ２）では、前記第１閾値を前記注目画素の画素値に応じて決定することを特徴とする請求項９〜１２のいずれか一項に記載の画像処理方法。
14. （ｃ）前記画像の解像度を、前記特徴量を用いて前記画像中から検出する画像部分のサイズに応じた解像度に変換するステップをさらに含み、
    前記ステップ（ａ）では、前記ステップ（ｃ）による解像度変換後の画像から前記特徴点の検出を行うことを特徴とする請求項９〜１３のいずれか一項に記載の画像処理方法。
15. 前記複数の方向が、それぞれの隣接する方向となす角度が同じであることを特徴とする請求項９〜１４のいずれか一項に記載の画像処理方法。

Images