JP5885532B2 - エッジ方向判別装置、エッジ方向判別方法及びエッジ方向判別プログラム - Google Patents

Description

本発明は、画像における各画素のエッジの方向を判別するエッジ方向判別装置、エッジ方向判別方法及びエッジ方向判別プログラムに関するものである。

画像における各画素のエッジの方向を判別することで、画像の構造的属性を保持しながら、例えば、ノイズ除去等のその後の画像処理を単純化することができることから、エッジの方向判別の精度の向上が望まれている。
このようなエッジの方向判別に関する技術として、例えば、特開２００８−２９３４２４号公報（特許文献１）には、入力画像信号を多重解像度変換して、互いに異なる周波数帯域を有する複数の帯域画像信号を作成し、この帯域画像信号の周波数帯域およびこの周波数帯域よりも低域側の周波数の情報を含む第１の画像信号と、帯域画像信号の周波数帯域よりも低域側の周波数の情報を含む第２の画像信号とを用いて、帯域画像信号のエッジ成分の方向を判別する技術が開示されている。

特開２００８−２９３４２４号公報

しかしながら、一般に、ノイズの多い画像において各画素の方向判別を行なう場合には、方向判別結果はノイズの影響を大きく受けるところ、上記した特許文献１に記載の技術では、対象となる帯域とそれよりも低域側の帯域を混ぜた画像でエッジ成分の方向を判別しているため、ノイズのような高周波数成分を多く有する画像に対しては、適切な方向判別を行うことができないという課題がある。

本発明は、上述した事情に鑑みてなされたものであって、ノイズの多い画像であっても、画像のエッジの方向をより高精度に判別することを目的とする。

上記目的を達成するため、本発明は以下の手段を提供する。
本発明は、注目画素を中心とする複数画素からなる基準領域を設定すると共に、前記注目画素を起点とする複数の方向の夫々に対して前記基準領域と互いにずれた位置に該基準領域と同一形状の複数の参照領域を設定する領域設定手段と、前記複数の方向について、該方向毎に、該各方向に属する前記参照領域と前記基準領域との類似性を示す代表値を夫々算出する代表値算出手段と、複数の方向毎の前記代表値に基づいて基準領域と参照領域との類似性が最も高い方向を求め、前記基準領域と前記参照領域との類似性が最も高い方向を前記注目画素におけるエッジの方向として判別するエッジ方向判別手段と、を備え、前記代表値が、前記基準領域の各画素の画素値と前記方向に属する前記参照領域の前記基準領域における画素に対応する位置の各画素の画素値との差分絶対値を、前記方向毎に加算した絶対値総和であり、前記エッジ方向判別手段が、各代表値に基づいて各代表値間のばらつきを示す分散値を算出し、該分散値が小さい場合に、前記注目画素において所定の閾値以上の強度のエッジが存在しない又は複数の方向に沿った複数のエッジが存在すると判別するエッジ方向判別装置を提供する。

本発明によれば、注目画素のエッジの方向を判別するための種々の演算を行う。すなわち、領域設定手段が、ブロック内において、注目画素を中心とする複数画素からなる基準領域を設定し、基準領域に対して注目画素を起点とする複数の方向を定め、該方向毎に参照領域を設定する。この参照領域は、基準領域と同一形状であり、基準領域に含まれる画素と同数の画素を含むものであり、当該参照領域の属する方向に沿って基準領域とずれた位置に設定される。設定された基準領域と参照領域とから代表値算出手段により、複数の方向について、方向毎に、各方向に属する参照領域と基準領域との類似性を示す代表値が夫々算出される。そして、エッジ方向判別手段が、方向毎に算出された代表値を用いて、基準領域と参照領域との類似性が最も高い方向を求め、当該方向を前記注目画素のエッジの方向として判別する。このため、複数の方向毎に演算された基準領域と参照領域の類似性を示す代表値に基づいてエッジの方向が判別されるので、画像におけるノイズの多少とは無関係に画像のエッジの方向をより高精度に判別することができる。
また、本発明は、注目画素を中心とする複数画素からなる基準領域を設定すると共に、前記注目画素を起点とする複数の方向の夫々に対して前記基準領域と互いにずれた位置に該基準領域と同一形状の複数の参照領域を設定する領域設定手段と、前記複数の方向について、該方向毎に、該各方向に属する前記参照領域と前記基準領域との画素値の類似性を示す代表値を算出する代表値算出手段と、複数の方向毎の前記代表値を用いて、前記基準領域と前記参照領域との類似性が最も高い方向を求め、前記基準領域と前記参照領域との類似性が最も高い方向を前記注目画素におけるエッジの方向として判別するエッジ方向判別手段と、を備え、前記基準領域及び前記参照領域の大きさ又は形状が、前記複数の方向に応じて設定されるエッジ方向判別装置を提供する。

上記した発明において、前記代表値が、前記基準領域の各画素の画素値と前記方向に属する前記参照領域の前記基準領域における画素に対応する位置の各画素の画素値との差分絶対値を、前記方向毎に加算した絶対値総和であることが好ましい。
このようにすることで、設定された参照領域に含まれる画素と基準領域に含まれる画素の各画素値の差分を演算し、この差分から各方向に対する代表値が夫々算出されるので、基準領域と参照領域との類似性を容易に判断することができ、容易に代表値を算出することができる。

上記した発明において、前記基準領域に含まれる画素の画素値の平均値と各前記参照領域に含まれる画素の画素値の平均値との差分の方向毎の加算値或いは乗算値であることが好ましい。
このようにすることで、容易に代表値を算出することができる。

上記した発明において、前記エッジ方向判別手段が、複数の前記方向に対する複数の前記代表値のうち、最小値に対応する方向を前記注目画素のエッジの方向であると判別することが好ましい。
このようにすることで、容易にかつ高精度に画像のエッジの方向を判別することができる。

上記した発明において、前記エッジ方向判別手段は、各前記代表値に基づいて該代表値の大きさ及び方向に応じたベクトルを夫々生成し、これらベクトルを合成した合成ベクトルの方向を前記注目画素におけるエッジの方向であると判別することが好ましい。
このようにすることで、容易にかつ高精度に画像のエッジの方向を判別することができる。

上記した発明において、前記エッジ方向判別手段が、各代表値に基づいて各代表値間のばらつきを示す分散値を算出し、該分散値が小さい場合に、前記注目画素において所定の閾値以上の強度のエッジが存在しない又は複数の方向に沿った複数のエッジが存在すると判別することが好ましい。
このように、注目画素おいて所定の閾値以上の強度のエッジが存在しない又は複数の方向に沿った複数のエッジが存在すると判別することで、当該画素に所定の閾値以上の強度のエッジが存在しない又は複数の方向に沿った複数のエッジが存在することも併せて判別することができる。

上記した発明において、前記基準領域及び前記参照領域の大きさ又は形状が、前記複数の方向に応じて設定されることが好ましい。
このようにすることで、より高精度に画像のエッジの方向を判別することができる。すなわち、注目画素に対して定めた基準領域及び参照領域が大きすぎると、エッジの方向を判別するための演算量が多くなると共に、エッジの方向から離れた位置の画素の画素値が代表値を演算する際に用いられるため、エッジの方向の判別の精度が低下する虞があり、これはエッジが弱い（細い）場合により顕著となる。一方、基準領域及び参照領域を演算対象の方向近傍の画素のみを含む領域とすると、エッジの方向を判別するために必要な情報が十分に得られず、やはりエッジの方向の判別の精度が低下する虞がある。そこで、基準領域及び参照領域の大きさ又は形状を注目画素のエッジの強さ又は演算対象の代表値に対応する方向に応じて設定することで、より高精度に画像のエッジの方向を判別することができる。

また、本発明は、注目画素を中心とする複数画素からなる基準領域を設定すると共に、前記注目画素を起点とする複数の方向の夫々に対して前記基準領域と互いにずれた位置に該基準領域と同一形状の複数の参照領域を設定する領域設定ステップと、前記複数の方向について、該方向毎に、該各方向に属する前記参照領域と前記基準領域との画素値の類似性を示す代表値を算出する代表値算出ステップと、複数の方向毎の前記代表値を用いて、前記基準領域と前記参照領域との類似性が最も高い方向を求め、前記基準領域と前記参照領域との類似性が最も高い方向を前記注目画素におけるエッジの方向として判別するエッジ方向判別ステップと、を備え、前記代表値が、前記基準領域の各画素の画素値と前記方向に属する前記参照領域の前記基準領域における画素に対応する位置の各画素の画素値との差分絶対値を、前記方向毎に加算した絶対値総和であり、前記エッジ方向判別ステップが、各代表値に基づいて各代表値間のばらつきを示す分散値を算出し、該分散値が小さい場合に、前記注目画素において所定の閾値以上の強度のエッジが存在しない又は複数の方向に沿った複数のエッジが存在すると判別するエッジ方向判別方法を提供する。

さらに、本発明は、注目画素を中心とする複数画素からなる基準領域を設定すると共に、前記注目画素を起点とする複数の方向の夫々に対して前記基準領域と互いにずれた位置に該基準領域と同一形状の複数の参照領域を設定する領域設定ステップと、前記複数の方向について、該方向毎に、該各方向に属する前記参照領域と前記基準領域との画素値の類似性を示す代表値を算出する代表値算出ステップと、複数の方向毎の前記代表値を用いて、前記基準領域と前記参照領域との類似性が最も高い方向を求め、前記基準領域と前記参照領域との類似性が最も高い方向を前記注目画素におけるエッジの方向として判別するエッジ方向判別ステップと、をコンピュータに実行させ、前記代表値が、前記基準領域の各画素の画素値と前記方向に属する前記参照領域の前記基準領域における画素に対応する位置の各画素の画素値との差分絶対値を、前記方向毎に加算した絶対値総和であり、前記エッジ方向判別ステップが、各代表値に基づいて各代表値間のばらつきを示す分散値を算出し、該分散値が小さい場合に、前記注目画素において所定の閾値以上の強度のエッジが存在しない又は複数の方向に沿った複数のエッジが存在すると判別するエッジ方向判別プログラムを提供する。

本発明によれば、ノイズの多い画像であっても、画像のエッジの方向を高精度に判別することができるという効果を奏する。

本発明の第１の実施形態に係るエッジ方向判別装置の概略構成を示すブロック図である。 本発明の第１の実施形態に係るエッジ方向判別装置において、注目画素のエッジを判別するために設定されるブロック、基準領域及び参照領域を示す概念図である。 本発明の第１の実施形態に係るエッジ方向判別装置において、注目画素に対して設定される複数の方向を示す概念図である。 本発明の一実施形態に係るエッジ方向判別装置に関する基準領域の画素と参照領域の画素との相対的な位置関係を示す概念図である。 本発明の第１の実施形態に係るエッジ方向判別装置におけるエッジ方向判別処理を示すフローチャートである。 本発明の一実施形態に係るエッジ方向判別装置に関する基準領域及び参照領域の他の例を示す概念図である。 本発明の一実施形態に係るエッジ方向判別装置に関する基準領域及び参照領域の他の例を示す概念図である。 本発明の一実施形態に係るエッジ方向判別装置に関する基準領域の他の例を示す概念図である。

（第１の実施形態）
以下に、本発明の第１の実施形態に係るエッジ方向判別装置１について図面を参照して説明する。
図１に示すように、エッジ方向判別装置１は、エッジ方向を判別するための各種処理を行うエッジ方向判別処理部１０、エッジ方向判別処理部１０の作業領域として機能すると共にエッジ方向判別装置１に入力された画像を一時的に記憶する第１メモリ１１及びエッジ方向を判別するために必要となるプログラムや種々のデータが格納された第２メモリ１２で構成されている。

エッジ方向判別処理部１０は、画像に含まれる各画素のエッジの方向を判別するために第２メモリに格納された所定の処理プログラムを第１メモリに展開し、展開したプログラムを実行することにより実現される処理部として、ブロック抽出部２１、領域設定部２２、代表値算出部２３、及びエッジ方向判別部２４を備えている。これらの各処理部により、エッジ方向判別装置１の外部から入力した画像、又は、第１メモリに保存された画像のエッジの方向を判別することができる。以下、各処理部について説明する。

ブロック抽出部２１は、注目画素を中心とする複数の画素を含むブロックを抽出する。すなわち、ブロック抽出部２１は、所定画素数かつ所定範囲のブロックを予め定めておき、判別対象の画像のうち、エッジの方向を判別すべき画素である注目画素を中心として所定数の画素を含む所定範囲のブロックを抽出する。図２に、注目画素３１を中心とする７画素×７画素の計４９画素（Ｙ００〜Ｙ６６）を含む正方形のブロック３０を例示した。

領域設定部２２は、ブロック抽出部２１により抽出されたブロック内において、当該注目画素を中心とし、ブロックよりも少ない複数画素からなる基準領域を設定する。更に、領域設定部２２は、注目画素を起点とする複数の方向の夫々に対して基準領域と互いにずれた位置に基準領域と同一形状の複数の参照領域を設定する。この際、基準領域と参照領域の間の最大のずれの大きさは、ブロックの大きさと形状及び基準領域の大きさと形状から決定される。即ち、ある大きさと形状を有する基準領域に対してある大きさと形状を有する参照領域をずらした場合に、参照領域全体が基準領域内に収まるように最大のずれの大きさを決定する。

ここで、注目画素を起点とする複数の方向とは、当該画素のエッジの方向の候補となる方向であり、予め定められていても良い。例えば、図３に示すように注目画素Ｙ３３を起点として放射状に向かうｅ０〜ｅ７の８つの方向である（ｅ０〜ｅ７の各方向に対して１８０°反転した方向は、同一方向のマイナス方向とすることで、ｅ０〜ｅ７の夫々に含めることとしている。）。図３の例では、８つの方向は全て等間隔となっている。
つまり、図２の例では、注目画素Ｙ３３を中心とする３画素×３画素の計９画素からなる正方形の基準領域３２を設定し、この基準領域３２と同様に３画素×３画素の計９画素からなる正方形の参照領域３３を、ｅ０の方向に沿って右方向に２つ、左方向に２つ、合計４つ設定している。そして、各参照領域３３と基準領域３２とは１画素又は２画素分ずれた位置に設定されている。この場合、参照領域を３画素以上ずらすと、ｅ０の方向においてはブロック抽出部で抽出されたブロック内に参照領域が収まらないため、基準領域に対する参照領域のずれの大きさは最大２画素と決定される。さらに図４に示すように、ｅ１〜ｅ７の各方向夫々に対して基準領域内の画素（ここでは代表して注目画素Ｙ３３のみを示す）に対応する参照領域内の画素（合計４つ）を設定することにより、ｅ１〜ｅ７の各方向に対して参照領域を設定する。

代表値算出部２３は、複数の方向について、それらの方向毎に、各方向に属する参照領域と基準領域との類似性を示す代表値を夫々算出する。代表値の算出は、例えば、以下のように行われる。まず、方向毎に基準領域の各画素の画素値とその方向に属する参照領域の基準領域における画素に対応する位置の各画素の画素値との差分を演算する。そして、各画素値の差分の絶対値和をその方向についての代表値とする。参照領域が複数設定されている場合は、その方向に属する各参照領域と基準領域との差分の絶対値和を加算した絶対値総和をその方向についての代表値とする。

図２の例では、基準領域３２のｅ０〜ｅ７全ての方向に対して４つずつ設定された参照領域３３について、夫々基準領域３２と参照領域３３との差分を算出し、それら差分の絶対値和を全て加算して絶対値総和を算出し、これを代表値とする。以下の式（１）にｅ０の代表値を演算する場合の計算式を示す。

エッジ方向判別部２４は、複数の方向毎の代表値に基づいて注目画素におけるエッジの方向を判別する。すなわち、エッジの方向を判別すべき注目画素に定義された全ての方向に対する代表値に基づいて、これらの代表値の中から基準領域と参照領域との類似性が最も高いと判別された代表値に対応する方向を注目画素のエッジの方向と判別する。上述したように、代表値として基準領域３２と参照領域３３との差分の絶対値総和を適用した場合には、全ての方向についての代表値のうち、最小値となる代表値に係る方向が注目画素のエッジの方向であると判別される。判別結果は、第１メモリ１１や外部の他の画像処理部等に出力することができる。

続いて、このように構成されたエッジ方向判別装置１の作用について図５のフローチャートに従って、説明する。なお、以下の説明においては、図２及び図３を参照し、ブロックとして７画素×７画素の計４９画素からなるブロックを抽出し、基準領域及び参照領域として３画素×３画素の計９画素からなる正方形の領域を設定することとして説明する。

本実施形態に係るエッジ方向判別装置１によって画像中のエッジの方向を判別するためには、ステップＳ１１において、ブロック抽出部２１がエッジの方向を判別すべき注目画素を特定する（図２のＹ３３）。その後ステップＳ１２において、ブロック抽出部２１によりこの注目画素Ｙ３３を中心とする７画素×７画素の正方形からなるブロック３０を抽出する。続いて、ステップＳ１３において、領域設定部２２により、注目画素Ｙ３３を中心とする３画素×３画素の計９画素をからなる正方形の基準領域３２を設定する。さらに、領域設定部２２は、注目画素に対して予め設定された図３に示すｅ０〜ｅ７の８つの方向の夫々に対して、この基準領域３２と同様に３画素×３画素の計９画素をからなる正方形の参照領域３３を各方向について夫々４つ設定する。各参照領域３３と基準領域３２、各参照領域同士は互いにずれた位置に設定される。

次のステップＳ１４では、基準領域３２のｅ０〜ｅ７の全ての方向に対して４つずつ設定された参照領域３３について、代表値算出部２３により夫々基準領域３２と参照領域３３の対応する画素間の画素値の差分を算出し、参照領域毎に差分の絶対値和を算出する。代表値算出部２３では、参照領域毎に算出された差分を方向毎に全て加算して方向毎の絶対値総和を算出して代表値とし、方向毎に算出された計８つの代表値をエッジ方向判別部２４に出力する。

次のステップＳ１５では、エッジ方向判別部２４が、代表値算出部２３において算出された８つの代表値を比較して、最小値を示す代表値に係る方向を注目画素Ｙ３３のエッジの方向であると判別する。以上の処理を、画像の一部又は全てに対して行うことで、画像中のエッジの方向を判別することができる。

このように、エッジの方向を判別するための候補となる複数の方向について、その方向に沿って基準領域に対する参照領域を定め、これらの類似性を判別することにより注目画素のエッジの方向を判別するので、画像におけるノイズの多少とは無関係に画像のエッジの方向をより高精度に判別することができる。

なお、算出された各方向についての代表値から最小値と代表値のばらつきを示す分散値（本実施形態ではｅ０〜ｅ７の８つの値の分散値）を演算することで、所定の閾値以上の強度のエッジが存在しない又は複数の方向に沿った複数のエッジが存在するか否かの判別をすることができる。つまり、算出された分散値が高い場合、上述したように最小値を示す方向を注目画素のエッジの方向と判別するが、分散値が低い場合は、画素値が平坦である又は複数の方向に沿った複数のエッジが存在すると判別することができる。

本実施形態では、ブロック抽出部２１によりブロックを抽出し、基準領域と参照領域の間の最大のずれの大きさを、ブロックの大きさと形状及び基準領域の大きさと形状から決定しているが、これに限られることはなく、ブロック抽出部２１を省略する構成としてもよい。この場合、領域設定部２２が、注目画素を中心として複数画素からなる基準領域を設定すると共に基準領域と参照領域との間の最大の画素のずれ量を設定し、注目画素を起点とする複数の方向の夫々に対して上記最大のずれの大きさの範囲内で基準領域からずれた位置に、基準領域と同一形状の複数の参照領域を設定してもよい。

（第１の実施形態の変形例）
上記した第１の実施形態においては、基準領域及び参照領域として、複数の方向の全てに対して同じ大きさ且つ同形状の領域を設定したが、これに限られることはなく、注目画素を起点とする複数の方向の夫々に応じて適宜設定することができる。

従って、図６に示すように、例えば縦（ｅ４）方向と横（ｅ０）方向は上記した第１の実施形態と同様に基準領域を設定しつつ、斜め方向の代表値の算出精度を上げることを目的として、基準領域と参照領域の形を方向に応じて（好ましくは当該方向に沿った形状に）変形させることもできる。図６（ａ）に、ｅ２方向の基準領域を、図６（ｂ）にｅ２方向の参照領域を示した。このようにすることで、ｅ２方向をエッジの方向の候補となる方向と設定した場合に、想定されるエッジ及び当該エッジから距離の近い周辺の画素のみを含む領域として、距離の遠い画素の影響を除くことができるので、ｅ２方向にエッジが存在するか否かを判定する精度を向上することができる。
この他、例えばｅ６方向の基準領域の例を図７（ａ）に、ｅ６方向の参照領域の例を図７（ｂ）に示した。ｅ２の場合と同様に、ｅ６方向をエッジの方向の候補となる方向と設定した場合に、想定されるエッジから距離の近い周辺画素のみを基準領域、参照領域とすることで、注目画素を起点としたエッジ及びその周辺領域の情報のみを用い、より精度の高い代表値を演算することができる。

さらに、その他の基準領域の例を図８に示す。図８（ａ）、図８（ｃ）はｅ１方向、図８（ｂ）、図８（ｄ）はｅ３方向、図８（ｅ）、図８（ｇ）はｅ７方向、図８（ｆ）、図８（ｈ）はｅ５方向の基準領域の一例である。
なお、方向によって基準領域及び参照領域の形状を変形させる他、注目画素又は当該注目画素を起点としてエッジの方向の候補となる方向の領域に存在する画素からの距離によって基準領域と参照領域との間で対応する画素間の差の絶対値に対して重み付け（当該領域からの距離が短いほど大きい重み付け）をしたり、上記画素間の差の絶対値に対して当該距離に応じた重み付けをして代表値を出すようにしても良く、その両方の方法を組み合わせても良い。このようにすることで、注目画素や当該注目画素を起点としてエッジの方向の候補となる方向の領域及びその周辺領域の情報をより反映し、より精度の高い代表値を演算することができる。

また、ノイズの量に応じて基準領域及び参照領域の大きさを適宜変更してもよい。即ち、ノイズの量を予め公知の手法を用いて推定しておき、当該ノイズの量がより少ない場合には、基準領域及び参照領域の大きさをより小さくし、当該ノイズの量がより多い場合には、基準領域及び参照領域の大きさをより大きくしてもよい。例えば、画像の撮影時のＩＳＯ感度が低い場合にはノイズの量が一般に少なくなるため基準領域及び参照領域の大きさを小さくし、ＩＳＯ感度が高い場合にはノイズの量が一般に多くなるため基準領域及び参照領域の大きさを大きくしてもよい。このように基準領域及び参照領域の大きさを制御することにより、ノイズの量がより少ない場合には、基準領域及び参照領域の大きさが小さくても適切にエッジの方向判別ができ、さらには計算量が少なくて済む。一方で、ノイズの量がより多い場合には、基準領域及び参照領域の大きさをより大きくすることにより代表値を算出する際にノイズの寄与部分を平均化してノイズの影響を抑制し、適切にエッジの方向判別を行なうことができる。

（第２の実施形態）
上記した第１の実施形態では、ｅ０〜ｅ７の各方向について全て代表値を演算してエッジの方向を判別していたが、本実施形態においては、２つの方向の代表値を演算し、これに基づいて注目画素のエッジの方向を判別する。
具体的には、横（ｅ０）及び縦（ｅ４）の２方向の代表値を演算し、横方向の座標軸をｘ軸、縦方向の座標軸をｙ軸とした場合、ｘ軸方向（ｅ０方向）の代表値ｘ、ｙ軸方向（ｅ４方向）の代表値ｙ、ｅ０方向に対するエッジの方向の角度をθとしたときに、θを以下の数式（２）で求めることができる。
θ＝ｔａｎ^−１（ｘ／ｙ） ・・・ （２）
算出した角度θから、注目画素のエッジの方向を判別する。
これにより、少ない計算で注目画素のエッジの方向を判別するので、画像におけるノイズの多少とは無関係に画像のエッジの方向をより高精度に判別することができる。

上記した各実施形態において得られたエッジの方向判別結果を用いてノイズ低減処理や拡大処理などの他の画像処理を行うことでより効果的な処理を行うことができる。
（ノイズ低減処理）
エッジ方向判別処理部１０により判別されたエッジ方向判別結果に基づいて、画像中のエッジの方向を持っている画素については、その方向に沿った平滑化を行うと共に、エッジの方向を持っていない画素については、所定ブロックを用いた平滑化を行い、これらの平滑化を行った画像と原画像とを合成して合成画像を生成する。
なお、平滑化の処理は、ある注目画素が持つ決められた方向に沿った周辺の複数画素の平均値を注目画素の値とし、方向を持たない場合はある注目画素の周辺の複数画素の平均値を用いることで平滑化するなどしても良い。
このようにすることで、エッジ上にのっているノイズを、エッジを鈍らせることなく落とすことができる。
（拡大処理）
エッジ方向判別処理部１０により判別されたエッジ方向判別結果に基づいて、画像中のエッジの方向を持っている画素については、その方向に沿って補間を行い、方向を持たない場合は、バイリニアやバイキュービックなどの一般的な拡大補間を行うことで、斜めのエッジ成分は拡大するとシャギーなどが生じてしまうが、エッジの方向を情報として用いることでシャギーの影響を軽減することができる。

１ エッジ方向判別装置
１０ エッジ方向判別処理部
１１ 第１メモリ
１２ 第２メモリ
２１ ブロック抽出部
２２ 領域設定部
２３ 代表値算出部
２４ エッジ方向判別部
３０ ブロック
３２ 基準領域
３３ 参照領域

Claims (10)

1. 注目画素を中心とする複数画素からなる基準領域を設定すると共に、前記注目画素を起点とする複数の方向の夫々に対して前記基準領域と互いにずれた位置に該基準領域と同一形状の複数の参照領域を設定する領域設定手段と、
   前記複数の方向について、該方向毎に、該各方向に属する前記参照領域と前記基準領域との画素値の類似性を示す代表値を算出する代表値算出手段と、
   複数の方向毎の前記代表値を用いて、前記基準領域と前記参照領域との類似性が最も高い方向を求め、前記基準領域と前記参照領域との類似性が最も高い方向を前記注目画素におけるエッジの方向として判別するエッジ方向判別手段と、
   を備え、
   前記代表値が、前記基準領域の各画素の画素値と前記方向に属する前記参照領域の前記基準領域における画素に対応する位置の各画素の画素値との差分絶対値を、前記方向毎に加算した絶対値総和であり、
   前記エッジ方向判別手段が、各代表値に基づいて各代表値間のばらつきを示す分散値を算出し、該分散値が小さい場合に、前記注目画素において所定の閾値以上の強度のエッジが存在しない又は複数の方向に沿った複数のエッジが存在すると判別するエッジ方向判別装置。
2. 前記基準領域及び前記参照領域の大きさ又は形状が、前記複数の方向に応じて設定される請求項１に記載のエッジ方向判別装置。
3. 注目画素を中心とする複数画素からなる基準領域を設定すると共に、前記注目画素を起点とする複数の方向の夫々に対して前記基準領域と互いにずれた位置に該基準領域と同一形状の複数の参照領域を設定する領域設定手段と、
   前記複数の方向について、該方向毎に、該各方向に属する前記参照領域と前記基準領域との画素値の類似性を示す代表値を算出する代表値算出手段と、
   複数の方向毎の前記代表値を用いて、前記基準領域と前記参照領域との類似性が最も高い方向を求め、前記基準領域と前記参照領域との類似性が最も高い方向を前記注目画素におけるエッジの方向として判別するエッジ方向判別手段と、
   を備え、
   前記基準領域及び前記参照領域の大きさ又は形状が、前記複数の方向に応じて設定されるエッジ方向判別装置。
4. 前記代表値が、前記基準領域の各画素の画素値と前記方向に属する前記参照領域の前記基準領域における画素に対応する位置の各画素の画素値との差分絶対値を、前記方向毎に加算した絶対値総和である請求項３に記載のエッジ方向判別装置。
5. 前記エッジ方向判別手段が、各代表値に基づいて各代表値間のばらつきを示す分散値を算出し、該分散値が小さい場合に、前記注目画素において所定の閾値以上の強度のエッジが存在しない又は複数の方向に沿った複数のエッジが存在すると判別する請求項４に記載のエッジ方向判別装置。
6. 前記代表値が、前記基準領域に含まれる画素の画素値の平均値と各前記参照領域に含まれる画素の画素値の平均値との差分の方向毎の加算値或いは乗算値である請求項１乃至請求項５の何れか１項に記載のエッジ方向判別装置。
7. 前記エッジ方向判別手段が、複数の前記方向に対する複数の前記代表値のうち、最小値に対応する方向を前記注目画素のエッジの方向であると判別することを特徴とする請求項１、請求項２、請求項４乃至請求項６の何れか１項に記載のエッジ方向判別装置。
8. 前記エッジ方向判別手段は、各前記代表値に基づいて該代表値の大きさ及び方向に応じたベクトルを夫々生成し、これらベクトルを合成した合成ベクトルの方向を前記注目画素におけるエッジの方向であると判別する請求項１、請求項２、請求項４乃至請求項７の何れか１項に記載のエッジ方向判別装置。
9. 注目画素を中心とする複数画素からなる基準領域を設定すると共に、前記注目画素を起点とする複数の方向の夫々に対して前記基準領域と互いにずれた位置に該基準領域と同一形状の複数の参照領域を設定する領域設定ステップと、
   前記複数の方向について、該方向毎に、該各方向に属する前記参照領域と前記基準領域との画素値の類似性を示す代表値を算出する代表値算出ステップと、
   複数の方向毎の前記代表値を用いて、前記基準領域と前記参照領域との類似性が最も高い方向を求め、前記基準領域と前記参照領域との類似性が最も高い方向を前記注目画素におけるエッジの方向として判別するエッジ方向判別ステップと、
   を備え、
   前記代表値が、前記基準領域の各画素の画素値と前記方向に属する前記参照領域の前記基準領域における画素に対応する位置の各画素の画素値との差分絶対値を、前記方向毎に加算した絶対値総和であり、
   前記エッジ方向判別ステップが、各代表値に基づいて各代表値間のばらつきを示す分散値を算出し、該分散値が小さい場合に、前記注目画素において所定の閾値以上の強度のエッジが存在しない又は複数の方向に沿った複数のエッジが存在すると判別するエッジ方向判別方法。
10. 注目画素を中心とする複数画素からなる基準領域を設定すると共に、前記注目画素を起点とする複数の方向の夫々に対して前記基準領域と互いにずれた位置に該基準領域と同一形状の複数の参照領域を設定する領域設定ステップと、
    前記複数の方向について、該方向毎に、該各方向に属する前記参照領域と前記基準領域との画素値の類似性を示す代表値を算出する代表値算出ステップと、
    複数の方向毎の前記代表値を用いて、前記基準領域と前記参照領域との類似性が最も高い方向を求め、前記基準領域と前記参照領域との類似性が最も高い方向を前記注目画素におけるエッジの方向として判別するエッジ方向判別ステップと、
    をコンピュータに実行させ、
    前記代表値が、前記基準領域の各画素の画素値と前記方向に属する前記参照領域の前記基準領域における画素に対応する位置の各画素の画素値との差分絶対値を、前記方向毎に加算した絶対値総和であり、
    前記エッジ方向判別ステップが、各代表値に基づいて各代表値間のばらつきを示す分散値を算出し、該分散値が小さい場合に、前記注目画素において所定の閾値以上の強度のエッジが存在しない又は複数の方向に沿った複数のエッジが存在すると判別するエッジ方向判別プログラム。

Images