JP5040369B2 - 画像処理装置、および画像処理方法 - Google Patents

Description

本発明は、画像データに含まれるノイズを除去するなど、画像を構成する各画素を補正する画像処理装置、および画像処理方法に関するものである。

画像データに含まれるノイズを除去するための画像処理装置として、図９に示す特許文献１の技術が開示されている。
特許文献１の画像処理装置２００は、画像ブロック２３１のうちの注目画素とその周囲に位置する画素（−２，−１，＋１，＋２）の各値のうちの中央値を演算する中央値演算部２１２と、注目画素の値ｆｉから中央値ｆｍｄを減算して差分値ｆｄを演算する減算部２１３とを備えている。また、画像処理装置２００は、差分値ｆｄに対して、ゲイン設定部２１４により設定されたゲインＧを乗じて、補正値（Ｇ＊ｆｄ）を演算する乗算部２１５と、注目画素の値ｆｉから補正値（Ｇ＊ｆｄ）を減算して、その演算値ｆｏｕｔを出力する減算部２１６とを備えている。
差分値ｆｄに応じてゲインＧを設定することにより、画像データに含まれるノイズを適切に除去することができる。

なお、画像データに含まれるノイズを除去するための技術として、他にも特許文献２、特許文献３、特許文献４および特許文献５の関連技術が開示されている。
特開２００３−２５９１２６号公報 特開２００４−３５５３３９号公報 特開２００５−３２３９２６号公報 特開２００６−０４１８１３号公報 特開平５−３０７６０３号公報

ところで、デジタルカメラなどに用いられるＣＣＤ装置はベイヤー配列画像データを出力とするものがある。このようなＣＣＤ装置を用いた装置において、特許文献１の技術を用いる場合には、ベイヤー配列画像データをＲＧＢ画像データやＹＵＶ画像データに変換し、変換されたＲＧＢ画像データやＹＵＶ画像データに対してノイズ除去などの画像処理を行なうこととなる。
しかしながら、ベイヤー配列画像データからＲＧＢ画像データやＹＵＶ画像データに変換する過程においてノイズ成分が拡散されるため、ノイズが含まれない画素に影響が及び、ノイズ除去などの画像処理の精度が悪くなるため問題である。また、ベイヤー配列画像データからＲＧＢ画像データやＹＵＶ画像データに変換するための画像変換回路が必要となり、画像変換回路を備える分だけ画像装置の回路規模が大きくなり問題である。

本発明は前記背景技術に鑑みなされたものであり、ベイヤー配列画像データなど基本三原色を網羅する基本画素群に対して、ノイズ除去などの画像処理を精度よく行ない、画像変換回路を必要とせず小規模な回路規模である画像処理装置、および画像処理方法を提供することを目的とする。

本願に記載の解決手段は、画像処理の対象とする注目画素と前記注目画素の周囲の画素の集合である周囲画素群とを水平方向および垂直方向にわたり格納するバッファ部と、前記周囲画素群の平均値である明度平均値を求める明度平均値演算部と、前記周囲画素群の一部であって、前記周囲画素群のうちから基本三原色を網羅する画素の組み合わせを取り、組み合わされた画素の平均値である周辺明度平均値を、各々の組み合わせごとに求める周辺明度平均値演算部と、各々の前記周辺明度平均値ごとに、前記周辺明度平均値から前記明度平均値を減じた絶対値の合計値を求めるエッジ検出部と、を備えることを特徴とする画像処理装置である。
また、画像処理の対象とする注目画素と前記注目画素の周囲の画素の集合である周囲画素群とを水平方向および垂直方向にわたり格納するステップと、前記周囲画素群の平均値である明度平均値を求めるステップと、前記周囲画素群の一部であって、前記周囲画素群のうちから基本三原色を網羅する画素の組み合わせを取り、組み合わされた画素の平均値である周辺明度平均値を、各々の組み合わせごとに求めるステップと、各々の前記周辺明度平均値ごとに、前記周辺明度平均値から前記明度平均値を減じた絶対値の合計値を求めるステップと、を有することを特徴とする画像処理方法である。

本発明の画像処理装置、および画像処理方法では、各々の周辺明度平均値ごとに、周辺明度平均値から明度平均値を減じた絶対値の合計値を演算することにより、画像データが画素の変化が平坦な状態であるかエッジ領域など画素の変化が大きい状態であるかを検知するための値を得ることができる。

これにより、画像データがベイヤー配列画像データなど基本三原色を網羅する基本画素群が配列して構成される場合であっても、当該画像データを変換することなく、画像データの状態を検知するための値を得ることができる。従って、画像データをＲＧＢ画像および/またはＹＵＶ画像に変換して画像データの状態を検知する構成に比して、変換後の画像に含まれる周辺画像のノイズの影響を受けないため、精度の良い検知値を得ることができ、さらに、画像変換の回路を省略できるため、小規模な構成にすることができる。

本発明によれば、ベイヤー配列画像データなど基本三原色を網羅する基本画素群に対して、ノイズ除去などの画像処理を精度よく行ない、画像変換回路を必要とせず小規模な回路規模である画像処理装置を提供することが可能となる。

以下、本発明にかかる画像処理装置を具体化した実施形態について、図１〜図８を参照して詳細に説明する。

（第１実施形態）
図１は、第１実施形態にかかる画像処理装置１の構成を示す回路ブロック図である。
画像処理装置１は、Ｒ画素、Ｇｒ画素、Ｇｂ画素およびＢ画素が２×２の画素領域に配置されるベイヤー配列画像データを入力とし、５×５の画素領域が平坦な平坦領域であるか平坦ではないエッジ領域であるかを検知し、その検知結果に応じて、５×５の画素領域の中心に配置される注目画素ｏｏに対するフィルタ処理を適切に行なう装置である。
なお、以下の説明において、５×５の画素領域の各画素について先頭画素を画素ｎｎとし、水平方向の格納順に、画素ｍｎ，ｏｎ，ｐｎ，ｑｎ，ｎｍ，ｍｍ，ｏｍ，ｐｍ，ｑｍ，ｎｏ，ｍｏ，ｏｏ，ｐｏ，ｑｏ，ｎｐ，ｍｐ，ｏｐ，ｐｐ，ｑｐ，ｎｑ，ｍｑ，ｏｑ，ｐｑ，ｑｑとする。

画像処理装置１は、５×５の画素領域を格納するバッファ部２と、第１エッジ検知部３と、第１エッジ検知部３の結果を補正する第１補正部５と、第２エッジ検知部４と、第２エッジ検知部４の結果を補正する第２補正部６と、モード信号ＭＤに応じて、第１補正部５の出力および第２補正部６の出力のうちから一つを選択あるいは混合して出力する選択部７と、５×５の画素領域の画素を対象として注目画素ｏｏのフィルタ処理を行い、選択部７の出力に応じて、フィルタ特性を最適化するノイズフィルタ部８と、を備えている。

図２は、第１エッジ検知部３の機能を示す機能ブロック図である。
最大値検知部３１では、周囲画素群のうち注目画素ｏｏと同色である画素ｎｎ，ｏｎ，ｑｎ，ｎｏ，ｑｏ，ｎｑ，ｏｑ，ｑｑが取得され、その周囲画素群のうちから最大値Ｂｍａｘが検知される。
最小値検知部３２では、周囲画素群のうち注目画素ｏｏと同色である画素ｎｎ，ｏｎ，ｑｎ，ｎｏ，ｑｏ，ｎｑ，ｏｑ，ｑｑが取得され、その周囲画素群のうちから最小値Ｂｍｉｎが検知される。
減算部３３では、最大値Ｂｍａｘから最小値Ｂｍｉｎを減算した結果が最大最小差分値Ｂ１として出力される。

これにより、例えば、周囲画素群が平坦領域を構成する場合には、周囲画素群の最大値Ｂｍａｘと最小値Ｂｍｉｎとの差分が小さくなるため、最大最小差分値Ｂ１には小さな値が出力されることとなる。これに対して、周囲画素群がエッジ領域を構成する場合には、周囲画素群の最大値Ｂｍａｘと最小値Ｂｍｉｎとの差分が大きくなるため、最大最小差分値Ｂ１には大きな値が出力されることとなる。

なお、バッファ部２では、注目画素が中心に配置され、周囲画素群は、水平方向および垂直方向に同数に配置されている。これにより、画像データから水平方向および垂直方向に均等に対象とする画素を取り出すことができる。また、周囲画素群は、注目画素と同色の画素が、最外周に配置されている。これにより、基本三原色を網羅する画素を無駄なく取り出すことが出来る。さらに、周囲画素群は、画像データがベイヤー配列の画像データで構成され、バッファ部２は、注目画素を中心にして、画像データの画素群を５行５列で格納している。これにより、基本三原色を網羅する画素を含む周囲画素群を最小の単位で構成することができる。

図１に戻り、第１補正部５では、第１エッジ検知部３の出力が所定の範囲内に収まるように処理される。具体的には、第１エッジ検知部３の出力が所定の下限値を下回る場合には０に固定する処理や、所定の上限値を上回る場合には最大値に固定する処理などが含まれている。

次いで、第２エッジ検知部４について説明する。第２エッジ検知部４でも、第１エッジ検知部３と同様に周囲画素群が平坦領域であるか、エッジ領域であるかが検知される。第２エッジ検知部４は、明度平均値演算部４１と、周辺明度平均値演算部４２と、明度差分累積値演算部４３と、を備えている。

図３は、第２エッジ検知部４の機能を示す機能ブロック図である。
明度平均値演算部４１では、周囲画素群のうち同色の画素ごとに平均値が得られ、さらに、それぞれの平均値が加え合わせられて、色数の４で除せられることで、周囲画素群の平均値である明度平均値Ｌａｖが得られる。以下に具体的な演算を説明する。

まず、Ｒ画素の平均値として、平均値Ｌａｖ１が、画素ｎｎ，ｏｎ，ｑｎ，ｎｏ，ｑｏ，ｎｑ，ｏｑ，ｑｑの和を８で除して得られ、Ｇｒ画素の平均値として、平均値Ｌａｖ２が画素ｍｏ，ｐｏの和を２で除して得られ、Ｇｂ画素の平均値として、平均値Ｌａｖ３が画素ｏｍ，ｏｐの和を２で除して得られ、Ｂ画素の平均値として、平均値Ｌａｖ４が画素ｍｍ，ｐｍ，ｍｐ，ｐｐの和を４で除して得られる。さらに、明度平均値Ｌａｖが、平均値Ｌａｖ１，Ｌａｖ２，Ｌａｖ３，Ｌａｖ４の和を４で除して得られる。

なお、本実施形態ではＧｒ画素の平均値として、ｍｏ，ｐｏの和を２で除しているが、画素ｍｏ，ｐｏの和に、周囲画素群のうちＧｒ画素である画素ｍｎ，ｐｎ，ｍｑ，ｐｑをさらに加え、６で除して平均値Ｌａｖ２を求めてもよい。また、Ｇｂ画素の平均値として、画素ｏｍ，ｏｐの和を２で除しているが、画素ｏｍ，ｏｐの和に、周囲画素群のうちＧｒ画素である画素ｎｍ，ｑｍ，ｎｐ，ｑｐをさらに加え、６で除して平均値Ｌａｖ３を求めてもよい。

周辺明度平均値演算部４２では、周囲画素群のうちから基本三原色を網羅する画素の組み合わせを取り、組み合わされた画素の平均値である周辺明度平均値Ｌａｒが、各々の組み合わせごとに得られる。本実施形態では、画像データが５×５画素のサイズであり、基本三原色を網羅する画素の組み合わせはＲ画素，Ｇｒ画素，Ｇｂ画素，Ｂ画素となる。

このとき、周囲画素群におけるＲ画素，Ｇｒ画素，Ｇｂ画素，Ｂ画素の組み合わせは、画素ｎｎ，ｍｎ，ｎｍ，ｍｍ、画素ｍｎ，ｏｎ，ｍｍ，ｏｍ、画素ｏｎ，ｐｎ，ｏｍ，ｐｍ、画素ｐｎ，ｑｎ，ｐｍ，ｑｍ、画素ｎｍ，ｍｍ，ｎｏ，ｍｏ、画素ｐｍ，ｑｍ，ｐｏ，ｑｏ、画素ｎｏ，ｍｏ，ｎｐ，ｍｐ、画素ｐｏ，ｑｏ，ｐｐ，ｑｐ、画素ｎｐ，ｍｐ，ｎｑ，ｍｑ、画素ｍｐ，ｏｐ，ｍｑ，ｏｑ、画素ｏｐ，ｐｐ，ｏｑ，ｐｑ、画素ｐｐ，ｑｐ，ｐｑ，ｑｑの１２通りとなる。周辺明度平均値演算部４２では、それぞれの組み合わせごとに画素の平均値が演算され、周辺明度平均値Ｌａｒ１〜１２がそれぞれ得られる。

明度差分累積値演算部４３では、周辺明度平均値Ｌａｒごとに、周辺明度平均値Ｌａｒから明度平均値Ｌａｖを減じた値の絶対値の合計値である明度差分累積値Ｂ２が得られる。本実施形態の画像処理装置１では、｜Ｌａｒ１−Ｌａｖ｜，｜Ｌａｒ２−Ｌａｖ｜，｜Ｌａｒ３−Ｌａｖ｜，｜Ｌａｒ４−Ｌａｖ｜，｜Ｌａｒ５−Ｌａｖ｜，｜Ｌａｒ６−Ｌａｖ｜，｜Ｌａｒ７−Ｌａｖ｜，｜Ｌａｒ８−Ｌａｖ｜，｜Ｌａｒ９−Ｌａｖ｜，｜Ｌａｒ１０−Ｌａｖ｜，｜Ｌａｒ１１−Ｌａｖ｜，｜Ｌａｒ１２−Ｌａｖ｜の合計値が演算され、明度差分累積値Ｂ２が得られる。

これにより、例えば、周囲画素群が平坦領域を構成する場合には、周囲画素群の明度平均値Ｌａｖと周辺明度平均値Ｌａｒとの差分が小さくなるため、明度差分累積値Ｂ２には小さな値が出力されることとなる。これに対して、周囲画素群がエッジ領域を構成する場合には、周囲画素群の明度平均値Ｌａｖと周辺明度平均値Ｌａｒとの差分が大きくなるため、明度差分累積値Ｂ２には大きな値が出力されることとなる。

なお、バッファ部２では、注目画素が中心に配置され、周囲画素群は、水平方向および垂直方向に同数に配置されている。これにより、画像データから水平方向および垂直方向に均等に対象とする画素を取り出すことができる。また、周囲画素群は、注目画素と同色の画素が、最外周に配置されている。これにより、基本三原色を網羅する画素を無駄なく取り出すことが出来る。さらに、周囲画素群は、画像データがベイヤー配列の画像データで構成され、バッファ部２は、注目画素を中心にして、画像データの画素群を５行５列で格納している。これにより、基本三原色を網羅する画素を含む周囲画素群を最小の単位で構成することができる。

図１に戻り、第２補正部６では、第２エッジ検知部４の出力が所定の範囲内に収まるように処理される。具体的には、第２エッジ検知部４の出力が所定の下限値を下回る場合には０に固定する処理や、所定の上限値を上回る場合には最大値に固定する処理などが含まれている。

選択部７では、モード信号ＭＤに応じて、第１補正部５の出力または第２補正部６の出力のうちいずれか一方が選択されて補正値Ｂが出力される。また、モード信号ＭＤにより、第１補正部５の出力または第２補正部６の出力のうちいずれか大きい方もしくは小さい方が補正値Ｂに出力されるようにすることもできる。

ノイズフィルタ部８では、公知のメディアンフィルタを用いて、画像データに対するノイズ除去処理がなされ、その処理後の注目画素ｏｏが出力される。ノイズフィルタ部８は、メディアンフィルタと、画像データからの注目画素ｏｏおよびメディアンフィルタからの注目画素ｏｏを補正値Ｂに応じた按分比で混合し出力する注目画素演算部と、を備えている。

これにより、ノイズフィルタ部８の出力特性は、選択部７からの補正値Ｂの値の大きさに応じて変化するようにされている。具体的には、画像データからの注目画素ｏｏの値と、メディアンフィルタから出力される注目画素ｏｏの値とを補正値Ｂの大きさに応じた按分比で混合して出力している。例えば、補正値Ｂの値が小さい場合には、メディアンフィルタからの注目画素ｏｏの値の按分が大きくされることにより、ノイズの除去特性が強くされ、補正値Ｂの値が大きい場合には、画像データからの注目画素ｏｏの値の按分が大きくされることにより、ノイズの除去特性が弱くされる。

なお、本実施例では、ノイズフィルタ部８について、補正値Ｂの大きさに応じて画像データからの注目画素ｏｏおよびメディアンフィルタからの注目画素ｏｏの按分を変化させる構成としているが、補正値Ｂに対し閾値ＢＴＨと比較する比較部と、メディアンフィルタからの注目画素ｏｏまたは画像データからの注目画素ｏｏの値のいずれかを選択する注目画素選択部を設け、注目画素選択部は、補正値Ｂが閾値ＢＴＨ未満の場合にはメディアンフィルタからの注目画素ｏｏを出力し、補正値Ｂが閾値ＢＴＨ以上の場合には画像データからの注目画素ｏｏを出力する構成としてもよい。このように構成する場合には、前述した注目画素演算部を含む回路に比して、より簡易な回路で構成することができる。

次いで、第１実施形態にかかる画像処理装置１の動作について説明する。
まず、５×５画素の画像データが平坦領域を構成する場合について考える。第１エッジ検知部３では、注目画素ｏｏと同色の周囲画素群のうち最大値Ｂｍａｘと最小値Ｂｍｉｎとの差分が小さくなるため、最大最小差分値Ｂ１は小さな値となる。また、第２エッジ検知部４においても、周囲画素群の明度平均値Ｌａｖと周辺明度平均値Ｌａｒとの差分が小さくなるため、明度差分累積値Ｂ２は小さな値となる。

従って、選択部７において、最大最小差分値Ｂ１または明度差分累積値Ｂ２のいずれを選択する場合においても選択部７からの補正値Ｂは小さな値となる。
ノイズフィルタ部８では、補正値Ｂの値が小さい場合には、ノイズの除去特性が強くされているため、ノイズフィルタ部８の出力はノイズが強く除去された値となる。
すなわち、画像データが平坦領域を構成する場合には、ノイズが強く除去された値が注目画素ｏｏとして出力されることとなる。すなわち、画像データが平坦領域の場合には、注目画素ｏｏにノイズが含まれたとしても、そのノイズが際立つことを抑制することができる。

なお、周囲画素群に、周囲画素群のうちほかの部分よりも際立って高いレベルのノイズが含まれる場合において、最大最小差分値Ｂ１は周囲画素群が平坦領域であるにもかかわらず大きな値となってしまうこととなる。これに対して、明度差分累積値Ｂ２は、このような高いレベルのノイズが含まれる場合であっても、周囲画素群におけるＲ画素，Ｇｒ画素，Ｇｂ画素，Ｂ画素の組み合わせごとに平均値が演算されるため、ノイズのピーク値が抑制される。このため、明度差分累積値Ｂ２は、最大最小差分値Ｂ１に比して小さな値となり、より適切に画像データの状態を反映した値となる。すなわち、第２エッジ検知部４は、第１エッジ検知部３に比してより高い精度でノイズフィルタ部８の補正値を出力することができる。

次いで、５×５画素の画像データがエッジ領域を構成する場合について考える。第１エッジ検知部３では、注目画素ｏｏと同色の周囲画素群のうち最大値Ｂｍａｘと最小値Ｂｍｉｎとの差分が大きくなるため、最大最小差分値Ｂ１には大きな値となる。また、第２エッジ検知部４においても、周囲画素群の明度平均値Ｌａｖと周辺明度平均値Ｌａｒとの差分が大きくなるため、明度差分累積値Ｂ２には大きな値となる。

従って、選択部７において、最大最小差分値Ｂ１または明度差分累積値Ｂ２のいずれを選択する場合においても選択部７からの補正値Ｂは大きな値となる。
ノイズフィルタ部８では、補正値Ｂの値が大きい場合には、ノイズ除去特性が弱くされているため、ノイズフィルタ部８の出力はノイズが弱く除去された値となる。
すなわち、画像データがエッジ領域を構成する場合には、ノイズが弱く除去された値が注目画素ｏｏとして出力されることとなる。すなわち、画像データがエッジ領域の場合には、注目画素ｏｏにノイズが含まれたとしても、周囲画素群の変化が大きいため、ノイズ除去をしなくともそのノイズが際立つことがなく、むしろ、ノイズ除去をするとエッジがぼやけてしまうという障害が生じるが、その障害を抑止することができる。

これにより、第１実施形態にかかる画像処理装置１では、周囲画素群が平坦であるか、エッジ領域であるかを判別して、注目画素ｏｏに対して適切なノイズ除去を行なうことができる。また、ベイヤー配列画像データに対し、直接画像データの領域の判定を行い、さらに、ベイヤー配列画像データから直接ノイズ除去の処理を行なうため、一旦ＲＧＢ画像データやＹＵＶ画像データに変換してノイズ除去の処理を行なう構成に比して、周囲画素群の影響を受けることなく精度の良いノイズ除去の処理を行なうことができる。また、画像処理装置１は、ベイヤー配列画像データをＲＧＢ変換および/またはＹＵＶ変換する回路を必要としないため、変換回路を備える装置に比して回路規模を小規模にすることができる。

（第２実施形態）
次いで、第２実施形態にかかる画像処理装置１Ａについて説明する。図４は、第２実施形態にかかる画像処理装置１Ａの構成を示す回路ブロック図である。なお、第２実施形態の画像処理装置１Ａは、第１実施形態にかかる画像処理装置１の第１エッジ検知部３に代えて、第３エッジ検知部９を備える画像処理装置である。従って、異なる部分である第３エッジ検知部９についてのみ詳細に説明し、第１実施形態と同様の部分についてはその説明を省略あるいは簡略化する。

第３エッジ検知部９は、平均値演算部９１と、分散値演算部９２とを備えている。図５を参照して平均値演算部９１および分散値演算部９２について説明する。
平均値演算部９１では、周囲画素群のうち注目画素ｏｏと同色である画素ｎｎ，ｏｎ，ｑｎ，ｎｏ，ｑｏ，ｎｑ，ｏｑ，ｑｑが取得され、それらの総和が８で除されて平均値Ｂａｖが算出される。
分散値演算部９２では、周囲画素群のうち注目画素ｏｏと同色である画素ごとに平均値演算部９１で求められた平均値Ｂａｖの差分をとり、それらの差分値ごとに２乗した値の総和を８で除した値が分散値Ｂ３として出力される。

これにより、例えば、周囲画素群が平坦領域を構成する場合には、平均値Ｂａｖと画素ｎｎ，ｏｎ，ｑｎ，ｎｏ，ｑｏ，ｎｑ，ｏｑ，ｑｑそれぞれの差分が小さくなるため、分散値Ｂ３には小さな値が出力されることとなる。これに対して、周囲画素群がエッジ領域を構成する場合には、平均値Ｂａｖと画素ｎｎ，ｏｎ，ｑｎ，ｎｏ，ｑｏ，ｎｑ，ｏｑ，ｑｑそれぞれの差分が大きくなるため、分散値Ｂ３には大きな値となる。

第２実施形態にかかる画像処理装置１Ａでは、第１実施形態にかかる画像処理装置１と同様の作用を奏して、周囲画素群が平坦であるか、エッジ領域であるかを判別して、注目画素ｏｏに対して適切なノイズ除去を行なうことができる。また、ベイヤー配列画像データに対し、直接画像データの領域の判定を行ない、さらに、ベイヤー配列画像データから直接ノイズ除去の処理を行なうため、一旦ＲＧＢ画像データやＹＵＶ画像データに変換してノイズ除去の処理を行なう構成に比して、周囲画素群の影響を受けることなく精度の良いノイズ除去の処理を行なうことができる。また、画像処理装置１は、ベイヤー配列画像データをＲＧＢ変換および/またはＹＵＶ変換する回路を必要としないため、変換回路を備える装置に比して回路規模を小規模にすることができる。

なお、バッファ部２では、注目画素が中心に配置され、周囲画素群は、水平方向および垂直方向に同数に配置されている。これにより、画像データから水平方向および垂直方向に均等に対象とする画素を取り出すことができる。また、周囲画素群は、注目画素と同色の画素が、最外周に配置されている。これにより、基本三原色を網羅する画素を無駄なく取り出すことが出来る。さらに、周囲画素群は、画像データがベイヤー配列の画像データで構成され、バッファ部２は、注目画素を中心にして、画像データの画素群を５行５列で格納している。これにより、基本三原色を網羅する画素を含む周囲画素群を最小の単位で構成することができる。

また、第１実施形態にかかる画像処理装置１の第１エッジ検知部３では、周囲画素群のうち注目画素ｏｏと同色である画素ｎｎ，ｏｎ，ｑｎ，ｎｏ，ｑｏ，ｎｑ，ｏｑ，ｑｑからの最大値Ｂｍａｘおよび最小値Ｂｍｉｎの差分により画像データの領域の状態を検知しているため、画素ｎｎ，ｏｎ，ｑｎ，ｎｏ，ｑｏ，ｎｑ，ｏｑ，ｑｑのうちに一つの画素にでもノイズが含まれる場合、誤検知することとなる。それに対して、第２実施形態にかかる画像処理装置１Ａの第３エッジ検知部９では、画素ｎｎ，ｏｎ，ｑｎ，ｎｏ，ｑｏ，ｎｑ，ｏｑ，ｑｑの分散値Ｂ３により画像データの領域の状態を検知している。このため、画素ｎｎ，ｏｎ，ｑｎ，ｎｏ，ｑｏ，ｎｑ，ｏｑ，ｑｑのうち一つの画素にノイズが含まれていたとしても、全体にノイズの影響が分散されて誤検知が抑制されることとなる。

（第３実施形態）
次いで、第３実施形態にかかる画像処理装置１Ｂについて説明する。図６は第３実施形態にかかる画像処理装置１Ｂの構成を示す回路ブロック図である。なお、第３実施形態の画像処理装置１Ｂは、第１実施形態にかかる画像処理装置１のノイズフィルタ部８に代えてエッジ強調部８０を備え、画像処理装置１から明度差分累積値演算部４３および選択部７を削減した画像処理装置である。従って、異なる部分であるエッジ強調部８０についてのみ詳細に説明し、第１実施形態と同様の部分についてはその説明を省略あるいは簡略化する。

エッジ強調部８０は、ＹＵＶ画像データ変換部８１と、ハイパスフィルタ部８２と、乗算部８３と、加算部８４とを備えている。
このうちＹＵＶ画像データ変換部８１は、バッファ部２に格納されている５×５画素のベイヤー配列画像データを入力とし、５×５画素のＹＵＶ画像データに変換する処理を行う。ここで、ＹＵＶ画像データは、輝度信号Ｙと、輝度信号Ｙと青色成分との差信号Ｕと、輝度信号Ｙと赤色成分との差信号Ｖからなる画像データである。まず、バッファ部２に格納されているベイヤー配列画像データを公知のバイリニア法によりＲＧＢ画像データ（Ｒ：赤色信号、Ｇ：緑色信号、Ｂ：青色信号からなる画像データ）に変換し、さらに、公知の方法によりＹＵＶ画像データに変換する。

ハイパスフィルタ部８２は、ＹＵＶ画像データ変換部８１から出力される５×５画素のＹＵＶ画像データのうち５×５画素の輝度信号Ｙを入力とし、５×５画素の輝度信号Ｙの空間周波数における高周波成分を強調するハイパスフィルタ処理を行い、注目画素ｏｏの位置の高域強調画素値Ａを出力する。なお、ハイパスフィルタ処理としては、公知の５×５画素の加重マトリクスを用いた方法にてなされる。また、この加重マトリクスは、図示しないＣＰＵなどにより任意に設定可能にされている。

乗算部８３は、ハイパスフィルタ部８２から出力される高域強調画素値Ａと、第１エッジ検知部３から出力される最大最小差分値Ｂ１を乗算し、輝度補正値Ｙ２を出力する回路である。なお、最大最小差分値Ｂ１は、最小値が０に、最大値が１になるよう予め正規化されている。すなわち、平坦領域でその変化が小さいほど０に近い値となり、逆に画像データがエッジ領域である場合などその変化の大きいほど１に近い値となる。この乗算により、輝度補正値Ｙ２は、平坦領域の場合には、略０の値となり、エッジ領域などでは、高域強調画素値Ａに近い値となる。
加算部８４では、輝度補正値Ｙ２および輝度信号Ｙのうち注目画素ｏｏの位置の画素が加算され、輝度信号Ｙ＋Ｙ２が出力される。

これにより、第３実施形態にかかる画像処理装置１Ｂでは、周囲画素群が平坦であるか、エッジ領域であるかを判別して、注目画素ｏｏに対して適切にエッジ強調を行なうことができる。本発明では、ベイヤー配列画像データに対し、直接画像データの領域の判定を行うため、一旦ＲＧＢ画像データやＹＵＶ画像データに変換して画像データの領域の判定を行なう構成に比して、周囲画素群の影響を受けることがないため、精度の良いエッジ強調の処理を行なうことができる。

なお、第３実施形態ではエッジ検出を行う手段として第１エッジ検知部３を用いたが、第２エッジ検知部４あるいは第３エッジ検知部９を用いてもよい。この場合にも、ベイヤー配列画像データに対し、直接画像データの領域の判定を行うため、一旦ＲＧＢ画像データやＹＵＶ画像データに変換して画像データの領域の判定を行なう構成に比して、周囲画素群の影響を受けることがないため、精度の良いエッジ強調の処理を行なうことができる。

（第４実施形態）
次いで、第４実施形態にかかる画像処理装置１Ｃについて説明する。
ところで、一般的にＤＳＣに用いられるＣＣＤ／ＣＭＯＳセンサ等のイメージセンサから得られる出力画素値は、その値が大きくなるほど含まれるノイズも大きくなる。このため、第１実施形態乃至第３実施形態に示すような適応的なノイズリダクションの処理をイメージセンサから得られる画素データに対して施すと、出力画素値が大きい領域では、標準偏差が大きなものとなる。これにより、出力画素値が大きい領域では、エッジ領域とみなされ易くなり、強いノイズリダクションがかけられにくくなり問題である。

イメージセンサから得られる出力画素値が持つ代表的なノイズとしては、暗電流によるノイズ、熱ノイズ、ショットノイズが挙げられる。このうち暗電流によるノイズはイメージセンサを構成する結晶の欠陥により生成され、固定値を持ったパターンのノイズとなる。また、熱ノイズはトランジスタのチャネル抵抗により生成され、温度の平方根に比例して大きくなるランダムノイズである。さらに、ショットノイズは、イメージセンサの１画素を構成するフォトダイオードに蓄えられた電子の量子的な揺らぎによるものであり、蓄えられた電荷の平方根、すなわち、ショットノイズは、出力画素値の平方根に比例した大きさのランダムノイズとなるものである。

ここで、暗電流によるノイズは、固定値を持ったパターンのノイズであり、熱ノイズは、ある一定温度下では、出力画素値の標準偏差が一定となることから、イメージセンサの同色の領域から得られるエッジ検出結果Ｅは、ショットノイズに依存したものとなる。すなわち、エッジ検出結果Ｅは、下式に示すように出力画素値の平方根に依存した関数となる。
Ｅ＝ｄ・Ｐ^1/2・・・・（式１）
なお、ここで、Ｅはエッジ検出結果の画素値、Ｐは周囲画素群から最大値および最小値の画素を除いた画素平均値、ｄは定数である。

図７は、第４実施形態にかかる画像処理装置１Ｃの構成を示す回路ブロック図である。画像処理装置１Ｃは、バッファ部２と、エッジ検出回路３（４，９）と、補正演算部１０と、ノイズフィルタ部８とを備えている。このうちバッファ部２と、エッジ検出回路３（４，９）と、ノイズフィルタ部８とは、前述の第１実施形態乃至第３実施形態に用いられているものと同様のものであるため、その説明を省略あるいは簡略化する。

補正演算部１０は、乗算部１０１と、最大値最小値除外部１０２と、平均値演算部１０３と、ルックアップテーブル１０４とを備えている。最大値最小値除外部１０２では、バッファ部２から注目画素値を除く周辺画素群が入力され、その周辺画素群から画素の最大値と最小値が除外される。

平均値演算部１０３では、バッファ部２に格納されている画素データから注目画素が除外された周囲画素群に対して、画素の最大値および最小値が除外された上で画素平均値Ｐが演算される。

ルックアップテーブル１０４は公知のメモリで構成されている。ルックアップテーブル１０４では、画素平均値Ｐが入力されると、下式で演算された補正値Ｃが出力されるように、メモリに予め計算された値が格納されている。
Ｃ＝ａ・Ｐ^-1/2−ｂ・・・・（式２）
なお、ここでＣは補正値、Ｐは周囲画素群から最大値および最小値の画素を除いた画素平均値、ａ，ｂは予め設定される定数である。

乗算部１０１では、エッジ検出回路３（４，９）からの有限ビット長を持つデジタル値であるエッジ検出結果Ｅと、有限ビット長を持つデジタル値である補正値Ｃとが乗算され、ノイズフィルタ部８に出力される。

エッジ検出結果Ｅ（式１）および補正値Ｃ(式２)が乗ぜられると、Ｅ・Ｃ＝ａ・ｄ−ｂ・Ｐ^1/2となり、ｂの値がａ・ｄの値に比して十分小さい場合には、−ｂ・Ｐ^1/2の項を無視することができ、(式１)および（式２）の乗算により、画素平均値Ｐに対するショットノイズの依存性が相殺されるとみなすことができる。すなわち、ショットノイズの影響が除去されて、エッジ領域以外では、標準偏差値が一定値とみなすことができる。これにより、ショットノイズの影響により、画素値が大きい領域で標準偏差が大きな領域であっても、エッジ領域とみなされにくくなり、適切なノイズリダクションをかけることができる。

（第５実施形態）
次いで、第５実施形態にかかる画像処理装置１Ｄについて説明する。図８は第５実施形態にかかる画像処理装置１Ｄの構成を示す回路ブロック図である。画像処理装置１Ｄは、バッファ部２と、エッジ検出回路３（４、９）と、補正演算部１０Ａと、ノイズフィルタ部８とを備えている。このうちバッファ部２と、エッジ検出回路３（４，９）と、ノイズフィルタ部８とは、前述の第１実施形態乃至第２実施形態に用いられているものと同様のものであるため、その説明を省略あるいは簡略化する。

補正演算部１０Ａは、乗算部１０１と、最大値最小値除外部１０２と、平均値演算部１０３と、補正値演算部１０５とを備えている。このうち、乗算部１０１と、最大値最小値除外部１０２と、平均値演算部１０３とは、第４実施形態にかかる画像処理装置１Ｃの補正演算部１０と同様なものであるため、その説明を省略あるいは簡略化する。

補正値演算部１０５は、公知の乗算器および加算器で構成されている。補正値演算部１０５では、画素平均値Ｐが入力されると、下式で演算された補正値Ｃが演算され、出力される。
Ｃ＝−α・Ｐ＋β・・・・（式３）
なお、ここでＣは補正値、Ｐは周囲画素群から最大値および最小値の画素を除いた画素平均値、α，βは予め設定される定数である。
一例として、定数α，βは、第４実施形態における（式２）から導き出される画素平均値Ｐおよび補正値Ｃの関係（例えば、第４実施形態においてルックアップテーブル１０４に格納されるようなデジタル値）から、公知の最小２乗法により得られる直線近似式により、算出することができる。

乗算部１０１では、エッジ検出回路３（４、９）からの有限ビット長を持つデジタル値であるエッジ検出結果Ｅと、有限ビット長を持つデジタル値である補正値Ｃとが乗算され、ノイズフィルタ部８に出力される。

エッジ検出結果Ｅ（式１）および補正値Ｃ（式３）が乗ぜられると、補正値Ｃが画素平均値Ｐに対して負の傾きを有する関数であるため、画素値の平方根に依存するショットノイズの影響が軽減されることとなる。これにより、ショットノイズの影響により、画素値が大きい領域で標準偏差が大きな領域であっても、エッジ領域とみなされにくくなり、適切なノイズリダクションをかけることができる。また、ルックアップテーブルを構成するメモリを使用していないため、第４実施形態にかかる画像処理装置１Ｃに比して、小規模の回路にすることができる。

尚、本発明は前記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲内で種々の改良、変形が可能であることは言うまでもない。
例えば、第１および第２実施形態においては、ノイズフィルタにメディアンフィルタを用いた例について説明したが、公知の空間周波数の高域を減少させる空間フィルタを用いた場合にも同様に適用することができることは言うまでもない。
また、前記実施例では、バッファ部２を５×５画素を格納する構成とした例で説明したが、バッファ部が、例えば９×９画素など他の大きさの画素を格納する構成にも、本発明は同様に適用することができる。
なお、第４実施形態および第５実施形態では、ベイヤー配列データを入力画素値とするエッジ検出回路３（４，９）を用いているが、ＲＧＢ単板のセンサからの独立したＲＧＢ画像データやＹＵＶ画像データを入力とするエッジ検出回路を用いた場合にも、本発明は同様に適用することができる。
また、第４実施形態および第５実施形態では、最大値最小値除外部１０２により、周辺画素群から最大値および最小値を除外して画素平均値Ｐを算出していたが、図７および図８において、最大値最小値除外部１０２を省略した上で、周辺画素群を平均値演算部１０３に直接入力し、周辺画素群から最大値および最小値を除外しないで画素平均値Ｐを算出してもよいし、最大値最小値除外部１０２、平均値演算部１０３を省略した上で注目画素を画素平均値Ｐの代わりに使用してもよい。
さらに、第４実施形態では、ルックアップテーブルを用いて補正値Ｃを求めていたが、ルックアップテーブルに代わり演算回路を用いる場合にも、本発明は同様に適用することができる。

なお、減算部は、エッジ検出部の一例、分散値演算部は、エッジ検出部の一例、明度差分累積演算部は、エッジ検出部の一例、第３エッジ検知部は、分散値演算部の一例、ＹＵＶ画像データ変換部は、輝度情報変換部の一例、ａは第１定数の一例、αは第２定数の一例、βは第３定数の一例である。

ここで、本発明の技術思想により、背景技術における課題を解決するための手段を以下に列記する。
（付記１） 画像処理の対象とする注目画素と前記注目画素の周囲の画素の集合である周囲画素群とを水平方向および垂直方向にわたり格納するバッファ部と、前記周囲画素群に含まれ、前記注目画素と同色である画素の最大値と最小値を求め、前記最大値と前記最小値の差分を求めるエッジ検出部と、を備えることを特徴とする画像処理装置。
（付記２） 画像処理の対象とする注目画素と前記注目画素の周囲の画素の集合である周囲画素群とを水平方向および垂直方向にわたり格納するバッファ部と、前記周囲画素群に含まれ、前記注目画素と同色である画素の分散値を求めるエッジ検出部と、を備えることを特徴とする画像処理装置。
（付記３） 画像処理の対象とする注目画素と前記注目画素の周囲の画素の集合である周囲画素群とを水平方向および垂直方向にわたり格納するバッファ部と、前記周囲画素群の平均値である明度平均値を求める明度平均値演算部と、前記周囲画素群の一部であって、前記周囲画素群のうちから基本三原色を網羅する画素の組み合わせを取り、組み合わされた画素の平均値である周辺明度平均値を、各々の組み合わせごとに求める周辺明度平均値演算部と、各々の前記周辺明度平均値ごとに、前記周辺明度平均値から前記明度平均値を減じた絶対値の合計値を求めるエッジ検出部と、を備えることを特徴とする画像処理装置。
（付記４） 付記１乃至付記３のいずれか一項に記載の画像処理装置であって、前記バッファ部では、前記注目画素が中心に配置され、前記周囲画素群は前記水平方向および前記垂直方向に、画素が同数配置されてなることを特徴とする画像処理装置。
（付記５） 付記４に記載の画像処理装置であって、前記周囲画素群は、前記注目画素と同色の画素が、最外周に配置されてなることを特徴とする画像処理装置。
（付記６） 付記１乃至付記３のいずれか一項に記載の画像処理であって、画像データはベイヤー配列の画像データで構成され、前記バッファ部は、前記注目画素を中心にして、前記画像データの画素群を５行５列で格納することを特徴とする画像処理装置。
（付記７） 付記１に記載の画像処理装置であって、前記減算部の結果が制御値として入力され、入力される前記制御値が小さくなるにつれ、ノイズの除去特性が強くされるノイズフィルタ部をさらに備えることを特徴とする画像処理装置。
（付記８） 付記１に記載の画像処理装置であって、前記周囲画素群および前記注目画素の輝度情報から空間周波数における高周波成分を抽出し、前記注目画素の位置にある高周波成分抽出後の輝度情報を出力するハイパスフィルタ部と、前記ハイパスフィルタ部の結果に、前記減算部の結果を乗じる乗算部と、をさらに備えることを特徴とする画像処理装置。
（付記９） 付記２に記載の画像処理装置であって、前記分散値演算部の結果が制御値として入力され、入力される前記制御値が小さくなるにつれ、ノイズの除去特性が強くされるノイズフィルタ部をさらに備えることを特徴とする画像処理装置。
（付記１０） 付記１に記載の画像処理装置であって、前記周囲画素群および前記注目画素の輝度情報から空間周波数における高周波成分を抽出し、前記注目画素の位置にある高周波成分抽出後の輝度情報を出力するハイパスフィルタ部と、前記ハイパスフィルタ部の結果に、前記分散値演算部の結果を乗じる乗算部と、をさらに備えることを特徴とする画像処理装置。
（付記１１） 付記３に記載の画像処理装置であって、前記明度差分累積演算部の結果が制御値として入力され、入力される前記制御値が小さくなるにつれ、ノイズの除去特性が強くされるノイズフィルタ部をさらに備えることを特徴とする画像処理装置。
（付記１２） 付記１に記載の画像処理装置であって、前記周囲画素群および前記注目画素の輝度情報から空間周波数における高周波成分を抽出し、前記注目画素の位置にある高周波成分抽出後の輝度情報を出力するハイパスフィルタ部と、前記ハイパスフィルタ部の結果に、前記明度差分累積演算部の結果を乗じる乗算部と、をさらに備えることを特徴とする画像処理装置。
（付記１３） 付記１乃至付記３のいずれか一項に記載の画像処理装置であって、前記エッジ検出部の出力に対し、画素値に依存するノイズを打ち消して補正する補正演算部を備えることを特徴とする画像処理装置。
（付記１４） 付記１３に記載の画像処理装置であって、前記補正演算部は、前記周辺画素群から最大値および最小値を除外する最大値最小値除外部と、前記最大値最小値除外部の出力の平均値を演算する平均値演算部と、前記平均値の平方根の逆数に第１定数を乗じた補正値を生成する補正値生成部と、前記エッジ検出部の出力に対し、前記補正値を乗じる乗算部と、を含むことを特徴とする画像処理装置。
（付記１５） 付記１３に記載の画像処理装置であって、前記補正演算部は、前記周辺画素群から最大値および最小値を除外する最大値最小値除外部と、前記最大値最小値除外部からの結果の平均値を演算する平均値演算部と、前記平均値に負の第２定数を乗じ、第３定数を加算した補正値を生成する補正値生成部と、前記エッジ検出部の出力に対し、前記補正値を乗じる乗算部と、を含むことを特徴とする画像処理装置。
（付記１６） 付記１３に記載の画像処理装置であって、前記補正演算部は、前記周辺画素群からの平均値を演算する平均値演算部と、前記平均値の平方根の逆数に第１定数を乗じた補正値を生成する補正値生成部と、前記エッジ検出部の出力に対し、前記補正値を乗じる乗算部と、を含むことを特徴とする画像処理装置。
（付記１７） 付記１３に記載の画像処理装置であって、前記補正演算部は、前記周辺画素群からの平均値を演算する平均値演算部と、前記平均値に負の第２定数を乗じ、第３定数を加算した補正値を生成する補正値生成部と、前記エッジ検出部の出力に対し、前記補正値を乗じる乗算部と、を含むことを特徴とする画像処理装置。
（付記１８） 付記１４乃至付記１７のいずれか一項に記載の画像処理装置であって、前記補正値生成部は、予め演算された前記補正値が格納され、前記平均値に応じて、対応する前記補正値を取り出すルックアップテーブルを含むことを特徴とする画像処理装置。
（付記１９） 付記１４乃至付記１７のいずれか一項に記載の画像処理装置であって、前記補正値生成部は、前記平均値に応じて、前記補正値を演算する補正値演算部を含むことを特徴とする画像処理装置。

第１実施形態にかかる画像処理装置の構成を示す回路ブロック図である。 第１エッジ検出部の機能を示す機能ブロック図である。 第２エッジ検出部の機能を示す機能ブロック図である。 第２実施形態にかかる画像処理装置の構成を示す回路ブロック図である。 第３エッジ検出部の機能を示す機能ブロック図である。 第３実施形態にかかる画像処理装置の構成を示す回路ブロック図である。 第４実施形態にかかる画像処理装置の構成を示す回路ブロック図である。 第５実施形態にかかる画像処理装置の構成を示す回路ブロック図である。 従来技術の画像処理装置のブロック図である。

１、１Ａ、１Ｂ、１Ｃ、１Ｄ 画像処理装置
２ バッファ部
３ 第１エッジ検知部
４ 第２エッジ検知部
８ ノイズフィルタ部
９ 第３エッジ検知部
１０、１０Ａ 補正演算部
３１ 最大値検知部
３２ 最小値検知部
３３ 減算部
４１ 明度平均値演算部
４２ 周辺明度平均値演算部
４３ 明度差分累積値演算部
８０ エッジ強調部
８１ ＹＵＶ画像データ変換部
８２ ハイパスフィルタ部
８３ 乗算部
８４ 加算部
９１ 平均値演算部
９２ 分散値演算部

Claims (9)

1. 画像処理の対象とする注目画素と前記注目画素の周囲の画素の集合である周囲画素群とを水平方向および垂直方向にわたり格納するバッファ部と、
   前記周囲画素群の平均値である明度平均値を求める明度平均値演算部と、
   前記周囲画素群の一部であって、前記周囲画素群のうちから基本三原色を網羅する画素の組み合わせを取り、組み合わされた画素の平均値である周辺明度平均値を、各々の組み合わせごとに求める周辺明度平均値演算部と、
   各々の前記周辺明度平均値ごとに、前記周辺明度平均値から前記明度平均値を減じた絶対値の合計値を求めるエッジ検出部と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記バッファ部では、前記注目画素が中心に配置され、前記周囲画素群は前記水平方向および前記垂直方向に、画素が同数配置されてなることを特徴とする画像処理装置。
3. 請求項１に記載の画像処理であって、
   画像データはベイヤー配列の画像データで構成され、
   前記バッファ部は、前記注目画素を中心にして、前記画像データの画素群を５行５列で格納することを特徴とする画像処理装置。
4. 請求項１に記載の画像処理装置であって、
   前記エッジ検出部の出力に対し、画素値に依存するノイズを打ち消して補正する補正演算部を備える
   ことを特徴とする画像処理装置。
5. 請求項４に記載の画像処理装置であって、
   前記補正演算部は、
   前記周辺画素群から最大値および最小値を除外する最大値最小値除外部と、
   前記最大値最小値除外部の出力の平均値を演算する平均値演算部と、
   前記平均値の平方根の逆数に第１定数を乗じた補正値を生成する補正値生成部と、
   前記エッジ検出部の出力に対し、前記補正値を乗じる乗算部と、
   を含む
   ことを特徴とする画像処理装置。
6. 請求項４に記載の画像処理装置であって、
   前記補正演算部は、
   前記周辺画素群から最大値および最小値を除外する最大値最小値除外部と、
   前記最大値最小値除外部からの結果の平均値を演算する平均値演算部と、
   前記平均値に負の第２定数を乗じ、第３定数を加算した補正値を生成する補正値生成部と、
   前記エッジ検出部の出力に対し、前記補正値を乗じる乗算部と、
   を含む
   ことを特徴とする画像処理装置。
7. 請求項５乃至請求項６のいずれか一項に記載の画像処理装置であって、
   前記補正値生成部は、予め演算された前記補正値が格納され、前記平均値に応じて、対応する前記補正値を取り出すルックアップテーブルを含む
   ことを特徴とする画像処理装置。
8. 請求項５乃至請求項６のいずれか一項に記載の画像処理装置であって、
   前記補正値生成部は、前記平均値に応じて、前記補正値を演算する補正値演算部を含むことを特徴とする画像処理装置。
9. 画像処理の対象とする注目画素と前記注目画素の周囲の画素の集合である周囲画素群とを水平方向および垂直方向にわたり格納するステップと、
   前記周囲画素群の平均値である明度平均値を求めるステップと、
   前記周囲画素群の一部であって、前記周囲画素群のうちから基本三原色を網羅する画素の組み合わせを取り、組み合わされた画素の平均値である周辺明度平均値を、各々の組み合わせごとに求めるステップと、
   各々の前記周辺明度平均値ごとに、前記周辺明度平均値から前記明度平均値を減じた絶対値の合計値を求めるステップと、
   を有することを特徴とする画像処理方法。

Images