JPWO2005081542A1 - 画像処理方法 - Google Patents

Abstract

特徴値算出部３により算出された微小領域の特徴値から注目画素近傍のエッジ強度値を算出するエッジ強度値算出部４と、エッジ強度値算出部３により算出されたエッジ強度値をエッジ強度補正曲線にしたがって補正するエッジ強度値補正部５と、その注目画素と同色成分の周辺画素の画像信号値から、その注目画素のローパスフィルタ値を算出するフィルタ値算出部６とを設け、補正前後のエッジ強度値を用いて、注目画素の画像信号値とローパスフィルタ値を重み付け加算することにより、その注目画素の画像信号値を補正する。

Description

この発明は、撮像素子により撮像された画像信号に含まれているノイズを除去する画像処理方法に関するものである。

一般的な画像処理装置においては、色の３原色であるＲ成分の色フィルタ、Ｇ成分の色フィルタ及びＢ成分の色フィルタが別個に貼り付けられているＣＣＤなどの２次元撮像素子を３枚搭載している。
そして、画像処理装置は、１回の撮影で光学系から入射される被写体の光学像を分光プリズム等で分光し、分光後の光学像を３枚の２次元撮像素子に入射させて、１画面分のフルカラー画像情報を得る多板式の撮像方法を採用している。
これに対して、２次元的に配列されている各画素に、Ｒ成分の色フィルタ、Ｇ成分の色フィルタ、あるいは、Ｂ成分の色フィルタのいずれかが貼り付けられている１枚の２次元撮像素子を搭載している画像処理装置がある。
この画像処理装置の場合、各画素からは１色分の色信号（Ｒ色、Ｇ色又はＢ色のうちの、いずれか１色の色信号）しか得られないので、得られない２色分の色信号を、当該画素の周辺画素の色信号を用いて演算により求め、疑似的に各画素のフルカラー画像情報を得る単板式の撮影方法を採用している。
単板式の撮影方法は、多板式の撮像方法と比較して、撮像素子を含む光学部品点数が少なくて済むため、小型かつ低価格に装置を構成することが可能であり、民生用のディジタルスチルカメラやディジタルビデオカメラなどで広く採用されている。
単板式の撮影方法は、上述したように、原色フィルタが貼り付けられた単板式の撮像素子により撮像された画像情報から色信号の補間処理を実施して非撮像色信号を生成することにより、フルカラー画像を得るが、その色補間処理によって生成された各画素のＲ，Ｇ，Ｂ信号は、最終的に画面表示や、ＪＰＥＧ・ＭＰＥＧなどの画像圧縮処理を施すために輝度色差信号に変換され、画像圧縮前の輝度色差信号からなる画像に対してノイズ低減や輪郭強調などの処理を行うフィルタ処理が一般的に施される。
下記の特許文献１，２に示されている従来の画像処理方法では、撮像装置が３板式の撮像素子を用いている場合、輝度色差分離回路が輝度色差信号への変換処理を実施し、撮像装置が単板式の撮像素子を用いている場合、輝度色差分離回路が上述した色補間処理を実施してから輝度色差信号への変換処理を実施する。
そして、輝度色差分離回路により変換された輝度色差信号に対して輪郭強調処理や、コアリングと呼ばれるノイズ低減処理を実施することにより、ノイズを低減するようにしている。
また、下記の特許文献３に示されている従来の画像処理方法では、単板式の撮像素子により撮像された画像に対して色補間処理を実施する際にノイズ低減処理を実施するが、色補間処理を実施することによって全画素の輝度信号を生成した後に所定のローパスフィルタを施しているため、色補間処理を実施することによって発生するノイズの拡散を防止することができない。また、色補間処理後の輝度信号についてノイズ低減処理用の画素ウィンドウを構成するために、付加的なラインバッファが必要となる。
さらに、下記の特許文献４に示されている従来の画像処理方法では、単板式の撮像素子により撮像された画像に対して色補間処理を実施する前にノイズ除去処理を行う技術が開示されており、ノイズが色補間処理によって拡散されることなく、ノイズを低減することが可能である。
しかし、所定領域に存在する注目画素と同色成分の画素のみを用いてノイズレベル検出と補正値演算を行うため、隣接する異なる撮像色の画素間で検出されるノイズレベルが特に色エッジにおいて相違が生じ、画面内におけるノイズ低減処理の連続性が損なわれて画質の安定感が失われる。また、ノイズレベルの検出の際に、処理済の隣接する同色画素におけるノイズレベル値を再帰的に使用しているが、隣接画素と無関係に発生するランダムノイズの低減には効果が薄い。さらに、ファジー関数によってノイズレベルが高い領域を画像情報として有意なエッジであると判定し、ノイズ低減処理を行わないようにしているが、エッジに隣接する画素で発生しているノイズを低減することができず、後段で一般的に使用される輪郭強調処理によって、そのノイズが強調されることになる。
［特許文献１］ 特許第２７８７７８１号
［特許文献２］ 特開２００１−１７７７６７号公報
［特許文献３］ 特開２００３−８７８０９号公報
［特許文献４］ 特開２００３−１５３２９０号公報
従来の画像処理方法は以上のように構成されているので、撮像素子が光電変換を実施する際に画像信号に畳重されるノイズや、光電変換後のアナログ信号に畳重されるノイズ（アナログ信号処理回路で発生するノイズ）は、色補間処理によって注目画素の周辺に拡散する。そのため、撮像素子の画素数が増加し、１素子当りの受光面積が小さくなるほど、感度低下が進み、相対的に増大するノイズを十分に低減することができなくなる課題があった。
即ち、輝度ノイズについてはコアリングを施し、色ノイズについてはローパスフィルタ処理を実施することで、ある程度、ノイズを低減することができるが、実際の撮影画像にはスポットノイズではなく、画像全面に渡ってランダムノイズが生じる。そのため、色補間処理で拡散されたノイズ成分同士が重なり合い、本来の画像信号がノイズに埋没するので、輝度色差信号に変換された後では、輝度ノイズや色ノイズの除去は困難である。
この発明は上記のような課題を解決するためになされたもので、注目画素に重畳されているノイズが周辺画素に拡散されることなく、そのノイズを十分に低減することができる画像処理方法を得ることを目的とする。

この発明に係る画像処理方法は、特徴値算出ステップにより算出された微小領域の特徴値から注目画素近傍のエッジ強度値を算出するエッジ強度値算出ステップと、その注目画素と同色成分の周辺画素の画像信号値から、その注目画素のローパスフィルタ値を算出するフィルタ値算出ステップとを設け、そのエッジ強度値算出ステップにより算出されたエッジ強度値と、そのフィルタ値算出ステップにより算出されたローパスフィルタ値とを用いて、その注目画素の画像信号値を補正するようにしたものである。
このことによって、注目画素に重畳されているノイズが周辺画素に拡散されることなく、そのノイズを十分に低減することができる効果がある。

第１図はこの発明の実施の形態１による画像処理方法を適用する画像処理装置を示す構成図である。
第２図はこの発明の実施の形態１による画像処理方法を示すフローチャートである。
第３図は単板式の撮像素子における色フィルタの配置を示す説明図である。
第４図はＧ信号の線形補間を示す説明図である。
第５図はＢ信号の線形補間を示す説明図である。
第６図はＲ信号の線形補間を示す説明図である。
第７図は画素ウィンドウなどを示す説明図である。
第８図は特徴値ウィンドウを示す説明図である。
第９図は重み付け係数を示す説明図である。
第１０図はエッジ強度補正曲線を示す説明図である。
第１１図は特徴値ウィンドウを示す説明図である。
第１２図は輝度信号や色差信号などを示す説明図である。
第１３図は輝度信号や色差信号などを示す説明図である。
第１４図はこの発明の実施の形態３による画像処理方法を示すフローチャートである。
第１５図は周辺画素のＧ成分分布を示す説明図である。
第１６図はこの発明の実施の形態４による画像処理方法を適用する画像処理装置を示す構成図である。
第１７図はこの発明の実施の形態４による画像処理方法を示すフローチャートである。
第１８図は２値化分布を示す説明図である。
第１９図は実施の形態４のノイズ低減処理等を示す説明図である。

以下、この発明をより詳細に説明するために、この発明を実施するための最良の形態について、添付の図面に従って説明する。
実施の形態１．
第１図はこの発明の実施の形態１による画像処理方法を適用する画像処理装置を示す構成図である。図において、画像データ入力部１は２次先的に配列されている各画素に、３原色における何れかの色フィルタが配置されている撮像素子により撮像された撮像色信号（画像信号値）を入力する。領域切出し部２は撮像素子の撮像領域から、ノイズの低減処理を実施する注目画素を中心とする所定領域の切出しを行い、その所定領域の撮像色信号を抽出する。特徴値算出部３は領域切出し部２により抽出された所定領域の撮像色信号から、所定領域内の微小領域の特徴値を算出する。即ち、特徴値算出部３は所定領域内の微小領域に対応するＲ成分の色フィルタ、Ｇ成分の色フィルタ及びＢ成分の色フィルタから出力される撮像色信号を用いて、その微小領域の特徴値を算出する。
エッジ強度値算出部４は特徴値算出部３により算出された微小領域の特徴値から注目画素近傍のエッジ強度値を算出する。エッジ強度値補正部５はエッジ強度値算出部４により算出されたエッジ強度値をエッジ強度補正曲線にしたがって補正する。
フィルタ値算出部６は注目画素と同色成分の周辺画素の撮像色信号から、その注目画素のローパスフィルタ値を算出する。
画像信号値補正部７はエッジ強度値算出部４により算出されたエッジ強度値と、エッジ強度値補正部５により補正されたエッジ強度値とを用いて、注目画素の画像信号値とローパスフィルタ値を重み付け加算することにより、その注目画素の画像信号値を補正する。
第２図はこの発明の実施の形態１による画像処理方法を示すフローチャートである。
次に動作について説明する。
この実施の形態１の画像処理装置は、第３図に示すようなＲ，Ｇ，Ｂの３原色の色フィルタがＢａｙｅｒ型に配列された単板式の撮像素子を用いるものとする。
第３図におけるＲ信号、Ｇ信号、Ｂ信号は、光電変換素子の各画素位置でサンプリングされた撮像色信号であり、Ｒは赤色（Ｒ信号）、Ｇは緑色（Ｇ信号）、Ｂは青色（Ｂ信号）を示している。
最初に、原色フィルタが貼り付けられた単板式の撮像素子の撮像結果である撮像色信号を用いて色補間処理を実施することにより、非撮像色信号を生成して、フルカラー画像を得る手順を簡単に説明する。ただし、この実施の形態１の画像処理装置は、後述するノイズ低減処理を実施してから、色補間処理を実施して、フルカラー画像を得るようにしている。
第３図のように色フィルタが配置されている撮像素子の撮像結果から、各画素がＲＧＢ全成分を有するフルカラー画像を生成する場合、各画素のフィルタ色（撮像色）以外の２色の非撮像色信号を生成する必要がある。
例えば、Ｇ信号だけに着目すると、撮像素子の撮像結果には、第４図に示す位置にのみ、Ｇ信号（第４図では大文字で表記）の撮像色信号が存在する。従来の一般的な線形補間法では、上下左右の４画素のＧ信号の平均値からＧ信号が存在しない中央の画素のＧ信号レベル（第４図では小文字“ｇ”で表記）を算出して補間することにより、全画素分のＧ信号を得る。
また、Ｂ信号に着目すると、第５図に示すように、上下の画素のＢ信号からその中間の画素のｂ１信号を生成して内挿し、また、上下左右の画素のＢ信号からその中央の画素のｂ２信号を生成して内挿し、さらに、左右の画素のＢ信号からその中間の画素のｂ３信号を生成して内挿することにより、全画素分のＢ信号を得る。
Ｒ信号においても、第６図に示すように、Ｂ信号と同様の方法で、全画素分のＲ信号を得る。
これにより、全画素において、Ｒ，Ｇ，Ｂ信号を得ることができる。
次に、この実施の形態１の画像処理装置によるノイズ低減処理を具体的に説明する。
まず、画像データ入力部１は、単板式の撮像素子により撮像された各画素の撮像色信号である画像信号値を入力する。
領域切出し部２は、画像データ入力部１が各画素の撮像色信号を入力すると、第７図（ａ）に示すように、撮像素子の撮像領域から、ノイズの低減処理を実施する注目画素Ｐ（２，２）を中心とする５×５画素の所定領域（以下、画素ウィンドウと称する）の切出しを行い、その画素ウィンドウ内の画素の撮像色信号を出力する。
ここで、第７図（ｂ）（ｃ）（ｄ）は、実際に切出される画素ウィンドウ内の画素配置を示す説明図であり、注目画素がＧ成分、Ｒ成分またはＢ成分の場合によって、これら３つのケースが存在する。
特徴値算出部３は、領域切出し部２から画素ウィンドウ内の画素の撮像色信号を受けると、その画素ウィンドウ内の微小領域の特徴値を算出する。
即ち、特徴値算出部３は、注目画素Ｐ（２，２）を中心とする画素ウィンドウにおいて、Ｒ成分、Ｇ成分及びＢ成分を含む微小領域としてＰ（ｉ，ｊ）、Ｐ（ｉ＋１，ｊ）、Ｐ（ｉ，ｊ＋１）、Ｐ（ｉ＋１，ｊ＋１）（但し、０≦ｉ≦３、０≦ｊ≦３）の４画素を含む領域を定義する。
そして、特徴値算出部３は、各微小領域毎に、その微小領域を構成する画素の撮像色信号を下記の式（１）に代入して特徴値Ｄ（ｉ，ｊ）を算出する（ステップＳＴ１）。

画素ウィンドウの全体について、式（１）を実行することにより、第８図に示すような４×４の特徴値ウィンドウが生成される。
例えば、ｉ＝０，ｊ＝０であれば、微小領域を構成する画素はＰ（０，０）、Ｐ（１，０）、Ｐ（０，１）、Ｐ（１，１）になり、その微小領域の特徴値はＤ（０，０）となる。
また、ｉ＝２，ｊ＝２であれば、微小領域を構成する画素はＰ（２，２）、Ｐ（３，２）、Ｐ（２，３）、Ｐ（３，３）になり、その微小領域の特徴値はＤ（２，２）となる。
エッジ強度値算出部４は、特徴値算出部３が各微小領域の特徴値を算出すると、各微小領域の特徴値から注目画素近傍のエッジ強度値（以下、入力エッジ強度値Ｅｄ１と称する）を算出する（ステップＳＴ２）。
即ち、エッジ強度値算出部４は、第８図の特徴値ウィンドウ内の特徴値に対して、例えば、第９図に示すような重み付け係数を乗じた後、各乗算結果を下記の式（２）のように加算して、特徴値ウィンドウにおける入力エッジ強度値Ｅｄ１を算出する。

エッジ強度値補正部５は、エッジ強度値算出部４が入力エッジ強度値Ｅｄ１を算出すると、予め設定されたエッジ強度補正曲線（第１０図を参照）にしたがって入力エッジ強度値Ｅｄ１を補正し、補正後の入力エッジ強度値Ｅｄ１として出力エッジ強度値Ｋｏｕｔを出力する（ステップＳＴ３）。
即ち、エッジ強度値補正部５は、下記の式（３）に示すように、エッジ強度補正曲線を表す関数ｆに入力エッジ強度値Ｅｄ１を代入して出力エッジ強度値Ｋｏｕｔを算出する。

なお、エッジ強度補正曲線を表す関数ｆ（Ｅｄ１）は、第１０図に示すように、入力エッジ強度値Ｅｄ１が大きくなると、その入力エッジ強度値Ｅｄ１に比例した出力エッジ強度値Ｋｏｕｔを出力するが、その入力エッジ強度値Ｅｄ１が小さいうちは、小さな出力エッジ強度値Ｋｏｕｔを出力するような関数になっている。第１０図における点線は、入出力リニア（線形）の場合を示している。
ここでは、第１０図に示すようなエッジ強度補正曲線が予め設定されているものについて示したが、これに限るものではない。即ち、入力エッジ強度値Ｅｄ１に応じてエッジ強度補正曲線を細分化し、そのエッジ強度補正曲線の各区間を直線近似するようにしてもよい。これにより、出力エッジ強度値Ｋｏｕｔを算出する際の演算を２次以上の高次式から１次式で置き換えることが可能になり、本画像処理方法を電子回路で実現する場合の回路規模の低減が可能になる。また、本画像処理方法をプログラムで実現する場合には演算の高速化を図ることができる効果が得られる。
また、入力エッジ強度値Ｅｄ１に対する出力エッジ強度値Ｋｏｕｔを予めルックアップ・テーブル等のメモリに格納して、エッジ強度値補正部５が入力エッジ強度値Ｅｄ１に対応する出力エッジ強度値Ｋｏｕｔを参照するようにしてもよい。
フィルタ値算出部６は、領域切出し部２から画素ウィンドウ内の画素の撮像色信号を受けると、以下の式（４）に注目画素と同色成分の周辺画素の撮像色信号を代入して演算することにより、その注目画素のローパスフィルタ値Ｐｌｐｆを算出する（ステップＳＴ４）。

画像信号値補正部７は、フィルタ値算出部６が注目画素のローパスフィルタ値Ｐｌｐｆを算出すると、以下の式（５）に示すように、エッジ強度値算出部４により算出された入力エッジ強度値Ｅｄ１と、エッジ強度値補正部５により算出された出力エッジ強度値Ｋｏｕｔとを用いて、注目画素Ｐ（２，２）の撮像色信号である画像信号値とローパスフィルタ値Ｐｌｐｆを重み付け加算することにより、その注目画素Ｐ（２，２）の画像信号値を補正する。

これにより、撮像素子の撮像結果に含まれているノイズが低減されるが、以下、その効果を明確にするために具体的な数値を用いて説明する。ここでは、第１３図（ａ）の撮像素子により撮像された際に、第１３図（ｂ）に示すようなノイズが発生していることを想定して説明する。ただし、説明の便宜上、撮像素子の撮像結果が０〜２５５の２５６段階の数値で表されるものとする。
この場合、特徴値算出部３は、式（１）を演算することにより、第１１図に示すような特徴値ウィンドウＤ（ｉ，ｊ）を生成する。
エッジ強度値算出部４は、式（２）を演算することにより、特徴値ウィンドウにおける入力エッジ強度値Ｅｄ１を算出する。
Ｅｄ１＝３×（２＋２＋２＋２）−０＝２４
エッジ強度値補正部５は、式（３）を演算することにより、出力エッジ強度値Ｋｏｕｔを算出する。第１０図のエッジ強度補正曲線が設定されている場合、入力エッジ強度値Ｅｄ１が“２４”であるとき、出力エッジ強度値Ｋｏｕｔは“６”になる。
Ｋｏｕｔ＝ｆ（２４）＝６
フィルタ値算出部６は、式（４）を演算することにより、注目画素のローパスフィルタ値Ｐｌｐｆを算出する。
Ｐｌｐｆ＝（０＋０＋０＋０＋０＋０＋０＋０）／８＝０
画像信号値補正部７は、式（５）を演算することにより、その注目画素Ｐ（２，２）の画像信号値を補正する。
Ｐ’（２，２）＝｛６×８＋（２４−６）×０｝／２４＝２
以上より、撮像素子の撮像結果に含まれるノイズ成分か“８”から“２”に減少していることが分かる。
このようにして、ノイズ低減処理が実施された後、上述した色補間処理を実施すると、撮像素子の撮像結果は第１２図のようになる。
即ち、ノイズ低減処理が実施された第１２図（ａ）の撮像結果を入力して色補間処理を実施すると、第１２図（ｂ）（ｃ）（ｄ）に示すように、Ｒ色成分、Ｇ色成分及びＢ色成分が補間生成される。
そして、下記に示す一般的な変換式を用いて、輝度色差信号を生成する。

ここで、Ｙは輝度信号、Ｃｂ及びＣｒは色差信号を示している。ただし、色差信号については以降の計算を容易にするために１２８を加算して全て正の値にしている。
このように、式（６）にしたがって輝度色差信号を生成した場合、輝度信号は第１２図（ｅ）のようになり、色差信号は第１２図（ｆ）（ｇ）のようになる。
一方、従来例のように、ノイズ低減処理を実施する前に色補間処理を実施した場合、即ち、第１３図（ｂ）の撮像結果を入力して色補間処理を実施すると、第１３図（ｃ）（ｄ）（ｅ）に示すように、Ｒ色成分、Ｇ色成分及びＢ色成分が補間生成される。
そして、上記と同様に、式（６）の変換式を用いて、輝度色差信号を生成すると、輝度信号は第１３図（ｆ）のようになり、色差信号は第１３図（ｇ）（ｈ）のようになる。
第１２図と第１３図を比較すると、この実施の形態１の画像処理方法では、注目画素における輝度ノイズ及び色ノイズが有効に低減している他、従来例のように、注目画素の周辺に拡散していたノイズ成分が拡散することもなく、色補間処理や輝度色差変換処理が行われることが分かる。
以上で明らかなように、この実施の形態１によれば、特徴値算出部３により算出された微小領域の特徴値から注目画素近傍のエッジ強度値を算出するエッジ強度値算出部４と、エッジ強度値算出部３により算出されたエッジ強度値をエッジ強度補正曲線にしたがって補正するエッジ強度値補正部５と、その注目画素と同色成分の周辺画素の画像信号値から、その注目画素のローパスフィルタ値を算出するフィルタ値算出部６とを設け、補正前後のエッジ強度値を用いて、注目画素の画像信号値とローパスフィルタ値を重み付け加算することにより、その注目画素の画像信号値を補正するように構成したので、注目画素に重畳されているノイズが周辺画素に拡散されることなく、そのノイズを十分に低減することができる効果を奏する。
実施の形態２．
上記実施の形態１では、式（１）を演算して微小領域の特徴値を算出するものについて示したが、同様にＲ成分、Ｇ成分及びＢ成分の全てを含む特徴値算出方法を適宜選択するようにしてもよい。即ち、特徴値の算出方法として、全ての色成分を含む方法であれば、式（１）の限りでなく、例えば、画素ウィンドウ内における色成分毎のエッジ検出結果を重み付け加算する方法などでも、一定の効果が得られる。
特に注目画素周辺が有彩色のエッジを含む場合、隣接する他の色画素とのエッジ検出結果の連続性、ひいてはノイズ除去効果の連続性を維持するために有効である。
また、上記実施の形態１では、撮像データのエッジ検出を行う際、式（１）から算出された特徴値に第９図の重み付け係数を乗算し、式（２）のように各乗算結果を加算するものについて示したが、この限りではない。
即ち、検出したいノイズの空間周波数特性によっては、上記実施の形態１で示した方法以外のエッジ強度値に相当するパラメータを使用または併用することで、ノイズ検出の自由度を高めて検出精度を上げることが可能である。
例えば、第７図（ａ）の注目画素ウィンドウの全体を微小領域として、画素ウィンドウ内の同色成分の画素毎に１次微分値や２次微分値等を算出して、周辺画素におけるエッジ分布を色単位で推定し、エッジ強度値Ｅｄ１に加算するなど反映させることができる。一例としては、注目画素がＲ画素位置の場合、下式のようにエッジ強度値Ｅｄ１’を算出するものである。

なお、ＥｄＲはＲ色成分の入力エッジ強度値、ＥｄＧはＧ色成分の入力エッジ強度値、ＥｄＢはＢ色成分の入力エッジ強度値を示し、Ｅｄ１は式（２）から算出された特徴値ウィンドウ内の入力エッジ強度値である。
また、上記実施の形態１では、式（１）から算出された特徴値からエッジ検出を行う際、第９図の重み付け係数を乗算するものについて示したが、この限りではない。
即ち、式（１）から算出された特徴値の１次微分値や２次微分値等など、エッジ検出可能な他のフィルタ係数を用いても同様の効果が得られる。
さらに、上記実施の形態１では、第７図（ａ）のように注目画素を中心とする５×５の画素ウィンドウを例に示したが、この限りではない。
即ち、７×７画素や７×５画素など、任意に設定することができ、これに合わせて第８図の特徴値ウィンドウの形状や各算出式も変化させることができる。
また、上記実施の形態１では、式（４）を演算して注目画素におけるローパスフィルタ値Ｐｌｐｆを求めるものについて示したが、その限りではない。
即ち、第７図（ａ）における注目画素Ｐ（２，２）から見て、水平及び垂直方向にある画素のみから算出するようにしてもよい。あるいは、水平、垂直及び斜め方向の画素値を重み付け加算するようにしてもよい。あるいは、式（５）を演算して、注目画素の画像信号値の補正値Ｐ’（２，２）を算出する際に、注目画素Ｐ（２，２）の成分が０にならないように、予めローパスフィルタ値Ｐｌｐｆに注目画素Ｐ（２，２）を重み付け加算しておくようにしてもよい。撮像結果の特性やノイズ低減処理を行う目的によって多様に変化させることができる。
また、上記実施の形態１では、式（５）を演算して、注目画素の画像信号値の補正値Ｐ’（２，２）を算出する際に、注目画素Ｐ（２，２）の画像信号値とローパスフィルタ値Ｐｌｐｆを重み付け加算するものについて示したか、この限りではない。
即ち、画像処理装置の後段で輪郭強調処理を行うことを前提にして、式（５）の演算では、注目画素Ｐ（２，２）の代わりに、ローパスフィルタ値Ｐｌｐｆよりは弱いローパスフィルタを施した注目画素Ｐ（２，２）に近い画素の画像信号値を用いて、ローパスフィルタ値Ｐｌｐｆとの重み付け加算を行うようにしてもよい。
このように、画面全体に渡りエッジを低減して、ソフトなイメージにした後、輪郭強調処理でエッジのシャープネスを補償する構成にすることもできる。
実施の形態３．
上記実施の形態１では、ノイズ低減処理を実施した後に色補間処理を実施するものについて示したが、上記実施の形態１におけるノイズ低減処理は、注目画素を中心とする画素ウィンドウを形成する必要があるため、電子回路で実現する場合には、少なくとも数ライン分のラインバッファを必要とする。
ただし、ラインバッファを備える他の画像処理内にノイズ低減処理を配置するようにすれば、ノイズ低減処理のために付加的なラインバッファを備える必要がなくなり、装置価格の上昇を最小限に抑えることができる効果を奏する。
第１４図はこの発明の実施の形態３による画像処理方法を示すフローチャートであり、色補間処理を実施する際に、ノイズ低減処理を実施する方法を示している。
色補間処理の方法としては、線形補間法が最も簡易であるが、一般的な画像処理装置においては、より画質を向上させた複雑な方式を用いることが一般的になっている。例えば、特開２００３−１３４５２３号公報に開示されている色補間処理の方法を例にとって説明する。
特開２００３−１３４５２３号公報では、撮像素子の撮像結果において、補間生成しようとする色成分とは異なる参照色（色信号）の微小領域における変化量に基づいて、補間生成しようとする色の推定変化量としてオフセット量を決定することにより、エッジの凹凸を忠実に再現し、高解像度の色補間を実現する色補間方法が示されている。
具体的には、第一段階から第三段階の処理を行う構成が開示されており、第一段階の処理として、撮影素子の撮像結果がＲ成分である画素（以下、Ｒ画素位置と称す）におけるＧ成分の生成と、Ｂ成分である画素（以下、Ｂ画素位置と称す）におけるＧ成分の生成を行う。
第二段階の処理として、撮影素子の撮像結果がＧ成分である画素（以下、Ｇ画素位置と称す）におけるＲ成分とＢ成分の生成を行う。
第三段階の処理として、Ｒ画素位置におけるＢ成分の生成と、Ｂ画素位置におけるＲ成分の生成とを行う。
第二段階及び第三段階の処理では、それぞれ前段階までに補間生成された色信号を参照色として再利用した色補間を行う構成が示されている。したがって、特開２００３−１３４５２３号公報に開示されている色補間処理の方法を電子回路で実現する場合、各段階毎に処理ウィンドウを形成するために、また、オリジナル画素と前段階で生成された画素とを遅延させるために、数ライン分のラインバッファを少なくとも備える必要があり、第一段階では、５ライン分のラインバッファが必要な構成になっている。この実施の形態３では、色補間処理の第一段階の５ライン分のバッファをノイズ低減処理用バッファとして共有する例について説明する。
次に動作について説明する。
撮像素子の撮像結果が図示せぬ色補間処理部に入力されると、その色補間処理部が第１図の領域切出し部２と９同様にして、注目画素を中心とする５×５画素の画素ウィンドウの切出しを行う。
色補間処理部は、その注目画素がＲ画素位置又はＢ画素位置である場合（ステップＳＴ１１）、色補間処理の第一段階であるＧ成分の生成処理を実施する（ステップＳＴ１２）。
色補間処理部は、Ｒ画素位置又はＢ画素位置におけるＧ成分の生成処理を実施すると、上記実施の形態１におけるノイズ低減処理と同様にして（第２図の画像処理方法を実施）、注目画素のＲ色成分又はＢ色成分のノイズ低減処理を行う（ステップＳＴ１３）。
次に、色補間処理部は、注目画素がＧ画素位置である場合、上記実施の形態１におけるノイズ低減処理と同様にして（第２図の画像処理方法を実施）、その注目画素の画像信号値（撮像素子のオリジナルの画像信号値）に対するノイズ低減処理を行う（ステップＳＴ１４）。
一方、注目画素がＲ画素位置又はＢ画素位置である場合、ステップＳＴ１２で生成されたＧ成分のノイズ低減処理を行う（ステップＳＴ１４）。
ステップＳＴ１２で生成されたＧ成分のノイズ低減処理は、Ｇ画素位置におけるＧ成分のノイズ低減処理と比較して、ローパスフィルタ値Ｐｌｐｆの算出式のみが異なっている。即ち、ステップＳＴ１２で生成されたＧ成分をＰｇ（２，２）とすると、周辺画素のＧ成分分布は第１５図のようになり、例えば、下記の式（８）を演算して、ローパスフィルタ値Ｐｌｐｆを算出する。

色補間処理部は、上記のようにして、Ｇ成分のノイズ低減処理を実施すると、第二段階の処理として、Ｇ画素位置におけるＲ成分の生成と、Ｂ成分の生成とを行う（ステップＳＴ１５）。
最後に、色補間処理部は、第三段階の処理として、Ｒ画素位置におけるＢ成分の生成と、Ｂ画素位置におけるＲ成分の生成とを行う（ステップＳＴ１６）。
なお、色補間処理における第二段階と第三段階の処理については、補間色及び参照色の全ての画像信号値がノイズ低減処理されているため、これらの相対的な関係によって補間生成されるＲ色成分又はＢ色成分に対しても、ノイズが低減された信号レベルになる。
以上で明らかなように、この実施の形態３によれば、撮像素子の撮像結果を順次走査し、全画面に渡り、第１４図のようにノイズ低減処理が内包されている色補間処理を行うので、ノイズが拡散されることなく、良好にノイズが低減されたＲＧＢのフルカラー画像を得ることができる効果を奏する。また、色補間処理の出力信号を必要に応じて輝度色差信号変換することにより、効果的にノイズ低減された輝度色差信号が得られる。
なお、この実施の形態３では、ノイズ低減処理を内包する色補間処理が特開２００３−１３４５２３号公報に開示されている色補間処理であるものについて示したが、この限りではない。即ち、従来の線形補間法や、他の複数ラインの撮影結果を使用する色補間処理内にノイズ低減処理を組み込んでも、ラインバッファを共有することで同等の効果が得られる。また、撮影素子の撮像結果に対する色補間処理を行う前に、複数ラインを使用する他の画像処理内に配置してもよい。
実施の形態４．
第１６図はこの発明の実施の形態４による画像処理方法を適用する画像処理装置を示す構成図である。図において、第１図と同一符号は同一または相当部分を示すので説明を省略する。
２値化部１１は特徴値算出部３により算出された微小領域の特徴値の平均値を求め、その平均値と各特徴値を比較して、各特徴値を２値化する。輪郭線分検出部１２は２値化部１１により２値化された画素ウィンドウ内の特徴値の分布と、予め設定された２値化分布とのパターンマッチングを実施して輪郭線分を検出する。
画像信号値補正部１３は輪郭線分検出部１２により輪郭線分が検出された場合、その輪郭線分と同一方向にある注目画素を含む複数の画素の画像信号値を用いて、その注目画素の画像信号値を補正する。
なお、この実施の形態４では、エッジ強度値算出部４は輪郭線分検出部１２により輪郭線分が検出されないとき、入力エッジ強度値Ｅｄ１を算出し、その輪郭線分が検出されたときは入力エッジ強度値Ｅｄ１を算出しないので、その輪郭線分が検出されない場合に限り、画像信号値補正部７から補正後の画像信号値が出力される。
第１７図はこの発明の実施の形態４による画像処理方法を示すフローチャートである。
次に動作について説明する。
まず、特徴値算出部３は、領域切出し部２から画素ウィンドウ内の画素の撮像色信号を受けると、上記実施の形態１と同様にして、その画素ウィンドウ内の微小領域の特徴値Ｄ（ｉ，ｊ）を算出する。
２値化部１１は、特徴値算出部３が微小領域の特徽値Ｄ（ｉ，ｊ）を算出すると、以下の式（９）に示すように、その特徴値Ｄ（ｉ，ｊ）の平均値Ｄａｖｅを算出する（ステップＳＴ２１）。

そして、２値化部１１は、その平均値Ｄａｖｅと各特徴値Ｄ（ｉ，ｊ）を比較し、その特徴値Ｄ（ｉ，ｊ）が平均値Ｄａｖｅ以上であれば、その特徴値Ｄ（ｉ，ｊ）の２値化結果として、Ｄｂ（ｉ，ｊ）＝１を出力する。
一方、その特徴値Ｄ（ｉ，ｊ）が平均値Ｄａｖｅに満たなければ、その特徴値Ｄ（ｉ，ｊ）の２値化結果として、Ｄｂ（ｉ，ｊ）＝０を出力する（ステップＳＴ２２）。
輪郭線分検出部１２は、２値化部１１により２値化された画素ウィンドウ内の特徴値の分布と、予め設定された２値化分布（第１８図を参照）とのパターンマッチングを実施して輪郭線分の検出処理を実施する（ステップＳＴ２３）。
輪郭線分検出部１２は、２値化された画素ウィンドウ内の特徴値の分布と、予め設定された２値化分布とのパターンマッチングを実施して、一致する場合には輪郭線分が存在し、当該画素が直線上のエッジ上、または、エッジに隣接する画素であると判定する。一方、一致しない場合には輪郭線分が存在しないものと判定する（ステップＳＴ２４）。
輪郭線分検出部１２により輪郭線分が検出されない場合は、上記実施の形態１と同様に、エッジ強度値算出部４、エッジ強度値補正部５、フィルタ値算出部６及び画像信号値補正部７が処理を実行して、画像信号値の補正値を算出する。
輪郭線分検出部１２により輪郭線分が検出された場合、画像信号値補正部１３が、その輪郭線分と同一方向にある注目画素を含む複数の画素の画像信号値を用いて、その注目画素の画像信号値を補正する（ステップＳＴ２５）。
以上の処理を全画面に渡り順次走査しながら行うことにより、画像情報としてエッジが存在する画素に隣接するノイズを良好に低減することができる。
ここで、第１９図は輪郭線分に隣接してノイズが発生している撮影結果を処理した場合の一例を示しており、図において、第１９図（ａ）は単板式の撮像素子により撮影された画素ウィンドウを示し、注目画素Ｐ（２，２）がＧ画素位置であると仮定している。また、第１９図（ｂ）は第１９図（ａ）の画素配置で実際に撮影された画素値を示しており、信号レベル“０”の背景上にレベル“２５５”が分布し、その隣接行にレベル“３”とレベル“２”が分布している。つまり、第１９図（ｂ）には垂直方向の直線が撮影されており、ノイズ低減処理を行う中心画素にはレベル“８”のノイズが発生している。
また、第１９図（ｃ）は、第１９図（ｂ）の画素ウィンドウを式（１）を用いて特徴値Ｄ（ｉ，ｊ）に変換したものを示している。
第１９図において、この実施の形態４におけるエッジに隣接したノイズ低減処理を行った場合、式（９）より平均値Ｄａｖｅが６７となり、特徴値ウィンドウの２値化結果は第１９図（ｄ）のようになる。
一方、予め設定された２値化分布が第１８図のような分布である場合、第１９図（ｄ）の２値化結果と第１８図の２値化分布とをパターンマッチングすると、該当画素が垂直方向に方向性を有するエッジに隣接する画素であることが検出される。
画像信号値補正部１３が、例えば、下式のようにエッジを形成する線分のなす垂直方向にローパスフィルタを適用すると、輪郭線分におけるノイズ成分を良好に低減することができる。

ただし、Ｐ’（２，２）は注目画素Ｐ（２，２）のノイズ低減後の補正値である。
なお、第１９図（ｅ）はノイズ低減処理を行わずに、特開２００３−１３４５２３号公報に開示されている色補間方法を実施したときのＧ成分分布を示しており、第１９図（ｆ）はこの実施の形態４におけるエッジに隣接するノイズ低減処理を実施した後に、特開２００３−１３４５２３号公報に開示されている色補間方法を実施したときのＧ成分分布を示している。
第１９図（ｅ）（ｆ）より、この実施の形態４のノイズ低減処理が有効に作用していることが分かる。
この実施の形態４のノイズ低減処理を実施することにより、従来のエッジ検出手段において、画像情報を保持している強いエッジとして検出され、低減されずに、むしろ輪郭強調処理において強調されていた、エッジに隣接するノイズを有効に低減することが可能になる。
実施の形態５．
上記実施の形態４では、パターンマッチングに用いる特徴値として、式（１）により算出される値を用いるものについて示したが、この限りではなく、ＲＧＢの全ての色成分が混合される値であれば、有彩色エッジの検出も有効に行えるため、同様の効果を奏することができる。
また、上記実施の形態４では、画素ウィンドウが５×５、特徴値ウィンドウが４×４であるものについて示したが、この限りではなく、画素ウィンドウと特徴値ウィンドウの何れにおいても、任意のサイズを用いることができる。
また、上記実施の形態４では、輪郭線分を検出するため、予め設定された２値化パターンとパターンマッチングするものについて示したが、この限りでない。即ち、フィルタ係数として方向性を有する１次微分フィルタ出力値や２次微分フィルタ出力値などを用いて、輪郭線分の方向検出を行うようにしてもよい。
さらに、上記実施の形態４では、上記実施の形態１におけるノイズ低減処理結果、または、エッジに隣接するノイズ低減処理結果を出力するものについて示したが、上記実施の形態１におけるノイズ低減処理結果と、エッジに隣接するノイズ低減処理結果との加重平均等を実施して、両処理結果を考慮した結果を出力するようにしてもよい。
また、上記実施の形態４では、単板式の撮像素子の撮影結果に対する上記実施の形態１のノイズ低減処理と併用するものについて示したが、この限りではない。即ち、エッジに隣接するノイズ低減処理のみを単独で用いることも可能である。
また、上記実施の形態３における色補間処理内、あるいは、他の画像処理内に、この実施の形態４におけるエッジに隣接するノイズ低減処理を配置するようにしてもよい。この際、上記実施の形態１のノイズ低減処理と併用する形で配置してもよいし、単独で配置してもよい。
また、上記実施の形態４では、単板式の撮像素子の撮影結果を用いるものについて示したが、この限りではない。即ち、特徴値として輝度信号を用いることも可能である。この場合、輝度信号が単板式の撮像素子による撮影結果を色補間処理して、輝度色差変換したものである場合、色補間処理によるノイズ拡散は抑止できないが、拡散したノイズのピークを抑圧することで、一定のノイズ低減効果が得られる。また、３板式の撮像素子の撮影結果を輝度色差変換した信号を用いることも可能である。また、ノイズが発生する画像読み取り装置や画像伝送手段を備えたファクシミリ装置、複写機、テレビジョン受像機など、画像機器全般に適用することができる。
さらに、色差信号に対して、上記実施の形態４のノイズ低減処理を施すことにより、色エッジに発生するノイズを有効に低減できることも言うまでもない。
また、上記実施の形態１〜４では、単板式の撮像素子の一例として、色フィルタが原色系で、その配列が第３図のものを例に説明したが、この限りではなく、原色系で他の配列、あるいは、補色系色フィルタを用いてもよい。さらに、撮像素子が正方配列以外の例えばハニカム形状のものを用いた場合においても、同様の効果を得ることができる。

以上のように、この発明に係る画像処理方法は、ＣＣＤなどの２次元の撮像素子を搭載している民生用のディジタルスチルカメラやディジタルビデオカメラ等が撮像素子を用いて画像を撮像した際に、その画像信号に含まれるノイズを除去するのに適している。

Claims (8)

1. ２次元的に配列されている各画素に、特定色の色フィルタが配置されている撮像素子の撮像結果から、注目画素を中心とする所定領域内の微小領域の特徴値を算出する特徴値算出ステップと、上記特徴値算出ステップにより算出された微小領域の特徴値から注目画素近傍のエッジ強度値を算出するエッジ強度値算出ステップと、その注目画素と同色成分の周辺画素の画像信号値から、その注目画素のローパスフィルタ値を算出するフィルタ値算出ステップと、上記エッジ強度値算出ステップにより算出されたエッジ強度値と上記フィルタ値算出ステップにより算出されたローパスフィルタ値を用いて、その注目画素の画像信号値を補正する画像信号値補正ステップとを備えた画像処理方法。
2. エッジ強度値算出ステップにより算出されたエッジ強度値をエッジ強度補正曲線にしたがって補正するエッジ強度値補正ステップを設け、画像信号値補正ステップが補正前後のエッジ強度値を用いて、注目画素の画像信号値とローパスフィルタ値を重み付け加算することにより、その注目画素の画像信号値を補正することを特徴とする請求の範囲第１項記載の画像処理方法。
3. 特徴値算出ステップは、所定領域内の微小領域に対応するＲ成分の色フィルタ、Ｇ成分の色フィルタ及びＢ成分の色フィルタから出力される画像信号値を用いて、その微小領域の特徴値を算出することを特徴とする請求の範囲第１項記載の画像処理方法。
4. 周辺画素の画素信号値を用いて、注目画素の画像を色補間する色補間処理を実施する際に、特徴値算出ステップ、エッジ強度値算出ステップ、フィルタ値算出ステップ及び画像信号値補正ステップが実行して、その注目画素の画像信号値を補正することを特徴とする請求の範囲第１項記載の画像処理方法。
5. ２次元的に配列されている各画素に、特定色の色フィルタが配置されている撮像素子の撮像結果から、注目画素を中心とする所定領域内の微小領域の特徴値を算出する特徴値算出ステップと、上記特徴値算出ステップにより算出された微小領域の特徴値を２値化する２値化ステップと、上記２値化ステップにより２値化された特徴値を用いて輪郭線分を検出する輪郭線分検出ステップと、上記輪郭線分検出ステップにより検出された輪郭線分と同一方向にある注目画素を含む複数の画素の画像信号値を用いて、その注目画素の画像信号値を補正する画像信号値補正ステップとを備えた画像処理方法。
6. 画像信号値補正ステップは、輪郭線分と同一方向にある複数の画素の画像信号値を重み付け加算することにより、注目画素の画像信号値を補正することを特徴とする請求の範囲第５項記載の画像処理方法。
7. 輪郭線分検出ステップは、２値化ステップにより２値化された所定領域内の特徴値の分布と、予め設定された２値化分布とのパターンマッチングを実施して輪郭線分を検出することを特徴とする請求の範囲第５項記載の画像処理方法。
8. ２次元的に配列されている各画素に、特定色の色フィルタが配置されている撮像素子の撮像結果から、注目画素を中心とする所定領域内の微小領域の特徴値を算出する特徴値算出ステップと、上記特徴値算出ステップにより算出された微小領域の特徴値を２値化する２値化ステップと、上記２値化ステップにより２値化された特徴値を用いて輪郭線分を検出する輪郭線分検出ステップと、上記輪郭線分検出ステップにより輪郭線分が検出された場合、その輪郭線分と同一方向にある注目画素を含む複数の画素の画像信号値を用いて、その注目画素の画像信号値を補正する第１の画像信号値補正ステップと、上記輪郭線分検出ステップにより輪郭線分が検出されない場合、上記特徴値算出ステップにより算出された微小領域の特徴値から注目画素近傍のエッジ強度値を算出するエッジ強度値算出ステップと、その注目画素と同色成分の周辺画素の画像信号値から、その注目画素のローパスフィルタ値を算出するフィルタ値算出ステップと、上記エッジ強度値算出ステップにより算出されたエッジ強度値と上記フィルタ値算出ステップにより算出されたローパスフィルタ値を用いて、その注目画素の画像信号値を補正する第２の画像信号値補正ステップとを備えた画像処理方法。

Images