JP4586893B2 - 信号処理装置および方法、並びにプログラム - Google Patents

Description

本発明は、信号処理装置および方法、並びにプログラムに関し、特に、ノイズ成分のあるエッジや、小振幅なエッジに対しても安定したトランジェント改善が行えるようになった信号処理装置および方法、並びにプログラムに関する。

従来、画像信号のトランジェントを改善する手法としては、輝度信号そのものを入力してトランジェントを改善する手法が存在する。例えば、特許文献１に記載された手法や、本発明人により発明され既に特許文献２によって公開された手法が該当する。なお、かかる特許文献２の手法は、特許文献１が有する問題を解決できる手法である。
特開平7-59054号公報 特開2006-081150号公報

しかしながら、上述の従来の手法では、輝度信号そのものに対してトランジェントを改善するため、ノイズ成分等の影響により、時間軸あるいは空間軸に対して安定した改善が行えない場合がある。この様な場合、エッジの揺れや破たんが生じてしまうことになる。このため、小振幅なエッジに対しての改善が行えないという問題があった。

本発明はこのような状況に鑑みてなされたものであり、ノイズ成分のあるエッジや、小振幅なエッジに対しても安定したトランジェント改善を行えるようにするものである。

本発明の一側面である信号処理装置は、第１の画像データから、第１の画像データのエッジを保存した第１の成分と、それ以外の第２の成分に分離する分離手段と、分離手段により分離された第１の成分に対して、トランジェントを改善する処理を施す改善手段と、改善手段による処理が施された第１の成分と、分離手段により分離された第２の成分とを加算し、その結果得られる第２の画像データを出力する加算手段と、改善手段による処理が施された第１の成分に対して、コントラストを補正する処理を施す補正手段と、改善手段による処理が施された第１の成分から、輪郭を抽出する処理を施すことで、第３の成分を出力する抽出手段と、抽出手段から出力された第３の成分に対して、増幅処理を施す第１の増幅手段と、分離手段により分離された第２の成分に対して、増幅処理を施す第２の増幅手段とを備え、改善手段による処理が施された後にさらに補正手段による処理が施された第１の成分と、分離手段により分離された後にさらに第２の増幅手段により増幅処理が施された第２の成分とに加えて、さらに、第１の増幅手段により増幅処理が施された第３の成分を加算し、その結果得られる画像データを第２の画像データとして出力する。

分離手段は、第１の画像データに対して、エッジを保存する非線形なフィルタ処理を施すことで、第１の成分を抽出して出力するフィルタ手段と、第１の画像データから、フィルタ手段から出力された第１の成分を減算し、その結果得られる第２の成分を出力する減算手段をさらに備える。

本発明の一側面である信号処理装置の信号処理方法とプログラムのそれぞれは、上述した本発明の信号処理装置に対応する方法とプログラムのそれぞれである。

以上のごとく、本発明によれば、ノイズ成分のあるエッジや、小振幅なエッジに対しても安定したトランジェント改善を行えるようになる。

以下、図面を参照して、本発明が適用される信号処理装置の一実施の形態を説明する。

図１は、本発明が適用される信号処理装置の構成例を示している。

図１の例の信号処理装置は、輝度信号を、エッジ部分を保存した成分（以下、エッジ成分と称する）とそのエッジ部分以外の成分とに分離し、エッジ成分のトランジェントを改善するとともに、エッジ以外の成分を増幅することができる。

図１の例の信号処理装置は、非線形フィルタ部１１、減算部１２、トランジェント改善部１３、および加算部１４を含むように構成されている。

非線形フィルタ部１１は、入力画像データの輝度信号Ｙ１から、エッジ成分ＳＴ１を抽出し、減算部１２とトランジェント改善部１３に供給する。なお、非線形フィルタ部１１の詳細例については、図４乃至図２１を参照して後述する。

減算部１２は、入力画像データの輝度信号Ｙ１から、エッジ成分ＳＴ１を減算し、その結果得られるエッジ以外の成分ＴＸ１を加算部１４に供給する。

ここで、非線形フィルタ部１１と減算部１２とをまとめて考えると、入力画像の輝度信号Ｙ１が、エッジ成分ＳＴ１とエッジ以外の成分ＴＸ１に分離され、エッジ成分ＳＴ１がトランジェント改善部１３に、エッジ以外の成分ＴＸ１が加算部１４に、それぞれ供給されていると把握することができる。そこで、非線形フィルタ部１１と減算部１２とをまとめて、以下、分離部１５と称する。

トランジェント改善部１３は、非線形フィルタ部１１より供給されてくるエッジ成分ＳＴ１に対して所定のトランジェント改善処理を施し、その結果得られるエッジ成分ＳＴ２、即ち、エッジのトランジェントが改善されたエッジ成分ＳＴ２を、加算部１４に供給する。なお、以下、エッジのトランジェントが改善されたエッジ成分ＳＴ２を、改善エッジ成分ＳＴ２と称する。トランジェント改善部１３の詳細例については図２２，図２３を参照して後述する。

加算部１４は、トランジェント改善部１３から供給された改善エッジ成分ＳＴ２と、減算部１２から供給されたエッジ以外の成分ＴＸ１とを加算し、その結果得られる輝度信号Ｙ２、即ち、エッジのみトランジェントの改善された輝度信号Ｙ２を出力する。

次に、図２のフローチャートを参照して、図１の信号処理装置による画像処理について説明する。

ステップＳ１において、信号処理装置は、入力画像データの輝度信号Ｙ１を入力する。入力された輝度信号Ｙ１は、非線形フィルタ部１１と減算部１２とに供給される。例えば、図３には、入力画像データの輝度信号Ｙ１の波形例が示されている。なお、図３に示される各波形は、所定の１ラインのうちの、所定の範囲内の各画素の輝度レベルを結んだ波形となっている。

ステップＳ２において、非線形フィルタ部１１は、入力画像データの輝度信号Ｙ１に対して非線形フィルタ処理を施す。これにより、エッジ成分ＳＴ１が得られることになる。なお、非線形フィルタ処理の詳細例については、図９乃至図２１を用いて後述する。例えば、図３に示される波形の輝度信号Ｙ１に対して、ステップＳ２の非線形フィルタ処理が施されると、その下方に示される波形のエッジ成分ＳＴ１が得られる。即ち、図３には、エッジ成分ＳＴ１の波形例が示されている。

ステップＳ３において、非線形フィルタ部１１は、エッジ成分ＳＴ１を出力する。出力されたエッジ成分ＳＴ１は、トランジェント改善部１３と減算部１２とに供給される。

ステップＳ４において、トランジェント改善部１３は、エッジ成分ＳＴ１に対してトランジェント改善処理を施し、その結果得られる改善エッジ成分ＳＴ２を出力する。出力された改善エッジ成分ＳＴ２は、加算部１４に供給される。なお、トランジェント改善処理の詳細例については、図２２，図２３を用いて後述する。例えば、図３に示される波形のエッジ成分ＳＴ１に対して、ステップＳ４のトランジェント改善処理が施されると、その下方に示される波形の改善エッジ成分ＳＴ２が得られる。即ち、図３には、改善エッジ成分ＳＴ２の波形例が示されている。

ステップＳ５において、減算部１２は、入力画像データの輝度信号Ｙ１から、エッジ成分ＳＴ１を減算し、その結果得られるエッジ以外の成分ＴＸ１を出力する。出力されたエッジ以外の成分ＴＸ１は、加算部１４に供給される。例えば、図３に示される波形の輝度信号Ｙ１から、その下方の波形のエッジ成分ＳＴ１が減算されると、図３中右上方に示される波形のエッジ以外の成分ＴＸ１が得られる。即ち、図３には、エッジ以外の成分ＴＸ１の波形例が示されている。

ステップＳ６において、加算部１４は、減算部１２からのエッジ以外の成分ＴＸ１と、トランジェント改善部１３からの改善エッジ成分ＳＴ２を加算し、その結果得られる輝度信号Ｙ２を出力する。例えば、図３中右上方の波形のエッジ以外の成分ＴＸ１と、図３中左下方の波形の改善エッジ成分ＳＴ２が加算されると、図３中右下方に示される波形の輝度信号Ｙ２が得られる。即ち、図３には、輝度信号Ｙ２の波形例が示されている。この図３の例の波形からわかるように、輝度信号Ｙ２は、入力画像データの輝度信号Ｙ１と比較して、エッジのみトランジェントが改善されている。

次に、図４を参照して、非線形フィルタ部１１の詳細な構成について説明する。

バッファ２１は、入力されてくる画像信号を一時的に記憶し、後段の水平方向平滑化処理部２２に供給する。水平方向平滑化処理部２２は、注目画素に対して水平方向に配置される近傍の画素と注目画素を使用して、注目画素に対して水平方向に非線形平滑化処理を施し、バッファ２３に供給する。バッファ２３は、水平方向平滑化処理部２２より供給されてくる画像信号を一時的に記憶し、順次、垂直方向平滑化処理部２４に供給する。垂直方向平滑化処理部２４は、注目画素に対して垂直方向に配置される近傍の画素と注目画素を使用して、注目画素に対して非線形平滑化処理を施し、バッファ２５に供給する。バッファ２５は、垂直方向平滑化処理部２４より供給される、垂直方向に非線形平滑化された画素からなる画像信号を一時的に記憶し、後段の図示せぬ装置に出力する。

次に、図５を参照して、水平方向平滑化処理部２２の詳細な構成について説明する。

水平処理方向成分画素抽出部３１は、バッファ２１に記憶されている画像信号の各画素より注目画素を順次設定すると共に、注目画素に対応する、非線形平滑化処理に必要な画素を抽出し、非線形平滑化処理部３２に出力する。より具体的には、水平処理方向成分画素抽出部３１は、注目画素に対して、水平方向に左右に隣接するそれぞれ２画素を水平処理方向成分画素として抽出し、抽出した４画素と注目画素のそれぞれの画素値を非線形平滑化処理部３２に供給する。尚、抽出する水平処理方向成分画素の画素数は、注目画素に対して左右に隣接する２画素ずつに限るものではなく、水平方向に隣接している画素であればよく、例えば、注目画素の左右に隣接する３画素ずつであってもよいし、さらには、注目画素に対して左方向に隣接する１画素と、右方向に隣接する３画素とするようにしても良い。

非線形平滑化処理部３２は、水平処理方向成分画素抽出部３１より供給された注目画素とその左右のそれぞれに隣接する２画素である水平処理方向成分画素とを用いて、閾値設定部３６より供給される閾値ε₂に基づいて、注目画素を非線形平滑化処理し、混合部３３に供給する。尚、非線形平滑化処理部３２の構成については、図７を参照して後述する。また、ここで、水平方向に非線形平滑化処理するとは、注目画素に対して水平方向に隣接する複数の画素により、注目画素を非線形平滑化する処理である。同様にして、後述する垂直方向に非線形平滑化処理するとは、注目画素に対して垂直方向に隣接する複数の画素により、注目画素を非線形平滑化する処理である。

垂直参照方向成分画素抽出部３４は、バッファ２１に記憶されている画像信号の各画素より注目画素を順次設定すると共に、注目画素に対応する、非線形平滑化処理に必要な画素が配置されている方向と異なる垂直方向に隣接する画素を抽出し、Flatレート計算部３５および閾値設定部３６に出力する。より具体的には、垂直参照方向成分画素抽出部３４は、注目画素に対して、垂直方向の上下に隣接する２画素を垂直参照方向成分画素として抽出し、抽出した４画素と注目画素のそれぞれの画素値をFlatレート計算部３５および閾値設定部３６に供給する。尚、抽出する垂直参照方向成分画素の画素数は、注目画素に対して上下に隣接する２画素ずつに限るものではなく、垂直方向に隣接している画素であればよく、例えば、注目画素の上下に隣接する３画素ずつであってもよいし、さらには、注目画素に対して上方向に隣接する１画素と、下方向に隣接する３画素とするようにしても良い。

Flatレート計算部３５は、垂直参照方向成分画素抽出部３４より供給されてくる注目画素と、垂直参照方向成分画素とのそれぞれの画素値の差分絶対値を求めて、その差分絶対値の最大値をFlatレートとして混合部３３に供給する。ここで、垂直方向のFlatレートは、注目画素と垂直参照方向成分画素との画素値の差分絶対値の変化を示したものであり、Flatレートが大きいとき、注目画素近傍の画素の画素値の変化が大きく、垂直方向に画素間の相関が小さい、平坦ではない画像（画素値の変化が大きいFlatではない画像）であることを示し、逆に、Flatレートが小さいとき、注目画素近傍の画素の画素値の変化が小さく、垂直方向に画素間の相関が大きい、平坦な画像（画素値の変化が小さいFlatな画像）であることを示している。

混合部３３は、Flatレート計算部３５より供給される垂直方向のFlatレートに基づいて、非線形平滑化処理された注目画素と、未処理の注目画素の画素値を混合し、水平方向平滑化処理された画素として後段のバッファ２３に出力する。

閾値設定部３６は、注目画素に対応する、非線形平滑化処理に必要な画素が配置されている方向と異なる垂直方向に隣接する画素を用いて、非線形平滑化処理部３２における非線形平滑化処理に必要な閾値ε₂を設定して非線形平滑化処理部３２に供給する。尚、閾値設定部３６の構成については、図８を参照して詳細を後述する。

次に、図６を参照して、垂直方向平滑化処理部２４の詳細な構成について説明する。

垂直方向平滑化処理部２４は、基本的に上述した水平方向平滑化処理部２２の構成における水平方向の処理と垂直方向の処理を入れ替えたものである。すなわち、垂直処理方向成分画素抽出部４１は、バッファ２３に記憶されている画像信号の各画素より注目画素を順次設定すると共に、注目画素に対応する、非線形平滑化処理に必要な画素を抽出し、非線形平滑化処理部４２に出力する。より具体的には、垂直処理方向成分画素抽出部４１は、注目画素に対して、垂直方向に上下に隣接するそれぞれ２画素からなる垂直処理方向成分画素を抽出し、抽出した４画素と注目画素のそれぞれの画素値を非線形平滑化処理部４２に供給する。尚、抽出する垂直処理方向成分画素の画素数は、注目画素に対して上下に隣接する２画素ずつに限るものではなく、垂直方向に隣接している画素であればよく、例えば、注目画素の上下に隣接する３画素ずつであってもよいし、さらには、注目画素に対して上方向に隣接する１画素と、下方向に隣接する３画素とするようにしても良い。

非線形平滑化処理部４２は、垂直処理方向成分画素抽出部４１より供給された注目画素とその上下のそれぞれに隣接する２画素である垂直処理方向成分画素とを用いて、閾値設定部４６より供給される閾値ε₂に基づいて、注目画素を垂直方向に非線形平滑化処理し、混合部４３に供給する。非線形平滑化処理部４２の構成は、非線形平滑化処理部３２と同様の構成であり、その詳細については、図７を参照して後述する。

水平参照方向成分画素抽出部４４は、バッファ２３に記憶されている画像信号の各画素より注目画素を順次設定すると共に、注目画素に対応する、非線形平滑化処理に必要な画素が配置されている方向と異なる水平方向に隣接する画素を抽出し、Flatレート計算部４５および閾値設定部４６に出力する。より具体的には、水平参照方向成分画素抽出部４４は、注目画素に対して、水平方向の左右に隣接する２画素ずつを抽出し、抽出した４画素と注目画素のそれぞれの画素値をFlatレート計算部４５および閾値設定部４６に供給する。尚、抽出する画素数は、注目画素に対して水平に隣接する２画素ずつに限るものではなく、水平方向に隣接している画素であればよく、例えば、注目画素の水平に隣接する３画素ずつであってもよいし、さらには、注目画素に対して左方向に隣接する１画素と、右方向に隣接する３画素とするようにしても良い。

Flatレート計算部４５は、水平参照方向成分画素抽出部４４より供給されてくる注目画素と、注目画素に対して左右のそれぞれに隣接する２画素のそれぞれの画素値の差分絶対値を求めて、その差分絶対値の最大値をFlatレートとして混合部４３に供給する。

混合部４３は、Flatレート計算部４５より供給される水平方向のFlatレートに基づいて、非線形平滑化処理された注目画素と、未処理の注目画素の画素値を混合し、水平方向平滑化処理された画素として後段のバッファ２５に出力する。

閾値設定部４６は、注目画素に対応する、非線形平滑化処理に必要な画素が配置されている方向と異なる水平方向に隣接する画素を用いて、非線形平滑化処理部３２における非線形平滑化処理に必要な閾値ε₂を設定して非線形平滑化処理部４２に供給する。尚、閾値設定部４６の構成については、閾値設定部３６と同様であり、その詳細については、図８を参照して詳細を後述する。

次に、図７を参照して、非線形平滑化処理部３２の詳細な構成について説明する。

この非線形平滑化処理部３２の非線形フィルタ５１は、入力画像データの輝度信号Ｙ１を構成する画素の変動のうち、そのサイズが閾値設定部３６より供給されてくる閾値ε₂よりも大きい急峻なエッジを保持すると共に、エッジ以外の部分を平滑化し、平滑化した画像信号S_LPF-Hを混合部５２に出力する。

混合比検出部５３は、閾値設定部３６より供給されてくる閾値ε₂よりも十分に小さい閾値ε₃を求め、この閾値ε₃に基づいて、入力画像データの輝度信号Ｙ１を構成する画素の変動の中の微小な変化を検出し、検出結果を用いて、混合比を計算し、混合部５２に供給する。

混合部５２は、平滑化処理された画像信号S_LPF-Hと平滑化されていない入力画像データの輝度信号Ｙ１を、混合比検出部５３より供給される混合比に基づいて、混合し、非線形平滑化された画像信号S_F-Hとして出力する。

非線形フィルタ５１のLPF（Low Pass Filter）６１は、制御信号発生部６２より供給される制御信号および閾値設定部３６より供給されてくる閾値ε₂に基づいて、注目画素と、その水平方向の左右に隣接する２画素である水平処理方向成分画素との画素値を用いて、注目画素を平滑化して、平滑化された画像信号S_LPF-Hを混合部５２に出力する。制御信号発生部６２は、注目画素と、水平処理方向成分画素との画素値の差分絶対値を算出し、その算出結果に基づいてLPF６１を制御する制御信号を発生し、LPF６１に供給する。尚、非線形フィルタ５１としては、例えば、上述した従来のεフィルタを用いるようにしてもよい。

次に、図８を参照して、閾値設定部３６の構成について説明する。

差分絶対値算出部７１は、注目画素と、非線形平滑化処理に必要な画素が配置されている方向と異なる垂直方向に隣接する各画素との差分絶対値を求めて、閾値決定部７２に供給する。閾値決定部７２は、差分絶対値算出部７１より供給されてくる差分絶対値のうち最大となるものに所定のマージンを加算した値を閾値ε₂として決定し、非線形平滑化処理部３２に供給する。尚、閾値設定部４６については、閾値設定部３６と同様の構成となるため、図示を省略するものとするが、閾値設定部４６においては、差分絶対値算出部７１は、注目画素と、非線形平滑化処理に必要な画素が配置されている方向と異なる水平方向に隣接する各画素との差分絶対値を求めて閾値決定部７２に供給することになる。

次に、図９のフローチャートを参照して、図４の非線形フィルタ部１１による非線形フィルタ処理について説明する。

ステップＳ１１において、水平方向平滑化処理部２２は、バッファ２１に、順次記憶されていく画像信号を用いて、水平方向平滑化処理を実行する。

ここで、図１０のフローチャートを参照して、水平方向平滑化処理部２２による水平方向平滑化処理について説明する。

ステップＳ２１において、水平方向平滑化処理部２２の水平処理方向成分画素抽出部３１は、ラスタスキャン順に注目画素を設定する。同時に、垂直参照方向成分画素抽出部３４も、同様にラスタスキャン順に注目画素を設定する。尚、注目画素の設定順序は、ラスタスキャン順以外の順序であってもよいが、水平処理方向成分画素抽出部３１により設定される注目画素と、垂直参照方向成分画素抽出部３４により設定される注目画素とが同一となるように設定される必要がある。

ステップＳ２２において、水平処理方向成分画素抽出部３１は、注目画素と共に、注目画素に対して水平方向（左右方向）に２画素ずつ隣接する近傍画素である水平処理方向成分画素からなる合計５画素の画素値をバッファ２１より抽出して非線形平滑化処理部３２に出力する。例えば、図１１で示されるような場合、画素Ｌ２，Ｌ１，Ｃ，Ｒ１，Ｒ２が、注目画素および水平処理方向成分画素として抽出される。尚、図１１においては、画素Ｃは、注目画素であり、画素Ｌ２，Ｌ１が、注目画素Ｃの左側に隣接する２画素の水平処理方向成分画素であり、画素Ｒ１，Ｒ２が注目画素Ｃの右側に隣接する２画素の水平処理方向成分画素である。

ステップＳ２３において、垂直参照方向成分画素抽出部３４は、注目画素と共に、注目画素に対して垂直方向（上下方向）に２画素ずつ隣接する近傍画素である垂直参照方向成分画素からなる合計５画素の画素値をバッファ２１より抽出してFlatレート計算部３５および閾値設定部３６に出力する。例えば、図１１で示されるような場合、画素U２，U１，Ｃ，D１，D２が、注目画素および垂直参照方向成分画素として抽出される。尚、図９においては、画素Ｃは、注目画素であり、画素U２，U１が、注目画素Ｃの上側に隣接する２画素の垂直参照方向成分画素であり、画素D１，D２が注目画素Ｃの下側に隣接する２画素の垂直参照方向成分画素である。

ステップＳ２４において、閾値設定部３６は、閾値設定処理を実行する。

ここで、図１２のフローチャートを参照して、閾値設定処理について説明する。

ステップＳ３１において、差分絶対値算出部７１は、注目画素と、垂直参照方向画素との画素値の差分絶対値を求めて、閾値決定部７２に供給する。例えば、図１１の場合、注目画素は、画素Ｃであり、垂直参照方向画素は、画素U２，U１，Ｄ１，Ｄ２であるので、差分絶対値算出部７１は、｜Ｃ−Ｕ２｜，｜Ｃ−Ｕ１｜，｜Ｃ−Ｄ２｜，｜Ｃ−Ｕ１｜を算出し、閾値決定部７２に供給する。

ステップＳ３２において、閾値決定部７２は、差分絶対値算出部７１より供給されてくる差分絶対値のうち、最大値となる差分絶対値を閾値ε₂に決定し、非線形平滑化処理部３２に供給する。したがって、図１１の場合、閾値決定部７２は、｜Ｃ−Ｕ２｜，｜Ｃ−Ｕ１｜，｜Ｃ−Ｄ２｜，｜Ｃ−Ｕ１｜の最大値を検索し、その最大値に所定のマージンを加算して閾値ε₂として設定する。ここで、マージンを加算するとは、例えば、１０％のマージンを加算する場合、差分絶対値の最大値×1.1を閾値ε₂として設定することである。

ここで、図１０のフローチャートの説明に戻る。

ステップＳ２４において、閾値設定処理が終了すると、ステップＳ２５において、非線形平滑化処理部３２は、水平処理方向成分画素抽出部３１より供給された注目画素と水平処理方向成分画素に基づいて、注目画素に非線形平滑化処理を施す。

ここで、図１３のフローチャートを参照して、非線形平滑化処理部３２による非線形平滑化処理について説明する。

ステップＳ４１において、非線形フィルタ５１の制御信号発生部６２は、注目画素と、水平処理方向成分画素との画素値の差分絶対値を計算する。すなわち、図１１の場合、制御信号発生部６２は、注目画素Ｃと、水平方向に隣接する各近傍画素である水平処理方向成分画素Ｌ２，Ｌ１，Ｒ１，Ｒ２との画素値の差分絶対値｜Ｃ−Ｌ２｜，｜Ｃ−Ｌ１｜，｜Ｃ−Ｒ１｜，｜Ｃ−Ｒ２｜を計算する。

ステップＳ４２において、ローパスフィルタ６１は、制御信号発生部６２により計算された各差分絶対値と閾値設定部３６により設定された閾値ε₂と比較して、この比較結果に対応して、入力画像データの輝度信号Ｙ１に非線形フィルタリング処理を施す。より具体的には、ローパスフィルタ６１は、例えば、式（１）のように、注目画素Ｃおよび水平処理方向成分画素の画素値を、タップ係数を用いて加重平均して、注目画素Ｃに対応する変換結果Ｃ’を平滑化された画像信号S_LPF-Hとして混合部５２に出力する。ただし、注目画素Ｃの画素値との差分絶対値が、所定の閾値ε2よりも大きい水平処理方向成分画素については、画素値を注目画素Ｃの画素値と置換して加重平均するようにする（例えば、式（２）で示されるように演算する）。

ステップＳ４３において、混合比検出部５３は、微小エッジ判定処理を実行し、微小なエッジが存在するか否かを判定する。

ここで、図１４のフローチャートを参照して、微小エッジ判定処理について説明する。

ステップＳ５１において、混合比検出部５３は、それぞれ閾値設定部３６より供給されてきた閾値ε₂に基づいて、微小なエッジの有無を検出するために必要とされる閾値ε₃を求める。より具体的には、閾値ε₃は、閾値ε₂に対して十分に小さな値であることが条件（ε₃≪ε₂）であるので、例えば、閾値ε₂に対して、十分に小さい係数を乗じることにより得られた値を閾値ε₃として設定する。

ステップＳ５２において、混合比検出部５３は、注目画素と、各水平処理方向成分画素との画素値の差分絶対値を算出し、各差分絶対値が全て、閾値ε₃（≪ε₂）よりも小さいか否かを判定し、その判定結果に基づいて、微小なエッジが存在するか否かを判定する。

すなわち、例えば、図１１で示したように、混合比検出部５３は、注目画素Ｃと、水平方向に隣接する各水平処理方向成分画素Ｌ２，Ｌ１，Ｒ１，Ｒ２との画素値の差分絶対値を算出し、各差分絶対値が全て、閾値ε₃よりも小さいか否かを判定し、各差分絶対値が全て閾値ε₃よりも小さいと判定した場合、近傍画素と注目画素との画素値に変化がないものとみなし、ステップＳ５４に進み、注目画素の近傍には、微小なエッジが存在しないものと判定する。

一方、ステップＳ５２において、算出された差分絶対値のうち、１つでも閾値ε₃以上のものがあると判定された場合、ステップＳ５３に進み、混合比検出部５３は、注目画素の左右の一方側の水平処理方向成分画素と注目画素との差分絶対値が全て閾値ε₃よりも小さく、かつ、注目画素の左右の他方側の水平処理方向成分画素と注目画素との差分絶対値が全て閾値ε₃以上であって、かつ、注目画素の左右の他方側の水平処理方向成分画素と注目画素との各差分の正負が一致しているか否かを判定する。

すなわち、注目画素Ｃの左右の一方側の水平処理方向成分画素が、例えば、図１１の画素Ｌ２，Ｌ１であり、注目画素Ｃの左右の他方側の水平処理方向成分画素が、図１１の画素Ｒ２，Ｒ１である場合、混合比検出部５３は、注目画素Ｃの左右の一方側の水平処理方向成分画素と注目画素Ｃとの差分絶対値が全て閾値ε₃よりも小さく、かつ、注目画素Ｃの左右の他方側の水平処理方向成分画素Ｒ１，Ｒ２と注目画素Ｃとの差分絶対値が全て閾値ε₃以上であって、かつ、注目画素Ｃの左右の他方側の水平処理方向成分画素Ｒ１，Ｒ２と注目画素Ｃとの各差の正負が一致しているか否かを判定する。

例えば、上記の条件が満たされていると判定された場合、ステップＳ５４において、混合比検出部５３は、注目画素の近傍に、微小なエッジが存在すると判定する。

一方、ステップＳ５３において、上記条件を満たしていないと判定された場合、ステップＳ５５において、混合比検出部５３は、注目画素の近傍には、微小なエッジが存在しないと判定する。

例えば、注目画素Ｃと水平処理方向成分画素Ｌ２，Ｌ１，Ｒ１，Ｒ２の関係が図１５に示すような場合、注目画素Ｃと左側の水平処理方向成分画素Ｌ２，Ｌ１の差分絶対値｜Ｌ２−Ｃ｜，｜Ｌ１−Ｃ｜が閾値ε₃よりも小さく、かつ、注目画素Ｃと右側の水平処理方向成分画素Ｒ１，Ｒ２の差分絶対値｜Ｒ１−Ｃ｜，｜Ｒ２−Ｃ｜が閾値ε₃以上であり、かつ、注目画素Ｃと右側の水平処理方向成分画素Ｒ１，Ｒ２の差（Ｒ１−Ｃ），（Ｒ２−Ｃ）の符号が一致する（いまの場合、ともに正）ので、注目画素Ｃの近傍に微小なエッジが存在すると判定される。

また、例えば、注目画素Ｃと水平処理方向成分画素Ｌ２，Ｌ１，Ｒ１，Ｒ２の関係が図１６に示すような場合、注目画素Ｃと左側の水平処理方向成分画素Ｌ２，Ｌ１の差分絶対値｜Ｌ２−Ｃ｜，｜Ｌ１−Ｃ｜が閾値ε₃よりも小さく、かつ、注目画素Ｃと右側の水平処理方向成分画素Ｒ１，Ｒ２の差分絶対値｜Ｒ１−Ｃ｜，｜Ｒ２−Ｃ｜が閾値ε₃以上ではあるが、かつ、注目画素Ｃと右側の水平処理方向成分画素Ｒ１，Ｒ２の差（Ｒ１−Ｃ），（Ｒ２−Ｃ）の符号が一致しない（いまの場合、それぞれ正、負）ので、注目画素Ｃの近傍に微小なエッジが存在しないと判定される。

さらに、例えば、注目画素Ｃと水平処理方向成分画素Ｌ２，Ｌ１，Ｒ１，Ｒ２の関係が図１７に示すような場合、注目画素Ｃの左右いずれの側も、注目画素Ｃと水平処理方向成分画素の差分絶対値が全て閾値ε₃よりも小さいわけではないので、注目画素Ｃの近傍に微小なエッジが存在しないと判定される。

このようにして、注目画素の近傍に微小なエッジが存在するか否かが判定された後、処
理は図１３のステップＳ４４に戻る。

ステップＳ４３の処理が終了すると、ステップＳ４４において、混合比検出部５３は、ステップＳ４３における微小エッジ判定処理による判定結果が、「注目画素Ｃの近傍に微小なエッジが存在する」であるか否かを判定する。例えば、微小エッジ判定処理による判定結果が、「注目画素Ｃの近傍に微小なエッジが存在する」である場合、ステップＳ４５において、混合比検出部５３は、水平方向に非線形フィルタリング処理された画像信号S_LPF-Hと入力画像データの輝度信号Ｙ１の混合比であるMixレートMr_-Hを最大MixレートMr_{-H max}として混合部５２に出力する。尚、最大MixレートMr_{-H max}は、MixレートMr_-Hの最大値、すなわち、画素値のダイナミックレンジの最大値と最小値の差分絶対値である。

ステップＳ４６において、混合部５２は、混合比検出部５３より供給されるMixレートMr_-Hに基づいて、入力画像データの輝度信号Ｙ１と非線形フィルタ５１により非線形平滑化処理された画像信号S_LPF-Hとを混合し、非線形平滑化された画像信号S_F-Hとしてバッファ２３に出力する。より詳細には、混合部５２は、以下の式（３）を演算して、入力画像データの輝度信号Ｙ１と非線形フィルタにより非線形平滑化された画像信号S_LPF-Hとを混合する。

Ｓ_F-H＝Ｙ１×M_r-H／Mr_{-H max}＋S_LPF-H×（１−Mr_-H／Mr_{-H max}）
・・・（３）
ここで、Mr_-Hは、Mixレートであり、Mr-_{H max}は、MixレートMr_-Hの最大値、すなわち、画素値の最大値と最小値の差分絶対値である。

式（３）で示されるように、MixレートMr_-Hが大きければ、非線形フィルタ５１により処理された画像信号S_LPF-Hの重みが小さくなり、処理されていない入力画像データの輝度信号Ｙ１の重みが大きくなる。逆に、MixレートMr_-Hが小さければ、すなわち、水平方向に隣接する画素間の画素値の差分絶対値が小さいほど、非線形フィルタにより処理された画像信号S_LPF-Hの重みが大きくなり、入力された処理されていない画像信号の重みが小さくなる。

従って、微小エッジが検出された場合、MixレートMr_-Hは最大MixレートMr_{-H max}となるので、実質的に入力画像データの輝度信号Ｙ１が、そのまま出力されることになる。

一方、ステップＳ４４において、「微小エッジが存在しない」と判定された場合、ステップＳ４７において、混合比検出部５３は、注目画素と、各水平処理方向成分画素との画素値の差分絶対値をそれぞれ計算し、計算した各差分絶対値のうちの最大値を混合比である、MixレートMr_-Hとして求め、混合部５２に出力し、その処理は、ステップＳ４６に進む。

すなわち、図１１の場合、混合比検出部５３は、注目画素Ｃと、各水平処理方向成分画素Ｌ２，Ｌ１，Ｒ１，Ｒ２との画素値の差分絶対値｜Ｃ−Ｌ２｜，｜Ｃ−Ｌ１｜，｜Ｃ−Ｒ１｜，｜Ｃ−Ｒ２｜を計算し、計算した各差分絶対値のうちの最大値を混合比であるMixレートMr_-Hとして求め、混合部５２に出力する。

すなわち、微小エッジが存在しない場合、注目画素と各水平処理方向成分画素との画素値の差分絶対値の最大値に応じて、非線形フィルタリング処理された画像信号S_LPF-Hと、入力画像データの輝度信号Ｙ１とが混合されて、非線形平滑化処理された画像信号SF-Hが生成され、微小エッジが存在した場合、入力画像データの輝度信号Ｙ１がそのまま出力される。

結果として、非線形平滑化処理部３２においては、閾値ε₃を基準として微小エッジが検出されることになるので、微小エッジが存在する部分については、非線形平滑化処理が施されないようにすると共に、エッジが存在しない部分についても、その差分絶対値の大きさに応じて非線形平滑化処理が施された画素値と、入力された画像信号とを混合するようにしたので、特に、微小なエッジで構成された単純なパターン画像等で著しく画質の劣化が生じてしまうという事態を抑止することが可能になる。

ここで、図１０のフローチャートの説明に戻る。

ステップＳ２６において、Flatレート計算部３５は、注目画素と、注目画素に対して垂直方向に隣接する各垂直参照方向成分画素との画素値の差分絶対値をそれぞれ計算する。すなわち、図１１の場合、Flatレート計算部３５は、注目画素Ｃと、垂直方向に隣接する各垂直参照方向成分画素U２，U１，D１，D２との画素値の差分絶対値｜Ｃ−U２｜，｜Ｃ−U１｜，｜Ｃ−D１｜，｜Ｃ−D２｜を計算する。

ステップＳ２７において、Flatレート計算部３５は、注目画素と、注目画素に対して垂直方向に隣接する各垂直参照方向成分画素との差分絶対値のうち、最大値となる差分絶対値を求めて、これをFlatレートFr_-Vとして混合部３３に供給する。

ステップＳ２８において、混合部３３は、Flatレート計算部３５より供給されるFlatレートFr_-Vに基づいて、入力画像データの輝度信号Ｙ１と非線形平滑化処理部３２により非線形平滑化処理された画像信号S_F-Hとを混合し、水平処理平滑化処理された画像信号SNL-Hとしてバッファ２３に出力する。より詳細には、混合部３３は、以下の式（４）を演算して、入力画像データの輝度信号Ｙ１と非線形平滑化処理部３２により非線形平滑化処理された画像信号SF-Hとを混合する。

Ｓ_NL-H＝S_F-H×Fr_-V／Fr_{-H max}＋Ｙ１×（１−Fr_-V／Fr_{-V max}）
・・・（４）
ここで、Fr_-Vは、垂直方向のFlatレートであり、Fr_{-V max}は、垂直方向のFlatレートFr_-Vの最大値、すなわち、画素値のダイナミックレンジの最大値と最小値の差分絶対値である。FlatレートFr_-Vは、垂直参照方向成分画素と注目画素との差分絶対値の最大値であるので、その値が小さいほど、注目画素と、注目画素に垂直方向に隣接する垂直参照方向成分画素の領域では、画素値の変化が小さく、視覚的にも色の変化が小さいため、見た目に平坦な状態（Flatな状態）であると言える。逆に、FlatレートF_r-Vが大きいと言うことは、注目画素と、注目画素に垂直方向に隣接する垂直参照方向成分画素の領域では、画素間の変化が大きく、見た目にも平坦ではない状態（Flatではない状態）であることが示される。

このため、式（４）で示されるように、FlatレートFr_-Vが大きければ、非線形平滑化処理部３２により非線形平滑化処理された画像信号S_F-Hの重みが増し、処理されていない入力画像データの輝度信号Ｙ１の重みが小さくなる。逆に、FlatレートFr_-Vが小さければ、すなわち、垂直方向の画素間の画素値の差分絶対値が小さいほど、非線形平滑化処理部３２により非線形平滑化処理された画像信号S_F-Hの重みが小さくなり、処理されていない入力画像データの輝度信号Ｙ１の重みが大きくなる。

ステップＳ２９において、水平処理方向成分画素抽出部３１は、全ての画素を注目画素として処理したか、すなわち、未処理の画素が存在するか否かを判定し、例えば、全ての画素を注目画素として処理していない、すなわち、未処理画素が存在すると判定した場合、その処理は、ステップＳ２１に戻る。そして、ステップＳ２８において、全ての画素が注目画素として処理された、すなわち、未処理画素が存在しないと判定された場合、その処理は、終了し、図９のステップＳ１１の処理が終了する。尚、垂直参照方向成分画素抽出部 ３４も、同様に、全ての画素を注目画素として処理したか、すなわち、未処理の画素が存在するか否かを判定し、いずれにおいても、未処理画素が存在しないと判定された場合にのみ、その処理を終了させるようにしても良い。

結果として、注目画素に対して垂直方向に隣接する垂直参照方向成分画素との画素値の差分絶対値より求められる垂直方向のFlatレートFr_-Vに応じて、水平方向に非線形平滑化処理された画像信号S_F-Hと、入力画像データの輝度信号Ｙ１とが混合されることにより、垂直方向に相関が強い、すなわち、垂直方向のFlatレートFr_-Vが小さく、垂直方向の相関が強い場合、入力画像データの輝度信号Ｙ１の重みを大きくし、逆に、垂直方向のFlatレートFr_-Vが大きく、垂直方向の相関が弱い場合、水平方向に非線形フィルタリング処理された画像信号S_F-Hの重みを大きくすることにより、エッジを意識しつつ、処理方向に応じた（非線形平滑化処理に使用する近傍画素が、注目画素に対して水平方向に隣接する画素であるか、または、垂直方向に隣接する画素であるかに応じた）不自然な処理を抑制することが可能となる。

尚、以上においては、混合に際しては、FlatレートFr_-Vをそのまま重み係数として画素値に乗じる例について説明してきたが、その他のFlatレートに応じた重み係数を非線形フィルタリング処理された画像信号S_F-Hと入力画像データの輝度信号Ｙ１のそれぞれに乗じて混合するようにしても良い。すなわち、例えば、図１８で示されるように、FlatレートFr_-Vに応じて設定される重み係数W₁，W₂を用いて、以下の式（５）を用いて混合するようにしても良い。

Ｓ_NL-H＝Ｙ１×W₁＋S_F-H×W₂
・・・（５）

ここで、W₂は水平方向に非線形フィルタリング処理された画像信号S_F-Hの重み係数であり、W₁は入力画像データの輝度信号Ｙ１の重み係数である。また、（W₁＋W₂）は、重み係数の最大値W_max（＝１）である。

すなわち、図１８においては、FlatレートFr_-HがFr₁より小さい範囲（Fr_-V＜Fr1）では、重み係数W₁は、重み係数の最大値W_maxであり、重み係数W₂は0である。FlatレートFr-VがFr1より以上で、かつ、Fr2以下の範囲（Fr1≦Fr_-V≦Fr2）では、重み係数W₁は、FlatレートFr_-Vに比例して減少し、重み係数W2は、FlatレートFr_-Vに比例して増大して、かつ、（W₁＋W₂）は、重み係数の最大値W_max（＝１）となるように設定されている。さらに、FlatレートFr-VがFr2より大きい範囲（Fr2≦Fr-V）では、重み係数W₁は０であり、重み係数W₂は重み係数の最大値W_maxである。

結果として、エッジの有無を正確に意識して、画像を非線形平滑化することが可能となる。尚、Fr1＝Fr2となる場合、FlatレートFr_-Vが、Fr1（＝Fr2）であるときを閾値として、出力される画像信号が、入力画像データの輝度信号Ｙ１か、または、非線形平滑化処理された画像信号S_F-Hのいずれかが、切替えられて出力されることになる。

また、上述した図１０のフローチャートにおけるステップＳ２４の処理である、閾値設定処理により、例えば、図１９の上部で示されるような矩形波があり、注目画素が図中のバツ印であった場合、図１９の下部で示されるように、垂直参照方向画素の波形に基づいて、閾値ε₂の大きさを設定することにより、図２０の上部で示されるように閾値を設定することが可能となるため、図１９の上部で示されるように矩形波の画素値の変化よりも大きいことにより、図１の中段で示されるような波形に変化してしまうといった問題を解消し、図２０の下部で示されるように、矩形波を維持しつつ、振幅成分のみを平滑化することが可能となる。

ここで、図９のフローチャートに戻る。

以上のように、ステップＳ１１において、水平方向平滑化処理部２２は、水平方向平滑化処理により生成された画像信号Ｓ_NL-Hをバッファ２３に順次記憶させる。

ステップＳ１２において、垂直方向平滑化処理部２４は、バッファ２３に、順次記憶されている、水平方向平滑化処理されている画像信号Ｓ_NL-Hを用いて、垂直方向平滑化処理を実行する。ここで、図２１のフローチャートを参照して、垂直方向平滑化処理について説明する。尚、垂直方向平滑化処理は、水平方向平滑化処理における処理の水平方向の処理と、垂直方向の処理とを入れ替えた処理であり、処理内容そのものは同様のものである。また、閾値設定処理についても、注目画素に対して垂直方向に隣接する画素から水平方向に隣接する画素と、注目画素とを用いる以外の点については、同様の処理であるので、その説明は省略する。

すなわち、ステップＳ６１において、垂直方向平滑化処理部２４の垂直処理方向成分画素抽出部４１は、ラスタスキャン順に注目画素を設定する。同時に、水平参照方向成分画素抽出部４４も、同様にラスタスキャン順に注目画素を設定する。尚、注目画素の設定順序は、ラスタスキャン順以外の順序であってもよいが、垂直処理方向成分画素抽出部４１により設定される注目画素と、水平参照方向成分画素抽出部４４により設定される注目画素とが同一となるように設定される必要がある。

ステップＳ６２において、垂直処理方向成分画素抽出部４１は、注目画素と共に、注目画素に対して垂直方向（上下方向）に２画素ずつ隣接する近傍画素である水平参照方向成分画素からなる合計５画素の画素値をバッファ２３より抽出して非線形平滑化処理部４２に出力する。例えば、図１１で示されるような場合、画素Ｕ２，Ｕ１，Ｃ，Ｄ１，Ｄ２が、注目画素および水平参照方向成分画素として抽出される。

ステップＳ６３において、水平参照方向成分画素抽出部４４は、注目画素と共に、注目画素に対して水平方向（左右方向）に２画素ずつ隣接する近傍画素である水平参照方向成分画素からなる合計５画素の画素値をバッファ２３より抽出してFlatレート計算部４５に出力する。例えば、図１１で示されるような場合、画素Ｌ２，Ｌ１，Ｃ，Ｒ１，Ｒ２が、注目画素および水平参照方向成分画素として抽出される。

ステップＳ６４において、閾値設定部４６は、閾値設定処理を実行する。

ステップＳ６５において、非線形平滑化処理部４２は、垂直処理方向成分画素抽出部４１より供給された注目画素と垂直処理方向成分画素に基づいて、注目画素に非線形平滑化処理を施す。尚、ステップＳ６５における非線形平滑化処理については、図１０のステップＳ２５における非線形平滑化処理と、水平方向と垂直方向の関係が入れ替わるのみで、その他の処理については同様であるので、その説明は省略するものとする。従って、この処理により、非線形平滑化処理部４２は、垂直方向に非線形平滑化処理された画像信号Ｓ_F-Vを混合部４３に出力する。

ステップＳ６６において、Flatレート計算部４５は、注目画素と、注目画素に対して水平方向に隣接する各水平参照方向成分画素との画素値の差分絶対値をそれぞれ計算する。すなわち、図９の場合、Flatレート計算部４５は、注目画素Ｃと、水平方向に隣接する各水平参照方向成分画素Ｌ２，Ｌ１，Ｒ１，Ｒ２との画素値の差分絶対値｜Ｃ−Ｌ２｜，｜Ｃ−Ｌ１｜，｜Ｃ−Ｒ１｜，｜Ｃ−Ｒ２｜を計算する。

ステップＳ６７において、Flatレート計算部４５は、注目画素と、注目画素に対して水平方向に隣接する各水平参照方向成分画素との差分絶対値のうち、最大値となる差分絶対値を求めて、これをFlatレートFr_-Hとして混合部４３に供給する。

ステップＳ６８において、混合部４３は、Flatレート計算部４５より供給されるFlatレートFr_-Hに基づいて、入力される水平方向平滑化処理部２２により水平方向非線形平滑化処理された画像信号S_NL-Hと非線形平滑化処理部４２により非線形平滑化処理された画像信号SF-Vとを混合し、垂直方向の近接画素と用いて平滑化された画像信号であるエッジ成分ＳＴ１をバッファ２５に出力する。より詳細には、混合部４３は、以下の式（６）を演算して、入力される水平方向非線形平滑化処理されている画像信号S_NL-Hと非線形平滑化処理部４２により垂直方向に非線形平滑化処理された画像信号S_F-Vとを混合する。

ＳＴ１＝S_F-V×Fr_-H／Fr_{-H max}＋S_NL-H×（１−F_r-H／Fr_{-H max}）
・・・（６）
ここで、Fr_-Hは、水平方向のFlatレートであり、Fr_{-H max}は、FlatレートF_r-Hの最大値、すなわち、画素値のダイナミックレンジの最大値と最小値の差分絶対値である。FlatレートFr_-Hは、水平方向に隣接する各水平参照方向成分画素と注目画素との差分絶対値の最大値であるので、その値が小さいほど、注目画素と、注目画素に水平方向に隣接する近傍画素の領域では、画素値の変化が小さく、視覚的にも色の変化が小さいため、見た目に平坦な状態（Flatな状態）であると言える。逆に、FlatレートFr_-Hが大きいと言うことは、注目画素と、注目画素に垂直方向に隣接する水平参照方向成分画素の領域では、画素間の変化が大きく、見た目にも平坦ではない状態（Flatではない状態）であることが示される。

このため、式（６）で示されるように、FlatレートFr_-Hが大きければ、非線形平滑化処理部４２により垂直方向に非線形平滑化処理された画像信号S_F-Vの重みが増し、水平方向平滑化処理された画像信号SNL-Hの重みが小さくなる。逆に、FlatレートFr_-Hが小さければ、すなわち、水平方向の画素間の画素値の差分絶対値が小さいほど、非線形平滑化処理部３２により垂直方向に非線形平滑化処理された画像信号S_F-Vの重みが小さくなり、入力された水平方向に非線形平滑化処理されている画像信号S_NL-Hの重みが大きくなる。

ステップＳ６９において、垂直処理方向成分画素抽出部４１は、全ての画素を注目画素として処理したか、すなわち、未処理の画素が存在するか否かを判定し、例えば、全ての画素を注目画素として処理していない、すなわち、未処理画素が存在すると判定した場合、その処理は、ステップＳ６１に戻る。そして、ステップＳ６９において、全ての画素が注目画素として処理された、すなわち、未処理画素が存在しないと判定された場合、その処理は、終了し、図９のステップＳ１２の処理が終了する。尚、水平参照方向成分画素抽出部４４も、同様の処理に、全ての画素を注目画素として処理したか、すなわち、未処理の画素が存在するか否かを判定し、いずれにおいても、未処理画素が存在しないと判定された場合にのみ、その処理を終了させるようにしても良い。

結果として、注目画素に対して水平方向に隣接する水平参照方向成分画素との画素値の差分より求められるFlatレートFr_-Hに応じて、垂直方向に平滑化処理された画像信号S_F-Vと入力された画像信号S_NL-Hとが混合されることにより、水平方向に相関が強い、すなわち、水平方向のFlatレートFr_-Hが小さく、水平方向の相関が強い場合、入力された水平方向線形平滑化処理された画像信号S_NL-Hの重みを大きくし、水平方向のFlatレートFr_-Hが大きく、水平方向の相関が弱い場合、垂直方向に非線形フィルタリング処理された画像信号S_F-Vの重みを大きくすることにより、エッジを意識しつつ、処理方向に応じた（非線形平滑化処理に使用する近傍画素が、注目画素に対して水平方向に隣接する画素であるか、または、垂直方向に隣接する画素であるかに応じた）不自然な処理を抑制することが可能となる。

尚、以上においては、混合に際しては、FlatレートFr_-Hをそのまま重み係数として画素値に乗じる例について説明してきたが、その他のFlatレートFr-Hに応じた重み係数を平滑化処理された画像信号S_F-Vと入力された水平方向平滑化処理された画像信号S_NL-Hのそれぞれに乗じて混合するようにしても良い。すなわち、上述した水平方向平滑化処理における図１８で示されるように、FlatレートFr_-Hに応じて設定される重み係数W₁，W₂を用いていた場合と同様に、以下の式（７）のようにして、垂直方向平滑化処理された画像信号であるエッジ成分ＳＴ１を求めるようにしても良い。

ＳＴ１＝S_NL-H×W₁₁＋S_F-V×W₁₂
・・・（７）

ここで、W₁₂は垂直方向に平滑化処理された画像信号S_F-Vの重み係数であり、W₁₁は入力された水平方向平滑化処理された画像信号S_NL-Hの重み係数である。また、（W₁₁＋W₁₂）は、重み係数の最大値W_max（＝１）である。

結果として、エッジの有無を正確に意識して生成される画像を非線形平滑化することが可能となる。

ここで、図９のフローチャートの説明に戻る。

ステップＳ１２において、垂直方向平滑化処理が実行されると、ステップＳ１３において、次の画像が入力されたか否かが判定され、次の画像が入力されたと判定された場合、その処理は、ステップＳ１１に戻り、それ以降の処理が繰り返される。ステップＳ１３において、次の画像が入力されていない、すなわち、画像信号が終了したと判定された場合、その処理は、終了する。

図２２は、図１に示した本発明が適用される信号処理装置のうち、トランジェント改善部１３の構成例を示している。

図２２の例のトランジェント改善部１３は、エッジ成分ＳＴ１に対してトランジェント改善処理を施し、その結果得られる、改善エッジ成分ＳＴ２を出力することができる。

図２２のトランジェント改善部１３は、遅延部１０１、遅延部１０２、ＭＡＸ部１０３、ＭＩＮ部１０４、演算部（ＨＰＦ）１０５、切換部１０６を含むように構成されている。

遅延部１０１は、非線形フィルタ部１１より供給されたエッジ成分ＳＴ１を例えばＮ画素（Ｎは１以上の整数値）分だけ遅延し、ＭＡＸ部１０３、ＭＩＮ部１０４、および演算部（ＨＰＦ）１０５に供給する。

遅延部１０２は、遅延部１０１より供給されたエッジ成分ＳＴ１を例えばＮ画素（Ｎは１以上の整数値）分だけ遅延し、ＭＡＸ部１０３、ＭＩＮ部１０４、および演算部（ＨＰＦ）１０５に供給する。

ここで、遅延部１０１から出力されたエッジ成分ＳＴ１が注目画素に対応する信号（以下、注目画素信号Ｎｐと称する）であるとする。すると、遅延部１０２から出力されたエッジ成分ＳＴ１は、注目画素から例えば水平右方向にＮ画素分だけ離れた画素に対応する信号（以下、右方向画素信号と略記する）であるといえる。また、非線形フィルタ部１１より供給されたエッジ成分ＳＴ１は、注目画素から例えば水平左方向にＮ画素分だけ離れた画素に対応する信号（以下、左方向画素信号と略記する）であるといえる。

この場合、ＭＡＸ部１０３、ＭＩＮ部１０４、および演算部（ＨＰＦ）１０５のそれぞれには、左方向画素信号、注目画素信号Ｎｐ、および、右方向画素信号が入力されることになる。

ＭＡＸ部１０３は、左方向画素信号、注目画素信号Ｎｐ、および、右方向画素信号の各信号レベル（画素値）のうちの最大レベルの信号（以下、３画素最大信号Ｍａｘと称する）を、切換部１０６に供給する。

ＭＩＮ部１０４は、左方向画素信号、注目画素信号、および、右方向画素信号の各信号レベル（画素値）のうちの最小レベルの信号（以下、３画素最小信号Ｍｉｎと称する）を、切換部１０６に供給する。

演算部（ＨＰＦ）１０５は、左方向画素信号、注目画素信号、および、右方向画素信号から、注目画素における二次微分値を演算し、その結果得られる信号を制御信号Controlとして、切換部１０６に供給する。

切換部１０６には、注目画素信号Ｎｐ、３画素最小画素信号Ｍｉｎ、および３画素最大画素信号Ｍａｘが入力される。切り替え部１０６は、これらの３信号の中から出力信号を、演算部（ＨＰＦ）１０５からの制御信号に基づいて決定し、改善エッジ成分ＳＴ２の注目画素信号として出力される。

即ち、改善エッジ成分ＳＴ２の注目画素信号は、エッジ成分ＳＴ１の注目画素信号Ｎｐそのもの、３画素最小画素信号Ｍｉｎ、および３画素最大画素信号Ｍａｘの中から、切替部１０６により選択出力された信号となる。

ここで、図２３を参照して、図２２の例のトランジェント改善部１３の動作の概略を説明する。

図２３には、上から順に、非線形フィルタ部１１より供給されたエッジ成分ＳＴ１、３画素最大画素信号Ｍａｘ、注目画素信号Ｎｐ、３画素最小画素信号Ｍｉｎ、制御信号Control、および、改善エッジ成分ＳＴ２のそれぞれについてのタイミングチャートが示されている。

なお、各時刻t1乃至t6において、注目画素信号Ｎｐの信号レベルが、トランジェント改善前のエッジ成分ＳＴ１の注目画素の画素値を示すとする。

また、制御信号Controlの信号レベルは、図２３に示されるように、ハイレベルＨ、ミドルレベルＭ、および、ローレベルＬの３つのレベルを取るとする。

この場合、切替部１０６は、制御信号ControlがハイレベルＨのとき、改善エッジ成分ＳＴ２の注目画素信号として、３画素最大画素信号Ｍａｘを出力する。切替部１０６は、制御信号ControlがミドルレベルＭのとき、改善エッジ成分ＳＴ２の注目画素信号として、注目画素信号Ｎｐを出力する。切替部１０６は、制御信号ControlがローレベルＬのとき、改善エッジ成分ＳＴ２の注目画素信号として、３画素最小画素信号Ｍｉｎを出力する。

即ち、時刻t1乃至時刻t2では、制御信号ControlがローレベルＬなので、改善エッジ成分ＳＴ２の注目画素信号として、３画素最小画素信号Ｍｉｎが出力される。時刻t2乃至時刻t3では、制御信号ControlがハイレベルＨなので、改善エッジ成分ＳＴ２の注目画素信号として、３画素最大画素信号Ｍａｘが出力される。時刻t3乃至時刻t4では、制御信号ControlがミドルレベルＭなので、改善エッジ成分ＳＴ２の注目画素信号として、注目画素信号Ｎｐが出力される。時刻t4乃至時刻t5では、制御信号ControlがハイレベルＨなので、改善エッジ成分ＳＴ２の注目画素信号として、３画素最大画素信号Ｍａｘが出力される。時刻t5乃至時刻t6では、制御信号ControlがローレベルＬなので、改善エッジ成分ＳＴ２の注目画素信号として、３画素最小画素信号Ｍｉｎが出力される。

このようにして、エッジ成分ＳＴ１のトランジェントが改善された改善エッジ成分ＳＴ２が出力される。

以上説明したように、図１の例の信号処理装置は、輝度信号Ｙ１を、エッジ成分ＳＴ１とそのエッジ以外の成分ＴＸ１とに分離することができる。図１の例の信号処理装置は、エッジ成分ＳＴ１のトランジェントを改善するとともに（例えば図３や図２３の改善エッジ成分ＳＴ２参照）、エッジ以外の成分ＴＸ１を増幅することができる。

本発明は、図１の実施の形態に特に限定されず、様々な実施の形態を取ることができる。

例えば、図２４は、本発明が適用される信号処理装置の図１とは異なる実施の形態を示している。なお、図２４の例の情報処理装置を、図１の例と明確に区別すべく、以下、輪郭強調画像処理装置と称する。

図２４の例の輪郭強調画像処理装置は、非線形フィルタ部１１、減算部１２、トランジェント改善部１３、増幅部１２１、コントラスト補正部１２２、輪郭抽出部１２３、増幅部１２４、および加算部１４を含むように構成されている。

非線形フィルタ部１１は、入力画像データの輝度信号Ｙ１から、エッジ成分ＳＴ１を抽出し、減算部１２とトランジェント改善部１３に供給する。なお、非線形フィルタ部１１の詳細例については、図４乃至図２１を参照して上述した通りである。

減算部１２は、入力画像データの輝度信号Ｙ１から、エッジ成分ＳＴ１を減算し、その結果得られるエッジ以外の成分ＴＸ１を増幅部１２１に供給する。

トランジェント改善部１３は、非線形フィルタ部１１より供給されてくるエッジ成分ＳＴ１に対して所定のトランジェント改善処理を施し、その結果得られる改善エッジ成分ＳＴ２を、コントラスト補正部１２２および輪郭抽出部１２３に供給する。トランジェント改善部１３の詳細例については図２２，図２３を参照して上述した通りである。

増幅部１２１は、減算部１２から供給されたエッジ以外の成分ＴＸ１を増幅し、その結果得られる増幅されたエッジ以外の成分ＴＸ２を、加算部１４に供給する。

コントラスト補正部１２２は、トランジェント改善部１３から供給された改善エッジ成分ＳＴ２に対して所定のコントラスト補正処理を施し、その結果得られる改善エッジ成分ＯＴ２、即ち、コントラストが補正された改善エッジ成分ＯＴ２を加算部１４に供給する。なお、以下、コントラストが補正された改善エッジ成分ＯＴ２を、コントラスト補正成分ＯＴ２と称する。

輪郭抽出部１２３は、トランジェント改善部１３から供給された改善エッジ成分ＳＴ２に対して輪郭抽出処理を施し、その結果得られる輪郭抽出成分ＯＴ１を、増幅部１２４に供給する。

増幅部１２４は、輪郭抽出部１２３より供給されてくる輪郭抽出成分ＯＴ１を増幅し、増幅された輪郭抽出成分ＯＴ３を加算部１４に供給する。

加算部１４は、コントラスト補正部１２２から供給されたコントラスト補正成分ＯＴ２と、増幅部１２１から供給されたエッジ以外の成分ＴＸ２と、増幅部１２４から供給された輪郭抽出成分ＯＴ３とを加算し、その結果得られる輝度信号Ｙ４を出力する。

次に図２５のフローチャートを参照して、図２４の輪郭強調画像処理装置による輪郭強調画像処理について説明する。

ステップＳ７１において、輪郭強調画像処理装置は、入力画像データの輝度信号Ｙ１を入力する。入力された輝度信号Ｙ１は、非線形フィルタ部１１と減算部１２とに供給される。

ステップＳ７２において、非線形フィルタ部１１は、入力画像データの輝度信号Ｙ１に対して非線形フィルタ処理を施す。これによりエッジ成分ＳＴ１が得られることになる。なお、非線形フィルタ処理の詳細例については、図９乃至図２１を用いて上述した通りである。

ステップＳ７３において、非線形フィルタ部１１は、エッジ成分ＳＴ１を出力する。出力されたエッジ成分ＳＴ１は、トランジェント改善部１３と減算部１２とに供給される。

ステップＳ７４において、トランジェント改善部１３は、エッジ成分ＳＴ１に対してトランジェント改善処理を施し、その結果得られる改善エッジ成分ＳＴ２を出力する。出力された改善エッジ成分ＳＴ２は、コントラスト補正部１２２、および輪郭抽出部１２３に供給される。なお、トランジェント改善処理の詳細例については、図２３を用いて上述した通りである。

ステップＳ７５において、減算部１２は、入力画像データの輝度信号Ｙ１から、エッジ成分ＳＴ１を減算し、その結果得られるエッジ以外の成分ＴＸ１を出力する。出力されたエッジ以外の成分ＴＸ１は、増幅部１２１に供給される。

ステップＳ７６において、コントラスト補正部１２２は、改善エッジ成分ＳＴ２に対してコントラスト補正処理を施し、その結果得られるコントラスト補正成分ＯＴ２を出力する。出力されたコントラスト補正成分ＯＴ２は、加算部１４に供給される。

ステップＳ７７において、輪郭抽出部１２３は、改善エッジ成分ＳＴ２に対して輪郭抽出処理を施し、その結果得られる輪郭抽出成分ＯＴ１を出力する。出力された輪郭抽出成分ＯＴ１は、増幅部１２４に供給される。

ステップＳ７８において、増幅部１２４は、輪郭抽出部１２３より供給された輪郭抽出成分ＯＴ１に対して増幅処理を施し、その結果得られた輪郭抽出成分ＯＴ３、即ち、輪郭抽出成分ＯＴ１を増幅した成分ＯＴ３を出力する。出力された輪郭抽出成分ＯＴ３は、加算部１４に供給される。

ステップＳ７９において、増幅部１２１は、減算部１２より供給されたエッジ以外の成分ＴＸ１に対して増幅処理を施し、その結果得られたエッジ以外の成分ＴＸ２、即ち、エッジ以外の成分ＴＸ１を増幅した成分ＴＸ２を出力する。出力されたエッジ以外の成分ＴＸ２は、加算部１４に供給される。

ステップＳ８０において、加算部１４は、コントラスト補正成分ＯＴ２と、輪郭抽出成分ＯＴ３、およびエッジ以外の成分ＴＸ２とを加算し、その結果得られる輪郭強調された輝度成分Ｙ４を出力する。

以上の処理の結果、本発明が適用される信号処理装置を含んだ輪郭強調画像処理装置は、安定したトランジェント改善成分に対して輪郭成分の抽出および増幅を施すことにより、より周波数の高い輪郭強調が安定に実現できる。

図２６、図２７は、従来の手法による小振幅なエッジに対する輪郭強調の例を示したものである。

従来の手法では、小振幅なエッジに対し、トランジェント改善を行うことができなかった。このため、図２６の入力信号ＩＮ１，図２７の入力信号ＩＮ２のような微小なサンプリング位相の変化に対して輪郭強調処理を施した場合、図２６の出力信号ＯＵＴ１，図２７の出力信号ＯＵＴ２に示すように、輪郭強調レベルが異なってしまうという問題があった。

図２８は、図２４の例の輪郭強調処理装置を用いて処理した、輪郭強調処理結果の一例である。

入力信号ＩＮ３は、図２５のフローチャートのステップＳ７４において出力された、改善エッジ成分ＳＴ２の輝度信号の例である。

出力信号ＯＵＴ３は、入力信号ＩＮ３に対して、図２５のフローチャートのステップＳ７５以下の処理を行い、その結果得られた輝度成分Ｙ４の輝度信号の例である。

本発明が適用される信号処理装置によれば、非線形フィルタ部１１が、入力画像の輝度信号からエッジ成分のみを抽出し、そのエッジ成分にはノイズ等が含まれていないため、エッジ成分に対して安定したトランジェント改善処理を施すことが可能となる。このため、エッジ成分ノイズ成分のあるエッジや小振幅なエッジに対しても安定したトランジェントの改善が可能となり、図２８に示す入力信号ＩＮ３が得られる。

トランジェントが改善された入力信号ＩＮ３に対して輪郭強調処理を施すことにより、サンプリング位相の変動やノイズに対しても、安定した輪郭強調が可能となり、出力信号ＯＵＴ３が得られる。

上述した一覧表示処理も含む一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。

上述した一連の処理をソフトウエアにより実行させる場合、本発明が適用される液晶パネルは、例えば、図２９に示されるコンピュータを含むように構成することもできる。或いは、図２９のコンピュータによって、本発明が適用される液晶パネルの駆動が制御されてもよい。

図２９において、CPU（Central Processing Unit）３０１は、ROM（Read Only Memory
）３０２に記録されているプログラム、または記憶部３０８からRAM（Random Access Memory）３０３にロードされたプログラムに従って各種の処理を実行する。RAM３０３にはまた、CPU３０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU３０１、ROM３０２、およびRAM３０３は、バス３０４を介して相互に接続されている。このバス３０４にはまた、入出力インタフェース３０５も接続されている。

入出力インタフェース３０５には、キーボード、マウスなどよりなる入力部３０６、ディスプレイなどよりなる出力部３０７、ハードディスクなどより構成される記憶部３０８、および、モデム、ターミナルアダプタなどより構成される通信部３０９が接続されている。通信部３０９は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。

入出力インタフェース３０５にはまた、必要に応じてドライブ３１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどよりなるリムーバブル記録媒体３１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３０８にインストールされる。

一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

このようなプログラムを含む記録媒体は、図２９に示されるように、装置本体とは別に、視聴者にプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブル記録媒体（パッケージメディア）３１１により構成されるだけでなく、装置本体に予め組み込まれた状態で視聴者に提供され
る、プログラムが記録されているROM３０２や、記憶部３０８に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の装置や処理部により構成される装置全体を表すものである。

本発明を適用した信号処理装置の一実施の形態の構成を示すブロック図である。 本発明を適用した信号処理を説明するフローチャートである。 図１の信号処理を説明するための図である。 図１の非線形フィルタ部の構成を示すブロック図である。 図４の水平方向平滑化処理部の構成を示すブロック図である。 図４の垂直方向平滑化処理部の構成を示すブロック図である。 図５の非線形平滑化処理部の構成を示すブロック図である。 図５の閾値設定部の構成を表すブロック図である。 図１の信号処理装置による非線形フィルタ処理を説明するフローチャートである。 図４の非線形フィルタ部による水平方向平滑化処理を説明するフローチャートである。 図４の非線形フィルタ部による水平方向平滑化処理を説明する図である。 図８の閾値設定部による閾値設定処理を説明するフローチャートである。 図４の非線形フィルタ部による非線形平滑化処理を説明するフローチャートである。 図４の非線形フィルタ部による微小エッジ判定処理を説明するフローチャートである。 図４の非線形フィルタ部による微小エッジ判定処理を説明する図である。 図４の非線形フィルタ部による微小エッジ判定処理を説明する図である。 図４の非線形フィルタ部による微小エッジ判定処理を説明する図である。 図４の非線形フィルタ部による重みの設定方法のその他の方法を説明する図である。 図８の閾値設定処理により設定される閾値による平滑化の効果を説明する図である。 図８の閾値設定処理により設定される閾値による平滑化の効果を説明する図である。 図４の非線形フィルタ部による垂直方向平滑化処理を説明する図である。 図１のトランジェント改善部の構成を示すブロック図である。 図２２のトランジェント改善処理を説明する図である。 本発明を適用した輪郭強調画像処理装置の一実施の形態の構成を示すブロック図である。 本発明を適用した輪郭強調処理画像処理を説明するためのフローチャートである。 従来のトランジェント改善処理の問題点を説明する図である。 従来のトランジェント改善処理の問題点を説明する図である。 本発明が適用される信号処理装置によるトランジェント改善処理の効果を示す図である。 本発明が適用される液晶パネルに含まれるまたはその駆動を制御するコンピュータの構成例を示すブロック図である。

符号の説明

１１ 非線形フィルタ部， １２ 減算部， 1３ トランジェント， ２１，２３，２５ バッファ， ２２ 水平方向平滑化処理部， ２４ 垂直方向平滑化処理部， ３１ 水平方向成分画素処理部， ３２ 非線形平滑化処理部， ３３ 混合部， ３４ 垂直方向参照画素抽出部， ３５ Ｆｌａｔレート計算部， ３６ 閾値設定部， ４１ 水平方向平滑化処理部， ４２ 非線形平滑化処理部， ４３ 混合部， ４４ 水平方向成分画素抽出部， ４５ Ｆｌａｔレート計算部， ５１ 非線形フィルタ， ５２ 混合部， ５３ 混合比検出部， ６１ ＬＰＦ， ６２ 制御信号発生部， ７１ 差分絶対値算出部， ７２ 閾値決定部， １０１，１０２ 遅延部， １０３ ＭＡＸ部， １０４ ＭＩＮ部， １０５ 演算分， １０６ 切換部， ３０１ ＣＰＵ， ３０２ ＲＯＭ， ３０３ ＲＡＭ， ３０４ バス， ３０５ 入出力インタフェース， ３０６ 入力部， ３０７ 出力部， ３０８ 記憶部， ３０９ 通信部， ３１０ ドライブ， ３１１ リムーバブルメディア

Claims (4)

1. 第１の画像データから、前記第１の画像データのエッジを保存した第１の成分と、それ以外の第２の成分に分離する分離手段と、
   前記分離手段により分離された前記第１の成分に対して、トランジェントを改善する処理を施す改善手段と、
   前記改善手段による前記処理が施された前記第１の成分と、前記分離手段により分離された前記第２の成分とを加算し、その結果得られる第２の画像データを出力する加算手段と、
   前記改善手段による前記処理が施された前記第１の成分に対して、コントラストを補正する処理を施す補正手段と、
   前記改善手段による前記処理が施された前記第１の成分から、輪郭を抽出する処理を施すことで、第３の成分を出力する抽出手段と、
   前記抽出手段から出力された前記第３の成分に対して、増幅処理を施す第１の増幅手段と、
   前記分離手段により分離された前記第２の成分に対して、増幅処理を施す第２の増幅手段と
   を備え、
   前記改善手段による前記処理が施された後にさらに前記補正手段による前記処理が施された前記第１の成分と、前記分離手段により分離された後にさらに前記第２の増幅手段により前記増幅処理が施された前記第２の成分とに加えて、さらに、前記第１の増幅手段により前記増幅処理が施された前記第３の成分を加算し、その結果得られる画像データを前記第２の画像データとして出力する
   信号処理装置。
2. 前記分離手段は、
   前記第１の画像データに対して、前記エッジを保存する非線形なフィルタを施すことで、前記第１の成分を抽出して出力するフィルタ手段と、
   前記第１の画像データから、前記フィルタ手段から出力された前記第１の成分を減算し、その結果得られる前記第２の成分を出力する減算手段と
   を有する請求項１に記載の信号処理装置。
3. 信号処理装置が、
   第１の画像データから、前記第１の画像データのエッジを保存した第１の成分と、それ以外の第２の成分に分離し、
   前記第１の画像データから分離された前記第１の成分に対して、トランジェントを改善する処理を施し、
   前記処理が施された前記第１の成分と、前記第１の画像データから分離された前記第２の成分とを加算し、その結果得られる第２の画像データを出力し、
   前記トランジェントを改善する処理が施された前記第１の成分に対して、コントラストを補正する処理を施し、
   前記トランジェントを改善する処理が施された前記第１の成分から、輪郭を抽出する処理を施すことで、第３の成分を出力し、
   出力された前記第３の成分に対して、増幅処理を施し、
   分離された前記第２の成分に対して、増幅処理を施す
   ステップを含み、
   前記トランジェントを改善する処理が施された後にさらに前記コントラストを補正する処理が施された前記第１の成分と、分離された後にさらに前記増幅処理が施された前記第２の成分とに加えて、さらに、前記増幅処理が施された前記第３の成分を加算し、その結果得られる画像データを前記第２の画像データとして出力する
   信号処理方法。
4. コンピュータに、
   第１の画像データから、前記第１の画像データのエッジを保存した第１の成分と、それ以外の第２の成分に分離し、
   前記第１の画像データから分離された前記第１の成分に対して、トランジェントを改善する処理を施し、
   前記処理が施された前記第１の成分と、前記第１の画像データから分離された前記第２の成分とを加算し、その結果得られる第２の画像データを出力し、
   前記トランジェントを改善する処理が施された前記第１の成分に対して、コントラストを補正する処理を施し、
   前記トランジェントを改善する処理が施された前記第１の成分から、輪郭を抽出する処理を施すことで、第３の成分を出力し、
   出力された前記第３の成分に対して、増幅処理を施し、
   分離された前記第２の成分に対して、増幅処理を施す
   処理を実行させるためのプログラムであって、
   前記トランジェントを改善する処理が施された後にさらに前記コントラストを補正する処理が施された前記第１の成分と、分離された後にさらに前記増幅処理が施された前記第２の成分とに加えて、さらに、前記増幅処理が施された前記第３の成分を加算し、その結果得られる画像データを前記第２の画像データとして出力する
   プログラム。

Images