JP4315055B2 - 信号処理装置および方法、記録媒体、並びにプログラム - Google Patents

Description

本発明は、信号処理装置および方法、記録媒体、並びにプログラムに関し、特に、画像を構成する画素の急峻なエッジを保持したままで、当該エッジ以外の部分を平滑化する際、画素の連続性や相関性を損なうことなく、当該エッジ以外の部分を平滑化できるようにした信号処理装置および方法、記録媒体、並びにプログラムに関する。

従来、ビデオカメラにおいては、CCD(Charge Coupled Device)，CMOS（Complementary Metal-Oxide Semiconductor）などの撮像素子により撮像された画像のコントラスト（明暗の差）および鮮鋭度（境界の明確さ）を向上させる方法として、階調変換によるコントラスト強調方法や画像中の高域成分のコントラストを強調する高域成分強調方法が考えられている。

コントラスト強調方法としては、画像の各画素に対して、その画素レベルを所定の入出力関係を持つ関数（以下、これをレベル変換関数と称する）で変換するトーンカーブ調整や、画素レベルの頻度分布に応じてレベル変換関数を適応的に変化させるヒストグラムイコライゼーションと呼ばれる方法が提案されている。

高域成分強調方法としては、画像からエッジを抽出し、抽出したエッジを強調するいわゆる輪郭強調を行うアンシャープマスクと呼ばれる方法が提案されている。

しかしながら、コントラスト強調方法においては、画像の全ダイナミックレンジ（最大レベルと最小レベルの差）のうち一部の輝度域しかコントラストを向上させることができない問題があることに加えて、トーンカーブ調整の場合には画像の最明部と最暗部において、またヒストグラムイコライゼーションの場合には頻度分布の少ない輝度域付近において、逆にコントラストが低下するという問題があった。さらに高域成分強調方法においては、画像の高域成分のコントラストのみが強調され、これにより画像のエッジ付近が不自然に強調され、画質が劣化してしまうという問題点があった。

そこで、従来、図１に示すように構成される画像信号処理装置により、入力画像データのうち画素値の変化が急峻なエッジを保存した状態で、そのエッジ以外の部分を増幅することにより、エッジ以外の部分を強調する方法が存在する（例えば、特許文献１）。

図１に示された画像信号処理装置において、入力された画像信号（画素値）は、εフィルタ１、および減算部２に入力される。εフィルタ１は、所定の閾値ε₁よりも大きいエッジ、例えば、図２Ａに示されるような急峻なエッジを挟んで僅かに変動する画像信号が入力された場合、図２Ｂに示されるようなエッジのみが抽出された画像信号に変換して、減算部２および加算部４に出力する。

εフィルタ１の具体的な処理について、図３および図４を参照して説明する。εフィルタ１は、入力画像の各画素を順次、注目画素Ｃに決定し、図３に示すように、注目画素Ｃを中心として水平方向に連続する複数の近傍画素（いまの場合、４画素Ｌ２，Ｌ１，Ｒ１，Ｒ２）からなるタップを設定し、次式（１）のように、注目画素Ｃおよび複数の近傍画素の画素値を、タップ係数（例えば、｛１，２，３，２，１｝）を用いて加重平均して、注目画素Ｃに対応する変換結果Ｃ’として出力する。
Ｃ’＝（１×Ｌ２＋２×Ｌ１＋３×Ｃ＋２×Ｒ１＋１×Ｒ２）／９
・・・（１）

ただし、図４に示すように、注目画素Ｃの画素値との差分が、所定の閾値ε₁よりも大きい近傍画素（図４の場合、近傍画素Ｒ２）については、画素値を注目画素Ｃのものと置換して計算するようにする。すなわち、図４の場合、次式（２）が計算される。
Ｃ’＝（１×Ｌ２＋２×Ｌ１＋３×Ｃ＋２×Ｒ１＋１×Ｃ）／９
・・・（２）

尚、εフィルタ１により平滑化された画像信号は、特に、画像信号の構造成分とも称される。

図１に戻る。減算部２は、前段から入力される画像信号（εフィルタ１に対する入力と同一のもの）から、εフィルタ１から入力される画像信号を減算することにより、画像信号の構造成分以外の僅かに変動している画像信号を抽出して増幅部３に出力する。増幅部３は、減算部２の出力を増幅して加算部４に出力する。尚、構造成分以外の僅かに変動している画像信号の成分は、特に、画像信号の振幅成分とも称される。加算部４は、増幅部３から出力される構造成分以外の部分が増幅されている画像信号と、εフィルタ１から入力される画像信号の構造成分を加算する。この加算結果が、急峻なエッジが保持された状態で、そのエッジ以外の部分が増幅されている画像信号となっている。

ところで、図１に示された画像信号処理装置のεフィルタ１では、例えば、図５に示されるように、画素値の変化に急峻なエッジが存在しても、そのサイズが所定の閾値ε₁よりも小さい場合、εフィルタ１から出力される変換後の画像信号は、図６に示すように平滑化されてしまい、急峻なエッジがなくなってしまうので、特に微小なエッジで構成された単純なパターン画像等で著しく画質の劣化が生じてしまうという課題があった。

そこで、連続的に配置されている信号を、順次、注目信号に指定し、指定された注目信号を基準として、連続的に水平方向、または、垂直方向に配置されている信号のなかから複数の近傍信号を決定し、注目信号と各近傍信号との差分を演算し、差分が第１の閾値より小さい近傍信号と、注目信号とを加重平均して平滑化信号を演算し、注目信号と各近傍信号との差分を演算し、差分と第１の閾値よりも小さな第２の閾値と比較して、第２の閾値よりも大きな値があるか否かにより、注目信号の近傍に微小エッジが存在するか否かを判定し、判定結果に基づいて、平滑化信号または注目信号の一方を選択することが提案されている。

特開２００１−２９８６２１号公報

しかしながら、以上の手法では、水平方向または垂直方向の方向成分に対して独立に処理がなされることになるため、適切な構造成分の抽出が困難となる場合がある。例えば、図７で示されるような画像のように、横方向の太線（右上がりの斜線の領域）上に縦方向の太線（左上がりの斜線の領域）が入った画像などである。すなわち、図７のような画像の信号に水平方向に独立で上述したような、非線形平滑化処理を行った場合（注目画素を注目画素に対して水平方向に隣接する画素からなる信号を用いて非線形平滑化処理した場合）、例えば、破線Line1においては、注目画素が図８中のバツ印で示されているとすると、画素値の変化は、図８で示されるようなものとなる。すなわち、図８の左部においては、縦方向の太線の部分では近傍画素との画素値の差が閾値ε₁内に収まらないので、図８右上部で示される構造成分として扱われる結果、平滑化処理が施されないことになる。従って、縦方向の太線上の画素の画素値は変化しないことになる。尚、図８右下部は、入力信号の振幅成分を示しており、振幅成分と構造成分の和が入力された画像信号である。

これに対して、破線Line2においては、縦方向の太線の部分は、図９の左部で示されるように、近傍の画素（横方向の太線上の画素）との画素値の差が閾値ε₁内に収まることになるので、図９右下部で示される振幅成分として扱われることにより、平滑化処理が施されることになる。従って、縦方向の太線上の画素の画素値は変化する。このため、本来は、画素値が一定であるはずの縦方向の太線上の画素の画素値が横方向の画素の画素値により、余分な画素値の変動が生じてしまう結果、図１０で示される格子状の領域は、縦方向の同一の画素値からなる太線として示されているべきはずであるにもかかわらず、若干黒めに強調されてしまうという課題があった。尚、図９右上部は、入力された画像信号の構造成分を示している。

本発明はこのような状況に鑑みてなされたものであり、特に、画像を構成する画素の急峻なエッジを保持したままで、当該エッジ以外の部分を平滑化する際、画素の連続性や相関性を損なうことなく、当該エッジ以外の部分を平滑化できるようにするものである。

本発明の信号処理装置は、連続的に配置されている画像信号を、順次、注目信号に指定する指定手段と、指定手段によって指定された注目信号を基準として、第１の方向に連続的に配置されている信号のなかから複数の近傍信号を処理信号として抽出する処理信号抽出手段と、注目信号と各処理信号との差分である処理差分と、第１の閾値との比較結果に基づいて、注目信号と複数の処理信号を加重平均して平滑化信号を演算する演算手段と、処理差分と第１の閾値よりも小さな第２の閾値との比較結果に基づいて、平滑化信号と注目信号との第１の混合比を計算する第１の混合比計算手段と、第１の混合比計算手段により計算された第１の混合比に基づいて、平滑化信号、および、注目信号を混合し、第１の混合信号を生成する第１の混合手段と、指定手段によって指定された注目信号を基準として、第１の方向と異なる第２の方向に連続的に配置されている画像信号のなかから複数の近傍信号を参照信号として抽出する参照信号抽出手段と、注目信号と各参照信号との差分である参照差分に基づいて、混合信号と注目信号との第２の混合比を計算する第２の混合比計算手段と、第２の混合比計算手段により計算された第２の混合比に基づいて、第１の混合信号、および、注目信号を混合し、第２の混合信号を生成する第２の混合手段とを含むことを特徴とする。

前記信号は、画像を構成する画素の画素値とするようにすることができる。

本発明の信号処理方法は、連続的に配置されている画像信号を、順次、注目信号に指定する指定ステップと、指定ステップの処理で指定された注目信号を基準として、第１の方向に連続的に配置されている信号のなかから複数の近傍信号を処理信号として抽出する処理信号抽出ステップと、注目信号と各処理信号との差分である処理差分と、第１の閾値との比較結果に基づいて、注目信号と複数の処理信号を加重平均して平滑化信号を演算する演算ステップと、処理差分と第１の閾値よりも小さな第２の閾値との比較結果に基づいて、平滑化信号と注目信号との第１の混合比を計算する第１の混合比計算ステップと、第１の混合比計算ステップの処理で計算された第１の混合比に基づいて、平滑化信号、および、注目信号を混合し、第１の混合信号を生成する第１の混合ステップと、指定ステップの処理で指定された注目信号を基準として、第１の方向と異なる第２の方向に連続的に配置されている画像信号のなかから複数の近傍信号を参照信号として抽出する参照信号抽出ステップと、注目信号と各参照信号との差分である参照差分に基づいて、混合信号と注目信号との第２の混合比を計算する第２の混合比計算ステップと、第２の混合比計算ステップの処理で計算された第２の混合比に基づいて、第１の混合信号、および、注目信号を混合し、第２の混合信号を生成する第２の混合ステップとを含むことを特徴とする。

本発明の記録媒体のプログラムは、連続的に配置されている画像信号を、順次、注目信号に指定する処理を制御する指定制御ステップと、指定制御ステップの処理で指定された注目信号を基準とした、第１の方向に連続的に配置されている信号のなかから複数の近傍信号の処理信号としての抽出を制御する処理信号抽出制御ステップと、注目信号と各処理信号との差分である処理差分と、第１の閾値との比較結果に基づいた、注目信号と複数の処理信号を加重平均した平滑化信号の演算を制御する演算制御ステップと、処理差分と第１の閾値よりも小さな第２の閾値との比較結果に基づいた、平滑化信号と注目信号との第１の混合比の計算を制御する第１の混合比計算制御ステップと、第１の混合比計算制御ステップの処理で計算された第１の混合比に基づいた、平滑化信号、および、注目信号の混合による、第１の混合信号の生成を制御する第１の混合制御ステップと、指定制御ステップの処理で指定された注目信号を基準とした、第１の方向と異なる第２の方向に連続的に配置されている画像信号のなかから複数の近傍信号の参照信号としての抽出を制御する参照信号抽出制御ステップと、注目信号と各参照信号との差分である参照差分に基づいた、混合信号と注目信号との第２の混合比の計算を制御する第２の混合比計算制御ステップと、第２の混合比計算制御ステップの処理で計算された第２の混合比に基づいた、第１の混合信号、および、注目信号の混合による、第２の混合信号の生成を制御する第２の混合制御ステップとを含むことを特徴とする。

本発明のプログラムは、連続的に配置されている画像信号を、順次、注目信号に指定する処理を制御する指定制御ステップと、指定制御ステップの処理で指定された注目信号を基準とした、第１の方向に連続的に配置されている信号のなかから複数の近傍信号の処理信号としての抽出を制御する処理信号抽出制御ステップと、注目信号と各処理信号との差分である処理差分と、第１の閾値との比較結果に基づいた、注目信号と複数の処理信号を加重平均した平滑化信号の演算を制御する演算制御ステップと、処理差分と第１の閾値よりも小さな第２の閾値との比較結果に基づいた、平滑化信号と注目信号との第１の混合比の計算を制御する第１の混合比計算制御ステップと、第１の混合比計算制御ステップの処理で計算された第１の混合比に基づいた、平滑化信号、および、注目信号の混合による、第１の混合信号の生成を制御する第１の混合制御ステップと、指定制御ステップの処理で指定された注目信号を基準とした、第１の方向と異なる第２の方向に連続的に配置されている画像信号のなかから複数の近傍信号の参照信号としての抽出を制御する参照信号抽出制御ステップと、注目信号と各参照信号との差分である参照差分に基づいた、混合信号と注目信号との第２の混合比の計算を制御する第２の混合比計算制御ステップと、第２の混合比計算制御ステップの処理で計算された第２の混合比に基づいた、第１の混合信号、および、注目信号の混合による、第２の混合信号の生成を制御する第２の混合制御ステップとを含む処理をコンピュータに実行させることを特徴とする。

本発明の信号処理装置および方法、並びにプログラムにおいては、連続的に配置されている画像信号が、順次、注目信号に指定され、指定された注目信号を基準として、第１の方向に連続的に配置されている信号のなかから複数の近傍信号が処理信号として抽出され、注目信号と各処理信号との差分である処理差分と、第１の閾値との比較結果に基づいて、注目信号と複数の処理信号が加重平均されて平滑化信号が演算され、処理差分と第１の閾値よりも小さな第２の閾値との比較結果に基づいて、平滑化信号と注目信号との第１の混合比が計算され、計算された第１の混合比に基づいて、平滑化信号、および、注目信号が混合され、第１の混合信号が生成され、指定された注目信号を基準として、第１の方向と異なる第２の方向に連続的に配置されている画像信号のなかから複数の近傍信号が参照信号として抽出され、注目信号と各参照信号との差分である参照差分に基づいて、混合信号と注目信号との第２の混合比が計算され、計算された第２の混合比に基づいて、第１の混合信号、および、注目信号が混合され、第２の混合信号が生成される。

本発明の信号処理装置は、独立した装置であっても良いし、信号処理を行うブロックであっても良い。

本発明によれば、画像を構成する画素の急峻なエッジを保持したままで、エッジ以外の部分を平滑化する際、画素の連続性や相関性を損なうことなく、エッジ以外の部分を平滑化することが可能となる。

以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が本明細書に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。

さらに、この記載は、本明細書に記載されている発明の全てを意味するものではない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。

即ち、本発明の信号処理装置は、連続的に配置されている画像信号を、順次、注目信号に指定する指定手段（例えば、図１２の水平方向平滑化処理部２２）と、指定手段によって指定された注目信号を基準として、第１の方向に連続的に配置されている信号のなかから複数の近傍信号を処理信号として抽出する処理信号抽出手段（例えば、図１２の水平処理方向成分画素抽出部３１）と、注目信号と各処理信号との差分である処理差分と、第１の閾値との比較結果に基づいて、注目信号と複数の処理信号を加重平均して平滑化信号を演算する演算手段（例えば、図１４の非線形フィルタ５１）と、処理差分と第１の閾値よりも小さな第２の閾値との比較結果に基づいて、平滑化信号と注目信号との第１の混合比を計算する第１の混合比計算手段（例えば、図１４の混合比検出部５３）と、第１の混合比計算手段により計算された第１の混合比に基づいて、平滑化信号、および、注目信号を混合し、第１の混合信号を生成する第１の混合手段（例えば、図１４の混合部５２）と、指定手段によって指定された注目信号を基準として、第１の方向と異なる第２の方向に連続的に配置されている画像信号のなかから複数の近傍信号を参照信号として抽出する参照信号抽出手段（例えば、図１２の垂直参照方向成分画素抽出部３４）と、注目信号と各参照信号との差分である参照差分に基づいて、混合信号と注目信号との第２の混合比を計算する第２の混合比計算手段（例えば、図１２のFlatレート計算部３５）と、第２の混合比計算手段により計算された第２の混合比に基づいて、第１の混合信号、および、注目信号を混合し、第２の混合信号を生成する第２の混合手段（例えば、図１２の混合部３３）とを含むことを特徴とする。

本発明の信号処理方法は、連続的に配置されている画像信号を、順次、注目信号に指定する指定ステップ（例えば、図１６のフローチャートのステップＳ１１の処理）と、指定ステップの処理で指定された注目信号を基準として、第１の方向に連続的に配置されている信号のなかから複数の近傍信号を処理信号として抽出する処理信号抽出ステップ（例えば、図１６のフローチャートのステップＳ１２の処理）と、注目信号と各処理信号との差分である処理差分と、第１の閾値との比較結果に基づいて、注目信号と複数の処理信号を加重平均して平滑化信号を演算する演算ステップ（例えば、図１８のフローチャートのステップＳ３２の処理）と、処理差分と第１の閾値よりも小さな第２の閾値との比較結果に基づいて、平滑化信号と注目信号との第１の混合比を計算する第１の混合比計算ステップ（例えば、図１８のフローチャートのステップＳ３３の処理）と、第１の混合比計算ステップの処理で計算された第１の混合比に基づいて、平滑化信号、および、注目信号を混合し、第１の混合信号を生成する第１の混合ステップ（例えば、図１８のフローチャートのステップＳ３６の処理）と、指定ステップの処理で指定された注目信号を基準として、第１の方向と異なる第２の方向に連続的に配置されている画像信号のなかから複数の近傍信号を参照信号として抽出する参照信号抽出ステップ（例えば、図１６のフローチャートのステップＳ１３の処理）と、注目信号と各参照信号との差分である参照差分に基づいて、混合信号と注目信号との第２の混合比を計算する第２の混合比計算ステップ（例えば、図１６のフローチャートのステップＳ１６の処理）と、第２の混合比計算ステップの処理で計算された第２の混合比に基づいて、第１の混合信号、および、注目信号を混合し、第２の混合信号を生成する第２の混合ステップ（例えば、図１６のフローチャートのステップＳ１７の処理）とを含むことを特徴とする。

図１１は、本発明を適用した画像のエッジ部分を残しつつ、それ以外の領域のコントラストや鮮鋭度を強調し、さらに、処理方向に応じて生じる不自然な強調処理を抑制するようにした強調処理装置の一実施の形態の構成を示す図である。

バッファ２１は、入力されてくる画像信号を一時的に記憶し、後段の水平方向平滑化処理部２２に供給する。水平方向平滑化処理部２２は、注目画素に対して水平方向に配置される近傍の画素と注目画素を使用して、注目画素に対して水平方向に非線形平滑化処理を施し、バッファ２３に供給する。バッファ２３は、水平方向平滑化処理部２２より供給されてくる画像信号を一時的に記憶し、順次、垂直方向平滑化処理部２４に供給する。垂直方向平滑化処理部２４は、注目画素に対して垂直方向に配置される近傍の画素と注目画素を使用して、注目画素に対して非線形平滑化処理を施し、バッファ２５に供給する。バッファ２５は、垂直方向平滑化処理部２４より供給される、垂直方向に非線形平滑化された画素からなる画像信号を一時的に記憶し、後段の図示せぬ装置に出力する。

次に、図１２を参照して、水平方向平滑化処理部２２の詳細な構成について説明する。

水平処理方向成分画素抽出部３１は、バッファ２１に記憶されている画像信号の各画素より注目画素を順次設定すると共に、注目画素に対応する、非線形平滑化処理に必要な画素を抽出し、非線形平滑化処理部３２に出力する。より具体的には、水平処理方向成分画素抽出部３１は、注目画素に対して、水平方向に左右に隣接するそれぞれ２画素を水平処理方向成分画素として抽出し、抽出した４画素と注目画素のそれぞれの画素値を非線形平滑化処理部３２に供給する。尚、抽出する水平処理方向成分画素の画素数は、注目画素に対して左右に隣接する２画素ずつに限るものではなく、水平方向に隣接している画素であればよく、例えば、注目画素の左右に隣接する３画素ずつであってもよいし、さらには、注目画素に対して左方向に隣接する１画素と、右方向に隣接する３画素とするようにしても良い。

非線形平滑化処理部３２は、水平処理方向成分画素抽出部３１より供給された注目画素とその左右のそれぞれに隣接する２画素である水平処理方向成分画素とを用いて、注目画素を非線形平滑化処理し、混合部３３に供給する。尚、非線形平滑化処理部３２の構成については、図１４を参照して後述する。また、ここで、水平方向に非線形平滑化処理するとは、注目画素に対して水平方向に隣接する複数の画素により、注目画素を非線形平滑化する処理である。同様にして、後述する垂直方向に非線形平滑化処理するとは、注目画素に対して垂直方向に隣接する複数の画素により、注目画素を非線形平滑化する処理である。

垂直参照方向成分画素抽出部３４は、バッファ２１に記憶されている画像信号の各画素より注目画素を順次設定すると共に、注目画素に対応する、非線形平滑化処理に必要な画素が配置されている方向と異なる垂直方向に隣接する画素を抽出し、Flatレート計算部３５に出力する。より具体的には、垂直参照方向成分画素抽出部３４は、注目画素に対して、垂直方向の上下に隣接する２画素を垂直参照方向成分画素として抽出し、抽出した４画素と注目画素のそれぞれの画素値をFlatレート計算部３５に供給する。尚、抽出する垂直参照方向成分画素の画素数は、注目画素に対して上下に隣接する２画素ずつに限るものではなく、垂直方向に隣接している画素であればよく、例えば、注目画素の上下に隣接する３画素ずつであってもよいし、さらには、注目画素に対して上方向に隣接する１画素と、下方向に隣接する３画素とするようにしても良い。

Flatレート計算部３５は、垂直参照方向成分画素抽出部３４より供給されてくる注目画素と、垂直参照方向成分画素とのそれぞれの画素値の差分絶対値を求めて、その差分絶対値の最大値をFlatレートとして混合部３３に供給する。ここで、垂直方向のFlatレートは、注目画素と垂直参照方向成分画素との画素値の差分絶対値の変化を示したものであり、Flatレートが大きいとき、注目画素近傍の画素の画素値の変化が大きく、垂直方向に画素間の相関が小さい、平坦ではない画像（画素値の変化が大きいFlatではない画像）であることを示し、逆に、Flatレートが小さいとき、注目画素近傍の画素の画素値の変化が小さく、垂直方向に画素間の相関が大きい、平坦な画像（画素値の変化が小さいFlatな画像）であることを示している。

混合部３３は、Flatレート計算部３５より供給される垂直方向のFlatレートに基づいて、非線形平滑化処理された注目画素と、未処理の注目画素の画素値を混合し、水平方向平滑化処理された画素として後段のバッファ２３に出力する。

次に、図１３を参照して、垂直方向平滑化処理部２４の詳細な構成について説明する。

垂直方向平滑化処理部２４は、基本的に上述した水平方向平滑化処理部２２の構成における水平方向の処理と垂直方向の処理を入れ替えたものである。すなわち、垂直処理方向成分画素抽出部４１は、バッファ２３に記憶されている画像信号の各画素より注目画素を順次設定すると共に、注目画素に対応する、非線形平滑化処理に必要な画素を抽出し、非線形平滑化処理部４２に出力する。より具体的には、垂直処理方向成分画素抽出部４１は、注目画素に対して、垂直方向に上下に隣接するそれぞれ２画素からなる垂直処理方向成分画素を抽出し、抽出した４画素と注目画素のそれぞれの画素値を非線形平滑化処理部４２に供給する。尚、抽出する垂直処理方向成分画素の画素数は、注目画素に対して上下に隣接する２画素ずつに限るものではなく、垂直方向に隣接している画素であればよく、例えば、注目画素の上下に隣接する３画素ずつであってもよいし、さらには、注目画素に対して上方向に隣接する１画素と、下方向に隣接する３画素とするようにしても良い。

非線形平滑化処理部４２は、垂直処理方向成分画素抽出部４１より供給された注目画素とその上下のそれぞれに隣接する２画素である垂直処理方向成分画素とを用いて、注目画素を垂直方向に非線形平滑化処理し、混合部４３に供給する。非線形平滑化処理部４２の構成は、非線形平滑化処理部３２と同様の構成であり、その詳細については、図１４を参照して後述する。

水平参照方向成分画素抽出部４４は、バッファ２３に記憶されている画像信号の各画素より注目画素を順次設定すると共に、注目画素に対応する、非線形平滑化処理に必要な画素が配置されている方向と異なる水平方向に隣接する画素を抽出し、Flatレート計算部４５に出力する。より具体的には、水平参照方向成分画素抽出部４４は、注目画素に対して、水平方向の左右に隣接する２画素ずつを抽出し、抽出した４画素と注目画素のそれぞれの画素値をFlatレート計算部４５に供給する。尚、抽出する画素数は、注目画素に対して水平に隣接する２画素ずつに限るものではなく、水平方向に隣接している画素であればよく、例えば、注目画素の水平に隣接する３画素ずつであってもよいし、さらには、注目画素に対して左方向に隣接する１画素と、右方向に隣接する３画素とするようにしても良い。

Flatレート計算部４５は、水平参照方向成分画素抽出部４４より供給されてくる注目画素と、注目画素に対して左右のそれぞれに隣接する２画素のそれぞれの画素値の差分絶対値を求めて、その差分絶対値の最大値をFlatレートとして混合部４３に供給する。

混合部４３は、Flatレート計算部４５より供給される水平方向のFlatレートに基づいて、非線形平滑化処理された注目画素と、未処理の注目画素の画素値を混合し、水平方向平滑化処理された画素として後段のバッファ２５に出力する。

次に、図１４を参照して、非線形平滑化処理部３２の詳細な構成について説明する。

この非線形平滑化処理部３２の非線形フィルタ５１は、入力される画像信号Ｓ_Iを構成する画素の変動のうち、そのサイズが閾値ε₁よりも大きい急峻なエッジを保持すると共に、エッジ以外の部分を平滑化し、平滑化した画像信号S_LPF-Hを混合部５２に出力する。

混合比検出部５３は、入力される画像信号Ｓ_Iを構成する画素の変動の中の微小な変化に基づいて、混合比を計算し、混合部５２に供給する

混合部５２は、平滑化処理された画像信号S_LPF-Hと平滑化されていない入力された画像信号S_Iを、混合比検出部５３より供給される混合比に基づいて、混合し、非線形平滑化された画像信号S_F-Hとして出力する。

非線形フィルタ５１のLPF（Low Pass Filter）６１は、制御信号発生部６２より供給される制御信号に基づいて、注目画素と、その水平方向の左右に隣接する２画素である水平処理方向成分画素との画素値を用いて、注目画素を平滑化して、平滑化された画像信号S_LPF-Hを混合部５２に出力する。制御信号発生部６２は、注目画素と、水平処理方向成分画素との画素値の差分絶対値を算出し、その算出結果に基づいてLPF６１を制御する制御信号を発生し、LPF６１に供給する。尚、非線形フィルタ５１としては、例えば、上述した従来のεフィルタ１を用いるようにしてもよい。

次に、図１５のフローチャートを参照して、図１１の強調処理装置１１による画像強調処理について説明する。

ステップＳ１において、水平方向平滑化処理部２２は、バッファ２１に、順次記憶されていく画像信号を用いて、水平方向平滑化処理を実行する。

ここで、図１６のフローチャートを参照して、水平方向平滑化処理部２２による水平方向平滑化処理について説明する。

ステップＳ１１において、水平方向平滑化処理部２２の水平処理方向成分画素抽出部３１は、ラスタスキャン順に注目画素を設定する。同時に、垂直参照方向成分画素抽出部３４も、同様にラスタスキャン順に注目画素を設定する。尚、注目画素の設定順序は、ラスタスキャン順以外の順序であってもよいが、水平処理方向成分画素抽出部３１により設定される注目画素と、垂直参照方向成分画素抽出部３４により設定される注目画素とが同一となるように設定される必要がある。

ステップＳ１２において、水平処理方向成分画素抽出部３１は、注目画素と共に、注目画素に対して水平方向（左右方向）に２画素ずつ隣接する近傍画素である水平処理方向成分画素からなる合計５画素の画素値をバッファ２１より抽出して非線形平滑化処理部３２に出力する。例えば、図１７で示されるような場合、画素Ｌ２，Ｌ１，Ｃ，Ｒ１，Ｒ２が、注目画素および水平処理方向成分画素として抽出される。尚、図１７においては、画素Ｃは、注目画素であり、画素Ｌ２，Ｌ１が、注目画素Ｃの左側に隣接する２画素の水平処理方向成分画素であり、画素Ｒ１，Ｒ２が注目画素Ｃの右側に隣接する２画素の水平処理方向成分画素である。

ステップＳ１３において、垂直参照方向成分画素抽出部３４は、注目画素と共に、注目画素に対して垂直方向（上下方向）に２画素ずつ隣接する近傍画素である垂直参照方向成分画素からなる合計５画素の画素値をバッファ２１より抽出してFlatレート計算部３５に出力する。例えば、図１７で示されるような場合、画素U２，U１，Ｃ，D１，D２が、注目画素および垂直参照方向成分画素として抽出される。尚、図１７においては、画素Ｃは、注目画素であり、画素U２，U１が、注目画素Ｃの上側に隣接する２画素の垂直参照方向成分画素であり、画素D１，D２が注目画素Ｃの下側に隣接する２画素の垂直参照方向成分画素である。

ステップＳ１４において、非線形平滑化処理部３２は、水平処理方向成分画素抽出部３１より供給された注目画素と水平処理方向成分画素に基づいて、注目画素に非線形平滑化処理を施す。

ここで、図１８のフローチャートを参照して、非線形平滑化処理部３２による非線形平滑化処理について説明する。

ステップＳ３１において、非線形フィルタ５１の制御信号発生部６２は、注目画素と、水平処理方向成分画素との画素値の差分絶対値を計算する。すなわち、図１７の場合、制御信号発生部６２は、注目画素Ｃと、水平方向に隣接する各近傍画素である水平処理方向成分画素Ｌ２，Ｌ１，Ｒ１，Ｒ２との画素値の差分絶対値｜Ｃ−Ｌ２｜，｜Ｃ−Ｌ１｜，｜Ｃ−Ｒ１｜，｜Ｃ−Ｒ２｜を計算する。

ステップＳ３２において、ローパスフィルタ６１は、制御信号発生部６２により計算された各差分絶対値と所定の閾値ε₂と比較して、この比較結果に対応して、入力される画像信号Ｓ_Iに非線形フィルタリング処理を施す。より具体的には、ローパスフィルタ６１は、例えば、式（１）のように、注目画素Ｃおよび水平処理方向成分画素の画素値を、タップ係数を用いて加重平均して、注目画素Ｃに対応する変換結果Ｃ’を平滑化された画像信号S_LPF-Hとして混合部５２に出力する。ただし、注目画素Ｃの画素値との差分絶対値が、所定の閾値ε₂よりも大きい水平処理方向成分画素については、画素値を注目画素Ｃの画素値と置換して加重平均するようにする（例えば、式（２）で示されるように演算する）。

ステップＳ３３において、混合比検出部５３は、微小エッジ判定処理を実行し、微小なエッジが存在するか否かを判定する。

ここで、図１９のフローチャートを参照して、微小エッジ判定処理について説明する。

ステップＳ４１において、混合比検出部５３は、注目画素と、各水平処理方向成分画素との画素値の差分絶対値を算出し、各差分絶対値が全て、閾値ε₃（≪ε₂）よりも小さいか否かを判定し、その判定結果に基づいて、微小なエッジが存在するか否かを判定する。

すなわち、例えば、図１７で示したように、混合比検出部５３は、注目画素Ｃと、水平方向に隣接する各水平処理方向成分画素Ｌ２，Ｌ１，Ｒ１，Ｒ２との画素値の差分絶対値を算出し、各差分絶対値が全て、閾値ε₃よりも小さいか否かを判定し、各差分絶対値が全て閾値ε₃よりも小さいと判定した場合、近傍画素と注目画素との画素値に変化がないものとみなし、ステップＳ４４に進み、注目画素の近傍には、微小なエッジが存在しないものと判定する。

一方、ステップＳ４１において、算出された差分絶対値のうち、１つでも閾値ε₃以上のものがあると判定された場合、ステップＳ４２に進み、混合比検出部５３は、注目画素の左右の一方側の水平処理方向成分画素と注目画素との差分絶対値が全て閾値ε₃よりも小さく、かつ、注目画素の左右の他方側の水平処理方向成分画素と注目画素との差分絶対値が全て閾値ε₃以上であって、かつ、注目画素の左右の他方側の水平処理方向成分画素と注目画素との各差分の正負が一致しているか否かを判定する。

すなわち、注目画素Ｃの左右の一方側の水平処理方向成分画素が、例えば、図１７の画素Ｌ２，Ｌ１であり、注目画素Ｃの左右の他方側の水平処理方向成分画素が、図１７の画素Ｒ２，Ｒ１である場合、混合比検出部５３は、注目画素Ｃの左右の一方側の水平処理方向成分画素と注目画素Ｃとの差分絶対値が全て閾値ε₃よりも小さく、かつ、注目画素Ｃの左右の他方側の水平処理方向成分画素Ｒ１，Ｒ２と注目画素Ｃとの差分絶対値が全て閾値ε₃以上であって、かつ、注目画素Ｃの左右の他方側の水平処理方向成分画素Ｒ１，Ｒ２と注目画素Ｃとの各差の正負が一致しているか否かを判定する。

例えば、上記の条件が満たされていると判定された場合、ステップＳ４３において、混合比検出部５３は、注目画素の近傍に、微小なエッジが存在すると判定する。

一方、ステップＳ４２において、上記条件を満たしていないと判定された場合、ステップＳ４４において、混合比検出部５３は、注目画素の近傍には、微小なエッジが存在しないと判定する。

例えば、注目画素Ｃと水平処理方向成分画素Ｌ２，Ｌ１，Ｒ１，Ｒ２の関係が図２０に示すような場合、注目画素Ｃと左側の水平処理方向成分画素Ｌ２，Ｌ１の差分絶対値｜Ｌ２−Ｃ｜，｜Ｌ１−Ｃ｜が閾値ε₃よりも小さく、かつ、注目画素Ｃと右側の水平処理方向成分画素Ｒ１，Ｒ２の差分絶対値｜Ｒ１−Ｃ｜，｜Ｒ２−Ｃ｜が閾値ε₃以上であり、かつ、注目画素Ｃと右側の水平処理方向成分画素Ｒ１，Ｒ２の差（Ｒ１−Ｃ），（Ｒ２−Ｃ）の符号が一致する（いまの場合、ともに正）ので、注目画素Ｃの近傍に微小なエッジが存在すると判定される。

また、例えば、注目画素Ｃと水平処理方向成分画素Ｌ２，Ｌ１，Ｒ１，Ｒ２の関係が図２１に示すような場合、注目画素Ｃと左側の水平処理方向成分画素Ｌ２，Ｌ１の差分絶対値｜Ｌ２−Ｃ｜，｜Ｌ１−Ｃ｜が閾値ε₃よりも小さく、かつ、注目画素Ｃと右側の水平処理方向成分画素Ｒ１，Ｒ２の差分絶対値｜Ｒ１−Ｃ｜，｜Ｒ２−Ｃ｜が閾値ε₃以上ではあるが、かつ、注目画素Ｃと右側の水平処理方向成分画素Ｒ１，Ｒ２の差（Ｒ１−Ｃ），（Ｒ２−Ｃ）の符号が一致しない（いまの場合、それぞれ正、負）ので、注目画素Ｃの近傍に微小なエッジが存在しないと判定される。

さらに、例えば、注目画素Ｃと水平処理方向成分画素Ｌ２，Ｌ１，Ｒ１，Ｒ２の関係が図２２に示すような場合、注目画素Ｃの左右いずれの側も、注目画素Ｃと水平処理方向成分画素の差分絶対値が全て閾値ε₃よりも小さいわけではないので、注目画素Ｃの近傍に微小なエッジが存在しないと判定される。

このようにして、注目画素の近傍に微小なエッジが存在するか否かが判定された後、処理は図１８のステップＳ３４に戻る。

ステップＳ３３の処理が終了すると、ステップＳ３４において、混合比検出部５３は、ステップＳ３３における微小エッジ判定処理による判定結果が、「注目画素Ｃの近傍に微小なエッジが存在する」であるか否かを判定する。例えば、微小エッジ判定処理による判定結果が、「注目画素Ｃの近傍に微小なエッジが存在する」である場合、ステップＳ３５において、混合比検出部５３は、水平方向に非線形フィルタリング処理された画像信号S_LPF-Hと入力された画像信号S_Iの混合比であるMixレートMr_-Hを最大MixレートMr_{-H max}として混合部５２に出力する。尚、最大MixレートMr_{-H max}は、MixレートMr_-Hの最大値、すなわち、画素値のダイナミックレンジの最大値と最小値の差分絶対値である。

ステップＳ３６において、混合部５２は、混合比検出部５３より供給されるMixレートMr_-Hに基づいて、入力される画像信号S_Iと非線形フィルタ５１により非線形平滑化処理された画像信号S_LPF-Hとを混合し、非線形平滑化された画像信号S_F-Hとしてバッファ２３に出力する。より詳細には、混合部５２は、以下の式（３）を演算して、入力される画像信号S_Iと非線形フィルタにより非線形平滑化された画像信号S_LPF-Hとを混合する。

Ｓ_F-H＝S_I×Mr_-H／Mr_{-H max}＋S_LPF-H×（１−Mr_-H／Mr_{-H max}）
・・・（３）
ここで、Mr_-Hは、Mixレートであり、Mr_{-H max}は、MixレートMr_-Hの最大値、すなわち、画素値の最大値と最小値の差分絶対値である。

式（３）で示されるように、MixレートMr_-Hが大きければ、非線形フィルタ５１により処理された画像信号S_LPF-Hの重みが小さくなり、入力された処理されていない画像信号S_Iの重みが大きくなる。逆に、MixレートMr_-Hが小さければ、すなわち、水平方向に隣接する画素間の画素値の差分絶対値が小さいほど、非線形フィルタにより処理された画像信号S_LPF-Hの重みが大きくなり、入力された処理されていない画像信号の重みが小さくなる。

従って、微小エッジが検出された場合、MixレートMr_-Hは最大MixレートMr_{-H max}となるので、実質的に入力された画像信号S_Iが、そのまま出力されることになる。

一方、ステップＳ３４において、「微小エッジが存在しない」と判定された場合、ステップＳ３７において、混合比検出部５３は、注目画素と、各水平処理方向成分画素との画素値の差分絶対値をそれぞれ計算し、計算した各差分絶対値のうちの最大値を混合比である、MixレートMr_-Hとして求め、混合部５２に出力し、その処理は、ステップＳ３６に進む。

すなわち、図１７の場合、混合比検出部５３は、注目画素Ｃと、各水平処理方向成分画素Ｌ２，Ｌ１，Ｒ１，Ｒ２との画素値の差分絶対値｜Ｃ−Ｌ２｜，｜Ｃ−Ｌ１｜，｜Ｃ−Ｒ１｜，｜Ｃ−Ｒ２｜を計算し、計算した各差分絶対値のうちの最大値を混合比であるMixレートMr_-Hとして求め、混合部５２に出力する。

すなわち、微小エッジが存在しない場合、注目画素と各水平処理方向成分画素との画素値の差分絶対値の最大値に応じて、非線形フィルタリング処理された画像信号S_LPF-Hと、入力された画像信号S_Iとが混合されて、非線形平滑化処理された画像信号S_F-Hが生成され、微小エッジが存在した場合、入力された画像信号S_Iがそのまま出力される。

結果として、非線形平滑化処理部３２においては、閾値ε₃を基準として微小エッジが検出されることになるので、微小エッジが存在する部分については、非線形平滑化処理が施されないようにすると共に、エッジが存在しない部分についても、その差分絶対値の大きさに応じて非線形平滑化処理が施された画素値と、入力された画像信号とを混合するようにしたので、特に、微小なエッジで構成された単純なパターン画像等で著しく画質の劣化が生じてしまうという事態を抑止することが可能になる。

ここで、図１６のフローチャートの説明に戻る。

ステップＳ１５において、Flatレート計算部３５は、注目画素と、注目画素に対して垂直方向に隣接する各垂直参照方向成分画素との画素値の差分絶対値をそれぞれ計算する。すなわち、図１７の場合、Flatレート計算部３５は、注目画素Ｃと、垂直方向に隣接する各垂直参照方向成分画素U２，U１，D１，D２との画素値の差分絶対値｜Ｃ−U２｜，｜Ｃ−U１｜，｜Ｃ−D１｜，｜Ｃ−D２｜を計算する。

ステップＳ１６において、Flatレート計算部３５は、注目画素と、注目画素に対して垂直方向に隣接する各垂直参照方向成分画素との差分絶対値のうち、最大値となる差分絶対値を求めて、これをFlatレートFr_-Vとして混合部３３に供給する。

ステップＳ１７において、混合部３３は、Flatレート計算部３５より供給されるFlatレートFr_-Vに基づいて、入力される画像信号S_Iと非線形平滑化処理部３２により非線形平滑化処理された画像信号S_F-Hとを混合し、水平処理平滑化処理された画像信号S_NL-Hとしてバッファ２３に出力する。より詳細には、混合部３３は、以下の式（４）を演算して、入力される画像信号S_Iと非線形平滑化処理部３２により非線形平滑化処理された画像信号S_F-Hとを混合する。

Ｓ_NL-H＝S_F-H×Fr_-V／Fr_{-H max}＋S_I×（１−Fr_-V／Fr_{-V max}）
・・・（４）
ここで、Fr_-Vは、垂直方向のFlatレートであり、Fr_{-V max}は、垂直方向のFlatレートFr_-Vの最大値、すなわち、画素値のダイナミックレンジの最大値と最小値の差分絶対値である。FlatレートFr_-Vは、垂直参照方向成分画素と注目画素との差分絶対値の最大値であるので、その値が小さいほど、注目画素と、注目画素に垂直方向に隣接する垂直参照方向成分画素の領域では、画素値の変化が小さく、視覚的にも色の変化が小さいため、見た目に平坦な状態（Flatな状態）であると言える。逆に、FlatレートFr_-Vが大きいと言うことは、注目画素と、注目画素に垂直方向に隣接する垂直参照方向成分画素の領域では、画素間の変化が大きく、見た目にも平坦ではない状態（Flatではない状態）であることが示される。

このため、式（４）で示されるように、FlatレートFr_-Vが大きければ、非線形平滑化処理部３２により非線形平滑化処理された画像信号S_F-Hの重みが増し、入力された処理されていない画像信号S_Iの重みが小さくなる。逆に、FlatレートFr_-Vが小さければ、すなわち、垂直方向の画素間の画素値の差分絶対値が小さいほど、非線形平滑化処理部３２により非線形平滑化処理された画像信号S_F-Hの重みが小さくなり、入力された処理されていない画像信号S_Iの重みが大きくなる。

ステップＳ１８において、水平処理方向成分画素抽出部３１は、全ての画素を注目画素として処理したか、すなわち、未処理の画素が存在するか否かを判定し、例えば、全ての画素を注目画素として処理していない、すなわち、未処理画素が存在すると判定した場合、その処理は、ステップＳ１１に戻る。そして、ステップＳ１８において、全ての画素が注目画素として処理された、すなわち、未処理画素が存在しないと判定された場合、その処理は、終了し、図１５のステップＳ１の処理が終了する。尚、垂直参照方向成分画素抽出部３４も、同様に、全ての画素を注目画素として処理したか、すなわち、未処理の画素が存在するか否かを判定し、いずれにおいても、未処理画素が存在しないと判定された場合にのみ、その処理を終了させるようにしても良い。

結果として、図７の破線Line２上の縦方向の太線上の注目画素に対して処理を施すような場合、注目画素に対して垂直方向に隣接する垂直参照方向成分画素との画素値の差分絶対値より求められる垂直方向のFlatレートFr_-Vに応じて、水平方向に非線形平滑化処理された画像信号S_F-Hと、入力された画像信号S_Iとが混合されることにより、垂直方向に相関が強い、すなわち、垂直方向のFlatレートFr_-Vが小さく、垂直方向の相関が強い場合、入力された画像信号S_Iの重みを大きくし、逆に、垂直方向のFlatレートFr_-Vが大きく、垂直方向の相関が弱い場合、水平方向に非線形フィルタリング処理された画像信号S_F-Hの重みを大きくすることにより、エッジを意識しつつ、処理方向に応じた（非線形平滑化処理に使用する近傍画素が、注目画素に対して水平方向に隣接する画素であるか、または、垂直方向に隣接する画素であるかに応じた）不自然な処理を抑制することが可能となる。従って、例えば、垂直方向に縦の太線上に図１０で示される平滑化処理により生じる格子状の領域のような不自然な画像信号の発生を抑制することが可能となる。

尚、以上においては、混合に際しては、FlatレートFr_-Vをそのまま重み係数として画素値に乗じる例について説明してきたが、その他のFlatレートに応じた重み係数を非線形フィルタリング処理された画像信号S_F-Hと入力された画像信号S_Iのそれぞれに乗じて混合するようにしても良い。すなわち、例えば、図２３で示されるように、FlatレートFr_-Vに応じて設定される重み係数W₁，W₂を用いて、以下の式（５）を用いて混合するようにしても良い。

Ｓ_NL-H＝S_I×W₁＋S_F-H×W₂
・・・（５）

ここで、W₂は水平方向に非線形フィルタリング処理された画像信号S_F-Hの重み係数であり、W₁は入力された画像信号S_Iの重み係数である。また、（W₁＋W₂）は、重み係数の最大値W_max（＝１）である。

すなわち、図２３においては、FlatレートFr_-HがFr1より小さい範囲（Fr_-V＜Fr1）では、重み係数W₁は、重み係数の最大値W_maxであり、重み係数W₂は0である。FlatレートFr_-VがFr1より以上で、かつ、Fr2以下の範囲（Fr1≦Fr_-V≦Fr2）では、重み係数W₁は、FlatレートFr_-Vに比例して減少し、重み係数W₂は、FlatレートFr_-Vに比例して増大して、かつ、（W₁＋W₂）は、重み係数の最大値W_max（＝１）となるように設定されている。さらに、FlatレートFr_-VがFr2より大きい範囲（Fr2≦Fr_-V）では、重み係数W₁は０であり、重み係数W₂は重み係数の最大値W_maxである。

結果として、エッジの有無を正確に意識して、画像を非線形平滑化することが可能となる。尚、Fr1＝Fr2となる場合、FlatレートFr_-Vが、Fr1（＝Fr2）であるときを閾値として、出力される画像信号が、入力された画像信号S_Iか、または、非線形平滑化処理された画像信号S_F-Hのいずれかが、切替えられて出力されることになる。

ここで、図１５のフローチャートに戻る。

以上のように、ステップＳ１において、水平方向平滑化処理部２２は、水平方向平滑化処理により生成された画像信号Ｓ_NL-Hをバッファ２３に順次記憶させる。

ステップＳ２において、垂直方向平滑化処理部２４は、バッファ２３に、順次記憶されている、水平方向平滑化処理されている画像信号Ｓ_NL-Hを用いて、垂直方向平滑化処理を実行する。尚、垂直方向平滑化処理は、水平方向平滑化処理における処理の水平方向の処理と、垂直方向の処理とを入れ替えた処理であり、処理内容そのものは同様のものである。

すなわち、ステップＳ５１において、垂直方向平滑化処理部２４の垂直処理方向成分画素抽出部４１は、ラスタスキャン順に注目画素を設定する。同時に、水平参照方向成分画素抽出部４４も、同様にラスタスキャン順に注目画素を設定する。尚、注目画素の設定順序は、ラスタスキャン順以外の順序であってもよいが、垂直処理方向成分画素抽出部４１により設定される注目画素と、水平参照方向成分画素抽出部４４により設定される注目画素とが同一となるように設定される必要がある。

ステップＳ５２において、垂直処理方向成分画素抽出部４１は、注目画素と共に、注目画素に対して垂直方向（上下方向）に２画素ずつ隣接する近傍画素である水平参照方向成分画素からなる合計５画素の画素値をバッファ２３より抽出して非線形平滑化処理部４２に出力する。例えば、図１７で示されるような場合、画素Ｕ２，Ｕ１，Ｃ，Ｄ１，Ｄ２が、注目画素および水平参照方向成分画素として抽出される。

ステップＳ５３において、水平参照方向成分画素抽出部４４は、注目画素と共に、注目画素に対して水平方向（左右方向）に２画素ずつ隣接する近傍画素である水平参照方向成分画素からなる合計５画素の画素値をバッファ２３より抽出してFlatレート計算部４５に出力する。例えば、図１７で示されるような場合、画素Ｌ２，Ｌ１，Ｃ，Ｒ１，Ｒ２が、注目画素および水平参照方向成分画素として抽出される。

ステップＳ５４において、非線形平滑化処理部４２は、垂直処理方向成分画素抽出部４１より供給された注目画素と垂直処理方向成分画素に基づいて、注目画素に非線形平滑化処理を施す。尚、ステップＳ５４における非線形平滑化処理については、図１６のステップＳ１４における非線形平滑化処理と、水平方向と垂直方向の関係が入れ替わるのみで、その他の処理については同様であるので、その説明は省略するものとする。従って、この処理により、非線形平滑化処理部４２は、垂直方向に非線形平滑化処理された画像信号Ｓ_F-Vを混合部４３に出力する。

ステップＳ５５において、Flatレート計算部４５は、注目画素と、注目画素に対して水平方向に隣接する各水平参照方向成分画素との画素値の差分絶対値をそれぞれ計算する。すなわち、図１７の場合、Flatレート計算部４５は、注目画素Ｃと、水平方向に隣接する各水平参照方向成分画素Ｌ２，Ｌ１，Ｒ１，Ｒ２との画素値の差分絶対値｜Ｃ−Ｌ２｜，｜Ｃ−Ｌ１｜，｜Ｃ−Ｒ１｜，｜Ｃ−Ｒ２｜を計算する。

ステップＳ５６において、Flatレート計算部４５は、注目画素と、注目画素に対して水平方向に隣接する各水平参照方向成分画素との差分絶対値のうち、最大値となる差分絶対値を求めて、これをFlatレートFr_-Hとして混合部４３に供給する。

ステップＳ５７において、混合部４３は、Flatレート計算部４５より供給されるFlatレートFr_-Hに基づいて、入力される水平方向平滑化処理部２２により水平方向非線形平滑化処理された画像信号S_NL-Hと非線形平滑化処理部４２により非線形平滑化処理された画像信号S_F-Vとを混合し、垂直方向の近接画素と用いて平滑化された画像信号S_Oをバッファ２５に出力する。より詳細には、混合部４３は、以下の式（６）を演算して、入力される水平方向非線形平滑化処理されている画像信号S_NL-Hと非線形平滑化処理部４２により垂直方向に非線形平滑化処理された画像信号S_F-Vとを混合する。

Ｓ_O＝S_F-V×Fr_-H／Fr_{-H max}＋S_NL-H×（１−Fr_-H／Fr_{-H max}）
・・・（６）
ここで、Fr_-Hは、水平方向のFlatレートであり、Fr_{-H max}は、FlatレートFr_-Hの最大値、すなわち、画素値のダイナミックレンジの最大値と最小値の差分絶対値である。FlatレートFr_-Hは、水平方向に隣接する各水平参照方向成分画素と注目画素との差分絶対値の最大値であるので、その値が小さいほど、注目画素と、注目画素に水平方向に隣接する近傍画素の領域では、画素値の変化が小さく、視覚的にも色の変化が小さいため、見た目に平坦な状態（Flatな状態）であると言える。逆に、FlatレートFr_-Hが大きいと言うことは、注目画素と、注目画素に垂直方向に隣接する水平参照方向成分画素の領域では、画素間の変化が大きく、見た目にも平坦ではない状態（Flatではない状態）であることが示される。

このため、式（６）で示されるように、FlatレートFr_-Hが大きければ、非線形平滑化処理部４２により垂直方向に非線形平滑化処理された画像信号S_F-Vの重みが増し、水平方向平滑化処理された画像信号S_NL-Hの重みが小さくなる。逆に、FlatレートFr_-Hが小さければ、すなわち、水平方向の画素間の画素値の差分絶対値が小さいほど、非線形平滑化処理部３２により垂直方向に非線形平滑化処理された画像信号S_F-Vの重みが小さくなり、入力された水平方向に非線形平滑化処理されている画像信号S_NL-Hの重みが大きくなる。

ステップＳ５８において、垂直処理方向成分画素抽出部４１は、全ての画素を注目画素として処理したか、すなわち、未処理の画素が存在するか否かを判定し、例えば、全ての画素を注目画素として処理していない、すなわち、未処理画素が存在すると判定した場合、その処理は、ステップＳ５１に戻る。そして、ステップＳ５８において、全ての画素が注目画素として処理された、すなわち、未処理画素が存在しないと判定された場合、その処理は、終了し、図１５のステップＳ２の処理が終了する。尚、水平参照方向成分画素抽出部４４も、同様の処理に、全ての画素を注目画素として処理したか、すなわち、未処理の画素が存在するか否かを判定し、いずれにおいても、未処理画素が存在しないと判定された場合にのみ、その処理を終了させるようにしても良い。

結果として、注目画素に対して水平方向に隣接する水平参照方向成分画素との画素値の差分より求められるFlatレートFr_-Hに応じて、垂直方向に平滑化処理された画像信号S_F-Vと入力された画像信号S_NL-Hとが混合されることにより、水平方向に相関が強い、すなわち、水平方向のFlatレートFr_-Hが小さく、水平方向の相関が強い場合、入力された水平方向線形平滑化処理された画像信号S_NL-Hの重みを大きくし、水平方向のFlatレートFr_-Hが大きく、水平方向の相関が弱い場合、垂直方向に非線形フィルタリング処理された画像信号S_F-Vの重みを大きくすることにより、エッジを意識しつつ、処理方向に応じた（非線形平滑化処理に使用する近傍画素が、注目画素に対して水平方向に隣接する画素であるか、または、垂直方向に隣接する画素であるかに応じた）不自然な処理を抑制することが可能となる。

尚、以上においては、混合に際しては、FlatレートFr_-Hをそのまま重み係数として画素値に乗じる例について説明してきたが、その他のFlatレートFr_-Hに応じた重み係数を平滑化処理された画像信号S_F-Vと入力された水平方向平滑化処理された画像信号S_NL-Hのそれぞれに乗じて混合するようにしても良い。すなわち、上述した水平方向平滑化処理における図２３で示されるように、FlatレートFr_-Hに応じて設定される重み係数W₁，W₂を用いていた場合と同様に、以下の式（７）のようにして、垂直方向平滑化処理された画像信号S_Oを求めるようにしても良い。

Ｓ_O＝S_NL-H×W₁₁＋S_F-V×W₁₂
・・・（７）

ここで、W₁₂は垂直方向に平滑化処理された画像信号S_F-Vの重み係数であり、W₁₁は入力された水平方向平滑化処理された画像信号S_NL-Hの重み係数である。また、（W₁₁＋W₁₂）は、重み係数の最大値W_max（＝１）である。

結果として、エッジの有無を正確に意識して生成される画像を非線形平滑化することが可能となる。

ここで、図１５のフローチャートの説明に戻る。

ステップＳ２において、垂直方向平滑化処理が実行されると、ステップＳ３において、次の画像が入力されたか否かが判定され、次の画像が入力されたと判定された場合、その処理は、ステップＳ１に戻り、それ以降の処理が繰り返される。ステップＳ３において、次の画像が入力されていない、すなわち、画像信号が終了したと判定された場合、その処理は、終了する。

以上の処理により、水平方向平滑化処理と垂直方向平滑化処理のそれぞれで、処理方向に応じた不自然な平滑化処理を、Flatレートを求めて、Flatレートに応じて、非線形平滑化された画像信号と、非線形平滑化処理されていない画像信号を混合するようにしたので、画像のエッジ部分を残し、処理方向に応じて生じる不自然な強調処理を抑制しつつ、エッジ以外の領域のコントラストや鮮鋭度を強調することが可能となる。

尚、以上においては、水平方向平滑化処理の後、垂直方向平滑化処理が施される場合の例について説明してきたが、垂直方向平滑化処理の後、水平方向平滑化処理が施されるようにしてもよい。また、水平方向平滑化処理か、または、垂直方向平滑化処理のいずれかの処理のみを画像信号に施すだけでも、それぞれの処理で、処理方向に応じたFlatレートを求めるようにしているので、画像のエッジ部分を残し、処理方向に応じて生じる不自然な強調処理を抑制しつつ、エッジ以外の領域のコントラストや鮮鋭度を強調することが可能となる。

また、以上の非線形平滑化処理部３２においては、注目画素と、注目画素に対する水平処理方向成分画素を用いて非線形平滑化処理を行う例について説明してきたが、例えば、非線形平滑化処理において、水平処理方向成分画素と共に垂直参照方向成分画素を用いるようにしても良い。図２５は、水平処理方向成分画素と共に垂直参照方向成分画素を用いるようにした水平方向平滑化処理部２２の構成を示している。図２５において、図１２と対応する構成については、同一の符号を付すものとし、その説明は適宜省略するものとする。

図２５の水平方向平滑化処理部２２において、図１２の水平方向平滑化処理部２２と異なるのは非線形平滑化処理部３２に代えて、非線形平滑化処理部７１を設け、混合部３３を削除して、Flatレート計算部３５により計算されたFlatレートFr_-Vを非線形平滑化処理部７１に供給するようにしたことである。非線形平滑化処理部７１は、基本的には、非線形平滑化処理部３２と同様の機能を有するものであるが、さらに、非線形平滑化処理において、水平処理方向成分画素と共に、垂直参照方向成分画素抽出部３４より供給される垂直参照方向成分画素を用いるようにした点が異なる。

次に、図２６を参照して、非線形平滑化処理部７１の詳細な構成について説明する。尚、図２６の非線形平滑化処理部７１の構成において、図１４の非線形平滑化処理部３２の構成と対応する構成については、同一の符号を付しており、その説明は適宜省略するものとする。

図２６の非線形平滑化処理部７１の構成において、図１４の非線形平滑化処理部３２の構成と異なるのは、制御信号発生部６２に代えて、制御信号発生部８１を設けた点である。制御信号発生部８１は、基本的な機能は、制御信号発生部６２と同様であるが、水平処理方向成分画素に加えて、Flatレート計算部３５より供給されるFlatレートFr_-Vを用いて制御信号を発生させる点で異なる。

次に、図２７のフローチャートを参照して、図２５の水平方向平滑化処理部２２による非線形平滑化処理について説明する。尚、図２７のフローチャートにおけるステップＳ７３乃至Ｓ７７の処理は、図１８のフローチャートにおけるステップＳ３３乃至Ｓ３７の処理と同様であるので、その説明は省略する。

ステップＳ７１において、非線形フィルタ５１の制御信号発生部６２は、注目画素と、水平処理方向成分画素との画素値の差分絶対値を計算する。

ステップＳ７２において、ローパスフィルタ６１は、制御信号発生部８１により計算された注目画素Ｃと、複数の水平処理方向成分画素の画素値との各差分絶対値と所定の閾値ε₂と比較して、この比較結果に対応して、閾値ε₂よりも大きい場合、Ｃに置き換える第１の処理を実行した後、第１の処理が施された各画素に対してFlatレート計算部３５より供給されてくるFlatレートFr-vを考慮して、画像信号Ｓ_Iに非線形フィルタリング処理を施す。

より具体的には、例えば、注目画素Cを中心として左右２画素の画像信号が信号L2，L1，C，R1，R2であった場合、LPF６１は、制御信号発生部８１により発生される制御信号に基づいて、注目画素Cの画素値との差分が閾値よりも大きいとき、Cに置き換える処理を施し、注目画素を中心として左右に２画素ずつの水平方向の信号L2’，L1’，C，R1’，R2’を生成するものとする。さらに、LPF６１は、各信号L2’，L1’，C，R1’，R2’に対して、FlatレートFr_-Vを考慮した処理を施す。

すなわち、例えば、信号L2’の場合、FlatレートFr_-Vを考慮した処理により得られる信号L2”は、以下の式（８）を計算することにより求められる。

L2”＝W_C×C+W_L2×L2’
・・・（８）

ここで、式（８）において、W_L2とW_Cは、上述した式（５）における重みと同様のものであり、W_CがW₁に、W_L2がW₂にそれぞれ対応する(W_L2＋W_C＝１)ものである。従って、FlatレートFr-vが小さい場合、重みW_Cが最大値(＝１)となり、信号L2”はＣとなる（L2”＝C）。

また、画素の信号に対しても同様の処理が施されるので、信号L1’，R1’，R2’のそれぞれは、以下の式（９）乃至式（１１）で示されるような式により計算される。

L1”＝W_C×C+W_L1×L1’
・・・（９）

R1”＝W_C×C+W_R1×R1’
・・・（１０）

R2”＝W_C×C+W_R2×R2’
・・・（１１）

ここで求められる重みは、何れも注目画素Cの垂直方向のFlatレートFr_-Vが用いられるので、実質的に、W_L2＝W_L1＝W_R2＝W_R1となる。よって、FlatレートFr-vが、所定の閾値より小さい場合、L1”＝C，R1”＝C，R2”＝Cとなる．

結果として、このような場合、LPF６１は、式（１）を用いて、以下の式（１２）を演算することにより水平方向平滑化処理を行う。

C’＝(１×C＋２×C＋３×C＋２×C＋１×C)/９
＝ C
・・・（１２）

結果として、FlatレートFr-vが小さい場合、入力された画像信号がそのまま出力されることになる。逆にFlatレートFr-vが大きい場合、式(１)のように水平方向の画素の値に基づいてフィルタリング処理された値を用いる。

以上のように、非線形平滑化処理においてFlatレートを考慮して処理を行うことが可能であるので、後段の混合部３３を削除することが可能となる（結果として、非線形平滑化処理部７１より出力される信号S_F-H＝水平方向平滑化処理部２２から出力される信号S_NL-Hとなる）。

以上の処理により、注目画素の水平方向の相関のみならず、垂直方向の相関も考慮した非線形フィルタリング処理を実現することで、さらに、エッジを意識しつつ、処理方向に応じた不自然な処理を抑制することが可能となる。

尚、図２６においては、非線形平滑化処理部７１の構成として、制御信号発生部８１が、水平処理方向成分画素に加えて、垂直参照方向成分画素をも考慮した非線形フィルタリング処理をする例について説明してきたが、微小エッジを検出する際に水平処理方向成分画素に加えて、垂直参照方向成分画素を使用するようにしても良い。

図２８は、MixレートMr_-Hを計算する際に水平処理方向成分画素に加えて、垂直参照方向成分画素を使用するようにした非線形平滑化処理部７１の構成を示している。尚、図２８の非線形平滑化処理部７１の構成において、図１４の非線形平滑化処理部３２の構成と対応する構成については、同一の符号を付しており、その説明は適宜省略するものとする。

図２８の非線形平滑化処理部７１の構成において、図１４の非線形平滑化処理部３２の構成と異なるのは、混合比検出部５３に代えて、混合比検出部９１を設けた点である。混合比検出部９１は、基本的な機能は、混合比検出部５３と同様であるが、水平処理方向成分画素に加えて、Flatレート計算部３５より供給されるFlatレートFr_-Vを用いてMixレートMr’_-Hを求める。

次に、図２９のフローチャートを参照して、図２８の非線形平滑化処理部７１による微小エッジ判定処理を説明する。尚、図２９のフローチャートにおけるステップＳ８１乃至Ｓ８６の処理は、図１８のフローチャートにおけるステップＳ３１乃至Ｓ３６の処理と同様であるので、その説明は省略する。

ステップＳ８７において、混合比検出部９１は、注目画素と、各水平処理方向成分画素とのそれぞれの画素値の差分絶対値をそれぞれ計算し、計算した各差分絶対値のうちの最大値を混合比である、MixレートMr_-H（MixレートMr_-Hは、ステップＳ３５，Ｓ３７における処理と同様の手法により求められる）を求めた後、FlatレートFr_-Vを用いてMixレートMr’_-Hを求め、混合部５２に出力する。

より詳細には、混合比検出部９１は、以下の式（１３）を演算することにより、FlatレートFr_-Vを用いてMixレートMr’_-Hを求める。

Mr’_-H＝W_A×Mr_-Hmax+W_B×Mr_-H
・・・（１３）

ここで、重みW_AとW_Bは、それぞれ式（５）における重みW₁とW₂に相当する。また、MixレートMr_-HmaxはMixレートMr_-Hの最大値である。FlatレートFr_-Vが小さい場合MixレートMr’_-H＝Mr_{-H max}となり、大きい場合はMr_-H'＝Mr-Hとなる。従って、例えば、FlatレートFr_-Vが小さい場合、式(３)の結果から、信号S_F-H＝S_Iとなり、入力された信号S_Iがそのまま出力されることになる。

以上の処理により、非線形平滑化処理部の混合部の時点で垂直方向の情報を付加することが可能となり、注目画素に対応する水平処理方向成分画素のみならず、垂直参照方向成分画素をも考慮してMixレートMr_-Hを設定することが可能となるので、より自然に非線形フィルタリング処理された画像信号S_LPF-Hと、入力された画像信号S_Iとを混合することが可能となり、結果として、エッジを意識しつつ、処理方向に応じた不自然な処理を抑制することが可能となる。

同様にして、垂直方向平滑化処理部２４においても同様に垂直処理方向成分画素のみならず、水平参照方向成分画素を用いるようにしても良い。図３０は、垂直処理方向成分画素のみならず、水平参照方向成分画素を用いるようにした垂直方向平滑化処理部２４の構成を示している。尚、図３０の垂直方向平滑化処理部２４の構成において、図１３の非線形平滑化処理部２４の構成と対応する構成については、同一の符号を付しており、その説明は適宜省略するものとする。

図３０の垂直方向平滑化処理部２４において、図１３の垂直方向平滑化処理部２４と異なるのは非線形平滑化処理部４２に代えて、非線形平滑化処理部１０１を設け、混合部３３を削除して、Flatレート計算部４５により計算されたFlatレートFr_-Hを非線形平滑化処理部１０１に供給するようにしたことである。非線形平滑化処理部１０１は、基本的には、非線形平滑化処理部４２と同様の機能を有するものであるが、さらに、非線形平滑化処理において、垂直処理方向成分画素と共に、Flatレート計算部４５より供給されるFlatレートFr_-Hを用いるようにした点が異なる。

尚、非線形平滑化処理部１０１の構成は、図２６，図２８で示される非線形平滑化処理部７１における水平方向の処理を垂直方向の処理にしている点以外は同様であるので、その説明は省略する。また、処理についても、水平方向の処理と垂直方向の処理とが入れ替わっている点以外は同様であるので、その説明は省略する。

本発明の信号処理装置および方法、並びにプログラムによれば、連続的に配置されている信号を、順次、注目信号に指定し、指定した注目信号を基準として、第１の方向に連続的に配置されている信号のなかから複数の近傍信号を処理信号として抽出し、注目信号と各処理信号との差分である処理差分と、第１の閾値との比較結果に基づいて、注目信号と複数の処理信号を加重平均して平滑化信号を演算し、処理差分と第１の閾値よりも小さな第２の閾値との比較結果に基づいて、平滑化信号と注目信号との第１の混合比を計算し、計算した第１の混合比に基づいて、平滑化信号、および、注目信号を混合し、第１の混合信号を生成し、指定した注目信号を基準として、第２の方向に連続的に配置されている信号のなかから複数の近傍信号を参照信号として抽出し、注目信号と各参照信号との差分である参照差分に基づいて、混合信号と注目信号との第２の混合比を計算し、計算した第２の混合比に基づいて、第１の混合信号、および、注目信号を混合し、第２の混合信号を生成するようにしたので、画像を構成する画素の急峻なエッジを保持したままで、エッジ以外の部分を平滑化する際、画素の連続性や相関性を損なうことなく、エッジ以外の部分を平滑化することが可能となる。

上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行させることが可能な、例えば汎用のパーソナルコンピュータなどに記録媒体からインストールされる。

図３１は、図１１の強調処理装置１１の電気的な内部構成をソフトウェアにより実現する場合のパーソナルコンピュータの一実施の形態の構成を示している。パーソナルコンピュータのCPU２０１は、パーソナルコンピュータの全体の動作を制御する。また、CPU２０１は、バス２０４および入出力インタフェース２０５を介してユーザからキーボードやマウスなどからなる入力部２０６から指令が入力されると、それに対応してROM(Read Only Memory)２０２に格納されているプログラムを実行する。あるいはまた、CPU２０１は、ドライブ２１０に接続された磁気ディスク２２１、光ディスク２２２、光磁気ディスク２２３、または半導体メモリ２２４から読み出され、記憶部２０８にインストールされたプログラムを、RAM(Random Access Memory)２０３にロードして実行する。これにより、上述した図１１の強調処理装置１１の機能が、ソフトウェアにより実現されている。さらに、CPU２０１は、通信部２０９を制御して、外部と通信し、データの授受を実行する。

プログラムが記録されている記録媒体は、図３１に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク２２１（フレキシブルディスクを含む）、光ディスク２２２（CD-ROM(Compact Disc-Read Only Memory)，DVD（Digital Versatile Disk）を含む）、光磁気ディスク２２３（MD（Mini-Disc）を含む）、もしくは半導体メモリ２２４などよりなるパッケージメディアにより構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM２０２や、記憶部２０８に含まれるハードディスクなどで構成される。

尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。

画像内の急峻なエッジを保存した状態でエッジ以外の部分を強調する画像信号処理装置の構成例を示すブロック図である。 図１のεフィルタに入力される画像信号と、出力される画像信号を示す図である。 図１のεフィルタで用いられるタップの一例を示す図である。 図１のεフィルタの動作を説明するための図である。 図１のεフィルタの問題点を説明するための図である。 図１のεフィルタの問題点を説明するための図である。 図１のεフィルタの問題点を説明するための図である。 図１のεフィルタの問題点を説明するための図である。 図１のεフィルタの問題点を説明するための図である。 図１のεフィルタの問題点を説明するための図である。 本発明を適用した強調処理装置の一実施の形態の構成を示すブロック図である。 図１１の水平方向平滑化処理部の構成を示すブロック図である。 図１１の垂直方向平滑化処理部の構成を示すブロック図である。 図１２の非線形平滑化処理部の構成を示すブロック図である。 画像強調処理を説明するフローチャートである。 図１１の画像強調装置による水平方向平滑化処理を説明するフローチャートである。 図１１の画像強調装置による水平方向平滑化処理を説明する図である。 図１１の画像強調装置による非線形平滑化処理を説明するフローチャートである。 図１１の画像強調装置による微小エッジ判定処理を説明するフローチャートである。 図１１の画像強調装置による微小エッジ判定処理を説明する図である。 図１１の画像強調装置による微小エッジ判定処理を説明する図である。 図１１の画像強調装置による微小エッジ判定処理を説明する図である。 図１１の画像強調装置による重みの設定方法のその他の方法を説明する図である。 図１１の画像強調装置による垂直方向平滑化処理を説明する図である。 図１１の水平方向平滑化処理部のその他の構成を示すブロック図である。 図２５の非線形平滑化処理部の構成を示すブロック図である。 図２６の非線形平滑化処理部を備えた画像強調装置による非線形平滑化処理を説明するフローチャートである。 図２５の非線形平滑化処理部のその他の構成を示すブロック図である。 図２８の非線形平滑化処理部を備えた画像強調装置による非線形平滑化処理を説明するフローチャートである。 図１１の垂直方向平滑化処理部のその他の構成を示すブロック図である。 媒体を説明する図である。

符号の説明

１１ 強調処理装置， ２２ 水平方向平滑化処理部， ２４ 垂直方向平滑化処理部， ３１ 水平処理方向成分画素抽出部， ３２ 非線形平滑化処理部， ３３ 混合部， ３４ 垂直参照方向成分画素抽出部， ３５ Flatレート計算部， ４１ 垂直処理方向成分画素抽出部， ４２ 非線形平滑化処理部， ４３ 混合部， ４４ 水平参照方向成分画素抽出部， ４５ Flatレート計算部， ５１ 非線形フィルタ， ５２ 混合部， ５３ 混合比検出部， ６１ LPF， ６２ 制御信号発生部， ７１ 非線形平滑化処理部， ８１ 制御信号発生部， ９１ 混合比検出部， １０１ 非線形平滑化処理部

Claims (5)

1. 連続的に配置されている画像信号のレベルを調整する信号処理装置において、
   連続的に配置されている前記画像信号を、順次、注目信号に指定する指定手段と、
   前記指定手段によって指定された前記注目信号を基準として、第１の方向に連続的に配置されている前記信号のなかから複数の近傍信号を処理信号として抽出する処理信号抽出手段と、
   前記注目信号と各処理信号との差分である処理差分と、第１の閾値との比較結果に基づいて、前記注目信号と前記複数の処理信号を加重平均して平滑化信号を演算する演算手段と、
   前記処理差分と前記第１の閾値よりも小さな第２の閾値との比較結果に基づいて、前記平滑化信号と前記注目信号との第１の混合比を計算する第１の混合比計算手段と、
   前記第１の混合比計算手段により計算された前記第１の混合比に基づいて、前記平滑化信号、および、前記注目信号を混合し、第１の混合信号を生成する第１の混合手段と、
   前記指定手段によって指定された前記注目信号を基準として、前記第１の方向と異なる第２の方向に連続的に配置されている前記画像信号のなかから複数の近傍信号を参照信号として抽出する参照信号抽出手段と、
   前記注目信号と各参照信号との差分である参照差分に基づいて、前記混合信号と前記注目信号との第２の混合比を計算する第２の混合比計算手段と、
   前記第２の混合比計算手段により計算された前記第２の混合比に基づいて、前記第１の混合信号、および、前記注目信号を混合し、第２の混合信号を生成する第２の混合手段と
   を含むことを特徴とする信号処理装置。
2. 前記画像信号は、画像を構成する画素の画素値である
   ことを特徴とする請求項１に記載の信号処理装置。
3. 連続的に配置されている画像信号のレベルを調整する信号処理方法において、
   連続的に配置されている前記画像信号を、順次、注目信号に指定する指定ステップと、
   前記指定ステップの処理で指定された前記注目信号を基準として、第１の方向に連続的に配置されている前記信号のなかから複数の近傍信号を処理信号として抽出する処理信号抽出ステップと、
   前記注目信号と各処理信号との差分である処理差分と、第１の閾値との比較結果に基づいて、前記注目信号と前記複数の処理信号を加重平均して平滑化信号を演算する演算ステップと、
   前記処理差分と前記第１の閾値よりも小さな第２の閾値との比較結果に基づいて、前記平滑化信号と前記注目信号との第１の混合比を計算する第１の混合比計算ステップと、
   前記第１の混合比計算ステップの処理で計算された前記第１の混合比に基づいて、前記平滑化信号、および、前記注目信号を混合し、第１の混合信号を生成する第１の混合ステップと、
   前記指定ステップの処理で指定された前記注目信号を基準として、前記第１の方向と異なる第２の方向に連続的に配置されている前記画像信号のなかから複数の近傍信号を参照信号として抽出する参照信号抽出ステップと、
   前記注目信号と各参照信号との差分である参照差分に基づいて、前記混合信号と前記注目信号との第２の混合比を計算する第２の混合比計算ステップと、
   前記第２の混合比計算ステップの処理で計算された前記第２の混合比に基づいて、前記第１の混合信号、および、前記注目信号を混合し、第２の混合信号を生成する第２の混合ステップと
   を含むことを特徴とする信号処理方法。
4. 連続的に配置されている画像信号のレベルを調整するためのプログラムであって、
   連続的に配置されている前記画像信号を、順次、注目信号に指定する処理を制御する指定制御ステップと、
   前記指定制御ステップの処理で指定された前記注目信号を基準とした、第１の方向に連続的に配置されている前記信号のなかから複数の近傍信号の処理信号としての抽出を制御する処理信号抽出制御ステップと、
   前記注目信号と各処理信号との差分である処理差分と、第１の閾値との比較結果に基づいた、前記注目信号と前記複数の処理信号を加重平均した平滑化信号の演算を制御する演算制御ステップと、
   前記処理差分と前記第１の閾値よりも小さな第２の閾値との比較結果に基づいた、前記平滑化信号と前記注目信号との第１の混合比の計算を制御する第１の混合比計算制御ステップと、
   前記第１の混合比計算制御ステップの処理で計算された前記第１の混合比に基づいた、前記平滑化信号、および、前記注目信号の混合による、第１の混合信号の生成を制御する第１の混合制御ステップと、
   前記指定制御ステップの処理で指定された前記注目信号を基準とした、前記第１の方向と異なる第２の方向に連続的に配置されている前記画像信号のなかから複数の近傍信号の参照信号としての抽出を制御する参照信号抽出制御ステップと、
   前記注目信号と各参照信号との差分である参照差分に基づいた、前記混合信号と前記注目信号との第２の混合比の計算を制御する第２の混合比計算制御ステップと、
   前記第２の混合比計算制御ステップの処理で計算された前記第２の混合比に基づいた、前記第１の混合信号、および、前記注目信号の混合による、第２の混合信号の生成を制御する第２の混合制御ステップと
   を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
5. 連続的に配置されている画像信号のレベルを調整するためのプログラムであって、
   連続的に配置されている前記画像信号を、順次、注目信号に指定する処理を制御する指定制御ステップと、
   前記指定制御ステップの処理で指定された前記注目信号を基準とした、第１の方向に連続的に配置されている前記信号のなかから複数の近傍信号の処理信号としての抽出を制御する処理信号抽出制御ステップと、
   前記注目信号と各処理信号との差分である処理差分と、第１の閾値との比較結果に基づいた、前記注目信号と前記複数の処理信号を加重平均した平滑化信号の演算を制御する演算制御ステップと、
   前記処理差分と前記第１の閾値よりも小さな第２の閾値との比較結果に基づいた、前記平滑化信号と前記注目信号との第１の混合比の計算を制御する第１の混合比計算制御ステップと、
   前記第１の混合比計算制御ステップの処理で計算された前記第１の混合比に基づいた、前記平滑化信号、および、前記注目信号の混合による、第１の混合信号の生成を制御する第１の混合制御ステップと、
   前記指定制御ステップの処理で指定された前記注目信号を基準とした、前記第１の方向と異なる第２の方向に連続的に配置されている前記画像信号のなかから複数の近傍信号の参照信号としての抽出を制御する参照信号抽出制御ステップと、
   前記注目信号と各参照信号との差分である参照差分に基づいた、前記混合信号と前記注目信号との第２の混合比の計算を制御する第２の混合比計算制御ステップと、
   前記第２の混合比計算制御ステップの処理で計算された前記第２の混合比に基づいた、前記第１の混合信号、および、前記注目信号の混合による、第２の混合信号の生成を制御する第２の混合制御ステップと
   を含む処理をコンピュータに実行させることを特徴とするプログラム。

Images