JP4103647B2 - 信号処理装置および方法、記録媒体、並びにプログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、信号処理装置および方法、記録媒体、並びにプログラムに関し、例えば、画像の中のエッジを強調し過ぎることなく、エッジに囲まれた内部のテクスチャを強調する場合に用いて好適な信号処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【背景技術】
従来、ビデオカメラにおいては、CCD(Charge Coupled Device)，CMOS（Complementary Metal-Oxide Semiconductor）などの撮像素子により撮像された画像のコントラスト（明暗の差）および鮮鋭度（境界の明確さ）を向上させる方法として、階調変換によるコントラスト強調方法や画像中の高域成分のコントラストを強調する高域成分強調方法が考えられている。
【０００３】
コントラスト強調方法としては、画像の各画素に対して、その画素レベルを所定の入出力関係を持つ関数（以下、これをレベル変換関数と称する）で変換するトーンカーブ調整や、画素レベルの頻度分布に応じてレベル変換関数を適応的に変化させるヒストグラムイコライゼーションと呼ばれる方法が提案されている。
【０００４】
高域成分強調方法としては、画像からエッジを抽出し、当該抽出したエッジを強調するいわゆる輪郭強調を行うアンシャープマスクと呼ばれる方法が提案されている。
【０００５】
しかしながら、コントラスト強調方法においては、画像の全ダイナミックレンジ（最大レベルと最小レベルの差）のうち一部の輝度域しかコントラストを向上させることができない問題があることに加えて、トーンカーブ調整の場合には画像の最明部と最暗部において、またヒストグラムイコライゼーションの場合には頻度分布の少ない輝度域付近において、逆にコントラストが低下するという問題があった。さらに高域成分強調方法においては、画像の高域成分のコントラストのみが強調され、これにより画像のエッジ付近が不自然に強調され、画質が劣化することを避け得ないという課題があった。
【０００６】
そこで、従来、図１に示すように構成される画像信号処理装置により、入力画像データのうち画素値の変化が急峻なエッジを保存した状態で当該エッジ以外の部分を増幅することにより、エッジ以外の部分を強調する方法が存在する（例えば、特許文献１）。
【０００７】
図１に示された画像信号処理装置において、入力された画像信号は、εフィルタ１、および減算部２に入力される。εフィルタ１は、図２Ａに示されるような急峻なエッジを挟んで僅かに変動する画像信号を入力とし、図２Ｂに示されるようなエッジのみが抽出された画像信号に変換して、減算部２および加算部４に出力する。
【０００８】
εフィルタ１の具体的な処理について、図３および図４を参照して説明する。εフィルタ１は、入力画像の各画素を順次、注目画素Ｃに決定し、図３に示すように、注目画素Ｃを中心として水平方向に連続する複数の近傍画素（いまの場合、６画素Ｌ３，Ｌ２，Ｌ１，Ｒ１，Ｒ２，Ｒ３）から成るタップを設定して、次式（１）のように、注目画素Ｃの画素値とタップを構成する近傍画素の画素値をタップ係数（例えば、｛１，２，３，４，３，２，１｝）用いて加重平均して、注目画素Ｃに対応する変換結果Ｃ’として出力する。

【０００９】
ただし、図４に示すように、注目画素Ｃの画素値との差分が、所定の閾値εよりも大きい近傍画素（図４の場合、近傍画素Ｒ２，Ｒ３）については、画素値を注目画素Ｃのものと置換して計算するようにする。すなわち、図４の場合、次式（２）が計算される。

【００１０】
図１に戻る。減算部２は、前段から入力される画像信号（εフィルタ１に対する入力と同一のもの）から、εフィルタ１から入力される画像信号を減算することにより、エッジ以外の僅かに変動している画像信号を抽出して増幅部３に出力する。増幅部３は、減算部２の出力を増幅して加算部４に出力する。加算部４は、増幅部３から出力されるエッジ以外の部分が増幅されている画像信号と、εフィルタ１から入力されるエッジのみが抽出された画像信号を加算する。この加算結果が、急峻なエッジが保持された状態で当該エッジ以外の部分が増幅されている画像信号となっている。
【００１１】
ところで、上述したεフィルタ１によって、急峻なエッジを保持した状態で当該エッジ以外の部分を平滑化する場合、平滑化の効果を充分に得るためには、タップを構成する近傍画素の数は７画素程度では不十分であって、より多くの画素でタップを構成する必要があり、計算量が多くなるという問題があった。
【００１２】
そこで、本出願人は、構成する近傍画素の間隔（以下、インターバルと記述する）が異なる複数のタップを設定し、当該インターバルの異なる複数のタップを段階的に用いることにより、計算量を減らす方法を提案済である（例えば、特許文献２参照）。
【００１３】
【特許文献１】
特開２００１−２９８６２１号公報
【特許文献２】
特願２００２−３３３４８８号
【００１４】
【発明が解決しようとする課題】
しかしながら、特許文献２の方法では、例えば、インターバル４（近傍画素の間隔が４画素）のタップが設定されていて、図５に示すように、画素値のエッジの幅がタップのインターバルに収まってしまう場合、εフィルタ１の出力は図６に示すとおりとなってしまい、当該エッジを正確に保持することができないという課題があった。
【００１５】
本発明はこのような状況に鑑みてなされたものであり、画素値の変化が急峻なエッジがタップのインターバルに収まってしまう場合においても、当該エッジを正確に保持した状態で、エッジ以外の部分を平滑化できるようにすることを目的とする。
【００１６】
【課題を解決するための手段】
本発明の信号処理装置は、連続的に配置されている信号を段階的に平滑化する複数の平滑化手段を含み、平滑化手段は、連続的に配置されている信号を、順次、注目信号に指定する指定手段と、指定手段によって指定された注目信号を基準として、連続的に配置されている信号のなかから所定の間隔毎に複数の近傍信号を決定する決定手段と、注目信号と複数の近傍信号を、異なる複数の係数組を用いて加重平均し、複数の平滑化信号を算出する算出手段と、注目信号と、近傍信号および近傍信号から注目画素の方向の所定の間隔の間に配置されている信号とのレベルの差分をそれぞれ算出し、差分が所定の閾値よりも大きいか否かを判定して、算出した差分のうちの少なくとも１つが所定の閾値よりも大きいと判定した場合、近傍信号、および注目信号について近傍信号と対称の位置に配置されている近傍信号にフラグを立て、さらに、注目信号の位置を基準として、フラグを立てた近傍信号より遠方に配置されている近傍信号にもフラグを立てるフラグ設定手段と、算出手段を制御して、フラグが立てられている近傍信号の代わりに注目信号を用いて平滑化信号を算出させる制御手段と、フラグ設定手段の設定結果に対応して、算出手段によって算出された複数の平滑化信号のうちの１つを選択する選択手段とを含むことを特徴とする。
【００１７】
前記信号は、画像を構成する画素の画素値とすることができる。
【００１８】
前記複数の平滑化手段にそれぞれ含まれる前記決定手段は、前記所定の間隔がそれぞれ異なるようにすることができる。
【００１９】
本発明の信号処理方法は、連続的に配置されている信号を段階的に平滑化する複数の平滑化ステップを含み、平滑化ステップの処理は、連続的に配置されている信号を、順次、注目信号に指定する指定ステップと、指定ステップの処理で指定された注目信号を基準として、連続的に配置されている信号のなかから所定の間隔毎に複数の近傍信号を決定する決定ステップと、注目信号と複数の近傍信号を、異なる複数の係数組を用いて加重平均し、複数の平滑化信号を算出する算出ステップと、注目信号と、近傍信号および近傍信号から注目画素の方向の所定の間隔の間に配置されている信号とのレベルの差分をそれぞれ算出し、差分が所定の閾値よりも大きいか否かを判定して、算出した差分のうちの少なくとも１つが所定の閾値よりも大きいと判定した場合、近傍信号、および注目信号について近傍信号と対称の位置に配置されている近傍信号にフラグを立て、さらに、注目信号の位置を基準として、フラグを立てた近傍信号より遠方に配置されている近傍信号にもフラグを立てるフラグ設定ステップと、算出ステップの処理を制御して、フラグが立てられている近傍信号の代わりに注目信号を用いて平滑化信号を算出させる制御ステップと、フラグ設定ステップの処理での設定結果に対応して、算出ステップの処理で算出された複数の平滑化信号のうちの１つを選択する選択ステップとを含むことを特徴とする。
【００２０】
本発明の記録媒体のプログラムは、連続的に配置されている信号を段階的に平滑化する複数の平滑化ステップを含み、平滑化ステップの処理は、連続的に配置されている信号を、順次、注目信号に指定する指定ステップと、指定ステップの処理で指定された注目信号を基準として、連続的に配置されている信号のなかから所定の間隔毎に複数の近傍信号を決定する決定ステップと、注目信号と複数の近傍信号を、異なる複数の係数組を用いて加重平均し、複数の平滑化信号を算出する算出ステップと、注目信号と、近傍信号および近傍信号から注目画素の方向の所定の間隔の間に配置されている信号とのレベルの差分をそれぞれ算出し、差分が所定の閾値よりも大きいか否かを判定して、算出した差分のうちの少なくとも１つが所定の閾値よりも大きいと判定した場合、近傍信号、および注目信号について近傍信号と対称の位置に配置されている近傍信号にフラグを立て、さらに、注目信号の位置を基準として、フラグを立てた近傍信号より遠方に配置されている近傍信号にもフラグを立てるフラグ設定ステップと、算出ステップの処理を制御して、フラグが立てられている近傍信号の代わりに注目信号を用いて平滑化信号を算出させる制御ステップと、フラグ設定ステップの処理での設定結果に対応して、算出ステップの処理で算出された複数の平滑化信号のうちの１つを選択する選択ステップとを含むことを特徴とする。
【００２１】
本発明のプログラムは、連続的に配置されている信号を段階的に平滑化する複数の平滑化ステップを含む処理をコンピュータに実行させ、平滑化ステップの処理は、連続的に配置されている信号を、順次、注目信号に指定する指定ステップと、指定ステップの処理で指定された注目信号を基準として、連続的に配置されている信号のなかから所定の間隔毎に複数の近傍信号を決定する決定ステップと、注目信号と複数の近傍信号を、異なる複数の係数組を用いて加重平均し、複数の平滑化信号を算出する算出ステップと、注目信号と、近傍信号および近傍信号から注目画素の方向の所定の間隔の間に配置されている信号とのレベルの差分をそれぞれ算出し、差分が所定の閾値よりも大きいか否かを判定して、算出した差分のうちの少なくとも１つが所定の閾値よりも大きいと判定した場合、近傍信号、および注目信号について近傍信号と対称の位置に配置されている近傍信号にフラグを立て、さらに、注目信号の位置を基準として、フラグを立てた近傍信号より遠方に配置されている近傍信号にもフラグを立てるフラグ設定ステップと、算出ステップの処理を制御して、フラグが立てられている近傍信号の代わりに注目信号を用いて平滑化信号を算出させる制御ステップと、フラグ設定ステップの処理での設定結果に対応して、算出ステップの処理で算出された複数の平滑化信号のうちの１つを選択する選択ステップとを含むことを特徴とする。
【００２２】
本発明の信号処理装置および方法、並びにプログラムにおいては、連続的に配置されている信号が段階的に平滑化され、各平滑化の処理では、連続的に配置されている信号が、順次、注目信号に指定され、指定された注目信号を基準として、連続的に配置されている信号のなかから所定の間隔毎に複数の近傍信号が決定される。また、注目信号と、近傍信号および近傍信号から注目画素の方向の所定の間隔の間に配置されている信号とのレベルの差分がそれぞれ算出され、差分が所定の閾値よりも大きいか否かが判定されて、算出した差分のうちの少なくとも１つが所定の閾値よりも大きいと判定された場合、近傍信号、および注目信号について近傍信号と対称の位置に配置されている近傍信号にフラグが立てられ、さらに、注目信号の位置を基準として、フラグが立てられた近傍信号より遠方に配置されている近傍信号にもフラグが立てられる。そして、フラグが立てられている近傍信号の代わりに注目信号が用いられて、注目信号と複数の近傍信号が異なる複数の係数組を用いて加重平均され、複数の平滑化信号が算出される。また、フラグ設定の処理での設定結果に対応して、算出された複数の平滑化信号のうちの１つが選択される。
【００２３】
【発明の実施の形態】
図５は、本発明の一実施の形態である非線形フィルタの構成例を示している。この非線形フィルタ１１は、図１に示された画像信号処理装置のεフィルタ１と置換して用いるものであり、インターバル４の５画素のタップを用いてフィルタリングを行う狭帯域処理部１２、狭帯域処理部１２の出力に対してインターバル２の５画素のタップを用いてフィルタリングを行う中帯域処理部１６、および中帯域処理部１６の出力に対してインターバル１の５画素のタップを用いてフィルタリングを行う広帯域処理部２０から構成される。
【００２４】
なお、インターバル４のタップは、図８に示すように、水平方向に配置された画素列のうち、注目画素Ｃを基準として左側の８番目、４番目、右側の４番目、８番目の画素ｌ８，ｌ４，ｒ４，ｒ８が、それぞれ近傍画素Ｌ２，Ｌ１，Ｒ１，Ｒ２とされる。
【００２５】
インターバル２のタップは、図９に示すように、水平方向に配置された画素列のうち、注目画素Ｃを基準として左側の４番目、２番目、右側の２番目、４番目の画素ｌ４，ｌ２，ｒ２，ｒ４が、それぞれ近傍画素Ｌ２，Ｌ１，Ｒ１，Ｒ２とされる。
【００２６】
インターバル１のタップは、図１０に示すように、水平方向に配置された画素列のうち、注目画素Ｃを基準として左側の２番目、１番目、右側の１番目、２番目の画素ｌ２，ｌ１，ｒ１，ｒ２が、それぞれ近傍画素Ｌ２，Ｌ１，Ｒ１，Ｒ２とされる。
【００２７】
図７に戻る。狭帯域処理部１２は、上段から入力される画像信号に基づいて制御信号を発生する制御信号発生部１３、上段から入力された画像信号にインターバル４の５画素からなるタップを設定し、タップに含まれる画素の画素値を３種類のタップ係数を用いて加重平均し、３種類の平滑化信号Ｆ１１，Ｆ１３，Ｆ１５を演算するLPF(Low Pass Filter)１４、および制御信号発生部１３により発生される制御信号に従って平滑化信号Ｆ１１，Ｆ１３，Ｆ１５のうちの１つを後段の中帯域処理部１６に出力するセレクタ１５から構成される。
【００２８】
中帯域処理部１６は、上段から入力される画像信号に基づいて制御信号を発生する制御信号発生部１７、狭帯域処理部１２のセレクタ１５から入力された画像信号にインターバル２の５画素からなるタップを設定し、タップに含まれる画素の画素値を３種類のタップ係数を用いて加重平均し、３種類の平滑化信号Ｆ２１，Ｆ２３，Ｆ２５を演算するLPF１８、および制御信号発生部１７により発生される制御信号に従って平滑化信号Ｆ２１，Ｆ２３，Ｆ２５のうちの１つを後段の広帯域処理部２０に出力するセレクタ１９から構成される。
【００２９】
広帯域処理部２０は、上段から入力される画像信号に基づいて制御信号を発生する制御信号発生部２１、中帯域処理部１６のセレクタ１９から入力された画像信号にインターバル１の５画素からなるタップを設定し、タップに含まれる画素の画素値を３種類のタップ係数を用いて加重平均し、３種類の平滑化信号Ｆ３１，Ｆ３３，Ｆ３５を演算するLPF２２、および制御信号発生部２１により発生される制御信号に従って平滑化信号Ｆ３１，Ｆ３３，Ｆ３５のうちの１つを後段に出力するセレクタ２３から構成される。
【００３０】
図１１は、LPF１４，１８，２２において用いられるタップ係数の一例を示している。
【００３１】
LPF１４において、インターバル４のタップが設定され、平滑化信号Ｆ１１が演算されるとき、次式（３）に示されるように、タップ係数｛０，０，１，０，０｝が用いられる。
Ｆ１１＝（０・Ｌ２＋０・Ｌ１＋１・Ｃ＋０・Ｒ１＋０・Ｒ２）／１ …（３）
【００３２】
この演算は、従来のεフィルタ１において、１７画素からなるタップが設定され、タップ係数｛０，０，０，０，０，０，０，０，１，０，０，０，０，０，０，０，０｝を用いて加重平均することに相当する。
【００３３】
LPF１４において、インターバル４のタップが設定され、平滑化信号Ｆ１３が演算されるとき、次式（４）に示されるように、タップ係数｛０，１，２，１，０｝が用いられる。
Ｆ１３＝（０・Ｌ２＋１・Ｌ１＋２・Ｃ＋１・Ｒ１＋０・Ｒ２）／４ …（４）
【００３４】
この演算は、従来のεフィルタ１において、１７画素からなるタップが設定され、タップ係数｛０，０，０，０，１，０，０，０，２，０，０，０，１，０，０，０，０｝を用いて加重平均することに相当する。
【００３５】
LPF１４において、インターバル４のタップが設定され、平滑化信号Ｆ１５が演算されるとき、次式（５）に示されるように、タップ係数｛１，２，２，２，１｝が用いられる。
Ｆ１５＝（１・Ｌ２＋２・Ｌ１＋２・Ｃ＋２・Ｒ１＋１・Ｒ２）／８ …（５）
【００３６】
この演算は、従来のεフィルタ１において、１７画素からなるタップが設定され、タップ係数｛１，０，０，０，２，０，０，０，２，０，０，０，２，０，０，０，１｝を用いて加重平均することに相当する。
【００３７】
同様に、LPF１８において、インターバル２のタップが設定され、平滑化信号Ｆ２１が演算されるとき、式（３）に示されたように、タップ係数｛０，０，１，０，０｝が用いられる。この演算は、従来のεフィルタ１において、９画素からなるタップが設定され、タップ係数｛０，０，０，０，１，０，０，０，０｝を用いて加重平均することに相当する。
【００３８】
LPF１８において、インターバル２のタップが設定され、平滑化信号Ｆ２３が演算されるとき、式（４）に示されたように、タップ係数｛０，１，２，１，０｝が用いられる。この演算は、従来のεフィルタ１において、９画素からなるタップが設定され、タップ係数｛０，０，１，０，２，０，１，０，０｝を用いて加重平均することに相当する。
【００３９】
LPF１８において、インターバル２のタップが設定され、平滑化信号Ｆ２５が演算されるとき、式（５）に示されたように、タップ係数｛１，２，２，２，１｝が用いられる。この演算は、従来のεフィルタ１において、９画素からなるタップが設定され、タップ係数｛１，０，２，０，２，０，２，０，１｝を用いて加重平均することに相当する。
【００４０】
また同様に、LPF２２において、インターバル１のタップが設定され、平滑化信号Ｆ３１が演算されるとき、式（３）に示されたように、タップ係数｛０，０，１，０，０｝が用いられる。
【００４１】
LPF２２において、インターバル１のタップが設定され、平滑化信号Ｆ３３が演算されるとき、式（４）に示されたように、タップ係数｛０，１，２，１，０｝が用いられる。
【００４２】
LPF２２において、インターバル１のタップが設定され、平滑化信号Ｆ３５が演算されるとき、式（５）に示されたように、タップ係数｛１，２，２，２，１｝が用いられる。
【００４３】
ただし、上述した式（３）乃至（５）に示された演算において、近傍画素Ｌ２，Ｌ１，Ｒ１，Ｒ２の画素値は、注目画素Ｃの画素値との差分が所定の閾値εよりも大きいか否かに応じて、注目画素Ｃの画素値と置換されて演算される。
【００４４】
上述したように、非線形フィルタ１１の出力は、LPF１４，１８，２２による３段階のフィルタリングが施されたものとなる。例えば、狭帯域処理部１２のセレクタ１５において平滑化信号Ｆ１５が選択され、中帯域処理部１６のセレクタ１５において平滑化信号Ｆ２５が選択され、広帯域処理部２０のセレクタ２３において平滑化信号Ｆ３５が選択された場合、非線形フィルタ１１の出力となる平滑化信号Ｆ３５は、従来のεフィルタ１において、２７画素からなるタップが設定され、タップ係数｛１，２，３，４，６，８，１０，１２，１３，１４，１５，１６，１６，１６，１６，１６，１５，１４，１３，１２，１０，８，６，４，３，２，１｝を用いて加重平均した結果に相当することになる。
【００４５】
次に、非線形フィルタ１１の動作について説明する。まず、狭帯域処理部１２のフィルタリング処理について、図１２のフローチャートを参照して説明する。
【００４６】
ステップＳ１において、制御信号発生部１３は、入力された画像信号を構成するラスター順の画素を、順次、１画素ずつ注目画素Ｃに決定する。ステップＳ２において、制御信号発生部１３は、図８に示されたように、注目画素Ｃを中心とするインターバル４の近傍画素Ｌ２，Ｌ１，Ｒ１，Ｒ２からなるタップを設定する。ステップＳ３において、制御信号発生部１３は、注目画素Ｃと、注目画素Ｃの左側に位置する各画素ｌ１乃至ｌ８および右側に位置する各画素ｒ１乃至ｒ８との画素値の差分を算出する。
【００４７】
ステップＳ４において、制御信号発生部１３は、ステップＳ３の処理で算出した差分が所定の閾値εよりも大きいか否かを判定し、判定結果に基づいて、近傍画素に設けたフラグをオンとする。また、フラグをオンとした近傍画素と注目画素Ｃについて対称の位置にある近傍画素のフラグもオンとする。さらに、フラグをオンとした注目画素Ｃについて対称の位置にある左右の近傍画素よりも注目画素Ｃから見て遠方にある近傍画素のフラグもオンとする。
【００４８】
例えば、近傍画素Ｌ１については、注目画素Ｃと各画素ｌ１乃至ｌ４との画素値の差分が所定の閾値εよりも大きいか否かが判定され、４つの差分｜Ｃ−ｌ１｜，｜Ｃ−ｌ２｜，｜Ｃ−ｌ３｜，｜Ｃ−ｌ４｜のうち、１つでも所定の閾値εよりも大きいと判定された場合、近傍画素Ｌ１のフラグがオンとされる。また、近傍画素Ｌ１と注目画素Ｃについて対称の位置にある近傍画素Ｒ１のフラグもオンとされる。さらに、注目画素Ｃから見て近傍画素Ｌ１，Ｒ１よりも遠方に位置する近傍画素Ｌ２，Ｒ２のフラグもオンとされる。
【００４９】
近傍画素Ｌ２については、注目画素Ｃと各画素ｌ５乃至ｌ８との画素値の差分が所定の閾値εよりも大きいか否かが判定され、４つの差分｜Ｃ−ｌ５｜，｜Ｃ−ｌ６｜，｜Ｃ−ｌ７｜，｜Ｃ−ｌ８｜のうち、１つでも所定の閾値εよりも大きいと判定された場合、近傍画素Ｌ２のフラグがオンとされる。また、近傍画素Ｌ２と注目画素Ｃについて対称の位置にある近傍画素Ｒ２のフラグもオンとされる。
【００５０】
近傍画素Ｒ１については、注目画素Ｃと各画素ｒ１乃至ｒ４との画素値の差分が所定の閾値εよりも大きいか否かが判定され、４つの差分｜Ｃ−ｒ１｜，｜Ｃ−ｒ２｜，｜Ｃ−ｒ３｜，｜Ｃ−ｒ４｜のうち、１つでも所定の閾値εよりも大きいと判定された場合、近傍画素Ｒ１のフラグがオンとされる。また、近傍画素Ｒ１と注目画素Ｃについて対称の位置にある近傍画素Ｌ１のフラグもオンとされる。さらに、注目画素Ｃから見て近傍画素Ｌ１，Ｒ１よりも遠方に位置する近傍画素Ｌ２，Ｒ２のフラグもオンとされる。
【００５１】
近傍画素Ｒ２については、注目画素Ｃと各画素ｒ５乃至ｒ８との画素値の差分が所定の閾値εよりも大きいか否かが判定され、４つの差分｜Ｃ−ｒ５｜，｜Ｃ−ｒ６｜，｜Ｃ−ｒ７｜，｜Ｃ−ｒ８｜のうち、１つでも所定の閾値εよりも大きいと判定された場合、近傍画素Ｒ２のフラグがオンとされる。また、近傍画素Ｒ２と注目画素Ｃについて対称の位置にある近傍画素Ｌ２のフラグもオンとされる。
【００５２】
さらに、ステップＳ４において、制御信号発生部１３は、近傍画素Ｌ２，Ｌ１，Ｒ１，Ｒ２のフラグのオン／オフの状態を、制御信号としてLPF１４およびセレクタ１５に出力する。
【００５３】
ステップＳ５において、LPF１３は、注目画素Ｃと近傍画素Ｌ２，Ｌ１，Ｒ１，Ｒ２を、式（１）乃至（３）を用いて加重平均し、平滑化信号Ｆ１１，Ｆ１３，Ｆ１５を算出して、セレクタ１５に出力する。ただし、フラグがオンとされている近傍画素については、画素値を注目画素Ｃのものと置換して演算するようにする。
【００５４】
例えば、近傍画素Ｌ２，Ｒ２のフラグがオンである場合、平滑化信号Ｆ１１，Ｆ１３，Ｆ１５は、次式のように演算される。
Ｆ１１＝（０・Ｃ＋０・Ｌ１＋１・Ｃ＋０・Ｒ１＋０・Ｃ）／１
Ｆ１３＝（０・Ｃ＋１・Ｌ１＋２・Ｃ＋１・Ｒ１＋０・Ｃ）／４
Ｆ１５＝（１・Ｃ＋２・Ｌ１＋２・Ｃ＋２・Ｒ１＋１・Ｃ）／８
【００５５】
ステップＳ６において、セレクタ１５は、制御信号発生部１３からの制御信号に基づき、近傍画素Ｌ１，Ｒ１のフラグがオンであるか否かを判定する。近傍画素Ｌ１，Ｒ１のフラグがオンであると判定された場合、処理はステップＳ７に進む。ステップＳ７において、セレクタ１５は、LPF１４から入力された平滑化信号Ｆ１１，Ｆ１３，Ｆ１５のうち、平滑化信号Ｆ１１を後段の中帯域処理部１６に出力する。
【００５６】
ステップＳ６において、近傍画素Ｌ１，Ｒ１のフラグがオンではないと判定された場合、処理はステップＳ８に進む。ステップＳ８において、セレクタ１５は、制御信号発生部１３からの制御信号に基づき、近傍画素Ｌ２，Ｒ２のフラグがオンであるか否かを判定する。近傍画素Ｌ２，Ｒ２のフラグがオンであると判定された場合、処理はステップＳ９に進む。ステップＳ９において、セレクタ１５は、LPF１４から入力された平滑化信号Ｆ１１，Ｆ１３，Ｆ１５のうち、平滑化信号Ｆ１３を後段の中帯域処理部１６に出力する。
【００５７】
ステップＳ８において、近傍画素Ｌ２，Ｒ２のフラグがオンではないと判定された場合、処理はステップＳ１０に進む。ステップＳ１０において、セレクタ１５は、LPF１４から入力された平滑化信号Ｆ１１，Ｆ１３，Ｆ１５のうち、平滑化信号Ｆ１５を後段の中帯域処理部１６に出力する。以上、狭帯域処理部１２によるフィルタリング処理の説明を終了する。
【００５８】
なお、上述した説明においては、LPF１４において平滑化信号Ｆ１１，Ｆ１３，Ｆ１５を演算し、セレクタ１５において、制御信号発生部１３からの制御信号に従い、平滑化信号Ｆ１１，Ｆ１３，Ｆ１５のうちの１つを後段に出力するようにしたが、LPF１４において、制御信号発生部１３からの制御信号に従い、平滑化信号Ｆ１１，Ｆ１３，Ｆ１５のうちの１つを演算するようにし、セレクタ１５を省略する用にしてもよい。
【００５９】
狭帯域処理部１２の出力は、中帯域処理部１６によりフィルタリング処理が施されるが、その処理は、インターバル２のタップが設定されることの他、上述した狭帯域処理部１２によるフィルタリング処理と同様であるので、その説明は省略する。
【００６０】
中帯域処理部１６の出力は、広帯処理部２０によりフィルタリング処理が施されるが、その処理も、インターバル１のタップが設定されることの他、上述した狭帯域処理部１２によるフィルタリング処理と同様であるので、その説明は省略する。
【００６１】
以上説明した非線形フィルタ１１の動作により、例えば、図５に示されたように、画素値の変化が急峻なエッジの幅がタップのインターバルに収まる画像信号が入力された場合においても、その出力は、図１３に示すように、当該エッジが正確に保持されたものとなる。
【００６２】
なお、本発明は、ビデオカメラ、ディジタルスチルカメラ、プリンタ、ディスプレイ、コンピュータ等の画像信号を扱うあらゆる装置に適用することが可能である。
【００６３】
例えば、画像処理を実行するコンピュータに適用した場合、画像コントラストを修正する際、ダイナミックレンジを維持しながら高品位なコントラスト修正画像を得ることができ、また異なる照明条件下で得られた画像同士を合成する際、それぞれのコントラスト成分の違いだけを補正でき、自然な合成画像を生成することができる。
【００６４】
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば、図１４に示すように構成される汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【００６５】
このパーソナルコンピュータ５０は、CPU(Central Processing Unit)５１を内蔵している。CPU５１にはバス５４を介して、入出力インタフェース５５が接続されている。バス５４には、ROM(Read Only Memory)５２およびRAM(Random Access Memory)５３が接続されている。
【００６６】
入出力インタフェース５５には、ユーザが操作コマンドを入力するキーボード、マウス、リモートコントローラなどの入力デバイスよりなる入力部５６、合成された映像信号をディスプレイに出力する出力部５７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部５８、およびモデム、LAN（Local Area Network）アダプタなどよりなり、インタネットに代表されるネットワークを介した通信処理を実行する通信部５９が接続されている。また、磁気ディスク６１（フレキシブルディスクを含む）、光ディスク６２（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク６３（ＭＤ(Mini Disc)を含む）、およびは半導体メモリ６４などの記録媒体に対してデータを読み書きするドライブ６０が接続されている。
【００６７】
CPU５１に上述したフィルタリング処理を実行させるプログラムは、磁気ディスク６１乃至半導体メモリ６４に格納された状態でパーソナルコンピュータに供給され、ドライブ６０によって読み出されて記憶部５８に内蔵されるハードディスクドライブにインストールされている。あるいは、ネットワークを介して供給されることも考えられる。記憶部５８にインストールされているプログラムは、入力部５６に入力されるユーザからのコマンドに対応するCPU５１の指令によって、記憶部５８からRAM５３にロードされて実行される。
【００６８】
なお、本明細書において、各フローチャートを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００６９】
【発明の効果】
以上のように、本発明によれば、画素値の変化が急峻なエッジの幅がタップのインターバルに収まるような画像信号を、当該エッジを正確に保持した状態で、エッジ以外の部分を平滑化することが可能となる。
【図面の簡単な説明】
【図１】画像内の急峻なエッジを保存した状態でエッジ以外の部分を強調する画像信号処理装置の構成例を示すブロック図である。
【図２】図１のεフィルタに入力される画像信号と、出力される画像信号を示す図である。
【図３】図１のεフィルタで用いられるタップの一例を示す図である。
【図４】図１のεフィルタの動作を説明するための図である。
【図５】εフィルタに入力する画像信号の一例を示す図である。
【図６】図５に示された画像信号に対応する、フィルタリング後の画像信号の一例を示す図である。
【図７】本発明を適用した非線形フィルタの構成例を示すブロック図である。
【図８】インターバル４のタップを示す図である。
【図９】インターバル２のタップを示す図である。
【図１０】インターバル１のタップを示す図である。
【図１１】タップ係数を示す図である。
【図１２】図７の狭帯域処理部によるフィルタリング処理を説明するフローチャートである。
【図１３】図５に示された画像信号を入力として、図７の非線形フィルタから出力される画像信号を示す図である。
【図１４】汎用のパーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
１１ 非線形フィルタ， １２ 狭帯域処理部， １３ 制御信号発生部， １４ LPF， １５ セレクタ， １６ 中帯域処理部， １７ 制御信号発生部， １８ LPF， １９ セレクタ， ２０ 広帯域処理部， ２１ 制御信号発生部， ２２ LPF， ２３ セレクタ， ５１ CPU， ６１ 磁気ディスク， ６２ 光ディスク， ６３ 光磁気ディスク， ６４ 半導体メモリ

Claims (6)

1. 連続的に配置されている信号のレベルを調整する信号処理装置において、
   連続的に配置されている前記信号を段階的に平滑化する複数の平滑化手段を含み、
   前記平滑化手段は、
   連続的に配置されている前記信号を、順次、注目信号に指定する指定手段と、
   前記指定手段によって指定された前記注目信号を基準として、連続的に配置されている前記信号のなかから所定の間隔毎に複数の近傍信号を決定する決定手段と、
   前記注目信号と複数の前記近傍信号を、異なる複数の係数組を用いて加重平均し、複数の平滑化信号を算出する算出手段と、
   前記注目信号と、前記近傍信号および前記近傍信号から前記注目画素の方向の前記所定の間隔の間に配置されている信号とのレベルの差分をそれぞれ算出し、前記差分が所定の閾値よりも大きいか否かを判定して、算出した前記差分のうちの少なくとも１つが所定の閾値よりも大きいと判定した場合、前記近傍信号、および前記注目信号について前記近傍信号と対称の位置に配置されている近傍信号にフラグを立て、さらに、前記注目信号の位置を基準として、フラグを立てた前記近傍信号より遠方に配置されている近傍信号にもフラグを立てるフラグ設定手段と、
   前記算出手段を制御して、前記フラグが立てられている前記近傍信号の代わりに前記注目信号を用いて前記平滑化信号を算出させる制御手段と、
   前記フラグ設定手段の設定結果に対応して、前記算出手段によって算出された前記複数の平滑化信号のうちの１つを選択する選択手段とを含む
   ことを特徴とする信号処理装置。
2. 前記信号は、画像を構成する画素の画素値である
   ことを特徴とする請求項１に記載の信号処理装置。
3. 前記複数の平滑化手段にそれぞれ含まれる前記決定手段は、前記所定の間隔がそれぞれ異なる
   ことを特徴とする請求項１に記載の信号処理装置。
4. 連続的に配置されている信号のレベルを調整する信号処理方法において、
   連続的に配置されている前記信号を段階的に平滑化する複数の平滑化ステップを含み、
   前記平滑化ステップの処理は、
   連続的に配置されている前記信号を、順次、注目信号に指定する指定ステップと、
   前記指定ステップの処理で指定された前記注目信号を基準として、連続的に配置されている前記信号のなかから所定の間隔毎に複数の近傍信号を決定する決定ステップと、
   前記注目信号と複数の前記近傍信号を、異なる複数の係数組を用いて加重平均し、複数の平滑化信号を算出する算出ステップと、
   前記注目信号と、前記近傍信号および前記近傍信号から前記注目画素の方向の前記所定の間隔の間に配置されている信号とのレベルの差分をそれぞれ算出し、前記差分が所定の閾値よりも大きいか否かを判定して、算出した前記差分のうちの少なくとも１つが所定の閾値よりも大きいと判定した場合、前記近傍信号、および前記注目信号について前記近傍信号と対称の位置に配置されている近傍信号にフラグを立て、さらに、前記注目信号の位置を基準として、フラグを立てた前記近傍信号より遠方に配置されている近傍信号にもフラグを立てるフラグ設定ステップと、
   前記算出ステップの処理を制御して、前記フラグが立てられている前記近傍信号の代わりに前記注目信号を用いて前記平滑化信号を算出させる制御ステップと、
   前記フラグ設定ステップの処理での設定結果に対応して、前記算出ステップの処理で算出された前記複数の平滑化信号のうちの１つを選択する選択ステップとを含む
   ことを特徴とする信号処理方法。
5. 連続的に配置されている信号のレベルを調整するためのプログラムであって、
   連続的に配置されている前記信号を段階的に平滑化する複数の平滑化ステップを含み、
   前記平滑化ステップの処理は、
   連続的に配置されている前記信号を、順次、注目信号に指定する指定ステップと、
   前記指定ステップの処理で指定された前記注目信号を基準として、連続的に配置されている前記信号のなかから所定の間隔毎に複数の近傍信号を決定する決定ステップと、
   前記注目信号と複数の前記近傍信号を、異なる複数の係数組を用いて加重平均し、複数の平滑化信号を算出する算出ステップと、
   前記注目信号と、前記近傍信号および前記近傍信号から前記注目画素の方向の前記所定の間隔の間に配置されている信号とのレベルの差分をそれぞれ算出し、前記差分が所定の閾値よりも大きいか否かを判定して、算出した前記差分のうちの少なくとも１つが所定の閾値よりも大きいと判定した場合、前記近傍信号、および前記注目信号について前記近傍信号と対称の位置に配置されている近傍信号にフラグを立て、さらに、前記注目信号の位置を基準として、フラグを立てた前記近傍信号より遠方に配置されている近傍信号にもフラグを立てるフラグ設定ステップと、
   前記算出ステップの処理を制御して、前記フラグが立てられている前記近傍信号の代わりに前記注目信号を用いて前記平滑化信号を算出させる制御ステップと、
   前記フラグ設定ステップの処理での設定結果に対応して、前記算出ステップの処理で算出された前記複数の平滑化信号のうちの１つを選択する選択ステップとを含む
   ことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
6. 連続的に配置されている信号のレベルを調整するためのプログラムであって、
   連続的に配置されている前記信号を段階的に平滑化する複数の平滑化ステップを含む処理をコンピュータに実行させ、
   前記平滑化ステップの処理は、
   連続的に配置されている前記信号を、順次、注目信号に指定する指定ステップと、
   前記指定ステップの処理で指定された前記注目信号を基準として、連続的に配置されている前記信号のなかから所定の間隔毎に複数の近傍信号を決定する決定ステップと、
   前記注目信号と複数の前記近傍信号を、異なる複数の係数組を用いて加重平均し、複数の平滑化信号を算出する算出ステップと、
   前記注目信号と、前記近傍信号および前記近傍信号から前記注目画素の方向の前記所定の間隔の間に配置されている信号とのレベルの差分をそれぞれ算出し、前記差分が所定の閾値よりも大きいか否かを判定して、算出した前記差分のうちの少なくとも１つが所定の閾値よりも大きいと判定した場合、前記近傍信号、および前記注目信号について前記近傍信号と対称の位置に配置されている近傍信号にフラグを立て、さらに、前記注目信号の位置を基準として、フラグを立てた前記近傍信号より遠方に配置されている近傍信号にもフラグを立てるフラグ設定ステップと、
   前記算出ステップの処理を制御して、前記フラグが立てられている前記近傍信号の代わりに前記注目信号を用いて前記平滑化信号を算出させる制御ステップと、
   前記フラグ設定ステップの処理での設定結果に対応して、前記算出ステップの処理で算出された前記複数の平滑化信号のうちの１つを選択する選択ステップとを含む
   ことを特徴とするプログラム。

Images