JP4277550B2 - 信号処理装置および方法、記録媒体、並びにプログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、信号処理装置および方法、記録媒体、並びにプログラムに関し、例えば、画像の中のエッジを強調し過ぎることなく、エッジに囲まれた内部のテクスチャを強調する場合に用いて好適な信号処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
従来、ビデオカメラにおいては、CCD(Charge Coupled Device)，CMOS（Complementary Metal-Oxide Semiconductor）などの撮像素子により撮像された画像のコントラスト（明暗の差）および鮮鋭度（境界の明確さ）を向上させる方法として、階調変換によるコントラスト強調方法や画像中の高域成分のコントラストを強調する高域成分強調方法が考えられている。
【０００３】
コントラスト強調方法としては、画像の各画素に対して、その画素レベルを所定の入出力関係を持つ関数（以下、これをレベル変換関数と称する）で変換するトーンカーブ調整や、画素レベルの頻度分布に応じてレベル変換関数を適応的に変化させるヒストグラムイコライゼーションと呼ばれる方法が提案されている。
【０００４】
高域成分強調方法としては、画像からエッジを抽出し、当該抽出したエッジを強調するいわゆる輪郭強調を行うアンシャープマスクと呼ばれる方法が提案されている。
【０００５】
しかしながら、コントラスト強調方法においては、画像の全ダイナミックレンジ（最大レベルと最小レベルの差）のうち一部の輝度域しかコントラストを向上させることができない問題があることに加えて、トーンカーブ調整の場合には画像の最明部と最暗部において、またヒストグラムイコライゼーションの場合には頻度分布の少ない輝度域付近において、逆にコントラストが低下するという問題があった。さらに高域成分強調方法においては、画像の高域成分のコントラストのみが強調され、これにより画像のエッジ付近が不自然に強調され、画質が劣化することを避け得ないという課題があった。
【０００６】
そこで、従来、図１に示すように構成される画像信号処理装置により、入力画像データのうち、画素値の変化が急峻なエッジを保存した状態で当該エッジ以外の部分を増幅することにより、エッジ以外の部分を強調する方法が存在する（例えば、特許文献１）。
【０００７】
図１に示された画像信号処理装置において、入力された画像信号は、εフィルタ１、および減算部２に入力される。εフィルタ１は、図２Ａに示されるような急峻なエッジを挟んで僅かに変動する画像信号を入力とし、図２Ｂに示されるようなエッジのみが抽出された画像信号に変換して、減算部２および加算部４に出力する。
【０００８】
εフィルタ１の具体的な処理について、図３および図４を参照して説明する。εフィルタ１は、入力画像の各画素を順次、注目画素Ｃに決定し、図３に示すように、注目画素Ｃを中心として水平方向に連続する複数の近傍画素（いまの場合、６画素Ｌ３，Ｌ２，Ｌ１，Ｒ１，Ｒ２，Ｒ３）からなるタップを設定し、次式（１）のように、注目画素Ｃおよび複数の近傍画素の画素値を、タップ係数（例えば、｛１，２，３，４，３，２，１｝）用いて加重平均して、注目画素Ｃに対応する変換結果Ｃ’として出力する。
Ｃ’＝（１・Ｌ３＋２・Ｌ２＋３・Ｌ１＋４・Ｃ
＋３・Ｒ１＋２・Ｒ２＋１・Ｒ３）／１６ …（１）
【０００９】
ただし、図４に示すように、注目画素Ｃの画素値との差分が、所定の閾値ε以上である近傍画素（図４の場合、近傍画素Ｒ２，Ｒ３）については、画素値を注目画素Ｃのものと置換して計算するようにする。すなわち、図４の場合、次式（２）が計算される。
Ｃ’＝（１・Ｌ３＋２・Ｌ２＋３・Ｌ１＋４・Ｃ
＋３・Ｒ１＋２・Ｃ＋１・Ｃ）／１６ …（２）
【００１０】
図１に戻る。減算部２は、前段から入力される画像信号（εフィルタ１に対する入力と同一のもの）から、εフィルタ１から入力される画像信号を減算することにより、エッジ以外の僅かに変動している画像信号を抽出して増幅部３に出力する。増幅部３は、減算部２の出力を増幅して加算部４に出力する。加算部４は、増幅部３から出力されるエッジ以外の部分が増幅されている画像信号と、εフィルタ１から入力されるエッジのみが抽出された画像信号を加算する。この加算結果が、急峻なエッジが保持された状態で当該エッジ以外の部分が増幅されている画像信号となっている。
【００１１】
【特許文献１】
特開２００１−２９８６２１号公報
【００１２】
【発明が解決しようとする課題】
ところで、図１に示された画像信号処理装置のεフィルタ１では、所定の閾値εが１００であって、例えば、図５に示されるように、画素値が急峻に変化するエッジの画像信号が入力された場合、当該エッジの高さが１００以上であれば、εフィルタ１から出力される画像信号は、図６に示すように、エッジの形状が保持されるが、当該エッジの高さが閾値εよりも僅かでも小さい場合（例えば、エッジの高さが９９の場合）、εフィルタ１から出力される画像信号は、図７に示すように、エッジの形状が保持されない。なお、図５等において、横軸は画素の配置、縦軸は画素値を示している。
【００１３】
また、例えば、図８に示されるような形状のエッジの画像信号が入力された場合、当該エッジの高さが１００以上であれば、εフィルタ１から出力される画像信号は、図９に示すように、エッジの形状が保持されるが、当該エッジの高さが閾値εよりも僅かでも小さい場合（例えば、エッジの高さが９９の場合）、εフィルタ１から出力される画像信号は、図１０に示すように、エッジの形状が保持されない。
【００１４】
すなわち、従来のεフィルタ１では、入力された画像信号に含まれるエッジの高さが、閾値εを挟んで微少に変動した場合、フィルタリング後の画像信号ではエッジが大きく変動してしまい、視覚的に見映えが悪くなるという課題があった。
【００１５】
本発明はこのような状況に鑑みてなされたものであり、画素値の変化が急峻なエッジを正確に保持した状態で、エッジ以外の部分を平滑化するフィルタリング処理において、入力された画像信号に含まれるエッジの高さが微少に変動していた場合、変換後の画像信号でもエッジが緩やかに変動するようにすることを目的とする。
【００１６】
【課題を解決するための手段】
本発明の信号処理装置は、連続的に配置されている信号を、順次、注目信号に指定する指定手段と、指定された注目信号を基準として、連続的に配置されている信号のなかから所定の間隔毎に複数の近傍信号を決定する決定手段と、注目信号と複数の近傍信号を、異なる複数の係数組を用いて加重平均し、複数の平滑化信号を演算する演算手段と、注目信号と複数の近傍信号とのレベルの差分をそれぞれ算出し、算出した差分を予め設定された第１の閾値および第１の閾値よりも小さい第２の閾値と比較し、比較結果に基づいて重み付け係数を算出する算出手段と、算出された重み付け係数に従い、演算された複数の平滑化信号を合成する合成手段とを含み、算出手段は、差分が第１の閾値よりも大きい場合は重み付け係数を１とし、差分が第２の閾値より小さい場合は重み付け係数を０とする。
【００１７】
前記信号は、画像を構成する画素の画素値とすることができる。
【００１８】
前記指定手段、前記決定手段、前記演算手段、前記算出手段、および前記合成手段を含む信号処理系が複数存在し、複数の信号処理系は、直列に配置されているようにすることができる。
【００１９】
前記複数の信号処理系にそれぞれ含まれる前記決定手段は、所定の間隔がそれぞれ異なるようにすることができる。
【００２０】
本発明の信号処理方法は、連続的に配置されている信号を、順次、注目信号に指定する指定ステップと、指定された注目信号を基準として、連続的に配置されている信号のなかから所定の間隔毎に複数の近傍信号を決定する決定ステップと、注目信号と複数の近傍信号を、異なる複数の係数組を用いて加重平均し、複数の平滑化信号を演算する演算ステップと、注目信号と複数の近傍信号とのレベルの差分をそれぞれ算出し、算出した差分を予め設定された第１の閾値および第１の閾値よりも小さい第２の閾値と比較し、比較結果に基づいて重み付け係数を算出する算出ステップと、算出された重み付け係数に従い、演算された複数の平滑化信号を合成する合成ステップとを含み、算出ステップは、差分が第１の閾値よりも大きい場合は重み付け係数を１とし、差分が第２の閾値より小さい場合は重み付け係数を０とする。
【００２１】
本発明の記録媒体は、連続的に配置されている信号を、順次、注目信号に指定する指定ステップと、指定された注目信号を基準として、連続的に配置されている信号のなかから所定の間隔毎に複数の近傍信号を決定する決定ステップと、注目信号と複数の近傍信号を、異なる複数の係数組を用いて加重平均し、複数の平滑化信号を演算する演算ステップと、注目信号と複数の近傍信号とのレベルの差分をそれぞれ算出し、算出した差分を予め設定された第１の閾値および第１の閾値よりも小さい第２の閾値と比較し、比較結果に基づいて重み付け係数を算出する算出ステップと、算出された重み付け係数に従い、演算された複数の平滑化信号を合成する合成ステップとを含み、算出ステップは、差分が第１の閾値よりも大きい場合は重み付け係数を１とし、差分が第２の閾値より小さい場合は重み付け係数を０とする処理を信号処理装置のコンピュータに実行させるプログラムが記録されている。
【００２２】
本発明のプログラムは、連続的に配置されている信号を、順次、注目信号に指定する指定ステップと、指定された注目信号を基準として、連続的に配置されている信号のなかから所定の間隔毎に複数の近傍信号を決定する決定ステップと、注目信号と複数の近傍信号を、異なる複数の係数組を用いて加重平均し、複数の平滑化信号を演算する演算ステップと、注目信号と複数の近傍信号とのレベルの差分をそれぞれ算出し、算出した差分を予め設定された第１の閾値および第１の閾値よりも小さい第２の閾値と比較し、比較結果に基づいて重み付け係数を算出する算出ステップと、算出された重み付け係数に従い、演算された複数の平滑化信号を合成する合成ステップとを含み、算出ステップは、差分が第１の閾値よりも大きい場合は重み付け係数を１とし、差分が第２の閾値より小さい場合は重み付け係数を０とする処理をコンピュータに実行させる。
【００２３】
本発明においては、指定された注目信号を基準として、連続的に配置されている信号のなかから所定の間隔毎に複数の近傍信号が決定され、注目信号と複数の近傍信号が、異なる複数の係数組を用いて加重平均されて複数の平滑化信号が演算される。さらに、注目信号と複数の近傍信号とのレベルの差分がそれぞれ算出され、算出した差分が予め設定された第１の閾値および第１の閾値よりも小さい第２の閾値と比較され、比較結果に基づいて重み付け係数が算出され、算出された重み付け係数に従い、演算された複数の平滑化信号が合成される。なお、差分が第１の閾値よりも大きい場合は重み付け係数が１とされ、差分が第２の閾値より小さい場合は重み付け係数が０とされる。
【００２４】
【発明の実施の形態】
図１１は、本発明を適用した非線形フィルタの第１の構成例を示している。この非線形フィルタ１１は、図１に示された画像信号処理装置のεフィルタ１と置換して用いるものであり、入力された画像信号に含まれるエッジの高さが、所定の閾値を挟んで微少に変動していた場合、変換後の画像信号でもエッジが緩やかに変動するようにするものである。より具体的には、画像信号に含まれる画素値のエッジの高さが、所定の閾値ε１よりも小さくなったとしても、閾値ε２（ε２＜ε１）よりも小さくなるまでは、変換後の画像信号に含まれるエッジの変動を緩やかするものである。
【００２５】
非線形フィルタ１１は、上段から入力される画像信号に基づいて重み付け係数ｗ１，ｗ３を発生し、制御信号として合成部１４に出力する制御信号発生部１２、上段から入力された画像信号に、例えば、図１２に示すような注目画素Ｃを中心として左右に隣接する画素からなるタップ（すなわち、インターバル１のタップ）を設定し、タップに含まれる５画素の画素値を３種類のタップ係数を用いて加重平均し、３種類の平滑化信号Ｆ１，Ｆ３，Ｆ５を演算するLPF(Low Pass Filter)１３、および制御信号発生部１２により発生される制御信号に従って平滑化信号Ｆ１，Ｆ３，Ｆ５を合成する合成部１４から構成される。
【００２６】
図１３は、LPF１３において用いられるタップ係数の一例を示している。LPF１３においては、タップに含まれる５画素Ｌ２，Ｌ１，Ｃ、Ｒ１，Ｒ２が設定され、次式（３）に示されるように、タップ係数｛０，０，１，０，０｝を用いて、平滑化信号Ｆ１が演算される。
Ｆ１＝（０・Ｌ２＋０・Ｌ１＋１・Ｃ＋０・Ｒ１＋０・Ｒ２）／１ …（３）
【００２７】
また、LPF１３においては、次式（４）に示されるように、タップ係数｛０，１，２，１，０｝を用いて、平滑化信号Ｆ３が演算される。
Ｆ３＝（０・Ｌ２＋１・Ｌ１＋２・Ｃ＋１・Ｒ１＋０・Ｒ２）／４ …（４）
【００２８】
また、LPF１３においては、次式（５）に示されるように、タップ係数｛１，２，２，２，１｝を用いて、平滑化信号Ｆ５が演算される。
Ｆ５＝（１・Ｌ２＋２・Ｌ１＋２・Ｃ＋２・Ｒ１＋１・Ｒ２）／８ …（５）
【００２９】
次に、非線形フィルタ１１の動作について、図１４のフローチャートを参照して説明する。
【００３０】
ステップＳ１において、制御信号発生部１２は、入力された画像信号を構成するラスター順の画素を、順次、１画素ずつ注目画素Ｃに決定する。ステップＳ２において、制御信号発生部１２は、図２に示されたように、注目画素Ｃを中心として左右に隣接する画素Ｌ２，Ｌ１，Ｒ１，Ｒ２からなるタップを設定する。以下、タップに含まれる画素Ｌ２，Ｌ１，Ｒ１，Ｒ２を、近傍画素Ｌ２，Ｌ１，Ｒ１，Ｒ２と記述する。
【００３１】
ステップＳ３において、LPF１３は、制御信号発生部１２によって決定された注目画素Ｃと近傍画素Ｌ２，Ｌ１，Ｒ１，Ｒ２を、式（１）乃至（３）を用いて加重平均し、その結果得られる平滑化信号Ｆ１，Ｆ３，Ｆ５を、合成部１４に出力する。
【００３２】
ステップＳ４において、制御信号発生部１２は、注目画素Ｃと各近傍画素Ｌ２，Ｌ１，Ｒ１，Ｒ２との画素値の差分｜Ｌ２−Ｃ｜，｜Ｌ１−Ｃ｜，｜Ｒ１−Ｃ｜，｜Ｒ２−Ｃ｜を演算する。
【００３３】
ステップＳ５において、制御信号発生部１２は、ステップＳ４の処理で算出した差分に基づき、合成部１４において用いられる重み付け係数ｗ１，ｗ３を算出する。具体的は、注目画素Ｃと、注目画素Ｃを中心として対称の位置にある近傍画素Ｌ１，Ｒ１との画素値の差分｜Ｌ１−Ｃ｜，｜Ｒ１−Ｃ｜のうち、大きい方を変数ｄ１に代入し、
ｄ１＝MAX［｜Ｌ１−Ｃ｜，｜Ｒ１−Ｃ｜］
図１５に示すように、変数ｄ１に従って重み付け係数ｗ１を算出する。
ｄ１＜ε２である場合、 ｗ１＝０
ε２≦ｄ１＜ε１である場合、ｗ１＝（ｄ１−ε２）／（ε１−ε２）
ε１≦ｄ１である場合、 ｗ１＝１
【００３４】
同様に、注目画素Ｃと、注目画素Ｃを中心として対称の位置にある近傍画素Ｌ２，Ｒ２との画素値の差分｜Ｌ２−Ｃ｜，｜Ｒ２−Ｃ｜のうち、大きい方を変数ｄ２に代入し、
ｄ２＝MAX［｜Ｌ２−Ｃ｜，｜Ｒ２−Ｃ｜］
変数ｄ２に従って重み付け係数ｗ３を算出する。
ｄ２＜ε２である場合、 ｗ３＝０
ε２≦ｄ２＜ε１である場合、ｗ３＝（ｄ２−ε２）／（ε１−ε２）
ε１≦ｄ２である場合、 ｗ３＝１
【００３５】
このようにして算出された重み付け係数ｗ１，ｗ３は、制御信号として合成部１４に出力される。ステップＳ６において、合成部１４は、LPF１３により演算された平滑化信号Ｆ１，Ｆ３，Ｆ５を、制御信号発生部１２により算出された重み付け係数ｗ１，ｗ３を用い、次式（６）に従って合成して、注目画素Ｃのフィルタリング後の値Ｃ’として出力する。
Ｃ’＝ｗ１・Ｆ１＋（１−ｗ１）・ｗ３・Ｆ３
＋（１−ｗ１）・（１−ｗ３）・Ｆ５ …（６）
【００３６】
以上で非線形フィルタ１１の動作の説明を終了する。この非線形フィルタ１１によれば、例えば、閾値ε１が１００、閾値ε２が７０であって、図５に示されたように、画素値が急峻に変化するエッジの画像信号が入力された場合、当該エッジの高さが閾値ε１以上の１００であれば、非線形フィルタ１１から出力される画像信号は、図１６に示すように、エッジの形状が保持されたものとなり、当該エッジの高さが閾値ε１より小さい９０，８０となっても、非線形フィルタ１１から出力される画像信号は、図１７、図１８に示すように、エッジの形状が若干変化しただけで保持される。さらに、当該エッジの高さが徐々に小さくなるに従い、非線形フィルタ１１から出力される画像信号は、エッジの形状が徐々に変化し、当該エッジの高さが閾値ε２と等しい７０となった段階で、非線形フィルタ１１から出力される画像信号のエッジの形状は、図１９に示す程度となる。
【００３７】
図１９と、従来のεフィルタ１の出力を示した図７を比較して明らかなように、従来のεフィルタ１では、入力される画像信号のエッジの高さが、閾値ε＝１００よりも僅かに小さい９９であっても、図７に示されたように、フィルタリング後のエッジの形状は大きく変化してしまったが、本発明を適用した非線形フィルタ１１では、入力される画像信号のエッジの高さが、閾値ε１より小さくなっても、閾値ε２までの間では、フィルタリング後のエッジの形状は緩やかに変化することになる。
【００３８】
次に、図２０は、本発明を適用した非線形フィルタの第２の構成例を示している。この非線形フィルタ２１は、図１に示された画像信号処理装置のεフィルタ１と置換して用いるものであり、インターバル４の５画素のタップを設定してフィルタリング処理を行う狭帯域処理部２２、狭帯域処理部２２の出力に対してインターバル２の５画素のタップを設定してフィルタリング処理を行う中帯域処理部２６、および中帯域処理部２６の出力に対してインターバル１の５画素のタップを設定してフィルタリング処理を行う広帯域処理部３０から構成される。
【００３９】
インターバル４のタップは、図２１に示すように、水平方向に配置された画素列のうち、注目画素Ｃを基準として左側の８番目、４番目、右側の４番目、８番目の画素ｌ８，ｌ４，ｒ４，ｒ８が、それぞれ近傍画素Ｌ２，Ｌ１，Ｒ１，Ｒ２とされる。
【００４０】
インターバル２のタップは、図２２に示すように、水平方向に配置された画素列のうち、注目画素Ｃを基準として左側の４番目、２番目、右側の２番目、４番目の画素ｌ４，ｌ２，ｒ２，ｒ４が、それぞれ近傍画素Ｌ２，Ｌ１，Ｒ１，Ｒ２とされる。
【００４１】
インターバル１のタップは、図２３に示すように、水平方向に配置された画素列のうち、注目画素Ｃを基準として左側の２番目、１番目、右側の１番目、２番目の画素ｌ２，ｌ１，ｒ１，ｒ２が、それぞれ近傍画素Ｌ２，Ｌ１，Ｒ１，Ｒ２とされる。
【００４２】
図２０に戻る。狭帯域処理部２２は、図１１に示された非線形フィルタ１１と同様に構成される。すなわち、狭帯域処理部２２の制御信号発生部２３、LPF２４、および合成部２５が、それぞれ非線形フィルタ１１の制御信号発生部１２、LPF１３、および合成部１４に相当する。狭帯域処理部２２の非線形フィルタ１１に対する相違点は、非線形フィルタ１１では図１２に示されたインターバル１のタップを設定することに対して、狭帯域処理部２２では図２１に示されたインターバル４のタップを設定することである。
【００４３】
中帯域処理部２６も、図１１に示された非線形フィルタ１１と同様に構成される。すなわち、中帯域処理部２６の制御信号発生部２７、LPF２８、および合成部２９が、それぞれ非線形フィルタ１１の制御信号発生部１２、LPF１３、および合成部１４に相当する。中帯域処理部２６の非線形フィルタ１１に対する相違点は、図２２に示されたインターバル２のタップを設定することである。
【００４４】
さらに、広帯域処理３０も、図１１に示された非線形フィルタ１１と同様に構成される。すなわち、中帯域処理部２６の制御信号発生部３１、LPF３２、および合成部３３が、それぞれ非線形フィルタ１１の制御信号発生部１２、LPF１３、および合成部１４に相当する。中帯域処理部２６は、非線形フィルタ１１と同様に、図２３に示されたインターバル１のタップを設定する。
【００４５】
図２４は、狭帯域処理部２２のLPF２４、中帯域処理部２６のLPF２８、および広帯域処理部３０のLPF３２において用いられるタップ係数の一例を示している。
【００４６】
LPF２４において、インターバル４のタップが設定され、平滑化信号Ｆ１１が演算されるとき、式（３）と同様に、タップ係数｛０，０，１，０，０｝が用いられる。この演算は、従来のεフィルタ１において、１７画素からなるタップが設定され、タップ係数｛０，０，０，０，０，０，０，０，１，０，０，０，０，０，０，０，０｝を用いて加重平均することに相当する。
【００４７】
LPF２４において、インターバル４のタップが設定され、平滑化信号Ｆ１３が演算されるとき、式（４）と同様に、タップ係数｛０，１，２，１，０｝が用いられる。この演算は、従来のεフィルタ１において、１７画素からなるタップが設定され、タップ係数｛０，０，０，０，１，０，０，０，２，０，０，０，１，０，０，０，０｝を用いて加重平均することに相当する。
【００４８】
LPF２４において、インターバル４のタップが設定され、平滑化信号Ｆ１５が演算されるとき、式（５）と同様に、タップ係数｛１，２，２，２，１｝が用いられる。この演算は、従来のεフィルタ１において、１７画素からなるタップが設定され、タップ係数｛１，０，０，０，２，０，０，０，２，０，０，０，２，０，０，０，１｝を用いて加重平均することに相当する。
【００４９】
LPF２８において、インターバル２のタップが設定され、平滑化信号Ｆ２１が演算されるとき、式（３）と同様に、タップ係数｛０，０，１，０，０｝が用いられる。この演算は、従来のεフィルタ１において、９画素からなるタップが設定され、タップ係数｛０，０，０，０，１，０，０，０，０｝を用いて加重平均することに相当する。
【００５０】
LPF２８において、インターバル２のタップが設定され、平滑化信号Ｆ２３が演算されるとき、式（４）と同様に、タップ係数｛０，１，２，１，０｝が用いられる。この演算は、従来のεフィルタ１において、９画素からなるタップが設定され、タップ係数｛０，０，１，０，２，０，１，０，０｝を用いて加重平均することに相当する。
【００５１】
LPF２８において、インターバル２のタップが設定され、平滑化信号Ｆ２５が演算されるとき、式（５）と同様に、タップ係数｛１，２，２，２，１｝が用いられる。この演算は、従来のεフィルタ１において、９画素からなるタップが設定され、タップ係数｛１，０，２，０，２，０，２，０，１｝を用いて加重平均することに相当する。
【００５２】
LPF３２において、インターバル１のタップが設定され、平滑化信号Ｆ３１が演算されるとき、式（３）と同様に、タップ係数｛０，０，１，０，０｝が用いられる。
【００５３】
LPF３２において、インターバル１のタップが設定され、平滑化信号Ｆ３３が演算されるとき、式（４）と同様に、タップ係数｛０，１，２，１，０｝が用いられる。
【００５４】
LPF３２において、インターバル１のタップが設定され、平滑化信号Ｆ３５が演算されるとき、式（５）と同様に、タップ係数｛１，２，２，２，１｝が用いられる。
【００５５】
次に、非線形フィルタ２１の動作について説明する。まず、狭帯域処理部２２のフィルタリング処理について、図１４のフローチャートを流用して説明する。
【００５６】
ステップＳ１において、制御信号発生部２３は、入力された画像信号を構成するラスター順の画素を、順次、１画素ずつ注目画素Ｃに決定する。ステップＳ２において、制御信号発生部２３は、図２１に示されたように、注目画素Ｃを中心とするインターバル４のタップを設定する。
【００５７】
ステップＳ３において、LPF２４は、制御信号発生部２３によって決定された注目画素Ｃと近傍画素Ｌ２，Ｌ１，Ｒ１，Ｒ２を、式（１）乃至（３）を用いて加重平均し、その結果得られる平滑化信号Ｆ１１，Ｆ１３，Ｆ１５を、合成部２５４に出力する。
【００５８】
ステップＳ４において、制御信号発生部２３は、注目画素Ｃと各近傍画素Ｌ２，Ｌ１，Ｒ１，Ｒ２との画素値の差分｜Ｌ２−Ｃ｜，｜Ｌ１−Ｃ｜，｜Ｒ１−Ｃ｜，｜Ｒ２−Ｃ｜を演算する。さらに、制御信号発生部２３は、注目画素Ｃと、近傍画素Ｌ２，Ｒ２よりも注目画素Ｃ側に位置していてタップには含まれない画素ｌ７，ｌ６，ｌ５，ｌ３，ｌ２，ｌ１，ｒ１，ｒ２，ｒ３，ｒ５，ｒ６，ｒ７との画素値の差分｜ｌ７−Ｃ｜，｜ｌ６−Ｃ｜，｜ｌ５−Ｃ｜，｜ｌ３−Ｃ｜，｜ｌ２−Ｃ｜，｜ｌ１−Ｃ｜，｜ｒ１−Ｃ｜，｜ｒ２−Ｃ｜，｜ｒ３−Ｃ｜，｜ｒ５−Ｃ｜，｜ｒ６−Ｃ｜，｜ｒ７−Ｃ｜を演算する。
【００５９】
ステップＳ５において、制御信号発生部２３は、ステップＳ４の処理で算出した差分に基づき、合成部２５において用いられる重み付け係数ｗ１，ｗ３を算出する。
【００６０】
具体的は、注目画素Ｃと、注目画素Ｃを中心として対称の位置にある近傍画素Ｌ１，Ｒ１以内に位置する画素の画素値の差分｜Ｌ１−Ｃ｜，｜ｌ３−Ｃ｜，｜ｌ２−Ｃ｜，｜ｌ１−Ｃ｜，｜ｒ１−Ｃ｜，｜ｒ２−Ｃ｜，｜ｒ３−Ｃ｜，｜Ｒ１−Ｃ｜のうち、最大のものを変数ｄ１に代入し、
ｄ１＝MAX［｜Ｌ１−Ｃ｜，｜ｌ３−Ｃ｜，｜ｌ２−Ｃ｜，｜ｌ１−Ｃ｜，｜ｒ１−Ｃ｜，｜ｒ２−Ｃ｜，｜ｒ３−Ｃ｜，｜Ｒ１−Ｃ｜］
図１５に示されたように、変数ｄ１に従って重み付け係数ｗ１を算出する。
ｄ１＜ε２である場合、 ｗ１＝０
ε２≦ｄ１＜ε１である場合、ｗ１＝（ｄ１−ε２）／（ε１−ε２）
ε１≦ｄ１である場合、 ｗ１＝１
【００６１】
同様に、注目画素Ｃと、注目画素Ｃを中心として対称の位置にある近傍画素Ｌ２，Ｒ２以内に位置する画素の画素値の差分｜Ｌ２−Ｃ｜，｜ｌ７−Ｃ｜，｜ｌ６−Ｃ｜，｜ｌ５−Ｃ｜，｜ｒ５−Ｃ｜，｜ｒ６−Ｃ｜，｜ｒ７−Ｃ｜，｜Ｒ２−Ｃ｜のうち、最大のものを変数ｄ２に代入し、
ｄ２＝MAX［｜Ｌ２−Ｃ｜，｜ｌ７−Ｃ｜，｜ｌ６−Ｃ｜，｜ｌ５−Ｃ｜，｜ｒ５−Ｃ｜，｜ｒ６−Ｃ｜，｜ｒ７−Ｃ｜，｜Ｒ２−Ｃ｜］
変数ｄ２に従って重み付け係数ｗ３を算出する。
ｄ２＜ε２である場合、 ｗ３＝０
ε２≦ｄ２＜ε１である場合、ｗ３＝（ｄ２−ε２）／（ε１−ε２）
ε１≦ｄ２である場合、 ｗ３＝１
【００６２】
このようにして算出された重み付け係数ｗ１，ｗ３は、制御信号として合成部２５に出力される。ステップＳ６において、合成部２５は、LPF２４により演算された平滑化信号Ｆ１１，Ｆ１３，Ｆ１５を、制御信号発生部２３により算出された重み付け係数ｗ１，ｗ３を用い、式（６）に従って合成して、注目画素Ｃのフィルタリング後の値Ｃ’として、中帯域処理部２６に出力する。以上で、狭帯域処理部２２によるフィルタリング処理の説明を終了する。
【００６３】
狭帯域処理部２２から出力された画像信号は、次に、中帯域処理部２６でフィルタリング処理が施され、さらに、広帯域処理部３０でもフィルタリング処理が施されることになる。なお、中帯域処理部２６、および広帯域処理部３０におけるフィルタリング処理は、上述した狭帯域処理部２２によるフィルタリング処理と、タップのインターバルが異なることの他は同様であるので、その説明は省略する。
【００６４】
この非線形フィルタ２１によれば、例えば、閾値ε１が１００、閾値ε２が７０であって、図８に示されたように、急峻なエッジの幅がインターバル４に収まるような画像信号が入力された場合、当該エッジの高さが閾値ε１以上の１００であれば、非線形フィルタ２１から出力される画像信号は、図２５に示すように、エッジの形状がほぼ保持されたものとなり、当該エッジの高さが閾値ε１より小さい９０，８０となった場合、非線形フィルタ２１から出力される画像信号は、図２６、図２７に示すように、エッジの形状が徐々に変化したものとなる。さらに、当該エッジの高さが徐々に小さくなるに従い、非線形フィルタ２１から出力される画像信号は、エッジの形状が徐々に変化し、当該エッジの高さが閾値ε２と等しい７０となった段階で、非線形フィルタ２１から出力される画像信号のエッジの形状は、図２８に示す程度となる。
【００６５】
図２８と、従来のεフィルタ１の出力を示した図１０を比較して明らかなように、従来のεフィルタ１では、入力される画像信号のエッジの高さが、閾値ε＝１００よりも僅かに小さい９９であっても、図１０に示されたように、フィルタリング後のエッジの形状は大きく変化してしまったが、本発明を適用した非線形フィルタ２１では、入力される画像信号のエッジの高さが、閾値ε１より小さくなっても、閾値ε２までの間では、フィルタリング後のエッジの形状は緩やかに変化することになる。
【００６６】
なお、本発明は、ビデオカメラ、ディジタルスチルカメラ、プリンタ、ディスプレイ、コンピュータ等の画像信号を扱うあらゆる装置に適用することが可能である。
【００６７】
例えば、画像処理を実行するコンピュータに適用した場合、画像コントラストを修正する際、ダイナミックレンジを維持しながら高品位なコントラスト修正画像を得ることができ、また異なる照明条件下で得られた画像同士を合成する際、それぞれのコントラスト成分の違いだけを補正でき、自然な合成画像を生成することができる。
【００６８】
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば、図２９に示すように構成される汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【００６９】
このパーソナルコンピュータ５０は、CPU(Central Processing Unit)５１を内蔵している。CPU５１にはバス５４を介して、入出力インタフェース５５が接続されている。バス５４には、ROM(Read Only Memory)５２およびRAM(Random Access Memory)５３が接続されている。
【００７０】
入出力インタフェース５５には、ユーザが操作コマンドを入力するキーボード、マウス、リモートコントローラなどの入力デバイスよりなる入力部５６、合成された映像信号をディスプレイに出力する出力部５７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部５８、およびモデム、LAN（Local Area Network）アダプタなどよりなり、インタネットに代表されるネットワークを介した通信処理を実行する通信部５９が接続されている。また、磁気ディスク６１（フレキシブルディスクを含む）、光ディスク６２（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク６３（ＭＤ(Mini Disc)を含む）、およびは半導体メモリ６４などの記録媒体に対してデータを読み書きするドライブ６０が接続されている。
【００７１】
CPU５１に上述した一連の処理を実行させるプログラムは、磁気ディスク６１乃至半導体メモリ６４に格納された状態でパーソナルコンピュータに供給され、ドライブ６０によって読み出されて記憶部５８に内蔵されるハードディスクドライブにインストールされている。あるいは、ネットワークを介して供給されることも考えられる。記憶部５８にインストールされているプログラムは、入力部５６に入力されるユーザからのコマンドに対応するCPU５１の指令によって、記憶部５８からRAM５３にロードされて実行される。
【００７２】
なお、本明細書において、各フローチャートを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【００７３】
【発明の効果】
以上のように、本発明によれば、画素値の変化が急峻なエッジを正確に保持した状態で、エッジ以外の部分を平滑化するフィルタリング処理において、入力された画像信号に含まれるエッジの高さが微少に変動していた場合、変換後の画像信号でもエッジが緩やかに変動させることが可能となる。
【図面の簡単な説明】
【図１】画像内の急峻なエッジを保存した状態でエッジ以外の部分を強調する画像信号処理装置の構成例を示すブロック図である。
【図２】図１のεフィルタに入力される画像信号と、出力される画像信号を示す図である。
【図３】図１のεフィルタで用いられるタップの一例を示す図である。
【図４】図１のεフィルタの動作を説明するための図である。
【図５】フィルタ処理前の画像信号の一例を示す図である。
【図６】図５に示された画像信号に対応して、εフィルタから出力される画像信号を示す図である。
【図７】図５に示された画像信号に対応して、εフィルタから出力される画像信号を示す図である。
【図８】フィルタ処理前の画像信号の一例を示す図である。
【図９】図８に示された画像信号を入力として、εフィルタから出力される画像信号を示す図である。
【図１０】図８に示された画像信号を入力として、εフィルタから出力される画像信号を示す図である。
【図１１】本発明を適用した非線形フィルタの第１の構成例を示すブロック図である。
【図１２】図１１の非線形フィルタで設定されるタップを示す図である。
【図１３】図１１の非線形フィルタで用いられるタップ係数を示す図である。
【図１４】図１１の非線形フィルタによるフィルタリング処理を説明するフローチャートである。
【図１５】重み付け係数の決定方法を説明するための図である。
【図１６】図５に示された画像信号を入力として、図１１の非線形フィルタから出力される画像信号を示す図である。
【図１７】図５に示された画像信号を入力として、図１１の非線形フィルタから出力される画像信号を示す図である。
【図１８】図５に示された画像信号を入力として、図１１の非線形フィルタから出力される画像信号を示す図である。
【図１９】図５に示された画像信号を入力として、図１１の非線形フィルタから出力される画像信号を示す図である。
【図２０】本発明を適用した非線形フィルタの第２の構成例を示すブロック図である。
【図２１】図２０の狭帯域処理部で設定されるインターバル４のタップを示す図である。
【図２２】図２０の中帯域処理部で設定されるインターバル２のタップを示す図である。
【図２３】図２０の広帯域処理部で設定されるインターバル１のタップを示す図である。
【図２４】図２０の非線形フィルタで用いられるタップ係数を示す図である。
【図２５】図８に示された画像信号を入力として、図２０の非線形フィルタから出力される画像信号を示す図である。
【図２６】図８に示された画像信号を入力として、図２０の非線形フィルタから出力される画像信号を示す図である。
【図２７】図８に示された画像信号を入力として、図２０の非線形フィルタから出力される画像信号を示す図である。
【図２８】図８に示された画像信号を入力として、図２０の非線形フィルタから出力される画像信号を示す図である。
【図２９】汎用のパーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
１１ 非線形フィルタ， １２ 制御信号発生部， １３ LPF， １４ 合成部， ２１ 非線形フィルタ， ２２ 狭帯域処理部， ２３ 制御信号発生部， ２４ LPF， ２５ 合成部， ２６ 中帯域処理部， ２７ 制御信号発生部， ２８ LPF， ２９ 合成部， ３０ 中帯域処理部， ３１ 制御信号発生部， ３２ LPF， ３３ 合成部， ５１ CPU， ６１ 磁気ディスク， ６２ 光ディスク， ６３ 光磁気ディスク， ６４ 半導体メモリ

Claims (7)

1. 連続的に配置されている信号のレベルを調整する信号処理装置において、
   連続的に配置されている前記信号を、順次、注目信号に指定する指定手段と、
   指定された前記注目信号を基準として、連続的に配置されている前記信号のなかから所定の間隔毎に複数の近傍信号を決定する決定手段と、
   前記注目信号と複数の前記近傍信号を、異なる複数の係数組を用いて加重平均し、複数の平滑化信号を演算する演算手段と、
   前記注目信号と複数の前記近傍信号とのレベルの差分をそれぞれ算出し、算出した前記差分を予め設定された第１の閾値および前記第１の閾値よりも小さい第２の閾値と比較し、比較結果に基づいて重み付け係数を算出する算出手段と、
   算出された前記重み付け係数に従い、演算された前記複数の平滑化信号を合成する合成手段とを含み、
   前記算出手段は、前記差分が第１の閾値よりも大きい場合は前記重み付け係数を１とし、前記差分が第２の閾値より小さい場合は前記重み付け係数を０とする
   信号処理装置。
2. 前記信号は、画像を構成する画素の画素値である
   請求項１に記載の信号処理装置。
3. 前記指定手段、前記決定手段、前記演算手段、前記算出手段、および前記合成手段を含む信号処理系が複数存在し、複数の前記信号処理系は、直列に配置されている
   ことを特徴とする請求項１に記載の信号処理装置。
4. 前記複数の信号処理系にそれぞれ含まれる前記決定手段は、前記所定の間隔がそれぞれ異なる
   請求項３に記載の信号処理装置。
5. 連続的に配置されている信号のレベルを調整する信号処理装置の信号処理方法において、
   連続的に配置されている前記信号を、順次、注目信号に指定する指定ステップと、
   指定された前記注目信号を基準として、連続的に配置されている前記信号のなかから所定の間隔毎に複数の近傍信号を決定する決定ステップと、
   前記注目信号と複数の前記近傍信号を、異なる複数の係数組を用いて加重平均し、複数の平滑化信号を演算する演算ステップと、
   前記注目信号と複数の前記近傍信号とのレベルの差分をそれぞれ算出し、算出した前記差分を予め設定された第１の閾値および前記第１の閾値よりも小さい第２の閾値と比較し、比較結果に基づいて重み付け係数を算出する算出ステップと、
   算出された前記重み付け係数に従い、演算された前記複数の平滑化信号を合成する合成ステップとを含み、
   前記算出ステップは、前記差分が第１の閾値よりも大きい場合は前記重み付け係数を１とし、前記差分が第２の閾値より小さい場合は前記重み付け係数を０とする
   信号処理方法。
6. 連続的に配置されている信号のレベルを調整する信号処理装置の制御用のプログラムであって、
   連続的に配置されている前記信号を、順次、注目信号に指定する指定ステップと、
   指定された前記注目信号を基準として、連続的に配置されている前記信号のなかから所定の間隔毎に複数の近傍信号を決定する決定ステップと、
   前記注目信号と複数の前記近傍信号を、異なる複数の係数組を用いて加重平均し、複数の平滑化信号を演算する演算ステップと、
   前記注目信号と複数の前記近傍信号とのレベルの差分をそれぞれ算出し、算出した前記差分を予め設定された第１の閾値および前記第１の閾値よりも小さい第２の閾値と比較し、比較結果に基づいて重み付け係数を算出する算出ステップと、
   算出された前記重み付け係数に従い、演算された前記複数の平滑化信号を合成する合成ステップとを含み、
   前記算出ステップは、前記差分が第１の閾値よりも大きい場合は前記重み付け係数を１とし、前記差分が第２の閾値より小さい場合は前記重み付け係数を０とする
   処理を信号処理装置のコンピュータに実行させるプログラムが記録されている記録媒体。
7. 連続的に配置されている信号のレベルを調整する信号処理装置の制御用のプログラムであって、
   連続的に配置されている前記信号を、順次、注目信号に指定する指定ステップと、
   指定された前記注目信号を基準として、連続的に配置されている前記信号のなかから所定の間隔毎に複数の近傍信号を決定する決定ステップと、
   前記注目信号と複数の前記近傍信号を、異なる複数の係数組を用いて加重平均し、複数の平滑化信号を演算する演算ステップと、
   前記注目信号と複数の前記近傍信号とのレベルの差分をそれぞれ算出し、算出した前記差分を予め設定された第１の閾値および前記第１の閾値よりも小さい第２の閾値と比較し、比較結果に基づいて重み付け係数を算出する算出ステップと、
   算出された前記重み付け係数に従い、演算された前記複数の平滑化信号を合成する合成ステップとを含み、
   前記算出ステップは、前記差分が第１の閾値よりも大きい場合は前記重み付け係数を１とし、前記差分が第２の閾値より小さい場合は前記重み付け係数を０とする
   処理をコンピュータに実行させるプログラム。

Images