JP3976657B2

JP3976657B2 - ノイズ除去装置

Info

Publication number: JP3976657B2
Application number: JP2002291388A
Authority: JP
Inventors: 輝也楠田
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2002-10-03
Filing date: 2002-10-03
Publication date: 2007-09-19
Anticipated expiration: 2022-10-03
Also published as: JP2004128972A

Description

【０００１】
【発明の属する技術分野】
本発明は、映像信号に含まれるノイズを抽出し、除去するノイズ除去回路に関する。
【０００２】
【従来の技術】
従来、映像信号として、例えばテレビジョン用映像信号のＳ／Ｎを改善する方法はすでに種々提案されているが、その１つとして、映像信号はフレーム相関が非常に強いが、ノイズはフレーム相関が弱いことを利用したノイズ除去装置が知られている。
【０００３】
図７に従来のノイズ除去装置を示す。このノイズ除去装置は、出力映像信号を１フレーム期間遅延するフレームメモリ１０４、第１の減算回路１０２と、非線形処理回路１０７、第２の減算回路１０３が図示のごとく接続されて構成されている。非線形処理回路１０７の非線形特性を図８に示す。
【０００４】
図８に示す非線形特性は、入力信号が閾値−ＴＨ１〜ＴＨ１の範囲で正弦曲線（またはＳ字曲線あるいは２次曲線）で規定される値で線形化され、閾値−ＴＨ１、＋ＴＨ１を越える信号は除去されることを示す。
【０００５】
図７のノイズ除去装置では、第１の減算回路１０２において、入力端子１０１から入力される入力映像信号からフレームメモリ１０４により１フレーム期間遅延した出力映像信号を減じる。第１の減算回路１０２から出力されるフレーム差分信号は、映像信号に含まれる動画部分の残像とノイズ成分とを含む信号である。
【０００６】
前記フレーム差分信号における動画部分の残像部分のレベルは、ノイズレベルに比べ比較的大きいことからその閾値をほぼＴＨとすると、図８に示す非線形特性を持つ非線形処理回路１０７を通すことにより、動画部分の残像は除去され、ノイズ成分を抽出することができる。
【０００７】
そして、第２の減算回路１０３において、抽出されたノイズ成分を現在の入力映像信号から減じると、映像信号に含まれるノイズ成分が除去され、ノイズ成分を含まない映像信号を得ることができる。
【０００８】
これを出力映像信号として出力すると共に、フレームメモリ１０４に一旦記憶して次フレームのフレーム差信号を算出するために備える。
【０００９】
このノイズ除去装置は、映像信号が静止画である場合は良好にＳ／Ｎを改善するが、動画であるときにはフレーム差分信号中に含まれる低レベルの動き成分は全てノイズ成分とみなしている為、ノイズ成分として抽出されてしまい、非線形処理回路１０７からは低レベルの動き成分とノイズ成分とを含んだ信号が出力される。その結果、第２の減算回路１０３において、入力映像信号からノイズ成分のみならず振幅の小さい動画部分も除去することになり残像等を発生させてしまうという問題がある。
【００１０】
上述したノイズ除去装置における問題を解決する為、アダマール変換を用いたノイズ除去装置が提案されている（例えば、非特許文献１参照。）。
【００１１】
図９にアダマール変換を用いたノイズ除去装置を示す。このアダマール変換を用いたノイズ除去装置は、フレームメモリ１０４、第１の減算回路１０２、第２の減算回路１０３、直列・並列変換回路１０５、アダマール変換回路１０６、図８に示す非線形特性を持つ非線形処理回路１０７、アダマール逆変換回路１０８が図示のごとく接続されて構成されている。又この例では、（４×２）次のアダマール変換を適用している。
【００１２】
第１の減算回路１０２において、入力端子１０１から入力される入力映像信号から、フレームメモリ１０４により１フレーム期間遅延した出力映像信号を減じる。第１の減算回路１０２から出力されるフレーム差分信号は、映像信号に含まれる動画部分の残像とノイズ成分とを含む信号である。このフレーム差分信号に対して、直列・並列変換回路１０５により図２に示すような入力領域を切り出し、アダマール変換回路１０６においてアダマール変換を行い、この実空間のデータを周波数領域のデータに変換する。その変換式を下記数１に記す。
【００１３】
【数１】

【００１４】
動画部分の残像部分は隣接位置同士で相関があるので、ある特定の周波数領域に集中して表れる。つまり振幅の大きな周波数領域上のデータとなる。また、ノイズ成分は隣接位置同士で相関がないので、全ての周波数領域に平均化されて振幅が小さい周波数領域上のデータとして表れる。従って、アダマール変換後のデータに対して、動画部分の残像部分における周波数領域の振幅の大きい値をしきい値（−ＴＨ１、＋ＴＨ１）として、図８に示す非線形特性を有する非線形処理回路１０７を通すことにより、上述したノイズ除去装置よりも動画部分の残像とノイズ成分との区別がつき、ノイズ成分を抽出しやすくなる。非線形処理回路１０７で抽出したノイズ成分は周波数領域のデータであるから、アダマール逆変換回路１０８においてアダマール逆変換を施して実空間領域のノイズ成分に戻し、第２の減算回路１０３において、入力映像信号から減じると、ノイズ成分の含まない映像信号を得ることができる。これを出力映像信号として出力すると共に、フレームメモリ１０４に一旦記憶して、次フレームのフレーム差信号を算出するために備える。
【００１５】
このように、図９に示すノイズ除去装置によれば、アダマール変換をして、一旦周波数領域のデータを作ることにより動画に対してもノイズ成分のない映像信号を出力することができる。
【００１６】
しかしながら、アダマール変換を用いたノイズ除去装置においても完全に動画部分の残像とノイズ成分との区別がつかないため、フレーム差分信号の入力領域の平均値又は分散検出を用いて非線形処理を制御し、動画部分の残像を低減する技術もある（例えば、特許文献１参照。）。
【００１７】
【非特許文献１】
テレビジョン学会誌，Vol.37,No.12,1983，ｐ１０３０−１０３６
【特許文献１】
特開平７−１４３３６３号公報（段落［００２１］から［００２５］、図１、２）
【００１８】
【発明が解決しようとする課題】
しかしながら、入力領域の平均値や分散検出を用い動き量の検出を行う場合にあっても、フレーム差分信号の入力領域を用いる限りにおいては依然として正確に動画部分の残像とノイズ成分との区別はできず、上述の装置と同様な問題点を有している。
【００１９】
本発明は、前記の問題点を解消するためになされたものであって、直交変換を用いたノイズ除去装置、一例としてアダマール変換を用いたノイズ除去装置にもなお存在する問題である動画部分の残像を低減し、ノイズ成分を含まない映像信号を提供するノイズ除去装置を提供することを目的とする。
【００２０】
【課題を解決するための手段】
本発明は、上記の目的を達成するため、次の構成を有する。
本発明は、出力映像信号を１フレーム期間遅延し、フレーム遅延信号を出力する手段と、入力映像信号から前記フレーム遅延信号を減算し、フレーム差分信号を出力する第１の減算手段と、フレーム差分信号を周波数成分に直交変換する第１の直交変換手段と、第１の直交変換手段の出力に適した非線形処理を施す第１の非線形処理手段と、第１の非線形処理手段の出力に対して、直交変換の逆変換である直交逆変換を行い、ノイズ成分を出力する直交逆変換手段と、入力映像信号からノイズ成分に基づくノイズ信号を減算することで出力映像信号を出力する第２の減算手段と、を具備するノイズ除去装置に関する。
【００２１】
本発明では、入力映像信号の周波数特性情報に基づいて第１の非線形処理手段の非線形処理を制御する非線形処理制御手段を設ける。
【００２２】
例えば、高周波成分の含まれない平坦な入力映像部分では、ノイズ成分と動き成分のレベル差が小さいと考えられるため、非線形処理での動画部分の残像とノイズの判断の閾値を比較的小さく設定されるように制御することで、微小な動き成分をノイズ成分として除去することが抑止され、残像の発生を低減することが可能となる。
【００２３】
また、同様に入力映像信号の周波数特性情報に基づいて、ノイズ信号を制御することで、微小な動き成分をノイズ成分として除去することが抑止され、残像の発生を低減することが可能となる。
【００２４】
前記非線形処理制御手段は、例えば、入力映像信号を周波数成分に直交変換し、周波数特性情報を出力する周波数特性情報抽出手段と、周波数特性情報を平滑化処理し、平滑化周波数特性情報を出力する平滑化手段と、平滑化周波数特性情報に基づいて、第１の非線形処理手段の非線形処理を制御する非線形処理制御手段と、により実現できる。
【００２５】
前記周波数特性情報抽出手段は、例えば、１フレームの入力映像信号の内、処理対象信号を含む水平走査方向にＭ個、垂直走査方向にＮ個のｍ×ｎ個の前記入力映像信号を周波数成分に直交変換し、入力映像信号周波数成分を出力する第２の直交変換手段と、入力映像信号周波数成分を２値信号に変換し、２値信号を周波数特性情報として出力する２値化手段と、により実現でき、前記平滑化手段は、処理対象信号と、その処理対象信号の周辺の少なくとも１以上の２値信号との平均により平滑化周波数特性情報を求めるローパスフィルタとで実現できる。
【００２６】
前記２値化手段は、例えば、入力映像信号周波数成分の絶対値を求める絶対値化手段と、入力映像信号周波数成分の絶対値を非線形処理する第２の非線形処理手段とで実現できる。
【００２７】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。尚、前記した構成と同一部分には同一符号を付し、詳細な説明は削除する。
【００２８】
図１は、本発明の実施形態に係るノイズ除去装置のブロック図である。尚、本実施形態における直交変換には、例として（４×２）次のアダマール変換を適用する。
【００２９】
入力端子１０１から入力される入力映像信号は、映像信号周波数特性抽出回路１１０と、第１の減算回路１０２と、第２の減算回路１０３における一方の入力として供給される。第２の減算回路１０３の出力は、１フレーム期間遅延させるフレームメモリ１０４へ供給される。
【００３０】
フレームメモリ１０４から出力される１フレーム期間遅延された信号は、第１の減算回路１０２へ供給され、入力映像信号との間で減算を行いフレーム差分信号を求めた後、第１の直列・並列変換回路１０５へ供給される。第１のアダマール変換回路１０６には、第１の直列・並列変換回路１０５の出力（図２の入力領域）が供給され、アダマール変換されたデータは、第１の非線形処理回路１０７ａへ供給される。第１の非線形処理回路１０７ａは、後述するように非線形処理における閾値を変更可能とする構成である。
【００３１】
図２は、第１の直列・並列変換回路１０５から出力され、第１のアダマール変換回路１０６に変換される入力領域を示している。
【００３２】
第１の非線形処理回路１０７ａからの出力は、アダマール逆変換回路１０８へ供給され、アダマール逆変換された出力は乗算回路１１４の一方の入力として供給される。
【００３３】
一方、映像信号周波数特性抽出回路１１０から出力される映像信号周波数特性情報Ａは、平滑化回路１１１へ供給され、平滑化される。
【００３４】
非線形処理制御回路１１２は、平滑化された映像信号周波数特性情報Ａ２により非線形処理回路１０７ａの閾値ＴＨ３，−ＴＨ３（図６参照）を制御し、第１の非線形処理回路１０７ａへ供給される。
【００３５】
帰還係数演算回路１１３は、平滑化された映像信号周波数特性情報Ａ２により帰還係数Ｋを制御し、乗算回路１１４へ供給する。
【００３６】
乗算回路１１４からの出力は、ノイズ成分として減算回路１０３へ供給され、入力映像信号から減算され、減算結果が出力端子１０９へ出力映像信号として出力される。
【００３７】
次に、前記映像信号周波数特性抽出回路１１０（図１）の構成を、図３を参照しつつ説明する。
【００３８】
入力端子３０１から入力映像信号が入力され、第２の直列・並列変換回路３０２へ入力される。
【００３９】
第２の直列・並列変換回路３０２は、ラインメモリの遅延回路を用いて、シリアル入力された入力映像信号を表示画像に合わせて水平方向走査期間毎のパラレルの入力映像信号に変換する。例えば、第２の直列・並列変換回路３０２は、１水平方向走査期間分（１ライン）の入力映像信号を該１ライン期間遅延して出力する図示しない１ラインメモリを備え、前記入力端子３０１からのＮ番目のライン信号と、該ラインメモリからの該Ｎ番目のライン信号より１ライン前のＮ−１番目のライン信号とを、２列に形成し、各々水平方向に４個切り出し、図２に示すような４×２個の画素からなる領域を出力する。
尚、前記第１、第２の直列・並列変換回路１０５、３０２は、同様の構成である。
【００４０】
第２のアダマール変換回路３０３は、前記第１のアダマール変換回路１０６と同様の構成であり、第２の直列・並列変換回路３０２から出力される４×２個の画素からなる領域を入力とし、４×２次のアダマール変換を行い、実空間のデータを８個の周波数領域のデータ（ほぼ、Ｆ００：ＤＣ成分、Ｆ０１〜Ｆ０３：水平方向高周波成分、Ｆ１０：垂直方向高周波成分、Ｆ１１〜Ｆ１３：斜め方向高周波成分）に変換する。
【００４１】
前記アダマール変換は、前述の（数１）に従って処理され、アダマール変換された８個の成分は、２値化するために始めに絶対値化回路３０４−１〜３０４−８によって絶対値化される。
【００４２】
前記絶対値化回路３０４−１〜３０４−８で絶対値化された各成分は、本実施形態においては図４に示すように入力信号が閾値ＴＨ２以下の時は１、閾値ＴＨ２以上の時は０を出力するような非線形特性を持った非線形処理回路３０５−１〜３０５−８へ入力され非線形処理され、０又は１の２値信号に変換される。
【００４３】
選択回路３０６は、非線形処理された８個の成分を任意に選択する。選択された信号は、論理積和演算回路３０７へ入力され論理積和演算され、最終的に映像信号周波数特性情報Ａとして、低周波部分は１、高周波部分は０として出力端子３０８へ出力される。そして、順次処理対象を順次変更しつつ、入力映像信号の処理を進める。
【００４４】
前記論理積和演算回路３０７での論理積和演算は、残像抑止効果を重視する場合とノイズ除去効果を重視する場合で異なり、残像抑止効果を重視する場合には選択された周波数成分が１つでも該当したとき（閾値を越えて０になった時）にはその領域を高周波成分とし、ノイズ除去効果を重視する場合には選択した周波数成分が全て該当したとき（閾値を越えて０になった時）にその領域を高周波成分とする。
【００４５】
以上説明した映像信号周波数特性抽出回路１１０は、任意に選択する周波数成分と非線形処理の閾値ＴＨ２（図４）を適切に選択することで入力映像信号がもつ周波数特性情報を抽出することが可能となる。
【００４６】
次に、平滑化回路１１１（図１）の構成を、図５を参照しつつ説明する。
入力端子５０１から入力される映像信号周波数特性情報Ａは、１サンプル遅延回路５０２−１〜５０２−ｍを用いてローパスフィルタ（ＬＰＦ）５０３が必要とするｍ個分水平方向へ切り出される。実施形態においては３個切り出され、３サンプル期間分の映像信号周波数特性情報ＡがＬＰＦ５０３へ並列に入力され、水平方向に平滑化処理される。さらに、水平方向に平滑化された映像信号周波数特性情報Ａ１は、１ライン遅延回路５０４−１〜５０４−ｎを用いてＬＰＦ５０５が必要とするｎライン分切り出される。実施形態においては３ライン分の信号Ａ１をＬＰＦ５０５へ入力し、映像信号周波数特性情報Ａ１は垂直方向へ平滑化処理される。この結果、０もしくは１の２値信号であった映像信号周波数特性情報Ａは、０〜１までの間の値をとる映像信号周波数特性情報Ａ２に２値よりも大きく多段階化され、出力端子５０６より出力される。
【００４７】
非線形処理制御回路１１２（図１）は、前記平滑化回路１１１（図１，図５）より入力される映像信号周波数特性情報Ａ２から適切な閾値ＴＨ３を選択し、第１の非線形処理回路１０７ａ（図１）へ供給する。これにより第１の非線形処理回路１０７ａは、図６に示すように映像信号周波数特性情報Ａ２により任意に設定された矢印範囲Ｅ内で閾値−ＴＨ３、ＴＨ３が決定され、その結果、入力信号が−ＴＨ３〜ＴＨ３までは線形で出力され、範囲−ＴＨ３、ＴＨ３を越える信号は除去される非線形特性を持つことになる。閾値−ＴＨ３、ＴＨ３は、８成分それぞれに最適な値が選択される。なお、第１の非線形処理回路１０７ａの非線形処理の非線形特性はこの例に限定されるものではなく、例えば図８に示すようなものでもよく、映像信号周波数特性情報Ａ２から閾値ＴＨ１，−ＴＨ１の値を所定範囲内で変更可能とできる。
【００４８】
閾値変更範囲Ｅ内での閾値ＴＨ３の決定方法としては、例えば、映像信号周波数特性情報Ａ２の０〜１範囲内での大きさに比例するように閾値変更範囲Ｅ内での値を決定する。例えば、閾値変更範囲Ｅに０〜１を割当て、決定映像信号周波数特性情報Ａ２の値に相当する閾値変更範囲Ｅ内の位置をＴＨ３とする。これは、高周波成分の含まれない平坦な部分では、ノイズ成分と動き成分のレベル差が小さいと考えられるため、閾値ＴＨ３、−ＴＨ３を比較的小さく設定されるようにすれば、微小な動き成分をノイズ成分として除去することが抑止され、残像の発生を低減することが可能となるためである。尚、閾値−ＴＨ３は、上記閾値ＴＨ３の負数として決定する。
【００４９】
また、映像信号周波数特性情報Ａ２は、帰還係数演算回路１１３（図１）にも供給される。帰還係数演算回路１１３は、入力される映像信号周波数特性情報信号Ａ２と、あらかじめ与えられている基準帰還量Ｋ（０＜Ｋ＜１）を基準にして、帰還係数ｋを決定する。帰還係数ｋは０≦ｋ＜１の範囲となる。
【００５０】
帰還係数ｋの決定方法としては、例えば、映像信号周波数特性情報Ａ２の０〜１範囲内での大きさに比例するように基準帰還量Ｋより決定する。例えば、映像信号周波数特性情報Ａ２の値に基準帰還量Ｋを乗算することで求める。これは、上記したように高周波成分の含まれない平坦な部分では、ノイズ成分と動き成分のレベル差が小さいと考えられるため、帰還係数ｋを比較的小さく設定されるようにすれば、微小な動き成分をノイズ成分として除去することが抑止され、残像の発生を低減することが可能となるためである。
【００５１】
最終的に乗算器１１４は、映像信号周波数特性情報Ａ２により決定された閾値−ＴＨ３、ＴＨ３によって第１の非線形処理回路１０７で非線形処理された８個の周波数成分を、アダマール逆変換回路１０８で元の実空間に戻し、前述の帰還係数とを乗算しノイズ成分として出力する。
【００５２】
なお、前記の実施形態では本発明の好適例を説明したが、本発明はこれに限定されないことはもちろんである。
例えば、本実施形態における直交変換では、（４×２）次のアダマール変換を適用したがそれに限定するものではなく、任意の２のべき乗で表されるＭ、Ｎを用いた（Ｍ×Ｎ）次のアダマール変換回路を適用できる。（Ｍ×Ｎ）次の変更した場合には、直列・並列変換回路、絶対値化回路、非線形処理回路も（Ｍ×Ｎ）次に合せて変更することとなる。
【００５３】
【発明の効果】
以上説明した通り、従来のノイズ除去装置では、非線形処理回路による動き成分とノイズ成分との分離には限界があり、動画部分における残像等の発生が問題となってしまうのに対し、本発明によれば、入力映像信号からの直交変換により得られる周波数成分を用いて映像信号周波数特性情報を抽出し、映像信号周波数特性情報に基づいて第１の非線形処理手段の非線形処理を変更制御可能とすることにより、第１の非線形処理回路でのより適切なノイズ成分の抽出が可能となり、微小な動き成分をノイズ成分として除去するのを抑止し、残像が発生するのを低減することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施形態に係るノイズ除去装置の一実施形態例を示す機能ブロック図の説明図である。
【図２】本発明の実施形態に係る直列・並列変換回路１０５、３０２により切り出される領域の模式図の説明図である。
【図３】本発明の実施形態に係る映像信号周波数特性抽出回路１１０のブロック図である。
【図４】本発明の実施形態に係る非線形処理回路３０５−１〜３０５−８の非線形特性を示す説明図である。
【図５】本発明の実施形態に係る平滑化回路１１１のブロック図である。
【図６】本発明の実施形態に係る非線形処理回路１０７ａの非線形特性を示す説明図である。
【図７】従来のノイズ除去装置の機能ブロック図である。
【図８】従来例における非線形処理回路の非線形特性の説明図である。
【図９】従来のアダマール変換を用いたノイズ除去装置のブロック図である。
【符号の説明】
１０２第１の減算回路
１０３第２の減算回路
１０４フレームメモリ
１０５第１の直列・並列変換回路
１０６第１のアダマール変換回路
１０７ａ第１の非線形処理回路
１０８アダマール逆変換回路
１１０映像信号周波数特性抽出回路
１１１平滑化回路
１１２非線形処理制御回路
１１３帰還係数演算回路
１１４乗算回路
３０２第２の直列・並列変換回路
３０３第２のアダマール変換回路
３０４−１〜３０４−８絶対値化回路
３０５−１〜３０５―８第２の非線形処理回路
３０６選択回路
５０２１サンプル遅延回路
５０４１ライン遅延回路
５０３、５０５ＬＰＦ
ＴＨ２，ＴＨ３閾値
Ｅ閾値変更範囲

Claims

出力映像信号を１フレーム期間遅延し、フレーム遅延信号を出力する手段と、
入力映像信号から前記フレーム遅延信号を減算し、フレーム差分信号を出力する第１の減算手段と、
前記フレーム差分信号を周波数成分に直交変換する第１の直交変換手段と、
前記第１の直交変換手段の出力に適した非線形処理を施す第１の非線形処理手段と、
前記第１の非線形処理手段の出力に対して、前記直交変換の逆変換である直交逆変換を行い、ノイズ成分を出力する直交逆変換手段と、
前記入力映像信号から前記ノイズ成分に基づくノイズ信号を減算することで前記出力映像信号を出力する第２の減算手段と、
１フレームの前記入力映像信号の内、処理対象信号を含む水平走査方向にＭ個、垂直走査方向にＮ個のＭ×Ｎ個の前記入力映像信号を周波数成分に直交変換し、入力映像信号周波数成分を出力する第２の直交変換手段と、
前記入力映像信号周波数成分を２値信号に変換し、該２値信号を周波数特性情報として出力する２値化手段と、
前記周波数特性情報を平滑化処理することで、該周波数特性情報を２値よりも大きく多段階化した平滑化周波数特性情報を出力する平滑化手段と、
前記平滑化周波数特性情報に基づいて、前記第１の非線形処理手段の非線形処理を制御する非線形処理制御手段と、を具備するノイズ除去装置において、
前記非線形処理は、前記第１の直交変換手段の出力が閾値範囲内であれば線形な出力を行い、該第１の直交変換手段の出力が該閾値範囲を越える場合にはゼロを出力し、
前記非線形処理制御手段は、前記平滑化周波数特性情報に基づいて、前記閾値範囲を決定することを特徴とするノイズ除去装置。
前記閾値範囲の閾値は、第１の範囲内にて変更可能であり、
前記平滑化周波数特性情報は、０〜１までの間の値であり、
前記非線形処理制御手段は、前記第１の範囲に０〜１を割当て、前記平滑化周波数特性情報の値に比例するように、前記第１の範囲内で前記閾値を決定することを特徴とする請求項１に記載のノイズ除去装置。
前記ノイズ信号に帰還係数を乗算する帰還係数演算手段を有し、
前記帰還係数は、０より大きく１より小さい基準帰還係数に前記平滑化周波数特性情報の値を乗算することで求めることを特徴とする請求項２に記載のノイズ除去装置。
前記平滑化手段は、処理対象信号と、該処理対象信号の周辺の少なくとも１以上の２値信号との平均により平滑化周波数特性情報を求めるローパスフィルタを有することを特徴とする請求項１乃至３の何れかに記載のノイズ除去装置。
前記２値化手段は、
前記入力映像信号周波数成分の絶対値を求める絶対値化手段と、
前記入力映像信号周波数成分の絶対値を、非線形処理する第２の非線形処理手段と、を有することを特徴とする請求項１乃至４の何れかに記載のノイズ除去装置。