JP5561086B2

JP5561086B2 - ノイズ除去装置

Info

Publication number: JP5561086B2
Application number: JP2010231264A
Authority: JP
Inventors: 克幸福井
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2010-10-14
Filing date: 2010-10-14
Publication date: 2014-07-30
Anticipated expiration: 2030-10-14
Also published as: JP2012085199A

Description

本発明は、デジタル信号処理による映像信号のノイズを軽減する技術に関するものである。

映像信号のノイズを軽減するために、様々な方法が存在するが、その手段の１つとして時間軸方向にフィルタ処理を行う方法がある。そのフィルタ処理を行う回路として、例えば、図２に示すようなものがある。図２の回路の動作を説明すると、出力映像信号Ｙｏｕｔをフレームメモリ１０９により、１画面分遅れた信号Ｙｐｒｅを生成する。この１画面分遅れた信号Ｙｐｒｅと入力信号Ｙｉｎに対して、
Ｙｏｕｔ＝Ｙｉｎ＋Ｋｍ×（Ｙｐｒｅ−Ｙｉｎ）
すなわち、
Ｙｏｕｔ＝（１−Ｋｍ）×Ｙｉｎ＋Ｋｍ×Ｙｐｒｅ
という演算を行う。これは時間軸方向のＩＩＲフィルタによるＬＰＦが実現されており、時間軸方向に帯域制限がかかり、静止画であれば、ノイズだけ減衰することになり、ノイズ除去が行われる。

そして、動画のときはこのフィルタをかけると残像が生じるため、動き検出を行って、動きがあるときは上記ＩＩＲフィルタを切ることが行われている。その動きの有無の判断については、ＹｉｎとＹｐｒｅの差が大きいときは動画、小さいときは静止画とみなす。

しかしながら、ノイズの影響で動き検出が間違った判定をし、フィルタをかけたくないときにフィルタがかかり残像が生じたり、逆にフィルタをかけたいときにフィルタがかからなくなり、ノイズが落ちなくなったりすることがある。

これに対し、映像信号に平面の２次元ＬＰＦをかけることで、ノイズの影響を軽減することができる。例えば、特許文献１に示されるように、ブロックの輝度を平均し、その平均値から動きの有無を判定する。

また、映像のコントラストが低いとき、動き検出が困難になる。例えば図７に示すようにコントラストの低い物体が移動すると、背景部分とのコントラストは高いため、図７（ａ）と（ｂ）の差として、図７（ｃ）の斜線部については動きとして容易に検出できる。しかし、物体の移動前の右側と移動後の左側の差をとる部分はコントラストが低いために差がわからず時間軸方向のＩＩＲフィルタがかかり残像がでてしまう。
しかしながらこのコントラストの低い物体の移動を厳密に判定しようとすると、大きな回路が必要になってしまう。

これに対し、画面内の他の部分の動き検出の結果を、コントラストの低い部分に適用する方法がある。例えば、特許文献２に示されるように、画面内の動きの判断結果を数えて、その数がしきい値以上の場合は、動きと判断し、しきい値未満の場合は静止と判断する。そして、判断結果を１画面分保持し、静止のときは、時間軸方向のＬＰＦをかけ、動きがあるときはＬＰＦをかけない。これにより小さい回路規模でのコントラストの低い物体に対しても動きとして処理ができるようになる。

また、動きがあるとき、時間軸方向のＬＰＦがかからなくなると、その部分だけノイズが除去されなくなり、画面全体では、ノイズが除去される部分とされない部分が混在し、画像が不自然になる。

これに対して、特許文献３では、動きがあり時間軸方向のＬＰＦが弱くなるときは、平面のＬＰＦをかけてノイズを除去することで、動きがあるときの、ノイズが除去されなくなり、ノイズが除去される部分とされない部分が混在する現象を緩和している。

特開２００５−３３３６１０号公報特開平６−６２２８３号公報特開２００１−１６０９０９号公報

動き検出がノイズの影響で間違った判定をしないように、映像信号を平均したり、ＬＰＦをかけたりしても、大きな振幅のノイズが入ってきたときには、当然平均値やＬＰＦの結果が大きく変動し、間違って動きがあると判定してしまうことがある。簡単な例として、本来値が１００である平らな部分が静止画であるとき、図３（ａ）に示すようなノイズが重畳されているとする。

動き検出部でＹｉｎとＹｐｒｅにかけるＬＰＦが図４（ａ）に示すような着目画素および周囲４画素を含む５画素の平均を求めるフィルタである場合について、映像信号Ｙｉｎが図３（ａ）に示すように２ライン目の２画素目に大きな振幅のノイズがある画素に対する処理を述べる。

ＬＰＦではこの画素を中心とする斜線部に示す５画素の平均ＹＬ１として１０４．６が求められる。そして、ＬＰＦでは同じ座標のＹｐｒｅに対してこの画素を中心とする斜線部に示す５画素の平均ＹＬ２として、１００が求められる。したがって、ＹＬ１とＹＬ２の差の値として４．６が求められる。この値を基に、注目画素は動きか静止かを判定し、動きの場合は残像が生じるのを避けるためノイズ除去を行わず、静止の場合はノイズ除去を行う。注目画素に大きなノイズがあると、ＹＬ１とＹＬ２の差の値が大きくなり、動きと判定され、ノイズ除去を行わずＹｉｎがそのまま出力される。

すなわち、大きなノイズがあると、動きと間違ってノイズ除去が行われなくなる。
そして、大きなノイズの発生頻度は少ないものの、目立ちやすいため、映像の品位が損なわれてしまうという課題がある。

第１の発明は、上記従来の課題を解決するもので、大きなノイズがあっても大きなノイズを減衰させ、映像の品位を高くすることを緩和することを目的とする。

また、映像のコントラストが低いとき、動き検出を画面内の他の部分の動き検出の結果をコントラストの低い部分に適用するにあたっては、画面全体で何画素以上が動きと判定したとき、次の画面全部を動きと判定するかは、実際に映像をみて何画素以上にするか決めることになるが、映像をみての判断は様々な映像全てに対して判断するのは主観に頼ることになり極めて難しいという課題がある。

第２の発明は、上記従来の課題を解決するもので、動画か静止画かどちらとも判断できる映像に対して、その境界を決めるにあたってより正確に精度高く判断できるようにし、動画であれば残像が目立つ程度を緩和し、静止画であればノイズ除去の効果が適用される画像を増やすことを少ない回路規模で実現することを目的とする。

また、ノイズ除去を行う場合、通常は時間軸方向のＬＰＦだけを使用するということはなく、平面のＬＰＦを併用する。このとき、上記従来の例ではもう１つ平面のＬＰＦを直列に用意することになり、回路規模が大きくなってしまう。

第３の発明は、上記従来の課題を解決するもので、少ない回路規模で平面のＬＰＦと時間軸方向のＬＰＦを併用できるノイズ除去を実現することを目的とする。

上記課題を解決するために、本発明のノイズ除去装置は、１フレームを構成する入力映像が入力される入力部と、前記入力映像に対してノイズを除去した出力映像を出力する出力部と、前記入力映像と１フレーム前に前記出力部から出力された前記出力映像のそれぞれに対して、画素毎に当該画素を除く周辺の画素を用いたフィルタ処理を行い、その処理結果の差分を基に、当該画素の動きの有無を判定する動き検出部と、前記動き検出部で動きがないと判定した場合に、前記入力映像の画素毎に、１フレーム前の前記出力映像の当該画素を所定割合で加算しノイズを除去するノイズ除去部と、を備える。

本発明のノイズ除去装置により、大きな振幅のノイズがある映像信号に対して、その大きな振幅のノイズを減衰させ、より品位の高い映像を提供することが可能になる。

第１実施形態のノイズ除去回路のブロック図従来の時間軸方向にＬＰＦをかけるノイズ除去回路のブロック図第１実施形態の画素の値と波形を示す図第１実施形態の動き検出のＬＰＦをかける画素を示す図第１実施形態の映像信号の波形を示す図第１実施形態の係数Ｋｍの例を示す図低コントラスト被写体の動き検出の様子を示す図第２実施形態のノイズ除去回路のブロック図第２実施形態の全画面処理の検出結果を示す図第３実施形態のノイズ除去回路のブロック図第３実施形態の映像信号の各画素の値を示す図

以下、実施形態について、図面を参照しながら説明する。

［第１実施形態］
＜１．１：ノイズ除去回路１の構成＞
図１に、第１実施形態におけるノイズ除去回路１のブロック図を示す。

図１に示すように、ノイズ除去回路１は、映像信号Ｙｉｎから映像信号Ｙｐｒｅを減算する減算器１０１と、減算器１０１の出力信号Ｎ１に動き検出部１０４で生成した係数Ｋｍを乗算する乗算器１０２と、映像信号Ｙｉｎから乗算器１０２の出力信号Ｎ２を減算する減算器１０３と、映像信号Ｙｉｎと映像信号Ｙｐｒｅから動きを検出する動き検出部１０４と、減算器１０３の出力映像信号Ｙｏｕｔを１画面分遅延するフレームメモリ１０９と、を備える。

動き検出部１０４は、映像信号Ｙｉｎに平面のＬＰＦをかけるＬＰＦ１０５と、映像信号Ｙｐｒｅに平面のＬＰＦをかけるＬＰＦ１０６と、ＬＰＦ１０５の出力信号ＹＬ１からＬＰＦ１０６の出力信号であるＹＬ２を減算する減算器１０７と、減算器１０７の出力信号Ｙｍから係数Ｋｍを生成する調整値生成部１０８と、を備える。

＜１．２：ノイズ除去回路１の動作＞
入力映像信号Ｙｉｎは、図３（ａ）に示す値であり、ノイズのないときの本来の値が１００である平らな部分にノイズが重畳された信号であり、１フレーム前のＹｏｕｔが１フレーム遅延された映像信号Ｙｐｒｅが図３（ｂ）に示す値であるとする。図３（ａ）に示すように、ほとんどの画素に振幅が２以下の小さなノイズが重畳されているが、２ライン目の２画素目だけ、２０という大きな振幅のノイズが重畳されている。この２ライン目の２画素目の処理について述べていく。

ここで、係数Ｋｍは動きのあるときは０．５、静止のときは０とする。

ＬＰＦ１０５では映像信号Ｙｉｎに対して図４（ｂ）に示す中心画素を除いた４画素の平均を算出し、その平均値ＹＬ１は１０１となる。そして、ＬＰＦ１０６でも同様に映像信号Ｙｐｒｅに対して図４（ｂ）に示す中心画素を除いた４画素の平均を算出し、その平均値ＹＬ２は１００となる。そして、このＹＬ１とＹＬ２の差分が減算器１０７にて求められ、その差Ｙｍは１となる。そして、Ｙｍは調整値生成部１０８で絶対値が２以下かどうか判断され、差Ｙｍは１なので２以下であるから、静止と判断され係数Ｋｍは０．５を出力する。

一方で減算器１０１にて映像信号Ｙｉｎと映像信号Ｙｐｒｅの差分Ｎ１が求められ、Ｙｉｎが１２０、Ｙｐｒｅが１００なので、Ｎ１は２０となる。そして、乗算器１０２にて係数Ｋｍと乗算される。すなわち、２０に０．５を乗算するので、信号Ｎ２は１０となる。そして、減算器１０３にて、映像信号Ｙｉｎから信号Ｎ２が減算される。すなわち、１２０から１０が減算され、１１０となり、Ｙｏｕｔとして１１０が出力される。

以上述べた動作により、図５（ａ）に示すような１２０すなわち２０という大きな振幅のノイズは図５（ｂ）に示すように１０に減衰される。

なお、調整値生成部１０８にて、説明を簡単にするために動き検出の判断の境界を２以下かどうかという判断を用いたが、図６に示すようなＹｍに対する関数にして動画と静止画の判断の中間的な領域を設けた係数Ｋｍとして、０．５から０に急に切り替わるのではなく連続的に変化するようにしても良い。

［第２実施形態］
＜２．１：ノイズ除去回路１ｂの構成＞
図８に、第２実施形態におけるノイズ除去回路１ｂのブロック図を示す。ここで、第１の実施形態と同じ働きをする部分については同じ記号を使用している。

図８に示すように、ノイズ除去回路１ｂは、映像信号Ｙｉｎから映像信号Ｙｐｒｅを減算する減算器１０１と、減算器１０１の出力信号Ｎ１に全画面動き検出部８０２で生成した係数Ｋｍを乗算する乗算器１０２と、映像信号Ｙｉｎから乗算器１０２の出力信号Ｎ２を減算する減算器１０３と、映像信号Ｙｉｎと映像信号Ｙｐｒｅから動きを検出する動き検出部１０４ｂと、動き検出部１０４ｂの検出結果から全画面の動きを検出して係数Ｋｍを生成する全画面動き検出部８０２と、減算器１０３の出力映像信号Ｙｏｕｔを１画面分遅延するフレームメモリ１０９と、減算器１０３から出力される映像信号にモニタ信号を付加するモニタ信号付加部８０９と、を備える。

全画面動き検出部８０２は、動き検出の結果が所定の値以上になっているかどうかを判定し、判定した結果を数えるカウンタ８０３と、カウンタ８０３の出力が所定の値以上になっているかを判定する判定部８０４と、判定部８０４の出力信号ＤＴをゲートするゲート部８０５と、ゲート部８０５の出力結果によって動き検出結果Ｋｍ０を減衰させる減衰部８０６と、判定部８０４からモニタ信号を生成するモニタ信号生成部８０７と、を備える。

＜２．２：ノイズ除去回路１ｂの動作＞
記号が同じ部分については第１実施形態で述べた動作と同じなので、詳細は省略する。

ここでは、全画面の３０％以上を動きとして判定した場合に、次の画面の全画面の全画素を動きとして処理する場合について述べる。

動き検出部１０４ｂでは、映像信号Ｙｉｎと映像信号Ｙｐｒｅの差分の絶対値が２以下なら静止と判定して、係数Ｋｍ０として０．５を出力し、２より大きいときは動きと判定して、係数Ｋｍ０として０を出力する。そして、カウンタ８０３では画面内で各画素において係数Ｋｍ０が０のときの画素の数を数える。すなわちＫｍ０が０のときにカウントアップし、それ以外のときはカウントアップしない。そして、判定部８０４では画面の始まる前に０にリセットされ、カウンタ８０３の出力が全画面の画素数の３０％を超えた時点で１となる信号ＤＴを出力する。そして、ゲート部８０５では画面が始まる前に、判定部８０４の出力結果ＤＴを取り込み、次の画面が始まるまでその出力結果を維持する。そして、ゲート部８０５の出力信号に基づいて減衰部８０６は信号Ｋｍを生成する。すなわち、減衰部８０６は、ゲート部８０５の出力信号が１のときはＫｍとして０を出力し、ゲート部８０５の出力信号が０のときはＫｍ０をそのままＫｍとして出力する。従って、カウンタ８０３の出力が全画面の画素数の３０％を超える、すなわち全画面の３０％以上が動きとして判定されると、動き検出１０４ｂの判定結果に関わらず、次の画面ではＫｍが常に０になる。すると、乗算器１０２の出力信号Ｎ２が次の画面では常に０になるので、次の画面は全画素に対して動きとして処理することになる。

これにより、低いコントラストの部分で動きが検出できなくても、次の画面では動きとしての処理がされる。

一方で判定部８０４の出力ＤＴはモニタ信号生成部８０７に入力され、０から１になった次のラインだけ１になる信号ＤＴｍを生成する。そして、この信号ＤＴｍはモニタ信号付加部８０９に入力され、モニタ信号付加部８０９ではＤＴｍが１のときにだけハイライトにする。

これにより、全画面の３０％以上が動きであると判定した結果が表示され、画面のどの程度が動きと判定されているかを知ることができる。例えば、図９（ａ）に示すように、画面の３０％ぐらいのところにハイライトの線が見えればほぼ全画素で動きと判定していることになり、図９（ｂ）に示すように、画面の６０％ぐらいのところにハイライトの線が見えればおよそ半分の画素で動きと判定され、図９（ｃ）に示すように、ハイライトの線が見えないときは画面の３０％未満で動きと判定されていることがわかる。これにより、画面のどの程度を動きと判定するようにすれば良いかわかりやすくなり、より適切な設定をすることができる。

なお、静止画か動画かを判定するエリアは画面全部である必要はなく、画面の中央部の適当な面積、例えば全画面の７０％程度のエリアでも良い。

［第３実施形態］
＜３．１：ノイズ除去回路１ｃの構成＞
図１０に、第３実施形態におけるノイズ除去回路１ｃのブロック図を示す。ここで、第１の実施形態と同じ働きをする部分については同じ記号を使用している。

図１０に示すように、ノイズ除去回路１ｃは、映像信号Ｙｉｎから映像信号Ｙｐｒｅを減算する減算器１０１と、減算器１０１の出力信号Ｎ１に動き検出部１０４ｂで生成した係数Ｋｍを乗算する乗算器１０２と、映像信号Ｙｉｎに動き検出部１０４ｂの検出結果によりＬＰＦのかける強さを制御する平面のＬＰＦをかける２次元ＬＰＦ１００１と、２次元ＬＰＦ１００１の出力信号Ｙ２Ｄから乗算器１０２の出力信号Ｎ２を減算する減算器１０３と、映像信号Ｙｉｎと映像信号Ｙｐｒｅから動きを検出し係数Ｋｍを生成する動き検出部１０４ｂと、減算器１０３の出力映像信号Ｙｏｕｔを１画面分遅延するフレームメモリ１０９と、を備える。

＜３．２：２次元ＬＰＦ１００１の動作＞
２次元ＬＰＦ１００１の動作について述べる。２次元ＬＰＦ１００１は周囲の８画素に対して、中心画素とのレベル差が、所定のレベル差内の画素に対してのみＬＰＦをかける。ここでは、ノイズ除去回路１ｃの説明で使用する、中心画素とのレベル差が６以下の画素について加算する場合と、１２以下の画素について加算する場合を述べる。

先ず、中心画素とのレベル差が６以下の画素について平均する場合について述べる。映像信号が図１１（ａ）のような値をもつとき、中心画素である２ライン目の２画素目の信号に対して、周囲８画素（１ライン目の１画素目、２画素目、３画素目、２ライン目の１画素目、３画素目、３ライン目の１画素目、２画素目、３画素目）のうち中心画素とレベル差が６以下の画素と中心画素の平均をとる。ここでは、中心画素のレベル１０９に対してレベル差が６以下である画素は、１ライン目の１画素目、２画素目、２ライン目の１画素目が該当し、中心画素である２ライン目の２画素目と合わせて４画素の平均をとる。

次に、中心画素とのレベル差が１２以下の画素について平均する場合について述べる。映像信号が図１１（ａ）のような値をもつとき、中心画素である２ライン目の２画素目の信号に対して、周囲８画素のうち中心画素とレベル差が１２以下の画素と中心画素の平均をとる。ここでは、中心画素のレベル１０９に対してレベル差が１２以下である画素は、周囲８画素全てが該当し、中心画素である２ライン目の３画素目と合わせて９画素の平均をとる。

＜３．３：ノイズ除去回路１ｃの動作＞
ノイズ除去回路１ｃの動作について述べる。２次元ＬＰＦ１００１では、動きのときには中心画素とレベル差が１２以下の画素の平均をとり、静止のときには中心画素とレベル差が６以下の画素の平均をとるとする。

動き検出部１０４ｂの出力は第１実施形態と同じく動きのときは０、静止のときは０．５を出力するとする。

動き検出部１０４ｂでは映像信号Ｙｉｎと１画面前の映像信号Ｙｏｕｔを１画面遅延させた映像信号Ｙｐｒｅの差分をとり、その差分が５より大きければ動きとし、５以下のときは静止とする。

映像信号Ｙｉｎが図１１（ａ）、映像信号Ｙｐｒｅが図１１（ｂ）の値であるとする。このとき、中心画素についてはＹｉｎとＹｐｒｅの差が５より大きいので、動きと判定され、Ｋｍは０が出力される。従って２次元ＬＰＦ１００１では動きのときの処理、すなわち中心画素とのレベル差が１２以下の画素の平均がとられ、前述のように９画素の平均となる。

映像信号Ｙｉｎが図１１（ａ）、映像信号Ｙｐｒｅが図１１（ｃ）の値であるとする。このとき、中心画素についてはＹｉｎとＹｐｒｅの差が５以下なので、静止と判定され、Ｋｍは０．５が出力される。従って２次元ＬＰＦ１００１では動きのときの処理、すなわち中心画素とのレベル差が６以下の画素の平均がとられ、前述のように４画素の平均となる。

この動作により、ＬＰＦ１００１では、動きのときは９画素の平均、静止のときは４画素の平均をとるので、動きのときはノイズの減衰量が大きくなる。

したがって、第１実施形態で述べたように動きのときには時間方向のＬＰＦがかからないので、ノイズの減衰量は少なくなる分、ＬＰＦ１００１でノイズの減衰量が大きくなるので、ノイズ除去回路全体としては、動きの部分だけノイズが増えることを軽減でき、平面のＬＰＦを１つだけで、平面のＬＰＦと時間軸方向のＬＰＦの併用を実現している。時間軸方向のＬＰＦ使用時には平面のＬＰＦをかけすぎないようにできるため、画像の品位を向上させることでできる。

本実施の形態発明にかかるノイズ除去回路は、大きな振幅のノイズがある映像信号に対して、その大きな振幅のノイズを減衰させ、より品位の高い映像を提供することが可能になり、
また、少ない回路規模で低いコントラストの動き検出ができない時間軸方向のＬＰＦによるノイズ除去を行うときに、残像がでにくくなり、
また、動き検出を伴った時間軸方向のＬＰＦによるノイズ除去を行うときに、小さい回路規模で動きのある映像でノイズがでたりでなかったりする現象を緩和できるので、
デジタルカメラやビデオカメラなどの映像機器に有用である。

１、１ｂ、１ｃ、２ノイズ除去回路
１０１、１０３、１０７減算器
１０２乗算器
１０４、１０４ｂ動き検出部
１０５、１０６ＬＰＦ
１０８調整値生成部
１０９フレームメモリ
８０２全画面動き検出部
８０３カウンタ
８０４判定部
８０５ゲート部
８０６減衰部
８０７モニタ信号生成部
８０９モニタ信号付加部
１００１２次元ＬＰＦ

Claims

１フレームを構成する入力映像が入力される入力部と、
前記入力映像に対してノイズを除去した出力映像を出力する出力部と、
前記入力映像と１フレーム前に前記出力部から出力された前記出力映像のそれぞれに対して、画素毎に当該画素を除く周辺の画素を用いたフィルタ処理を行い、その処理結果の差分を基に、当該画素の動きの有無を判定する動き検出部と、
前記動き検出部で動きがないと判定した場合に、前記入力映像の画素毎に、１フレーム前の前記出力映像の当該画素を所定割合で加算しノイズを除去するノイズ除去部と、
を備えるノイズ除去装置。
前記動き検出部は、
前記入力映像と１フレーム前に前記出力部から出力された前記出力映像のそれぞれに対して、画素毎に当該画素を除く周辺の画素を用いたフィルタ処理を行い、その処理結果の差分を基に、当該画素の動きの有無を判定する第１の動き検出部と、
前記第１の動き検出部で動きがあると判定された画素数が、１フレームを構成する全画素中の所定の割合を越えるか否かにより、動きの有無を判定する第２の動き検出部と、
を備え、
前記出力映像に対して、前記第２の動き検出部で動きがあると判定された画素の次のライン以降を明示的に示すモニタ信号を付加するモニタ信号付加部を、さらに備える、請求項１に記載のノイズ除去装置。
前記入力映像に対して、画素毎に当該画素と周辺の画素とのレベル差が、所定のレベル差内の画素に対してフィルタをかける第２のフィルタ部を、さらに備え、
前記動き検出部は、前記動き検出部で動きがあると判定した場合に前記所定のレベルを大きくし、動きがないと判定した場合に前記所定のレベルを小さくする、請求項１または２に記載のノイズ除去装置。