JP3326827B2 - ノイズ除去回路 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、入力信号をエンコー
ドする際にその直前処理として使用して好適なノイズ除
去回路に関する。

【０００２】

【従来の技術】入力画像信号を圧縮・復元する装置（コ
ーディック装置）ではそのデータ圧縮系に設けられたエ
ンコーダの直前にノイズの抑圧を行うためのノイズ除去
手段が設けられる場合が多い。ノイズを除去する手段と
して使用されるノイズ除去回路のうちで、三次元処理に
よるノイズ除去回路が知られている。

【０００３】図１０はその一例を示すノイズ除去回路１
０の系統図であって、端子１１には例えば入力信号（画
像信号）であって、ディジタル変換された信号が供給さ
れる。この入力信号はこれを構成する画素を単位とする
入力画像が静止画部であるときに使用される静止画部用
ノイズ除去フィルタ１２と、入力画像が動画部であると
きに使用される動画部用ノイズ除去フィルタ１３とに供
給され、それぞれのフィルタ１２、１３において入力画
像の内容に応じたノイズ除去処理が施されると共に、ノ
イズ除去処理されたそれぞれのフィルタ出力はスイッチ
ング手段２０に供給される。

【０００４】入力画像はさらに動き検出回路３０にも供
給され、入力画像の画素単位に動きが検出され、入力画
像の動きに応じた動き制御出力によってスイッチング手
段２０が適応的に選択される。そのため、静止画部での
画素に関しては時間方向に関するフィルタ処理を行う時
間フィルタによってノイズ除去が行われ、動きのある画
素では空間フィルタを用いてノイズ除去が行われる。

【０００５】このように入力画像の動きに応じて適応的
にフィルタを選択してノイズ除去を行うと画質を劣化さ
せないでノイズを除去できる。

【０００６】静止画部用ノイズ除去フィルタ１２は単な
る平均値フィルタであって、フレームメモリ１５を有
し、前フレームのメモリ出力が係数器１６にてｋ倍（０
〈ｋ〈１）されたものと、入力端子１１に供給された現
フレームの入力画像が係数器１７にて（１−ｋ）倍され
たものが加算器１８で加算処理され、その加算結果がフ
ィルタ出力となる。

【０００７】図１１はこの静止画部用ノイズ除去フィル
タ１２の動作説明図であって、各フレームの特定画素に
黒丸印のランダムノイズが混入したとすると、ｋ＝０．
５としたときこのノイズ除去フィルタ１２の時間方向に
関するフィルタ効果によってノイズレベルａ，ｂ，ｃ，
ｄは２のべき乗分の１ずつ順次小さくなって出力される
ことが判る。

【０００８】動画部用ノイズ除去フィルタ１３は空間内
フィルタの一種であるメディアンフィルタなどの中間値
フィルタが使用される。中間値フィルタは注目画素を含
む前後２つの画素からその中間のレベルを持つ画素のレ
ベルをその注目画素のレベルとするものであって、図１
２はこのフィルタの動作説明に供する図である。

【０００９】曲線ｐのような入力画像変化に対し、例え
ば注目画素ｂ（画素本来のレベルもｂとする）にノイズ
ｎが混入したときは、ａ，ｎ，ｃの中間値がその注目画
素における出力画素レベルとして選択される。したがっ
て、ｃが選択される。次の画素ではｎ〈ｄであるから、
このとき始めてノイズｎが選択される。このノイズレベ
ルはｄよりも小さいのでノイズｎを選択したとしても周
囲の画素から極端に突出していないので余り目立たな
い。

【００１０】因みに、フィルタがない通常出力のときに
は図１２のような画素レベルとなり、低レベルのときに
ノイズｎが選択されることになるからノイズレベルが突
出し選択されたノイズｎが目立つことになる。

【００１１】図１３は入力画像の動き検出動作を説明す
るもので、図では現フレーム（ｎフレーム）における注
目画素ｅを含む周囲３×３画素と、前フレーム（ｎ−１
フレーム）の同じ画素位置での差分（ａ−ａ′，ｂ−
ｂ′，・・・ｉ−ｉ′）をとり、それらの和Ｓを求め
る。

【００１２】和Ｓの値が予め定められた閾値と比較さ
れ、閾値よりも大きいときその注目画素は動く画素（動
画部）と判断され、閾値よりも小さいときは静止画素
（静止画部）と判断される。

【００１３】

【発明が解決しようとする課題】ところで、このように
構成された従来のノイズ除去回路１０において、動画部
と静止画部とを判断する動き検出回路３０では動き判別
信号として１つの閾値が使用され、この閾値と入力画像
とを比較してその入力画素が動画であるか静止画である
かを判別していた。

【００１４】しかし、入力画像のうち平坦部ではノイズ
が目立ち易く、エッジ部では目立ちにくいという視覚特
性を持っている。そのため平坦部では多少のノイズでも
これを検出して抑圧する必要がある。

【００１５】これとは逆に、入力画像のうちエッジ部で
はこれにノイズが混入していても目立ちにくい。しか
も、このエッジ部でノイズが混入したときで静止画部と
判断されると平坦部でのフィルタと同じフィルタング処
理が行われることになる。静止画部用フィルタは平均値
フィルタであるためこのような処理を行うとかえってエ
ッジ部の画像がぼけてしまう。

【００１６】このような画像の特性を考慮しないで動き
を判別することは、かえって画質を劣化させることにな
る。画像の特性を考慮し、エッジ部と平坦部とで閾値を
変えればこのような問題も生じない。

【００１７】そこで、この発明はこのような従来の課題
を解決したものであって、エッジ部と平坦部の双方の画
質を効果的に改善できるノイズ除去回路を提案するもの
である。

【００１８】

【課題を解決するための手段】上述の課題を解決するた
め、この発明に係るノイズ除去回路は、入力画像のノイ
ズ除去を複数のノイズ除去フィルタを用いて行うノイズ
除去回路において、上記入力画像がエッジ部あるいは平
坦部のいずれであるかを検出する特性検出手段と、上記
特性検出手段での検出結果に応じて閾値を設定すると共
に、該閾値に基づいて入力画像の動き検出を行う動き検
出手段と、上記動き検出手段の動き検出結果に基づい
て、複数のノイズ除去フィルタの出力を選択するスイッ
チ手段とを有するものである。

【００１９】

【作用】この発明の要部である図４に示す実施例につい
て説明すると、動き検出回路３０にはエッジ検出回路３
１が設けられているので、ここで入力画像がエッジ部で
あるのか平坦部であるのかの検出が行われる。

【００２０】その検出出力ＣＡがＲＯＭ３２に供給され
て検出出力ＣＡに応じた閾値α１若しくはα２が選択さ
れる。具体的には、平坦部であるときには値の大きな閾
値α１が選択され、これで動きが判別される。したがっ
て、平坦部では静止画部と判定され易くなりノイズ抑圧
効果が大きくなる。

【００２１】エッジ部であると判断されたときは値の小
さな閾値α２が選択され、このときはどちらかと言えば
動きがあるものと判断され易くなる。このため、エッジ
部では空間的なフィルタング処理の確率が高くなりエッ
ジ部がぼけるようなことはない。

【００２２】

【実施例】続いて、この発明に係るノイズ除去回路の一
例をコッディック装置のデータ圧縮系に適用した場合に
つき、図面を参照して詳細に説明する。

【００２３】図１はこの発明に係るノイズ除去回路１０
の具体例を示す。端子１１に入力した入力信号は動画部
用ノイズ除去フィルタ１３に供給されると共に静止画部
用フィルタ４０に供給される。両フィルタ出力はスイッ
チング手段２０でその何れかが選択されて出力端子２１
に導出される。

【００２４】動画部用ノイズ除去フィルタ１３としては
従来と同じように空間フィルタの一種であるメディアン
フィルタなどを使用することができる。メディアンフィ
ルタの処理例を図２に示す。図２の例は連続してノイズ
ｎ１，ｎ２が入力信号（波形はｐ）に混入した場合を示
している。

【００２５】３０は動き検出回路であってその具体例は
後述するとして、これより得られた動き検出出力はスイ
ッチング手段２０に供給される他、静止カウンタ５０に
供給されて静止画素に対する連続静止フレーム数ｎが検
出される。

【００２６】連続静止フレーム数ｎについて図３を参照
して説明する。図に示すようにＭを動画素、Ｓを静止画
素としたとき、注目画素が動画素であると判断されたと
きは常にｎ＝１で、動画部から静止画部への変化点およ
び静止画部から動画部への変化点でもｎ＝１とされ、静
止画部では連続する静止フレーム数によってｎが順次累
積される。図は３フレームにわたり注目画素が動き、次
の３フレームが静止していたときのｎ値を示している。

【００２７】静止カウンタ５０ではこの連続静止フレー
ム数ｎから重み係数１／ｎと（ｎ−１）／ｎが算出さ
れ、これら重み係数が静止画部用フィルタ４０に供給さ
れる。

【００２８】静止画部用フィルタ４０は図のように平均
化用のフレームメモリ４１を有し、フレーム出力（前フ
レームのノイズが抑圧された出力信号）が第１の乗算器
４２に供給されて重み係数（ｎ−１）／ｎと乗算され
る。

【００２９】端子１１に供給された現フレームの入力信
号は第２の乗算器４３で重み係数１／ｎと乗算され、こ
れら２つの乗算出力が加算器４４で加算されたものがフ
ィルタ４０の最終的な出力として使用される。加算出力
はフレームメモリ４１の入力にもなっている。フレーム
メモリ４１への入力は、

【００３０】

【数１】

【００３１】図２に示したように、連続静止フレーム数
ｎに平均化されるフレーム数が相違するので、ｎが大き
い程ノイズ除去効果が大きくなり、また動画部から静止
画部への変化点のようなところではｎ＝１になるので、
第１の乗算器４２の出力がゼロになり、入力信号そのも
のがフィルタ４０より出力されることになるから、残像
は発生しない。

【００３２】また、加算器４４の出力がフレームメモリ
４１に入力するような巡回式に構成されていることか
ら、動画から静止画に入力画像が変化したとき動画部の
画像情報は順次循環されながら平均化されるため、時間
が経つにつれ静止画に対する動画部の影響が少なくな
り、時間の経過と共にノイズ除去効果が発揮される。

【００３３】図４は動き検出回路３０の具体例を示す。
図に示す動き検出は画像のエッジ部分と平坦部分で動き
検出のための閾値を適応的に変更した場合を示す。

【００３４】そのため、図のように入力信号は入力信号
の画像の特性を検出する特性検出手段としてエッジ検出
回路３１に供給される。エッジ検出のためこの例では図
５に示すような係数値に設定された注目画素を含む３×
３を検出ブロックの単位とするラプラシアンフィルタが
使用される。そして、対応する入力画素にそれぞれのラ
プラシアン係数（−１と８の何れか）を掛けたものの総
和を１／８したものが検出値（アクティビティ）Ｌとし
て使用される。

【００３５】図１３に示される３×３の単位ブロック
（ｎフレーム目）を参考にして説明すると、ａ〜ｉをそ
れぞれの画素における入力レベルであるとしたときには
検出値Ｌは、 Ｌ＝１／８｛８ｅ−（ａ＋ｂ＋ｃ＋ｄ＋ｆ＋ｇ＋ｈ＋ｉ）｝ ・・・・（４） となる。

【００３６】この検出値Ｌと所定の閾値βとが比較さ
れ、 Ｌ≧βのとき・・・エッジ部 Ｌ＜βのとき・・・平坦部 と判断する。その判断結果である比較出力ＣＡによって
動き検出部３３に対する閾値α（本例では２つの閾値α
１かα２（α１＞α２とする））が選択される。つま
り、この動き検出部３３は、エッジ検出回路３１の出力
に応じて定められた閾値α１,α２に基づいて入力画像
の動きを検出する。

【００３７】この例では図４に示すように係数ＲＯＭ３
２が設けられ、ここに２つの閾値α１とα２とがストア
され、例えばエッジ部であると判断されたときには閾値
の小さな値α２が選択される。

【００３８】比較出力ＣＡによって選択された閾値αに
よって入力信号の動きが判断される。つまり、動き検出
部３３では、次のような判断処理が２つの閾値α１，α
２によって行われることになる。

【００３９】（１）Ｌ〈β（平坦部）と判断されたとき Ｓ≧α１・・・・動画部 Ｓ〈α１・・・・静止部 （２）Ｌ≧β（エッジ部）と判断されたとき Ｓ≧α２・・・・動画部 Ｓ〈α２・・・・静止部 その結果入力画像が平坦なとき、つまりエッジで囲まれ
る内部ではノイズの存在が目立ち易いので、この場合に
は（１）にしたがって大きい方の閾値α１を用いて動き
が検出される。

【００４０】（１）の条件にしたがうと動画部であると
判断されるよりも静止画部と判断される確率が高くなる
ので、この場合には静止部用フィルタ４０が選択され
る。静止部用フィルタ４０は動画部用ノイズ除去フィル
タ１３よりもノイズが抑圧されるので平坦部でのノイズ
除去効果が大きくなる。

【００４１】エッジ部では（２）にしたがって閾値の小
さな方α２を用いているので、この場合には逆に動きの
ある画素と判断され易くなる。したがって、エッジ部で
は動画部用ノイズ除去フィルタ１３による空間フィタリ
ング処理となり、ノイズ除去効果は多少薄れる。しか
し、エッジ部であるためノイズの混入があまり目立たな
いので小さい閾値とすることによる影響は少ない。

【００４２】それよりも、エッジ部で静止画用フィルタ
４０を用いると、これが時間フィルタであるため画像が
ぼけてしまうのであまり好ましくない。上述のようにす
ると、エッジ部で動画と判断される確率が高くなるため
静止画部用ノイズ除去フィルタ４０が選択されにくくな
り画像がぼけるようなおそれがない。

【００４３】このようにエッジの情報によって動き検出
のための閾値を適応的に変更することによって平坦部で
のノイズ除去効果が高まり、エッジ部での画質劣化が軽
減される。上述したα１，α２およびβの値は用途に応
じて適宜選択することができる。ＲＯＭ３２の代わりに
α１，α２の基準値を選択するように構成することもで
きる。閾値の個数は任意である。

【００４４】図６は図１の第１の変形例である。図１の
場合にはフレームメモリ４１に対する入力は加算器４４
の出力そのものであったが、図６では出力端子２１に得
られる出力信号を利用している。そのほかの構成は図１
と全く同じである。

【００４５】出力端子２１に得られる出力信号は、動画
部用ノイズ除去フィルタ１３によって空間内ノイズ処理
が施された出力信号若しくは静止画部用フィルタ４０に
よって時間方向におけるノイズ処理が施された出力信号
であるから、何れもノイズが充分に抑圧された前フレー
ムの出力信号である。出力端子２１に得られる出力信号
を式で表すと、

【００４６】

【数２】

【００４７】したがって、第１および第２の乗算器４
２，４３と加算器４４とフレームメモリ４１によって構
成されたフィルタ４０では、ノイズが充分抑圧されたこ
の出力信号を入力としてこれを連続静止フレーム数ｎに
よって重み付けされた前フレームの出力信号と、現フレ
ームの入力信号が連続静止フレーム数ｎによって重み付
けされた現フレームの入力信号を加算してフィルタ出力
としている。

【００４８】そのため、動画部から静止画部に切り替わ
る時点での直前の動画部にノイズが混入したようなとき
にはフィルタ４０によってノイズが抑圧されたフィルタ
出力を出力信号として用いることができるので、動画部
から静止画部への変化点におけるノイズ軽減効果が図１
よりも大きい。

【００４９】図７は図１の第２の変形例を示す。図１で
は現フレームの入力信号そのものを動画部用ノイズ除去
フィルタ１３の入力信号として使用している。これに対
して図７は静止画部用フィルタ４０のフィルタ出力を動
画部用ノイズ除去フィルタ１３の入力信号として用いて
いる。

【００５０】こうすれば、動画部用ノイズ除去フィルタ
１３には時間方向に対してノイズ除去処理が施されたフ
ィルタ出力が入力するので、現フレームの入力信号を入
力して空間内ノイズ処理を施す場合よりも動き部分での
ノイズ除去処理効果を高めることができる。

【００５１】図８は図７の変形例であって、動画部用ノ
イズ除去フィルタ１３の前段にスイッチング手段６０が
設けられ、現フレームの入力信号と前フレームの出力信
号が動きに応じて適応的に切り替えられるように構成す
ることもできる。

【００５２】動画部であるときは現フレームの入力信号
が選択され、静止画部であるときは前フレームの出力信
号が選択される。静止画部ではノイズが充分抑圧された
前フレームの出力信号に基づいてノイズ除去処理を行う
ので効果的なノイズ除去が可能であり、またその出力を
さらにフレームメモリ４１への入力とするような巡回式
に構成されているのでノイズ抑圧効果が大である。

【００５３】上述した実施例は何れも時間方向にノイズ
除去処理されたフィルタ出力と空間内でノイズ除去処理
されたフィルタ出力の何れかを動き検出出力に応じて適
応的に選択するようにした場合である。

【００５４】図９は両フィルタ出力の何れかを選択する
のではなく、動きに応じて適応的にミックスして使用す
るようにしたものである。そのため、ハード的にはスイ
ッチング手段２０の代わりに混合器７０が設けられ、そ
の混合比が動き量に応じて制御される。

【００５５】入力画像の動き量をｍｑ、動画部用ノイズ
除去フィルタ１３としてメディアンフィルタを使用した
ときのフィルタ出力をｄｍ（ｋ）、フィルタ４０の出力
（加算器４４の出力）をｄｓ（ｋ）とすれば、出力端子
２１に得られる最終的な出力信号などは以下のように表
すことができる。

【００５６】

【数３】

【００５７】このように動き量に応じて両フィルタ出力
の混合比を適応的に制御すれば、動画部と静止画部の切
り替え時点での画質劣化を改善できる。

【００５８】混合係数ｍｑ，（１−ｍｑ）はこれを動き
量に応じてリニアに制御するのではなく、数種類の混合
係数を用意し、それらを適応的に選択してもよい。

【００５９】上述した実施例は相互に任意に組み合わせ
て構成することができ、その場合には時間方向および空
間内のノイズ除去が一層効果的に行われることがある。

【００６０】

【発明の効果】以上のように、この発明に係るノイズ除
去回路では、時間方向のフィルタ出力と空間内のフィル
タ出力を入力信号の動きに応じて適応的に選択するよう
にしたものである。換言するならば、入力画像の特性に
応じて定めた閾値に基づいて入力画像の動きを検出し、
この検出結果でフィルタ出力を選択するようにしたもの
である。

【００６１】これによれば動画でも静止画でも共に混入
したノイズを効果的に抑圧することができるので画質の
よい出力信号を生成することができる。

【００６２】動き検出は予め定められた大小２つの閾値
を用いて行われるため、画像の特性（エッジの有無）に
応じて動き検出のための閾値が異なるから、入力画像が
エッジ部であるか平坦部かを正確に判別できる。そのた
め、平坦部でのノイズの抑圧が効果的に行われると共
に、エッジ部でのボケもなくなり、全般的に画質を改善
することができる効果がある。

【図面の簡単な説明】

【図１】この発明に係るノイズ除去回路の一例を示す系
統図である。

【図２】空間内フィルタとしてメディアンフィルタを使
用したときのフィルタ処理の説明図である。

【図３】特定画素での連続静止フレーム数の説明図であ
る。

【図４】動き検出回路の系統図である。

【図５】エッジ検出用ラプラシアンフィルタの説明図で
ある。

【図６】ノイズ除去回路の系統図である。

【図７】ノイズ除去回路の系統図である。

【図８】ノイズ除去回路の系統図である。

【図９】ノイズ除去回路の系統図である。

【図１０】従来のノイズ除去回路の系統図である。

【図１１】静止画部用フィルタの動作説明図である。

【図１２】動画部用フィルタの動作説明図である。

【図１３】動き検出のための説明図である。

【符号の説明】

１０ ノイズ除去回路 １２，４０ 静止画部用フィルタ １３ 動画部用フィルタ ２０，６０ スイッチング手段 ３０ ノイズ検出回路 ３１ エッジ検出回路 ３２ 閾値用ＲＯＭ ３３ 動き検出部 ４１ フレームメモリ ４２，４３ 乗算器 ４４ 加算器 ５０ 動きカウンタ ７０ 混合器

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平２−13069（ＪＰ，Ａ) 特開 平４−105467（ＪＰ，Ａ) 特開 昭63−287270（ＪＰ，Ａ) 特開 平４−222171（ＪＰ，Ａ) 特開 昭64−46884（ＪＰ，Ａ) 特開 平１−143583（ＪＰ，Ａ) 特開 昭62−299181（ＪＰ，Ａ) 特開 平２−186879（ＪＰ，Ａ) 特開 平４−8070（ＪＰ，Ａ) 特開 平２−211778（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/14 - 5/217

Claims (7)

(57)【特許請求の範囲】
1. 【請求項１】 入力画像のノイズ除去を複数のノイズ除
   去フィルタを用いて行うノイズ除去回路において、 上記入力画像がエッジ部あるいは平坦部のいずれである
   かを検出する特性検出手段と、 上記特性検出手段での検出結果に応じて閾値を設定する
   と共に、該閾値に基づいて入力画像の動き検出を行う動
   き検出手段と、 上記動き検出手段の動き検出結果に基づいて、複数のノ
   イズ除去フィルタの出力を選択するスイッチ手段とを有
   することを特徴とするノイズ除去回路。
2. 【請求項２】 上記ノイズ除去フィルタは、入力画像が
   動画部であるときに使用される動画部用ノイズ除去フィ
   ルタと、 入力画像が静止画部であるときに使用される静止画部用
   ノイズ除去フィルタとで構成され、 上記スイッチ手段は、上記動き検出手段の動き検出結果
   に基づいて、上記動画部用ノイズ除去フィルタの出力と
   上記静止画部用ノイズ除去フィルタの出力とを選択する
   ことを特徴とする請求項１記載のノイズ除去回路。
3. 【請求項３】 上記静止画部用ノイズ除去フィルタは、 入力画像と１／ｎを乗算する第１の乗算手段と、 平均値メモリの出力と（ｎ−１）／ｎとの乗算を行う第
   ２の乗算手段と、 上記第１の乗算手段で得られた乗算結果と上記第２の乗
   算手段で得られた乗算結果を加算する加算手段とで構成
   され、 上記加算手段の出力が上記平均値メモリに入力されるよ
   うになされたことを特徴とする請求項２記載のノイズ除
   去回路。
4. 【請求項４】 上記静止画部用ノイズ除去フィルタは、 上記入力画像と上記スイッチ手段で選択した出力とに基
   づいてノイズ除去を行うことを特徴とする請求項２記載
   のノイズ除去回路。
5. 【請求項５】 上記動画部用ノイズ除去フィルタは、メ
   ディアンフィルタであることを特徴とする請求項２記載
   のノイズ除去回路。
6. 【請求項６】 上記動き検出手段では、エッジ部と検出
   されたときに、上記閾値を平坦部と検出されたときより
   も小さく設定して、上記入力画像の動き検出を行うこと
   を特徴とする請求項１記載のノイズ除去回路。
7. 【請求項７】 上記特性検出手段では、ラプラシアンフ
   ィルタを用いて上記入力画像がエッジ部あるいは平坦部
   のいずれであるかを検出することを特徴とする請求項６
   記載のノイズ除去回路。