JPH06121194A - ノイズ除去回路 - Google Patents

Abstract

(57)【要約】 【目的】画像の平坦部でもエッジ部でも全般的に画質を
改善できるようにする。 【構成】入力画像が動画部であるときに使用される動画
部用ノイズ除去フィルタと、入力画像が静止画部である
ときに使用される静止画部用ノイズ除去フィルタのいず
れかのフィルタ出力が、入力画像の動き検出回路から得
られた動き検出出力に基づいて選択される。動画と静止
画で適応的にノイズ処理を選択することによってノイズ
除去効果が大きいので画質が大幅に改善される。エッジ
検出回路３１で入力画像のエッジ部が検出され、エッジ
部のときはＲＯＭ３２から値の小さな閾値α２が選択さ
れ、動き検出部３３ではこの閾値α２で動きの判断が行
われ、平坦部であるときは値の大きな閾値α１で動きの
判断が行われる。エッジ部では動き画像と判断され易く
なるのでエッジがボケない。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、入力信号をエンコー
ドする際にその直前処理として使用して好適なノイズ除
去回路に関する。

【０００２】

【従来の技術】入力画像信号を圧縮・復元する装置（コ
ーディック装置）ではそのデータ圧縮系に設けられたエ
ンコーダの直前にノイズの抑圧を行うためのノイズ除去
手段が設けられる場合が多い。ノイズを除去する手段と
して使用されるノイズ除去回路のうちで、三次元処理に
よるノイズ除去回路が知られている。

【０００３】図１０はその一例を示すノイズ除去回路１
０の系統図であって、端子１１には例えば入力信号（画
像信号）であって、ディジタル変換された信号が供給さ
れる。この入力信号はこれを構成する画素を単位とする
入力画像が静止画部であるときに使用される静止画部用
ノイズ除去フィルタ１２と、入力画像が動画部であると
きに使用される動画部用ノイズ除去フィルタ１３とに供
給され、それぞれのフィルタ１２、１３において入力画
像の内容に応じたノイズ除去処理が施されると共に、ノ
イズ除去処理されたそれぞれのフィルタ出力はスイッチ
ング手段２０に供給される。

【０００４】入力画像はさらに動き検出回路３０にも供
給され、入力画像の画素単位に動きが検出され、入力画
像の動きに応じた動き制御出力によってスイッチング手
段２０が適応的に選択される。そのため、静止画部での
画素に関しては時間方向に関するフィルタ処理を行う時
間フィルタによってノイズ除去が行われ、動きのある画
素では空間フィルタを用いてノイズ除去が行われる。

【０００５】このように入力画像の動きに応じて適応的
にフィルタを選択してノイズ除去を行うと画質を劣化さ
せないでノイズを除去できる。

【０００６】静止画部用ノイズ除去フィルタ１２は単な
る平均値フィルタであって、フレームメモリ１５を有
し、前フレームのメモリ出力が係数器１６にてｋ倍（０
〈ｋ〈１）されたものと、入力端子１１に供給された現
フレームの入力画像が係数器１７にて（１−ｋ）倍され
たものが加算器１８で加算処理され、その加算結果がフ
ィルタ出力となる。

【０００７】図１１はこの静止画部用ノイズ除去フィル
タ１２の動作説明図であって、各フレームの特定画素に
黒丸印のランダムノイズが混入したとすると、ｋ＝０．
５としたときこのノイズ除去フィルタ１２の時間方向に
関するフィルタ効果によってノイズレベルａ，ｂ，ｃ，
ｄは２のべき乗分の１ずつ順次小さくなって出力される
ことが判る。

【０００８】動画部用ノイズ除去フィルタ１３は空間内
フィルタの一種であるメディアンフィルタなどの中間値
フィルタが使用される。中間値フィルタは注目画素を含
む前後２つの画素からその中間のレベルを持つ画素のレ
ベルをその注目画素のレベルとするものであって、図１
２はこのフィルタの動作説明に供する図である。

【０００９】曲線ｐのような入力画像変化に対し、例え
ば注目画素ｂ（画素本来のレベルもｂとする）にノイズ
ｎが混入したときは、ａ，ｎ，ｃの中間値がその注目画
素における出力画素レベルとして選択される。したがっ
て、ｃが選択される。次の画素ではｎ〈ｄであるから、
このとき始めてノイズｎが選択される。このノイズレベ
ルはｄよりも小さいのでノイズｎを選択したとしても周
囲の画素から極端に突出していないので余り目立たな
い。

【００１０】因みに、フィルタがない通常出力のときに
は図１２のような画素レベルとなり、低レベルのときに
ノイズｎが選択されることになるからノイズレベルが突
出し選択されたノイズｎが目立つことになる。

【００１１】図１３は入力画像の動き検出動作を説明す
るもので、図では現フレーム（ｎフレーム）における注
目画素ｅを含む周囲３×３画素と、前フレーム（ｎ−１
フレーム）の同じ画素位置での差分（ａ−ａ′，ｂ−
ｂ′，・・・ｉ−ｉ′）をとり、それらの和Ｓを求め
る。

【００１２】和Ｓの値が予め定められた閾値と比較さ
れ、閾値よりも大きいときその注目画素は動く画素（動
画部）と判断され、閾値よりも小さいときは静止画素
（静止画部）と判断される。

【００１３】

【発明が解決しようとする課題】ところで、このように
構成された従来のノイズ除去回路１０において、動画部
と静止画部とを判断する動き検出回路３０では動き判別
信号として１つの閾値が使用され、この閾値と入力画像
とを比較してその入力画素が動画であるか静止画である
かを判別していた。

【００１４】しかし、入力画像のうち平坦部ではノイズ
が目立ち易く、エッジ部では目立ちにくいという視覚特
性を持っている。そのため平坦部では多少のノイズでも
これを検出して抑圧する必要がある。

【００１５】これとは逆に、入力画像のうちエッジ部で
はこれにノイズが混入していても目立ちにくい。しか
も、このエッジ部でノイズが混入したときで静止画部と
判断されると平坦部でのフィルタと同じフィルタング処
理が行われることになる。静止画部用フィルタは平均値
フィルタであるためこのような処理を行うとかえってエ
ッジ部の画像がぼけてしまう。

【００１６】このような画像の特性を考慮しないで動き
を判別することは、かえって画質を劣化させることにな
る。画像の特性を考慮し、エッジ部と平坦部とで閾値を
変えればこのような問題も生じない。

【００１７】そこで、この発明はこのような従来の課題
を解決したものであって、エッジ部と平坦部の双方の画
質を効果的に改善できるノイズ除去回路を提案するもの
である。

【００１８】

【課題を解決するための手段】上述の課題を解決するた
め、この発明においては、入力画像が動画部であるとき
に使用される動画部用ノイズ除去フィルタと、入力画像
が静止画部であるときに使用される静止画部用ノイズ除
去フィルタとが入力画像の動きに応じて適応的に選択さ
れて使用されるノイズ除去回路において、入力画像の動
き検出回路が設けられ、その動き検出出力に基づいて上
記動画部用ノイズ除去フィルタと静止画部用ノイズ除去
フィルタの何れかの出力が選択され、上記静止画部用ノ
イズ除去フィルタからは入力する静止画連続フレーム数
ｎの平均入力画像が出力されると共に、上記動き検出回
路は複数の閾値に基づいて入力画像の動きが判別される
ようになされたことを特徴とするものである。

【００１９】

【作用】図４に示す実施例について説明すると、動き検
出回路３０にはエッジ検出回路３１が設けられているの
で、ここで入力画像がエッジ部であるのか平坦部である
のかの検出が行われる。

【００２０】その検出出力ＣＡがＲＯＭ３２に供給され
て検出出力ＣＡに応じた閾値α１若しくはα２が選択さ
れる。具体的には、平坦部であるときには値の大きな閾
値α１が選択され、これで動きが判別される。したがっ
て、平坦部では静止画部と判定され易くなりノイズ抑圧
効果が大きくなる。

【００２１】エッジ部であると判断されたときは値の小
さな閾値α２が選択され、このときはどちらかと言えば
動きがあるものと判断され易くなる。このため、エッジ
部では空間的なフィルタング処理の確率が高くなりエッ
ジ部がぼけるようなことはない。

【００２２】

【実施例】続いて、この発明に係るノイズ除去回路の一
例をコッディック装置のデータ圧縮系に適用した場合に
つき、図面を参照して詳細に説明する。

【００２３】図１はこの発明に係るノイズ除去回路１０
の具体例を示す。端子１１に入力した入力信号は動画部
用ノイズ除去フィルタ１３に供給されると共に静止画部
用フィルタ４０に供給される。両フィルタ出力はスイッ
チング手段２０でその何れかが選択されて出力端子２１
に導出される。

【００２４】動画部用ノイズ除去フィルタ１３としては
従来と同じように空間フィルタの一種であるメディアン
フィルタなどを使用することができる。メディアンフィ
ルタの処理例を図２に示す。図２の例は連続してノイズ
ｎ１，ｎ２が入力信号（波形はｐ）に混入した場合を示
している。

【００２５】３０は動き検出回路であってその具体例は
後述するとして、これより得られた動き検出出力はスイ
ッチング手段２０に供給される他、静止カウンタ５０に
供給されて静止画素に対する連続静止フレーム数ｎが検
出される。

【００２６】連続静止フレーム数ｎについて図３を参照
して説明する。図に示すようにＭを動画素、Ｓを静止画
素としたとき、注目画素が動画素であると判断されたと
きは常にｎ＝１で、動画部から静止画部への変化点およ
び静止画部から動画部への変化点でもｎ＝１とされ、静
止画部では連続する静止フレーム数によってｎが順次累
積される。図は３フレームにわたり注目画素が動き、次
の３フレームが静止していたときのｎ値を示している。

【００２７】静止カウンタ５０ではこの連続静止フレー
ム数ｎから重み係数１／ｎと（ｎ−１）／ｎが算出さ
れ、これら重み係数が静止画部用フィルタ４０に供給さ
れる。

【００２８】静止画部用フィルタ４０は図のように平均
化用のフレームメモリ４１を有し、フレーム出力（前フ
レームのノイズが抑圧された出力信号）が第１の乗算器
４２に供給されて重み係数（ｎ−１）／ｎと乗算され
る。

【００２９】端子１１に供給された現フレームの入力信
号は第２の乗算器４３で重み係数１／ｎと乗算され、こ
れら２つの乗算出力が加算器４４で加算されたものがフ
ィルタ４０の最終的な出力として使用される。加算出力
はフレームメモリ４１の入力にもなっている。フレーム
メモリ４１への入力は、

【００３０】

【数１】

【００３１】図２に示したように、連続静止フレーム数
ｎに平均化されるフレーム数が相違するので、ｎが大き
い程ノイズ除去効果が大きくなり、また動画部から静止
画部への変化点のようなところではｎ＝１になるので、
第１の乗算器４２の出力がゼロになり、入力信号そのも
のがフィルタ４０より出力されることになるから、残像
は発生しない。

【００３２】また、加算器４４の出力がフレームメモリ
４１に入力するような巡回式に構成されていることか
ら、動画から静止画に入力画像が変化したとき動画部の
画像情報は順次循環されながら平均化されるため、時間
が経つにつれ静止画に対する動画部の影響が少なくな
り、時間の経過と共にノイズ除去効果が発揮される。

【００３３】図４は動き検出回路３０の具体例を示す。
図に示す動き検出は画像のエッジ部分と平坦部分で動き
検出のための閾値を適応的に変更した場合を示す。

【００３４】そのため、図のように入力信号はエッジ検
出回路３１に供給される。エッジ検出のためこの例では
図５に示すような係数値に設定された注目画素を含む３
×３を検出ブロックの単位とするラプラシアンフィルタ
が使用される。そして、対応する入力画素にそれぞれの
ラプラシアン係数（−１と８の何れか）を掛けたものの
総和を１／８したものが検出値（アクティビティ）Ｌと
して使用される。

【００３５】図１３に示される３×３の単位ブロック
（ｎフレーム目）を参考にして説明すると、ａ〜ｉをそ
れぞれの画素における入力レベルであるとしたときには
検出値Ｌは、 Ｌ＝１／８｛８ｅ−（ａ＋ｂ＋ｃ＋ｄ＋ｆ＋ｇ＋ｈ＋ｉ）｝ ・・・・（４） となる。

【００３６】この検出値Ｓと所定の閾値βとが比較さ
れ、 Ｌ≧βのとき・・・・エッジ部 Ｌ〈βのとき・・・・平坦部 と判断する。その判断結果である比較出力ＣＡによって
動き検出部３３に対する閾値α（本例では２つの閾値α
１かα２（α１〉α２とする））が選択される。

【００３７】この例では図４に示すように係数ＲＯＭ３
２が設けられ、ここに２つの閾値α１とα２とがストア
され、例えばエッジ部であると判断されたときには閾値
の大きな値α１が選択される。

【００３８】比較出力ＣＡによって選択された閾値αに
よって入力信号の動きが判断される。つまり、動き検出
部３３では、次のような判断処理が２つの閾値α１，α
２によって行われることになる。

【００３９】（１）Ｌ〈β（平坦部）と判断されたとき Ｓ≧α１・・・・動画部 Ｓ〈α１・・・・静止部 （２）Ｌ≧β（エッジ部）と判断されたとき Ｓ≧α２・・・・動画部 Ｓ〈α２・・・・静止部 その結果入力画像が平坦なとき、つまりエッジで囲まれ
る内部ではノイズの存在が目立ち易いので、この場合に
は（１）にしたがって大きい方の閾値α１を用いて動き
が検出される。

【００４０】（１）の条件にしたがうと動画部であると
判断されるよりも静止画部と判断される確率が高くなる
ので、この場合には静止部用フィルタ４０が選択され
る。静止部用フィルタ４０は動画部用ノイズ除去フィル
タ１３よりもノイズが抑圧されるので平坦部でのノイズ
除去効果が大きくなる。

【００４１】エッジ部では（２）にしたがって閾値の小
さな方α２を用いているので、この場合には逆に動きの
ある画素と判断され易くなる。したがって、エッジ部で
は動画部用ノイズ除去フィルタ１３による空間フィタリ
ング処理となり、ノイズ除去効果は多少薄れる。しか
り、エッジ部であるためノイズの混入があまり目立たな
いので小さい閾値とすることによる影響は少ない。

【００４２】それよりも、エッジ部で静止画用フィルタ
４０を用いると、これが時間フィルタであるため画像が
ぼけてしまうのであまり好ましくない。上述のようにす
ると、エッジ部で動画と判断される確率が高くなるため
静止画部用ノイズ除去フィルタ４０が選択されにくくな
り画像がぼけるようなおそれがない。

【００４３】このようにエッジの情報によって動き検出
のための閾値を適応的に変更することによって平坦部で
のノイズ除去効果が高まり、エッジ部での画質劣化が軽
減される。上述したα１，α２およびβの値は用途に応
じて適宜選択することができる。ＲＯＭ３２の代わりに
α１，α２の基準値を選択するように構成することもで
きる。閾値の個数は任意である。

【００４４】図６は図１の第１の変形例である。図１の
場合にはフレームメモリ４１に対する入力は加算器４４
の出力そのものであったが、図６では出力端子２１に得
られる出力信号を利用している。そのほかの構成は図１
と全く同じである。

【００４５】出力端子２１に得られる出力信号は、動画
部用ノイズ除去フィルタ１３によって空間内ノイズ処理
が施された出力信号若しくは静止画部用フィルタ４０に
よって時間方向におけるノイズ処理が施された出力信号
であるから、何れもノイズが充分に抑圧された前フレー
ムの出力信号である。出力端子２１に得られる出力信号
を式で表すと、

【００４６】

【数２】

【００４７】したがって、第１および第２の乗算器４
２，４３と加算器４４とフレームメモリ４１によって構
成されたフィルタ４０では、ノイズが充分抑圧されたこ
の出力信号を入力としてこれを連続静止フレーム数ｎに
よって重み付けされた前フレームの出力信号と、現フレ
ームの入力信号が連続静止フレーム数ｎによって重み付
けされた現フレームの入力信号を加算してフィルタ出力
としている。

【００４８】そのため、動画部から静止画部に切り替わ
る時点での直前の動画部にノイズが混入したようなとき
にはフィルタ４０によってノイズが抑圧されたフィルタ
出力を出力信号として用いることができるので、動画部
から静止画部への変化点におけるノイズ軽減効果が図１
よりも大きい。

【００４９】図７は図１の第２の変形例を示す。図１で
は現フレームの入力信号そのものを動画部用ノイズ除去
フィルタ１３の入力信号として使用している。これに対
して図７は静止画部用フィルタ４０のフィルタ出力を動
画部用ノイズ除去フィルタ１３の入力信号として用いて
いる。

【００５０】こうすれば、動画部用ノイズ除去フィルタ
１３には時間方向に対してノイズ除去処理が施されたフ
ィルタ出力が入力するので、現フレームの入力信号を入
力して空間内ノイズ処理を施す場合よりも動き部分での
ノイズ除去処理効果を高めることができる。

【００５１】図８は図７の変形例であって、動画部用ノ
イズ除去フィルタ１３の前段にスイッチング手段６０が
設けられ、現フレームの入力信号と前フレームの出力信
号が動きに応じて適応的に切り替えられるように構成す
ることもできる。

【００５２】動画部であるときは現フレームの入力信号
が選択され、静止画部であるときは前フレームの出力信
号が選択される。静止画部ではノイズが充分抑圧された
前フレームの出力信号に基づいてノイズ除去処理を行う
ので効果的なノイズ除去が可能であり、またその出力を
さらにフレームメモリ４１への入力とするような巡回式
に構成されているのでノイズ抑圧効果が大である。

【００５３】上述した実施例は何れも時間方向にノイズ
除去処理されたフィルタ出力と空間内でノイズ除去処理
されたフィルタ出力の何れかを動き検出出力に応じて適
応的に選択するようにした場合である。

【００５４】図９は両フィルタ出力の何れかを選択する
のではなく、動きに応じて適応的にミックスして使用す
るようにしたものである。そのため、ハード的にはスイ
ッチング手段２０の代わりに混合器７０が設けられ、そ
の混合比が動き量に応じて制御される。

【００５５】入力画像の動き量をｍｑ、動画部用ノイズ
除去フィルタ１３としてメディアンフィルタを使用した
ときのフィルタ出力をｄｍ（ｋ）、フィルタ４０の出力
（加算器４１の出力）をｄｓ（ｋ）とすれば、出力端子
２１に得られる最終的な出力信号などは以下のように表
すことができる。

【００５６】

【数３】

【００５７】このように動き量に応じて両フィルタ出力
の混合比を適応的に制御すれば、動画部と静止画部の切
り替え時点での画質劣化を改善できる。

【００５８】混合係数ｍｑ，（１−ｍｑ）はこれを動き
量に応じてリニアに制御するのではなく、数種類の混合
係数を用意し、それらを適応的に選択してもよい。

【００５９】上述した実施例は相互に任意に組み合わせ
て構成することができ、その場合には時間方向および空
間内のノイズ除去が一層効果的に行われることがある。

【００６０】

【発明の効果】以上のように、この発明に係るノイズ除
去回路では、時間方向のフィルタ出力と空間内のフィル
タ出力を入力信号の動きに応じて適応的に選択するよう
にしたものである。

【００６１】これによれば動画でも静止画でも共に混入
したノイズを効果的に抑圧することができるので画質の
よい出力信号を生成することができる。

【００６２】動き検出は大小２つの閾値を用いて、入力
画像がエッジ部であるときと平坦部であるときとで適応
的に選択して行うようにしたものであるから、平坦部で
のノイズの抑圧が効果的に行われると共に、エッジ部で
のボケもなくなり、全般的に画質を改善することができ
る効果がある。

【図面の簡単な説明】

【図１】この発明に係るノイズ除去回路の一例を示す系
統図である。

【図２】空間内フィルタとしてメディアンフィルタを使
用したときのフィルタ処理の説明図である。

【図３】特定画素での連続静止フレーム数の説明図であ
る。

【図４】動き検出回路の系統図である。

【図５】エッジ検出用ラプラシアンフィルタの説明図で
ある。

【図６】ノイズ除去回路の系統図である。

【図７】ノイズ除去回路の系統図である。

【図８】ノイズ除去回路の系統図である。

【図９】ノイズ除去回路の系統図である。

【図１０】従来のノイズ除去回路の系統図である。

【図１１】静止画部用フィルタの動作説明図である。

【図１２】動画部用フィルタの動作説明図である。

【図１３】動き検出のための説明図である。

【符号の説明】

１０ ノイズ除去回路 １２，４０ 静止画部用フィルタ １３ 動画部用フィルタ ２０，６０ スイッチング手段 ３０ ノイズ検出回路 ３１ エッジ検出回路 ３２ 閾値用ＲＯＭ ３３ 動き検出部 ４１ フレームメモリ ４２，４３ 乗算器 ４４ 加算器 ５０ 動きカウンタ ７０ 混合器

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成５年１０月１日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】００３６

【補正方法】変更

【補正内容】

【００３６】この検出値Ｌと所定の閾値βとが比較さ
れ、 Ｌ≧βのとき・・・・エッジ部 Ｌ〈βのとき・・・・平坦部 と判断する。その判断結果である比較出力ＣＡによって
動き検出部３３に対する閾値α（本例では２つの閾値α
１かα２（α１〉α２とする））が選択される。

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】００３７

【補正方法】変更

【補正内容】

【００３７】この例では図４に示すように係数ＲＯＭ３
２が設けられ、ここに２つの閾値α１とα２とがストア
され、例えばエッジ部であると判断されたときには閾値
の小さな値α２が選択される。

【手続補正３】

【補正対象書類名】明細書

【補正対象項目名】００４６

【補正方法】変更

【補正内容】

【００４６】

【数２】

【手続補正４】

【補正対象書類名】明細書

【補正対象項目名】００５５

【補正方法】変更

【補正内容】

【００５５】入力画像の動き量をｍｑ、動画部用ノイズ
除去フィルタ１３としてメディアンフィルタを使用した
ときのフィルタ出力をｄｍ（ｋ）、フィルタ４０の出力
（加算器４４の出力）をｄｓ（ｋ）とすれば、出力端子
２１に得られる最終的な出力信号などは以下のように表
すことができる。

【手続補正５】

【補正対象書類名】明細書

【補正対象項目名】００５６

【補正方法】変更

【補正内容】

【００５６】

【数３】

【手続補正６】

【補正対象書類名】図面

【補正対象項目名】図１

【補正方法】変更

【補正内容】

【図１】

【手続補正７】

【補正対象書類名】図面

【補正対象項目名】図２

【補正方法】変更

【補正内容】

【図２】

【手続補正８】

【補正対象書類名】図面

【補正対象項目名】図９

【補正方法】変更

【補正内容】

【図９】

Claims (4)

【特許請求の範囲】
1. 【請求項１】 入力画像が動画部であるときに使用され
   る動画部用ノイズ除去フィルタと、入力画像が静止画部
   であるときに使用される静止画部用ノイズ除去フィルタ
   とが入力画像の動きに応じて適応的に選択されて使用さ
   れるノイズ除去回路において、 入力画像の動き検出回路が設けられ、その動き検出出力
   に基づいて上記動画部用ノイズ除去フィルタと静止画部
   用ノイズ除去フィルタの何れかの出力が選択され、 上記静止画部用ノイズ除去フィルタからは入力する静止
   画連続フレーム数ｎの平均入力画像が出力されると共
   に、 上記動き検出回路は複数の閾値に基づいて入力画像の動
   きが判別されるようになされたことを特徴とするノイズ
   除去回路。
2. 【請求項２】上記静止画部用ノイズ除去フィルタは、 入力画像と１／ｎを乗算する第１の乗算手段と、 平均値メモリの出力と（ｎ−１）／ｎとの乗算を行う第
   ２の乗算手段と、 その加算手段とで構成され、加算手段の出力が上記平均
   値メモリに入力されるようになされたことを特徴とする
   請求項１記載のノイズ除去回路。
3. 【請求項３】 上記閾値は大小２つの閾値が用意され、
   入力画像がエッジ部であるときは値の大きな閾値を用い
   て入力画像の動きが判別されるようになされたことを特
   徴とする請求項１記載のノイズ除去回路。
4. 【請求項４】 上記入力画像のエッジ部はラプラシアン
   フィルタを用いて検出されるようになされたことを特徴
   とする請求項３記載のノイズ除去回路。