JP4679501B2 - ノイズ除去装置、ノイズ除去方法、および映像信号表示装置 - Google Patents

ノイズ除去装置、ノイズ除去方法、および映像信号表示装置 Download PDF

Info

Publication number
JP4679501B2
JP4679501B2 JP2006336602A JP2006336602A JP4679501B2 JP 4679501 B2 JP4679501 B2 JP 4679501B2 JP 2006336602 A JP2006336602 A JP 2006336602A JP 2006336602 A JP2006336602 A JP 2006336602A JP 4679501 B2 JP4679501 B2 JP 4679501B2
Authority
JP
Japan
Prior art keywords
noise
difference
frame
motion
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006336602A
Other languages
English (en)
Other versions
JP2008153726A (ja
Inventor
まさ子 浅村
浩次 南
俊博 賀井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2006336602A priority Critical patent/JP4679501B2/ja
Publication of JP2008153726A publication Critical patent/JP2008153726A/ja
Application granted granted Critical
Publication of JP4679501B2 publication Critical patent/JP4679501B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Picture Signal Circuits (AREA)

Description

本発明は、映像信号におけるノイズを除去するためのノイズ除去装置、ノイズ除去方法およびこのノイズ除去装置又は方法を適用した映像信号表示装置に関し、特に、映像信号中のノイズ量に応じてノイズ除去を行うノイズ除去装置、ノイズ除去方法および映像信号表示装置に関するものである。
近年では、テレビジョン受信機などの表示画面の大型化、映像信号の高画質化に伴い、映像信号を処理し高画質で表示する際に、入力映像信号(入力画像信号とも呼ぶ)に含まれる不要な成分、すなわちノイズ(雑音とも呼ぶ)成分が目立つようになってきており、また、映像信号処理において信号の高い信頼性が求められている。この映像信号に含まれるノイズ成分を低減し高画質な映像を得るために、ノイズ除去(ノイズリダクションとも呼び、NRと略す)装置があり、例えば、時間軸の中でフレーム間の相関(フレーム相関)のないノイズ成分を除去する3次元ノイズ除去装置が数多く提案されている。
3次元ノイズ除去装置は、ノイズ除去後の出力信号を1フレーム遅延させ、この1フレーム前の信号と現在の入力フレームの信号とのフレーム間の差分を用いて、ある一定の係数(巡回係数)を掛けたものを現在の入力フレームの信号に加減算することによりノイズ成分を除去する巡回型のノイズ除去装置(フレーム巡回型ノイズ除去装置と呼ぶ)や、入力フレームの信号をフレーム遅延して、複数フレームの信号に係数を掛けて、複数フレームの信号間でフィルタ処理することによりノイズ成分を除去する非巡回型のノイズ除去装置(非巡回型ノイズ除去装置と呼ぶ)がある。このような3次元ノイズ除去装置においては、ノイズ除去効果が得られる一方で、動きのある部分において尾引きや残像が生じる場合があり、前記係数やフィルタ係数をフレーム間の差分等から得られる動き検出情報を用いて算出し、動きのある部分では係数を小さくすることでノイズ除去の効果を弱くし、尾引きや残像の低減している(例えば、特許文献1参照)。
一方で、入力映像信号には、受信状態、入力状態等により、また、映像信号生成時にノイズが混入するなど、ノイズ成分が多く含まれる場合と、ノイズ成分がほとんどなく信号雑音比(S/N)が非常によい映像信号である場合がある。ノイズ成分が多い場合は、3次元ノイズ除去装置によりノイズ除去処理することで、ノイズ除去の効果が得られるが、ノイズ成分が含まれない画面に対しては、静止画部分での影響は小さいが、動きのある部分においての尾引きや残像が目立つことになる。そのため、映像信号に含まれるノイズ成分の量を検出し、ノイズ量に応じてノイズ除去の効果を制御することで、尾引きや残像の低減を行い、画像によらず適切なノイズ除去の効果を得るように図られている。
従来のノイズ除去装置においては、映像信号の同期信号部分、ブランキング部分等に含まれるノイズ成分を抽出してノイズ量を検出し、ノイズ量の検出結果に基づき、巡回するノイズの巡回係数を設定して、ノイズ除去を行う装置(例えば、特許文献2参照)や、映像信号の垂直同期期間および垂直等化期間に設けた検出期間内での入力映像信号のレベルから入力信号の電界強度を判定し、フレーム巡回型ノイズ除去の巡回係数を適応的に制御し、ノイズ除去を行う装置(例えば、特許文献3参照)の提案がある。
また、入力映像信号から分離した水平同期信号の区間のノイズ量を検出して、検出ノイズ量によりノイズの巡回係数を制御することで、ノイズ除去の応答を良くしたノイズ除去処理を行う装置の提案もある(例えば、特許文献4参照)。
さらには、前後のフレームで相関性の高い画像同士の差分に基づいてノイズ量を測定し、測定したノイズ量に応じて巡回係数を制御することで、ノイズ低減効果の調整を適切に行う装置の提案もある(例えば、特許文献5参照)。
特開平9−81754号公報(図1) 特開平3−69276号公報(図1) 特開2000−134510号公報(図1、図2) 特開平9−284608号公報(図1) 特開2005−229166号公報(図1、4)
上述したように、上記従来の装置においては、フレーム間の差分による動き検出の結果に応じてノイズに対する巡回係数を制御しており、また、同期信号部分等における既知のレベルの信号含まれるノイズ成分や、前後のフレームで相関性の高い画像同士の差分からノイズ量を検出し、検出したノイズ量でノイズの巡回係数を制御し、動き部分の尾引きや残像を低減していた。一方では、フレーム間の差分、相関には、前後のフレーム間での映像信号の「動き」による差分と、入力映像信号中の「ノイズ」成分が含まれている。そのため、ノイズ成分が多く含まれる映像信号では、例えば入力映像信号レベルのゲインがアップした場合のようなノイズ成分の値が大きな映像信号が入力されるなどすると、ノイズによる差分を動きと誤検出してしまい、ノイズ量として検出することができず、また、ノイズ成分が含まれない画像の場合には、動きをノイズとしてノイズ成分がないにもかかわらずノイズ除去処理が行われるため、本来の動き部分での尾引きや残像が目立ち、適切なノイズ除去を行うことができないという問題点がある。
さらに、同期信号部分等における既知のレベルの信号に含まれるノイズ成分は、有効期間以外でのノイズ成分であり、動きのない部分に限定されたノイズ成分を検出ことになり、本来の有効な映像信号内に含まれるノイズ量を検出することはできず、適切にノイズ量を検出した良好なノイズ除去を行うことができないという問題点がある。
そこで、本発明は、上記の課題を解決するためになされたものであり、その目的は、フレーム間の差分に含まれる映像信号の動きとノイズ成分を切り分けて、動きのある実映像信号内に含まれるノイズ量を得ることができ、映像信号中のノイズ量に応じてノイズ除去処理を制御することで、どのような映像信号であっても最適なノイズ除去効果が得られるとともに、尾引きや残像という弊害を低減して、良好なノイズ除去効果を得ることができるノイズ除去装置、ノイズ除去方法、及び映像信号表示装置を提供することにある。
本発明は、
映像信号のフレーム間における相関からフレーム間で相関のないノイズ成分を除去する3次元ノイズ除去装置であって、
入力映像信号もしくはノイズ除去装置の出力であるノイズが除去された映像信号をフレーム単位で遅延させるフレーム遅延手段と、
入力フレームの映像信号と、上記フレーム遅延手段によりフレーム遅延された映像信号とが入力され、そのフレーム間の信号の差分を求め、フレーム差分を出力するフレーム差分検出手段と、
上記フレーム差分から、該フレーム差分に含まれる映像信号の動きを検出し、その動きに相当する差分を示す動き差分信号を出力する動き差分検出手段と、
上記フレーム差分と上記動き差分信号から、フレーム差分における動き分を除いて、上記フレーム差分に含まれる映像信号でのノイズ成分のみを抽出して、フレーム内に含まれたノイズ成分の程度を示すフレームノイズ抽出結果をフレーム単位で出力するフレームノイズ抽出手段と、
上記フレームノイズ抽出結果を映像信号のフレーム内におけるノイズ量を示す値へ変換し、映像信号中におけるノイズ量として検出し、出力するノイズ量変換手段と、
上記ノイズ量に応じて、ノイズ除去の強さを制御するための制御信号を生成するノイズ除去処理制御手段と、
上記制御信号に応じてノイズ除去の強さを決めるための係数を変化させることで、ノイズ除去処理を行うノイズ除去手段と
を備えたこと特徴とするノイズ除去装置を提供する。
本発明によれば、フレーム間の差分に含まれる映像信号の動きとノイズ成分を切り分け、映像信号に含まれたノイズ量を適切に得ることができ、ノイズ量に応じてノイズ除去処理を制御することで、ノイズ成分が多く含まれる映像信号とノイズ成分が含まれない映像信号どちらに対しても、最適なノイズ除去効果を得ることができ、尾引きや残像という弊害を低減して、良好なノイズ除去効果を得ることができるという効果がある。
また、上記のノイズ除去装置を組み込んだ映像信号表示装置は、良好なノイズ除去効果が得られた映像信号に基づく高品質な映像を表示することができるという効果を奏する。
実施の形態1.
図1は、本発明における実施の形態1のノイズ除去装置(すなわち、実施の形態1のノイズ除去方法を実施することができる装置)の構成を示すブロック図である。図示のノイズ除去装置1は、1フレーム前の信号と現在の入力フレームの信号からノイズ成分を除去する3次元ノイズ除去装置であって、ノイズ除去後の出力信号を1フレーム遅延させて次のフレームの処理に利用する巡回型のノイズ除去装置(フレーム巡回型ノイズ除去装置と呼ぶ)を構成している。
図1に示される実施の形態1のノイズ除去装置1は、入力映像信号(入力信号、入力フレーム信号又は現フレーム信号ともいう)Di0が順次入力されており、フレームメモリ11と、タイミング信号生成手段12と、ノイズ除去手段20と、ノイズ量検出手段30と、ノイズ除去処理制御手段40とを備えている。
フレームメモリ11は、映像信号を1フレーム遅延させるフレーム遅延手段として用いられている。タイミング信号生成手段12は、映像信号における同期信号SYからタイミング信号を生成する。ノイズ除去手段20は、フレーム間の差分によりノイズ成分を除去する処理を行う。ノイズ量検出手段30は、入力映像信号中に含まれるノイズ成分の量を検出する。ノイズ除去処理制御手段40は、ノイズ量検出手段30からのノイズ量検出結果に応じて、ノイズ除去の効果を制御するための信号を生成する。
ノイズ除去手段20は、入力フレーム信号と1フレーム前の信号の間での差分が「動き」に該当する(「動き」によるもの)か「ノイズ」に該当する(「ノイズ」によるもの)かを検出(判断)して動きの度合いを示す動き度合い信号を得て、この動き度合い信号に基づきノイズ成分に対する巡回係数へと変換してノイズ除去を行うものであり、減算手段21と、振幅制限手段22と、動き検出手段23と、巡回係数発生手段24と、乗算手段25と、演算手段26とを備えている。
減算手段21は、前フレーム信号Im1から現フレーム信号Di0を減算し、現フレーム信号Di0と前フレーム信号Im1のフレーム間のフレーム差分Diffを求める。
振幅制限手段22は、減算手段21からのフレーム差分Diffに対して、所定の値内(例えば、±dTh内)に振幅を制限し、振幅制限された差分値Dfnを入力信号Di0での画素におけるノイズ成分として出力する。
動き検出手段23は、入力フレーム信号Di0と1フレーム前Im1の信号の間での差分から動きの度合いを示す動き度合い信号mdsを出力する。
巡回係数発生手段24は、動き検出手段23からの信号mdsの変化に応じて、さらにノイズ除去処理制御手段40からの制御信号efcntによっても制御され、ノイズに対する巡回係数Kmを生成する。
乗算手段25は、振幅制限手段22からの差分Dfnと巡回係数Kmを乗算しノイズの巡回量Ndとして出力する。
演算手段26は、乗算手段25からの入力信号Di0にノイズ巡回量Ndを加算する(ノイズ巡回量Ndの符号が正のときは入力信号Di0にノイズ巡回量Ndの絶対値を加算し、ノイズ巡回量Ndの符号が負のときは入力信号Di0からノイズ巡回量Ndの絶対値を減算する処理を行なう)。
ノイズ量検出手段30は、入力フレーム信号と1フレーム前の信号の間での差分から、「動き」に該当する差分を除いた映像信号中のノイズ量をフレーム単位で求めるものであり、フレーム差分検出手段33と、動き差分検出手段50と、フレームノイズ抽出手段39と、ノイズ量変換手段38とを備えている。
フレーム差分検出手段33は、映像信号の1フレーム間の差分を検出する。
動き差分検出手段50は、映像信号のフレーム間差分から動きを検出し、動きを示す動き差分信号を出力する。
フレームノイズ抽出手段39は、動き減算手段35と、ノイズ差分累積演算手段36と、複数フレーム分のノイズ差分累積値の平均を算出するフレーム平均累積値算出手段37とを備え、1フレーム内でのノイズ成分を持つ差分のみを抽出し、フレーム内でのノイズ成分の抽出結果(フレームノイズ抽出結果と呼ぶ)として、1フレーム単位の差分の累積値(即ち、ノイズ差分累積値)を出力する。
ノイズ量変換手段38は、平均化されたノイズ差分累積値frnmを映像信号中のノイズ量を示す値flndとして変換し、ノイズ量として出力する。
フレームメモリ11は、映像信号を1フレーム分遅延して出力するためのフレーム遅延手段としても用いられており、ノイズ除去装置1の出力信号Do0(ノイズ除去後の映像信号)を1フレーム遅延させ、入力映像信号Di0に対し、1フレーム前の映像信号(前フレーム信号とも呼ぶ)Im1を出力する。なお、フレームメモリ11は、入力映像信号が飛び越し走査(インターレース)信号のようにフィールド単位の信号である場合は、フィールド単位で遅延を行い、フィールドメモリと呼ばれ、インターレース信号が入力される場合は、1フレーム分の遅延は、すなわち2フィールド分の遅延となる。フレームメモリ11からは、現フレームの入力信号Di0の画素と同一位置における1フレーム前の信号Im1の画素が出力される。
タイミング信号生成手段12は、入力映像信号における垂直および水平同期信号SYが入力され、同期信号SYに基づき、タイミング信号を生成する。ここでは、例えば、1フレーム期間の区切りを示す垂直同期パルス信号frpと、1フレームの映像信号における有効期間内での所定の領域を示すためのフレーム有効エリア信号erctを生成する。なお、このフレーム有効エリア信号erctは、映像信号における有効期間内での所定の領域ではなく、映像信号有効期間内全てを示す信号であってもよい。また、インターレース信号での1つの垂直同期信号で区切られる期間は、1フィールド期間すなわちフィールド単位となるが、ここでは、1つの垂直同期信号で区切られる期間は1フレームとして呼ぶものとする。
ノイズ除去手段20へは、現フレーム信号Di0、及び前フレーム信号Im1、並びにノイズ除去の効果を制御するための信号efcntが入力される。ノイズ除去手段20では、現フレーム信号Di0と前フレーム信号Im1のフレーム間の差分値(フレーム差分)Diffが求められ、このフレーム差分Diffから、差分が「動き」に該当するか「ノイズ」に該当するかを検出して動きの度合いを示す動き度合い信号mdsを得るとともに、この動き度合い信号mdsに基づきノイズ成分に対する巡回係数Kmを求め、差分Diffと巡回係数Kmとに基づきノイズ除去処理を行うが、上記ノイズ除去の効果を決める巡回係数Kmは、動き度合い信号mdsの他に、ノイズ除去処理制御手段40によるノイズ量検出結果からの制御信号efcntによっても制御される。このノイズ除去手段20の詳細な構成については後述する。
ノイズ量検出手段30には、現フレーム信号Di0と前フレーム信号Im1、及びタイミング信号生成手段12からの垂直同期パルス信号frp及びフレーム有効エリア信号erctが入力される。
ノイズ量検出手段30は、フレーム差分Dnから、映像信号での動きを検出するとともに、該差分Dnから、ノイズ成分と混合された「動き」に該当する差分を除き、映像信号中のノイズ量をフレーム単位で求めて、映像信号のノイズ量を示す信号(ノイズ量)flndを出力する。ノイズ量flndは、各フレームのノイズ成分の程度を表す信号nmct(後述する)の複数フレームにわたる平均化などにより求められものであり、値が大きい程映像信号に含まれるノイズ成分が多く、0に近いほどノイズ成分が少ないことを示す。
ノイズ量検出手段30からのノイズ量flndは、ノイズ除去処理制御手段40へと送られる。また、外部の処理でノイズ量を用いるために、図示のように、ノイズ量flndをノイズ除去装置1の外部のブロックへ送ることもできる。
ノイズ量検出手段30の構成について、図1、並びに図2、図3、及び図4を参照して、以下で詳細に説明する。
ノイズ量検出手段30内のフレーム差分検出手段33には、現フレーム信号Di0と前フレーム信号Im1が入力され、フレーム差分検出手段33は前フレーム信号Im1と現フレーム信号Di0の間の1フレーム間の差分値Dnを求める。
フレーム間の差分Dnには、映像信号における「動き」の成分と「ノイズ」の成分が含まれており、フレーム差分Dnが0の場合は、完全に静止しているか、もしくはノイズ成分が含まれていない部分であり、動きもしくはノイズ成分があると、その値の絶対値は大きくなる。
フレーム差分検出手段33は、上記のように、差分演算手段31と、フレーム間差分の絶対値を演算する絶対値演算手段32と、差分絶対値を非線形変換する差分感度変換手段34とを備え、1フレーム差分の絶対値(差分絶対値)Dabs、及び差分絶対値Dabsを非線形変換した結果得られる差分信号ndfを1フレーム差分検出結果として、差分絶対値Dabsを動き差分検出手段50へ、差分信号ndfをフレームノイズ抽出手段39へと出力する。
なお、この差分信号ndfの代わりに、差分感度変換手段34により非線形変換する前の差分絶対値Dabsをそのままフレームノイズ抽出手段39に供給してもよい。
差分演算手段31には、現フレーム信号Di0と前フレーム信号Im1が入力され、前フレーム信号Im1と現フレーム信号Di0の減算処理を行い、現フレーム信号Di0と前フレーム信号Im1のフレーム間の差分値(フレーム差分)Dnが求められる。このフレーム差分Dnには、映像信号における「動き」の成分と「ノイズ」の成分が含まれており、フレーム差分Dnが0の場合は、完全に静止しているか、もしくはノイズ成分が含まれていない部分であり、動きもしくはノイズ成分があると、フレーム差分Dnの絶対値は大きくなる。
絶対値演算手段32には、差分演算手段31からのフレーム差分Dnが入力される。絶対値演算手段32は、フレーム差分Dnの絶対値を演算し、フレーム差分の絶対値(差分絶対値)Dabsを出力する。
差分感度変換手段34には、絶対値演算手段32からの差分絶対値Dabsが入力される。差分感度変換手段34では、例えば差分絶対値Dabsからオフセット値を減算し、所定の感度倍率を乗算して、その演算結果を所定の範囲(例えば、0から上限値dNまでの範囲)内に制限することで非線形変換し、差分信号ndfとしてフレームノイズ抽出手段39内の動き減算手段35へ出力する。この差分信号ndfには、動き成分とノイズ成分が含まれている。(なお、差分絶対値Dabsに所定の感度倍率を乗算した後、乗算結果からオフセット値を減算し、その演算結果を所定の範囲(例えば、0から上限値dNまでの範囲)内に制限することで非線形変換を行なっても同様の効果が得られる。)
図2は、差分感度変換手段34の入力としての差分絶対値Dabs(横軸上に示す)と、出力としての差分信号ndf(縦軸上に示す)の関係(入出力特性)の一例を示す。図示の例では、差分絶対値Dabsが所定値Nm以上の場合は差分信号ndfが上限値dNに維持され、オフセット値Nofまでの範囲では、ノイズ成分がないか、微小のノイズ成分である場合となり、差分信号ndf=0として出力される。また、差分絶対値Dabsがオフセット値Nofから所定値Nmまでの範囲では、差分信号ndfは0から値dNまで直線的に増加する。差分信号ndfは、動きもしくはノイズの値を示している。
差分感度変換手段34の感度倍率を大きくすることで、直線的に増加する範囲(NofからNmまでの範囲)における傾きが大きくなり、フレーム差分絶対値Dabsが、ノイズ成分を多く含む差分として検出されやすくなり、一方、オフセット値Nofを大きくすることで、微小ノイズ成分(もしくは、ノイズ成分がない部分)として検出される範囲が広がる(範囲の上限が大きくなる)。よって、この感度倍率とオフセット値によりノイズとして差分を検出する感度が調整される。
この差分感度変換手段34を設けることにより、ノイズの量を求める際のフレーム差分の感度が、動きとは独立して調整できることとなる。
なお、非線形変換された差分信号ndfの代わりに、差分絶対値Dabsをそのままフレームノイズ抽出手段39に供給してもよい。
ノイズ量検出手段30内の動き差分検出手段50には、絶対値演算手段32からのフレーム差分絶対値Dabsが入力される。動き差分検出手段50は、差分絶対値Dabsから、動きに該当する差分を抽出し、動きの差分値を示す動き差分信号mvを出力する。
動き差分検出手段50は、動き感度変換手段502と、動き差分値生成手段503とを備えており、動き感度変換手段502には、絶対値演算手段32からの差分絶対値Dabsが入力される。
動き感度変換手段502では、差分絶対値Dabsから動きを検出するための非線形変換を行い、例えば差分絶対値Dabsからオフセット値を減算し、所定の感度倍率を乗算して、その演算結果を所定の範囲(例えば0から上限値DMULまでの範囲)内に制限することで非線形変換し、動きを示す差分となる差分信号Dmとして動き差分値生成手段503へと送る。(なお、差分絶対値Dabsに所定の感度倍率を乗算した後、乗算結果からオフセット値を減算し、その演算結果を所定の範囲(例えば、0から上限値DMULまでの範囲)内に制限することで非線形変換を行なっても同様の効果が得られる。)
図3は、動き感度変換手段502の入力としての差分絶対値Dabs(横軸上に示す)と、出力としての差分信号Dm(縦軸上に示す)の関係(入出力特性)の一例を示している。図示の例では、差分絶対値Dabsが所定値Tm以上の場合は、差分信号Dmが上限値DMULに維持され、オフセット値Tofまでの範囲では、微小のノイズ成分となり、差分信号Dm=0として出力される。また、差分絶対値Dabsがオフセット値Tofから所定値Tmまでの範囲では、差分信号Dmは0から上限値DMULまで直線的に増加する。差分信号Dmは、動きもしくはノイズの値を示している。
この動き感度変換手段502の感度倍率を大きくすることで、直線的に増加する範囲(TofからTmまでの範囲)における傾きが大きくなり、フレーム差分絶対値Dabsが動きと検出されやすくなり(動きを表すものであると判断されやすくなり)、一方、オフセット値Tofを大きくすることで、微小ノイズ成分(もしくは、静止部分)として検出される範囲が広がる(範囲の上限が大きくなる)。よって、この感度倍率とオフセット値により動き検出の感度が調整される。
この動き感度変換手段502を設けることにより、動きを検出するためのフレーム差分の感度が、差分感度変換手段34とは独立して調整できることとなる。
動き差分値生成手段503へは、動き感度変換手段502からの差分信号Dmが入力される。動き差分値生成手段503は、孤立点除去など差分信号による動きがノイズであるかを判定することで、非線形変換された差分信号を動きの差分値(以下、「動き量」、「動き差分」と言うこともある)を示す動き差分に変換して出力する。より詳しく言えば、動き差分値生成503は、注目画素における差分信号Dmに対し、所定の周辺画素範囲内の差分信号と値の大きさを多数決判定することで、孤立した値がないように孤立点を除去する孤立点除去処理、差分信号Dmの高周波数成分の値からノイズを判定し差分信号Dmを調整するなどの処理を行うことでその画素での差分信号を補正し、差分信号Dmの周辺画素での値とのバラツキを統一し、動きの誤検出を補正して、動きを示す差分値を表す差分信号(動き差分信号mv)を生成して出力する。
これにより、動き差分検出手段50では、差分信号Dmから映像信号での動きを検出し、フレーム差分における動きを示す動き差分信号mvを出力することとなり、差分信号Dmが動きによるものであると検出される場合は、動き差分信号mvの値は大きくなり、静止画部分である、或いは差分が動きによるものではなく、ノイズ成分であると検出される場合は、ゼロ(mv=0、完全静止画素)として動きの量を示す動き差分信号mvへ変換し出力される。
動き差分値生成手段503からの動き差分信号mvは、フレームノイズ抽出手段39内の動き減算手段35へ出力される。
フレームノイズ抽出手段39へは、差分感度変換手段34からの差分信号ndfと、動き差分値生成手段503からの動き差分信号mvと、タイミング信号生成手段12からの垂直同期パルス信号frpとフレーム有効エリア信号erctとが入力される。
フレームノイズ抽出手段39は、上記のように、動き減算手段35と、ノイズ差分累積演算手段36と、フレーム平均累積値算出手段37とを備え、まず、フレーム差分である差分信号ndfから動き差分信号mvを除き、ノイズ成分のみの差分信号nmdを得て、このノイズ成分のみの差分信号nmdの値を1フレームのエリア内で累積することで、1フレーム内にノイズ成分が存在する程度を抽出し、1フレーム内のノイズ成分の程度に対応する値(ノイズ差分累積値nmct)を得る。そして、このノイズ差分累積値nmctを複数フレーム分得て、複数フレームでのノイズ差分累積値における平均値(平均ノイズ差分累積値frnm)を算出し、フレームノイズ抽出結果として出力する。
動き減算手段35へは、差分感度変換手段34からの差分信号ndfと、動き差分値生成手段503からの動き差分信号mvが入力される。動き減算手段35では、差分信号ndfから動き差分信号mvの値を減算することで、ノイズ成分のみの差分信号nmdとして求める。なお、差分信号ndfから動きを示す差分値である動き差分信号mvの値を減算した結果が負(−)の値となり、動き分が差分信号ndfより大きな値の場合は、ノイズ成分がないか、もしくはノイズ検出が無効な部分として、差分信号nmd=0を出力する。
差分信号ndfには、映像信号でのノイズによる差分と動きによる差分が存在している。よって、フレーム差分から検出した差分信号ndfから、動きの度合いを示す動き差分信号mvを減算することで、動きがノイズとして検出されている場合において、差分値を小さくして、動き部分をノイズ成分の値へ補正でき、差分信号ndfに含まれた動きを除き、ノイズ成分としての差分信号nmdを得ることができる。
ノイズ差分累積演算手段36へは、動き減算手段35からの差分信号ndfと、タイミング信号生成手段12からの垂直同期パルス信号frpとフレーム有効エリア信号erctとが入力される。ノイズ差分累積演算手段36は、タイミング信号生成手段12からのフレーム有効エリア信号erctが示す1フレーム内の所定エリア内において、動き減算手段35からの差分信号nmdの値を累積し、1フレームのエリア内における差分累積値を1フレーム内のノイズ差分累積値nmctとして、垂直同期パルス信号frpで示される1フレーム単位ごとに出力する。この累積結果であるノイズ差分累積値nmctは、フレーム差分からノイズ成分として得られた差分信号nmdに基づいており、1フレーム内にノイズ成分が存在する程度が抽出され、1フレーム内の映像信号に含まれるノイズ成分の程度、すなわちノイズ量を示す値となる。ノイズ差分累積値nmctにおいて、1フレーム内に含まれるノイズがない場合(すなわち、ノイズ成分がないか、もしくは動きが大きく、ノイズ検出が無効の場合)は、1フレーム内のノイズ差分累積値nmctの値が小さくなり、ノイズ成分が多い場合(すなわち、ノイズが大きい場合)は、1フレーム内のノイズ差分累積値nmctの値が大きくなる。
ここで、映像信号には、同期信号期間やブランキング期間があり、また、レターボックスと呼ばれる画面上下の帯部分に黒信号部(無画部)が存在する映画素材で送られる場合がある。フレーム有効エリア信号erctでは、例えば、画像の同期信号期間やブランキング期間を除く映像信号有効期間の画素のみや、1フレーム内の上下の帯部分と画像のブランキング期間を除く画素の期間を示す信号として、タイミング信号生成手段12において生成される。したがって、ノイズ差分累積演算手段36では、上下の帯部分と画像のブランキング期間を除く、映像信号の有効エリア内におけるノイズ差分累積値nmctとしての差分累積値を出力することとなり、誤判定を防止できる。
フレーム平均累積値算出手段37には、ノイズ差分累積演算手段36から出力される1フレーム期間単位のノイズ差分累積値nmctと、タイミング信号生成手段12からの垂直同期パルス信号frpとが入力される。フレーム平均累積値算出手段37は、ノイズ差分累積値nmctを垂直同期パルス信号frpに従い遅延し、複数フレーム分のノイズ差分累積値を得て、複数フレームでのノイズ差分累積値における平均値である平均ノイズ差分累積値frnmをフレームノイズ抽出結果として出力する。これにより、瞬間的なノイズの変化や、映像の動きの変化(シーンチェンジによる動きや、急激に変化する動きなど)の影響を防ぎ、入力される映像信号内に含まれた平均的なノイズの累積値を得ることができる。平均値の演算を行うフレーム数は、例えば32フレームの範囲で行い、この32フレーム期間での平均値を平均ノイズ差分累積値frnmとして出力する。なお、平均するフレームの範囲は、32フレームに限るものではなく、16フレームや、8フレーム、さらには32フレームより多いフレーム数と設定してもよい。
ノイズ量変換手段38には、フレーム平均累積値算出手段37からのフレームノイズ抽出結果である平均ノイズ差分累積値frnmが入力される。
ノイズ量変換手段38は、フレーム平均累積値算出手段37からの平均化されたノイズ差分累積値である平均ノイズ差分累積値frnmを、映像信号中のノイズ量を示す値として変換し、映像信号のノイズ量を示す信号(ノイズ量flnd)として出力する。
ノイズ量変換手段38では、平均ノイズ差分累積値frnmからオフセット値を減算し、所定の感度倍率を乗算して、その演算結果を所定の範囲内に制限することで非線形変換し、ノイズ量flndとして出力する。(なお、平均ノイズ差分累積値frnmに所定の感度倍率を乗算した後、乗算結果からオフセット値を減算し、その演算結果を所定の範囲内に制限することで非線形変換を行なっても同様の効果が得られる。)
平均ノイズ差分累積値frnmは、差分信号Dnから抽出されたフレーム単位でのノイズ成分の累積値であり、平均ノイズ差分累積値frnmの値が大きいほど映像信号におけるノイズ量が多くなり、感度倍率を大きくすることで、平均ノイズ差分累積値frnmをノイズ量として得やすくすることとなる。
図4は、ノイズ量変換手段38の入力としての平均ノイズ差分累積値frnm(横軸上に示す)と、出力としてのノイズ量flnd(縦軸上に示す)の関係(入出力特性)の一例を示している。図示の例では、平均ノイズ差分累積値frnmが所定値frn1以上の場合は、ノイズ量flndが上限値flmaxに維持され、オフセット値frn0までの範囲では、微小のノイズ成分となり、ノイズ量flnd=0として出力される。また、平均ノイズ差分累積値frnmがオフセット値frnoから所定値fln1までの範囲では、ノイズ量flndが0から上限値flmaxまで直線的に増加する。ノイズ量flndは、映像信号中の動きを除くノイズ量を示している。
ノイズ量変換手段38の感度倍率を大きくすることで、平均ノイズ差分累積値frnmがノイズ量として検出されやすくなり、一方、オフセット値を大きくすることで、ノイズ成分のない映像信号(もしくは動きが大きく、ノイズ検出が無効)として検出される範囲が広がる(範囲の上限が大きくなる)。よって、この感度倍率とオフセット値によりノイズ量の検出の感度が調整される。
このノイズ量変換手段38により得られたノイズ量flndは、値が大きい程映像信号に含まれるノイズ成分が多く、0に近いほどノイズ成分が少ないことを示し、ノイズ量変換手段38からのノイズ量flndは、ノイズ除去処理制御手段40へと送られる。さらには、外部の処理でノイズ量を用いるために、ノイズ量flndをノイズ除去装置1の外部のブロックへ送ることもできる。
ノイズ除去処理制御手段40へは、ノイズ量検出手段30からのノイズ量検出結果であるノイズ量flndが入力される。ノイズ除去処理制御手段40は、ノイズ量flndに応じて、ノイズ除去効果のレベルを示し、ノイズ除去の効果を制御するための制御信号efcntを生成し、出力する。
ノイズ除去処理制御手段40における制御信号efcntは、例えばノイズ除去の効果を決めるノイズの巡回係数を制御するための制御信号として生成され、映像信号におけるノイズ量flndに応じて、例えば0から8までの9段階の値による制御信号efcntとする。すなわち、ノイズ量flndがゼロ(flnd=0)であれば、制御信号efcnt=0とし、所定値(第1の所定値)以上の場合は制御信号efcnt=8となるように変換することで、0から8の間の値でノイズ量に応じた制御信号efcntを生成する。この制御信号efcntは、ノイズ量flndが大きく、映像信号中のノイズ成分が多いと検出される場合は、制御信号efcnt=8(ノイズ成分“大”画像)となり、ノイズ量flndの値がゼロであり(flnd=0)、映像信号中のノイズ成分がない、もしくは動きが大きく、ノイズ検出が無効と検出される場合は、制御信号efcnt=0(ノイズなしの画像)となり、0から8の間の値でそのノイズ除去効果のレベルを示すこととなる。
なお、上記の例では、制御信号efcntの設定は、ノイズ除去効果のレベルを示す0から8までの9段階として説明したが、これに限るものではなく、ノイズ除去効果のレベルを示す値であれば、9段階以上でも、それ以下でも良い。
そして、ノイズ除去処理制御手段40からの制御信号efcntは、ノイズ除去手段20内の巡回係数発生手段24へと送られる。
次に、上述したノイズ除去手段20内の構成について、図1及び図5を参照して、詳細に説明する。
ノイズ除去手段20へは、現フレーム信号Di0と前フレーム信号Im1、及びノイズ除去処理制御手段40からのノイズ除去効果のレベルを示す制御信号efcntが入力されている。
減算手段21へは、現フレーム信号Di0と前フレーム信号Im1が入力され、前フレーム信号Im1から現フレーム信号Di0を減算し、現フレーム信号Di0と前フレーム信号Im1のフレーム間のフレーム差分Diffが求められる。このフレーム差分Diffは、上述した差分演算手段31によるフレーム差分Dnと同様、映像信号における「動き」の成分と「ノイズ」の成分が含まれており、フレーム差分Diffが0の場合は、完全に静止している部分もしくはノイズ成分がない部分であり、動き成分もしくはノイズ成分があると、その値は大きくなる。
振幅制限手段22は、減算手段21からのフレーム差分Diffに対して、所定の値内(例えば、±dTh内)に振幅を制限し、振幅制限された差分値Dfnを入力信号Di0での画素におけるノイズ成分として出力する。
動き検出手段23には、減算手段21からのフレーム差分Diffが入力される。動き検出手段23は、入力フレーム信号Di0と1フレーム前の信号Im1との間でのフレーム差分Diffから、映像信号での動きを検出し、フレーム差分における動きの度合いを示す動き度合い信号mdsを出力する。
動き度合い信号mdsは、動きの度合いを(MD1+1)段階で表すものであり、例えばMD1は8に設定される。
フレーム差分Diffが動きによるものであると検出される場合、即ち完全動き画素と判断される場合には、mdsの値は、最大値MD1(例えば=8)とされ、静止画部分である、或いは差分が動きによるものではなく、ノイズ成分であると検出される場合は、mdsの値は、ゼロとされる。動き検出手段23からの動き度合い信号mdsは、巡回係数発生手段24へと送られる。
なお、動き検出手段23からの動き度合い信号mdsの設定は、動きの度合いを示す0から8までの9段階として説明したが、これに限るものではなく、動きの度合いを示す値であれば、9段階以上でも、それ以下でも良い。
巡回係数発生手段24には、動き検出手段23からの動き度合い信号mdsと、ノイズ除去処理制御手段40からのノイズ除去効果のレベルを示す制御信号efcntが入力される。
巡回係数発生手段24は、動き度合い信号mdsに応じて、且つノイズ除去処理制御手段40からの制御信号efcntに制御されて、ノイズに対する巡回係数Kmを発生する。
巡回係数発生手段24で発生する巡回係数Kmは、ノイズ除去を行う際のノイズの巡回値(巡回の程度)を定めるものであり、0≦Km≦1の範囲で設定される。この巡回係数Kmの値が1に近いほど、ノイズ除去を行うノイズの巡回値が大きくなり、ノイズ除去効果が高くなる。一方、巡回係数Kmの値がゼロ(Km=0)であると、ノイズの巡回値はゼロとなり、ノイズ除去は行われない。
図5は、巡回係数発生手段24の一構成例を示すブロック図である。図示の巡回係数発生手段24は、係数算出手段241と、係数制限手段242と、傾き設定手段243と、係数最大値設定手段244と、ノイズ量係数制御手段245とを備える。
まず、巡回係数発生手段24では、映像信号における動きによる尾引きや残像を低減するため、動き検出手段23からの動き度合い信号mdsに応じて、さらに、ノイズ除去効果のレベルを示すKm0が求められ、さらに巡回係数Km0に制御信号efcntを乗算することで巡回係数Kmが求められる。
係数算出手段241には、動き検出手段23からの動き度合い信号mdsが入力され、また、傾き設定手段243による傾き設定値Efが入力される。係数算出手段241は、動き度合い信号mdsの値と傾き設定手段243による傾き設定値Efにより、巡回係数に相当する係数値pkmを算出する。上述したように、例えば動き度合い信号mdsが0から8の範囲で設定された場合には、係数値pkmの算出は、動き度合い信号mdsを最大値8から減算することにより得られる値と傾き設定値Efを乗算することにより、すなわち、
pkm=(8−mds)×Ef
により求められる。従って、係数値pkmは、
0≦pkm≦8×Ef
を満たす。なお、乗算により係数値を求める代わりに、係数算出手段241を例えば、ROM(Read Only Memory)などにより構成し、傾き設定値Efと動き度合い信号mdsの値をアドレスとして係数値pkmを発生してもよい。
傾き設定手段243は、係数算出手段241において動き度合い信号mdsから係数値pkmを算出する乗算処理で用いられる傾き(乗算値)Efを設定する。傾き設定手段243により設定される傾き設定値Efにより、動き度合い信号mdsの値の変化に対する巡回係数Km0の変化量が設定される。
係数算出手段241により算出された係数値pkmは、係数制限手段242へと出力される。係数制限手段242には、係数算出手段241からの係数値pkmと、係数最大値設定手段244による係数最大値Kmax(0<Kmax≦1)が入力される。係数制限手段242は、係数算出手段241からの係数値pkmを係数最大値Kmax以下に制限して、巡回係数Km0として出力する。したがって、巡回係数Km0は0≦Km0≦Kmaxとなり、動き度合い信号mdsに応じて変化するよう生成された巡回係数となる。
係数最大値設定手段244は、ノイズに対する巡回係数Km0の最大値Kmaxを設定する。係数制限手段242から出力される巡回係数Km0は、最大値Kmaxに制限されることとなる。巡回係数Km0は、ノイズ除去を行う際の巡回値を定めるものであり、この最大値Kmaxにより、ノイズ除去効果の強さを調整できる。
なお、係数算出手段241と係数制限手段242による演算処理及び最大値の制限により、動きの度合いに応じた巡回係数Km0を求めるよう構成しているが、例えば、動き度合い信号mdsをアドレスとしたROMにより構成し、巡回係数Km0を得てもよい。さらには、動き度合い信号mdsのみならず、動き度合い信号mdsに対する巡回係数の変化度合い(例えば、上記傾き設定値Ef)や巡回係数の最大値をROMのアドレスとして供給し、これに対応する巡回係数Km0を出力させるようにしても、上記と同様の効果が得られる。
図6は、係数算出手段241および係数制限手段242の組合せへの入力としての動き度合い信号mds(横軸上に示す)と、出力としての巡回係数Km0(縦軸上に示す)の関係(入出力特性)の2つの例を示す。傾き設定手段243による傾き設定Ef=Ef1の場合を実線で、傾き設定Ef=Ef2(Ef2<Ef1)の場合を破線で示している。
動き度合い信号mdsが最大値MD1(例えば8)であって動きを示す場合(完全動き画素と判断された場合)は、巡回係数Km=0とし、動きの度合いが低く、静止画もしくはノイズ成分であると検出されるmds=0の場合は、Km0=Kmax(Kmax≦1)とし、動き度合い信号mdsが0より大きくMD1より小さい範囲では、動きの度合い(動き度合い信号mdsの値)が大きくなるにつれ、巡回係数Km0の値が小さくなるように変化させることで、動きを考慮したノイズに対する巡回係数が得られる。
そして、係数制限手段242により最大値Kmax以下に制限された巡回係数Km0は、ノイズ量係数制御手段245へと出力される。
ノイズ量係数制御手段245には、係数制限手段242からの動き度合い信号mdsに応じて変化するよう生成された巡回係数Km0と、ノイズ除去処理制御手段40からの制御信号efcntが入力される。ノイズ量係数制御手段245は、係数制限手段242からの巡回係数Km0に対して、例えば、制御信号efcntに対応して変化する所定の倍率を乗算した後、所定の範囲内に制限することにより、制御信号efcntで制御された結果である巡回係数Kmを出力する。
そして、巡回係数発生手段24において、動き度合い信号mdsに応じて、映像信号中のノイズ量に対応して0≦Km≦Kmaxで変化するよう生成された巡回係数Kmは、乗算手段25へと出力される。
上述したように、例えばノイズ除去処理制御手段40からの制御信号efcntは0から8までの間の値でフレーム内のノイズ除去効果のレベルを示しており、すなわち、ノイズ量flndがゼロ(flnd=0)であれば制御信号efcnt=0、所定値以上の値の場合は制御信号efcnt=8と、0から8の間の値でノイズ量に応じて変化している。
このような場合は、巡回係数Km0に対して、制御信号efcntにより変化する倍率efcnt/8を乗算、すなわち、
(efcnt/8)×Km0
の演算を行なった後、所定の範囲内に値を制限することにより巡回係数Kmを求める。制御信号efcntは、ノイズ除去処理制御手段40において、ノイズ量検出手段30で検出されたノイズ量flndに応じて生成されているので、得られた巡回係数Kmは、ノイズ量flndが大きく(第1の所定値以上であり)、映像信号中のノイズ成分が多い(最大レベルであると検出(判断)される場合は、制御信号efcnt=8(ノイズ成分“大”画像)となり、ノイズ量係数制御手段245からの巡回係数Kmは、巡回係数Km=Km0となり、ノイズ除去効果はKm0により決まる。
一方、ノイズ量flndの値が小さく、映像信号中のノイズ成分が少ない場合は、制御信号efcntが小さい値となり、Kmも小さい値となり、ノイズ除去の度合いが小さくされる。さらに、ノイズ量flndがゼロであり(flnd=0)、映像信号中のノイズ成分がない場合は、制御信号efcnt=0(ノイズなしの画像)となり、Km=0としてノイズ除去が行われない。したがって、制御信号efcntに対応して、巡回係数Kmの値が変化し、ノイズ量flndが大きい場合は、比較的大きな値を持つ巡回係数Kmが出力され、ノイズ量flndの値が小さいほど、巡回係数Kmの値がより小さくされる。
なお、制御信号efcntにより変化する倍率efcnt/8を乗算し、値を所定範囲内に制限することで係数値制御すると説明したが、倍率の設定はこれに限らず、例えば、制御信号efcntの値に応じた所定倍率を乗算する、或いは、制御信号efcntの値に対応した所定値以内に制限するよう構成してもよく、さらには、ノイズ量係数制御手段245を、例えば、ROM(Read Only Memory)などにより構成し、制御信号efcntと巡回係数Km0の値をアドレスとして巡回係数Kmを発生してもよい。
図7は、巡回係数発生手段24の代りに用い得る巡回係数発生手段24bを示すブロック図である。図示の巡回係数発生手段24bは、巡回係数発生手段24と同様、動き検出手段23からの動き度合い信号mdsとノイズ除去処理制御手段40からの制御信号efcntが入力されて、動き度合い信号mdsとノイズ除去処理制御手段40からの制御信号efcntに応じたノイズに対する巡回係数Kmが発生される。図7において、図5の構成と同一又は対応する構成には、同じ符号を付してある。
図7において、巡回係数発生手段24bは、巡回係数発生手段24(図5参照)の構成における傾き設定手段243と係数最大値設定手段244の代りに、傾き設定手段243bと、係数最大値設定手段244bとを設けたものである。
傾き設定手段243bおよび係数最大値設定手段244bでの設定値は、制御信号efcntにより制御され、これにより、ノイズ量flndに応じて巡回係数Kmが変更される。これら傾き設定手段243bと係数最大値設定手段244bに関する部分以外の構成及び動作は、巡回係数発生手段24に示されるものと同じであり、その詳細な説明は省略する。
巡回係数発生手段24b内の係数算出手段241において、動き検出手段23からの動き度合い信号mdsの値と傾き設定手段243bによる傾き設定値Efにより、巡回係数に相当する係数値pkmを算出し、係数制限手段242において、係数算出手段241からの係数値pkmに対して、値を係数最大値設定手段244bによる係数最大値Kmax以下に制限して、巡回係数Kmとして出力する。
傾き設定手段243bは、係数算出手段241において動き度合い信号mdsから係数値pkmを算出する乗算処理で用いられる、傾き(乗算値)Efを設定するが、この傾き設定値Efは、ノイズ除去処理制御手段40からの制御信号efcntの値に応じて変化する。ここで、制御信号efcntは0から8の間の値で、フレーム内のノイズ除去効果のレベルを示し、ノイズ量flndがゼロ(flnd=0)であれば制御信号efcnt=0、所定値以上の値の場合は制御信号efcnt=8と、0から8の間の値でノイズ量に応じて変化している。このような場合は、傾き設定値の最大値Efmaxに対して、例えば、制御信号efcntにより変化する倍率efcnt/8を乗算することにより、傾き設定値Efを設定する。制御信号efcntは、ノイズ量flndに応じて生成されているので、ノイズ量flndが大きく、映像信号中のノイズ成分が多いと検出される場合は、傾き設定値Efが大きくされ、一方、ノイズ量flndの値が小さければ、傾き設定値Efもこれに伴って小さくされ、ノイズ量flndがゼロのときは、傾き設定値Efもゼロとなり、これによりノイズ除去が行われないようになる。このように、制御信号efcntに対応して、傾き設定値Efの値が変化し、ノイズ量flndが大きい場合は、傾き設定値Efが大きな傾きとして出力され、ノイズ量flndの値が小さな場合、傾き設定値Efの値が小さくなる。
傾き設定手段243bによりノイズ量に応じた傾き設定値Efが設定され、係数算出手段241により、動き度合い信号mdsの値の変化とノイズ量に応じた係数値pkmが、係数制限手段242へと出力される。
係数最大値設定手段244bは、ノイズに対する巡回係数Kmの最大値Kmaxを設定するが、この最大値Kmaxは、ノイズ除去処理制御手段40からの制御信号efcntの値に応じて変化する。つまり、制御信号efcntは0から8の間の値でフレーム内のノイズ除去効果のレベルを示すものであり、例えば、最大値Kmaxを制御信号efcntに対応して変化させるよう値を設定する。制御信号efcntは、ノイズ量flndに応じて生成されているので、最大値Kmaxは、ノイズ量flndが大きく、映像信号中のノイズ成分が多いと検出される場合は、最大値Kmaxを大きく、最大値とし、一方、ノイズ量flndの値が小さく、映像信号中のノイズ成分が少ない場合は、最大値Kmaxを比較的小さい値としてノイズ除去の程度が少なくなるように設定し、ノイズ量flndの値がゼロであり、映像信号中のノイズ成分がない場合は、最大値Kmax=0としてノイズ除去が行われないよう設定する。したがって、制御信号efcntに対応して、最大値Kmaxの値が変化し、ノイズ量flndが大きい場合は、最大値Kmaxが大きくとなり、ノイズ量flndの値が小さな場合、最大値Kmaxも小さくなり、ノイズ量flndの値がゼロである場合、最大値Kmaxもゼロとなる。巡回係数Kmは、最大値Kmaxに制限されるため、この最大値Kmaxにより、ノイズ除去効果の強さを調整できる。
以上から、傾き設定手段243bによりノイズ量に応じた傾き設定値Efと最大値Kmaxが設定され、よって、巡回係数Kmは、動き度合い信号mdsと映像信号中のノイズ量により、0≦Km≦Kmaxで変化するよう生成される。
なお、傾き設定手段243bと係数最大値設定手段244bによる設定は、例えば、ノイズ除去処理制御手段40からの制御信号efcntをアドレスとしたROMにより構成し、傾き設定値Ef及び最大値Kmaxを得ても、乗算などの演算処理により生成してもよい。また、図7においては、制御信号efcntにより設定値を制御する構成を、傾き設定手段243bと係数最大値設定手段244bの両方において行われるよう説明したが、どちらか一方のみで行うことも可能である。
上記のように、巡回係数発生手段24bにおいて、動き度合い信号mdsに応じて映像信号中のノイズ量に対応して0≦Km≦Kmaxで変化するよう生成された巡回係数Kmは、図5の巡回係数発生手段24からの巡回係数Kmの代わりに、乗算手段25へと出力される。
乗算手段25へは、巡回係数発生手段24からの巡回係数Kmのほか、振幅制限手段22からの差分値Dfnが供給される。乗算手段25では、振幅制限手段22からの差分値Dfnに巡回係数Kmが乗算され、ノイズの巡回量Ndを
Nd=Km×Dfn
により求める。得られたノイズ巡回量Ndは、演算手段26へと出力される。
ここで、巡回係数Kmは、動き度合い信号mdsの値に応じて算出されており、さらには、ノイズ除去効果のレベルを示す制御信号efcntでも制御されて算出されている。よって、動き度合い信号mdsが動きを示す場合と、映像信号中のノイズ成分がない、もしくは動きが大きく、ノイズ検出が無効と検出される場合は、巡回係数Km=0とされているので、この場合のノイズの巡回量NdはNd=0となり、ノイズ除去は行われない。一方、動きの度合いが低いと検出され、映像信号中のノイズ成分が多いと検出される場合は、Km=Kmaxとなっているので、ノイズ巡回量Ndは最大値に設定され、ノイズの除去効果を大きくすることができ、動きの度合いに応じて段階的にノイズの除去効果を変化される。
演算手段26には、乗算手段25からのノイズ巡回量Ndと入力信号Di0が入力される。演算手段26は、入力信号Di0に対してノイズ巡回量Ndを加算することで、映像信号中のノイズを除去し、ノイズ除去後の出力信号Do0を得る。このようにして、ノイズ巡回量Ndの加算処理(ノイズ巡回量Ndの符号が正のときはその絶対値の加算、ノイズ巡回量Ndの符号が負のときはその絶対値の減算)を行なうことにより、ノイズを除去するようにしている。
次に、実施の形態1のノイズ除去装置1において、フレーム間の差分から、映像信号の動き分の差分値を検出し、動き差分の検出結果とフレーム差分から映像信号中に含まれるフレーム単位でのノイズ量を検出するノイズ量検出手段30の動作と、このノイズ量を示す信号に応じてノイズに対する係数を設定してノイズ除去を行うノイズ除去手段20内の動作を中心に、具体的に説明する。
図8は、ノイズ除去装置1において、ノイズ量の検出とノイズ除去の動作を説明するフローチャートである。以下、図8を参照して説明する。
ノイズ除去装置1へ入力された映像信号Di0とフレームメモリ11により1フレーム遅延されたノイズ除去後の前フレーム信号Im1は、差分演算手段31に入力され、差分演算手段31では、現フレーム信号Di0と前フレーム信号Im1の間のフレーム差分Dnが求められる。そして、絶対値演算手段32では、フレーム差分Dnの絶対値を演算し、差分絶対値Dabsを得る(ステップS1)。
ノイズ除去装置1へ入力された映像信号Di0とフレームメモリ11により1フレーム遅延されたノイズ除去後の前フレーム信号Im1は、減算手段21にも供給され、減算手段21においても現フレーム信号Di0と前フレーム信号Im1の間のフレーム差分Diffが求められており、振幅制限手段22では、フレーム差分Diffに対して、所定の値内に振幅を制限し、振幅制限された差分値Dfnをノイズ成分として出力する。そして、フレーム差分Diffは動き検出手段23へ送られ、動き検出手段23において映像信号での動きを検出し、フレーム差分における動きの度合いを示す動き度合い信号mdsを得る(ステップS14)。
差分絶対値Dabsは、差分感度変換手段34において、非線形変換され、非線形変換後の差分信号ndfは動き減算手段35へ送られる(ステップS2)。この差分信号ndfには、動き成分とノイズ成分が含まれている。
また、差分絶対値Dabsは、動き差分検出手段50に入力され、差分絶対値Dabsから動きを検出するための非線形変換を行い、孤立点除去処理などで動きの誤検出を補正して、動きに該当する差分を抽出し、動きの差分を示す動き差分信号mvを出力する(ステップS3)。
これにより、動き差分検出手段50では、差分絶対値Dabsからノイズ成分を除くフレーム差分における動き分の差分値を示す動き差分信号mvを得ることとなる。
次に、動き減算手段35では、差分感度変換手段34からの差分信号ndfと動き差分検出手段50からの動き差分信号mvを受け、差分信号ndfから動き差分信号mvの値を減算する。すなわち、フレーム差分である差分信号ndfから、ノイズ成分と混合された「動き」に該当する差分である動き差分信号mvを除き、ノイズ成分のみの差分信号nmdとして求める(ステップS4)。
差分信号ndfから動きに相当する差分である動き差分信号mvの値を減算した結果が負(−)の値となり、動き分が差分信号ndfより大きな値の場合は、ノイズ成分がないか、もしくはノイズ検出が無効な部分として、差分信号nmd=0を出力する。
差分信号ndfには、映像信号でのノイズによる差分と動きによる差分が存在しているが、動きの度合いを示す動き差分信号mvを減算することで、動きがノイズとして検出されている場合において、差分信号ndfに含まれた動きを除き、ノイズ成分としての差分信号nmdを得ることができる。
ノイズ差分累積演算手段36では、フレーム有効エリア信号erctが示す1フレーム内の所定エリア内において、動き減算手段35からの差分信号nmdの値を累積し、1フレームのエリア内における差分累積値を1フレーム内のノイズ差分累積値nmctとして、1フレーム単位ごとに出力する(ステップS5)。
ノイズ差分累積値nmctは、フレーム差分からノイズ成分として得られた差分信号nmdに基づいており、1フレーム内の映像信号に含まれるノイズの量を示す値となり、フレーム内のノイズ成分を抽出することとなる。
フレーム平均累積値算出手段37は、1フレーム期間単位のノイズ差分累積値nmctから、複数フレーム分のノイズ差分累積値を得て、複数フレームでのノイズ差分累積値における平均ノイズ差分累積値frnmを算出する(ステップS6)。
これにより、瞬間的なノイズの変化や、映像の動きの変化(シーンチェンジによる動きや、急激に変化する動きなど)の影響を防ぎ、入力される映像信号内に含まれた平均的なノイズの累積値を得ることができる。
フレーム平均累積値算出手段37からの平均ノイズ差分累積値frnmは、ノイズ量変換手段38において、映像信号中のノイズ量を示す値として非線形変換されて、映像信号のフレームにおけるノイズ量flndを得る(ステップS7)。
平均ノイズ差分累積値frnmは、差分信号Dnから抽出されたフレーム単位でのノイズ成分の累積値であり、平均ノイズ差分累積値frnmの値が大きいほど映像信号におけるノイズ量が多くなり、ノイズ量変換手段38において変換での感度倍率とオフセット値によりノイズ量の検出の感度が調整される。
次に、ノイズ量flndは、ノイズ除去処理制御手段40へと送られる。ノイズ除去処理制御手段40は、ノイズ量flndから、ノイズ除去効果のレベルを示しノイズ除去の効果を制御するための制御信号efcntを生成し、出力する(ステップS8)。
制御信号efcntは、例えばノイズ除去の効果を決めるノイズの巡回係数を制御するための制御信号として生成され、ノイズ量flndがゼロ(flnd=0)であれば、制御信号efcnt=0とし、所定値以上の値の場合は制御信号efcnt=8となるように変換することで、0から8の間の値でノイズ量に応じた制御信号efcntを生成する。この制御信号efcntは、ノイズ量flndが大きく、映像信号中のノイズ成分が多いと検出される場合は、制御信号efcnt=8(ノイズ成分“大”画像)となり、ノイズ量flndの値が小さく、映像信号中のノイズ成分が少ない場合は、制御信号efcntも小さい値となり、ノイズ量flndの値がゼロであり、映像信号中のノイズ成分がない、もしくは動きが大きく、ノイズ検出が無効と検出される場合は、制御信号efcnt=0(ノイズなしの画像)となり、0から8の間の値でそのノイズ除去効果のレベルを示すこととなる。
このノイズ除去の効果を制御するための制御信号efcntは、巡回係数発生手段24へと送られる。巡回係数発生手段24では、動き検出手段23からの動き度合い信号mdsに応じたノイズに対する巡回係数Kmが発生されるとともに、この巡回係数Kmは、ノイズ除去効果のレベルを示す制御信号efcntによっても制御される。
巡回係数発生手段24では、まず、動き度合い信号mdsの値で示される動きの度合いに応じて動き度合いに応じて変化する係数Km0が算出され(ステップS9)、
次に、例えば制御信号efcntに対応して変化する所定の倍率を乗算するなどして、係数Km0を制御信号efcntで制御した結果である巡回係数Kmを出力する(ステップS10)。
例えば、動き度合い信号mdsの値に応じて変化する係数Km0は、図6に示すように、傾き設定値Efと最大値Kmax(Kmax≦1)から、動き度合い信号mdsが動きを示す場合は、巡回係数Km0=0とし、動きの度合いが低く(所定値以下で)、ノイズ成分であると検出されるmds=0の場合は、Km0=Kmaxとして、また動き度合い信号mdsの値が大きくなるにつれ、巡回係数Km0の値を小さくなるように変化させることで、動きを考慮したノイズに対する巡回係数Km0を得る。巡回係数Km0に対しては、例えば、制御信号efcntにより変化する倍率efcnt/8を乗算する、もしくは、制御信号efcntの値に対応した所定値で値を制限するなどして、制御信号efcntにより制御された巡回係数Kmを求める。
制御信号efcntは、ノイズ量検出手段30で検出されたノイズ量flndに応じて生成されているので、得られた巡回係数Kmは、ノイズ量flndが大きく、映像信号中のノイズ成分が多いと検出される場合は、巡回係数Km=Km0となり、ノイズ除去効果はKm0により決まる。一方、ノイズ量flndの値がゼロであり(flnd=0)、映像信号中のノイズ成分がない場合は、Km=0としてノイズ除去が行われない。したがって、制御信号efcntに対応して、巡回係数Kmの値が変化し、ノイズ量flndが大きい場合は、大きな値を持つ巡回係数Kmが出力され、ノイズ量flndの値が小さな場合、巡回係数Kmの値が小さくなる。
このようにして動きの度合いを示す動き度合い信号mdsと、ノイズ除去効果のレベルを示す制御信号efcntに応じて得られた巡回係数Kmは、乗算手段25へと入力される。乗算手段25では、振幅制限手段22からの差分値Dfnと巡回係数Kmが乗算され、ノイズの巡回量Ndを
Nd=Km×Dfn
により求め、得られたノイズ巡回量Ndを演算手段26へと送る(ステップS11)。
演算手段26においては、入力信号Di0に対して乗算手段25からのノイズ巡回量Ndを加算することで(ステップS12)、映像信号中のノイズを除去して、ノイズ除去後の出力信号Do0を得る(ステップS13)。
ここで、巡回係数Kmは、動き度合い信号mdsの値に応じて算出されているとともに、ノイズ除去効果のレベルを示す制御信号efcntによっても制御され、算出されている。よって、動き度合い信号mdsが動きを示す場合と、映像信号中のノイズ成分がない場合は、巡回係数Km=0として送られているので、この場合のノイズの巡回量NdはNd=0となり、ノイズ除去は行われない。映像信号中に含まれるフレーム単位でのノイズ量を得て、このノイズ量を示す信号に応じてノイズに対する巡回係数Kmが得られているので、ノイズ成分が少ない映像信号に対してはノイズ巡回量Ndの値が小さくなり、尾引きや残像という弊害を低減して、目立たなくできる。
一方で、動きの度合いが低い(例えば所定値以下である)と検出され、映像信号中のノイズ成分が多いと検出される場合は、Km=Kmaxとなっているので、動き部分以外でのノイズ巡回量Ndは最大値に設定でき、ノイズの除去効果を大きくすることができる。
以上より、実施の形態1のノイズ除去装置1によれば、ノイズ量検出手段30において、フレーム差分検出手段33で得られたフレーム差分Dnに対して、動き差分検出手段50によりフレーム差分における動きに該当する差分を抽出し、動きに相当する動き差分信号mvを得て、フレームノイズ抽出手段39において、フレーム差分から動きに相当する値分の動き差分信号mvの値を減算することで、ノイズ成分のみの差分信号nmdを求め、ノイズ成分のみの差分信号nmdからフレーム単位の平均ノイズ差分累積値frnmをフレームノイズ抽出結果として出力する。そして、平均ノイズ差分累積値frnmから映像信号のフレームにおけるノイズ量flndを得て、ノイズ除去の効果を制御するための制御信号efcntを生成し、この制御信号efcntに基いて巡回係数Kmを制御して、ノイズ除去のノイズ巡回量を得ている。
よって、フレーム間の差分に含まれる映像信号の動き成分とノイズ成分を切り分け、映像信号のフレーム内に含まれたノイズ量を得ており、映像信号中のノイズ量に応じた巡回係数を得ることができる。従って、ノイズ成分が多く含まれる映像信号に対しては巡回係数を大きくしてノイズの巡回量を上げることができ、ノイズ成分が少ない映像信号と動き部分に対してはノイズ巡回量を少なくして尾引きや残像を少なくし、さらにノイズ成分が含まれない映像信号や動き部分に対してはノイズ巡回量を0として尾引きや残像をなくすことができる。従って、どのようなノイズ量を持つ映像信号に対しても、最適なノイズ除去効果を得ることができ、尾引きや残像という弊害を低減して、良好なノイズ除去効果を得ることができる。
なお、上記の実施の形態では、ノイズ量flndがゼロ(flnd=0)であれば、制御信号efcntをゼロとしているが、ノイズ量flndがゼロに限らず、所定値(上記第1の所定値とは異なる第2の所定値)以下であれば、映像信号中のノイズ成分が少ない(最小レベルである)として、制御信号efcntをゼロとし、巡回係数Kmがゼロとなるようにしても良い。
また、フレームメモリ11では、映像信号を1フレーム分遅延すると説明したが、入力映像信号は、インターレース信号であっても、順次走査(プログレッシブ)信号であってもよく、フレームメモリ11において、入力映像信号がインターレース信号の場合は2フィールド分の遅延を行い、プログレッシブ信号の場合は1フレーム分遅延を行えば、同様に構成できる。また、フレームメモリ11でのフレーム遅延は、1フレーム分の遅延に限らず、映像信号を2フレーム分遅延するよう構成してもよく、この場合は時間的により離れたフレーム間での演算となり、時間軸の中でフレーム相関のないノイズ成分が得られ、よりノイズ除去効果が大きくできる。
また、巡回係数発生手段24において、動き度合い信号mdsに応じて求められる巡回係数Km0の特性が図6に示されるものである場合について説明したが、本発明はこれに限るものではなく、得られた動き度合い信号mdsに応じて、例えば所定の動き度合い信号mdsが所定値MD2より小さい場合はKm0を所定の固定値として、所定値MD2から動きを示す動き度合い信号の最大値まで、動きの度合いが大きくなるにつれ徐々にKm0を小さくし、動き度合い信号の最大でKm0=0なるように変換するよう構成してもよい。
また、巡回係数Kmをノイズ除去効果のレベルを示す制御信号efcntによって制御する構成についても、制御信号efcntが所定の値以下でノイズ量がゼロもしくは小さい場合に、巡回係数Kmをゼロ(Km=0)とし、ノイズ除去を行わないように構成しても良い。即ち、巡回係数Kmが、ノイズ量flndから得られた制御信号efcntに応じて変化して、映像信号のノイズ量を考慮したノイズに対する巡回係数が得られる構成であれば同様の効果が得られる。
さらに、ノイズ除去装置1の各構成要素がハードウェアで構成されているものとして説明しているが、各構成要素を、プログラム制御におけるソフトウェアの処理により実現するよう構成してもよい。
実施の形態2.
実施の形態1のノイズ除去装置1では、ノイズ除去手段20をノイズ除去後の出力信号Do0を1フレーム遅延させ処理するフレーム巡回型のノイズ除去として構成し、フレームメモリ11において、ノイズ除去後の出力信号Do0を1フレーム遅延させてフレーム差分Diffを求めているが、図9に示すように、現フレームの入力信号Di0をそのままフレームメモリ11により1フレーム遅延してフレーム差分を求める非巡回型のノイズ除去装置(非巡回型ノイズ除去装置と呼ぶ)を構成することもできる。
図9は、実施の形態2の非巡回型のノイズ除去装置(すなわち、実施の形態2のノイズ除去方法を実施することができる装置)の構成を示すブロック図である。図9において、図1の構成要素と同一又は対応する構成要素には、同じ符号を付してある。
図9において、実施の形態2のノイズ除去装置2は、実施の形態1のノイズ除去装置1(図1参照)におけるノイズ除去手段20の代わりにノイズ除去手段60を用い、フレームメモリ11が入力信号Di0を1フレーム遅延し、入力信号Di0と1フレーム遅延信号Im1で非巡回型のノイズ除去処理を行うよう構成したものである。ノイズ除去手段60に関する部分以外の構成及び動作は、実施の形態1に示されるものと同じであり、その詳細な説明は省略する。
実施の形態2におけるノイズ除去手段60は、ノイズ除去手段20と同様、入力フレーム信号と1フレーム前の信号Im1の間での差分から動きの度合いを示す動き度合い信号mdsを得て、この動き度合い信号mdsと、ノイズ量検出結果flndに応じて生成されたノイズ除去の効果を制御するための信号efcntに基づきノイズ除去でのフィルタ係数を得てノイズ除去を行うものであり、第1および第2の係数乗算手段61、62と、入力フレーム信号Di0と1フレーム前の信号Im1の間での差分から動きの度合いを示す動き度合い信号mdsを出力する動き検出手段63と、動き検出手段63からの信号mdsと、ノイズ除去処理制御手段40においてノイズ量検出結果に応じて生成されたノイズ除去の効果を制御するための信号efcntに応じて、ノイズ除去のフィルタ係数kn、(1−kn)を生成するフィルタ係数発生手段64と、係数乗算手段61、62における係数乗算により得られた信号を加算する加算手段65とを備える。
フレームメモリ11では、入力映像信号Di0を1フレーム遅延させ、入力映像信号Di0に対し、1フレーム前の映像信号Im1を出力する。現フレーム信号Di0とフレームメモリ11からの前フレーム信号Im1は、ノイズ量検出手段30内の差分演算手段31と、ノイズ除去手段60へと送られる。
タイミング信号生成手段12において、同期信号SYに基づきタイミング信号erct、frpを生成し、ノイズ量検出手段30において、現フレーム信号Di0と前フレーム信号Im1のフレーム差分Dnを求め、映像信号での「動き」に該当する差分mvを検出するとともに、差分Dnの絶対値を感度変換することで得られた信号ndfから「動き」に該当する差分mvを除き、映像信号中のノイズ量をフレーム単位で求めて、映像信号のノイズ量flndを得る構成、およびノイズ除去処理制御手段40でノイズ量flndに応じて、ノイズ除去効果のレベルを示し、ノイズ除去の効果を制御するための制御信号efcntを生成する構成は、実施の形態1に示されるものと同じであり、その詳細な説明は省略する。
ノイズ除去手段60へは、現フレーム信号Di0、前フレーム信号Im1、及びノイズ除去処理制御手段40からの制御信号efcntが入力される。ノイズ除去手段60では、現フレーム信号Di0と前フレーム信号Im1のフレーム差分から、差分が「動き」に該当するか「ノイズ」に該当するかを検出して動きの度合いを示す動き度合い信号mdsを得るとともに、この動き度合い信号mdsに基づきノイズ除去のためのフィルタ係数kn、(1−kn)を求めて、ノイズ除去フィルタ処理を行うが、上記フィルタ係数kn、(1−kn)は、動き度合い信号mdsの他に、ノイズ除去処理制御手段40からの制御信号efcntによっても制御される。
ノイズ除去手段60内の動き検出手段63へは、入力フレーム信号Di0と前フレーム信号Im1が入力される。動き検出手段63は、入力フレーム信号Di0と1フレーム前の信号Im1との間でのフレーム差分から、映像信号での動きを検出し、フレーム差分における動きの度合いを示す動き度合い信号mdsを出力する。
動き検出手段63で生成される動き度合い信号mdsは、実施の形態1における、動き検出手段23で生成される動き度合い信号mdsと同様、動きの度合いを(MD1+1)段階で表すものであり、例えばMD1は8に設定される。フレーム差分Diffが動きによるものであると検出される場合、即ち完全動き画素と判断される場合には、mdsの値は、MD1(例えば=8)とされ、静止画部分もしくは差分が動きによるものではなく、ノイズ成分であると検出される場合は、mdsの値は、ゼロとされる。
動き検出手段63からの動き度合い信号mdsは、フィルタ係数発生手段64へと送られる。
なお、動き検出手段63からの動き度合い信号mdsの設定は、動きの度合いを示す0から8までの9段階として説明したが、これに限るものではなく、動きの度合いを示す値であれば、9段階以上でも、それ以下でも良い。
フィルタ係数発生手段64には、動き検出手段63からの動き度合い信号mdsと、ノイズ除去処理制御手段40からのノイズ除去効果のレベルを示す制御信号efcntが入力される。
フィルタ係数発生手段64は、動き度合い信号mdsに応じて、且つノイズ除去処理制御手段40からの制御信号efcntに制御されて、ノイズ除去フィルタのフィルタ係数knおよび(1−kn)を発生する。
フィルタ係数発生手段64で発生し出力するノイズ除去フィルタのフィルタ係数knおよび(1−kn)は、ノイズ除去を行うフィルタの係数を設定するものであり、0≦kn≦1の範囲で設定される。係数knは前フレーム信号Im1に対して乗算を行う係数であり、係数(1−kn)は入力される現フレーム信号Di0に対して乗算を行う係数とすると、この係数knの値が1に近いほど、ノイズ除去を行うノイズの除去量が大きくなり、ノイズ除去効果が高くなる。一方、係数knの値がゼロ(kn=0)であると、前フレーム信号Im1に対しては乗算が行われず、ノイズの除去量はゼロとなり、入力信号のまま出力されることとなり、ノイズ除去は行われない。
フィルタ係数発生手段64では、映像信号における動きによる尾引きや残像を低減するため、動き検出手段63からの動き度合い信号mdsに応じて、フィルタ係数kn、(1−kn)が求められる。例えば、
動き度合い信号mdsが最大値MD1(例えば8)であって動きを示す場合は、フィルタ係数kn=0とし、
動きの度合いが低く、静止画もしくはノイズ成分であると検出されるmds=0の場合は、kn=kmax(kmax≦1)とし、
動き度合い信号mdsの値が0より大きくMD1よりも小さい範囲では、動きの度合い信号mdsの値が大きくなるにつれ、係数knの値が小さくなるように変化させることで、動きを考慮したノイズの除去量を示す係数が得られる。
さらに、ノイズ除去処理制御手段40からの制御信号efcntにより、ノイズ量flndが大きく(第1の所定値以上であり)、映像信号中のノイズ成分が多い(最大レベルである)と検出される制御信号efcnt=8(ノイズ成分“大”画像)の場合は、係数knの値が大きくなるように制御し、一方、ノイズ量flndの値が小さく、映像信号中のノイズ成分が少なく、制御信号efcntが小さい値である場合は、係数knを小さくし、ノイズ除去の程度が少なくなるようにフィルタ係数を制御する。さらに、ノイズ量flndの値がゼロであり(flnd=0)、映像信号中のノイズ成分がない制御信号efcnt=0(ノイズなしの画像)場合は、係数kn=0としてノイズ除去が行われないようにフィルタ係数を制御する。したがって、制御信号efcntに対応して、フィルタ係数knの値が変化し、ノイズ量flndが大きい場合は、大きな値の係数knが出力され、ノイズ量flndの値が小さいほど、係数knの値がより小さくされる。
なお、実施の形態1で述べたのと同様に、ノイズ量flndがゼロ(flnd=0)である場合にのみ制御信号efcntをゼロとする代りに、ノイズ量flndが所定値(上記第1の所定値とは異なる第2の所定値)以下であれば、映像信号中のノイズ成分が少ない(最小レベルである)として、制御信号efcntをゼロとし、係数knがゼロとなるようにしても良い。
フィルタ係数発生手段64は、例えば、図10に示すように構成される。
図10に示されるフィルタ係数発生手段64は、係数算出手段641と、係数制限手段642と、傾き設定手段643と、係数最大値設定手段644と、ノイズ量係数制御手段645と、減算手段646とを備える。
係数算出手段641、係数制限手段642、傾き設定手段643、係数最大値設定手段644、及びノイズ量係数制御手段645は、それぞれ図5の係数算出手段241、係数制限手段242、傾き設定手段243、係数最大値設定手段244、及びノイズ量係数制御手段245と同様に動作する。但し、ノイズ量係数制御手段645により生成される信号は係数knであり、これに対応して、各手段641、642、643、及び644から出力される信号も異なる。手段641〜644により、動き度合い信号mdsに応じて係数kn0が(実施の形態1における係数Km0と同様に)生成され、制御信号efcntによる制限を受けて係数knが生成される。減算手段646は、別途供給される「1」を表す信号からノイズ量係数制御手段645の出力knを減算して、係数(1−kn)を表す信号を出力する。
フィルタ係数発生手段64の代わりに、図11に示すフィルタ係数発生手段64bを用いることもできる。
図11に示されるフィルタ係数発生手段64bは、係数算出手段641と、係数制限手段642と、傾き設定手段643bと、係数最大値設定手段644bと、減算手段646とを備える。
係数算出手段641、係数制限手段642、傾き設定手段643b、及び係数最大値設定手段644bは、それぞれ図7の係数算出手段241、係数制限手段242、傾き設定手段243b、及び係数最大値設定手段244bと同様に動作する。但し、係数制限手段642により生成される信号は係数knであり、これに対応して、各手段641、643b、及び644bから出力される信号も異なる。手段641、643b、644bにより、動き度合い信号mdsに応じて係数knが(実施の形態1における係数Kmと同様に)生成される。この場合、ノイズ除去処理制御手段40からの制御信号efcntにより係数knを得た後、動き度合い信号mdsに応じて係数の値を変化させる構成であっても良く、動き度合い信号mdsに応じてフィルタ係数knを演算後、制御信号efcntにより係数knを制限し、もしくは演算処理するように構成してもよい。減算手段646は、別途供給される「1」を表す信号からノイズ量係数制御手段645の出力knを減算して、係数(1−kn)を表す信号を出力する。
フィルタ係数発生手段64において、動きき度合い信号mdsと映像信号中のノイズ量flndに基づいて生成されたフィルタ係数knおよび(1−kn)は、第1および第2の係数乗算手段61、62へと出力される。
第1の係数乗算手段61へは、入力フレーム信号Di0と係数変換手段64からのフィルタ係数(1−kn)が送られる。係数乗算手段61では、入力フレーム信号Di0にフィルタ係数(1−kn)が乗算され、乗算結果が加算手段65へと出力される。また、第2の係数乗算手段62へは、前フレーム信号Im1と係数変換手段64からのフィルタ係数knが送られる。係数乗算手段62では、前フレーム信号Im1にフィルタ係数knが乗算され、乗算結果が加算手段65へと出力される。
加算手段65には、第1および第2の係数乗算手段61、62におけるフィルタ係数乗算により得られた信号が入力される。加算手段65は、第1および第2の係数乗算手段61、62からの信号(入力信号Di0及び前フレーム信号Im1とフィルタ係数との積)を加算することでノイズ除去フィルタ出力Ndを得て、これを映像信号中のノイズを除去した出力信号Do0として出力する。
ここで、フィルタ係数knおよび(1−kn)は、動き度合い信号mdsの値に応じて算出されており、さらには、ノイズ除去効果のレベルを示す制御信号efcntでも制御されて算出されている。よって、動き度合い信号mdsが動きを示す場合と、映像信号中のノイズ成分がない、もしくは動きが大きく、ノイズ検出が無効と検出される場合は、係数kn=0となるので、この場合の第2の係数乗算手段62におけるフィルタ係数乗算により得られた信号はゼロとなり、入力信号Di0のままノイズ除去は行われない。一方で、動きの度合いが低いと検出され、映像信号中のノイズ成分が多いと検出される場合は、係数kn=1となるので、ノイズの除去量としてフィルタ処理で加算される前フレームの信号の割合が大きく、最大値に設定され、ノイズの除去効果を大きくすることができ、動きの度合いに応じて段階的にノイズの除去効果を変化される。このようにして、動きの度合いに応じて段階的にノイズの除去効果を変更することができる。
ノイズ除去手段60に関する部分以外の構成及び動作は、実施の形態1に示されるものと同じであり、その詳細な説明は省略するが、非巡回型の場合、入力フレームとその前フレームの2フレーム間のフレーム相関を用いた演算となる。
図1のノイズ除去装置1のようなフレーム巡回型の場合、ノイズ除去後の映像信号をフレーム遅延させるため、2フレーム間だけでなく多フレームに渡る演算となる。フレーム巡回型ノイズ除去装置1と非巡回型ノイズ除去装置2の処理は同様であるが、ノイズ除去効果は巡回型ノイズ除去装置1の場合が大きい。一方、動きが多い映像信号の場合には、非巡回型ノイズ除去装置11が尾引きや残像を低減できる。
実施の形態2のノイズ除去装置2によれば、ノイズ量検出手段30において、「動き」に該当する差分である動き差分信号mvを除き、ノイズ成分のみの差分信号nmdを求め、ノイズ成分のみの差分信号nmdからフレーム単位の平均ノイズ差分累積値frnmを算出し、この平均ノイズ差分累積値frnmから映像信号のフレームにおけるノイズ量flndを得て、さらにノイズ量flndから、ノイズ除去の効果を制御するための制御信号efcntを生成し、この制御信号efcntに基いて、ノイズ除去のフィルタ係数kn、(1−kn)を得て、入力信号のノイズ除去を行っている。
よって、フレーム間の差分に含まれる映像信号の動きとノイズ成分を切り分け、映像信号のフレーム内に含まれたノイズ量を得て、映像信号中のノイズ量に応じたノイズ除去フィルタの係数を発生することができる。従って、ノイズ成分が多く含まれる映像信号に対してはノイズの除去量を上げることができ、ノイズ成分が少ない映像信号と動き部分に対してはノイズ除去量を少なくして尾引きや残像を少なくし、さらにノイズ成分が含まれない映像信号や動き部分に対してはノイズ除去量を0として尾引きや残像をなくすことができる。従って、どのようなノイズ量を持つ映像信号に対しても、最適なノイズ除去効果を得ることができ、尾引きや残像という弊害を低減して、良好なノイズ除去効果を得ることができる。
なお、上記のノイズ除去手段60は、入力映像信号と1フレーム前の信号を用いたノイズ除去フィルタを備えているが、ノイズ除去フィルタのタップ数、すなわち使用する入力信号と遅延信号のフレーム数は、3フレームであっても、それ以上であってもよく、フレームメモリ11を複数個用いる構成とし、フィルタ係数を生成できれば、同様に構成できる。フレーム数が多くなれば、より多くのフレームに渡る演算となり、よりノイズ除去効果を大きくすることができる。
さらに、ノイズ除去装置2の各構成要素がハードウェアで構成されているものとして説明しているが、各構成要素を、プログラム制御におけるソフトウェアの処理により実現するよう構成してもよい。
実施の形態3.
実施の形態1のノイズ除去装置1では、フレーム差分から映像信号の動きを検出しており、ノイズ量検出手段30内の動き差分検出手段50と、ノイズ除去手段20内の動き検出手段23において別々に動きを検出するよう構成したが、共通の手段でフレーム差分を求め、動き検出を行うよう構成することもできる。
図12は、実施の形態3のノイズ除去装置(すなわち、実施の形態3のノイズ除去方法を実施することができる装置)の構成を示すブロック図であり、巡回型のノイズ除去装置を構成している。図12において、図1に示した構成要素と同一又は対応する構成要素には、同じ符号を付してある。
図12において、実施の形態3のノイズ除去装置3は、実施の形態1のノイズ除去装置1(図1参照)における動き検出手段23とノイズ量検出手段30内の動き差分検出手段50を映像信号の動きを検出する1つの動き検出手段51で兼用し、減算手段21からのフレーム差分Diffと動き検出手段51での動き検出結果からノイズ量を検出するノイズ量検出手段70を設けたものである。これら動き検出手段51とノイズ量検出手段70に関する部分以外の構成及び動作は、実施の形態1に示されるものと同じであり、その詳細な説明は省略する。
実施の形態3におけるノイズ除去装置3は、減算手段21で求められたフレーム差分に基づき映像信号の動きを検出する動き検出手段51と、入力映像信号中に含まれるノイズ成分の量を検出するノイズ量検出手段70とを備えている。
フレームメモリ11で、ノイズ除去後の信号Do0を1フレーム遅延させて前フレーム信号Im1を生成し、減算手段21において、現フレーム信号Di0と前フレーム信号Im1のフレーム差分Diffを求める構成と、振幅制限手段22と、同期信号SYに基づきタイミング信号を生成するタイミング信号生成手段12とは、実施の形態1に示されるものと同じであり、その詳細な説明は省略する。
動き検出手段51は、入力フレーム信号Di0と1フレーム前の信号Im1の間でのフレーム間差分Diffから動きを検出し、動きの度合いを示す動き度合い信号mdsと動き差分を示す動き差分信号mvを出力するものであり、フレーム間差分の絶対値Dmaを演算する絶対値演算手段511と、フレーム間の差分絶対値Dmaを非線形変換し動きを検出する動き感度変換手段512と、孤立点除去など差分信号による動きがノイズであるかを判定することで、非線形変換された差分信号を動き差分および動きの度合いを示す値として変換して出力する動き変換手段513とを備えている。
ノイズ量検出手段70は、フレーム差分から「動き」に該当する差分を除いた映像信号中のノイズ量をフレーム単位で求めるものであり、絶対値演算手段32と、差分絶対値を非線形変換する差分感度変換手段73と、フレームノイズ抽出手段79と、ノイズ量変換手段38とを備える。
フレームノイズ抽出手段79は、1フレーム内でのノイズ成分を持つ差分のみを抽出し、1フレーム単位の差分の累積値をフレームノイズ抽出結果であるノイズ差分累積値として出力するものであり、動き減算手段74と、ノイズ差分累積演算手段36と、フレーム平均累積値算出手段37とを備える。上記のうち、絶対値演算手段32、ノイズ差分累積演算手段36、フレーム平均累積値算出手段37、及びノイズ量変換手段38の構成と、ノイズ差分累積値を映像信号中のノイズ量を示す値として変換し、ノイズ量として出力する動作は、実施の形態1と同一であるので、その説明は省略する。
なお、実施の形態1に関し図1を参照して説明したフレーム差分検出手段33による1フレーム間の差分を検出する動作と同様の動作が、減算手段21と、絶対値演算手段32と、差分感度変換手段73との組合せにより行われることとなる。
まず、動き検出手段51の構成について説明する。動き検出手段51へは、減算手段21からのフレーム差分Diffが入力される。動き検出手段51は、フレーム差分Diffから、動きに該当する差分を抽出し、動きを示す動き差分信号mvを出力するとともに、動きの度合いを示す動き度合い信号mdsを出力する。
なお、動き検出手段51より出力される動き差分信号mvと動き度合い信号mdsは、同一のものとなるよう設定することもできる。
動き検出手段51内の絶対値演算手段511には、減算手段21からのフレーム差分Diffが入力される。絶対値演算手段511は、フレーム差分Diffの絶対値を演算し、フレーム差分絶対値Dmaを出力する。
動き感度変換手段512には、絶対値演算手段511からの差分絶対値Dmaが入力される。動き感度変換手段512では、差分絶対値Dmaから動きを検出するための非線形変換を行い、例えば、差分絶対値Dmaにオフセット値を減算し、所定の感度倍率を乗算して、その演算結果を所定の範囲(例えば、0から上限値DMULまでの範囲)内に制限することで非線形変換し(この処理は、図3を参照して差分絶対値Dabsに関して説明したのと同様に行い得る)、その結果を、動きを示す差分となる動き差分信号Dmとして動き変換手段513へと送る。
動き変換手段513へは、動き感度変換手段512からの動き差分信号Dmが入力される。動き変換手段513は、注目画素における差分信号Dmに対し、所定の周辺画素範囲内の差分信号と値の大きさを多数決判定することで、孤立した値がなくなるように孤立点を除去する孤立点除去処理、及び差分信号Dmの高周波数成分の値からノイズを判定し差分信号Dmを調整するなどの処理を行うことでその画素での差分信号を補正し、差分信号Dmの周辺画素での値とのバラツキを統一し、動きの誤検出を補正する。そして、補正後の差分信号を動き差分信号mvとし、また、補正後の差分信号から、例えば(MD1+1)段階(例えばMD1=8)で設定される動きの度合いを示す動き度合い信号mdsへと変換する。
この動き差分信号mvは、動き成分と混合されたノイズ成分を除くフレーム差分における動きを示す値となり、動き差分信号Dmが動きによる成分を多く含むと検出される場合は、動き差分信号mvの値は大きくなり、差分が動きによる成分を多く含むものではなく、ノイズ成分を多く含むものであると検出される場合は、動き差分信号mvの値は小さくなり、さらに静止画部分である、或いは差分が動きによる成分を含まず、ノイズ成分から成るものであると検出される場合は、動き差分信号mvの値はゼロ(mv=0、完全静止画素)とされる。
また、動き度合い信号mdsは、補正後の差分信号が所定値より大きく、フレーム差分が動きによるものであると検出される場合は、最大値MD1(完全動き画素)とし、補正後の差分信号が小さく、静止画部分もしくは差分が動きによるものではなく、ノイズ成分であると検出される場合は、ゼロ(完全静止画素)として、差分信号の値の変化に応じて、0からMD1(例えば、0から8)の間の値でその動きの度合いを示す動き度合い信号mdsへと変換する。
なお、動き度合い信号mdsの設定は、動きの度合いを示す0から8までの9段階として説明したが、これに限るものではなく、動きの度合いを示す値であれば、9段階以上でも、それ以下でも良い。また、動き差分信号mvを動き度合い信号mdsと同様、差分信号の値の変化に応じて変化する値へ変換し、同一のものとなるよう設定することも可能である。
動き変換手段513からの動き差分信号mvは、ノイズ量検出手段70におけるフレームノイズ抽出手段39内の動き減算手段74へ出力され、動き度合い信号mdsは、巡回係数発生手段24へと出力される。
次に、ノイズ量検出手段70内の構成について、図12を参照して説明する。ノイズ量検出手段70内の絶対値演算手段32において、減算手段21からのフレーム差分Diffの絶対値を演算し、フレーム差分絶対値Dabsを出力する。フレーム差分Diffや差分絶対値Dabsには、映像信号における「動き」の成分と「ノイズ」の成分が含まれており、差分絶対値Dabsが0の場合は、完全に静止しているか、もしくはノイズ成分が含まれていない部分であり、動きもしくはノイズ成分があると、差分絶対値Dabsは大きくなる。
差分感度変換手段73には、絶対値演算手段32からの差分絶対値Dabsが入力される。差分感度変換手段73では、例えば差分絶対値Dabsからオフセット値を減算し、所定の感度倍率を乗算して、その演算結果を所定の範囲(例えば、0から上限値dNまでの範囲)内に制限することで非線形変換し(この処理は、図2を参照して差分絶対値Dabsに関して説明したのと同様に行い得る)、その結果を、差分信号ndfsとしてフレームノイズ抽出手段79内の動き減算手段74へ出力する。
この差分信号ndfsには、動き成分とノイズ成分が含まれている。
なお、非線形変換された差分信号ndfsの代わりに、非線形変換する前の差分絶対値Dabsをそのままフレームノイズ抽出手段79に供給してもよい。
ノイズ量検出手段70内のフレームノイズ抽出手段79へは、差分感度変換手段73からの差分信号ndfsと、動き検出手段51からの動き差分信号mvと、タイミング信号生成手段12からの垂直同期パルス信号frpとフレーム有効エリア信号erctとが入力される。フレームノイズ抽出手段79は、動き減算手段74と、ノイズ差分累積演算手段36と、フレーム平均累積値算出手段37とを備え、まず、フレーム差分である差分信号ndfsから動き差分信号mvを除き、ノイズ成分のみの差分信号nmdを得て、このノイズ成分のみの差分信号nmdの値を1フレームのエリア内で累積することで、1フレーム内にノイズ成分が存在する程度を抽出し、1フレーム内のノイズ成分の程度に対応するノイズ差分累積値nmctを得る。そして、このノイズ差分累積値nmctを複数フレーム分得て、複数フレームでのノイズ差分累積値における平均値である平均ノイズ差分累積値frnmを算出し、フレームノイズ抽出結果とし出力する。
動き減算手段74へは、差分感度変換手段73からの差分信号ndfsと、動き検出手段51内の動き変換手段513からの動き差分信号mvが入力される。動き減算手段74では、差分信号ndfsから動きに相当する値分の動き差分信号mvの値を減算することで、ノイズ成分のみの差分信号nmdとして求める。なお、差分信号ndfsから動きに相当する差分の動き差分信号mvの値を減算した結果が負(−)の値となり、動き差分が差分信号ndfsより大きな値の場合は、ノイズ成分がないか、もしくはノイズ検出が無効な部分として、差分信号nmd=0を出力する。
差分信号ndfsには、映像信号でのノイズによる差分と動きによる差分が存在しており、フレーム差分から検出した差分信号ndfsから、動きを示す動き差分信号mvを減算することで、動きがノイズとして検出されている場合において、差分値を小さくして、動き部分をノイズ成分の値へ補正でき、差分信号ndfsに含まれた動きを除き、ノイズ成分としての差分信号nmdを得ることができる。
以下、ノイズ量検出手段70におけるノイズ差分累積演算手段36、フレーム平均累積値算出手段37、及びノイズ量変換手段38における構成、動作は実施の形態1と同一であり、ノイズ成分のみの差分信号nmdから1フレーム内のノイズ成分を抽出したノイズ差分累積値nmctを得て、フレーム単位の平均ノイズ差分累積値frnmを算出し、この平均ノイズ差分累積値frnmから映像信号のフレームにおけるノイズ量flndを求め、ノイズ除去の効果を制御するための制御信号efcntを生成する。そして、ノイズ量flndから得られた制御信号efcntに応じて、ノイズに対する巡回係数Kmを得て、入力信号のノイズ除去を行う。
以上より、実施の形態3のノイズ除去装置3によれば、減算手段21によりフレーム差分を求め、動き検出手段51において動き検出を行い、そして、ノイズ量検出手段70において、「動き」に該当する差分である動き差分信号mvを除き、ノイズ成分のみの差分信号nmdを求め、映像信号のフレームにおけるノイズ量flndを得て、ノイズ除去の効果を制御するための制御信号efcntを生成し、この制御信号efcntに基いて巡回係数Kmを制御して、ノイズ除去のノイズ巡回量を得ている。
よって、ノイズ成分が多く含まれる映像信号に対してはノイズの巡回量を上げることができ、ノイズ成分が少ない映像信号と動き部分に対してはノイズ巡回量を少なくして尾引きや残像を少なくし、さらにノイズ成分が含まれない映像信号や動き部分に対してはノイズ巡回量を0として尾引きや残像をなくすことができる。従って、どのようなノイズ量を持つ映像信号に対しても、最適なノイズ除去効果を得ることができ、尾引きや残像という弊害を低減して、良好なノイズ除去効果を得ることができる。
また、動き検出手段51において、ノイズ量検出手段70への動き差分信号mvと、ノイズ除去処理で巡回係数発生手段24に対し送る動き度合い信号mdsとを生成し出力するよう構成しているので、フレーム差分の演算、動き検出処理を共通の手段で実行することができ、回路規模の削減ができる。
なお、ノイズ除去装置3の各構成要素がハードウェアで構成されているものとして説明しているが、各構成要素を、プログラム制御におけるソフトウェアの処理により実現するよう構成してもよい。
実施の形態4.
実施の形態3のノイズ除去装置3は、実施の形態1のノイズ除去装置1において、フレーム差分を求める手段の共通にしたものであるが、図13に示すように、実施の形態2で示した非巡回型ノイズ除去装置において実施の形態3に関して説明したのと同様に、フレーム差分を求める手段の共通化を図ることもできる。
図13は、実施の形態4の非巡回型のノイズ除去装置(すなわち、実施の形態4のノイズ除去方法を実施することができる装置)の構成を示すブロック図である。図13において、図1、図9及び図12に示した構成要素と同一又は対応する構成要素には、同じ符号を付してある。
図13において、実施の形態4のノイズ除去装置4は、実施の形態3のノイズ除去装置3(図12参照)における振幅制限手段22、巡回係数発生手段24、乗算手段25、及び演算手段26とによるノイズ除去処理の構成の代わりに、実施の形態2のノイズ除去装置2(図9参照)におけるノイズ除去手段60内の係数乗算手段61、62、フィルタ係数発生手段64、及び加算手段65によるノイズ除去フィルタによる構成を用いたものである。その構成及び動作は、フレームメモリ11が入力信号Di0を1フレーム遅延すること以外は、上記で図12及び図9を参照して説明したのと同様であるので、その詳細な説明は省略するが、非巡回型の場合、入力フレームとその前フレームの2フレーム間のフレーム相関を用いた演算となる。
実施の形態4のノイズ除去装置4によれば、減算手段21によりフレーム差分Diffを求め、動き検出手段51において動き検出を行って「動き」に該当する差分を表す動き差分信号mvを生成し、そして、ノイズ量検出手段70において、動き差分信号mvを減算し、ノイズ成分のみの差分信号nmdからノイズ量flndを得て、さらにノイズ量flndから、制御信号efcntを生成し、この制御信号efcntに基づいて、ノイズ除去のフィルタ係数kn、(1−kn)を得て、入力信号のノイズ除去を行っている。
よって、フレーム間の差分に含まれる映像信号の動きとノイズ成分を切り分け、映像信号のフレーム内に含まれたノイズ量を得て、映像信号中のノイズ量に応じたノイズ除去フィルタの係数を発生することができる。従って、ノイズ成分が多く含まれる映像信号に対してはノイズの除去量を上げることができ、ノイズ成分が少ない映像信号と動き部分に対してはノイズ除去量を少なくして尾引きや残像を少なくし、さらにノイズ成分が含まれない映像信号や動き部分に対してはノイズ除去量を0として尾引きや残像をなくすことができる。従って、どのようなノイズ量を持つ映像信号に対しても、最適なノイズ除去効果を得ることができ、尾引きや残像という弊害を低減して、良好なノイズ除去効果を得ることができる。
また、動き検出手段51において、ノイズ量検出手段70への動き差分信号mvと、フィルタ係数発生手段64に対し送る動き度合い信号mdsとを生成し出力するよう構成しているので、フレーム差分の演算、動き検出処理を共通の手段で実行することができ、回路規模の削減ができる。
なお、ノイズ除去装置4の各構成要素がハードウェアで構成されているものとして説明しているが、各構成要素を、プログラム制御におけるソフトウェアの処理により実現するよう構成してもよい。
実施の形態5.
実施の形態1のノイズ除去装置1におけるノイズ量検出手段30においては、フレームノイズ抽出手段39内の動き減算手段35でノイズ成分のみの差分信号nmdを得て、ノイズ差分累積演算手段36で差分信号ndfの値を累積して1フレームのエリア内ノイズ差分累積値nmctを求めることでフレーム内でのノイズ成分を持つ差分のみを抽出し、ノイズ差分累積値nmctとして出力することで、映像信号のノイズ量flndを得るよう構成しているが、ノイズ成分が含まれた画素か否か(各画素の信号がノイズ成分を含むものであるか否か)を判定し、フレーム内での画素累積値からフレーム内でのノイズ成分を持つ差分のみを抽出してノイズ量を求めるよう構成することもできる。
図14は、実施の形態5のノイズ除去装置(すなわち、実施の形態5のノイズ除去方法を実施することができる装置)の構成を示すブロック図であり、巡回型のノイズ除去装置を構成している。図14において、図1の構成要素と同一又は対応する構成要素には、同じ符号を付してある。
図14において、実施の形態5のノイズ除去装置5は、実施の形態1のノイズ除去装置1(図1参照)の構成におけるノイズ量検出手段30の代わりにノイズ量検出手段80を用い、画素毎に動きがある画素かノイズ成分が含まれた画素かを判定し、フレーム内での画素累積値(画素計数値)からノイズ量を求めて、映像信号のフレーム単位でのノイズ量を得るよう構成したものである。このノイズ量検出手段80に関する部分以外の構成及び動作は、実施の形態1に示されるものと同じであり、その詳細な説明は省略する。
実施の形態5におけるノイズ量検出手段80は、ノイズ量検出手段30と同様、入力フレーム信号と1フレーム前の信号の間での差分から、「動き」に該当する差分を除いた映像信号中のノイズ量をフレーム単位で求めるものであり、フレーム差分検出手段33、及び動き差分検出手段50は、図1に示されるものと同一のものである。
ノイズ量検出手段80は、フレーム差分検出手段33、及び動き差分検出手段50のほか、フレームノイズ抽出手段89とノイズ量変換手段87とを備えている。
フレームノイズ抽出手段89は、1フレーム内でのノイズ成分を持つ差分のみを抽出し、1フレーム内でのノイズ成分のみを持つ画素の累積値(計数値)をノイズ画素累積値として得て、ノイズ画素累積値の平均を算出し、フレームノイズ抽出結果として出力する。
ノイズ量変換手段87は、平均化されたノイズ画素累積値を映像信号中のノイズ量を示す値として変換し、ノイズ量として出力する。
フレームノイズ抽出手段89は、差分比較手段81と、差分画素累積演算手段82と、動き差分比較手段83と、動き画素累積演算手段84と、動き画素減算手段85と、フレーム平均ノイズ画素数算出手段86とを備えている。
差分比較手段81は、差分値ndfを2値化する。
差分画素累積演算手段82は、2値化された差分npxから差分を含むと判定された画素の数を1フレーム内の有効エリア期間において累積(計数)し、1フレーム内での画素累積値(計数値)を差分画素累積値npcntとして出力する。
動き差分比較手段83は、動き検出手段50からの動き差分信号mvを2値化する。
動き画素累積演算手段84は、2値化された動き差分信号mpxから動きとなる画素の数を1フレーム内の有効エリア期間において累積(計数)し、1フレーム内での画素累積値(計数値)を動き画素累積値mvcntとして出力する。
動き画素減算手段85は、差分画素累積値npcntから動き画素累積値mvcntを減算し、減算結果を1フレーム単位のノイズ画素累積値nsbとして出力する。
フレーム平均ノイズ画素数算出手段86は、複数フレーム分のノイズ画素累積値nsbの平均frnspを算出する。
フレーム遅延手段であるフレームメモリ11では、ノイズ除去後の信号Do0を1フレーム遅延させ、現フレーム信号Di0とフレームメモリ11からの前フレーム信号Im1は、ノイズ量検出手段80内の差分演算手段31と、ノイズ除去手段20へと送られる。
タイミング信号生成手段12において、同期信号SYに基づきタイミング信号を生成し、ノイズ除去手段20において、フレーム差分Diffから動き度合い信号を得るとともに、動き度合い信号mdsとノイズ除去処理制御手段40によるノイズ量flndから得られた制御信号efcntに応じてノイズ成分に対する巡回係数求め、差分と巡回係数からノイズ除去処理を行う。これらの構成は、実施の形態1に示されるものと同じであり、その詳細な説明は省略する。
図14において、ノイズ量検出手段80内のフレーム差分検出手段33には、現フレーム信号Di0と前フレーム信号Im1が入力され、前フレーム信号Im1と現フレーム信号Di0の間の1フレーム間の差分値が求められ、1フレーム間の差分を検出する。フレーム差分検出手段33は、上記のように、差分演算手段31と、フレーム間差分の絶対値を演算する絶対値演算手段32と、差分絶対値を非線形変換する差分感度変換手段34とを備えており、差分演算手段31では、現フレーム信号Di0と前フレーム信号Im1のフレーム差分Dnが求められる。
このフレーム差分Dnには、映像信号における「動き」の成分と「ノイズ」の成分が含まれている。絶対値演算手段32には、差分演算手段31からのフレーム差分Dnが入力され、絶対値演算手段32は、フレーム差分Dnの絶対値を演算し、フレーム差分の差分絶対値Dabsを出力する。
差分感度変換手段34では、差分絶対値Dabsからオフセット値を減算し、所定の感度倍率を乗算してその演算結果を所定の範囲(例えば、0から上限値dNまでの範囲)内に制限することで非線形変換し(この処理は、図2を参照して差分絶対値Dabsに関して説明したのと同様に行い得る)、その結果を、差分信号ndfとして出力する。
この差分信号ndfには、動き成分とノイズ成分が含まれている。
フレーム差分検出手段33から、1フレーム差分絶対値Dabsと、差分絶対値Dabsを非線形変換した結果得られる差分信号ndfとが、ともに1フレーム差分検出結果として出力され、差分絶対値Dabsが動き差分検出手段50へ、差分信号ndfがフレームノイズ抽出手段89へ供給される。なお、この差分信号ndfの代わりに、差分感度変換手段34により非線形変換する前の差分絶対値Dabsをそのままフレームノイズ抽出手段89に供給することとしてもよい。
ノイズ量検出手段80内の動き差分検出手段50には、絶対値演算手段32からのフレーム差分絶対値Dabsが入力され、動き差分検出手段50では、差分絶対値Dabsから、フレーム差分における動きを示す動き差分信号mvを出力する。ここまでの動作は、実施の形態1のノイズ量検出手段30での構成、動作と同一である。
ノイズ量検出手段80内のフレームノイズ抽出手段89へは、差分感度変換手段34からの差分信号ndfと、動き差分検出手段50内の動き差分値生成手段503からの動き差分信号mvと、タイミング信号生成手段12からの垂直同期パルス信号frpとフレーム有効エリア信号erctとが入力される。
フレームノイズ抽出手段89は、フレーム差分である差分信号ndfから、1フレームのエリア内でのノイズ成分もしくは動き成分となる差分を持つ画素(以下、差分画素と呼ぶ)の数と、動き差分信号mvにより1フレームのエリア内で動きとなる画素(以下、動き画素と呼ぶ)の数を得て、この動き画素の数を差分画素の数から除き、ノイズ成分のみの差分を持つ画素の1フレーム単位での累積値(以下、ノイズ画素累積値と呼ぶ。)を得ることで、1フレーム内にノイズ成分が存在する程度を抽出し、1フレーム内のノイズ成分の程度に対応する値(ノイズ画素累積値nsb)を得る。そして、このノイズ画素累積値nsbを複数フレーム分得て、複数フレームでのノイズ画素累積値における平均値(平均ノイズ画素累積値frnp)を算出し、フレームノイズ抽出結果として出力する。
フレームノイズ抽出手段89内の差分比較手段81には、差分感度変換手段34からの差分信号ndfが入力される。差分比較手段81は、差分感度変換手段34からの差分信号ndfを所定の閾値と比較し、各画素に対し、ノイズ成分もしくは動き成分となる差分を持つ画素(差分画素)であるか否かを判断し、結果として2値化した値npxを出力する。比較は、例えば、差分信号ndfの値が所定の閾値より大きければ差分画素と判断し、それ以外の所定の閾値より小さい場合には、その画素をノイズ成分と動き成分ともに持たない画素、すなわち、差分画素でないと判断し、2値化した値npxを出力する。2値化した値npxは、例えば、差分画素と判断された場合は値‘1’(npx=1)とし、差分画素でないとする場合には値‘0’(npx=0)とする。なお、2値化した値は、上記したものに限るものではなく、比較により差分画素と判断された画素を示す値であれば、他の値であってもよい。
差分画素累積演算手段82には、差分比較手段81からの差分画素か否かを示す2値化された値npxと、タイミング信号生成手段12からの垂直同期パルス信号frpとフレーム有効エリア信号erctとが入力される。差分画素累積演算手段82は、差分比較手段81からの差分画素を示す2値化の値npxに応じて、タイミング信号生成手段12からのフレーム有効エリア信号erctが示す1フレーム内の所定エリア内において、差分画素となる値の画素の数を累積(計数)する。すなわち、差分比較手段81からの差分画素と判断された値‘1’(npx=1)となる場合を、フレーム有効エリア信号erctのエリア内に渡り累積して、1フレームのエリア内における差分画素の累積値npcntを1フレーム内の差分画素の数に対応する値(差分累画素累積値npcnt)として、垂直同期パルス信号frpで示される1フレーム単位ごとに出力する。
この累積結果である差分画素累積値npcntは、差分画素を示す値npxから得られた1フレーム内の差分画素の数であり、1フレーム内のフレーム差分の存在の程度を示す値、すなわち、1フレーム内にノイズ成分もしくは動き成分となる差分が存在する程度を示す値となる。差分画素累積値npcntにおいて、1フレーム内にノイズ成分がないか、もしくは、静止画である場合は、1フレーム内の差分画素累積値nmcntの値が小さくなり、ノイズ成分が多いか、もしくは、動き成分を含む場合は、1フレーム内の差分画素累積値npcntの値が大きくなる。
フレームノイズ抽出手段89内の動き差分比較手段83には、動き差分検出手段50からの動き差分信号mvが入力される。動き差分比較手段83は、動き差分検出手段50からの動き差分信号mvを所定の閾値と比較し、各画素に対し、動きとなる画素(動き画素)であるか否かを判断し、結果として2値化した値mpxを出力する。比較は、例えば、動き差分信号mvの値が所定の閾値より大きければ動き画素と判断し、それ以外の所定の閾値より小さい場合には、その画素を動き成分を持たない画素(つまり、静止もしくはノイズ成分を持つ画素)、すなわち、動き画素でないと判断し、2値化した値mpxを出力する。2値化した値mpxは、例えば、動き画素と判断された場合は値‘1’(mpx=1)とし、動き画素でないとする場合には値‘0’(mpx=0)とする。なお、2値化した値は、上記したものに限るものではなく、比較により動き画素と判断された画素を示す値であれば、他の値であってもよい。
動き画素累積演算手段84には、動き差分比較手段83からの動き画素か否かを示す2値化された値mpxと、タイミング信号生成手段12からの垂直同期パルス信号frpとフレーム有効エリア信号erctとが入力される。動き画素累積演算手段84は、動き差分比較手段83からの動き画素を示す2値化の値mpxに応じて、タイミング信号生成手段12からのフレーム有効エリア信号erctが示す1フレーム内の所定エリア内において、動き画素となる値の画素の数を累積する。すなわち、動き差分比較手段83からの動き画素と判断された値‘1’(mpx=1)となる場合を、フレーム有効エリア信号erctのエリア内に渡り累積して、1フレームのエリア内における動き画素の累積値mpcntを1フレーム内の動き画素の数に対応する値(動き画素累積値mvcnt)として、垂直同期パルス信号frpで示される1フレーム単位ごとに出力する。
この累積結果である動き画素累積値mvcntは、動き画素を示す値mpxから得られる1フレーム内の動き画素の数であり、1フレーム内での動きとなる差分が存在する程度を示す値となる。動き画素累積値mvcntにおいて、フレーム内にノイズ成分のみが存在するか、あるいは静止画である場合は、1フレーム内の動き画素累積値mvcntの値が小さくなり、動きが多く含まれる場合は、1フレーム内の動き画素累積値mvcntの値が大きくなる。
動き画素減算手段85は、差分画素累積演算手段82からの差分画素累積値npcntと、動き画素累積演算手段84からの動き画素累積値mvcntが入力される。動き画素減算手段85では、差分画素累積値npcntから動きに相当する差分を持つ画素数分の累積値を示す動き画素累積値mvcntを減算することで、「動き」に該当する差分を持つ画素の累積値分となる動き画素累積値mvcntを除き、ノイズ成分のみの差分を持つ画素の1フレーム単位での累積値(ノイズ画素累積値nsb)として求める。
なお、差分画素累積値npcntから動き画素累積値mvcntを減算した結果が負(−)の値となり、動き画素の累積値分が差分画素累積値npcntより大きな値の場合は、ノイズ成分がないか、もしくはノイズ検出が無効な部分として、ノイズ画素累積値nsb=0を出力する。
ここで、差分画素累積値npcntは、映像信号でのノイズによる差分と動きによる差分のどちらかが存在する画素の累積値を示している。よって、フレーム差分の存在の程度を示す差分画素累積値npcntから、動きのみの画素数を示す動き画素累積値mvcntを減算することで、動きがノイズとして検出され、フレーム差分中に含まれて、差分画素として判断されている場合の画素数分を差分画素累積値npcntから除き、動き画素の画素数分を除いたノイズ成分の画素数を示す値へ補正できる。つまり、フレーム差分に含まれた動きを除き、ノイズ成分(ノイズ量)としてのフレーム内のノイズ画素累積値nsbを得て、1フレーム内にノイズ成分が存在する程度を抽出することができ、ノイズ画素累積値nsbは、1フレーム内でのノイズ成分が存在する程度を示す値となる。
図1におけるフレームノイズ抽出手段39は、差分信号ndfから動き差分信号mvを減算して、ノイズ成分のみの差分値を示す差分信号nmdを得て、1フレームの所定のエリア内におけるノイズ差分累積値nmctを求めているが、図14のフレームノイズ抽出手段89では、フレームでの動き画素数分を除いたノイズ成分の画素数を示す値としてノイズ画素累積値nsbを得ている。よって、差分値を直接減算することによるのではなく、1フレーム内でのノイズ成分が存在する程度をノイズ画素の累積値として得られ、より適切に1フレーム内のノイズ成分の存在の程度を得ることができる。
フレーム平均ノイズ画素数算出手段86には、動き画素減算手段85から出力される1フレーム期間単位のノイズ画素累積値nsbと、タイミング信号生成手段12からの垂直同期パルス信号frpとが入力される。フレーム平均ノイズ画素数算出手段86は、ノイズ画素累積値nsbを垂直同期パルス信号frpに従い遅延し、複数フレーム分のノイズ画素累積値を得て、複数フレームでのノイズ画素累積値における平均値である平均ノイズ画素累積値frnpを算出し、フレームノイズ抽出結果として出力する。この平均化により、瞬間的なノイズの変化や、映像の動きの変化(シーンチェンジによる動きや、急激に変化する動きなど)の影響を防ぎ、入力される映像信号内に含まれた平均的なノイズ画素累積値を得ることができる。平均値の演算を行うフレーム数は、例えば32フレームの範囲で行い、この32フレーム期間での平均値を平均ノイズ画素累積値frnpとして出力する。なお、平均するフレームの範囲は、32フレームに限るものではなく、16フレームや、8フレーム、さらには32フレームより多いフレーム数と設定してもよい。
ノイズ量変換手段87には、フレームノイズ抽出手段89内のフレーム平均ノイズ画素数算出手段86からのフレームノイズ抽出結果である平均ノイズ画素累積値frnpが入力される。
ノイズ量変換手段87は、フレーム平均ノイズ画素数算出手段86からの平均化されたノイズ画素累積値である平均ノイズ画素累積値frnpを、映像信号中のノイズ量を示す値として変換し、映像信号のノイズ量を示す信号(ノイズ量flnd)として出力する。
ノイズ量変換手段87では、図1のノイズ量変換手段38と同様に、例えば、平均ノイズ画素累積値frnpからオフセット値を減算し、所定の感度倍率を乗算して、その演算結果を所定の範囲内に制限することで非線形変換し、ノイズ量flndとして出力する。
平均ノイズ画素累積値frnpは、フレーム単位でのノイズ成分が存在する程度を示すノイズ画素の累積値であり、平均ノイズ画素累積値frnpの値が大きいほど映像信号におけるノイズ量が多くなり、感度倍率を大きくすることで、平均ノイズ画素累積値frnpをノイズ量として得やすくすることとなる。
図15は、ノイズ量変換手段の入力としての平均ノイズ画素累積値frnp(横軸上に示す)と出力としてノイズ量flnd(縦軸上に示す)の関係(入出力特性)の一例を示している。図示の例では、平均ノイズ画素累積値frnpが所定値frp1以上の場合は、ノイズ量flndが上限値flmaxに維持され、オフセット値frp0までの範囲では、微小のノイズ成分となり、ノイズ量flnd=0として出力される。また、平均ノイズ画素累積値frnpがオフセット値frpoから所定値flp1までの範囲では、ノイズ量flndは0から上限値flmaxまで直線的に増加する。
ノイズ量flndは、映像信号中の動きを除くノイズ量を示している。
ノイズ量変換手段87の感度倍率を大きくすることで、平均ノイズ画素累積値frnpがノイズ量として検出されやすくなり、一方、オフセット値を大きくすることで、ノイズ成分のない映像信号(もしくは動きが大きく、ノイズ検出が無効)として検出される範囲が広がる(範囲の上限が大きくなる)。よって、この感度倍率とオフセット値によりノイズ量の検出の感度が調整される。
このノイズ量変換手段87により得られたノイズ量flndは、値が大きい程映像信号に含まれるノイズ成分が多く、0に近いほどノイズ成分が少ないことを示し、ノイズ量変換手段87からのノイズ量flndは、ノイズ除去処理制御手段40へと送られる。さらには、外部の処理でノイズ量を用いるために、ノイズ量flndをノイズ除去装置1の外部ブロックへ送ることもできる。
以下、ノイズ除去処理制御手段40と、ノイズ除去手段20に関する構成及び動作は、実施の形態1に示されるものと同じであり、その詳細な説明は省略するが、ノイズ除去手段20では、ノイズ量flndから得られた制御信号efcntに基いて、ノイズに対する巡回係数Kmを制御して、映像信号中のノイズ量に応じたノイズの巡回係数によりノイズ除去を行う。
次に、実施の形態5のノイズ除去装置5内のフレームノイズ抽出手段89において、差分画素累積値npcntと動き画素累積値mvcntからノイズ画素累積値frnpを得て、これにより映像信号中に含まれるフレーム単位でのノイズ量を検出するノイズ量検出手段80の動作の動作を中心に、具体的に説明する。
図16は、ノイズ除去装置5において、ノイズ量検出手段80の動作を説明するフローチャートである。以下、図16を参照して説明する。
ノイズ除去装置5へ入力された映像信号Di0とフレームメモリ11により1フレーム遅延されたノイズ除去後の前フレーム信号Im1は、ノイズ除去手段20及びノイズ量検出手段80におけるフレーム差分検出手段33内の差分演算手段31に入力され、差分演算手段31では、現フレーム信号Di0と前フレーム信号Im1の間のフレーム差分Dnが求められる。そして、絶対値演算手段32では、フレーム差分Dnの絶対値を演算し、差分絶対値Dabsを得る(ステップS1)。
なお、ノイズ除去手段20内の減算手段21においても現フレーム信号Di0と前フレーム信号Im1の間のフレーム差分Diffが求められており、振幅制限手段22では、フレーム差分Diffに対して、所定の値内に振幅を制限し、振幅制限された差分値Dfnをノイズ成分として出力する。そして、フレーム差分Diffは動き検出手段23へ送られ、動き検出手段23において映像信号での動きを検出し、フレーム差分における動きの度合いを示す動き度合い信号mdsを得る(ステップS14)。
差分絶対値Dabsは、差分感度変換手段34において、非線形変換され、非線形変換後の差分信号ndfはフレームノイズ抽出手段89内の差分比較手段81へ送られる(ステップS2)。この差分信号ndfには、動き成分とノイズ成分が含まれている。
また、ノイズ量検出手段80内の動き差分検出手段50において、差分絶対値Dabsから動きを検出するため、非線形変換を行い、孤立点除去処理などで動きの誤検出を補正して、動きに該当する差分を抽出し、動きの差分値を示す動き差分信号mvを出力する(ステップS3)。
これにより、動き差分検出手段50では、差分絶対値Dabsからノイズ成分を除くフレーム差分における動きを示す動き差分信号mvを得ることとなる。上記したステップS1,S14,S2,S3の動作は、図8に示す実施の形態1におけるステップS1,S14,S2,S3の動作と概して同一である。
次に、ノイズ量検出手段80におけるフレームノイズ抽出手段89内の差分比較手段81では、差分感度変換手段34からの差分信号ndfを所定の閾値と比較し、各画素について、ノイズ成分もしくは動き成分となる差分を持つ差分画素であるか否かを判断し、2値化することで、差分画素を検出する(ステップS20)。比較は、例えば、差分信号ndfの値が所定の閾値より大きければ差分画素と判断し、それ以外の場合、即ち上記所定の閾値以下の場合には、その画素をノイズ成分と動き成分ともに持たない画素、すなわち、差分画素でないと判断する。
差分画素累積演算手段82では、差分比較手段81からの差分画素か否かを示す2値化された値npxにより、差分画素となる値の画素の数をフレーム有効エリア信号erctのエリア内に渡り累積して、差分累画素累積値npcntとして、1フレーム単位ごとに出力する(ステップ21)。この累積結果である差分画素累積値npcntは、差分画素を示す値npxから得られた1フレーム内の差分画素の数であり、1フレーム内のフレーム差分の存在の程度を示す値、すなわち、1フレーム内にノイズ成分もしくは動き成分となる差分が存在する程度を示す値となる。
一方、ノイズ量検出手段80におけるフレームノイズ抽出手段89内の動き差分比較手段83では、動き検出手段50からの動き差分信号mvを所定の閾値と比較し、各画素について、動き画素であるか否かを判断し、2値化することで、動き画素を検出する(ステップS30)。比較は、例えば、動き差分信号mvの値が所定の閾値より大きければ動き画素と判断し、それ以外の場合、即ち上記所定の閾値以下の場合には、その画素を動き成分を持たない画素、すなわち、動き画素でないと判断する。
動き画素累積演算手段84は、動き差分比較手段83からの動き画素か否かを示す2値化された値mpxにより、動き画素となる値の画素の数をフレーム有効エリア信号erctが示す1フレーム内の所定エリア内において累積して、動き画素累積値mvcntとして、1フレーム単位ごとに出力する(ステップS31)。この累積結果である動き画素累積値mvcntは、動き画素を示す値mpxから得られる1フレーム内の動き画素の数であり、1フレーム内での動きとなる差分が存在する程度を示す値となる。
次に、動き画素減算手段85は、差分画素累積値npcntから動き画素累積値mvcntを減算することで、ノイズ成分のみの差分を持つ画素の累積値をノイズ画素累積値nsbとして求める(ステップS22)。
なお、差分画素累積値npcntから動き画素累積値mvcntを減算した結果が負(−)の値となり、動き画素の累積値分が差分画素累積値npcntより大きな値の場合は、ノイズ成分がないか、もしくはノイズ検出が無効な部分として、ノイズ画素累積値nsb=0を出力する。
差分画素累積値npcntは、映像信号でのノイズによる差分と動きによる差分のどちらかが存在する画素の累積値を示しており、差分画素累積値npcntから動きのみの画素数を示す動き画素累積値mvcntを減算することで、動き画素の画素数分を除いたノイズ成分の画素数を示す値へ補正できる。つまり、フレーム差分に含まれた動きを除き、ノイズ成分としてのフレーム内のノイズ画素累積値nsbを得ることができ、ノイズ画素累積値nsbは、1フレーム内でのノイズ成分が存在する程度を示す値となる。差分値を直接減算することによるのではなく、1フレーム内でのノイズ成分が存在する程度をノイズ画素の累積値として得られ、より適切に1フレーム内のノイズ成分の存在の程度を得ることができる。
フレーム平均ノイズ画素数算出手段86は、複数フレーム分のノイズ画素累積値を得て、複数フレームでのノイズ画素累積値における平均ノイズ画素累積値frnpを算出し、フレームノイズ抽出結果として出力する(ステップS23)。
これにより、瞬間的なノイズの変化や、映像の動きの変化(シーンチェンジによる動きや、急激に変化する動きなど)の影響を防ぎ、入力される映像信号内に含まれた平均的なノイズ画素累積値を得ることができる。
フレーム平均ノイズ画素数算出手段86からの平均ノイズ画素累積値frnpは、ノイズ量変換手段38において、映像信号中のノイズ量を示す値として非線形変換されて、映像信号のフレームにおけるノイズ量flndを得る(ステップS7)。
平均ノイズ画素累積値frnpはフレーム単位でのノイズ成分が存在する程度を示すノイズ画素の累積値であり、平均ノイズ画素累積値frnpの値が大きいほど映像信号におけるノイズ量が多くなり、ノイズ量変換手段38において変換での感度倍率とオフセット値によりノイズ量の検出の感度が調整される。
次に、ノイズ量flndは、ノイズ除去処理制御手段40へと送られ、ノイズ量flndから、ノイズ除去効果のレベルを示しノイズ除去の効果を制御するための制御信号efcntを生成し、出力する(ステップS8)。
以下の動作は、図8に示す実施の形態1における動作と同一であるので、詳細な説明は省略するが、ノイズ除去手段20内の巡回係数発生手段24では、動き検出手段23からの動き度合い信号mdsとノイズ量flndに応じて、ノイズに対する巡回係数Kmが発生される(ステップS9、ステップS10)。動きの度合いを示す動き度合い信号mdsと、ノイズ除去効果のレベルを示す制御信号efcntに応じて得られた巡回係数Kmは、乗算手段25へと入力され、振幅制限手段22からの差分値Dfnと巡回係数Kmが乗算されて、ノイズの巡回量Ndを
Nd=Km×Dfn
により求め、得られたノイズ巡回量Ndを演算手段26へと送る(ステップS11)。
演算手段26においては、入力信号Di0に対して乗算手段25からのノイズ巡回量Ndを加算することで(ステップS12)、映像信号中のノイズを除去して、ノイズ除去後の出力信号Do0を得る(ステップS13)。
巡回係数Kmは、動き度合い信号mdsの値に応じて算出されているとともに、さらには、ノイズ除去効果のレベルを示す制御信号efcntによっても制御され、算出されている。よって、動き度合い信号mdsが動きを示す場合と、映像信号中のノイズ成分がない場合は、巡回係数Km=0として送られているので、この場合のノイズの巡回量NdはNd=0となり、ノイズ除去は行われない。映像信号中に含まれるフレーム単位でのノイズ量を得て、このノイズ量を示す信号に応じてノイズに対する巡回係数Kmが得られているので、ノイズ成分が少ない映像信号に対してはノイズ巡回量Ndの値が小さくなり、尾引きや残像という弊害を低減して、目立たなくできる。
一方で、動きの度合いが低いと検出され、映像信号中のノイズ成分が多いと検出される場合は、Km=Kmaxとなっているので、動き部分以外でのノイズ巡回量Ndは最大値に設定でき、ノイズの除去効果を大きくすることができる。
以上より、実施の形態5のノイズ除去装置5によれば、ノイズ量検出手段80内のフレームノイズ抽出手段89において、フレーム差分を持つ差分画素と、フレーム差分における動きに該当する差分を持つ動き画素を判断し、それぞれの1フレーム内の有効エリアにおける画素累積値を求め、差分画素累積値npcntから動き画素累積値mvcntを減算することで、ノイズ成分のみの差分を持つ画素のフレーム単位のノイズ画素累積値nsbを得て、フレーム内のノイズ成分を抽出する。そして、ノイズ画素累積値nsbの平均ノイズ画素累積値frnpを算出し、この平均ノイズ画素累積値frnpから映像信号のフレームにおけるノイズ量flndを得て、ノイズ除去の効果を制御するための制御信号efcntを生成し、この制御信号efcntに基いて、巡回係数Kmを制御して、ノイズ除去のノイズ巡回量を得ている。
よって、フレーム間の差分に含まれる映像信号の動き成分とノイズ成分を切り分け、ノイズ成分を含む画素がフレーム内に存在する程度を得ることで、適切に映像信号のフレーム内に含まれたノイズ量が得られ、この映像信号中のノイズ量に応じた巡回係数が得られる。従って、ノイズ成分が多く含まれる映像信号に対しては巡回係数を大きくしてノイズの巡回量を上げることができ、ノイズ成分が少ない映像信号に対してはノイズ巡回量を少なくして尾引きや残像を少なくし、さらにノイズ成分が含まれない映像信号や動き部分に対してはノイズ巡回量を0として尾引きや残像をなくすことができる。従って、どのようなノイズ量を持つ映像信号に対しても、最適なノイズ除去効果を得ることでき、尾引きや残像という弊害を低減して、良好なノイズ除去効果を得ることができる。
なお、ノイズ除去装置5の各構成要素がハードウェアで構成されているものとして説明しているが、各構成要素を、プログラム制御におけるソフトウェアの処理により実現するよう構成してもよい。
実施の形態6.
実施の形態5のノイズ除去装置5では、ノイズ除去手段20をノイズ除去後の出力信号Do0を1フレーム遅延させ処理するフレーム巡回型のノイズ除去として構成しているが、実施の形態1に対して、実施の形態2による変形を加えたのと同様に、実施の形態5に対する変形を加えることもできる。即ち、図17に示すように、図14のノイズ除去手段20の代わりに、図9のノイズ除去手段60を用いることもできる。
図17は、実施の形態6の非巡回型のノイズ除去装置(すなわち、実施の形態6のノイズ除去方法を実施することができる装置)の構成を示すブロック図である。図17において、図9及び図14の構成要素と同一又は対応する構成要素には、同じ符号を付してある。
図17において、実施の形態6のノイズ除去装置6は、実施の形態5のノイズ除去装置5(図14参照)におけるノイズ除去手段20の代わりに、実施の形態2のノイズ除去装置2(図9参照)におけるノイズ除去手段60による非巡回型ノイズ除去フィルタを用いた構成としたものである。その構成及び動作は、フレームメモリ11が入力信号Di0を1フレーム遅延すること以外は、実施の形態2に関して図9及び図12を参照して説明したのと同様であるので、その詳細な説明は省略するが、非巡回型の場合、入力フレームとその前フレームの2フレーム間のフレーム相関を用いた演算となる。
実施の形態6のノイズ除去装置6によれば、ノイズ量検出手段80内のフレームノイズ抽出手段89において、差分画素累積値npcntと動き画素累積値mvcntを求め、差分画素累積値npcntから動き画素累積値mvcntを減算することで、ノイズ成分のみの差分を持つ画素のフレーム単位のノイズ画素累積値nsbを得て、フレーム内のノイズ成分を抽出する。そして、このノイズ画素累積値nsbの平均ノイズ画素累積値frnpを算出し、この平均ノイズ画素累積値frnpから映像信号のフレームにおけるノイズ量flndを得て、ノイズ除去の効果を制御するための制御信号efcntを生成し、この制御信号efcntに基いてノイズ除去手段60におけるノイズ除去のフィルタ係数kn、(1−kn)を得て、入力信号のノイズ除去を行っている。
よって、フレーム間の差分に含まれる映像信号の動き成分とノイズ成分を切り分け、ノイズ成分を含む画素がフレーム内に存在する程度を得ることで、適切に映像信号のフレーム内に含まれたノイズ量が得られ、映像信号中のノイズ量に応じたノイズ除去フィルタの係数が得られるの。従って、ノイズ成分が多く含まれる映像信号に対してはノイズの除去量を上げることができ、ノイズ成分が少ない映像信号に対してはノイズ除去量を少なくして尾引きや残像を少なくし、さらにノイズ成分が含まれない映像信号や動き部分に対してはノイズ除去量を0として尾引きや残像をなくすことができる。従って、どのようなノイズ量を持つ映像信号に対しても、最適なノイズ除去効果を得ることができ、尾引きや残像という弊害を低減して、良好なノイズ除去効果を得ることができる。
なお、ノイズ除去装置6の各構成要素がハードウェアで構成されているものとして説明しているが、各構成要素を、プログラム制御におけるソフトウェアの処理により実現するよう構成してもよい。
実施の形態7.
実施の形態5のノイズ除去装置5では、フレーム差分から映像信号の動きを検出しており、ノイズ量検出手段80内の動き差分検出手段50と、ノイズ除去手段20内の動き検出手段23において別々に動きを検出するよう構成したが、実施の形態3に関して説明したのと同様、共通の手段でフレーム差分を求め、動き検出を行うよう構成することもできる。
図18は、実施の形態7のノイズ除去装置(すなわち、実施の形態7のノイズ除去方法を実施することができる装置)の構成を示すブロック図であり、巡回型のノイズ除去装置を構成している。図18において、図12及び図14に示した構成要素と同一又は対応する構成要素には、同じ符号を付してある。
図18において、実施の形態7のノイズ除去装置7は、実施の形態3に関して説明したのと同様、実施の形態5のノイズ除去装置5(図14参照)における動き検出手段23とノイズ量検出手段80内の動き差分検出手段50を映像信号の動きを検出する1つの動き検出手段51で兼用し、減算手段21からのフレーム差分Diffと動き検出手段51での動き検出結果からノイズ量を検出するノイズ量検出手段90を設けたものである。動き検出手段51は、実施の形態3のノイズ除去装置3(図12参照)におけるものと同一であり、ノイズ量検出手段90に関する部分以外の構成及び動作は、実施の形態5および実施の形態3に示されるものと同じであり、その詳細な説明は省略する。
実施の形態7におけるノイズ除去装置7は、減算手段21で求められたフレーム差分に基づき映像信号の動きを検出する動き検出手段51と、入力映像信号中に含まれるノイズ成分の量を検出するノイズ量検出手段90とを備えている。
フレームメモリ11で、ノイズ除去後の信号Do0を1フレーム遅延させて前フレーム信号Im1を生成し、減算手段21において、現フレーム信号Di0と前フレーム信号Im1のフレーム差分Diffを求める構成と、振幅制限手段22と、同期信号SYに基づきタイミング信号を生成するタイミング信号生成手段12とは、実施の形態5に示されるものと同じであり、さらには、フレーム差分Diffから動きに該当する差分を抽出し、動きの差分値(動き量)を示す動き差分信号mvと、動き度合い信号mdsを出力する動き検出手段51は、実施の形態3に示されるものと同一であり、それらの詳細な説明は省略する。
ノイズ量検出手段90は、フレーム差分から「動き」に該当する差分を除いた映像信号中のノイズ量をフレーム単位で求めるものであり、絶対値演算手段32と、差分絶対値を非線形変換する差分感度変換手段73と、フレームノイズ抽出手段89と、ノイズ量変換手段87とを備える。これらの構成と、ノイズ画素累積値を映像信号中のノイズ量を示す値として変換し、ノイズ量として出力する動作は、上記で説明した図14(実施の形態5)および図12(実施の形態3)と同様であるので、その詳細な説明は省略する。
実施の形態7のノイズ除去装置7によれば、減算手段21によりフレーム差分を求め、動き検出手段51において動き検出を行い、ノイズ量検出手段90内のフレームノイズ抽出手段89において、差分画素累積値npcntと動き画素累積値mvcntを求め、差分画素累積値npcntから動き画素累積値mvcntを減算することで、ノイズ成分のみの差分を持つ画素のフレーム単位のノイズ画素累積値nsb得る。そして、このノイズ画素累積値nsbの平均ノイズ画素累積値frnpを算出し、平均ノイズ画素累積値frnpから映像信号のフレームにおけるノイズ量flndを得て、ノイズ除去の効果を制御するための制御信号efcntを生成し、この制御信号efcntに基いて巡回係数Kmを制御して、ノイズ除去のノイズ巡回量を得ている。
よって、フレーム間の差分に含まれる映像信号の動き成分とノイズ成分を切り分け、ノイズ成分を含む画素がフレーム内に存在する程度を得ることで、適切に映像信号のフレーム内に含まれたノイズ量が得られ、映像信号中のノイズ量に応じた巡回係数が得られる。従って、ノイズ成分が多く含まれる映像信号に対してはノイズの巡回量を上げることができ、ノイズ成分が少ない映像信号と動き部分に対してはノイズ巡回量を少なくして尾引きや残像を少なくし、さらにノイズ成分が含まれない映像信号や動き部分に対してはノイズ巡回量を0として尾引きや残像をなくすことができる。従って、どのようなノイズ量を持つ映像信号に対しても、最適なノイズ除去効果を得ることができ、尾引きや残像という弊害を低減して、良好なノイズ除去効果を得ることができる。
また、動き検出手段51において、ノイズ量検出手段90への動き差分信号mvと、ノイズ除去処理で巡回係数発生手段24に対し送る動き度合い信号mdsとを生成し出力するよう構成しているので、フレーム差分の演算、動き検出処理を共通の手段で実行することができ、回路規模の削減ができる。
なお、ノイズ除去装置7の各構成要素がハードウェアで構成されているものとして説明しているが、各構成要素を、プログラム制御におけるソフトウェアの処理により実現するよう構成してもよい。
実施の形態8.
実施の形態7におけるノイズ除去装置7は、実施の形態5のノイズ除去装置5において、フレーム差分を求める手段の共通にしたものであるが、図19に示すように、実施の形態5で示した非巡回型ノイズ除去装置において実施の形態6に関して説明したのと同様に、フレーム差分を求める手段の共通化を図ることもできる。
図19は、実施の形態8の非巡回型のノイズ除去装置(すなわち、実施の形態8のノイズ除去方法を実施することができる装置)の構成を示すブロック図である。図19において、図14、図17及び図18に示した構成要素と同一又は対応する構成要素には、同じ符号を付してある。
図19において、実施の形態8のノイズ除去装置8は、実施の形態5のノイズ除去装置7(図18参照)における振幅制限手段22、巡回係数発生手段24、乗算手段25、及び演算手段26によるノイズ除去処理の構成の代わりに、実施の形態6のノイズ除去装置6(図17参照)におけるノイズ除去手段60内の係数乗算手段61、62、フィルタ係数発生手段64、及び加算手段65によるノイズ除去フィルタによる構成を用いたものである。その構成及び動作は、フレームメモリ11が入力信号Di0を1フレーム遅延すること以外は、上記で図18及び図17を参照して説明したのと同様であるので、その詳細な説明は省略するが、非巡回型の場合、入力フレームとその前フレームの2フレーム間のフレーム相関を用いた演算となる。
実施の形態8のノイズ除去装置8においては、減算手段21によりフレーム差分Diffを求め、動き検出手段51において動き検出を行い、ノイズ量検出手段90内のフレームノイズ抽出手段89において、差分画素累積値npcntと動き画素累積値mvcntを求め、差分画素累積値npcntから動き画素累積値mvcntを減算することで、ノイズ成分のみの差分を持つ画素のフレーム単位のノイズ画素累積値nsbを得て、フレーム内のノイズ成分を抽出する。そして、このノイズ画素累積値nsbの平均ノイズ画素累積値frnpを算出し、この平均のイズ画素累積値frnpから映像信号のフレームにおけるノイズ量flndを得て、ノイズ除去の効果を制御するための制御信号efcntを生成し、この制御信号efcntに基いて、ノイズ除去処理のフィルタ係数kn、(1−kn)を得て、入力信号のノイズ除去を行っている。
よって、フレーム間の差分に含まれる映像信号の動き成分とノイズ成分を切り分け、ノイズ成分を含む画素がフレーム内に存在する程度を得ることで、適切に映像信号のフレーム内に含まれたノイズ量が得られ、映像信号中のノイズ量に応じたノイズ除去フィルタの係数が得られる。従って、ノイズ成分が多く含まれる映像信号に対してはノイズの除去量を上げることができ、ノイズ成分が少ない映像信号と動き部分に対してはノイズ除去量を少なくして尾引きや残像を少なくし、さらにノイズ成分が含まれない映像信号や動き部分に対してはノイズ除去量を0として尾引きや残像をなくすことができる。従って、どのようなノイズ量を持つ映像信号に対しても、最適なノイズ除去効果を得ることができ、尾引きや残像という弊害を低減して、良好なノイズ除去効果を得ることができる。
また、動き検出手段51において、ノイズ量検出手段90への動き差分信号mvと、フィルタ係数発生手段64に対し送る動き度合い信号mdsとを生成し出力するよう構成しているので、フレーム差分の演算、動き検出処理を共通の手段で実行することができ、回路規模の削減ができる。
なお、ノイズ除去装置8の各構成要素がハードウェアで構成されているものとして説明しているが、各構成要素を、プログラム制御におけるソフトウェアの処理により実現するよう構成してもよい。
実施の形態9.
実施の形態1乃至8においては、ノイズ除去装置およびノイズ除去方法を実施することができる装置について説明したが、本発明は、入力映像信号のノイズ除去を行って処理し、高画質で表示する映像信号表示装置にも適用できる。以下に、実施の形態9として、TV放送信号やDVD,VTR等の記録再生装置、TV放送受信装置などから入力される映像信号を処理し、実施の形態1〜8のいずれかのノイズ除去装置を用いた映像信号を表示する映像信号表示装置について説明する。
図20は、実施の形態9による映像信号表示装置の一例を示すブロック図である。図20において、実施の形態9の映像信号表示装置9は、入力端子101と、入力信号処理手段102と、実施の形態1のノイズ除去装置1(又は実施の形態2から8でのノイズ除去装置2から8までのいずれか)を有しており、表示処理手段103と、表示手段104とを設け、ノイズ除去した映像信号を表示するように構成したものである。なお、ノイズ除去装置の構成及び動作は、実施の形態1(又は2〜8)に示されるものと同じであり、その詳細な説明は省略する。
入力端子101には、TV放送信号やDVD,VTR等の記録再生装置、TV放送受信装置等からの信号が入力される。入力端子101に入力された信号は、入力信号処理手段102へと送られる。
入力信号処理手段102は、TV放送信号やDVD,VTR等の記録再生装置、TV放送受信装置等からの信号に対し、例えば、アナログ信号が入力される場合は、信号をデジタル信号へ変換、同期信号を分離する等の入力信号処理や、また、MPEGデータを受けた場合には、MPEGデータをデコードするなどの処理を施す。そして、入力信号処理された映像信号をノイズ除去装置1(又は2〜8のいずれか)へ出力する。ここで、入力信号処理された映像信号は、インターレース信号またはプログレッシブ信号の場合がある。
ノイズ除去装置1(又は2〜8のいずれか)は、入力信号処理手段102からの映像信号に対し、入力フレームと1フレーム前のノイズ除去後の映像信号もしくは1フレーム前の映像信号との間のフレーム差分を求め、フレーム差分により動き検出を行うとともに、フレーム差分から動き成分を除くノイズ成分のみを抽出し、映像信号のフレームにおけるノイズ量flndを得て、ノイズ除去の効果を制御するための制御信号efcntを生成する。この制御信号efcntにより、映像信号中のノイズ量に応じたノイズ除去の係数を得ることで、入力信号のノイズ除去を行う。そして、ノイズ除去後の映像信号を表示処理手段103へと出力する。このノイズ除去の動作は、実施の形態1(又は実施の形態2〜8)について説明したのと同様であるので、詳細な説明は省略する。
表示処理手段103には、ノイズ除去装置1(又は2〜8)からのノイズ除去した映像信号が入力される。表示処理手段103は、入力映像信号がインターレース信号の場合は、インターレース信号をプログレッシブ信号に変換するなどの処理を施し、また、スケーリング処理等の表示信号へと変換するための信号処理を施し、表示手段304で表示するための表示信号として表示手段104へ出力する。
表示手段104は、表示処理手段103からの表示信号に基づき映像を表示する。
以上に説明したように、実施の形態9の映像信号表示装置によれば、実施の形態1(又は2〜8)のノイズ除去装置またはノイズ除去方法を用いるので、動き部分に対して尾引きや残像を低減して、良好なノイズ除去効果が得られた映像信号に基づく高品質な映像を表示することができる。
本発明の実施の形態1のノイズ除去装置1の構成の一例を示すブロック図である。 実施の形態1のノイズ除去装置1における差分感度変換手段34の入出力特性の一例を示す図である。 実施の形態1のノイズ除去装置1における動き感度変換手段502の入出力特性の一例を示す図である。 実施の形態1のノイズ除去装置1におけるノイズ量変換手段38の入出力特性の一例を示す図である。 実施の形態1のノイズ除去装置1における巡回係数発生手段24の一構成例を示すブロック図である。 実施の形態1のノイズ除去装置1における巡回係数発生手段24の入出力特性の一例を示す図である。 実施の形態1のノイズ除去装置1における巡回係数発生手段の他の構成例(24b)を示すブロック図である。 実施の形態1のノイズ除去装置1の動作を示すフローチャートである。 実施の形態2の非巡回型のノイズ除去装置2の構成の一例を示すブロック図である。 実施の形態2のノイズ除去装置2におけるフィルタ係数発生手段の一構成例(64)を示すブロック図である。 実施の形態2のノイズ除去装置2におけるフィルタ係数発生手段の他の構成例(64b)を示すブロック図である。 実施の形態3のノイズ除去装置3の構成の一例を示すブロック図である。 実施の形態4のノイズ除去装置4の構成の一例を示すブロック図である。 実施の形態5のノイズ除去装置5の構成の一例を示すブロック図である。 実施の形態5のノイズ除去装置5におけるノイズ量変換手段87の入出力特性の一例を示す図である。 実施の形態5のノイズ除去装置5の動作を示すフローチャートである。 実施の形態6の非巡回型のノイズ除去装置6の構成の一例を示すブロック図である。 実施の形態7のノイズ除去装置7の構成の一例を示すブロック図である。 実施の形態8のノイズ除去装置8の構成の一例を示すブロック図である。 本発明の実施の形態9の映像信号表示装置の構成の一例を示すブロック図である。
符号の説明
1,2,3,4,5,6,7,8 ノイズ除去装置、 9 映像信号表示装置、 11 フレームメモリ、 12 タイミング信号生成手段、 20,60 ノイズ除去手段、 21 減算手段、 22 振幅制限手段、 23,63 動き検出手段、 24,24b 巡回係数発生手段、 25 乗算手段、 26 演算手段、 61,62 係数乗算手段、 64 フィルタ係数発生手段、 65 加算手段、 30,70,80,90 ノイズ量検出手段、 33 フレーム差分検出手段、 31 差分演算手段、 32 絶対値演算手段、 34,73 差分感度変換手段、 50,74 動き差分検出手段、 502,512 動き感度変換手段、 503 動き差分値生成手段、 51 動き検出手段、 511 絶対値演算手段、 513 動き変換手段、 39,79,89 フレームノイズ抽出手段、 35 動き減算手段、 36 ノイズ差分累積演算手段、 37 フレーム平均累積値算出手段、 38,87 ノイズ量変換手段、 40 ノイズ除去処理制御手段、 241 係数算出手段、 242 係数制限手段、 243,243b 傾き設定手段、 244,244b 係数最大値設定手段、 245 ノイズ量係数制御手段、 81 差分比較手段、 82 差分画素累積演算手段、 83 動き差分比較手段、 84 動き画素累積演算手段、 85 動き画素減算手段、 86 フレーム平均ノイズ画素数算出手段、 101 入力端子、 102 入力信号処理手段、 103 表示処理手段、 104 表示手段。

Claims (12)

  1. 映像信号のフレーム間における相関からフレーム間で相関のないノイズ成分を除去する3次元ノイズ除去装置であって、
    入力映像信号もしくはノイズ除去装置の出力であるノイズが除去された映像信号をフレーム単位で遅延させるフレーム遅延手段と、
    入力フレームの映像信号と、上記フレーム遅延手段によりフレーム遅延された映像信号とが入力され、そのフレーム間の信号の差分を求め、フレーム差分を出力するフレーム差分検出手段と、
    上記フレーム差分から、該フレーム差分に含まれる映像信号の動きを検出し、その動きに相当する差分を示す動き差分信号を出力する動き差分検出手段と、
    上記フレーム差分と上記動き差分信号から、フレーム差分における動き分を除いて、上記フレーム差分に含まれる映像信号でのノイズ成分のみを抽出して、フレーム内に含まれたノイズ成分の程度を示すフレームノイズ抽出結果をフレーム単位で出力するフレームノイズ抽出手段と、
    上記フレームノイズ抽出結果を映像信号のフレーム内におけるノイズ量を示す値へ変換し、映像信号中におけるノイズ量として検出し、出力するノイズ量変換手段と、
    上記ノイズ量に応じて、ノイズ除去の強さを制御するための制御信号を生成するノイズ除去処理制御手段と、
    上記制御信号に応じてノイズ除去の強さを決めるための係数を変化させることで、ノイズ除去処理を行うノイズ除去手段と
    を備えたこと特徴とするノイズ除去装置。
  2. 上記フレーム差分検出手段は、
    現フレームの映像信号と、上記フレーム遅延手段によりフレーム遅延された映像信号とが入力され、そのフレーム間の信号の差分を演算し出力する差分演算手段と、
    上記差分演算手段からの差分の絶対値を求め、差分絶対値を出力する絶対値演算手段と、
    上記絶対値演算手段の出力に対し、予め設定された値を乗算および減算することによる非線形変換を行い、非線形変換された差分信号を出力する差分感度変換手段と
    を備え、上記絶対値手段から出力された上記差分絶対値および上記差分感度変換手段から出力された上記差分信号を、上記フレーム差分として出力することを特徴とする請求項1に記載のノイズ除去装置。
  3. 上記動き差分検出手段は、
    上記フレーム差分検出手段からのフレーム差分に対し、予め設定された値を乗算および減算することによる非線形変換を行い、非線形変換された差分信号を出力する動き感度変換手段と、
    上記動き感度変換手段からの上記差分信号により、上記差分信号の値を補正して動きの差分値を示す信号を生成する動き差分値生成手段とを備え、
    上記動き差分値生成手段により生成された信号を、フレーム差分に含まれる動きに相当する値を示す動き差分信号として出力することを特徴とする請求項1に記載のノイズ除去装置。
  4. 上記フレームノイズ抽出手段は、
    上記フレーム差分検出手段からの上記フレーム差分から、上記動き差分検出手段からの上記動き差分信号を減算し、フレーム差分における動き分を除いたノイズ差分信号として出力する動き減算手段と、
    映像信号の注目フレーム内における所定の領域又はすべての領域の画素に対し、上記動き減算手段からの上記ノイズ差分信号で示される値を累積し、フレームごとの累積結果をノイズ差分累積値として出力するノイズ差分累積演算手段と、
    上記ノイズ差分累積演算手段からの上記ノイズ差分累積値を複数フレーム分得て、複数フレームでのノイズ差分累積値における平均値を算出し、平均ノイズ差分累積値として出力するフレーム平均累積値算出手段とを備え、
    上記フレーム平均累積値算出手段から出力された平均ノイズ差分累積値を、フレーム内に含まれたノイズ成分を示すフレームノイズ抽出結果として出力することを特徴とする請求項1から請求項3までのいずれかに記載のノイズ除去装置。
  5. 上記フレームノイズ抽出手段は、
    上記フレーム差分検出手段からのフレーム差分を所定値と比較し、各画素が差分成分を持つか否かを判定して、この判定結果に基づく差分画素を示す信号を出力する差分比較手段と、
    上記差分比較手段からの差分画素を示す信号に基づき、映像信号の注目フレーム内の所定の領域又はすべての領域における画素に対し、差分成分を持つと判定される画素の数を累積し、フレーム毎の差分画素の累積結果を差分画素累積値として出力する差分画素累積演算手段と、
    上記動き差分検出手段からの動き差分信号を所定値と比較し、各画素が動きに相当する差分成分を持つか否かを判定して、この判定結果に基づく動き画素を示す信号を出力する動き差分比較手段と、
    上記動き差分比較手段からの動き画素を示す信号に基づき、映像信号の注目フレーム内の所定の領域又はすべての領域における画素に対し、動きを持つと判定される画素の数を累積し、フレーム毎の動き画素の累積結果を動き画素累積値として出力する動き画素累積演算手段と、
    上記差分画素累積演算手段からの差分画素累積値から、上記動き画素累積演算手からの動き画素累積値を減算し、減算結果をフレーム差分における動き分を除いたノイズのみの差分を持つ画素の数を示すノイズ画素累積値として出力する動き画素減算手段と、
    上記動き画素減算手段からのノイズ画素累積値を複数フレーム分得て、複数フレームでのノイズ画素累積値における平均値を算出し、平均ノイズ画素累積値として出力するフレーム平均ノイズ画素数算出手段とを備え、
    上記フレーム平均ノイズ画素数算出手段から出力された平均ノイズ画素累積値を、フレーム内に含まれたノイズ成分を示すフレームノイズ抽出結果として出力することを特徴とする請求項1から請求項3までのいずれかに記載のノイズ除去装置。
  6. 上記ノイズ量変換手段は、
    上記フレームノイズ抽出手段からのフレームノイズ抽出結果が入力されており、
    上記フレームノイズ抽出結果に対し、予め設定された値を乗算および減算し、その演算結果を所定の値内に制限することによる非線形変換を行い、非線形変換された値を映像信号中におけるノイズ量として検出し、出力することを特徴とする特徴とする請求項1に記載のノイズ除去装置。
  7. 上記ノイズ除去処理制御手段は、
    上記ノイズ量変換手段からのノイズ量に基づき、上記ノイズ量の大きさに応じて変化し、ノイズ除去効果の強さのレベルを示す信号を制御信号として出力し、
    上記ノイズ除去手段は、
    フレーム差分に含まれる映像信号の動きを検出し、その動きの度合いを示す動き動き度合い信号を出力する動き検出手段と、
    上記動き度合い信号に応じて変化し、ノイズ除去の強さを決めるノイズの除去の係数を求めるとともに、上記ノイズ除去処理制御手段からの制御信号により、上記制御信号によって示される映像信号内のノイズ量が多いほど、ノイズ除去効果が強くなるように、上記係数を制御する係数発生手段を備え、
    上記制御信号に応じて調整された係数によりノイズ除去を行うことを特徴とする請求項1に記載のノイズ除去装置。
  8. 上記ノイズ除去手段における係数発生手段は、
    上記係数が0から1までの範囲の値を取るものであり、
    上記制御信号によって表される映像信号内のノイズ量が最大レベルのときに、上記係数が「1」とされ、
    上記制御信号によって表される映像信号内のノイズ量が最小レベルのときに、上記係数が「0」とされる
    ことを特徴とする請求項7に記載のノイズ除去装置。
  9. 上記ノイズ除去手段における係数発生手段は、
    ノイズの除去の係数の変化する傾きを設定するための値を設定する傾き設定手段と、
    係数の最大値を設定する係数最大値設定手段と、
    上記動き検出手段からの動き度合い信号と上記傾き設定手段からの値とにより、係数を求め出力する係数算出手段と、
    上記係数算出手段からの係数に対し、上記係数最大値設定手段からの最大値までに値を制限した係数を出力する係数制限手段と、
    上記ノイズ除去処理制御手段からの制御信号により、上記係数制限手段からの係数に対し、上記制御信号に対応して変化する所定の倍率を乗算し、その演算結果を所定の範囲内に制限することによる変換を行い、変換後の係数を出力するノイズ量係数制限手段と
    を備えたことを特徴とする請求項7又は請求項8に記載のノイズ除去装置。
  10. 上記ノイズ除去手段における係数発生手段は、
    上記ノイズ除去処理制御手段からの制御信号により、上記制御信号に応じて変化し、ノイズの除去の係数の変化する傾きを設定するための値を設定する傾き設定手段と、
    上記ノイズ除去処理制御手段からの制御信号により、上記制御信号に応じて変化し、係数の最大値を設定する係数最大値設定手段と、
    上記動き検出手段からの動き度合い信号と上記傾き設定手段からの値とにより、係数を求め出力する係数算出手段と、
    上記係数算出手段からの係数に対し、上記係数最大値設定手段からの最大値までに値を制限した係数を出力する係数制限手段と
    を備えたことを特徴とする請求項7又は請求項8に記載のノイズ除去装置。
  11. 映像信号のフレーム間における相関からフレーム間で相関のないノイズ成分を除去する3次元ノイズ除去方法であって、
    入力映像信号もしくはノイズ除去後の映像信号をフレーム単位で遅延させるフレーム遅延ステップと、
    入力フレームの映像信号と、フレーム遅延された映像信号とのフレーム間の信号の差分を求め、フレーム差分を出力するフレーム差分検出ステップと、
    上記フレーム差分から、該フレーム差分に含まれる映像信号の動きを検出し、その動きに相当する差分を示す動き差分信号を出力する動き差分検出ステップと、
    上記フレーム差分と上記動き差分信号から、フレーム差分における動き分を除いて、上記フレーム差分に含まれる映像信号でのノイズ成分のみを抽出して、フレーム内に含まれたノイズ成分の程度を示すフレームノイズ抽出結果をフレーム単位で出力するフレームノイズ抽出ステップと、
    上記フレームノイズ抽出結果を映像信号のフレーム内におけるノイズ量を示す値へ変換し、映像信号中におけるノイズ量として検出し、出力するノイズ量変換ステップと、
    上記ノイズ量に応じて、ノイズ除去の強さを制御するための制御信号を生成するノイズ除去処理制御ステップと、
    上記制御信号に基づき、上記制御信号に応じてノイズ除去の強さを決めるための係数を変化させることで、ノイズ除去処理を行うノイズ除去ステップと
    を備えたこと特徴とするノイズ除去方法。
  12. 請求項1から10までのいずれか1項記載のノイズ除去装置と、
    映像を表示する表示手段と、
    上記ノイズ除去装置から出力されたノイズの除去された映像信号に基づく映像を、上記表示手段に表示させる表示処理手段と
    を備えたことを特徴とする映像信号表示装置。
JP2006336602A 2006-12-14 2006-12-14 ノイズ除去装置、ノイズ除去方法、および映像信号表示装置 Expired - Fee Related JP4679501B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006336602A JP4679501B2 (ja) 2006-12-14 2006-12-14 ノイズ除去装置、ノイズ除去方法、および映像信号表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006336602A JP4679501B2 (ja) 2006-12-14 2006-12-14 ノイズ除去装置、ノイズ除去方法、および映像信号表示装置

Publications (2)

Publication Number Publication Date
JP2008153726A JP2008153726A (ja) 2008-07-03
JP4679501B2 true JP4679501B2 (ja) 2011-04-27

Family

ID=39655488

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006336602A Expired - Fee Related JP4679501B2 (ja) 2006-12-14 2006-12-14 ノイズ除去装置、ノイズ除去方法、および映像信号表示装置

Country Status (1)

Country Link
JP (1) JP4679501B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5328809B2 (ja) * 2008-12-22 2013-10-30 パナソニック株式会社 画像ノイズ除去装置及び方法
JP5143038B2 (ja) * 2009-02-02 2013-02-13 オリンパス株式会社 画像処理装置及び画像処理方法
KR101984173B1 (ko) * 2012-03-14 2019-06-03 한화에어로스페이스 주식회사 비디오의 잡음 제거 방법 및 장치
JP6407686B2 (ja) * 2014-12-01 2018-10-17 キヤノンメディカルシステムズ株式会社 ノイズ低減回路

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000134510A (ja) * 1998-10-22 2000-05-12 Matsushita Electric Ind Co Ltd 映像信号のノイズ除去回路
JP2002325187A (ja) * 2001-04-25 2002-11-08 Sharp Corp ノイズ除去装置
JP2005229166A (ja) * 2004-02-10 2005-08-25 Matsushita Electric Ind Co Ltd 映像信号のノイズ量測定装置および測定方法
JP2005347821A (ja) * 2004-05-31 2005-12-15 Toshiba Corp ノイズ除去装置及び画像表示装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09284608A (ja) * 1996-04-10 1997-10-31 Fujitsu Ten Ltd 映像信号処理回路

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000134510A (ja) * 1998-10-22 2000-05-12 Matsushita Electric Ind Co Ltd 映像信号のノイズ除去回路
JP2002325187A (ja) * 2001-04-25 2002-11-08 Sharp Corp ノイズ除去装置
JP2005229166A (ja) * 2004-02-10 2005-08-25 Matsushita Electric Ind Co Ltd 映像信号のノイズ量測定装置および測定方法
JP2005347821A (ja) * 2004-05-31 2005-12-15 Toshiba Corp ノイズ除去装置及び画像表示装置

Also Published As

Publication number Publication date
JP2008153726A (ja) 2008-07-03

Similar Documents

Publication Publication Date Title
US8218083B2 (en) Noise reducer, noise reducing method, and video signal display apparatus that distinguishes between motion and noise
JP4280614B2 (ja) ノイズ低減回路及び方法
JP5062968B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
US9185431B2 (en) Motion detection device and method, video signal processing device and method and video display device
US7995146B2 (en) Image processing apparatus and image processing method
US8988562B2 (en) Image processing apparatus and image processing method
JP4358283B1 (ja) ノイズ低減装置及びノイズ低減方法
JP2001204045A (ja) 動き検出装置
US8503814B2 (en) Method and apparatus for spectrum estimation
WO2006016454A1 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
JP4679501B2 (ja) ノイズ除去装置、ノイズ除去方法、および映像信号表示装置
JP5178579B2 (ja) 画像処理装置
US8265414B2 (en) Image processing device and method and program
JP5178477B2 (ja) 映像信号処理装置及び方法、並びに映像表示装置
JP5084804B2 (ja) ノイズ除去装置、ノイズ除去方法、および映像信号表示装置
US20100277647A1 (en) Noise detection method and image processing method using the noise detection method
KR100698266B1 (ko) 3차원 디인터레이싱 장치 및 그 방법
JP2010124257A (ja) 映像処理装置、映像表示装置、及びフレームレート変換方法
JP2009232402A (ja) ノイズ低減回路及び方法
JP5235807B2 (ja) ノイズ除去装置
JP3781590B2 (ja) ノイズ低減信号処理装置
JP4679372B2 (ja) 映像ノイズ削減処理装置及び映像表示装置
JP2006121568A (ja) 画像処理装置及び画像処理方法
JP5057964B2 (ja) 映像信号処理装置、映像信号処理方法、及び映像信号表示装置
JP5257291B2 (ja) 映像信号処理装置、ドット妨害検出方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110201

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110201

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140210

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees