JP3979933B2 - Noise removing apparatus and noise removing method - Google Patents

Description

【００１４】
動画部分（動き部分）の残像は、一般に、隣接位置同士に強い相関があるので、ある特定の周波数領域に集中して表れる。つまり、振幅の大きな周波数領域上のデータとして表れる。一方、ノイズ成分は隣接位置同士には相関がないので、全ての周波数領域に対して平均化されて振幅が小さい周波数領域上のデータとして表れる。従って、（４×２）次のアダマール変換処理により周波数領域のデータに変換された（４×２）個の領域フレーム差分信号の振幅値の大小を判定することにより、動画部分（動き部分）の残像とノイズ成分とを分別することができる。かかるアダマール変換処理が施された（４×２）個の領域フレーム差分信号は、非線形処理回路２７に入力される。
【００１５】
図１５に示すごとき非線形特性（例えば、範囲（−ＴＨ〜＋ＴＨ）内の振幅レベルの入力信号に対してのみ正弦曲線に応じた振幅の出力信号を出力し、範囲（−ＴＨ〜＋ＴＨ）を超える入力信号に対しては一切出力信号を出力しない非線形特性）を用いて入力信号に対して非線形処理を行なう非線形処理回路２７においては、動画部分（動き部分）の残像における周波数領域の振幅が閾値（−ＴＨ，＋ＴＨ）を超える大きな振幅となるように閾値（−ＴＨ，＋ＴＨ）を設定することにより、入力されてくるアダマール変換後の（４×２）個の領域フレーム差分信号に対して、振幅の大きな動画部分（動き部分）の残像が除去されて、振幅が小さいノイズ成分のみからなる非線形信号を出力させることができる。
【００１６】
かくのごとく、アダマール変換処理を施すことにより、図１３に示したノイズ除去装置１０の場合よりも、動画部分（動き部分）の残像とノイズ成分との判別が容易となり、ノイズ成分を抽出し易くなる。ここで、非線形処理回路２７から出力される非線形信号即ち非線形処理回路２７により抽出されたノイズ成分は、周波数領域の信号であるので、アダマール逆変換回路２８において、アダマール逆変換を施して実空間領域上のノイズ成分の信号に復元し、しかる後に、第２の減算回路２３において、入力端子２１からの入力映像信号から該ノイズ成分を減じることにより、ノイズ成分が含まれていない出力映像信号を得ることができる。
【００１７】
かくのごとくノイズ成分が除去された出力映像信号を出力端子２９から出力すると共に、フレームメモリ２４に一旦記憶して、１フレーム遅延させることにより、次フレームの入力映像信号とのフレーム差分信号を算出するために備える。即ち、図１４に示すノイズ除去装置２０によれば、ノイズ成分を抽出するための非線形処理を行なうに当たって、アダマール変換を施し、一旦周波数領域の信号を得ることにより、動画部分に対しても、ノイズ成分を除去した出力映像信号を出力することができる。
【００１８】
しかし、アダマール変換を用いたノイズ除去装置２０においても、完全には、動画部分（動き部分）の残像とノイズ成分との区別がつかないため、前述した（ｍ×ｎ）個の入力領域の平均値又は分散検出を用いて、非線形処理を制御することにより、動画部分（動き部分）の残像を低減させ、ノイズ成分をより多く抽出することができる技術も開示されている（例えば、特許文献２を参照のこと）。
【００１９】
【特許文献１】
特開平７−１７７３９１号公報（第５頁−第６頁、図１）
【特許文献２】
特開平７−１４３３６３号公報（第３頁―第４頁、図１）
【非特許文献１】
海老原 他，「アダマール変換を用いたテレビジョン信号のノイズリデューサ」，テレビジョン学会誌，Ｖｏｌ．３７，
Ｎｏ．１２（１９８３），ｐ．１０３０〜１０３６
【００２０】
【発明が解決しようとする課題】
前述したように、図１３に示したノイズ除去装置１０や図１４に示したアダマール変換を用いたノイズ除去装置２０においては、いずれにしても非線形処理を施すことによりノイズ除去量を決定しているため、ノイズ成分と動き成分との信号レベル差が小さい場合には、完全には動画部分（動き部分）の残像とノイズ成分とを区別することができず、特に、フェードイン映像、フェードアウト映像や微細なグラデーション部分が動いた時、あるいは、ぼけたエッジ部分が動いた時、かかる動き成分も含めてノイズ成分として入力映像信号から除去してしまって、反って動画部分（動き部分）に残像を発生させる等の問題を有していた。
【００２１】
更に、前述の特許文献２に記載されている従来例においては、入力領域の平均値や分散検出を用いて動き量の検出を行なっているものの、ノイズ成分と動き成分のレベル差が小さい場合には、やはり正確に動画部分（動き部分）の残像とノイズ成分との区別はできないため、図１３や図１４のノイズ除去装置の場合と同様の問題点を有している。
【００２２】
本発明は、かかる状況に鑑みてなされたものであり、直交変換のみならず、切り出した領域におけるフレーム差分信号の符号情報あるいはフレーム差分信号の差分傾き情報を抽出する手段、あるいは、予め定められた領域毎に切り出されたフレーム差分信号（領域フレーム差分信号）の直交変換後の非線形処理により抽出されたノイズ成分の候補と切り出された前記フレーム差分信号とから除去すべきノイズ成分を判定する手段のいずれかの手段を備えたノイズ除去手段を提供することにより、従来技術のごとく直交変換（例えばアダマール変換）のみを用いたノイズ除去装置においてもなお問題として存在しているフェードイン映像やフェードアウト映像の残像、あるいは、微細なグラデーション部分が動いた時の残像、あるいは、ぼけたエッジ部分が動いた時の残像の発生を抑止し、ノイズ成分を含まない映像信号を出力可能とするノイズ除去装置及びノイズ除去方法を提供せんとするものである。
【００２３】
【課題を解決するための手段】
第１の発明は、当該ノイズ除去装置から出力される出力映像信号を１フレーム期間遅延させたフレーム遅延信号として出力するフレーム遅延信号生成手段と、当該ノイズ除去装置に入力されてくる入力映像信号から前記フレーム遅延信号を減算し、フレーム差分信号を出力する第１の減算手段と、前記フレーム差分信号と該フレーム差分信号を予め指定されている任意の（ｎ−１）ラインまでそれぞれ水平走査期間垂直方向に遅延させて得られるｎライン分の各信号のそれぞれについて、各水平位置から水平方向に予め定められた任意のｍ個の画素を切り出し、切り出された（ｍ×ｎ）個の領域の前記フレーム差分信号である領域フレーム差分信号を切り出して出力する直列・並列切り出し手段と、（ｍ×ｎ）個の前記領域フレーム差分信号に対して直交変換を施し、複数の周波数成分にそれぞれ分解して周波数領域上の直交変換信号として出力する直交変換手段と、前記直交変換手段からの各前記直交変換信号に適した非線形処理を施し、非線形信号として出力する非線形処理手段と、前記直交変換手段に対する逆変換である直交逆変換処理を、前記非線形処理手段からの出力信号である前記非線形信号に対して施して、周波数領域上の前記非線形信号から元の実空間領域上の非線形信号に復元させる直交逆変換手段と、前記直列・並列切り出し手段からの出力信号である（ｍ×ｎ）個の前記領域フレーム差分信号のそれぞれからフレーム間の差分値の符号情報を抽出し、抽出された（ｍ×ｎ）個の前記符号情報に基づいて生成されるフレーム差分符号情報を出力するフレーム差分符号情報抽出手段と、前記フレーム差分符号情報抽出手段からの出力信号である前記フレーム差分符号情報と、前記直交逆変換手段からの出力信号である実空間領域上の前記非線形信号との演算結果をノイズ成分として出力する演算手段と、前記入力映像信号から、前記演算手段からの出力信号である前記ノイズ成分を減算して、前記出力映像記号として出力する第２の減算手段と、を具備しているノイズ除去装置とすることを特徴とするものである。
【００２４】
第２の発明は、前記第１の発明に記載のノイズ除去装置において、前記フレーム差分符号情報抽出手段において生成される前記フレーム差分符号情報が、抽出された（ｍ×ｎ）個の前記領域フレーム差分信号それぞれの前記符号情報が全て同一の符号に揃っているか否かを示す情報、あるいは、抽出された（ｍ×ｎ）個の前記領域フレーム差分信号それぞれの前記符号情報に対する予め定められた正符号と負符号との比率に基づいて生成される情報であるノイズ除去装置とすることを特徴とするものである。
【００２５】
第３の発明は、前記第１又は第２の発明に記載のノイズ除去装置において、前記フレーム差分符号情報抽出手段からの出力信号である前記フレーム差分符号情報を予め定められた任意の画素数分までそれぞれ水平方向に遅延させることにより水平方向に任意の前記画素数分の各前記フレーム差分符号情報を切り出すと共に、更に、予め定められた任意のライン数分までそれぞれ水平走査期間垂直方向に遅延させることにより垂直方向に任意の前記ライン数の各画素に対応する各前記フレーム差分符号情報を切り出し、前記フレーム差分符号情報抽出手段からの出力信号である前記フレーム差分符号情報と切り出された任意の前記画素数分の各前記フレーム差分符号情報と任意の前記ライン数の各画素に対応する各前記フレーム差分符号情報とを演算することにより、平滑化された前記フレーム差分符号情報を平滑化フレーム差分符号情報として生成して出力する平滑化手段を具備し、前記演算手段において、前記ノイズ成分を出力するために、前記直交逆変換手段からの出力信号である実空間領域上の前記非線形信号との演算結果を求める一方の演算変数として、前記フレーム差分符号情報抽出手段からの出力信号である前記フレーム差分符号情報の代わりに、前記平滑化手段からの出力信号である前記平滑化フレーム差分符号情報を用いているノイズ除去装置とすることを特徴とするものである。
【００２６】
第４の発明は、前記第３の発明に記載のノイズ除去装置において、前記平滑化手段からの出力信号である前記平滑化フレーム差分符号情報と予め指定されている基準帰還量とを乗算することにより、帰還係数を算出する帰還係数演算手段を具備し、前記演算手段において、前記直交逆変換手段からの出力信号である実空間領域上の前記非線形信号との演算結果を求める一方の演算変数として、前記平滑化手段からの出力信号である前記平滑化フレーム差分符号情報の代わりに、前記帰還係数演算手段からの出力信号である前記帰還係数を用いているノイズ除去装置とすることを特徴とするものである。
【００２７】
第５の発明は、当該ノイズ除去装置から出力される出力映像信号を１フレーム期間遅延させたフレーム遅延信号として出力するフレーム遅延信号生成手段と、当該ノイズ除去装置に入力されてくる入力映像信号から前記フレーム遅延信号を減算し、フレーム差分信号を出力する第１の減算手段と、前記フレーム差分信号と該フレーム差分信号を予め指定されている任意の（ｎ−１）ラインまでそれぞれ水平走査期間垂直方向に遅延させて得られるｎライン分の各信号のそれぞれについて、各水平位置から水平方向に予め定められた任意のｍ個の画素を切り出し、（ｍ×ｎ）個の領域の前記フレーム差分信号である第１の領域フレーム差分信号を切り出して出力する第１の直列・並列切り出し手段と、前記第１の直列・並列切り出し手段により切り出された（ｍ×ｎ）個の前記第１の領域フレーム差分信号に対して直交変換を施し、複数の周波数成分にそれぞれ分解して周波数領域上の直交変換信号として出力する直交変換手段と、前記直交変換手段からの各前記直交変換信号に適した非線形処理を施し、非線形信号として出力する非線形処理手段と、前記直交変換手段に対する逆変換である直交逆変換処理を、前記非線形処理手段からの出力信号である前記非線形信号に対して施して、周波数領域上の前記非線形信号から元の実空間領域上の非線形信号に復元させる直交逆変換手段と、前記第１の減算手段からの出力信号である前記フレーム差分信号と該フレーム差分信号を予め指定されている任意の（ｙ−１）ラインまでそれぞれ水平走査期間垂直方向に遅延させて得られるｙライン分の各信号のそれぞれについて、各水平位置から水平方向に予め定められた任意のｘ個の画素を切り出し、（ｘ×ｙ）個の領域のフレーム差分信号である第２の領域フレーム差分信号を切り出して出力する第２の直列・並列切り出し手段と、前記第２の直列・並列切り出し手段により切り出された（ｘ×ｙ）個の前記第２の領域フレーム差分信号のそれぞれ隣接する画素位置間の差分を算出することにより、前記第２の領域フレーム差分信号の傾き情報を抽出して、フレーム差分傾き情報として出力するフレーム差分傾き情報抽出手段と、前記フレーム差分傾き情報抽出手段からの出力信号である前記フレーム差分傾き情報と、前記直交逆変換手段からの出力信号である実空間領域上の前記非線形信号との演算結果をノイズ成分として出力する演算手段と、前記入力映像信号から、前記演算手段からの出力信号である前記ノイズ成分を減算して、前記出力映像信号を出力する第２の減算手段と、を具備しているノイズ除去装置とすることを特徴とするものである。
【００２８】
第６の発明は、前記第５の発明に記載のノイズ除去装置において、前記フレーム差分傾き情報抽出手段において出力される前記フレーム差分傾き情報が、抽出された（ｘ×ｙ）個の前記第２の領域フレーム差分信号のそれぞれ隣接する画素位置間の差分演算により得られた符号情報として、予め定められた閾値以上、同一符号が揃っているか否かを示す情報に基づいて、前記第２の領域フレーム差分信号の傾きの有無が決定される傾き情報であるノイズ除去装置とすることを特徴とするものである。
【００２９】
第７の発明は、前記第５又は第６の発明に記載のノイズ除去装置において、前記フレーム差分傾き情報抽出手段からの出力信号である前記フレーム差分傾き情報を予め定められた任意の画素数分までそれぞれ水平方向に遅延させることにより水平方向に任意の前記画素数分の各前記フレーム差分傾き情報を切り出すと共に、更に、予め定められた任意のライン数分までそれぞれ水平走査期間垂直方向に遅延させることにより垂直方向に任意の前記ライン数の各画素に対応する各前記フレーム差分傾き情報を切り出し、前記フレーム差分傾き情報抽出手段からの出力信号である前記フレーム差分傾き情報と切り出された任意の前記画素数分の各前記フレーム差分傾き情報と任意の前記ライン数の各画素に対応する各前記フレーム差分傾き情報とを演算することにより、平滑化された前記フレーム差分傾き情報を平滑化フレーム差分傾き情報として生成して出力する平滑化手段を具備し、前記演算手段において、前記ノイズ成分を出力するために、前記直交逆変換手段からの出力信号である実空間領域上の前記非線形信号との演算結果を求める一方の演算変数として、前記フレーム差分傾き情報抽出手段からの出力信号である前記フレーム差分傾き情報の代わりに、前記平滑化手段からの出力信号である前記平滑化フレーム差分傾き情報を用いているノイズ除去装置とすることを特徴とするものである。
【００３０】
第８の発明は、前記第７の発明に記載のノイズ除去装置において、前記平滑化手段からの出力信号である前記平滑化フレーム差分傾き情報と予め指定されている基準帰還量とを乗算することにより、帰還係数を算出する帰還係数演算手段を具備し、前記演算手段において、前記直交逆変換手段からの出力信号である実空間領域上の前記非線形信号との演算結果を求める一方の演算変数として、前記平滑化手段からの出力信号である前記平滑化フレーム差分傾き情報の代わりに、前記帰還係数演算手段からの出力信号である前記帰還係数を用いているノイズ除去装置とすることを特徴とするものである。
【００３１】
第９の発明は当該ノイズ除去装置から出力される出力映像信号を１フレーム期間遅延させたフレーム遅延信号として出力するフレーム遅延信号生成手段と、当該ノイズ除去装置に入力されてくる入力映像信号から前記フレーム遅延信号を減算し、フレーム差分信号を出力する第１の減算手段と、前記フレーム差分信号と該フレーム差分信号を予め指定されている任意の（ｎ−１）ラインまでそれぞれ水平走査期間垂直方向に遅延させて得られるｎライン分の各信号のそれぞれについて、各水平位置から水平方向に予め定められた任意のｍ個の画素を切り出し、切り出された（ｍ×ｎ）個の領域の前記フレーム差分信号である領域フレーム差分信号を切り出して出力する直列・並列切り出し手段と、（ｍ×ｎ）個の前記領域フレーム差分信号に対して直交変換を施し、複数の周波数成分にそれぞれ分解して周波数領域上の直交変換信号として出力する直交変換手段と、前記直交変換手段からの各前記直交変換信号に適した非線形処理を施し、非線形信号として出力する非線形処理手段と、前記直交変換手段に対する逆変換である直交逆変換処理を、前記非線形処理手段からの出力信号である前記非線形信号に対して施して、周波数領域上の前記非線形信号から元の実空間領域上の非線形信号に復元させる直交逆変換手段と、前記直列・並列切り出し手段からの出力信号である前記領域フレーム差分信号のうち、前記直交逆変換手段からの出力信号である実空間領域上の前記非線形信号として抽出された部分に該当する位置にある前記領域フレーム差分信号が予め定められた閾値よりも小さいか否かを示す情報、あるいは、前記領域フレーム差分信号のフレーム間の差分が示す符号情報、あるいは、前記領域フレーム差分信号の画素間の差分を示す傾き情報、あるいは、前記直交変換手段からの出力信号である前記直交変換信号の周波数分布のいずれか１乃至複数を用いて生成されるノイズ判定信号を出力するノイズ判定手段と、前記ノイズ判定手段からの出力信号である前記ノイズ判定信号と前記直交逆変換手段からの出力信号である実空間領域上の前記非線形信号との演算結果をノイズ成分として出力する演算手段と、前記入力映像信号から、前記演算手段からの出力信号である前記ノイズ成分を減算して、前記出力映像信号として出力する第２の減算手段と、を具備していることを特徴とするものである。
【００３３】
第１０の発明は、前記第９に記載のノイズ除去装置において、前記ノイズ判定手段からの出力信号である前記ノイズ判定信号を１フレーム期間遅延させて、遅延ノイズ判定信号として出力する遅延ノイズ判定信号生成手段と、前記ノイズ判定手段からの出力信号である前記ノイズ判定信号と前記遅延ノイズ判定信号生成手段からの出力信号である前記遅延ノイズ判定信号との論理演算処理を施すことにより、フレーム間の同一画素位置に連続してノイズ成分が存在しているか否かを検知して、フレーム間ノイズ情報として出力する論理演算手段とを具備し、前記演算手段において、前記ノイズ成分を出力するために、前記直交逆変換手段からの出力信号である実空間領域上の前記非線形信号との演算結果を求める一方の演算変数として、前記ノイズ判定手段からの出力信号である前記ノイズ判定信号の代わりに、前記論理演算手段からの出力信号である前記フレーム間ノイズ情報を用いているノイズ除去装置とすることを特徴とするものである。
【００３４】
第１１の発明は、前記第１０の発明に記載のノイズ除去装置において、前記論理演算手段からの出力信号である前記フレーム間ノイズ情報と予め指定されている基準帰還量とを乗算することにより、帰還係数を算出する帰還係数演算手段を具備し、前記演算手段において、前記直交逆変換手段からの出力信号である実空間領域上の前記非線形信号との演算結果を求める一方の演算変数として、前記論理演算手段からの出力信号である前記フレーム間ノイズ情報の代わりに、前記帰還係数演算手段からの出力信号である前記帰還係数を用いているノイズ除去装置とすることを特徴とするものである。
【００３５】
第１２の発明は、入力映像信号から出力映像信号を１フレーム期間遅延させたフレーム遅延信号を減算して得られたフレーム差分信号から、予め指定されている任意の（ｎ−１）ラインまでそれぞれ水平走査期間垂直方向に遅延させたｎライン分の各信号のそれぞれについて、各水平位置から水平方向に予め定められた任意のｍ個の画素を切り出し、切り出された（ｍ×ｎ）個の領域のフレーム差分信号である領域フレーム差分信号に対して直交変換処理を施して得られた、複数の周波数成分にそれぞれ分解した周波数領域上の直交変換信号に、非線形処理を施して、非線形信号として出力し、前記直交変換処理に対する逆変換である直交逆変換処理を前記非線形信号に対して施すことにより元の実空間領域上の非線形信号に復元させると共に、切り出された（ｍ×ｎ）個の前記領域フレーム差分信号のそれぞれからフレーム間の差分値の符号情報を抽出し、抽出された（ｍ×ｎ）個の前記符号情報に基づいて生成されるフレーム差分符号情報と、実空間領域上の前記非線形信号との演算結果をノイズ成分として出力して、前記入力映像信号から前記ノイズ成分を減算して、前記出力映像信号として出力するノイズ除去方法とすることを特徴とするものである。
【００３６】
第１３の発明は、前記第１２の発明に記載のノイズ除去方法において、入力されてくる前記フレーム差分符号情報を予め定められた任意の画素数分までそれぞれ水平方向に遅延させることにより水平方向に任意の前記画素数分の各前記フレーム差分符号情報を切り出すと共に、更に、予め定められた任意のライン数分までそれぞれ水平走査期間垂直方向に遅延させることにより垂直方向に任意の前記ライン数の各画素に対応する各前記フレーム差分符号情報を切り出し、入力されてきた前記フレーム差分符号情報と切り出された任意の前記画素数分の各前記フレーム差分符号情報と任意の前記ライン数の各画素に対応する各前記フレーム差分符号情報とを演算することにより、平滑化された前記フレーム差分符号情報を平滑化フレーム差分符号情報として生成して、前記ノイズ成分を出力するために、実空間領域の前記非線形信号との演算結果を求める一方の演算変数として、前記フレーム差分符号情報の代わりに、前記平滑化フレーム差分符号情報を用いているノイズ除去方法とすることを特徴とするものである。
【００３７】
第１４の発明は、入力映像信号から出力映像信号を１フレーム期間遅延させたフレーム遅延信号を減算して得られたフレーム差分信号から、予め指定されている任意の（ｎ−１）ラインまでそれぞれ水平走査期間垂直方向に遅延させたｎライン分の各信号のそれぞれについて、各水平位置から水平方向に予め定められた任意のｍ個の画素を切り出し、切り出された（ｍ×ｎ）個の領域のフレーム差分信号である第１の領域フレーム差分信号に対して直交変換処理を施して得られた、複数の周波数成分にそれぞれ分解した周波数領域上の直交変換信号に、非線形処理を施して、非線形信号として出力し、前記直交変換処理に対する逆変換である直交逆変換処理を前記非線形信号に対して施すことにより元の実空間領域上の非線形信号に復元させると共に、前記フレーム差分信号から、予め指定されている任意の（ｙ−１）ラインまでそれぞれ水平走査期間垂直方向に遅延させたｙライン分の各信号のそれぞれについて、各水平位置から水平方向に予め定められた任意のｘ個の画素を切り出し、切り出された（ｘ×ｙ）個の領域のフレーム差分信号である第２の領域フレーム差分信号のそれぞれ隣接する画素位置間の差分を算出することにより、抽出される前記第２の領域フレーム差分信号の傾き情報を示すフレーム差分傾き情報と、実空間領域上の前記非線形信号との演算結果をノイズ成分として出力して、前記入力映像信号から前記ノイズ成分を減算して、前記出力映像信号として出力するノイズ除去方法とすることを特徴とするものである。
【００３８】
第１５の発明は、前記第１４の発明に記載のノイズ除去方法において、入力されてくる前記フレーム差分傾き情報を予め定められた任意の画素数分までそれぞれ水平方向に遅延させることにより水平方向に任意の前記画素数分の各前記フレーム差分傾き情報を切り出すと共に、更に、予め定められた任意のライン数分までそれぞれ水平走査期間垂直方向に遅延させることにより垂直方向に任意の前記ライン数の各画素に対応する各前記フレーム差分傾き情報を切り出し、入力されてきた前記フレーム差分傾き情報と切り出された任意の前記画素数分の各前記フレーム差分傾き情報と任意の前記ライン数の各画素に対応する各前記フレーム差分傾き情報とを演算することにより、平滑化された前記フレーム差分傾き情報を平滑化フレーム差分傾き情報として生成して、前記ノイズ成分を出力するために、実空間領域の前記非線形信号との演算結果を求める一方の演算変数として、前記フレーム差分傾き情報の代わりに、前記平滑化フレーム差分傾き情報を用いているノイズ除去方法とすることを特徴とするものである。
【００３９】
第１６の発明は、入力映像信号から出力映像信号を１フレーム期間遅延させたフレーム遅延信号を減算して得られたフレーム差分信号から、予め指定されている任意の（ｎ−１）ラインまでそれぞれ水平走査期間垂直方向に遅延させたｎライン分の各信号のそれぞれについて、各水平位置から水平方向に予め定められた任意のｍ個の画素を切り出し、切り出された（ｍ×ｎ）個の領域のフレーム差分信号である領域フレーム差分信号に対して直交変換処理を施して得られた、複数の周波数成分にそれぞれ分解した周波数領域上の直交変換信号に、非線形処理を施して、非線形信号として出力し、前記直交変換処理に対する逆変換である直交逆変換処理を前記非線形信号に対して施すことにより元の実空間領域上の非線形信号に復元させると共に、切り出された（ｍ×ｎ）個の前記領域フレーム差分信号と実空間領域上の前記非線形信号あるいは前記直交変換信号とのいずれかに基づいて、ノイズ成分の存在の有無を判定して出力されるノイズ判定信号と、前記ノイズ判定信号を１フレーム期間遅延させた遅延ノイズ判定信号と前記ノイズ判定信号との論理演算処理を施すことにより、フレーム間の同一画素位置に連続してノイズ成分が存在しているか否かを検知するフレーム間ノイズ情報を生成し、前記フレーム間ノイズ情報と実空間領域上の前記非線形信号との演算結果を、ノイズ成分として出力して、前記入力映像信号から前記ノイズ成分を減算して、前記出力映像信号として出力することを特徴とするものである。
【００４１】
而して、前記第１乃至第１６の発明のいずれかに記載の発明によれば、フェードイン映像あるいはフェードアウト映像の残像や、微細なグラデーション部分が動いた時の残像あるいはぼけたエッジ部分が動いた時の残像の発生を低減することを可能とし、あるいは、ぼけたエッジが動いた時や、フェードイン映像、フェードアウト映像の動き成分をノイズ成分と分離させて検出し、かかる動き部分の残像の発生を低減することを可能としており、もって、かかる動き部分における画質劣化を抑えると共に、更には、静止領域においても、高いノイズ除去効果を達成することができる。
【００４２】
図１に示すノイズ除去装置１００において、入力端子１０１から入力される入力映像信号は、第１の減算回路１０２と、第２の減算回路１０３とのそれぞれにおける一方の入力として供給される。ここに、第１の減算回路１０２は、図１４に示すノイズ除去装置２０の場合と同様に、当該ノイズ除去装置１００に入力されてくる入力映像信号から、当該ノイズ除去装置１００から出力される出力映像信号を１フレーム分遅延させた前記フレーム遅延信号を減算し、フレーム差分信号として出力する第１の減算手段を構成しており、また、第２の減算回路１０３は、前記入力映像信号から、当該ノイズ除去装置１００において抽出されたノイズ成分（詳細は後述する）を減算する第２の減算手段を構成している。
【００４３】
第２の減算回路１０３の出力は、図１４に示すノイズ除去装置２０の場合と同様に、出力端子１１４から次段の回路への出力映像信号として出力されると同時に、フレームメモリ１０４へ供給される。ここに、フレームメモリ１０４は、当該ノイズ除去装置１００から出力される出力映像信号を１フレーム期間遅延させたフレーム遅延信号を出力するフレーム遅延信号生成手段を構成している。
【００４４】
フレームメモリ１０４から出力される１フレーム期間遅延させたフレーム遅延信号は、第１の減算回路１０２へ供給され、入力映像信号との間で減算処理が施されて、フレーム差分信号として直列・並列変換回路１０５へ供給される。
ここに、直列・並列変換回路１０５は、フレーム差分信号と該フレーム差分信号を予め指定されている任意の（ｎ−１）ラインまでそれぞれ水平走査期間垂直方向に遅延させて得られるｎライン分の各信号のそれぞれについて、各水平位置から水平方向に予め定められた任意のｍ個の画素を切り出し、（ｍ×ｎ）個の領域のフレーム差分信号である領域フレーム差分信号を切り出して出力する直列・並列切り出し手段を構成している。
【００４５】
直列・並列変換回路１０５においては、入力されてくるフレーム差分信号に対する直並列変換処理がなされて、切り出された（ｍ×ｎ）個の領域フレーム差分信号、本実施例においては、（４×２）個の領域フレーム差分信号が出力され、直交変換回路１０６と、差分符号情報抽出回路１０９とに供給される。直交変換回路１０６に供給された（４×２）個の領域フレーム差分信号は、直交変換処理が施されて、周波数領域上の（４×２）個の領域フレーム差分信号とされて、非線形処理回路１０７へ供給される。
【００４６】
ここに、直交変換回路１０６は、（ｍ×ｎ）個例えば（４×２）個の領域フレーム差分信号に対して直交変換処理を施し、複数の周波数成分にそれぞれ分解して周波数領域上の直交変換信号として出力する直交変換手段を構成し、差分符号情報抽出回路１０９は、直列・並列変換回路１０５からの出力信号である（ｍ×ｎ）個例えば（４×２）個の前記領域フレーム差分信号のそれぞれからフレーム間の差分値の符号情報を抽出し、抽出された（ｍ×ｎ）個の前記符号情報に基づいて生成されるフレーム差分符号情報を出力するフレーム差分符号情報抽出手段を構成している。更に、非線形処理回路１０７は、直交変換回路１０６からの各直交変換信号に適した非線形処理を施し、非線形信号として出力する非線形処理手段を構成している。
【００４７】
非線形処理回路１０７においては、前述のごとく、供給されてきた周波数領域上の（４×２）個の領域フレーム差分信号に対して非線形処理が施されて、周波数領域上の非線形信号として出力される。出力された周波数領域上の非線形信号は、直交逆変換回路１０８へ供給され、直交逆変換処理が施され、元の実空間領域上の非線形信号に復元された後、乗算回路１１３の一方の入力として供給される。ここに、直交逆変換回路１０８は、直交変換回路１０６に対する逆変換である直交逆変換処理を、非線形処理回路１０７からの出力信号である前記非線形信号に対して施して、周波数領域上の前記非線形信号から元の実空間領域上の非線形信号に復元させる直交逆変換手段を構成している。
また、乗算回路１１３は、後述する差分符号情報抽出回路１０９又は平滑化回路１１０又は帰還係数演算回路１１１のいずれかの出力信号と、直交逆変換回路１０８からの出力信号である実空間領域上の非線形信号との演算結果をノイズ成分として出力する演算手段を構成しているものである。
【００４８】
一方、差分符号情報抽出回路１０９に供給された（４×２）個の領域フレーム差分信号からは各フレーム間の差分値の符号情報であるフレーム差分符号情報が抽出されて、平滑化回路１１０へ供給されて、該フレーム差分符号情報は平滑化され、平滑化信号即ち平滑化フレーム差分符号情報として帰還係数演算回路１１１に供給される。ここで、平滑化回路１１０は、差分符号情報抽出回路１０９からの出力信号であるフレーム差分符号情報を予め定められた任意の画素数分までそれぞれ水平方向に遅延させることにより水平方向に任意の前記画素数分の各前記フレーム差分符号情報を切り出すと共に、更に、予め定められた任意のライン数分までそれぞれ水平走査期間垂直方向に遅延させることにより垂直方向に任意の前記ライン数の各画素に対応する各前記フレーム差分符号情報を切り出し、差分符号情報抽出回路１０９からの出力信号である前記フレーム差分符号情報と切り出された任意の前記画素数分の各前記フレーム差分符号情報と任意の前記ライン数の各画素に対応する各前記フレーム差分符号情報とを演算することにより、平滑化された前記フレーム差分符号情報を平滑化フレーム差分符号情報として生成して出力する平滑化手段を構成している。
【００４９】
帰還係数演算回路１１１においては、供給されてくる平滑化信号即ち平滑化フレーム差分符号情報と基準帰還量Ｋ １１２とにより、平滑化された平滑化フレーム差分符号情報に対する帰還係数ｋを演算により求め、乗算回路１１３へ供給する。即ち、帰還係数演算回路１１１は、平滑化回路１１０からの出力信号である前記平滑化信号即ち平滑化フレーム差分符号情報と、予め指定されている基準帰還量Ｋ １１２と、を乗算することにより、帰還係数ｋを算出する帰還係数演算手段を構成している。なお、場合によっては、前述のごとく、乗算回路１１３へは、帰還係数ｋの代わりに、差分符号情報抽出回路１０９において抽出されたフレーム差分符号情報を直接供給することとしても良いし、あるいは、平滑化回路１１０において平滑化された平滑化信号即ち平滑化フレーム差分符号情報を供給することとしても良い。
【００５０】
前述のごとく、差分符号情報抽出回路１０９からの前記フレーム差分符号情報又は平滑化回路１１０において平滑化された前記平滑化信号即ち平滑化フレーム差分符号情報又は帰還係数演算回路１１１からの帰還係数ｋのいずれかと、直交逆変換回路１０８から入力されてくる実空間領域上の非線形信号との演算結果をノイズ成分として出力する演算手段を構成している乗算回路１１３においては、直交逆変換回路１０８から供給されてくる元の実空間領域上の非線形信号と、例えば帰還係数演算回路１１１から供給されてくる帰還係数ｋとの乗算により得られた演算結果を、ノイズ成分として、第２の減算回路１０３へ供給する。第２の減算回路１０３においては、入力端子１０１からの入力映像信号から、乗算回路１１３からの出力信号であるノイズ成分が減算されて、ノイズ成分が除去された出力映像信号として出力端子１１４から出力される。
【００５１】
以上のように構成された各構成要素は、以下のように動作している。
入力端子１０１から入力されてくる入力映像信号と、フレームメモリ１０４からの出力信号である、出力映像信号を１フレーム期間遅延したフレーム遅延信号とを、第１の減算回路１０２により減算し、フレーム差分信号を得る。該フレーム差分信号には、前述した従来技術にて説明した通り、ノイズ成分と動き成分とが含まれている。該フレーム差分信号は、直列・並列変換回路１０５へ入力される。
直列・並列変換回路１０５は、入力されてきたフレーム差分信号と例えば１水平走査期間垂直方向に遅延させた遅延ライン上の遅延フレーム差分信号との２ラインから、それぞれのラインに対して水平方向に４個の画素を切り出し、（４×２）個の画素の入力領域からなる（４×２）個の領域フレーム差分信号を出力する。
【００５２】
図２は、直列・並列変換回路１０５によりフレーム差分信号から切り出される（４×２）個の領域フレーム差分信号を説明するための模式図であり、前記フレーム差分信号と遅延フレーム差分信号のそれぞれ２ラインから、（Ｘｉ０，Ｘｉ１，Ｘｉ２，Ｘｉ３）の４つの画素ずつ（ここで、ｉ＝０及び１）、即ち、合計（４×２）個の８画素が切り出されている様子を示している。
直交変換回路１０６は、直列・並列変換回路１０５から出力される（４×２）個の画素からなる（４×２）個の領域フレーム差分信号を入力として、（４×２）次のアダマール変換を行なうことにより、実空間領域上の（４×２）個の領域フレーム差分信号を８個の周波数領域上のデータへ変換する。ここに、（４×２）次のアダマール変換としては、例えば、従来技術として説明した前記式（１）に従って直交変換処理を施す。アダマール変換により得られた８個の周波数成分（即ち、アダマール変換により直交変換された（４×２）個の領域フレーム差分信号）は、非線形処理回路１０７へ供給される。
【００５３】
非線形処理回路１０７は、本実施形態においては、例えば、図３に示すように、入力信号が（−ＴＨ〜＋ＴＨ）までの振幅の信号であれば、線形に、即ち、入力信号に比例した信号が出力され、範囲（−ＴＨ〜＋ＴＨ）を超える振幅の信号については除去されて出力されない非線形特性を備えている。ここに、図３は、本発明に係るノイズ除去装置１００における非線形処理回路１０７の非線形特性の一例を示すグラフである。また、図３の非線形特性における閾値ＴＨの値は、直交変換された（４×２）個の領域フレーム差分信号における８個の成分それぞれに最適な値（即ち、周波数領域上の各直交変換信号の振幅として、動き成分とノイズ成分との識別を可能とする閾値）が選択される。
【００５４】
また、図３に示す非線形特性は、前述の図１５に示すように、入力信号の振幅が（−ＴＨ〜＋ＴＨ）の間にある場合には、正弦曲線（又はＳ字曲線又は任意の２次曲線）で規定される振幅の出力信号となるように非線形化され、範囲（−ＴＨ〜＋ＴＨ）を超える振幅の入力信号は除去されて出力されないような非線形特性を示すものを用いることもでき、非線形処理回路１０７における非線形特性は、本実施例に限定されるものではない。いずれにしても、非線形処理回路１０７により、予め選択されている閾値−ＴＨ以下あるいは＋ＴＨ以上の振幅を有する周波数成分は動き成分と判断されて除去される。即ち、閾値ＴＨは、周波数領域の各前記直交変換信号の振幅としてノイズ成分と動き成分との識別を可能とするように予め設定されている閾値であり、該閾値ＴＨを超えているか否かにより、各前記直交変換信号に対して施される信号処理内容が変更されることになる。
【００５５】
非線形処理が施されてノイズ成分として抽出された８個の周波数成分は、直交逆変換回路１０８において、前述のアダマール変換の逆変換であるアダマール逆変換が施されて、周波数領域上のデータ（非線形信号）から元の実空間領域上のデータ（非線形信号）に復元される。
しかしながら、非線形処理回路１０７における非線形処理によるノイズ成分と動き成分との分離には、解決すべき課題として前述したごとく、限界があり、特に、フェードイン映像、フェードアウト映像や、微細なグラデーション部分が動いた映像等の微小な動き成分も誤ってノイズ成分とされて含まれてしまうため、反って動画部分に残像を発生させる原因となっている。
【００５６】
かくのごとき映像を輝度信号で考えた場合、フェードイン映像は１フレーム毎に映像全体の輝度信号は徐々に大きくなるため、前述の直列・並列変換回路１０５で切り出された（４×２）個の画素からなる領域フレーム差分信号の符号情報は正符号に揃うことになる。反対に、フェードアウト映像は１フレーム毎に映像全体の輝度信号は徐々に小さくなるため、前述の（４×２）個の画素からなる領域フレーム差分信号の符号情報は負符号に揃う。同様に、微細なグラデーション映像が動いた場合も、かかるグラデーション映像の領域の輝度信号は一定方向に大きく又は小さくなるため、その領域の符号情報は正符号又は負符号に揃うことになる。
【００５７】
かくのごとく、直列・並列変換回路１０５で切り出される（４×２）個の画素からなる領域のフレーム差分信号の符号情報を抽出することとすれば、フェードイン映像、フェードアウト映像、微細なグラデーション部分が、動いた画像部分として検出することが可能となる。
かかる符号情報を検出することを可能とするために、本発明においては、直列・並列変換回路１０５で切り出される（４×２）個の画素からなる領域フレーム差分信号のそれぞれについての符号情報であるフレーム差分符号情報を抽出するために、差分符号情報抽出回路１０９が新たに設けられている。
【００５８】
図４は、図１における差分符号情報抽出回路１０９のより詳細な内部構成の一例を示すブロック構成図であり、本発明によるノイズ除去装置１００の一実施例（第１の実施形態）においてフレーム差分信号の符号情報を抽出する差分符号情報抽出回路１０９の構成例を示す機能ブロック図である。図４において、入力端子１０９ａ_-1〜１０９ａ_-8から入力されてくる直列・並列変換回路１０５からの（４×２）個の画素からなるフレーム差分信号は、それぞれ符号判定回路１０９ｂ_-1〜１０９ｂ_-8に入力される。符号判定回路１０９ｂ_-1〜１０９ｂ_-8のそれぞれにおいては、入力されてくるそれぞれのフレーム差分信号に応じて次のように動作する。入力信号のフレーム差分信号の符号情報が正の場合は、正符号カウンタ１０９ｃに対して「１」を出力し、負符号カウンタ１０９ｄに対しては「０」を出力する。一方、入力信号のフレーム差分信号の符号情報が負の場合は、正符号カウンタ１０９ｃに対して「０」を出力し、負符号カウンタ１０９ｄに対しては「１」を出力する。更に、入力信号のフレーム差分信号が「０」の場合は、正符号カウンタ１０９ｃ及び負符号カウンタ１０９ｄに対しては、共に「０」を出力するようにする。
【００５９】
而して、正符号カウンタ１０９ｃ及び負符号カウンタ１０９ｄは、それぞれ、符号判定回路１０９ｂ_-1〜１０９ｂ_-8からの出力である正及び負の数の合計値を、それぞれ判定回路１０９ｅに対して出力する。判定回路１０９ｅにおいては、正符号カウンタ１０９ｃ及び負符号カウンタ１０９ｄの出力結果に基づいて、次のように動作する。正符号カウンタ１０９ｃの出力、又は、負符号カウンタ１０９ｄの出力のいずれか一方の出力が「０」の場合には、「０」を出力し、それ以外の場合には、「１」を出力するようにする。かくのごとく構成された差分符号情報抽出回路１０９にあっては、フレーム差分符号情報として、入力されてきた（４×２）個の画素からなる領域フレーム差分信号が、各値が全て「０」である場合を除いて、該領域フレーム差分信号の符号が、全て正又は負のいずれか一方に揃っている場合には、「０」となるフレーム差分符号情報を出力端子１０９ｆから出力し、一方、該フレーム差分信号の符号が揃っていない場合あるいは全て「０」である場合には、「１」となるフレーム差分符号情報を出力端子１０９ｆから出力する。
【００６０】
なお、図４に示す差分符号情報抽出回路１０９の前述の説明においては、一例として、入力されてくる（４×２）個の画素からなる領域フレーム差分信号の全て符号が揃った場合を検出して、フレーム差分符号情報を「０」として出力していたが、本発明においては、かかる場合のみに限定されるものではなく、入力信号である領域フレーム差分信号の（４×２）個の画素のうち、１箇所のみの信号の符号が異なっているとしても、フレーム差分符号情報を「０」として出力するように構成しても良いし、あるいは、入力信号である領域フレーム差分信号の（４×２）個の各画素の正符号と負符号との比率を、予め定められた基準比率と比較することにより、フレーム差分符号情報の出力値の「０」と「１」とを決定するように構成しても良い。即ち、差分符号情報抽出回路１０９において生成されるフレーム差分情報としては、抽出された（ｍ×ｎ）個の領域フレーム差分信号それぞれの前記符号情報が全て同一の符号に揃っているか否かを示す情報、あるいは、抽出された（ｍ×ｎ）個の領域フレーム差分信号それぞれの前記符号情報に対する予め定められた正符号と負符号との比率に基づいて生成される情報のいずれを用いても良い。
【００６１】
また、入力されてくる領域フレーム差分符号情報の領域の大きさ（例えば、（４×２）個の画素）についても、前述の図１に示す実施例における直列・並列変換回路１０５において切り出される（４×２）個の領域のみに限定されるものではなく、直列・並列変換回路１０５において如何なる大きさの領域を切り出して用いることとしても構わない。
【００６２】
差分符号情報抽出回路１０９の出力であるフレーム差分符号情報は、前述のごとく、図１に示す平滑化回路１１０へ入力される。ここで問題としている、フェードイン映像、フェードアウト映像や、あるいは、微細なグラデーション部分が動いた映像の場合、切り出された（４×２）の画素からなる１領域のみにおいて領域フレーム差分信号の各符号が揃っているということは極めて稀であり、通常、該領域の周辺部分であっても、領域フレーム差分信号の符号情報が全て揃っていて、フレーム差分符号情報が「０」となる領域が含まれている。従って、平滑化回路１１０においては、領域フレーム差分信号の各符号が揃っている領域の周辺部分の領域においても、領域フレーム差分信号の各符号が揃っているか否かを検知して、たまたま、領域フレーム差分信号の各符号が揃っている孤立した領域即ちフレーム差分符号情報が１箇所のみ「０」となる孤立点を、ノイズ成分として除去するようにしている。
【００６３】
図５は、図１における平滑化回路１１０のより詳細な内部構成の一例を示すブロック図であり、本発明によるノイズ除去装置１００の一実施例（第１の実施形態）においてフレーム差分符号情報を平滑化する平滑化回路１１０の構成例を示す機能ブロック構成図である。差分符号情報抽出回路１０９から入力端子１１０ａに入力されてくるフレーム差分符号情報は、１サンプル遅延回路１１０ｂ_-1〜１１０ｂ_-(x-1)を用いて、それぞれ水平方向に遅延させたｘ個分の水平遅延信号として生成される（即ち、切り出される）。更に、生成されたｘ個分の水平遅延信号は、１ライン遅延回路１１０ｃ_-1〜１１０ｃ_-(y-1)を用いて、それぞれ垂直方向に遅延させたｙ個分の垂直遅延信号として生成される（即ち、切り出される）。
【００６４】
各１サンプル遅延回路１１０ｂ_-1〜１１０ｂ_-(x-1)により遅延されて生成されたｘ個の水平遅延信号と各１ライン遅延回路１１０ｃ_-1〜１１０ｃ_-(y-1)により遅延されて生成されたｙ個の垂直遅延信号とは、入力されてきたフレーム差分符号情報と共に、演算回路１１０ｄに入力される。図５に示す本実施例においては、１サンプル遅延回路１１０ｂ_-1〜１１０ｂ_-2を２個、また、１ライン遅延回路１１０ｃ_-1〜１１０ｃ_-2を２個用いている場合を示している。演算回路１１０ｄにおいては、入力されてきた領域のフレーム差分符号情報のみならず周辺部分の領域も含めたフレーム差分符号情報を合計した最大値を、平滑化された平滑化フレーム差分符号情報として、出力端子１１０ｅから出力するものであり、全てのフレーム差分符号情報が「０」の場合にのみ「０」を出力端子１１０ｅから出力するように構成している。而して、平滑化回路１１０において、ノイズ成分であって、入力された領域のみにおいて領域フレーム差分信号の符号が全て揃っているような孤立した状態が存在していた場合には、かかる孤立点をノイズ成分として効果的に除去できるようにしている。
【００６５】
なお、前述した平滑化回路１１０の演算回路１１０ｄにおいては、一例として、入力されてきた領域のフレーム差分符号情報のみならず、切り出された任意の周辺部分の領域も含めてそれぞれにおいて抽出された各フレーム差分符号情報を合計した最大値を、平滑化された平滑化フレーム差分符号情報として出力するようにしているが、本発明にあっては、かかる場合のみに限定されるものではなく、平均値を出力させたり、あるいは、各フレーム差分符号情報の分布に基づいて、例えば、「０」と「１」との比率から決定するような論理回路を用いて出力値を算出させて用いることとしても良い。
【００６６】
帰還係数演算回路１１１は、平滑化回路１１０から入力されてくる平滑化された平滑化フレーム差分符号情報と、予め与えられている基準帰還量Ｋ １１２（０＜Ｋ＜１）とを乗算し、帰還係数ｋを求める。ここで、帰還係数ｋは、０≦ｋ＜１の範囲となるように、基準帰還量Ｋ １１２の値が予め設定されている。
【００６７】
乗算回路１１３は、前述した直交逆変換回路１０８においてアダマール逆変換処理により、元の実空間領域上のデータに復元された非線形信号と、例えば前述の帰還係数演算回路１１１において演算された帰還係数ｋとを乗算することにより、最終的なノイズ成分を算出する。
乗算回路１１３において算出された該ノイズ成分は、第２の減算回路１０３に供給され、入力端子１０１から入力されてくる入力映像信号から減算されることにより、入力映像信号からノイズ成分が除去されて、出力映像信号として出力端子１１４から出力されると共に、フレームメモリ１０４に一旦記憶して、１フレーム期間分遅延させることにより、次フレームの入力映像信号のフレーム差分信号を算出するために備える。
【００６８】
かかるノイズ除去装置１００の構成において、前述のフレーム差分符号情報や平滑化フレーム差分符号情報が「０」の部分、即ち、フェードイン映像、フェードアウト映像、微細なグラデーション部分が動いた映像部分の動き成分の場合においては、前述したごとく、例えば帰還係数ｋが「０」となり、乗算回路１１３から第２の減算回路１０３に供給される最終的なノイズ成分は０となる。而して、入力端子１０１から入力されてくる入力映像信号がそのまま出力映像信号として出力端子１１４から出力されることになり、例えば、図１３や図１４に示した従来技術のごとく、非線形処理だけでは除去することができないフレーム差分信号が小さい信号レベルとなるフェードイン映像、フェードアウト映像や、微細なグラデーション部分が動いた時の動き成分が、誤ってノイズ成分として帰還されることがなく、かくのごとき映像における残像の発生を大幅に低減することが可能となる。
【００６９】
次に、本発明に係るノイズ除去装置及びノイズ除去方法に関する第２の実施形態について説明する。
図６は、本発明に係るノイズ除去装置の構成に関する第２の実施形態の一例を示す機能ブロック構成図である。なお、本実施形態においても、直交変換として、（４×２）次のアダマール変換を適用している場合を一例として用いて説明することとする。
本実施形態におけるノイズ除去装置１００′は、第１の減算回路１０２と、第２の減算回路１０３と、フレームメモリ１０４と、第１の直列・並列変換回路１０５と、直交変換回路１０６と、非線形処理回路１０７と、直交逆変換回路１０８と、第２の直列・並列変換回路１１５と、差分傾き情報抽出回路１１６と、平滑化回路１１７と、帰還係数演算回路１１８と、基準帰還量Ｋ １１２と、乗算回路１１３とが、図６のごとく接続されて構成されている。
【００７０】
図６に示すノイズ除去装置１００′において、入力端子１０１から入力される入力映像信号は、第１の減算回路１０２と、第２の減算回路１０３とのそれぞれにおける一方の入力として供給される。ここに、第１の減算回路１０２は、図１４に示すノイズ除去装置２０の場合と同様に、当該ノイズ除去装置１００′に入力されてくる入力映像信号から、当該ノイズ除去装置１００′から出力される出力映像信号を１フレーム分遅延させた前記フレーム遅延信号を減算し、フレーム差分信号として出力する第１の減算手段を構成しており、また、第２の減算回路１０３は、前記入力映像信号から、当該ノイズ除去装置１００′において抽出されたノイズ成分（詳細は後述する）を減算する第２の減算手段を構成している。
【００７１】
第２の減算回路１０３の出力は、図１４に示すノイズ除去装置２０の場合と同様に、出力端子１１４から次段の回路への出力映像信号として出力されると同時に、フレームメモリ１０４へ供給される。ここに、フレームメモリ１０４は、当該ノイズ除去装置１００′から出力される出力映像信号を１フレーム期間遅延させたフレーム遅延信号を出力するフレーム遅延信号生成手段を構成している。
【００７２】
フレームメモリ１０４から出力される１フレーム期間遅延させたフレーム遅延信号は、第１の減算回路１０２へ供給され、入力映像信号との間で減算処理が施されて、フレーム差分信号として第１の直列・並列変換回路１０５と第２の直列・並列変換回路１１５とに供給される。
ここに、第１の直列・並列変換回路１０５は、フレーム差分信号と該フレーム差分信号の任意の領域におけるフレーム差分信号の信号レベルに対して非線形処理を施すために、フレーム差分信号を予め指定されている任意の（ｎ−１）ラインまでそれぞれ水平走査期間垂直方向に遅延させて得られるｎライン分の各信号のそれぞれについて、各水平位置から水平方向に予め定められた任意のｍ個の画素を切り出し、（ｍ×ｎ）個の領域のフレーム差分信号である領域フレーム差分信号を切り出して出力する第１の直列・並列切り出し手段を構成している。
【００７３】
また、第２の直列・並列変換回路１１５は、フレーム差分信号と該フレーム差分信号の任意の領域におけるフレーム差分信号の傾きを検知するために、フレーム差分信号を予め指定されている任意の（ｙ−１）ラインまでそれぞれ水平走査期間垂直方向に遅延させて得られるｙライン分の各信号のそれぞれについて、各水平位置から水平方向に予め定められた任意のｘ個の画素を切り出し、（ｘ×ｙ）個の領域のフレーム差分信号である領域フレーム差分信号を切り出して出力する第２の直列・並列切り出し手段を構成している。
【００７４】
第１の直列・並列変換回路１０５においては、入力されてくるフレーム差分信号に対する直並列変換処理がなされて、切り出された（ｍ×ｎ）個の第１の領域フレーム差分信号、本実施例においては、（４×２）個の第１の領域フレーム差分信号が出力され、直交変換回路１０６に供給される。直交変換回路１０６に供給された（４×２）個の第１の領域フレーム差分信号は、直交変換処理が施されて、周波数領域上の（４×２）個の第１の領域フレーム差分信号とされて、非線形処理回路１０７へ供給される。
【００７５】
ここに、直交変換回路１０６は、（ｍ×ｎ）個例えば（４×２）個の第１の領域フレーム差分信号に対して直交変換処理を施し、複数の周波数成分にそれぞれ分解して周波数領域上の直交変換信号として出力する直交変換手段を構成し、更に、非線形処理回路１０７は、直交変換回路１０６からの各直交変換信号に適した非線形処理を施し、非線形信号として出力する非線形処理手段を構成している。
【００７６】
非線形処理回路１０７においては、前述のごとく、供給されてきた周波数領域上の（４×２）個の第１の領域フレーム差分信号に対して非線形処理が施されて、周波数領域上の非線形信号として出力される。出力された周波数領域上の非線形信号は、直交逆変換回路１０８へ供給され、直交逆変換処理が施され、元の実空間領域上の非線形信号に復元された後、乗算回路１１３の一方の入力として供給される。ここに、直交逆変換回路１０８は、直交変換回路１０６に対する逆変換である直交逆変換処理を、非線形処理回路１０７からの出力信号である前記非線形信号に対して施して、周波数領域上の前記非線形信号から元の実空間領域上の非線形信号に復元させる直交逆変換手段を構成している。
また、乗算回路１１３は、後述する差分傾き情報抽出回路１１６又は平滑化回路１１７又は帰還係数演算回路１１８のいずれかの出力信号と、直交逆変換回路１０８からの出力信号である実空間領域上の非線形信号との演算結果をノイズ成分として出力する演算手段を構成しているものである。
【００７７】
一方、第１の減算回路１０２からの出力信号であるフレーム差分信号が供給される第２の直列・並列変換回路１１５においては、前述のごとく、（ｘ×ｙ）個例えば（５×１）個の第２の領域フレーム差分信号が切り出されて、切り出された（ｘ×ｙ）個例えば（５×１）個の第２の領域フレーム差分信号は、差分傾き情報抽出回路１１６に供給されて、フレーム差分傾き情報が抽出される。更に、抽出されたフレーム差分傾き情報は、平滑化回路１１７へ供給されて、平滑化され、平滑化信号即ち平滑化フレーム差分傾き情報として、帰還係数演算回路１１８に供給される。
ここに、差分傾き情報抽出回路１１６は、第２の直列・並列変換回路１１５からの出力信号である（ｘ×ｙ）個例えば（５×１）個の第２の領域フレーム差分信号のそれぞれ隣接する画素位置間の差分を算出することにより、前記第２の領域フレーム差分信号の傾き情報を抽出して、フレーム差分傾き情報として出力するフレーム差分傾き情報抽出手段を構成している。
【００７８】
また、平滑化回路１１７は、差分傾き情報抽出回路１１６からの出力信号であるフレーム差分傾き情報を予め定められた任意の画素数分までそれぞれ水平方向に遅延させることにより水平方向に任意の前記画素数分の各フレーム差分傾き情報を切り出すと共に、更に、予め定められた任意のライン数分までそれぞれ水平走査期間垂直方向に遅延させることにより垂直方向に任意の前記ライン数の各画素に対応する各フレーム差分傾き情報を切り出し、差分傾き情報抽出回路１１６からの出力信号である前記フレーム差分傾き情報と切り出された任意の前記画素数分の各前記フレーム差分傾き情報と任意の前記ライン数の各画素に対応する各前記フレーム差分傾き情報とを演算することにより、平滑化された前記フレーム差分傾き情報を平滑化フレーム差分傾き情報として生成して出力する平滑化手段を構成している。
【００７９】
帰還係数演算回路１１８においては、供給されてくる平滑化信号即ち平滑化フレーム差分傾き情報と基準帰還量Ｋ １１２とにより、平滑化された平滑化フレーム差分傾き情報に対する帰還係数ｋを演算により求め、乗算回路１１３へ供給する。即ち、帰還係数演算回路１１８は、平滑化回路１１７からの出力信号である平滑化信号即ち平滑化フレーム差分傾き情報と、予め指定されている基準帰還量Ｋ １１２と、を乗算することにより、帰還係数ｋを算出する帰還係数演算手段を構成している。なお、場合によっては、前述のごとく、乗算回路１１３へは、帰還係数ｋの代わりに、差分傾き情報抽出回路１１６において抽出されたフレーム差分傾き情報を直接供給することとしても良いし、あるいは、平滑化回路１１７において平滑化された平滑化信号即ち平滑化フレーム差分傾き情報を供給することとしても良い。
【００８０】
前述のごとく、差分傾き情報抽出回路１１６からの前記フレーム差分傾き情報又は平滑化回路１１７において平滑化された前記平滑化信号即ち平滑化フレーム差分傾き情報又は帰還係数演算回路１１８からの帰還係数ｋのいずれかと、直交逆変換回路１０８から入力されてくる実空間領域上の非線形信号との演算結果をノイズ成分として出力する演算手段を構成している乗算回路１１３においては、直交逆変換回路１０８から供給されてくる元の実空間領域上の非線形信号と、例えば帰還係数演算回路１１８から供給されてくる帰還係数ｋとの乗算により得られた演算結果を、ノイズ成分として、第２の減算回路１０３へ供給する。第２の減算回路１０３においては、入力端子１０１からの入力映像信号から、乗算回路１１３からの出力信号であるノイズ成分が減算されて、ノイズ成分が除去された出力映像信号として出力端子１１４から出力される。
【００８１】
以上のように構成された各構成要素は、以下のように動作している。
入力端子１０１から入力されてくる入力映像信号と、フレームメモリ１０４からの出力信号である、出力映像信号を１フレーム期間遅延したフレーム遅延信号とを、第１の減算回路１０２により減算し、フレーム差分信号を得る。該フレーム差分信号には、前述した従来技術にて説明した通り、ノイズ成分と動き成分とが含まれている。該フレーム差分信号は、第１の直列・並列変換回路１０５と第２の直列・並列変換回路１１５とに入力される。
第１の直列・並列変換回路１０５は、入力されてきたフレーム差分信号と例えば１水平走査期間垂直方向に遅延させた遅延ライン上の遅延フレーム差分信号との２ラインから、それぞれのラインに対して水平方向に４個の画素を切り出し、（４×２）個の画素の入力領域からなる（４×２）個の第１の領域フレーム差分信号を出力する。
【００８２】
図２は、前述した第１の実施形態の場合と同様に、第１の直列・並列変換回路１０５によりフレーム差分信号から切り出される（４×２）個の第１の領域フレーム差分信号を説明するための模式図であり、前記フレーム差分信号と遅延フレーム差分信号のそれぞれ２ラインから、（Ｘｉ０，Ｘｉ１，Ｘｉ２，Ｘｉ３）の４つの画素ずつ（ここで、ｉ＝０及び１）、即ち、合計（４×２）個の８画素が切り出されている様子を示している。
直交変換回路１０６は、第１の直列・並列変換回路１０５から出力される（４×２）個の画素からなる（４×２）個の第１の領域フレーム差分信号を入力として、（４×２）次のアダマール変換を行なうことにより、実空間領域上の（４×２）個の第１の領域フレーム差分信号を８個の周波数領域上のデータへ変換する。ここに、（４×２）次のアダマール変換としては、例えば、従来技術として説明した前記式（１）に従って直交変換処理を施す。アダマール変換により得られた８個の周波数成分（即ち、アダマール変換により直交変換された（４×２）個の第１の領域フレーム差分信号）は、非線形処理回路１０７へ供給される。
【００８３】
非線形処理回路１０７は、本実施形態においても、例えば、前記した図３に示すように、入力信号が（−ＴＨ〜＋ＴＨ）までの振幅の信号であれば、線形に、即ち、入力信号に比例した信号が出力され、範囲（−ＴＨ〜＋ＴＨ）を超える振幅の信号については除去されて出力されない非線形特性を備えている。ここに、図３は、第１の実施形態の場合と同様に、本発明に係るノイズ除去装置１００′における非線形処理回路１０７の非線形特性の一例を示すグラフである。また、図３の非線形特性における閾値ＴＨの値は、直交変換された（４×２）個の第１の領域フレーム差分信号における８個の成分それぞれに最適な値（即ち、周波数領域上の各直交変換信号の振幅として、動き成分とノイズ成分との識別を可能とする閾値）が選択される。
【００８４】
また、図３に示す非線形特性は、前述の図１５に示すように、入力信号の振幅が（−ＴＨ〜＋ＴＨ）の間にある場合には、正弦曲線（又はＳ字曲線又は任意の２次曲線）で規定される振幅の出力信号となるように非線形化され、範囲（−ＴＨ〜＋ＴＨ）を超える振幅の入力信号は除去されて出力されないような非線形特性を示すものを用いることもでき、非線形処理回路１０７における非線形特性は、本実施例に限定されるものではない。いずれにしても、非線形処理回路１０７により、予め選択されている閾値−ＴＨ以下あるいは＋ＴＨ以上の振幅を有する周波数成分は動き成分と判断されて除去される。即ち、閾値ＴＨは、周波数領域の各前記直交変換信号の振幅としてノイズ成分と動き成分との識別を可能とするように予め設定されている閾値であり、該閾値ＴＨを超えているか否かにより、各前記直交変換信号に対して施される信号処理内容が変更されることになる。
【００８５】
非線形処理が施されてノイズ成分として抽出された８個の周波数成分は、直交逆変換回路１０８において、前述のアダマール変換の逆変換であるアダマール逆変換が施されて、周波数領域上のデータ（非線形信号）から元の実空間領域上のデータ（非線形信号）に復元される。
しかしながら、非線形処理回路１０７における非線形処理によるノイズ成分と動き成分との分離には、解決すべき課題として前述したごとく、限界があり、特に、ぼけたエッジ部分が動いた時、かかる動き成分も誤ってノイズ成分とされて含まれてしまうため、反って動画部分に残像を発生させる原因となっている。
【００８６】
かくのごとき映像を輝度信号で考えた場合、ぼけたエッジ部分の領域は、緩やかな傾きを有しており、かかる緩やかな傾きが動き平坦な映像となった場合、当該ぼけたエッジ部分の領域の領域フレーム差分信号も緩やかな傾きを有して現れることになる。
【００８７】
従って、フレーム差分信号の適当な領域を抽出して、フレーム差分信号の傾きを検出することとすれば、ぼけたエッジ部分が動いた部分を、ノイズ成分ではなく、動いた画像部分として検出することが可能となる。
かかる傾き情報を検出することを可能とするために、本実施形態においては、第１の減算回路１０２からの出力信号であるフレーム差分信号から適当な領域即ち（ｘ×ｙ）個の画素からなる領域毎に切り出される第２の領域フレーム差分信号のそれぞれについての傾き情報であるフレーム差分傾き情報を抽出するために、第２の直列・並列変換回路１１５と差分傾き情報抽出回路１１６とが新たに設けられている。
【００８８】
第２の直列・並列変換回路１１５は、前述のごとく、差分傾き情報抽出回路１１６が必要とする領域である（ｘ×ｙ）個の画素からなる領域の第２の領域フレーム差分信号を切り出すものである。本実施形態においては、図８に示す模式図のように、（ｘ×ｙ）個の領域として、例えば、第１の直列・並列変換回路１０５により切り出された最終ラインの４画素（Ｘ１０〜Ｘ１３）を含む形で、水平方向に５個の画素（Ｘ１０〜Ｘ１４）を切り出し、（５×１）個の５画素からなる領域の第２の領域フレーム差分信号が切り出されて出力される。ここで、図８は、本実施形態における第２の直列・並列変換回路１１５によりフレーム差分信号から切り出される（５×１）個の第２の領域フレーム差分信号を説明するための模式図である。
【００８９】
図７は、図６における差分傾き情報抽出回路１１０′のより詳細な内部構成の一例を示すブロック図であり、本発明によるノイズ除去装置１００′の一実施例（第２の実施形態）においてフレーム差分信号の傾き情報を抽出する差分傾き情報抽出回路１１６の構成例を示す機能ブロック構成図である。図７において、入力端子１１６ａ_-1〜１１６ａ_-5から入力されてくる第２の直列・並列変換回路１１５からの（５×１）個の画素からなるフレーム差分信号（第２の領域フレーム差分信号）は、それぞれ減算回路１１６ｂ_-1〜１１６ｂ_-4に入力されて、隣接する画素位置にあるフレーム差分信号との差分が隣接差分データとして演算される。演算された各隣接差分データは、次段の符号判定回路１１６ｃ_-1〜１１６ｃ_-4にそれぞれ入力される。
【００９０】
符号判定回路１１６ｃ_-1〜１１６ｃ_-4のそれぞれにおいては、入力されてくるそれぞれの隣接差分データに応じて次のように動作する。入力信号の隣接差分データの符号情報が正の場合は、正符号カウンタ１１６ｄに対して「１」を出力し、負符号カウンタ１１６ｅに対しては「０」を出力する。一方、入力信号の隣接差分データの符号情報が負の場合は、正符号カウンタ１１６ｄに対して「０」を出力し、負符号カウンタ１１６ｅに対しては「１」を出力する。更に、入力信号の隣接差分データが「０」の場合は、正符号カウンタ１１６ｄ及び負符号カウンタ１１６ｅに対しては、共に「０」を出力するようにする。
【００９１】
而して、正符号カウンタ１１６ｄ及び負符号カウンタ１１６ｅは、それぞれ、符号判定回路１１６ｃ_-1〜１１６ｃ_-4からの出力である正及び負の数の合計値を、それぞれ判定回路１１６ｆに対して出力する。判定回路１１６ｆにおいては、正符号カウンタ１１６ｄ及び負符号カウンタ１１６ｅの出力結果に基づいて、次のように動作する。正符号カウンタ１１６ｄの出力が「０」であり、負符号カウンタ１１６ｅの出力が予め定められた閾値例えば「２」以上である場合、又は、逆に、正符号カウンタ１１６ｄの出力が予め定められた該閾値例えば「２」以上であり、負符号カウンタ１１６ｅの出力が「０」である場合、のいずれか一方が成立する場合には、「０」を出力し、それ以外の場合には、「１」を出力するようにする。
【００９２】
かくのごとく構成された差分傾き情報抽出回路１１６にあっては、フレーム差分傾き情報として、入力されてきた（５×１）個の画素からなる第２の領域フレーム差分信号の隣接差分データの符号から、該隣接差分データの符号が２箇所以上揃っている場合には、予め定められている所定の閾値以上の傾きがあるものと判定して、「０」となるフレーム差分傾き情報を出力端子１１６ｇから出力し、一方、かかる場合以外においては、所定の閾値以上の傾きは存在していないものと判定して、「１」となるフレーム差分傾き情報を出力端子１１６ｇから出力する。
【００９３】
なお、前述した実施例においては、第２の直列・並列変換回路１１５及び差分傾き情報抽出回路１１６において取り扱う対象とする第２の領域フレーム差分信号として、一例として水平方向に（Ｘ１０〜Ｘ１４）の５画素からなる領域を用いている場合を示しているが、本発明は、かかる（５×１）個の領域のみに限定されるものではなく、第２の直列・並列変換回路１１５において如何なる大きさの領域の第２の領域フレーム差分信号を切り出して用いることとしても構わなく、水平方向あるいは垂直方向により多くの画素を切り出して用いることにより、差分傾き情報抽出回路１１６において、傾き情報の抽出精度をより高めることも可能である。
【００９４】
また、前述の実施例の説明においては、該隣接差分データの符号が２箇所以上揃っている場合には、予め定められている所定の閾値以上の傾きがあるものと判定する場合を例として説明したが、本発明においては、かかる場合のみに限るものではなく、フレーム差分傾き情報が、抽出された（ｘ×ｙ）個例えば（５×１）個の第２の領域フレーム差分信号のそれぞれ隣接する画素位置間の差分演算により得られた符号情報として、予め定められた閾値以上、同一符号が揃っているか否かを示す情報に基づいて、前記第２の領域フレーム差分信号の傾きの有無が決定される傾き情報であり、かかるフレーム差分傾き情報を抽出することにより、当該第２の領域フレーム差分信号が予め定められている所定の閾値以上の傾きがあるものと判定することとしても良い。
【００９５】
差分傾き情報抽出回路１１６からの出力信号であるフレーム差分傾き情報は、前述のごとく、図６に示す平滑化回路１１７へ入力される。ここで問題としている、ぼけたエッジ部分が動いた映像であった場合、第２の領域フレーム差分信号として切り出された例えば（５×１）の画素からなる１領域のみにおいて、第２の領域フレーム差分信号の隣接差分データの符号が２箇所以上揃っていて、フレーム差分傾き情報を「０」として出力するということは極めて稀であり、通常、該領域の周辺部分であっても、第２の領域フレーム差分信号の隣接差分データの符号が２箇所以上揃っていて、フレーム差分傾き情報が「０」となる領域が含まれている。従って、平滑化回路１１７においては、第２の領域フレーム差分信号の隣接差分データの符号が２箇所以上揃っていて、フレーム差分傾き情報が「０」を出力するという領域の周辺部分の領域においても、第２の領域フレーム差分信号の隣接差分データの符号が２箇所以上揃っていて、フレーム差分傾き情報が「０」を出力しているか否かを検知して、たまたま、１領域においてのみ、第２の領域フレーム差分信号の隣接差分データの符号が２箇所以上揃っていて、フレーム差分傾き情報が「０」を出力しているという孤立した領域即ちフレーム差分傾き情報が１箇所のみ「０」となる孤立点を、ノイズ成分として除去するようにしている。
【００９６】
図９は、図６における平滑化回路１１７のより詳細な内部構成の一例を示すブロック図であり、本発明によるノイズ除去装置１００′の一実施例（第２の実施形態）においてフレーム差分傾き情報を平滑化する平滑化回路１１７の構成例を示す機能ブロック構成図である。差分傾き情報抽出回路１１６から入力端子１１７ａに入力されてくるフレーム差分傾き情報は、１サンプル遅延回路１１７ｂ_-1〜１１７ｂ_-(p-1)を用いて、それぞれ水平方向に遅延させたｐ個分の水平遅延信号として生成される（即ち、切り出される）。更に、生成されたｐ個分の水平遅延信号は、１ライン遅延回路１１７ｃ_-1〜１１７ｃ_-(q-1)を用いて、それぞれ垂直方向に遅延させたｑ個分の垂直遅延信号として生成される（即ち、切り出される）。
【００９７】
各１サンプル遅延回路１１７ｂ_-1〜１１７ｂ_-(p-1)により遅延されて生成されたｐ個の水平遅延信号と各１ライン遅延回路１１７ｃ_-1〜１１７ｃ_-(q-1)により遅延されて生成されたｑ個の垂直遅延信号とは、入力されてきたフレーム差分傾き情報と共に、演算回路１１７ｄに入力される。図８に示す本実施例においては、１サンプル遅延回路１１７ｂ_-1〜１１７ｂ_-2を２個、また、１ライン遅延回路１１７ｃ_-1〜１１７ｃ_-2を２個用いて、図１０に示す模式図のように切り出している場合を示している。ここに、図１０は、本実施形態における平滑化回路１１７によりフレーム差分傾き情報から切り出される５個の画素対応分の領域を一例として説明するための模式図である。図１０の模式図に示すように、Ｘ１１の画素位置に相当するフレーム差分傾き情報を中心にして上下左右の画素位置に相当するフレーム差分傾き情報（Ｘ０１，Ｘ２１，Ｘ１０，Ｘ１２）の合計５個の画素対応分の領域を用いて平滑化処理がなされる。
【００９８】
演算回路１１７ｄにおいては、入力されてきた領域のフレーム差分傾き情報の中から、平滑化処理対象の中心位置にあるＸ１１の画素位置を除く周辺部分の画素位置のフレーム差分傾き情報が全て「１」（即ち、傾きがないことを示す情報）であれば、平滑化された平滑化フレーム差分傾き情報として、「１」を出力端子１１７ｅから出力し、その他の場合には、中心位置にあるＸ１１の画素位置のフレーム差分傾き情報を、平滑化された平滑化フレーム差分傾き情報として、出力端子１１７ｅから出力する。而して、平滑化回路１１７においては、ノイズ成分であって、入力された領域のみにおいて、フレーム差分傾き情報が「０」という傾きがある旨を示す情報の出力がなされ、周辺の画素位置からは「０」のフレーム差分傾き情報が出力されてこないような状態にある場合、即ち、差分傾き情報抽出回路１１６において第２の領域フレーム差分信号の隣接差分データの符号が２箇所以上揃っていて、フレーム差分傾き情報が「０」を出力するという領域が孤立した状態で存在していた場合には、かかる孤立点をノイズ成分として効果的に除去できるようにしている。
【００９９】
なお、前述した平滑化回路１１７の演算回路１１７ｄにおいては、一例として、入力されてきた領域の中心位置Ｘ１１を除く周辺部分の画素位置のフレーム差分傾き情報が全て「１」であれば、平滑化フレーム差分傾き情報として、「１」を出力端子１１７ｅから出力し、その他の場合には、中心位置にあるＸ１１の画素位置のフレーム差分傾き情報を、そのまま、平滑化された平滑化フレーム差分傾き情報として、出力端子１１７ｅから出力する場合について説明したが、本発明にあっては、かかる場合のみに限定されるものではなく、各画素位置のフレーム差分傾き情報の最大値や平均値を出力させたり、あるいは、各フレーム差分傾き情報の分布に基づいて、例えば、「０」と「１」との比率から決定するような論理回路を用いて出力値を算出させて用いることとしても良い。
【０１００】
即ち、平滑化フレーム差分傾き情報としては、差分傾き情報抽出回路１１６からの出力信号であるフレーム差分傾き情報と切り出された任意の前記画素数分の各前記フレーム差分傾き情報と任意の前記ライン数の各画素に対応する各前記フレーム差分傾き情報とにおいて、フレーム差分傾き情報の平滑化処理対象とする第２の領域フレーム差分信号の周辺に位置する各第２の領域フレーム差分信号の前記フレーム差分傾き情報の全てが、傾きがないことを示している場合には、傾きがない情報として生成される情報、あるいは、平滑化処理対象の前記フレーム差分傾き情報及び周辺に位置する各前記フレーム差分傾き情報を合計した最大値又は平均値又は各前記フレーム差分傾き情報の分布に基づいて決定される値のいずれかを用いて生成される情報を用いることとしても構わない。
【０１０１】
帰還係数演算回路１１８は、平滑化回路１１７から入力されてくる平滑化された平滑化フレーム差分傾き情報と、予め与えられている基準帰還量Ｋ １１２（０＜Ｋ＜１）とを乗算し、帰還係数ｋを求める。ここで、帰還係数ｋが、０≦ｋ＜１の範囲となるように、基準帰還量Ｋ １１２の値が予め設定されている。
【０１０２】
乗算回路１１３は、前述した直交逆変換回路１０８においてアダマール逆変換処理により、元の実空間領域上のデータに復元された非線形信号と、例えば前述の帰還係数演算回路１１８において演算された帰還係数ｋとを乗算することにより、最終的なノイズ成分を算出する。
乗算回路１１３において算出された該ノイズ成分は、第２の減算回路１０３に供給され、入力端子１０１から入力されてくる入力映像信号から減算されることにより、入力映像信号からノイズ成分が除去されて、出力映像信号として出力端子１１４から出力されると共に、フレームメモリ１０４に一旦記憶して、１フレーム期間分遅延させることにより、次フレームの入力映像信号のフレーム差分信号を算出するために備える。
【０１０３】
かかるノイズ除去装置１００′の構成において、前述のフレーム差分傾き情報や平滑化フレーム差分傾き情報が「０」の部分、即ち、ぼけたエッジが動いた映像部分の動き成分の場合においては、前述したごとく、例えば帰還係数ｋが「０」となり、乗算回路１１３から第２の減算回路１０３に供給される最終的なノイズ成分は０となる。而して、入力端子１０１から入力されてくる入力映像信号がそのまま出力映像信号として出力端子１１４から出力されることになり、例えば、図１３や図１４に示した従来技術のごとく、非線形処理だけでは除去することができないフレーム差分信号が小さい信号レベルとなる、ぼけたエッジ部分の動き成分が、誤ってノイズ成分として帰還されることがなく、かくのごとき映像における残像の発生を大幅に低減することが可能となる。
【０１０４】
次に、本発明に係るノイズ除去装置及びノイズ除去方法に関する第３の実施形態について説明する。
図１１は、本発明に係るノイズ除去装置の構成に関する第３の実施形態の一例を示す機能ブロック構成図である。なお、本実施形態においても、直交変換として、（４×２）次のアダマール変換を適用している場合を一例として用いて説明することとする。
本実施形態におけるノイズ除去装置１００″は、第１の減算回路１０２と、第２の減算回路１０３と、第１のフレームメモリ１０４と、直列・並列変換回路１０５と、直交変換回路１０６と、非線形処理回路１０７と、直交逆変換回路１０８と、ノイズ判定回路１１９と、第２のフレームメモリ１２０と、論理演算回路１２１と、帰還係数演算回路１２２と、基準帰還量Ｋ １１２と、乗算回路１１３とが、図１１のごとく接続されて構成されている。
【０１０５】
図１１に示すノイズ除去装置１００″において、入力端子１０１から入力される入力映像信号は、第１の減算回路１０２と、第２の減算回路１０３とのそれぞれにおける一方の入力として供給される。ここに、第１の減算回路１０２は、図１４に示すノイズ除去装置２０の場合と同様に、当該ノイズ除去装置１００″に入力されてくる入力映像信号から、当該ノイズ除去装置１００″から出力される出力映像信号を１フレーム分遅延させた前記フレーム遅延信号を減算し、フレーム差分信号として出力する第１の減算手段を構成しており、また、第２の減算回路１０３は、前記入力映像信号から、当該ノイズ除去装置１００″において抽出されたノイズ成分（詳細は後述する）を減算する第２の減算手段を構成している。
【０１０６】
第２の減算回路１０３の出力は、図１４に示すノイズ除去装置２０の場合と同様に、出力端子１１４から次段の回路への出力映像信号として出力されると同時に、第１のフレームメモリ１０４へ供給される。ここに、第１のフレームメモリ１０４は、当該ノイズ除去装置１００″から出力される出力映像信号を１フレーム期間遅延させたフレーム遅延信号を出力するフレーム遅延信号生成手段を構成している。
【０１０７】
第１のフレームメモリ１０４から出力される１フレーム期間遅延させたフレーム遅延信号は、第１の減算回路１０２へ供給され、入力映像信号との間で減算処理が施されて、フレーム差分信号として直列・並列変換回路１０５へ供給される。
ここに、直列・並列変換回路１０５は、フレーム差分信号と該フレーム差分信号を予め指定されている任意の（ｎ−１）ラインまでそれぞれ水平走査期間垂直方向に遅延させて得られるｎライン分の各信号のそれぞれについて、各水平位置から水平方向に予め定められた任意のｍ個の画素を切り出し、（ｍ×ｎ）個の領域のフレーム差分信号である領域フレーム差分信号を切り出して出力する直列・並列切り出し手段を構成している。
【０１０８】
直列・並列変換回路１０５においては、入力されてくるフレーム差分信号に対する直並列変換処理がなされて、切り出された（ｍ×ｎ）個の領域フレーム差分信号、本実施例においては、（４×２）個の領域フレーム差分信号が出力され、直交変換回路１０６へ供給されると共に、ノイズ判定回路１０９の一方の入力として供給される。直交変換回路１０６に供給された（４×２）個の領域フレーム差分信号は、直交変換処理が施されて、周波数領域上の（４×２）個の領域フレーム差分信号とされて、非線形処理回路１０７へ供給される。
【０１０９】
ここに、直交変換回路１０６は、（ｍ×ｎ）個例えば（４×２）個の領域フレーム差分信号に対して直交変換処理を施し、複数の周波数成分にそれぞれ分解して周波数領域上の直交変換信号として出力する直交変換手段を構成し、更に、非線形処理回路１０７は、直交変換回路１０６からの各直交変換信号に適した非線形処理を施し、非線形信号として出力する非線形処理手段を構成している。また、ノイズ判定回路１１９は、詳細は後述するが、直列・並列変換回路１０５からの出力信号である前記領域フレーム差分信号と直交逆変換回路１０８からの出力信号である実空間領域上の前記非線形信号あるいは直交変換回路１０６からの出力信号である前記直交変換信号とのいずれかに基づいて、除去すべきノイズ成分の存在の有無を判定し、ノイズ判定信号として出力することができるノイズ判定手段を構成するものであり、例えば直列・並列変換回路１０５により切り出された（ｍ×ｎ）個例えば（４×２）個の領域フレーム差分信号と直交逆変換回路１０８からの出力信号である元の実空間領域上の非線形信号とに基づいてノイズ成分の有無を判定して、ノイズ判定信号として出力するものである。
【０１１０】
非線形処理回路１０７においては、前述のごとく、供給されてきた周波数領域上の（４×２）個の領域フレーム差分信号に対して非線形処理が施されて、周波数領域上の非線形信号として出力される。出力された周波数領域上の非線形信号は、直交逆変換回路１０８へ供給され、直交逆変換処理が施され、元の実空間領域上の非線形信号に復元された後、乗算回路１１３の一方の入力として供給される。ここに、直交逆変換回路１０８は、直交変換回路１０６に対する逆変換である直交逆変換処理を、非線形処理回路１０７からの出力信号である前記非線形信号に対して施して、周波数領域上の前記非線形信号から元の実空間領域上の非線形信号に復元させる直交逆変換手段を構成している。
また、乗算回路１１３は、後述するノイズ判定回路１１９又は論理演算回路１２１又は帰還係数演算回路１２２のいずれかの出力信号と、直交逆変換回路１０８からの出力信号である実空間領域上の非線形信号との演算結果をノイズ成分として出力する演算手段を構成しているものである。
【０１１１】
一方、直列・並列変換回路１０５により切り出された（ｍ×ｎ）個例えば（４×２）個の領域フレーム差分信号が供給されるノイズ判定回路１１９においては、該領域フレーム差分信号と直交逆変換回路１０８から供給されてくる実空間領域上の非線形信号とに基づいて、ノイズ成分の存在の有無が判定されて、ノイズ判定信号として、第２のフレームメモリ１２０に供給すると共に、論理演算回路１２１の一方の入力として供給する。
論理演算回路１２１においては、ノイズ判定回路１１９からのノイズ判定信号と、第２のフレームメモリ１２０からの出力信号である１フレーム期間遅延させた遅延ノイズ判定信号との間の論理演算処理を施して、フレーム間ノイズ情報を算出して、帰還係数演算回路１２２へ供給する。
【０１１２】
ここに、第２のフレームメモリ１２０は、ノイズ判定回路１１９からの出力信号であるノイズ判定信号を１フレーム期間遅延させた遅延ノイズ判定信号を出力する遅延ノイズ判定信号生成手段を構成しており、また、論理演算回路１２１は、ノイズ判定回路１１９からの出力信号であるノイズ判定信号と第２のフレームメモリ１２０からの出力信号である遅延ノイズ判定信号との論理演算処理を施すことにより、フレーム間の同一画素位置に連続してノイズ成分が存在しているか否かを検知して、フレーム間ノイズ情報として出力する論理演算手段を構成している。
【０１１３】
帰還係数演算回路１２２においては、供給されてくるフレーム間ノイズ情報と基準帰還量Ｋ １１２とにより、フレーム間ノイズ情報に対する帰還係数ｋを演算により求め、乗算回路１１３へ供給する。即ち、帰還係数演算回路１２２は、論理演算回路１２１からの出力信号である前記フレーム間ノイズ情報と、予め指定されている基準帰還量Ｋ １１２と、を乗算することにより、帰還係数ｋを算出する帰還係数演算手段を構成している。なお、場合によっては、前述のごとく、乗算回路１１３へは、帰還係数ｋの代わりに、ノイズ判定回路１１９において判定されて出力されたノイズ判定信号を直接供給することとしても良いし、あるいは、論理演算回路１２１において抽出されたフレーム間ノイズ情報を供給することとしても良い。
【０１１４】
前述のごとく、ノイズ判定回路１１９からの前記ノイズ判定信号又は論理演算回路１２１において抽出された前記フレーム間ノイズ情報又は帰還係数演算回路１２２からの帰還係数ｋのいずれかと、直交逆変換回路１０８から入力されてくる実空間領域上の非線形信号との演算結果をノイズ成分として出力する演算手段を構成している乗算回路１１３においては、直交逆変換回路１０８から供給されてくる元の実空間領域上の非線形信号と、例えば帰還係数演算回路１２２から供給されてくる帰還係数ｋとの乗算により得られた演算結果を、ノイズ成分として、第２の減算回路１０３へ供給する。第２の減算回路１０３においては、入力端子１０１からの入力映像信号から、乗算回路１１３からの出力信号であるノイズ成分が減算されて、ノイズ成分が除去された出力映像信号として出力端子１１４から出力される。
【０１１５】
以上のように構成された各構成要素は、以下のように動作している。
入力端子１０１から入力されてくる入力映像信号と、第１のフレームメモリ１０４からの出力信号である、出力映像信号を１フレーム期間遅延したフレーム遅延信号とを、第１の減算回路１０２により減算し、フレーム差分信号を得る。該フレーム差分信号には、前述した従来技術にて説明した通り、ノイズ成分と動き成分とが含まれている。該フレーム差分信号は、直列・並列変換回路１０５へ入力される。
直列・並列変換回路１０５は、入力されてきたフレーム差分信号と例えば１水平走査期間垂直方向に遅延させた遅延ライン上の遅延フレーム差分信号との２ラインから、それぞれのラインに対して水平方向に４個の画素を切り出し、（４×２）個の画素の入力領域からなる（４×２）個の領域フレーム差分信号を出力する。
【０１１６】
図２は、前述した第１の実施形態の場合と同様に、直列・並列変換回路１０５によりフレーム差分信号から切り出される（４×２）個の領域フレーム差分信号を説明するための模式図であり、前記フレーム差分信号と遅延フレーム差分信号のそれぞれ２ラインから、（Ｘｉ０，Ｘｉ１，Ｘｉ２，Ｘｉ３）の４つの画素ずつ（ここで、ｉ＝０及び１）、即ち、合計（４×２）個の８画素が切り出されている様子を示している。
直交変換回路１０６は、直列・並列変換回路１０５から出力される（４×２）個の画素からなる（４×２）個の領域フレーム差分信号を入力として、（４×２）次のアダマール変換を行なうことにより、実空間領域上の（４×２）個の領域フレーム差分信号を８個の周波数領域上のデータへ変換する。ここに、（４×２）次のアダマール変換としては、例えば、従来技術として説明した前記式（１）に従って直交変換処理を施す。アダマール変換により得られた８個の周波数成分（即ち、アダマール変換により直交変換された（４×２）個の領域フレーム差分信号）は、非線形処理回路１０７へ供給される。
【０１１７】
非線形処理回路１０７は、本実施形態においても、例えば、前記した図３に示すように、入力信号が（−ＴＨ〜＋ＴＨ）までの振幅の信号であれば、線形に、即ち、入力信号に比例した信号が出力され、範囲（−ＴＨ〜＋ＴＨ）を超える振幅の信号については除去されて出力されない非線形特性を備えている。ここに、図３は、第１の実施形態の場合と同様に、本発明に係るノイズ除去装置１００″における非線形処理回路１０７の非線形特性の一例を示すグラフである。また、図３の非線形特性における閾値ＴＨの値は、直交変換された（４×２）個の領域フレーム差分信号における８個の成分それぞれに最適な値（即ち、周波数領域上の各直交変換信号の振幅として、動き成分とノイズ成分との識別を可能とする閾値）が選択される。
【０１１８】
また、図３に示す非線形特性は、前述の図１５に示すように、入力信号の振幅が（−ＴＨ〜＋ＴＨ）の間にある場合には、正弦曲線（又はＳ字曲線又は任意の２次曲線）で規定される振幅の出力信号となるように非線形化され、範囲（−ＴＨ〜＋ＴＨ）を超える振幅の入力信号は除去されて出力されないような非線形特性を示すものを用いることもでき、非線形処理回路１０７における非線形特性は、本実施例に限定されるものではない。いずれにしても、非線形処理回路１０７により、予め選択されている閾値−ＴＨ以下あるいは＋ＴＨ以上の振幅を有する周波数成分は動き成分と判断されて除去される。即ち、閾値ＴＨは、周波数領域の各前記直交変換信号の振幅としてノイズ成分と動き成分との識別を可能とするように予め設定されている閾値であり、該閾値ＴＨを超えているか否かにより、各前記直交変換信号に対して施される信号処理内容が変更されることになる。
【０１１９】
非線形処理が施されてノイズ成分として抽出された８個の周波数成分は、直交逆変換回路１０８において、前述のアダマール変換の逆変換であるアダマール逆変換が施されて、周波数領域上のデータ（非線形信号）から元の実空間領域上のデータ（非線形信号）に復元される。
しかしながら、非線形処理回路１０７における非線形処理によるノイズ成分と動き成分との分離には、解決すべき課題として前述したごとく、限界があり、特に、ぼけたエッジが動いた時、あるいは、フェードイン映像、フェードアウト映像等の微小な動き成分も誤ってノイズ成分とされて含まれてしまうため、反って動画部分に残像を発生させる原因となっている。
【０１２０】
即ち、かくのごとき映像を輝度信号で考えた場合、ぼけたエッジが動いた時、あるいは、フェードイン映像、フェードアウト映像等であっても、最初の動き部分となる映像フレームにおいては、直前の映像フレームとの差分データ（領域フレーム差分信号）の振幅も大きくなり、直交変換処理及び非線形処理により、明確に動き成分として判定することができる場合も存在している。しかしながら、かかる場合であっても、後続する次の映像フレームにおいては、微小な動き成分として継続してくることとなり、差分データ（領域フレーム差分信号）の振幅が小さくなり、直交変換処理及び非線形処理によって、動き成分として判定することができず、誤ってノイズ成分として処理されてしまうこととなり、動画部分に残像となって現れる結果を招く。一方、静止部分などの映像については、常に、差分データ（領域フレーム差分信号）として小さい振幅が出力される場合には、ノイズ成分として判定されて、確実にノイズ除去処理が行なわれている。
【０１２１】
かかる特性に着目して、本実施形態においては、直列・並列変換回路１０５で切り出される（４×２）個の画素からなる領域フレーム差分信号に対して直交変換処理及び非線形処理を施すことにより抽出されたノイズ成分の候補と次フレームの領域フレーム差分信号とに基づいて生成されたノイズ判定信号（即ち、ノイズ成分の存在の有無を示す信号）を次フレームのノイズ判定信号と論理演算を行なうことにより、ノイズ成分の候補に含まれている微小な動き成分（例えば、ぼけたエッジが動いた時、あるいは、フェードイン映像、フェードアウト映像等における微小な動き成分）を確実に除去するために、ノイズ判定回路１１９と、第２のフレームメモリ１２０と、論理演算回路１２１とが新たに設けられている。
【０１２２】
ここで、ノイズ判定回路１１９は、直列・並列変換回路１０５から入力されてくる領域フレーム差分信号と、直交逆変換回路１０８から入力されてくる実空間領域上の非線形信号（即ち、ノイズ成分の候補を示す情報）とに基づいて、着目している対象画素がノイズ成分であるか否かを判定する手段を提供している。例えば、直列・並列変換回路１０５からの出力信号である領域フレーム差分信号と、直交逆変換回路１０８からの出力信号である実空間領域上の非線形信号とに基づいて、実空間領域上の非線形信号（即ち、ノイズ成分の候補を示す情報）として抽出された部分に該当する位置にある領域フレーム差分信号が、予め定められた閾値よりも小さい場合には、ノイズ成分であると判定して、ノイズ判定信号として「１」を出力し、一方、予め定められた該閾値以上である場合には、微小な動き成分であると判定して、ノイズ判定信号として「０」を出力する。出力されるノイズ判定信号は、論理演算回路１２１と第２のフレームメモリ１２０とに供給されるが、場合によっては、乗算回路１１３に直接供給することとしても良い。
【０１２３】
なお、前述した実施例においては、ノイズ判定回路１１９として、領域フレーム差分信号と実空間領域上の非線形信号とに基づいて、実空間領域上の非線形信号即ちノイズ成分の候補として抽出された部分に該当する領域フレーム差分信号の振幅によりノイズ成分か否かを判定するノイズ判定信号が生成される場合を示している。
しかしながら、本発明は、かかる場合のみに限るものではなく、例えば、ノイズ判定回路１１９において生成されるノイズ判定信号としては、実空間領域上の非線形信号として抽出された領域フレーム差分信号の振幅が、予め定められた閾値よりも小さいか否かに基づいて生成される場合のみに限らず、前記領域フレーム差分信号の符号情報（即ち、フレーム間の差分の演算結果である正負いずれかの符号）、あるいは、前記領域フレーム差分信号の傾き情報（即ち、前記領域フレーム差分信号における画素間の差分演算結果である正負いずれかの符号）、あるいは、前記領域フレーム差分信号の直交変換処理結果である周波数成分（即ち、直交変換回路１０６からの出力信号である直交変換信号の周波数分布）のいずれか１乃至複数を用いて生成することとしても良い。
【０１２４】
第２のフレームメモリ１２０においては、入力されてきたノイズ判定信号を１フレーム期間遅延させた遅延ノイズ判定信号を、論理演算回路１２１に対して出力する。
論理演算回路１２１は、ノイズ判定回路１１９から入力されてくる現映像フレームのノイズ判定信号と第２のフレームメモリ１２０から入力されてくる１フレーム前の遅延ノイズ判定信号（即ち、前回の映像フレームのノイズ判定信号）との論理積演算を行ない、フレーム間ノイズ情報として出力する。即ち、論理演算回路１２１においては、前回の映像フレームにおいても同一の画素位置においてノイズ成分の存在を検知している場合についてのみ、今回の映像フレームにおけるノイズ成分の存在を示すこととし、前回の映像フレームにおいて映像の動き成分として判定された画素位置については、今回の現映像フレームにおいては、ノイズ成分として出力してノイズ除去処理は行なわないようにするものであり、フレーム間の同一画素位置に連続してノイズ成分が存在している場合に限り、ノイズ成分が存在していることを示すフレーム間ノイズ情報が出力されるように構成されている。
【０１２５】
即ち、論理演算回路１２１から出力される該フレーム間ノイズ情報は、前回の映像フレームにおいて、映像の動き成分として判定された画素位置については、今回の現映像フレームにおいては、ノイズ成分として出力してノイズ除去処理は行なわないようにしており、ぼけたエッジが動いた後や、フェードイン映像、フェードアウト映像等において後続して残っている微小な動き成分による残像の発生を抑制するために、次段の帰還係数演算回路１２２に出力される。あるいは、場合によっては、ノイズ成分を演算する乗算回路１１３に直接出力することとしても良い。
【０１２６】
帰還係数演算回路１２２は、論理演算回路１２１から入力されてくるフレーム間ノイズ情報と、予め与えられている基準帰還量Ｋ １１２（０＜Ｋ＜１）とを乗算し、帰還係数ｋを求める。ここで、帰還係数ｋは、０≦ｋ＜１の範囲となるように、基準帰還量Ｋ １１２の値が予め設定されている。
【０１２７】
乗算回路１１３は、前述した直交逆変換回路１０８においてアダマール逆変換処理により、元の実空間領域上のデータに復元された非線形信号と、例えば前述の帰還係数演算回路１２２において演算された帰還係数ｋとを乗算することにより、最終的なノイズ成分を算出する。
乗算回路１１３において算出された該ノイズ成分は、第２の減算回路１０３に供給され、入力端子１０１から入力されてくる入力映像信号から減算されることにより、入力映像信号からノイズ成分が除去されて、出力映像信号として出力端子１１４から出力されると共に、第１のフレームメモリ１０４に一旦記憶して、１フレーム期間分遅延させることにより、次フレームの入力映像信号のフレーム差分信号を算出するために備える。
【０１２８】
かかるノイズ除去装置１００″の構成において、前述のフレーム間ノイズ情報が「０」の部分、即ち、ぼけたエッジが動いた時や、フェードイン映像、フェードアウト映像の映像部分の動き成分の場合においては、前述したごとく、例えば帰還係数ｋが「０」となり、乗算回路１１３から第２の減算回路１０３に供給される最終的なノイズ成分は０となる。而して、入力端子１０１から入力されてくる入力映像信号がそのまま出力映像信号として出力端子１１４から出力されることになり、例えば、図１３や図１４に示した従来技術のごとく、非線形処理だけでは除去することができないフレーム差分信号が小さい信号レベルとなる、ぼけたエッジが動いた時や、フェードイン映像、フェードアウト映像の動き成分が、誤ってノイズ成分として帰還されることがなく、かくのごとき映像における残像の発生を大幅に低減することが可能となる。
【０１２９】
図１２は、図１又は図６又は図１１に示すごときノイズ除去装置１００又は１００′又は１００″を備えている映像信号処理装置の一例を示す機能ブロック構成図である。ここに、図１２（Ａ）は、テレビ放送用のＮＴＳＣ信号をビデオテープに録画する映像信号処理装置の構成例を、また、図１２（Ｂ）は、撮像信号を記録媒体に記録する際の映像信号処理回路の構成例を、それぞれ映像信号処理装置の一例として示している。なお、図１２（Ａ）においては、映像信号の輝度信号成分に対してのみノイズ除去を行なう場合の構成を示しているが、本発明においては、かかる場合のみに限定されるものではなく、色信号に対するノイズ除去についても全く同様に適用することが可能である。
【０１３０】
まず、図１２（Ａ）に示す映像信号処理装置２００においては、入力端子２０１から入力されてくるＮＴＳＣ信号はＡ／Ｄ変換器２０２においてデジタル映像信号に変換された後、Ｙ／Ｃ分離回路２０３において、Ｙ信号（輝度信号）とＣ信号（クロマ信号即ち色差信号）とに分離される。分離されたＹ信号はＬＰＦ（ローパスフィルタ）２０４にて帯域制限された後、エンファシス回路２０５において高域成分が強調され、ノイズ除去装置１００（又は１００′又は１００″）に入力される。ノイズ除去装置１００（又は１００′又は１００″）においては、前述のごとく、映像信号中のＹ信号に含まれているノイズ成分が除去されて、ＦＭ変換器２０６に入力され、ノイズ成分が除去されたＦＭ信号に変換される。しかる後に、Ｄ／Ａ変換器２０７において、アナログ信号に変換されて、出力端子２０８からＦＭ輝度信号として出力される。
【０１３１】
一方、分離されたＣ信号は、デコーダ２０９において、Ｒ−Ｙ、Ｂ−Ｙのベースバンド信号に復調された後、クロマ処理回路２１０において色信号処理及びバーストエンファシス処理が施される。しかる後に、エンコーダ２１１において低域変換色信号に変換されて、ＬＰＦ（ローパスフィルタ）２１２を介して、Ｄ／Ａ変換器２１３においてアナログ信号に変換されて、出力端子２１４から低域変換色信号として出力される。出力端子２０８及び２１４から出力されてくるＦＭ輝度信号及び低域変換色信号は、加算器で加算処理がなされた後、記録アンプに送出されて、磁気ヘッドにはノイズ成分が除去された記録信号が伝達されることとなる。
【０１３２】
次に、図１２（Ｂ）に示す映像信号処理装置２５０について説明する。映像信号処理装置２５０においては、撮像光学系から入力端子２５１に入力されてくる光映像情報は、ＣＣＤ２５２にてデジタル電気信号に変換される。ＣＣＤ２５２から出力されるデジタル電気信号は、カメラ信号処理回路２５３において、記録用あるいはモニタ表示用の映像信号に変換されるが、ＣＣＤ２５２で発生しているランダムなノイズを除去するために、カメラ信号処理回路２５３の内部には前述したごときノイズ除去装置１００（又は１００′又は１００″）が内蔵されており、輝度信号（Ｙ信号）成分及びクロマ信号（Ｃ信号）成分との双方について、ノイズの除去を行なうように構成されている。しかる後に、ノイズが除去された映像信号に対して記録媒体２５５への記録を行なうための信号処理が記録信号処理回路２５４において施されて、記録媒体２５５に記録される。一方、モニタ装置２５７に表示する場合は、モニタ出力回路２５６においてモニタ出力用信号波形に変換されて、モニタ装置２５７に表示される。
【０１３３】
【発明の効果】
以上に説明したごとく、本発明に係るノイズ除去装置及びノイズ除去方法によれば、以下のごとき作用効果がもたらされる。
従来のノイズ除去装置におけるがごとく、非線形処理回路のみを用いた動き成分とノイズ成分との分離処理には限界があり、特に、フェードイン映像、フェードアウト映像や微細なグラデーション部分が動いた時あるいはぼけたエッジ部分が動いた時の動き成分を、誤ってノイズ成分として除去してしまい、かかる動き成分に対する残像の発生が問題となってしまう。しかしながら、本発明によれば、直列・並列変換より得られるフレーム差分信号の切り出し領域（即ち領域フレーム差分信号）の符号情報を用いて、フレーム差分符号情報を抽出すること、あるいは、フレーム差分信号の切り出し領域（即ち領域フレーム差分信号）の画素間の傾き情報を用いて、フレーム差分傾き情報を抽出すること、あるいは、直列・並列変換より得られるフレーム差分信号の切り出し領域（即ち領域フレーム差分信号）や、該領域フレーム差分信号の直交変換信号あるいは直交変換信号に対して非線形処理を施した後に直交逆変換により生成される実空間領域上の非線形信号（即ち、ノイズ成分の候補を示す信号）を用いて、ノイズ成分の存在の有無を判定すること、により、フェードイン映像、フェードアウト映像や微細なグラデーション部分が動いた映像を、あるいは、ぼけたエッジ部分が動いた画像をノイズ成分と分離させて検出することを可能としており、もって、かかる動き部分における残像の発生を低減させることにより、該動き部分における画質劣化を抑えると共に、静止領域においても、高いノイズ除去効果を達成することが可能である。
【図面の簡単な説明】
【図１】本発明に係るノイズ除去装置の構成に関する第１の実施形態の一例を示す機能ブロック構成図である。
【図２】直列・並列変換回路によりフレーム差分信号から切り出される（４×２）個の領域フレーム差分信号を説明するための模式図である。
【図３】本発明に係るノイズ除去装置における非線形処理回路の非線形特性の一例を示すグラフである。
【図４】本発明によるノイズ除去装置の第１の実施形態においてフレーム差分信号の符号情報を抽出する差分符号情報抽出回路の構成例を示す機能ブロック構成図である。
【図５】本発明によるノイズ除去装置の第１の実施形態においてフレーム差分符号情報を平滑化する平滑化回路の構成例を示す機能ブロック構成図である。
【図６】本発明に係るノイズ除去装置の構成に関する第２の実施形態の一例を示す機能ブロック構成図である。
【図７】本発明によるノイズ除去装置の第２の実施形態においてフレーム差分信号の傾き情報を抽出する差分傾き情報抽出回路の構成例を示す機能ブロック構成図である。
【図８】第２の実施形態における第２の直列・並列変換回路によりフレーム差分信号から切り出される（５×１）個の第２の領域フレーム差分信号を説明するための模式図である。
【図９】本発明によるノイズ除去装置の第２の実施形態においてフレーム差分傾き情報を平滑化する平滑化回路の構成例を示す機能ブロック構成図である。
【図１０】第２の実施形態における平滑化回路によりフレーム差分傾き情報から切り出される５個の画素対応分の領域を一例として説明するための模式図である。
【図１１】本発明に係るノイズ除去装置の構成に関する第３の実施形態の一例を示す機能ブロック構成図である。
【図１２】図１又は図６又は図１１に示すごときノイズ除去装置を備えている映像信号処理装置の一例を示す機能ブロック構成図である。
【図１３】従来のノイズ除去装置の構成を示す機能ブロック構成図である。
【図１４】アダマール変換を用いた従来のノイズ除去装置の構成を示す機能ブロック構成図である。
【図１５】従来例における非線形処理回路の非線形特性を示すグラフである。
【符号の説明】
１０…ノイズ除去装置、１１…入力端子、１２…第１の減算回路、１３…第２の減算回路、１４…フレームメモリ、１５…非線形処理回路、１６…出力端子、２０…ノイズ除去装置、２１…入力端子、２２…第１の減算回路、２３…第２の減算回路、２４…フレームメモリ、２５…直列・並列変換回路、２６…アダマール変換回路、２７…非線形処理回路、２８…アダマール逆変換回路、２９…出力端子、１００，１００′，１００″…ノイズ除去装置、１０１…入力端子、１０２…第１の減算回路、１０３…第２の減算回路、１０４…フレームメモリ（第１のフレームメモリ）、１０５…直列・並列変換回路（第１の直列・並列変換回路）、１０６…直交変換回路、１０７…非線形処理回路、１０８…直交逆変換回路、１０９…差分符号情報抽出回路、１０９ａ_-1〜１０９ａ_-8…入力端子、１０９ｂ_-1〜１０９ｂ_-8…符号判定回路、１０９ｃ…正符号カウンタ、１０９ｄ…負符号カウンタ、１０９ｅ…判定回路、１０９ｆ…出力端子、１１０…平滑化回路、１１０ａ…入力端子、１１０ｂ_-1〜１１０ｂ_-2…１サンプル遅延回路、１１０ｃ_-1〜１１０ｃ_-2…１ライン遅延回路、１１０ｄ…演算回路、１１０ｅ…出力端子、１１１…帰還係数演算回路、１１２…基準帰還量Ｋ、１１３…乗算回路、１１４…出力端子、１１５…第２の直列・並列変換回路、１１６…差分傾き情報抽出回路、１１６ａ_-1〜１１６ａ_-5…入力端子、１１６ｂ_-1〜１１６ｂ_-4…減算回路、１１６c_-1〜１１６ｃ_-4…符号判定回路、１１６ｄ…正符号カウンタ、１１６ｅ…負符号カウンタ、１１６ｆ…判定回路、１１６ｇ…出力端子、１１７…平滑化回路、１１７ａ…入力端子、１１７ｂ_-1〜１１７ｂ_-2…１サンプル遅延回路、１１７ｃ_-1〜１１７ｃ_-2…１ライン遅延回路、１１７ｄ…演算回路、１１７ｅ…出力端子、１１８…帰還係数演算回路、１１９…ノイズ判定回路、１２０…第２のフレームメモリ、１２１…論理演算回路、１２２…帰還係数演算回路、２００…映像信号処理装置、２０１…入力端子、２０２…Ａ／Ｄ変換器、２０３…Ｙ／Ｃ分離回路、２０４…ＬＰＦ（ローパスフィルタ）、２０５…エンファシス回路、２０６…ＦＭ変換器、２０７…Ｄ／Ａ変換器、２０８…出力端子、２０９…デコーダ、２１０…クロマ処理回路、２１１…エンコーダ、２１２…ＬＰＦ（ローパスフィルタ）、２１３…Ｄ／Ａ変換器、２１４…出力端子、２５０…映像信号処理装置、２５１…入力端子、２５２…ＣＣＤ、２５３…カメラ信号処理回路、２５４…記録信号処理回路、２５５…記録媒体、２５６…モニタ出力回路、２５７…モニタ装置。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a noise removal apparatus and a noise removal method, and more particularly to a noise removal apparatus that extracts and removes a noise component included in a video signal in a video signal processing apparatus, and a noise removal that realizes the noise removal apparatus. Regarding the method.
[0002]
[Prior art]
As a video signal, for example, various methods for improving the S / N of a video signal for television have already been proposed. As one of the S / N improvement methods, the video signal itself has a very strong frame correlation. There has been known a noise removing apparatus that uses the fact that noise has a weak frame correlation.
[0003]
FIG. 13 is a functional block configuration diagram showing a configuration of a conventional noise removing device. The noise removing apparatus 10 shown in FIG. 13 includes a frame memory 14 that outputs a frame delay signal by delaying the output video signal output to the output terminal 16 by one frame period, and an input video signal input from the input terminal 11. A first subtraction circuit 12 that calculates a difference from the frame delay signal output from the frame memory 14 and outputs a frame difference signal, and a non-linear process on the frame difference signal output from the first subtraction circuit 12 And outputs a nonlinear signal, and calculates a difference between the nonlinear signal output from the nonlinear processing circuit 15 and the input video signal input from the input terminal 11 and outputs the difference to the output terminal 16 A second subtracting circuit 13 for generating a video signal is connected as shown in FIG.
[0004]
FIG. 15 shows nonlinear characteristics of the nonlinear processing circuit 15 that performs nonlinear processing on the frame difference signal. That is, FIG. 15 is a graph showing nonlinear characteristics of the nonlinear processing circuit 15 in the conventional example. The non-linear characteristic as shown in FIG. 15 is a sine curve (or S-curve or arbitrary quadratic curve) when the amplitude of the frame difference signal as an input signal is within a range (−TH to + TH). It is shown that the non-linearization process is performed based on the value defined by, the input signal (frame difference signal) exceeding the range (−TH to + TH) is removed, and the output signal is not output.
[0005]
In the first subtraction circuit 12, as described above, the output video signal delayed from the input video signal input from the input terminal 11 by one frame period by the frame memory 14 (that is, the output video output from the output terminal 16). Signal) is subtracted to generate a frame difference signal. Here, the frame difference signal output from the first subtraction circuit 12 is a signal including an afterimage of a moving image portion (motion portion) included in the input video signal and a noise component.
[0006]
Of the frame difference signal, the afterimage level of the moving image portion (motion portion) is relatively high compared to the signal level of the noise component. Therefore, assuming that the threshold value for identifying both components is TH, the nonlinear characteristic shown in FIG. By applying the non-linear processing through the non-linear processing circuit 15 having the above, the afterimage of the moving image portion (motion portion) is removed, and only the noise component included in the input video signal input from the input terminal 11 can be extracted. . Accordingly, when the noise component extracted in the non-linear processing circuit 15 is subtracted from the current input video signal input from the input terminal 11 in the second subtraction circuit 13, the noise component included in the input video signal is obtained. Can be removed, and an output video signal containing no noise component can be obtained.
[0007]
In this way, the output video signal from which the noise component has been removed is output from the output terminal 16 and is temporarily stored in the frame memory 14 and delayed by one frame, thereby calculating a frame difference signal from the input video signal of the next frame. Prepare to do. However, when the input video signal is a still image, the noise removal apparatus 10 shown in FIG. 13 can improve the S / N satisfactorily. All afterimages of a moving image portion (motion portion) having a low signal level (that is, a signal level equal to or lower than the threshold value TH) are regarded as noise components. That is, an afterimage of a moving image portion (motion portion) with a low signal level that is equal to or less than the threshold TH is also extracted as a noise component from the nonlinear processing circuit 15, and a signal including the afterimage and the noise component of the moving image portion with a low signal level is extracted. Are output as nonlinear signals. As a result, the second subtracting circuit 13 removes not only a noise component but also a moving image portion (moving portion) having a small amplitude from the input video signal, and an afterimage of the moving image portion is generated. There's a problem.
[0008]
In order to solve the problem in the noise removal apparatus 10 shown in FIG. 13, a noise removal apparatus using Hadamard transform has been proposed as shown in FIG. 14 (see, for example, Patent Document 1 and Non-Patent Document 1). thing). FIG. 14 is a functional block configuration diagram showing the configuration of a conventional noise removing device using Hadamard transform. A noise removing device 20 using Hadamard transform shown in FIG. 14 includes a first subtracting circuit 22, a second subtracting circuit 23, a frame memory 24, a serial / parallel converting circuit 25, a Hadamard converting circuit 26, The nonlinear processing circuit 27 and the Hadamard inverse transformation circuit 28 are connected as shown in FIG.
[0009]
Here, the frame memory 24 delays the output video signal output to the output terminal 29 by one frame period, and outputs a frame delay signal. The first subtraction circuit 22 is input from the input terminal 21. The difference between the incoming video signal and the frame delay signal output from the frame memory 24 is calculated and a frame difference signal is output. The serial / parallel conversion circuit 25 is output from the first subtraction circuit 22. A serial / parallel cut-out means for performing serial-parallel conversion on a frame difference signal to cut out an input area and outputting the cut out (m × n) area frame difference signals, and a Hadamard transform circuit Reference numeral 26 denotes a Hadamard transform (that is, an orthogonal transform) for (m × n) region frame difference signals output from the serial / parallel conversion circuit 25. The
[0010]
The nonlinear processing circuit 27 performs nonlinear processing on the (m × n) region frame difference signals subjected to Hadamard transformation based on nonlinear characteristics as shown in FIG. 15 and outputs a nonlinear signal. The inverse transformation circuit 28 performs Hadamard inverse transformation on the nonlinear signal output from the nonlinear processing circuit 27 and outputs the nonlinear signal in the original real space region. The second subtraction circuit 23 The difference between the non-linear signal in the real space region output from the inverse conversion circuit 28 and the input video signal input from the input terminal 21 is calculated, and an output video signal output to the output terminal 29 is generated. .
In the following description, a case where a (4 × 2) -order Hadamard transform is applied will be described as an example of an (m × n) -order Hadamard transform.
[0011]
In the first subtraction circuit 22, as described above, the output video signal delayed from the input video signal input from the input terminal 21 by one frame period by the frame memory 24 (that is, the output video signal output from the output terminal 29). ) Is subtracted to generate a frame difference signal. Here, the frame difference signal output from the first subtraction circuit 22 is a signal including an afterimage of a moving image portion (motion portion) included in the input video signal and a noise component, as in the case of FIG. . The frame difference signal is input to the serial / parallel conversion circuit 25.
[0012]
In the serial / parallel conversion circuit 25, a serial-parallel conversion process is performed on the input frame difference signal to cut out (m × n) input areas, for example, as shown in FIG. , (4 × 2) input areas are cut out. The extracted (m × n), for example, (4 × 2) region frame difference signals are input to the Hadamard transform circuit 26 and subjected to Hadamard transform processing, whereby the data in the real space region is transformed into the frequency domain. Convert to data. Here, the conversion formula of the (4 × 2) -order Hadamard transformation applied this time in the Hadamard transformation circuit 26 is, for example, as shown in the following formula (1).
[0013]
[Formula 1]

[0014]
In general, afterimages of moving image portions (moving portions) have a strong correlation between adjacent positions, and thus appear in a concentrated manner in a specific frequency region. That is, it appears as data on a frequency region having a large amplitude. On the other hand, since the noise component has no correlation between adjacent positions, it is averaged over all frequency regions and appears as data on a frequency region having a small amplitude. Therefore, by determining the magnitude of the amplitude value of the (4 × 2) region frame difference signals converted to frequency domain data by the (4 × 2) -order Hadamard transform processing, the moving image portion (motion portion) Afterimages and noise components can be separated. The (4 × 2) region frame difference signals subjected to the Hadamard transform process are input to the nonlinear processing circuit 27.
[0015]
As shown in FIG. 15, an output signal having an amplitude corresponding to a sine curve is output only for an input signal having an amplitude level within a range (-TH to + TH) and exceeds the range (-TH to + TH). In the non-linear processing circuit 27 that performs non-linear processing on the input signal using non-linear characteristics that do not output any output signal for the input signal, the amplitude of the frequency domain in the afterimage of the moving image portion (motion portion) is a threshold value ( By setting a threshold value (−TH, + TH) so as to have a large amplitude exceeding −TH, + TH), the amplitude of the input (4 × 2) region frame difference signals after Hadamard transformation is set. Afterimage of a large moving image portion (motion portion) is removed, a non-linear signal consisting only of a noise component having a small amplitude can be output.
[0016]
As described above, by performing the Hadamard transform process, it becomes easier to distinguish the afterimage and the noise component of the moving image portion (moving portion) and extract the noise component than in the case of the noise removing device 10 shown in FIG. Become. Here, since the non-linear signal output from the non-linear processing circuit 27, that is, the noise component extracted by the non-linear processing circuit 27, is a frequency domain signal, the Hadamard inverse transform circuit 28 performs Hadamard inverse transform to perform real space domain. The signal is restored to the above noise component, and then the second subtraction circuit 23 subtracts the noise component from the input video signal from the input terminal 21 to obtain an output video signal that does not contain the noise component. be able to.
[0017]
Thus, the output video signal from which the noise component has been removed is output from the output terminal 29 and is also temporarily stored in the frame memory 24 and delayed by one frame, thereby calculating a frame difference signal from the input video signal of the next frame. Prepare to do. That is, according to the noise removing apparatus 20 shown in FIG. 14, in performing nonlinear processing for extracting a noise component, Hadamard transform is performed and a frequency domain signal is once obtained, so that the noise is also applied to the moving image portion. An output video signal from which components are removed can be output.
[0018]
However, even in the noise removal apparatus 20 using Hadamard transform, since the afterimage of the moving image portion (motion portion) and the noise component cannot be completely distinguished, the average of the above (m × n) input regions There is also disclosed a technique capable of reducing afterimages of moving image portions (motion portions) and extracting more noise components by controlling nonlinear processing using value or variance detection (for example, Patent Document 2). checking).
[0019]
[Patent Document 1]
JP-A-7-177391 (pages 5-6, FIG. 1)
[Patent Document 2]
JP 7-143363 A (page 3 to page 4, FIG. 1)
[Non-Patent Document 1]
Ebihara et al., “Noise Reducer of Television Signals Using Hadamard Transform”, Television Society Journal, Vol. 37,
No. 12 (1983), p. 1030-1036
[0020]
[Problems to be solved by the invention]
As described above, in the noise removing device 10 shown in FIG. 13 and the noise removing device 20 using the Hadamard transform shown in FIG. 14, the noise removal amount is determined by performing nonlinear processing anyway. For this reason, when the signal level difference between the noise component and the motion component is small, the afterimage of the moving image portion (motion portion) and the noise component cannot be completely distinguished, and particularly, fade-in video, fade-out video, When a fine gradation part moves or when a blurred edge part moves, it is removed from the input video signal as a noise component including such a motion component, and an afterimage is created in the video part (motion part). It had a problem of generating.
[0021]
Furthermore, in the conventional example described in Patent Document 2 described above, the motion amount is detected using the average value of the input area and the variance detection, but the level difference between the noise component and the motion component is small. However, since the afterimage of the moving image portion (moving portion) and the noise component cannot be accurately discriminated, they have the same problem as in the case of the noise removal device of FIG. 13 or FIG.
[0022]
The present invention has been made in view of such a situation. In addition to orthogonal transformation, the present invention extracts means for extracting code information of a frame difference signal or difference inclination information of a frame difference signal in a clipped region, or a predetermined value. Means for determining a noise component to be removed from a candidate for a noise component extracted by nonlinear processing after orthogonal transformation of a frame difference signal (region frame difference signal) cut out for each region and the cut out frame difference signal By providing a noise removing means including any one of the means, the fade-in video and the fade-out video still exist as problems even in the noise removing device using only orthogonal transform (for example, Hadamard transform) as in the prior art. Afterimage, or afterimage when a fine gradation part moves, or blurred Tsu to suppress the occurrence of an afterimage when a di-part is moved, it is to St. provide noise reduction apparatus and method for removing noise to be output video signal including no noise component.
[0023]
[Means for Solving the Problems]
According to a first aspect of the present invention, there is provided a frame delay signal generating means for outputting a frame delay signal obtained by delaying an output video signal output from the noise removing device by one frame period, and an input video signal input to the noise removing device. First subtracting means for subtracting the frame delay signal and outputting a frame difference signal, and the frame difference signal and the frame difference signal are each vertically scanned to a predetermined (n-1) line. For each of the n lines of signals obtained by delaying in the direction, arbitrary m pixels predetermined in the horizontal direction are cut out from the horizontal positions, and the (m × n) regions of the cut out area are extracted. Serial / parallel cutout means for cutting out and outputting the region frame difference signal, which is a frame difference signal, and (m × n) number of the region frame difference signals. Orthogonal transformation is performed on the orthogonal transformation means that decomposes each of the frequency components and outputs the result as an orthogonal transformation signal on the frequency domain, and performs non-linear processing suitable for each orthogonal transformation signal from the orthogonal transformation means, Non-linear processing means for outputting as a non-linear signal and orthogonal inverse transform processing that is inverse transform to the orthogonal transform means are performed on the non-linear signal that is an output signal from the non-linear processing means, so that the non-linearity on the frequency domain Orthogonal inverse transform means for restoring a signal to a non-linear signal in the original real space region, and (m × n) region frame difference signals, which are output signals from the serial / parallel cut-out means, between frames A frame difference code that extracts code information of a difference value and outputs frame difference code information generated based on the extracted (m × n) pieces of code information. The calculation result of the signal information extraction means, the frame difference code information that is an output signal from the frame difference code information extraction means, and the nonlinear signal in the real space region that is the output signal from the orthogonal inverse transform means Calculating means for outputting as a noise component; and second subtracting means for subtracting the noise component, which is an output signal from the calculating means, from the input video signal and outputting the subtracted noise as an output video symbol. It is characterized by making it the noise removal apparatus which is.
[0024]
According to a second aspect of the present invention, in the noise removal apparatus according to the first aspect, (m × n) region frames from which the frame difference code information generated by the frame difference code information extraction unit is extracted. Information indicating whether or not the code information of each difference signal is all in the same code, or a predetermined positive value for the code information of each of the extracted (m × n) region frame difference signals. The present invention is characterized in that a noise removing device that is information generated based on a ratio between a sign and a negative sign is used.
[0025]
According to a third aspect of the present invention, in the noise removal device according to the first or second aspect, the frame differential code information, which is an output signal from the frame differential code information extraction unit, is set for a predetermined number of pixels. The frame difference code information corresponding to the arbitrary number of pixels is cut out in the horizontal direction by delaying in the horizontal direction, and further, the horizontal scanning period is delayed in the vertical direction by the predetermined arbitrary number of lines. Thus, the frame difference code information corresponding to each pixel of the arbitrary number of lines in the vertical direction is cut out, and the frame difference code information that is an output signal from the frame difference code information extraction unit Each frame difference code information corresponding to the number of pixels and each frame difference code information corresponding to each pixel of any number of lines A smoothing unit configured to generate and output the smoothed frame difference code information as smoothed frame difference code information by calculation, and in order to output the noise component in the calculation unit, Instead of the frame difference code information that is the output signal from the frame difference code information extraction means, as one calculation variable for obtaining the calculation result with the nonlinear signal in the real space region that is the output signal from the inverse conversion means The noise removing apparatus uses the smoothed frame differential code information which is an output signal from the smoothing means.
[0026]
According to a fourth aspect of the present invention, in the noise removal apparatus according to the third aspect of the present invention, the smoothed frame difference code information, which is an output signal from the smoothing means, is multiplied by a reference feedback amount designated in advance. As a calculation variable for obtaining a calculation result with the non-linear signal in the real space region which is an output signal from the orthogonal inverse transform unit in the calculation unit. The noise removal device uses the feedback coefficient that is an output signal from the feedback coefficient calculation means instead of the smoothed frame differential code information that is an output signal from the smoothing means. Is.
[0027]
According to a fifth aspect of the present invention, there is provided a frame delay signal generating means for outputting an output video signal output from the noise removing device as a frame delay signal delayed by one frame period, and an input video signal input to the noise removing device. First subtracting means for subtracting the frame delay signal and outputting a frame difference signal, and the frame difference signal and the frame difference signal are each vertically scanned to a predetermined (n-1) line. For each of n lines of signals obtained by delaying in the direction, arbitrary m pixels predetermined in the horizontal direction are cut out from each horizontal position, and the frame difference signal of (m × n) regions is extracted. A first serial / parallel cut-out means for cutting out and outputting the first region frame difference signal, and the first serial / parallel cut-out means Orthogonal transformation means for performing orthogonal transformation on the (m × n) number of the first region frame difference signals that have been output, decomposing each into a plurality of frequency components, and outputting them as orthogonal transformation signals on the frequency domain; A non-linear processing unit that performs non-linear processing suitable for each of the orthogonal transform signals from the orthogonal transform unit and outputs as a non-linear signal, and an orthogonal inverse transform process that is an inverse transform to the orthogonal transform unit, from the non-linear processing unit An orthogonal inverse transform means for restoring the nonlinear signal in the frequency domain to the original nonlinear signal in the real space domain, and an output signal from the first subtractor. The frame differential signal and the y differential line obtained by delaying the frame differential signal in the horizontal scanning period in the vertical direction up to an arbitrary (y-1) line specified in advance. For each of the minute signals, arbitrary x pixels predetermined in the horizontal direction from each horizontal position are cut out, and a second region frame difference signal that is a frame difference signal of (x × y) regions is obtained. A second serial / parallel cutout unit that cuts out and outputs, and (x × y) second region frame difference signals cut out by the second serial / parallel cutout unit between adjacent pixel positions. By calculating the difference, the inclination information of the second region frame difference signal is extracted and output as frame difference inclination information, and the output signal from the frame difference inclination information extraction means A calculation result of the frame difference inclination information and the nonlinear signal on the real space region which is an output signal from the orthogonal inverse transform unit is output as a noise component. A noise removing device comprising: a computing means; and a second subtracting means for subtracting the noise component, which is an output signal from the computing means, from the input video signal and outputting the output video signal. It is characterized by doing.
[0028]
According to a sixth aspect of the present invention, in the noise removal apparatus according to the fifth aspect, (x × y) pieces of the second frame difference inclination information output from the frame difference inclination information extraction unit are extracted. Based on the information indicating whether or not the same code is obtained more than a predetermined threshold as the code information obtained by the difference calculation between the adjacent pixel positions of the region frame difference signal of the second region, the second region The present invention is characterized in that a noise removing device that is tilt information for determining the presence or absence of the tilt of the frame difference signal is provided.
[0029]
A seventh aspect of the present invention is the noise removing device according to the fifth or sixth aspect, wherein the frame difference inclination information that is an output signal from the frame difference inclination information extracting means is for a predetermined arbitrary number of pixels. The frame difference inclination information corresponding to the arbitrary number of pixels is cut out in the horizontal direction by delaying each in the horizontal direction, and further, the horizontal scanning period is delayed in the vertical direction by an arbitrary predetermined number of lines. Thus, the frame difference inclination information corresponding to each pixel of the arbitrary number of lines in the vertical direction is cut out, and the frame difference inclination information which is an output signal from the frame difference inclination information extracting means Each frame difference slope information corresponding to the number of pixels and each frame difference slope information corresponding to each pixel of any number of lines A smoothing unit configured to generate and output the smoothed frame difference tilt information as smoothed frame difference tilt information by calculation, and the calculation unit outputs the noise component in order to output the noise component; As one calculation variable for obtaining a calculation result with the nonlinear signal on the real space region that is an output signal from the inverse transform unit, instead of the frame difference tilt information that is an output signal from the frame difference tilt information extraction unit The noise removing apparatus uses the smoothed frame difference inclination information which is an output signal from the smoothing means.
[0030]
In an eighth aspect of the present invention, in the noise removal apparatus according to the seventh aspect, the smoothed frame difference slope information, which is an output signal from the smoothing means, is multiplied by a preliminarily designated reference feedback amount. As a calculation variable for obtaining a calculation result with the non-linear signal in the real space region which is an output signal from the orthogonal inverse transform unit in the calculation unit. The noise removal apparatus uses the feedback coefficient that is an output signal from the feedback coefficient calculation means instead of the smoothed frame difference inclination information that is an output signal from the smoothing means. Is.
[0031]
According to a ninth aspect of the present invention, there is provided a frame delay signal generating means for outputting an output video signal output from the noise removal device as a frame delay signal delayed by one frame period, and an input video signal input to the noise removal device from the input video signal. First subtracting means for subtracting the frame delay signal and outputting a frame difference signal, and the frame difference signal and the frame difference signal to a predetermined (n-1) line in the horizontal scanning period in the vertical direction, respectively. For each of the n lines of signals obtained by delaying to a predetermined time, arbitrary m pixels predetermined in the horizontal direction from each horizontal position are cut out, and the frame of the (m × n) regions cut out. A serial / parallel cutout unit that cuts out and outputs a region frame difference signal that is a difference signal, and (m × n) pieces of the region frame difference signal. Performing orthogonal transformation, orthogonally transforming means for respectively decomposing into a plurality of frequency components and outputting as orthogonal transform signals on the frequency domain, and applying non-linear processing suitable for each of the orthogonal transform signals from the orthogonal transform means, Non-linear processing means for outputting as a non-linear signal and orthogonal inverse transform processing that is inverse transform to the orthogonal transform means are performed on the non-linear signal that is an output signal from the non-linear processing means, so that the non-linearity on the frequency domain Orthogonal inverse transform means for restoring the signal to a non-linear signal in the original real space area, and the area frame difference signal which is an output signal from the serial / parallel cut-out means Out of The nonlinear signal on the real space region which is an output signal from the orthogonal inverse transform means Information indicating whether or not the region frame difference signal at a position corresponding to the extracted portion is smaller than a predetermined threshold, or code information indicating a difference between frames of the region frame difference signal, or , Generated using any one or more of slope information indicating a difference between pixels of the region frame difference signal or a frequency distribution of the orthogonal transform signal which is an output signal from the orthogonal transform means. Noise judgment signal The Outputs as a noise component a calculation result of the noise determination means to output, the noise determination signal that is the output signal from the noise determination means, and the nonlinear signal in the real space region that is the output signal from the orthogonal inverse transform means And a second subtracting means for subtracting the noise component, which is an output signal from the computing means, from the input video signal and outputting it as the output video signal. It is what.
[0033]
First 10 The invention of the above 9 In the noise removing device described above, the noise determination signal that is an output signal from the noise determination unit is delayed by one frame period and output as a delayed noise determination signal, and a delay noise determination signal generation unit that outputs the delayed noise determination signal from the noise determination unit By performing a logical operation process on the noise determination signal, which is an output signal, and the delay noise determination signal, which is an output signal from the delayed noise determination signal generation unit, noise components are continuously generated at the same pixel position between frames. Logical operation means for detecting whether or not it exists and outputting it as inter-frame noise information. In order to output the noise component in the calculation means, an output signal from the orthogonal inverse transform means is used. An output signal from the noise determination means is used as one calculation variable for obtaining a calculation result with the nonlinear signal in a certain real space region. Instead of the noise judgment signal is, it is characterized in that a noise removing device which uses the interframe noise information which is an output signal from said logic operation means.
[0034]
First 11 The invention of the above 10 In the noise removing apparatus according to the invention, feedback coefficient calculation means for calculating a feedback coefficient by multiplying the interframe noise information which is an output signal from the logic calculation means by a reference feedback amount designated in advance. And an output signal from the logic operation means as one operation variable for obtaining an operation result with the nonlinear signal on the real space region which is an output signal from the orthogonal inverse transform means in the operation means. Instead of the inter-frame noise information, a noise removing device using the feedback coefficient which is an output signal from the feedback coefficient calculating means is provided.
[0035]
First 12 According to the invention, horizontal scanning is performed from a frame differential signal obtained by subtracting a frame delay signal obtained by delaying an output video signal by one frame period from an input video signal to an arbitrary (n-1) line specified in advance. For each of the signals for n lines delayed in the vertical direction, any m pixels predetermined in the horizontal direction are cut out from each horizontal position, and a frame of (m × n) regions cut out. A non-linear process is performed on the orthogonal transform signal on the frequency domain obtained by performing the orthogonal transform process on the region frame difference signal, which is a difference signal, and decomposed into a plurality of frequency components, and is output as a non-linear signal. An orthogonal inverse transform process, which is an inverse transform to the orthogonal transform process, is performed on the nonlinear signal to restore the nonlinear signal in the original real space domain, and Frame information generated based on the extracted (m × n) code information by extracting code information of difference values between frames from each of the (m × n) region frame difference signals A noise removal method of outputting the calculation result of the difference code information and the nonlinear signal in the real space region as a noise component, subtracting the noise component from the input video signal, and outputting the result as the output video signal. It is characterized by this.
[0036]
First 13 The invention of the above 12 In the noise removal method according to the invention, the input frame difference code information is delayed in the horizontal direction by a predetermined number of pixels, respectively, so that each of the number of pixels in the horizontal direction is arbitrary. Each frame difference code corresponding to each pixel of any number of lines in the vertical direction by cutting out frame difference code information and further delaying in the vertical direction by a predetermined number of lines, respectively, in the horizontal scanning period Information is cut out, the frame difference code information that has been input, each frame difference code information for any number of the extracted pixels, and each frame difference code information corresponding to each pixel of any number of lines By calculating the smoothed frame difference code information as smoothed frame difference code information, A noise removal method using the smoothed frame difference code information instead of the frame difference code information as one calculation variable for obtaining a calculation result with the nonlinear signal in the real space region in order to output a noise component It is characterized by that.
[0037]
First 14 According to the invention, horizontal scanning is performed from a frame differential signal obtained by subtracting a frame delay signal obtained by delaying an output video signal by one frame period from an input video signal to an arbitrary (n-1) line specified in advance. For each of the signals for n lines delayed in the vertical direction, any m pixels predetermined in the horizontal direction are cut out from each horizontal position, and a frame of (m × n) regions cut out. A non-linear signal is obtained by performing non-linear processing on the orthogonal transform signal in the frequency domain, which is obtained by performing orthogonal transform processing on the first region frame difference signal, which is a difference signal, and decomposed into a plurality of frequency components. When the output signal is subjected to an orthogonal inverse transform process that is an inverse transform of the orthogonal transform process, the nonlinear signal is restored to the original real space domain. , Each of the signals for y lines delayed in the vertical direction from the frame difference signal to an arbitrary (y-1) line specified in advance in the vertical direction is determined in advance from each horizontal position in the horizontal direction. By cutting out any given x pixels and calculating the difference between adjacent pixel positions of the second region frame difference signal that is the frame difference signal of the extracted (x × y) regions, A calculation result of the frame difference inclination information indicating the inclination information of the extracted second area frame difference signal and the nonlinear signal in the real space area is output as a noise component, and the noise component is output from the input video signal. Is a noise removal method of outputting the output video signal as the output video signal.
[0038]
First 15 The invention of the above 14 In the noise removal method according to the invention, each of the number of pixels in the horizontal direction is delayed by horizontally delaying the input frame difference inclination information by a predetermined number of pixels. The frame difference inclination information corresponding to each pixel of the arbitrary number of lines in the vertical direction by cutting out the frame difference inclination information and further delaying in the vertical direction by a predetermined arbitrary number of lines respectively. Cut out the information, the frame difference inclination information that has been input, each of the frame difference inclination information for any number of the extracted pixels, and each of the frame difference inclination information corresponding to each pixel of any number of lines By calculating, the smoothed frame difference inclination information is generated as the smoothed frame difference inclination information, A noise removal method using the smoothed frame difference gradient information instead of the frame difference gradient information as one calculation variable for obtaining a calculation result with the nonlinear signal in the real space region in order to output a noise component It is characterized by that.
[0039]
First 16 According to the invention, horizontal scanning is performed from a frame differential signal obtained by subtracting a frame delay signal obtained by delaying an output video signal by one frame period from an input video signal to an arbitrary (n-1) line specified in advance. For each of the signals for n lines delayed in the vertical direction, any m pixels predetermined in the horizontal direction are cut out from each horizontal position, and a frame of (m × n) regions cut out. A non-linear process is performed on the orthogonal transform signal on the frequency domain obtained by performing the orthogonal transform process on the region frame difference signal, which is a difference signal, and decomposed into a plurality of frequency components, and is output as a non-linear signal. An orthogonal inverse transform process, which is an inverse transform to the orthogonal transform process, is performed on the nonlinear signal to restore the nonlinear signal in the original real space domain, and The presence / absence of a noise component is determined and output based on either the (m × n) output region frame difference signals and the nonlinear signal or the orthogonal transform signal in the real space region. Noise judgment signal, It is determined whether or not a noise component is continuously present at the same pixel position between frames by performing a logical operation process of the delayed noise determination signal obtained by delaying the noise determination signal by one frame period and the noise determination signal. Generate inter-frame noise information to be detected, and the inter-frame noise information A calculation result with the non-linear signal in the real space region is output as a noise component, and the noise component is subtracted from the input video signal and output as the output video signal.
[0041]
Thus, the first to the first 16 According to the invention described in any one of the inventions, it is possible to reduce the afterimage of the fade-in image or the fade-out image, the afterimage when the fine gradation portion moves, or the afterimage when the blurred edge portion moves. Or by detecting the motion component of fade-in video and fade-out video separately from the noise component when the blurred edge moves, reducing the occurrence of afterimage of such motion part, Accordingly, it is possible to suppress image quality deterioration in such a moving portion and to achieve a high noise removal effect even in a still region.
[0042]
In the noise removal apparatus 100 shown in FIG. 1, an input video signal input from the input terminal 101 is supplied as one input in each of the first subtraction circuit 102 and the second subtraction circuit 103. Here, as in the case of the noise removal device 20 shown in FIG. 14, the first subtraction circuit 102 outputs an output output from the noise removal device 100 from an input video signal input to the noise removal device 100. Subtracting the frame delay signal obtained by delaying the video signal by one frame, and constituting a first subtraction means for outputting as a frame difference signal, and the second subtraction circuit 103, from the input video signal, A second subtracting unit that subtracts a noise component (details will be described later) extracted in the noise removing apparatus 100 is configured.
[0043]
The output of the second subtracting circuit 103 is output as an output video signal from the output terminal 114 to the next stage circuit as well as in the case of the noise removing device 20 shown in FIG. The Here, the frame memory 104 constitutes a frame delay signal generating means for outputting a frame delay signal obtained by delaying the output video signal output from the noise removing apparatus 100 by one frame period.
[0044]
The frame delay signal output from the frame memory 104 and delayed by one frame period is supplied to the first subtracting circuit 102, subjected to subtraction processing with the input video signal, and converted into a serial / parallel conversion as a frame difference signal. This is supplied to the circuit 105.
Here, the serial / parallel conversion circuit 105 includes n frame lines obtained by delaying the frame difference signal and the frame difference signal in the horizontal scanning period in the vertical direction up to an arbitrary (n−1) line specified in advance. For each of the signals, any m pixels predetermined in the horizontal direction from each horizontal position are cut out, and a region frame difference signal that is a frame difference signal of (m × n) regions is cut out and output in series. -Constructs parallel cutout means.
[0045]
In the serial / parallel conversion circuit 105, serial-parallel conversion processing is performed on the input frame difference signal, and (m × n) region frame difference signals cut out, (4 × 2 in this embodiment). ) Region frame difference signals are output and supplied to the orthogonal transform circuit 106 and the difference code information extraction circuit 109. The (4 × 2) region frame difference signals supplied to the orthogonal transformation circuit 106 are subjected to orthogonal transformation processing to be converted into (4 × 2) region frame difference signals on the frequency domain, and nonlinear processing is performed. This is supplied to the circuit 107.
[0046]
Here, the orthogonal transform circuit 106 performs an orthogonal transform process on (m × n), for example, (4 × 2) region frame difference signals, and decomposes them into a plurality of frequency components to orthogonally transform them in the frequency domain. An orthogonal transform means for outputting as a transform signal is configured, and the differential code information extraction circuit 109 outputs (m × n), for example, (4 × 2) region frame differences that are output signals from the serial / parallel transform circuit 105. Frame difference code information extraction means for extracting code information of difference values between frames from each of the signals and outputting frame difference code information generated based on the extracted (m × n) pieces of code information is doing. Further, the non-linear processing circuit 107 constitutes non-linear processing means that performs non-linear processing suitable for each orthogonal transform signal from the orthogonal transform circuit 106 and outputs it as a non-linear signal.
[0047]
In the non-linear processing circuit 107, as described above, non-linear processing is performed on the supplied (4 × 2) region frame difference signals on the frequency domain and output as a non-linear signal on the frequency domain. . The output nonlinear signal in the frequency domain is supplied to the orthogonal inverse transform circuit 108, subjected to orthogonal inverse transform processing, restored to the original nonlinear signal in the real space domain, and then input to one of the multiplication circuits 113. Supplied as Here, the orthogonal inverse transform circuit 108 performs an orthogonal inverse transform process, which is an inverse transform on the orthogonal transform circuit 106, on the nonlinear signal that is an output signal from the nonlinear processing circuit 107, so that the nonlinear signal on the frequency domain is obtained. Orthogonal inverse transforming means for restoring the signal to the original nonlinear signal in the real space region is configured.
The multiplication circuit 113 also outputs an output signal of any one of the differential code information extraction circuit 109, the smoothing circuit 110, and the feedback coefficient calculation circuit 111, which will be described later, on the real space region that is an output signal from the orthogonal inverse transform circuit 108. The calculation means which outputs the calculation result with a nonlinear signal as a noise component is comprised.
[0048]
On the other hand, from the (4 × 2) region frame difference signals supplied to the difference code information extraction circuit 109, frame difference code information, which is the code information of the difference value between each frame, is extracted and supplied to the smoothing circuit 110. The frame difference code information is smoothed and supplied to the feedback coefficient calculation circuit 111 as a smoothed signal, ie, smoothed frame difference code information. Here, the smoothing circuit 110 delays the frame difference code information, which is an output signal from the difference code information extraction circuit 109, in the horizontal direction up to an arbitrary predetermined number of pixels, respectively, so that any of the above-described horizontal difference code information can be obtained. Corresponding to each pixel of any number of lines in the vertical direction by cutting out each frame difference code information for the number of pixels and further delaying in the vertical direction for each predetermined number of lines in the horizontal scanning period Each frame difference code information to be cut out, the frame difference code information that is an output signal from the difference code information extraction circuit 109, each frame difference code information corresponding to any number of extracted pixels, and any number of lines The frame difference code information smoothed by calculating each frame difference code information corresponding to each pixel of The constitutes a smoothing means for generating and outputting a smoothed frame difference code information.
[0049]
In the feedback coefficient calculation circuit 111, a feedback coefficient k for the smoothed smoothed frame difference code information is obtained by calculation based on the supplied smoothed signal, that is, the smoothed frame difference code information and the reference feedback amount K112. This is supplied to the multiplication circuit 113. That is, the feedback coefficient calculation circuit 111 multiplies the smoothed signal that is an output signal from the smoothing circuit 110, that is, the smoothed frame difference code information, and the reference feedback amount K 112 specified in advance. A feedback coefficient calculating means for calculating the feedback coefficient k is configured. In some cases, as described above, the frame difference code information extracted by the difference code information extraction circuit 109 may be directly supplied to the multiplication circuit 113 instead of the feedback coefficient k, or smoothing may be performed. The smoothed signal smoothed by the smoothing circuit 110, that is, smoothed frame difference code information may be supplied.
[0050]
As described above, the frame difference code information from the difference code information extraction circuit 109 or the smoothed signal smoothed by the smoothing circuit 110, that is, the smoothed frame difference code information or the feedback coefficient k from the feedback coefficient calculation circuit 111 In the multiplication circuit 113 that constitutes a calculation means for outputting a calculation result of any one of them and a non-linear signal in the real space domain inputted from the orthogonal inverse transformation circuit 108 as a noise component, the multiplication circuit 113 is supplied from the orthogonal inverse transformation circuit 108. The calculation result obtained by multiplying the original non-linear signal in the real space region by, for example, the feedback coefficient k supplied from the feedback coefficient calculation circuit 111 is sent to the second subtraction circuit 103 as a noise component. Supply. In the second subtracting circuit 103, the noise component, which is the output signal from the multiplication circuit 113, is subtracted from the input video signal from the input terminal 101, and output from the output terminal 114 as an output video signal from which the noise component has been removed. Is done.
[0051]
Each component configured as described above operates as follows.
The first subtraction circuit 102 subtracts an input video signal input from the input terminal 101 and a frame delay signal obtained by delaying the output video signal, which is an output signal from the frame memory 104, by one frame period, thereby obtaining a frame difference. Get a signal. The frame difference signal includes a noise component and a motion component as described in the above-described prior art. The frame difference signal is input to the serial / parallel conversion circuit 105.
The serial / parallel conversion circuit 105 is configured so that the input frame difference signal and the delayed frame difference signal on the delay line delayed in the vertical direction by one horizontal scanning period, for example, in the horizontal direction with respect to each line. Four pixels are cut out, and (4 × 2) area frame difference signals composed of input areas of (4 × 2) pixels are output.
[0052]
FIG. 2 is a schematic diagram for explaining (4 × 2) region frame difference signals cut out from the frame difference signal by the serial / parallel conversion circuit 105, and each of the frame difference signal and the delayed frame difference signal is 2 respectively. This shows a state in which four pixels (Xi0, Xi1, Xi2, Xi3) (here, i = 0 and 1), that is, a total of (4 × 2) 8 pixels are cut out from the line. .
The orthogonal transform circuit 106 receives (4 × 2) region frame difference signals composed of (4 × 2) pixels output from the serial / parallel conversion circuit 105 as input, and (4 × 2) -order Hadamard transform. To convert (4 × 2) region frame difference signals on the real space region into data on eight frequency regions. Here, as the (4 × 2) -order Hadamard transform, for example, an orthogonal transform process is performed according to the formula (1) described as the prior art. Eight frequency components obtained by the Hadamard transform (that is, (4 × 2) region frame difference signals orthogonally transformed by the Hadamard transform) are supplied to the nonlinear processing circuit 107.
[0053]
In the present embodiment, for example, as shown in FIG. 3, the nonlinear processing circuit 107 is a signal that is linear, that is, proportional to the input signal if the input signal has a signal amplitude of (−TH to + TH). Is output, and a signal having an amplitude exceeding the range (-TH to + TH) is removed and has a non-linear characteristic that is not output. FIG. 3 is a graph showing an example of the nonlinear characteristic of the nonlinear processing circuit 107 in the noise removing apparatus 100 according to the present invention. Further, the value of the threshold TH in the nonlinear characteristic of FIG. 3 is an optimum value for each of the eight components in the orthogonally transformed (4 × 2) region frame difference signals (that is, each orthogonal transform signal in the frequency domain). Is selected as a threshold value that enables discrimination between a motion component and a noise component.
[0054]
Further, as shown in FIG. 15, the nonlinear characteristic shown in FIG. 3 is a sine curve (or S-curve or any secondary) when the amplitude of the input signal is between (−TH to + TH). Curve) and non-linear characteristics such that an input signal with an amplitude exceeding the range (-TH to + TH) is removed and not output can be used. The nonlinear characteristic in the nonlinear processing circuit 107 is not limited to this embodiment. In any case, the non-linear processing circuit 107 determines that a frequency component having an amplitude that is less than or equal to a previously selected threshold value −TH or greater than + TH is a motion component and removes it. That is, the threshold value TH is a threshold value set in advance so as to enable discrimination between a noise component and a motion component as the amplitude of each orthogonal transform signal in the frequency domain, and depends on whether or not the threshold value TH is exceeded. The signal processing content applied to each of the orthogonal transform signals is changed.
[0055]
The eight frequency components extracted as noise components after being subjected to nonlinear processing are subjected to Hadamard inverse transformation, which is the inverse transformation of the Hadamard transformation described above, in the orthogonal inverse transformation circuit 108 to obtain data on the frequency domain (nonlinear Signal) is restored to the original data (nonlinear signal) in the real space region.
However, the separation of the noise component and the motion component by the non-linear processing in the non-linear processing circuit 107 has a limit as described above as a problem to be solved. In particular, a fade-in video, a fade-out video, and a fine gradation portion move. In addition, a minute motion component such as a video image is mistakenly included as a noise component, which causes a residual image in a moving image portion.
[0056]
When a video like this is considered as a luminance signal, the luminance signal of the entire video of the fade-in video gradually increases for each frame. Therefore, (4 × 2) pieces cut out by the serial / parallel conversion circuit 105 are used. The sign information of the region frame difference signal composed of the pixels is aligned with the positive sign. On the other hand, since the luminance signal of the entire video of the fade-out video gradually decreases for each frame, the sign information of the area frame difference signal composed of (4 × 2) pixels is aligned with the negative code. Similarly, even when a fine gradation video moves, the luminance signal in the gradation video area increases or decreases in a certain direction, so that the code information of the area is aligned with a positive code or a negative code.
[0057]
As described above, if the code information of the frame difference signal of the region composed of (4 × 2) pixels cut out by the serial / parallel conversion circuit 105 is extracted, fade-in video, fade-out video, fine gradation portion However, it can be detected as a moving image portion.
In order to make it possible to detect such code information, in the present invention, it is code information for each of the region frame difference signals composed of (4 × 2) pixels cut out by the serial / parallel conversion circuit 105. In order to extract the frame differential code information, a differential code information extraction circuit 109 is newly provided.
[0058]
FIG. 4 is a block configuration diagram showing an example of a more detailed internal configuration of the differential code information extraction circuit 109 in FIG. 1, and the frame difference in one embodiment (first embodiment) of the noise removal apparatus 100 according to the present invention. It is a functional block diagram which shows the structural example of the difference code information extraction circuit 109 which extracts the code information of a signal. In FIG. 4, the input terminal 109a _-1 ~ 109a _-8 The frame difference signals composed of (4 × 2) pixels from the serial / parallel conversion circuit 105 input from the signal are respectively transmitted to the code determination circuit 109b. _-1 ~ 109b _-8 Is input. Sign determination circuit 109b _-1 ~ 109b _-8 Each of the above operates in the following manner in accordance with each input frame difference signal. When the sign information of the frame difference signal of the input signal is positive, “1” is output to the positive sign counter 109c, and “0” is output to the negative sign counter 109d. On the other hand, when the sign information of the frame difference signal of the input signal is negative, “0” is output to the positive sign counter 109c and “1” is output to the negative sign counter 109d. Further, when the frame difference signal of the input signal is “0”, both “0” are output to the positive sign counter 109c and the negative sign counter 109d.
[0059]
Thus, the positive sign counter 109c and the negative sign counter 109d are respectively connected to the sign determination circuit 109b. _-1 ~ 109b _-8 The total value of the positive and negative numbers, which are output from, is output to the determination circuit 109e. The determination circuit 109e operates as follows based on the output results of the positive sign counter 109c and the negative sign counter 109d. If either the output of the positive sign counter 109c or the output of the negative sign counter 109d is “0”, “0” is output; otherwise, “1” is output. Like that. In the differential code information extraction circuit 109 configured as described above, the region frame differential signal composed of (4 × 2) pixels input as the frame differential code information is all “0”. If the signs of the area frame difference signals are all positive or negative, the frame difference sign information that is “0” is output from the output terminal 109f. When the codes of the frame difference signals are not complete or all are “0”, the frame difference code information of “1” is output from the output terminal 109f.
[0060]
In the above description of the differential code information extraction circuit 109 shown in FIG. 4, as an example, the case where all the codes of the input region frame differential signal composed of (4 × 2) pixels are detected is detected. The frame difference code information is output as “0”, but the present invention is not limited to this case, and (4 × 2) pixels of the region frame difference signal that is the input signal Of these, even if the signs of the signals at only one place are different, the frame difference code information may be output as “0”, or (4) of the area frame difference signal that is the input signal. X2) By comparing the ratio of the positive sign and the negative sign of each pixel with a predetermined reference ratio, the output values “0” and “1” of the frame difference code information are determined. You may configure In other words, the frame difference information generated by the difference code information extraction circuit 109 indicates whether or not the code information of each of the extracted (m × n) region frame difference signals is aligned with the same code. Either information or information generated based on a ratio of a positive code and a negative code determined in advance with respect to the code information of each of the extracted (m × n) region frame difference signals may be used. .
[0061]
Also, the size (for example, (4 × 2) pixels) of the input region frame difference code information region is cut out by the serial / parallel conversion circuit 105 in the embodiment shown in FIG. It is not limited to only 4 × 2) areas, and any size area may be cut out and used in the serial / parallel converter circuit 105.
[0062]
The frame difference code information that is the output of the difference code information extraction circuit 109 is input to the smoothing circuit 110 shown in FIG. 1 as described above. In the case of a fade-in video, a fade-out video, or a video in which a fine gradation portion is moved, each code of the region frame difference signal in only one region composed of the extracted (4 × 2) pixels. It is very rare that all the frame frame code information of the area frame difference signal is complete and the frame difference code information is “0”. It is. Therefore, the smoothing circuit 110 detects whether or not the codes of the region frame difference signals are aligned even in the peripheral portion of the region where the codes of the region frame difference signals are aligned. An isolated region where the codes of the frame difference signal are aligned, that is, an isolated point where the frame difference code information is “0” at only one place is removed as a noise component.
[0063]
FIG. 5 is a block diagram showing an example of a more detailed internal configuration of the smoothing circuit 110 shown in FIG. 1. In one example (first embodiment) of the noise removal apparatus 100 according to the present invention, frame difference code information is shown. It is a functional block block diagram which shows the structural example of the smoothing circuit 110 which smoothes. The frame differential code information input from the differential code information extraction circuit 109 to the input terminal 110a is the 1-sample delay circuit 110b. _-1 ~ 110b _-(x-1) Are generated as x horizontal delay signals delayed in the horizontal direction (ie, cut out). Further, the generated x horizontal delay signals are converted into a one-line delay circuit 110c. _-1 ~ 110c _-(y-1) Are generated as y-delayed vertical delay signals that are delayed in the vertical direction (ie, cut out).
[0064]
Each one-sample delay circuit 110b _-1 ~ 110b _-(x-1) X horizontal delay signals generated by delaying and 1-line delay circuit 110c _-1 ~ 110c _-(y-1) The y vertical delay signals generated by being delayed by the above are input to the arithmetic circuit 110d together with the input frame differential code information. In the present embodiment shown in FIG. 5, a one-sample delay circuit 110b _-1 ~ 110b _-2 2 and 1 line delay circuit 110c _-1 ~ 110c _-2 The case where two are used is shown. The arithmetic circuit 110d outputs, as smoothed smoothed frame difference code information, a maximum value obtained by summing up the frame difference code information including not only the frame difference code information of the input area but also the surrounding area. It is output from the terminal 110e, and “0” is output from the output terminal 110e only when all the frame differential code information is “0”. Thus, in the smoothing circuit 110, when there is an isolated state that is a noise component and has all the signs of the region frame difference signals only in the input region, the isolated point Can be effectively removed as a noise component.
[0065]
In addition, in the arithmetic circuit 110d of the smoothing circuit 110 described above, for example, not only the frame difference code information of the input area but also each of the extracted peripheral areas including the extracted peripheral area are included. The maximum value obtained by summing the frame difference code information is output as smoothed smoothed frame difference code information. However, the present invention is not limited to such a case, and is an average value. Or, based on the distribution of each frame differential code information, for example, the output value may be calculated using a logic circuit that is determined from the ratio of “0” and “1”. good.
[0066]
The feedback coefficient calculation circuit 111 multiplies the smoothed smoothed frame difference code information input from the smoothing circuit 110 by a reference feedback amount K 112 (0 <K <1) given in advance. Find the feedback coefficient k. Here, the value of the reference feedback amount K 112 is set in advance so that the feedback coefficient k is in the range of 0 ≦ k <1.
[0067]
The multiplication circuit 113 performs a non-linear signal restored to data in the original real space region by Hadamard inverse transform processing in the orthogonal inverse transform circuit 108 described above, and a feedback coefficient k calculated in the feedback coefficient arithmetic circuit 111 described above, for example. To calculate the final noise component.
The noise component calculated in the multiplication circuit 113 is supplied to the second subtraction circuit 103 and is subtracted from the input video signal input from the input terminal 101, whereby the noise component is removed from the input video signal. In addition to being output from the output terminal 114 as an output video signal, it is temporarily stored in the frame memory 104 and prepared for calculating a frame difference signal of the input video signal of the next frame by delaying it by one frame period.
[0068]
In the configuration of the noise removal apparatus 100, a motion component of a portion in which the frame difference code information and the smoothed frame difference code information are “0”, that is, a fade-in image, a fade-out image, and a video portion in which a fine gradation portion is moved. In this case, as described above, for example, the feedback coefficient k is “0”, and the final noise component supplied from the multiplication circuit 113 to the second subtraction circuit 103 is zero. Thus, the input video signal input from the input terminal 101 is output as it is from the output terminal 114 as an output video signal. For example, as in the prior art shown in FIGS. 13 and 14, only nonlinear processing is performed. In this case, fade-in video, fade-out video with a low signal level that cannot be removed, and motion components when a fine gradation part moves are not erroneously fed back as noise components. It is possible to greatly reduce the occurrence of afterimages in the video.
[0069]
Next, a second embodiment relating to a noise removing device and a noise removing method according to the present invention will be described.
FIG. 6 is a functional block configuration diagram showing an example of the second embodiment relating to the configuration of the noise removing device according to the present invention. In the present embodiment, the case where (4 × 2) -order Hadamard transform is applied as orthogonal transform will be described as an example.
The noise removal apparatus 100 ′ in this embodiment includes a first subtraction circuit 102, a second subtraction circuit 103, a frame memory 104, a first series / parallel conversion circuit 105, an orthogonal transformation circuit 106, a non-linearity. A processing circuit 107, an orthogonal inverse transformation circuit 108, a second serial / parallel transformation circuit 115, a difference gradient information extraction circuit 116, a smoothing circuit 117, a feedback coefficient calculation circuit 118, and a reference feedback amount K 112 The multiplication circuit 113 is connected as shown in FIG.
[0070]
In the noise removal apparatus 100 ′ shown in FIG. 6, the input video signal input from the input terminal 101 is supplied as one input in each of the first subtraction circuit 102 and the second subtraction circuit 103. Here, as in the case of the noise removing device 20 shown in FIG. 14, the first subtracting circuit 102 is output from the noise removing device 100 ′ from the input video signal input to the noise removing device 100 ′. And subtracting the frame delay signal obtained by delaying the output video signal by one frame and outputting the result as a frame difference signal. The second subtraction circuit 103 includes the input video signal. Thus, a second subtracting means for subtracting a noise component (details will be described later) extracted in the noise removing apparatus 100 ′ is configured.
[0071]
The output of the second subtracting circuit 103 is output as an output video signal from the output terminal 114 to the next stage circuit as well as in the case of the noise removing device 20 shown in FIG. The Here, the frame memory 104 constitutes a frame delay signal generating means for outputting a frame delay signal obtained by delaying the output video signal output from the noise removing device 100 ′ by one frame period.
[0072]
The frame delay signal output from the frame memory 104 and delayed by one frame period is supplied to the first subtraction circuit 102, subjected to a subtraction process with the input video signal, and a first serial signal as a frame difference signal. The power is supplied to the parallel conversion circuit 105 and the second serial / parallel conversion circuit 115.
Here, the first serial / parallel conversion circuit 105 is preliminarily designated with a frame difference signal in order to perform nonlinear processing on the frame difference signal and the signal level of the frame difference signal in an arbitrary region of the frame difference signal. Arbitrary m pixels predetermined in the horizontal direction from each horizontal position for each of the signals for n lines obtained by delaying in the vertical direction to each arbitrary (n-1) line. And a first serial / parallel cut-out means for cutting out and outputting an area frame difference signal that is a frame difference signal of (m × n) areas.
[0073]
In addition, the second serial / parallel conversion circuit 115 detects a frame difference signal and an inclination of the frame difference signal in an arbitrary region of the frame difference signal. -1) For each signal of y lines obtained by delaying each line up to the horizontal scanning period in the vertical direction, arbitrary x pixels predetermined in the horizontal direction are cut out from each horizontal position, and (xx y) The second serial / parallel cut-out means for cutting out and outputting the region frame difference signal which is the frame difference signal of the number of regions is configured.
[0074]
In the first serial / parallel conversion circuit 105, serial-parallel conversion processing is performed on the input frame difference signal, and (m × n) first region frame difference signals cut out, in this embodiment, (4 × 2) first region frame difference signals are output and supplied to the orthogonal transformation circuit 106. The (4 × 2) first region frame difference signals supplied to the orthogonal transformation circuit 106 are subjected to orthogonal transformation processing, and (4 × 2) first region frame difference signals on the frequency domain. And supplied to the non-linear processing circuit 107.
[0075]
Here, the orthogonal transform circuit 106 performs orthogonal transform processing on (m × n), for example, (4 × 2) first region frame difference signals, and decomposes them into a plurality of frequency components, respectively. Further, the non-linear processing circuit 107 outputs non-linear processing means that performs non-linear processing suitable for each orthogonal transform signal from the orthogonal transform circuit 106 and outputs it as a non-linear signal. It is composed.
[0076]
In the non-linear processing circuit 107, as described above, non-linear processing is performed on the supplied (4 × 2) first region frame difference signals on the frequency domain to obtain a non-linear signal on the frequency domain. Is output. The output nonlinear signal in the frequency domain is supplied to the orthogonal inverse transform circuit 108, subjected to orthogonal inverse transform processing, restored to the original nonlinear signal in the real space domain, and then input to one of the multiplication circuits 113. Supplied as Here, the orthogonal inverse transform circuit 108 performs an orthogonal inverse transform process, which is an inverse transform on the orthogonal transform circuit 106, on the nonlinear signal that is an output signal from the nonlinear processing circuit 107, so that the nonlinear signal on the frequency domain is obtained. Orthogonal inverse transforming means for restoring the signal to the original nonlinear signal in the real space region is configured.
The multiplication circuit 113 also outputs an output signal of any one of the differential gradient information extraction circuit 116, the smoothing circuit 117, and the feedback coefficient calculation circuit 118, which will be described later, on the real space region that is an output signal from the orthogonal inverse transformation circuit 108. The calculation means which outputs the calculation result with a nonlinear signal as a noise component is comprised.
[0077]
On the other hand, in the second serial / parallel conversion circuit 115 to which the frame difference signal that is an output signal from the first subtraction circuit 102 is supplied, as described above, (x × y), for example, (5 × 1). The second region frame difference signals are cut out, and (x × y), for example, (5 × 1) second region frame difference signals thus cut out are supplied to the difference gradient information extraction circuit 116. Frame difference tilt information is extracted. Further, the extracted frame difference inclination information is supplied to the smoothing circuit 117, smoothed, and supplied to the feedback coefficient calculation circuit 118 as a smoothed signal, that is, smoothed frame difference inclination information.
Here, the difference gradient information extraction circuit 116 is adjacent to each of (x × y), for example, (5 × 1) second region frame difference signals which are output signals from the second serial / parallel conversion circuit 115. By calculating the difference between the pixel positions to be extracted, the inclination information of the second area frame difference signal is extracted, and frame difference inclination information extraction means for outputting the difference information as frame difference inclination information is configured.
[0078]
Further, the smoothing circuit 117 delays the frame difference inclination information, which is an output signal from the difference inclination information extraction circuit 116, in the horizontal direction by a predetermined number of pixels, respectively, so that any of the pixels in the horizontal direction is delayed. Each frame difference inclination information for several minutes is cut out, and further, each of the pixels corresponding to each pixel of an arbitrary number of lines in the vertical direction by delaying in the vertical direction for each predetermined number of lines in the horizontal scanning period. The frame difference inclination information is cut out, and the frame difference inclination information which is an output signal from the difference inclination information extraction circuit 116, the frame difference inclination information corresponding to the extracted arbitrary number of pixels, and the pixels of the arbitrary number of lines. Smoothes the frame difference inclination information smoothed by calculating each frame difference inclination information corresponding to Constitute a smoothing means for generating and outputting a frame difference inclination information.
[0079]
In the feedback coefficient calculation circuit 118, a feedback coefficient k for the smoothed smoothed frame difference slope information is obtained by calculation using the supplied smoothed signal, that is, the smoothed frame difference slope information and the reference feedback amount K112. This is supplied to the multiplication circuit 113. In other words, the feedback coefficient calculation circuit 118 multiplies the smoothed signal that is the output signal from the smoothing circuit 117, that is, the smoothed frame difference slope information, and the reference feedback amount K 112 that is specified in advance, thereby providing feedback. A feedback coefficient calculation means for calculating the coefficient k is configured. In some cases, as described above, the frame difference gradient information extracted by the difference gradient information extraction circuit 116 may be directly supplied to the multiplication circuit 113 instead of the feedback coefficient k, or smoothing may be performed. The smoothed signal smoothed by the conversion circuit 117, that is, the smoothed frame difference slope information may be supplied.
[0080]
As described above, the frame difference slope information from the difference slope information extraction circuit 116 or the smoothed signal smoothed by the smoothing circuit 117, that is, the smoothed frame difference slope information or the feedback coefficient k from the feedback coefficient calculation circuit 118 is obtained. In the multiplication circuit 113 that constitutes a calculation means for outputting a calculation result of any one of them and a non-linear signal in the real space domain inputted from the orthogonal inverse transformation circuit 108 as a noise component, the multiplication circuit 113 is supplied from the orthogonal inverse transformation circuit 108. The calculation result obtained by multiplying the original non-linear signal in the real space area and the feedback coefficient k supplied from the feedback coefficient calculation circuit 118, for example, is used as a noise component to the second subtraction circuit 103. Supply. In the second subtracting circuit 103, the noise component, which is the output signal from the multiplication circuit 113, is subtracted from the input video signal from the input terminal 101, and output from the output terminal 114 as an output video signal from which the noise component has been removed. Is done.
[0081]
Each component configured as described above operates as follows.
The first subtraction circuit 102 subtracts an input video signal input from the input terminal 101 and a frame delay signal obtained by delaying the output video signal, which is an output signal from the frame memory 104, by one frame period, thereby obtaining a frame difference. Get a signal. The frame difference signal includes a noise component and a motion component as described in the above-described prior art. The frame difference signal is input to the first serial / parallel converter circuit 105 and the second serial / parallel converter circuit 115.
The first serial-to-parallel conversion circuit 105 is configured to perform an operation on each line from two lines of an input frame difference signal and a delay frame difference signal on a delay line delayed in the vertical direction for one horizontal scanning period, for example. Four pixels are cut out in the horizontal direction, and (4 × 2) first region frame difference signals composed of input regions of (4 × 2) pixels are output.
[0082]
FIG. 2 illustrates (4 × 2) first region frame difference signals cut out from the frame difference signal by the first serial / parallel conversion circuit 105 as in the case of the first embodiment described above. 4 (Xi0, Xi1, Xi2, Xi3) from each of two lines of the frame difference signal and the delayed frame difference signal (where i = 0 and 1), that is, the total A state in which (4 × 2) 8 pixels are cut out is shown.
The orthogonal transform circuit 106 receives (4 × 2) first region frame difference signals composed of (4 × 2) pixels output from the first serial / parallel transform circuit 105 as input, and outputs (4 × 2). 2) By performing the next Hadamard transform, (4 × 2) first region frame difference signals on the real space region are converted into data on eight frequency regions. Here, as the (4 × 2) -order Hadamard transform, for example, an orthogonal transform process is performed according to the formula (1) described as the prior art. Eight frequency components obtained by the Hadamard transform (that is, (4 × 2) first region frame difference signals orthogonally transformed by the Hadamard transform) are supplied to the nonlinear processing circuit 107.
[0083]
Also in this embodiment, the nonlinear processing circuit 107 is linear, that is, proportional to the input signal if the input signal is a signal having an amplitude of (−TH to + TH) as shown in FIG. The non-linear characteristic in which a signal having an amplitude exceeding the range (-TH to + TH) is removed and is not output is provided. FIG. 3 is a graph showing an example of the nonlinear characteristic of the nonlinear processing circuit 107 in the noise removing apparatus 100 ′ according to the present invention, as in the case of the first embodiment. Further, the value of the threshold value TH in the nonlinear characteristic of FIG. 3 is an optimum value for each of the eight components in the orthogonally transformed (4 × 2) first region frame difference signals (that is, each value on the frequency region). As the amplitude of the orthogonal transform signal, a threshold that enables discrimination between a motion component and a noise component is selected.
[0084]
Further, as shown in FIG. 15, the nonlinear characteristic shown in FIG. 3 is a sine curve (or S-curve or any secondary) when the amplitude of the input signal is between (−TH to + TH). Curve) and non-linear characteristics such that an input signal with an amplitude exceeding the range (-TH to + TH) is removed and not output can be used. The nonlinear characteristic in the nonlinear processing circuit 107 is not limited to this embodiment. In any case, the non-linear processing circuit 107 determines that a frequency component having an amplitude that is less than or equal to a previously selected threshold value −TH or greater than + TH is a motion component and removes it. That is, the threshold value TH is a threshold value set in advance so as to enable discrimination between a noise component and a motion component as the amplitude of each orthogonal transform signal in the frequency domain, and depends on whether or not the threshold value TH is exceeded. The signal processing content applied to each of the orthogonal transform signals is changed.
[0085]
The eight frequency components extracted as noise components after being subjected to nonlinear processing are subjected to Hadamard inverse transformation, which is the inverse transformation of the Hadamard transformation described above, in the orthogonal inverse transformation circuit 108 to obtain data on the frequency domain (nonlinear Signal) is restored to the original data (nonlinear signal) in the real space region.
However, the separation of the noise component and the motion component by the nonlinear processing in the nonlinear processing circuit 107 has a limit as described above as a problem to be solved. Especially, when the blurred edge portion moves, the motion component is erroneously detected. Therefore, it is included as a noise component, which causes a residual image in the moving image portion.
[0086]
When an image such as this is considered as a luminance signal, the blurred edge region has a gentle slope, and when this gentle slope moves and becomes a flat image, the blurred edge region This region frame difference signal also appears with a gentle slope.
[0087]
Therefore, if an appropriate region of the frame difference signal is extracted and the inclination of the frame difference signal is detected, a portion where the blurred edge portion has moved is detected as a moving image portion instead of a noise component. Is possible.
In order to make it possible to detect such inclination information, in the present embodiment, it is composed of an appropriate region, that is, (x × y) pixels from the frame difference signal that is the output signal from the first subtraction circuit 102. In order to extract frame difference inclination information which is inclination information for each of the second area frame difference signals cut out for each area, the second serial / parallel conversion circuit 115 and the difference inclination information extraction circuit 116 are newly provided. Is provided.
[0088]
As described above, the second serial / parallel conversion circuit 115 cuts out the second region frame difference signal in the region composed of (x × y) pixels, which is the region required by the difference gradient information extraction circuit 116. It is. In the present embodiment, as shown in the schematic diagram of FIG. 8, for example, four pixels (X10 to X13) of the last line cut out by the first serial / parallel converter circuit 105 as (x × y) regions. ) Including five pixels (X10 to X14) in the horizontal direction, and a second region frame difference signal of a region composed of (5 × 1) five pixels is cut out and output. Here, FIG. 8 is a schematic diagram for explaining (5 × 1) second region frame difference signals cut out from the frame difference signals by the second serial / parallel conversion circuit 115 in the present embodiment. .
[0089]
FIG. 7 is a block diagram showing an example of a more detailed internal configuration of the difference inclination information extraction circuit 110 ′ in FIG. 6, and shows a frame in an example (second embodiment) of the noise removal apparatus 100 ′ according to the present invention. It is a functional block block diagram which shows the structural example of the difference inclination information extraction circuit 116 which extracts the inclination information of a difference signal. In FIG. 7, the input terminal 116a _-1 ~ 116a _-Five The frame difference signal (second region frame difference signal) composed of (5 × 1) pixels from the second serial / parallel conversion circuit 115 input from the subtractor circuit 116b. _-1 ~ 116b _-Four The difference from the frame difference signal at the adjacent pixel position is calculated as the adjacent difference data. The calculated adjacent difference data is stored in the next stage code determination circuit 116c. _-1 ~ 116c _-Four Respectively.
[0090]
Sign determination circuit 116c _-1 ~ 116c _-Four Each of the above operates in the following manner in accordance with each adjacent difference data inputted. When the sign information of the adjacent difference data of the input signal is positive, “1” is output to the positive sign counter 116 d and “0” is output to the negative sign counter 116 e. On the other hand, when the sign information of the adjacent difference data of the input signal is negative, “0” is output to the positive sign counter 116 d and “1” is output to the negative sign counter 116 e. Further, when the adjacent difference data of the input signal is “0”, both “0” are output to the positive sign counter 116 d and the negative sign counter 116 e.
[0091]
Thus, the positive sign counter 116d and the negative sign counter 116e are respectively connected to the sign determination circuit 116c. _-1 ~ 116c _-Four The total value of the positive and negative numbers that are the outputs from is output to the determination circuit 116f. The determination circuit 116f operates as follows based on the output results of the positive sign counter 116d and the negative sign counter 116e. When the output of the positive sign counter 116d is “0” and the output of the negative sign counter 116e is a predetermined threshold value, for example, “2” or more, or conversely, the output of the positive sign counter 116d is predetermined. When the threshold is, for example, “2” or more and the output of the negative sign counter 116 e is “0”, “0” is output when either one is satisfied, otherwise “ 1 "is output.
[0092]
In the difference inclination information extraction circuit 116 configured as described above, the code of the adjacent difference data of the second area frame difference signal composed of (5 × 1) pixels inputted as the frame difference inclination information. From this, when two or more adjacent differential data codes are aligned, it is determined that there is an inclination equal to or greater than a predetermined threshold value, and frame difference inclination information that is “0” is output to the output terminal. On the other hand, in cases other than the above, it is determined that there is no inclination equal to or greater than the predetermined threshold value, and frame difference inclination information of “1” is output from the output terminal 116 g.
[0093]
In the above-described embodiment, the second region frame difference signal to be handled in the second serial / parallel conversion circuit 115 and the difference gradient information extraction circuit 116 is, for example, horizontally (X10 to X14). Although a case where an area composed of 5 pixels is used is shown, the present invention is not limited to such (5 × 1) areas, and the second series / parallel conversion circuit 115 has any size. The second region frame difference signal of the region may be cut out and used, and by extracting and using more pixels in the horizontal direction or the vertical direction, the difference inclination information extraction circuit 116 can extract the inclination information. It is also possible to increase the value.
[0094]
Further, in the description of the above-described embodiment, a case where it is determined that there is an inclination equal to or greater than a predetermined threshold value when two or more adjacent difference data codes are provided. However, in the present invention, the present invention is not limited to such a case, and frame difference inclination information is adjacent to each of the extracted (x × y), for example, (5 × 1) second region frame difference signals. As the code information obtained by the difference calculation between the pixel positions, the presence or absence of the inclination of the second region frame difference signal is based on information indicating whether or not the same code is aligned over a predetermined threshold. By extracting the frame difference inclination information, it is determined that the second area frame difference signal has an inclination equal to or greater than a predetermined threshold value. And as good.
[0095]
As described above, the frame difference inclination information which is an output signal from the difference inclination information extraction circuit 116 is input to the smoothing circuit 117 shown in FIG. If the blurred edge portion is a moving image, which is a problem here, the second region frame is obtained only in one region including, for example, (5 × 1) pixels extracted as the second region frame difference signal. It is extremely rare that the signs of adjacent difference data of the difference signal are aligned in two or more places and the frame difference inclination information is output as “0”. An area in which two or more adjacent differential data codes of the area frame difference signal are aligned and the frame difference inclination information is “0” is included. Therefore, in the smoothing circuit 117, the adjacent difference data of the second area frame difference signal has two or more signs and the frame difference inclination information outputs “0” even in the peripheral area. , It is detected whether the adjacent difference data of the second region frame difference signal has two or more adjacent signs and the frame difference inclination information outputs “0”. 2 region frame difference signal adjacent difference data has two or more signs and frame difference slope information is “0” output, that is, the frame difference slope information is “0” at only one place. These isolated points are removed as noise components.
[0096]
FIG. 9 is a block diagram showing an example of a more detailed internal configuration of the smoothing circuit 117 in FIG. 6, and the frame difference inclination information in one example (second embodiment) of the noise removing apparatus 100 ′ according to the present invention. It is a functional block block diagram which shows the structural example of the smoothing circuit 117 which smoothes. The frame difference inclination information input to the input terminal 117a from the difference inclination information extraction circuit 116 is the 1-sample delay circuit 117b. _-1 ~ 117b _-(p-1) Are generated as p horizontal delay signals delayed in the horizontal direction (ie, cut out). Further, the generated p horizontal delay signals are converted into a one-line delay circuit 117c. _-1 ~ 117c _-(q-1) Are generated as q vertical delay signals delayed in the vertical direction (ie, cut out).
[0097]
Each one-sample delay circuit 117b _-1 ~ 117b _-(p-1) The p horizontal delay signals generated by the delay and each one-line delay circuit 117c _-1 ~ 117c _-(q-1) The q vertical delay signals generated by being delayed by the above are input to the arithmetic circuit 117d together with the input frame difference inclination information. In the present embodiment shown in FIG. 8, a one-sample delay circuit 117b _-1 ~ 117b _-2 2 and 1 line delay circuit 117c _-1 ~ 117c _-2 A case is shown in which two are used and cut out as shown in the schematic diagram of FIG. FIG. 10 is a schematic diagram for explaining, as an example, a region corresponding to five pixels extracted from the frame difference inclination information by the smoothing circuit 117 in the present embodiment. As shown in the schematic diagram of FIG. 10, a total of five pieces of frame difference inclination information (X01, X21, X10, X12) corresponding to the upper, lower, left, and right pixel positions centering on the frame difference inclination information corresponding to the X11 pixel position. Smoothing processing is performed using the area corresponding to the pixels.
[0098]
In the arithmetic circuit 117d, all the frame difference inclination information of the pixel positions in the peripheral portion excluding the X11 pixel position at the center position of the smoothing process target among the frame difference inclination information of the input area is “1”. (That is, information indicating that there is no inclination), “1” is output from the output terminal 117e as the smoothed frame difference inclination information, and in other cases, the X11 at the center position is output. The frame difference inclination information of the pixel position is output from the output terminal 117e as smoothed frame difference inclination information. Thus, the smoothing circuit 117 outputs information indicating that the frame difference inclination information has an inclination of “0” only in the input region, and is output from the surrounding pixel positions. Is in a state where no frame difference inclination information of “0” is output, that is, in the difference inclination information extraction circuit 116, the signs of the adjacent difference data of the second region frame difference signal are two or more. When an area where the frame difference inclination information outputs “0” exists in an isolated state, the isolated point can be effectively removed as a noise component.
[0099]
Note that in the arithmetic circuit 117d of the smoothing circuit 117 described above, as an example, if all the frame difference inclination information of the pixel positions in the peripheral portion excluding the center position X11 of the input area is “1”, smoothing is performed. As the frame difference inclination information, “1” is output from the output terminal 117e. In other cases, the frame difference inclination information of the pixel position of X11 at the center position is directly smoothed and the smoothed frame difference inclination information is obtained. In the present invention, the output from the output terminal 117e has been described. However, the present invention is not limited to such a case, and the maximum value or average value of the frame difference inclination information at each pixel position may be output. Alternatively, based on the distribution of each frame difference slope information, for example, output using a logic circuit that is determined from the ratio of “0” and “1” It may be used by calculated.
[0100]
That is, as the smoothed frame difference inclination information, the frame difference inclination information which is an output signal from the difference inclination information extraction circuit 116, each of the frame difference inclination information corresponding to the extracted number of pixels, and the arbitrary number of lines. And the frame difference of each second area frame difference signal positioned around the second area frame difference signal to be subjected to the smoothing process of the frame difference inclination information. When all of the tilt information indicates that there is no tilt, information generated as no tilt information, or the frame difference tilt information to be smoothed and each frame difference tilt located in the vicinity It is generated using either a maximum value or an average value obtained by summing information, or a value determined based on the distribution of each frame difference slope information. You may be used as the use of that information.
[0101]
The feedback coefficient calculation circuit 118 multiplies the smoothed smoothed frame difference inclination information input from the smoothing circuit 117 by a reference feedback amount K 112 (0 <K <1) given in advance. Find the feedback coefficient k. Here, the value of the reference feedback amount K 112 is set in advance so that the feedback coefficient k is in the range of 0 ≦ k <1.
[0102]
The multiplication circuit 113 performs a non-linear signal restored to data in the original real space region by the Hadamard inverse transform process in the orthogonal inverse transform circuit 108 described above and the feedback coefficient k calculated in the feedback coefficient arithmetic circuit 118 described above, for example. To calculate the final noise component.
The noise component calculated in the multiplication circuit 113 is supplied to the second subtraction circuit 103 and is subtracted from the input video signal input from the input terminal 101, whereby the noise component is removed from the input video signal. In addition to being output from the output terminal 114 as an output video signal, it is temporarily stored in the frame memory 104 and prepared for calculating a frame difference signal of the input video signal of the next frame by delaying it by one frame period.
[0103]
In the configuration of the noise removal apparatus 100 ′, in the case where the above-described frame difference inclination information and the smoothed frame difference inclination information are “0”, that is, the motion component of the video portion where the blurred edge has moved, Thus, for example, the feedback coefficient k is “0”, and the final noise component supplied from the multiplication circuit 113 to the second subtraction circuit 103 is zero. Thus, the input video signal input from the input terminal 101 is output as it is from the output terminal 114 as an output video signal. For example, as in the prior art shown in FIGS. 13 and 14, only nonlinear processing is performed. In this case, the motion component of the blurred edge where the frame difference signal that cannot be removed becomes a small signal level is not erroneously fed back as a noise component, and the occurrence of afterimages in such images is greatly reduced. It becomes possible.
[0104]
Next, a third embodiment relating to a noise removing device and a noise removing method according to the present invention will be described.
FIG. 11: is a functional block block diagram which shows an example of 3rd Embodiment regarding the structure of the noise removal apparatus which concerns on this invention. In the present embodiment, the case where (4 × 2) -order Hadamard transform is applied as orthogonal transform will be described as an example.
The noise removing apparatus 100 ″ in this embodiment includes a first subtracting circuit 102, a second subtracting circuit 103, a first frame memory 104, a serial / parallel converting circuit 105, an orthogonal converting circuit 106, a non-linearity. Processing circuit 107, orthogonal inverse transform circuit 108, noise determination circuit 119, second frame memory 120, logic operation circuit 121, feedback coefficient operation circuit 122, reference feedback amount K 112, multiplication circuit 113, However, they are connected as shown in FIG.
[0105]
In the noise removal apparatus 100 ″ shown in FIG. 11, an input video signal input from the input terminal 101 is supplied as one input in each of the first subtraction circuit 102 and the second subtraction circuit 103. In addition, the first subtracting circuit 102 outputs the input video signal input to the noise removing device 100 ″ from the noise removing device 100 ″, as in the case of the noise removing device 20 shown in FIG. Subtracting the frame delay signal obtained by delaying the output video signal by one frame to form a first subtracting means for outputting as a frame difference signal, and a second subtracting circuit 103 is provided from the input video signal. The second subtracting means is configured to subtract the noise component (details will be described later) extracted in the noise removing apparatus 100 ″.
[0106]
The output of the second subtracting circuit 103 is output as an output video signal from the output terminal 114 to the next stage circuit at the same time as in the case of the noise removing device 20 shown in FIG. Supplied to. Here, the first frame memory 104 constitutes a frame delay signal generating means for outputting a frame delay signal obtained by delaying the output video signal output from the noise removing device 100 ″ by one frame period.
[0107]
The frame delay signal delayed from the first frame memory 104 by one frame period is supplied to the first subtraction circuit 102, subjected to subtraction processing with the input video signal, and serially provided as a frame difference signal. Supplied to parallel conversion circuit 105
Here, the serial / parallel conversion circuit 105 includes n frame lines obtained by delaying the frame difference signal and the frame difference signal in the horizontal scanning period in the vertical direction up to an arbitrary (n−1) line specified in advance. For each of the signals, any m pixels predetermined in the horizontal direction from each horizontal position are cut out, and a region frame difference signal that is a frame difference signal of (m × n) regions is cut out and output in series. -Constructs parallel cutout means.
[0108]
In the serial / parallel conversion circuit 105, serial-parallel conversion processing is performed on the input frame difference signal, and (m × n) region frame difference signals cut out, (4 × 2 in this embodiment). ) Region frame difference signals are output and supplied to the orthogonal transform circuit 106 and also supplied as one input of the noise determination circuit 109. The (4 × 2) region frame difference signals supplied to the orthogonal transformation circuit 106 are subjected to orthogonal transformation processing to be converted into (4 × 2) region frame difference signals on the frequency domain, and nonlinear processing is performed. This is supplied to the circuit 107.
[0109]
Here, the orthogonal transform circuit 106 performs an orthogonal transform process on (m × n), for example, (4 × 2) region frame difference signals, and decomposes them into a plurality of frequency components to orthogonally transform them in the frequency domain. The non-linear processing circuit 107 constitutes a non-linear processing means for outputting as a non-linear signal by performing non-linear processing suitable for each orthogonal transform signal from the orthogonal transform circuit 106. Yes. Further, the noise determination circuit 119 will be described in detail later, but the non-linearity in the real space region which is the output signal from the region frame difference signal which is an output signal from the serial / parallel conversion circuit 105 and the output signal from the orthogonal inverse conversion circuit 108. Noise determining means for determining the presence or absence of a noise component to be removed based on either the signal or the orthogonal transform signal that is an output signal from the orthogonal transform circuit and outputting as a noise determination signal; For example, (m × n) region frame difference signals, for example, (4 × 2) region frame difference signals cut out by the serial / parallel conversion circuit 105, and the original actual output signal from the orthogonal inverse conversion circuit 108 The presence / absence of a noise component is determined based on the nonlinear signal on the spatial domain, and is output as a noise determination signal.
[0110]
In the non-linear processing circuit 107, as described above, non-linear processing is performed on the supplied (4 × 2) region frame difference signals on the frequency domain and output as a non-linear signal on the frequency domain. . The output nonlinear signal in the frequency domain is supplied to the orthogonal inverse transform circuit 108, subjected to orthogonal inverse transform processing, restored to the original nonlinear signal in the real space domain, and then input to one of the multiplication circuits 113. Supplied as Here, the orthogonal inverse transform circuit 108 performs an orthogonal inverse transform process, which is an inverse transform on the orthogonal transform circuit 106, on the nonlinear signal that is an output signal from the nonlinear processing circuit 107, so that the nonlinear signal on the frequency domain is obtained. Orthogonal inverse transforming means for restoring the signal to the original nonlinear signal in the real space region is configured.
The multiplication circuit 113 also outputs an output signal from any of a noise determination circuit 119, a logic operation circuit 121, or a feedback coefficient operation circuit 122, which will be described later, and a non-linear signal in the real space region that is an output signal from the orthogonal inverse transform circuit 108 The calculation means is configured to output the calculation result as a noise component.
[0111]
On the other hand, in the noise determination circuit 119 to which (m × n), for example, (4 × 2) region frame difference signals cut out by the serial / parallel conversion circuit 105 are supplied, the region frame difference signal and the orthogonal inverse transform are used. The presence or absence of a noise component is determined based on the non-linear signal in the real space region supplied from the circuit 108, and is supplied to the second frame memory 120 as a noise determination signal, and the logical operation circuit 121. As one input.
The logic operation circuit 121 performs a logic operation process between the noise determination signal from the noise determination circuit 119 and the delayed noise determination signal delayed by one frame period, which is the output signal from the second frame memory 120. The inter-frame noise information is calculated and supplied to the feedback coefficient arithmetic circuit 122.
[0112]
Here, the second frame memory 120 constitutes a delayed noise determination signal generating means for outputting a delayed noise determination signal obtained by delaying the noise determination signal that is an output signal from the noise determination circuit 119 by one frame period, Further, the logic operation circuit 121 performs a logic operation process between the noise determination signal that is the output signal from the noise determination circuit 119 and the delayed noise determination signal that is the output signal from the second frame memory 120, thereby performing inter-frame processing. The logic operation means is configured to detect whether or not noise components are continuously present at the same pixel position and output as noise information between frames.
[0113]
In the feedback coefficient calculation circuit 122, the feedback coefficient k for the interframe noise information is obtained by calculation based on the supplied interframe noise information and the reference feedback amount K 112, and is supplied to the multiplication circuit 113. That is, the feedback coefficient calculation circuit 122 calculates the feedback coefficient k by multiplying the interframe noise information, which is an output signal from the logic calculation circuit 121, and the reference feedback amount K 112 specified in advance. It constitutes a feedback coefficient calculation means. In some cases, as described above, instead of the feedback coefficient k, the multiplication circuit 113 may be directly supplied with a noise determination signal determined and output by the noise determination circuit 119, or may be logically operated. The inter-frame noise information extracted in the arithmetic circuit 121 may be supplied.
[0114]
As described above, either the noise determination signal from the noise determination circuit 119, the inter-frame noise information extracted in the logic operation circuit 121 or the feedback coefficient k from the feedback coefficient operation circuit 122, and an input from the orthogonal inverse transformation circuit 108 are input. In the multiplication circuit 113 constituting the calculation means for outputting the calculation result with the non-linear signal on the real space area as a noise component, the multiplication circuit 113 on the original real space area supplied from the orthogonal inverse transform circuit 108 is used. A calculation result obtained by multiplying the nonlinear signal and the feedback coefficient k supplied from the feedback coefficient calculation circuit 122, for example, is supplied to the second subtraction circuit 103 as a noise component. In the second subtracting circuit 103, the noise component, which is the output signal from the multiplication circuit 113, is subtracted from the input video signal from the input terminal 101, and output from the output terminal 114 as an output video signal from which the noise component has been removed. Is done.
[0115]
Each component configured as described above operates as follows.
The first subtraction circuit 102 subtracts an input video signal input from the input terminal 101 and a frame delay signal, which is an output signal from the first frame memory 104 and delayed from the output video signal by one frame period. Obtain a frame difference signal. The frame difference signal includes a noise component and a motion component as described in the above-described prior art. The frame difference signal is input to the serial / parallel conversion circuit 105.
The serial / parallel conversion circuit 105 is configured so that the input frame difference signal and the delayed frame difference signal on the delay line delayed in the vertical direction by one horizontal scanning period, for example, in the horizontal direction with respect to each line. Four pixels are cut out, and (4 × 2) area frame difference signals composed of input areas of (4 × 2) pixels are output.
[0116]
FIG. 2 is a schematic diagram for explaining (4 × 2) region frame difference signals cut out from the frame difference signals by the serial / parallel conversion circuit 105 as in the case of the first embodiment described above. From the two lines of the frame difference signal and the delayed frame difference signal, four pixels of (Xi0, Xi1, Xi2, Xi3) (where i = 0 and 1), that is, (4 × 2) in total 8 shows a state where 8 pixels are cut out.
The orthogonal transform circuit 106 receives (4 × 2) region frame difference signals composed of (4 × 2) pixels output from the serial / parallel conversion circuit 105 as input, and (4 × 2) -order Hadamard transform. To convert (4 × 2) region frame difference signals on the real space region into data on eight frequency regions. Here, as the (4 × 2) -order Hadamard transform, for example, an orthogonal transform process is performed according to the formula (1) described as the prior art. Eight frequency components obtained by the Hadamard transform (that is, (4 × 2) region frame difference signals orthogonally transformed by the Hadamard transform) are supplied to the nonlinear processing circuit 107.
[0117]
Also in this embodiment, the nonlinear processing circuit 107 is linear, that is, proportional to the input signal if the input signal is a signal having an amplitude of (−TH to + TH) as shown in FIG. The non-linear characteristic in which a signal having an amplitude exceeding the range (-TH to + TH) is removed and is not output is provided. 3 is a graph showing an example of the nonlinear characteristic of the nonlinear processing circuit 107 in the noise removing apparatus 100 ″ according to the present invention, as in the case of the first embodiment. Further, the nonlinear characteristic of FIG. The value of the threshold value TH is the optimum value for each of the eight components in the orthogonally transformed (4 × 2) region frame difference signals (that is, as the amplitude of each orthogonal transform signal in the frequency domain, A threshold value that enables discrimination from noise components is selected.
[0118]
Further, as shown in FIG. 15, the nonlinear characteristic shown in FIG. 3 is a sine curve (or S-curve or any secondary) when the amplitude of the input signal is between (−TH to + TH). Curve) and non-linear characteristics such that an input signal with an amplitude exceeding the range (-TH to + TH) is removed and not output can be used. The nonlinear characteristic in the nonlinear processing circuit 107 is not limited to this embodiment. In any case, the non-linear processing circuit 107 determines that a frequency component having an amplitude that is less than or equal to a previously selected threshold value −TH or greater than + TH is a motion component and removes it. That is, the threshold value TH is a threshold value set in advance so as to enable discrimination between a noise component and a motion component as the amplitude of each orthogonal transform signal in the frequency domain, and depends on whether or not the threshold value TH is exceeded. The signal processing content applied to each of the orthogonal transform signals is changed.
[0119]
The eight frequency components extracted as noise components after being subjected to nonlinear processing are subjected to Hadamard inverse transformation, which is the inverse transformation of the Hadamard transformation described above, in the orthogonal inverse transformation circuit 108 to obtain data on the frequency domain (nonlinear Signal) is restored to the original data (nonlinear signal) in the real space region.
However, the separation of the noise component and the motion component by the non-linear processing in the non-linear processing circuit 107 has a limit as described above as the problem to be solved, especially when a blurred edge moves or fade-in video, Since a minute motion component such as a fade-out image is erroneously included as a noise component, it causes a residual image in the moving image portion.
[0120]
In other words, when a video like this is considered as a luminance signal, even if a blurred edge moves, or even if it is a fade-in video, a fade-out video, etc., in the video frame that is the first moving part, the previous video The amplitude of difference data with respect to a frame (region frame difference signal) also increases, and there are cases where it can be clearly determined as a motion component by orthogonal transform processing and nonlinear processing. However, even in such a case, in the subsequent video frame that follows, it continues as a minute motion component, the amplitude of the difference data (region frame difference signal) becomes small, and orthogonal transformation processing and nonlinear processing Therefore, it cannot be determined as a motion component and is erroneously processed as a noise component, resulting in an afterimage appearing in the moving image portion. On the other hand, for a video such as a static part, when a small amplitude is always output as difference data (region frame difference signal), it is determined as a noise component, and noise removal processing is reliably performed.
[0121]
Focusing on such characteristics, in this embodiment, extraction is performed by performing orthogonal transform processing and nonlinear processing on the region frame difference signal composed of (4 × 2) pixels cut out by the serial / parallel conversion circuit 105. A logic operation is performed on the noise determination signal generated based on the generated noise component candidate and the region frame difference signal of the next frame (that is, a signal indicating the presence or absence of the noise component) with the noise determination signal of the next frame. In order to reliably remove minute motion components (for example, minute motion components in a faded-in video, fade-out video, etc.) A determination circuit 119, a second frame memory 120, and a logical operation circuit 121 are newly provided.
[0122]
Here, the noise determination circuit 119 receives the region frame difference signal input from the serial / parallel conversion circuit 105 and a non-linear signal (that is, a noise component candidate) in the real space region input from the orthogonal inverse conversion circuit 108. And means for determining whether or not the target pixel of interest is a noise component. For example, a non-linear signal in the real space region is based on a region frame difference signal that is an output signal from the serial / parallel conversion circuit 105 and a non-linear signal in the real space region that is an output signal from the orthogonal inverse transform circuit 108. When the area frame difference signal at the position corresponding to the portion extracted as the noise component candidate (that is, information indicating the noise component candidate) is smaller than a predetermined threshold, it is determined that the noise component is a noise component. On the other hand, “1” is output as the determination signal. On the other hand, if it is equal to or greater than the predetermined threshold, it is determined that the component is a minute motion component, and “0” is output as the noise determination signal. The output noise determination signal is supplied to the logic operation circuit 121 and the second frame memory 120, but may be supplied directly to the multiplication circuit 113 in some cases.
[0123]
Note that, in the above-described embodiment, the noise determination circuit 119 uses the region frame difference signal and the nonlinear signal in the real space region as a candidate for the nonlinear signal in the real space region, that is, the noise component candidate. The case where the noise determination signal which determines whether it is a noise component by the amplitude of the applicable area | region frame difference signal is produced | generated is shown.
However, the present invention is not limited to such a case. For example, as the noise determination signal generated in the noise determination circuit 119, the amplitude of the region frame difference signal extracted as a nonlinear signal in the real space region is Not only when it is generated based on whether or not it is smaller than a predetermined threshold, but also the sign information of the region frame difference signal (that is, either positive or negative sign that is the calculation result of the difference between frames), Alternatively, the slope information of the region frame difference signal (that is, a positive or negative sign that is a difference calculation result between pixels in the region frame difference signal), or a frequency component that is a result of orthogonal transform processing of the region frame difference signal Any one or more of (that is, the frequency distribution of an orthogonal transformation signal that is an output signal from the orthogonal transformation circuit 106) is used. Generation may be able to.
[0124]
In the second frame memory 120, a delayed noise determination signal obtained by delaying the input noise determination signal by one frame period is output to the logic operation circuit 121.
The logical operation circuit 121 receives the noise determination signal of the current video frame input from the noise determination circuit 119 and the delayed noise determination signal of the previous frame input from the second frame memory 120 (that is, the previous video frame). A logical product operation with the noise determination signal) is performed and output as noise information between frames. That is, the logical operation circuit 121 indicates the presence of the noise component in the current video frame only when the presence of the noise component is detected at the same pixel position in the previous video frame. The pixel position determined as the motion component of the video in the frame is output as a noise component in the current video frame so that the noise removal processing is not performed. Only when the noise component exists, the inter-frame noise information indicating the presence of the noise component is output.
[0125]
That is, the inter-frame noise information output from the logic operation circuit 121 is output as a noise component in the current video frame for the pixel position determined as the video motion component in the previous video frame. The noise removal process is not performed, and in order to suppress the occurrence of afterimages due to minute motion components that remain after a blurred edge has moved or in a fade-in video, fade-out video, etc. To the feedback coefficient calculation circuit 122. Or depending on the case, it is good also as outputting directly to the multiplication circuit 113 which calculates a noise component.
[0126]
The feedback coefficient calculation circuit 122 multiplies the interframe noise information input from the logic calculation circuit 121 and a reference feedback amount K 112 (0 <K <1) given in advance to obtain a feedback coefficient k. Here, the value of the reference feedback amount K 112 is set in advance so that the feedback coefficient k is in the range of 0 ≦ k <1.
[0127]
The multiplication circuit 113 performs a non-linear signal restored to data in the original real space region by Hadamard inverse transform processing in the orthogonal inverse transform circuit 108 described above, and the feedback coefficient k calculated in, for example, the feedback coefficient calculation circuit 122 described above. To calculate the final noise component.
The noise component calculated in the multiplication circuit 113 is supplied to the second subtraction circuit 103 and is subtracted from the input video signal input from the input terminal 101, whereby the noise component is removed from the input video signal. In order to calculate the frame difference signal of the input video signal of the next frame by being output from the output terminal 114 as the output video signal and temporarily stored in the first frame memory 104 and delayed by one frame period. Prepare.
[0128]
In the configuration of the noise removing apparatus 100 ″, when the above-mentioned inter-frame noise information is “0”, that is, when a blurred edge is moved, or in the case of a motion component of a video portion of a fade-in video or a fade-out video. As described above, for example, the feedback coefficient k is “0”, and the final noise component supplied from the multiplication circuit 113 to the second subtraction circuit 103 is zero. Thus, the input video signal input from the input terminal 101 is output as it is from the output terminal 114 as an output video signal. For example, as in the prior art shown in FIGS. 13 and 14, only nonlinear processing is performed. In this case, the frame difference signal that cannot be removed becomes a low signal level.When the blurred edge moves, the motion component of the fade-in video and fade-out video is not erroneously fed back as a noise component. It is possible to greatly reduce the occurrence of afterimages in the video.
[0129]
12 is a functional block configuration diagram showing an example of a video signal processing apparatus provided with the noise removing apparatus 100 or 100 ′ or 100 ″ as shown in FIG. 1 or FIG. 6 or FIG. A) is a configuration example of a video signal processing apparatus that records an NTSC signal for television broadcasting on a video tape, and FIG. 12B is a configuration of a video signal processing circuit when an imaging signal is recorded on a recording medium. Each example is shown as an example of a video signal processing apparatus, although the configuration in the case where noise removal is performed only on the luminance signal component of the video signal is shown in FIG. However, the present invention is not limited only to such a case, and it can be applied in the same manner to noise removal for color signals.
[0130]
First, in the video signal processing apparatus 200 shown in FIG. 12A, the NTSC signal input from the input terminal 201 is converted into a digital video signal by the A / D converter 202, and then the Y / C separation circuit 203. Are separated into a Y signal (luminance signal) and a C signal (chroma signal, ie, color difference signal). The separated Y signal is band-limited by an LPF (low-pass filter) 204, and then the high-frequency component is emphasized by the emphasis circuit 205 and input to the noise removing device 100 (or 100 ′ or 100 ″). In the apparatus 100 (or 100 ′ or 100 ″), as described above, the noise component included in the Y signal in the video signal is removed and input to the FM converter 206 to remove the noise component. Converted to a signal. Thereafter, the signal is converted into an analog signal by the D / A converter 207 and output from the output terminal 208 as an FM luminance signal.
[0131]
On the other hand, the separated C signal is demodulated into RY and BY baseband signals in the decoder 209 and then subjected to color signal processing and burst emphasis processing in the chroma processing circuit 210. Thereafter, the signal is converted into a low-frequency conversion color signal by the encoder 211, converted into an analog signal by the D / A converter 213 via an LPF (low-pass filter) 212, and converted from the output terminal 214 as a low-frequency conversion color signal. Is output. The FM luminance signal and low-frequency conversion color signal output from the output terminals 208 and 214 are subjected to addition processing by an adder, and then sent to a recording amplifier. The recording signal from which noise components have been removed from the magnetic head Will be transmitted.
[0132]
Next, the video signal processing device 250 illustrated in FIG. 12B will be described. In the video signal processing device 250, optical video information input from the imaging optical system to the input terminal 251 is converted into a digital electrical signal by the CCD 252. The digital electric signal output from the CCD 252 is converted into a video signal for recording or monitor display in the camera signal processing circuit 253. In order to remove random noise generated in the CCD 252, camera signal processing is performed. The circuit 253 incorporates the noise removing device 100 (or 100 ′ or 100 ″) as described above, and removes noise for both the luminance signal (Y signal) component and the chroma signal (C signal) component. Thereafter, the recording signal processing circuit 254 performs signal processing for recording on the recording medium 255 with respect to the video signal from which noise has been removed, and the recording is performed on the recording medium 255. On the other hand, when the data is displayed on the monitor device 257, the monitor output circuit 256 generates a monitor output signal waveform. It is conversion, is displayed on the monitor device 257.
[0133]
【The invention's effect】
As described above, according to the noise removal device and the noise removal method of the present invention, the following operational effects are brought about.
As with conventional noise removal devices, there is a limit to the separation of motion and noise components using only nonlinear processing circuits, especially when fade-in video, fade-out video, or fine gradations move or blur. The motion component when the edge portion moves is erroneously removed as a noise component, and the occurrence of an afterimage with respect to the motion component becomes a problem. However, according to the present invention, it is possible to extract the frame difference code information using the code information of the frame difference signal cutout region (that is, the region frame difference signal) obtained by serial / parallel conversion, or Extracting frame difference tilt information by using the tilt information between pixels in the cutout area (ie, area frame difference signal), or the cutout area of the frame difference signal obtained by serial / parallel conversion (ie, area frame difference signal) Or a non-linear signal (that is, a signal indicating a candidate noise component) generated in the real space region by performing non-linear processing on the orthogonal transform signal or orthogonal transform signal of the region frame difference signal and then performing orthogonal inverse transform. To determine the presence or absence of noise components, so that fade-in video, fade-out video and It is possible to detect the image where the fine gradation part moved or the image where the blurred edge part moved separately from the noise component, and by reducing the occurrence of afterimages in such a moving part, It is possible to suppress image quality deterioration in the moving portion and achieve a high noise removal effect even in a still region.
[Brief description of the drawings]
FIG. 1 is a functional block configuration diagram showing an example of a first embodiment relating to a configuration of a noise removing device according to the present invention.
FIG. 2 is a schematic diagram for explaining (4 × 2) region frame difference signals cut out from a frame difference signal by a serial / parallel conversion circuit;
FIG. 3 is a graph showing an example of nonlinear characteristics of a nonlinear processing circuit in the noise removing apparatus according to the present invention.
FIG. 4 is a functional block configuration diagram showing a configuration example of a differential code information extraction circuit that extracts code information of a frame differential signal in the first embodiment of the noise removal apparatus according to the present invention.
FIG. 5 is a functional block configuration diagram showing a configuration example of a smoothing circuit that smoothes frame difference code information in the first embodiment of the noise removal apparatus according to the present invention;
FIG. 6 is a functional block configuration diagram showing an example of a second embodiment relating to the configuration of the noise removing device according to the present invention.
FIG. 7 is a functional block configuration diagram showing a configuration example of a differential gradient information extraction circuit that extracts gradient information of a frame differential signal in the second embodiment of the noise removal apparatus according to the present invention.
FIG. 8 is a schematic diagram for explaining (5 × 1) second region frame difference signals cut out from a frame difference signal by a second serial-parallel conversion circuit according to the second embodiment.
FIG. 9 is a functional block configuration diagram showing a configuration example of a smoothing circuit that smoothes frame difference slope information in the second embodiment of the noise removal apparatus according to the present invention;
FIG. 10 is a schematic diagram for explaining, as an example, a region corresponding to five pixels cut out from frame difference inclination information by the smoothing circuit according to the second embodiment.
FIG. 11 is a functional block configuration diagram showing an example of a third embodiment relating to the configuration of the noise removing device according to the present invention.
12 is a functional block configuration diagram illustrating an example of a video signal processing device including a noise removing device as illustrated in FIG. 1, FIG. 6, or FIG.
FIG. 13 is a functional block configuration diagram showing a configuration of a conventional noise removing device.
FIG. 14 is a functional block configuration diagram showing a configuration of a conventional noise removal device using Hadamard transform.
FIG. 15 is a graph showing nonlinear characteristics of a nonlinear processing circuit in a conventional example.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 10 ... Noise removal apparatus, 11 ... Input terminal, 12 ... 1st subtraction circuit, 13 ... 2nd subtraction circuit, 14 ... Frame memory, 15 ... Nonlinear processing circuit, 16 ... Output terminal, 20 ... Noise removal apparatus, 21 DESCRIPTION OF SYMBOLS ... Input terminal, 22 ... 1st subtraction circuit, 23 ... 2nd subtraction circuit, 24 ... Frame memory, 25 ... Serial-parallel conversion circuit, 26 ... Hadamard transformation circuit, 27 ... Nonlinear processing circuit, 28 ... Hadamard inverse transformation Circuit 29... Output terminal 100, 100 ′, 100 ″ noise removing device 101 101 input terminal 102 ... first subtraction circuit 103 ... second subtraction circuit 104 ... frame memory (first frame memory ), 105... Series / parallel converter circuit (first serial / parallel converter circuit) 106. Orthogonal converter circuit 107. Nonlinear processing circuit 108. Orthogonal inverse converter circuit 109. Extraction circuit, 109a _-1 ~ 109a _-8 ... Input terminal, 109b _-1 ~ 109b _-8 Symbol determination circuit 109c Positive sign counter 109d Negative sign counter 109e Determination circuit 109f Output terminal 110 Smoothing circuit 110a Input terminal 110b _-1 ~ 110b _-2 ... 1 sample delay circuit, 110c _-1 ~ 110c _-2 1 line delay circuit 110d arithmetic circuit 110e output terminal 111 feedback coefficient arithmetic circuit 112 reference feedback amount K 113 multiplication circuit 114 output terminal 115 second serial / parallel conversion circuit 116 ... Difference inclination information extraction circuit 116a _-1 ~ 116a _-Five ... Input terminal, 116b _-1 ~ 116b _-Four ... Subtraction circuit, 116c _-1 ~ 116c _-Four ... sign determination circuit, 116d ... positive sign counter, 116e ... negative sign counter, 116f ... determination circuit, 116g ... output terminal, 117 ... smoothing circuit, 117a ... input terminal, 117b _-1 ~ 117b _-2 ... 1 sample delay circuit, 117c _-1 ~ 117c _-2 ... 1 line delay circuit, 117d ... arithmetic circuit, 117e ... output terminal, 118 ... feedback coefficient arithmetic circuit, 119 ... noise judgment circuit, 120 ... second frame memory, 121 ... logic arithmetic circuit, 122 ... feedback coefficient arithmetic circuit, DESCRIPTION OF SYMBOLS 200 ... Video signal processing apparatus, 201 ... Input terminal, 202 ... A / D converter, 203 ... Y / C separation circuit, 204 ... LPF (low-pass filter), 205 ... Emphasis circuit, 206 ... FM converter, 207 ... D / A converter, 208 ... output terminal, 209 ... decoder, 210 ... chroma processing circuit, 211 ... encoder, 212 ... LPF (low pass filter), 213 ... D / A converter, 214 ... output terminal, 250 ... video signal processing 251 ... input terminal, 252 ... CCD, 253 ... camera signal processing circuit, 254 ... recording signal processing circuit, 255 ... recording medium , 256 ... monitor output circuit, 257 ... monitor device.

Claims (16)

  Frame delay signal generation means for outputting a frame delay signal obtained by delaying the output video signal output from the noise removal device by one frame period, and subtracting the frame delay signal from the input video signal input to the noise removal device And a first subtracting means for outputting a frame difference signal, and the frame difference signal and the frame difference signal obtained by delaying the frame difference signal in the horizontal scanning period in the vertical direction up to a predetermined (n-1) line, respectively. An area which is the frame difference signal of (m × n) areas obtained by cutting out arbitrary m pixels predetermined in the horizontal direction from each horizontal position for each of the signals for n lines to be obtained. Serial / parallel cutout means for cutting out and outputting frame difference signals, and orthogonal transformation for (m × n) region frame difference signals. And performing orthogonal processing suitable for each of the orthogonal transform signals from the orthogonal transform means, and outputting the result as a nonlinear signal. A non-linear processing means that performs an orthogonal inverse transform process, which is an inverse transform to the orthogonal transform means, on the non-linear signal that is an output signal from the non-linear processing means, The orthogonal inverse transform means for restoring the nonlinear signal in the real space region, and the sign of the difference value between the frames from each of the (m × n) region frame difference signals that are output signals from the serial / parallel cut-out means Frame difference code information extraction means for extracting information and outputting frame difference code information generated based on the extracted (m × n) pieces of code information And a calculation result of the frame difference code information, which is an output signal from the frame difference code information extraction means, and the nonlinear signal in the real space region, which is an output signal from the orthogonal inverse transform means, as a noise component And a second subtracting means for subtracting the noise component, which is an output signal from the computing means, from the input video signal and outputting as the output video means. A noise removal device.   2. The noise removal apparatus according to claim 1, wherein the frame difference code information generated by the frame difference code information extraction unit includes the code information of each of the extracted (m × n) region frame difference signals. Information indicating whether or not they are all in the same code, or a ratio between a predetermined positive code and a negative code with respect to the code information of each of the extracted (m × n) region frame difference signals A noise removing device characterized in that the information is generated based on the information.   3. The noise removal device according to claim 1, wherein the frame difference code information, which is an output signal from the frame difference code information extraction unit, is delayed in the horizontal direction by a predetermined number of pixels, respectively. The frame differential code information corresponding to the arbitrary number of pixels in the horizontal direction is cut out, and further, the arbitrary lines in the vertical direction by delaying in the horizontal scanning period in the vertical direction up to an arbitrary predetermined number of lines. The frame difference code information corresponding to each number of pixels is cut out, and the frame difference code information that is an output signal from the frame difference code information extraction means and each of the frame difference codes as many as the extracted number of pixels By calculating information and each frame difference code information corresponding to each pixel of any number of lines, Smoothing means for generating and outputting the smoothed frame difference code information as smoothed frame difference code information, and for outputting the noise component in the computing means, from the orthogonal inverse transform means The smoothing means instead of the frame difference code information that is an output signal from the frame difference code information extraction means as one calculation variable for obtaining a calculation result with the nonlinear signal on the real space region that is an output signal A noise removing apparatus using the smoothed frame differential code information which is an output signal from the signal.   5. The noise removing apparatus according to claim 3, wherein a feedback coefficient is calculated by multiplying the smoothed frame difference code information, which is an output signal from the smoothing means, and a reference feedback amount designated in advance. Output from the smoothing means as one operation variable for obtaining a calculation result with the non-linear signal on the real space region which is an output signal from the orthogonal inverse transform means. A noise removing apparatus using the feedback coefficient as an output signal from the feedback coefficient calculating means instead of the smoothed frame differential code information as a signal.   Frame delay signal generation means for outputting a frame delay signal obtained by delaying the output video signal output from the noise removal device by one frame period, and subtracting the frame delay signal from the input video signal input to the noise removal device And a first subtracting means for outputting a frame difference signal, and the frame difference signal and the frame difference signal obtained by delaying the frame difference signal in the horizontal scanning period in the vertical direction up to a predetermined (n-1) line, respectively. A first area which is the frame difference signal of (m × n) areas by cutting out any m pixels predetermined in the horizontal direction from each horizontal position for each of the signals for n lines to be obtained Cut out by the first serial / parallel cut-out means for cutting out and outputting the frame difference signal and the first serial / parallel cut-out means ( Xn) orthogonal transform means for performing orthogonal transform on the first region frame difference signals, decomposing each of the first region frame difference signals into a plurality of frequency components and outputting them as orthogonal transform signals on the frequency domain, and the orthogonal transform means A non-linear processing means that performs non-linear processing suitable for each of the orthogonal transform signals and outputs as a non-linear signal; and an orthogonal inverse transform process that is an inverse transform to the orthogonal transform means is an output signal from the non-linear processing means Orthogonal inverse transform means for applying to the nonlinear signal to restore the nonlinear signal in the frequency domain to the original nonlinear signal in the real space domain, and the frame differential signal as an output signal from the first subtracting means And each frame signal obtained by delaying the frame difference signal in the vertical direction to a predetermined (y-1) line in the horizontal scanning period. For each of them, arbitrary x pixels predetermined in the horizontal direction from each horizontal position are cut out, and a second area frame difference signal that is a frame difference signal of (x × y) areas is cut out and output. And calculating a difference between adjacent pixel positions of (x × y) second region frame difference signals cut out by the second serial / parallel cut-out means and the second serial / parallel cut-out means. The frame difference inclination information extracting means for extracting the inclination information of the second region frame difference signal and outputting it as frame difference inclination information, and the frame being the output signal from the frame difference inclination information extracting means A calculation means for outputting a calculation result of the difference gradient information and the nonlinear signal on the real space region which is an output signal from the orthogonal inverse transform means, as a noise component; And a second subtracting means for subtracting the noise component, which is an output signal from the arithmetic means, from the input video signal and outputting the output video signal. .   6. The noise removal apparatus according to claim 5, wherein the frame difference inclination information output by the frame difference inclination information extraction unit is adjacent to each of the extracted (x × y) second region frame difference signals. As the code information obtained by the difference calculation between the pixel positions, the presence or absence of the inclination of the second region frame difference signal is based on information indicating whether or not the same code is aligned over a predetermined threshold. A noise removing apparatus characterized in that the inclination information is determined.   7. The noise removing apparatus according to claim 5 or 6, wherein the frame difference inclination information, which is an output signal from the frame difference inclination information extracting means, is delayed in the horizontal direction by an arbitrary predetermined number of pixels. The frame difference inclination information for the arbitrary number of pixels in the horizontal direction is cut out, and further, the arbitrary lines in the vertical direction are delayed by delaying in the horizontal scanning period up to the predetermined arbitrary number of lines, respectively. The frame difference inclination information corresponding to each number of pixels is cut out, and the frame difference inclination information that is an output signal from the frame difference inclination information extraction unit and each of the frame difference inclinations for any number of the extracted pixels By calculating the information and each frame difference slope information corresponding to each pixel of the arbitrary number of lines, Smoothing means for generating and outputting the smoothed frame difference inclination information as smoothed frame difference inclination information, and for outputting the noise component in the computing means, from the orthogonal inverse transform means. As one calculation variable for obtaining a calculation result of the nonlinear signal on the real space region that is an output signal, the smoothing unit instead of the frame difference gradient information that is an output signal from the frame difference gradient information extraction unit A noise removing apparatus using the smoothed frame difference inclination information which is an output signal from the signal.   8. The noise removing apparatus according to claim 7, wherein a feedback coefficient is calculated by multiplying the smoothed frame difference slope information, which is an output signal from the smoothing means, and a reference feedback amount specified in advance. Output from the smoothing means as one operation variable for obtaining a calculation result with the non-linear signal on the real space region which is an output signal from the orthogonal inverse transform means. A noise removing apparatus using the feedback coefficient which is an output signal from the feedback coefficient calculating means instead of the smoothed frame difference inclination information which is a signal. Frame delay signal generation means for outputting a frame delay signal obtained by delaying the output video signal output from the noise removal device by one frame period, and subtracting the frame delay signal from the input video signal input to the noise removal device And a first subtracting means for outputting a frame difference signal, and the frame difference signal and the frame difference signal obtained by delaying the frame difference signal in the horizontal scanning period in the vertical direction up to a predetermined (n-1) line, respectively. An area which is the frame difference signal of (m × n) areas obtained by cutting out arbitrary m pixels predetermined in the horizontal direction from each horizontal position for each of the signals for n lines to be obtained. Serial / parallel cutout means for cutting out and outputting frame difference signals, and orthogonal transformation for (m × n) region frame difference signals. And performing orthogonal processing suitable for each of the orthogonal transform signals from the orthogonal transform means, and outputting the result as a nonlinear signal. A non-linear processing means that performs an orthogonal inverse transform process, which is an inverse transform to the orthogonal transform means, on the non-linear signal that is an output signal from the non-linear processing means, Orthogonal inverse transform means for restoring a non-linear signal on the real space area, and real space area that is an output signal from the orthogonal inverse transform means among the area frame difference signals that are output signals from the serial / parallel cutout means whether the region frame difference signal at the position corresponding to the extracted portion as a non-linear signal above is smaller than a predetermined threshold value Information indicating the difference between frames of the region frame difference signal, tilt information indicating a difference between pixels of the region frame difference signal, or an output signal from the orthogonal transform means From a noise determination unit that outputs a noise determination signal generated using any one or more of the frequency distribution of the orthogonal transform signal, the noise determination signal that is an output signal from the noise determination unit, and the orthogonal inverse transform unit A calculation means for outputting a calculation result with the non-linear signal on the real space region that is an output signal as a noise component, and subtracting the noise component that is an output signal from the calculation means from the input video signal, And a second subtracting means for outputting the output video signal. 10. The noise removal apparatus according to claim 9, wherein the noise determination signal that is an output signal from the noise determination unit is delayed by one frame period and output as a delayed noise determination signal, and the noise By performing a logical operation process on the noise determination signal that is an output signal from the determination unit and the delay noise determination signal that is an output signal from the delay noise determination signal generation unit, the same pixel position between frames is continuously obtained. Logic operation means for detecting whether noise components are present and outputting them as inter-frame noise information, in order to output the noise components in the calculation means, from the orthogonal inverse transform means As one calculation variable for calculating the calculation result with the nonlinear signal in the real space region that is the output signal of the noise determination means Instead of a output signal the noise judgment signal, the noise removal device, characterized in that with the said inter-frame noise information which is an output signal from the logic operation unit. 11. The noise removal apparatus according to claim 10 , wherein a feedback coefficient calculation for calculating a feedback coefficient is performed by multiplying the interframe noise information, which is an output signal from the logic operation means, and a reference feedback amount designated in advance. And an output signal from the logic operation means as one operation variable for obtaining an operation result with the nonlinear signal on the real space region which is an output signal from the orthogonal inverse transform means. A noise removing apparatus using the feedback coefficient which is an output signal from the feedback coefficient calculating means instead of the inter-frame noise information.   From the frame difference signal obtained by subtracting the frame delay signal obtained by delaying the output video signal from the input video signal by one frame period, to a predetermined (n-1) line in the horizontal scanning period in the vertical direction, respectively. This is a frame difference signal of (m × n) regions obtained by cutting out arbitrary m pixels predetermined in the horizontal direction from each horizontal position for each of the delayed signals for n lines. The orthogonal transform process is performed on the orthogonal transform signal in the frequency domain obtained by performing the orthogonal transform process on the region frame difference signal, and is output to the orthogonal transform process as a nonlinear signal. By applying orthogonal inverse transformation processing, which is inverse transformation to, to the nonlinear signal, the original nonlinear signal in the real space region is restored and cut out. code information of difference values between frames is extracted from each of the (m × n) region frame difference signals, and frame difference code information generated based on the extracted (m × n) pieces of code information; A noise removal method comprising: outputting a calculation result with the nonlinear signal in a real space region as a noise component, subtracting the noise component from the input video signal, and outputting the result as the output video signal. 13. The noise removal method according to claim 12 , wherein each of the number of pixels in the horizontal direction is delayed by horizontally delaying the input frame difference code information by a predetermined number of pixels. The frame difference code information is cut out, and further, each frame difference corresponding to each pixel of the arbitrary number of lines in the vertical direction by delaying in the vertical direction by a predetermined arbitrary number of lines, respectively. Code information is cut out, the frame difference code information that has been input, the frame difference code information for any number of the extracted pixels, and the frame difference code information corresponding to each pixel of any number of lines, To generate the smoothed frame difference code information as smoothed frame difference code information, In order to output the noise component, the smoothed frame difference code information is used instead of the frame difference code information as one calculation variable for obtaining a calculation result with the nonlinear signal in the real space region. A characteristic noise removal method.   From the frame difference signal obtained by subtracting the frame delay signal obtained by delaying the output video signal from the input video signal by one frame period, to a predetermined (n-1) line in the horizontal scanning period in the vertical direction, respectively. This is a frame difference signal of (m × n) regions obtained by cutting out arbitrary m pixels predetermined in the horizontal direction from each horizontal position for each of the delayed signals for n lines. The orthogonal transform signal on the frequency domain obtained by subjecting the first domain frame difference signal to the orthogonal transform process and decomposed into a plurality of frequency components is subjected to nonlinear processing and output as a nonlinear signal, An orthogonal inverse transform process, which is an inverse transform to the orthogonal transform process, is performed on the nonlinear signal to restore the nonlinear signal in the original real space region, and For each y line signal delayed in the vertical direction from the frame difference signal to an arbitrary (y-1) line specified in advance, the signal is predetermined in the horizontal direction from each horizontal position. Extraction is performed by cutting out any x pixels and calculating the difference between adjacent pixel positions of the second region frame difference signal, which is the frame difference signal of the extracted (x × y) regions. The frame difference inclination information indicating the inclination information of the second area frame difference signal and the nonlinear signal in the real space area are output as noise components, and the noise components are extracted from the input video signal. Subtracting and outputting the output video signal as the output video signal. 15. The noise removal method according to claim 14 , wherein each of the number of pixels in the horizontal direction is delayed by horizontally delaying the input frame difference inclination information by a predetermined number of pixels. The frame difference corresponding to each pixel of the arbitrary number of lines in the vertical direction by cutting out the frame difference inclination information and further delaying in the vertical direction for each predetermined number of lines in the horizontal scanning period. Inclination information is cut out, the frame difference inclination information that has been input, each frame difference inclination information corresponding to any number of extracted pixels, and each frame difference inclination information corresponding to each pixel of any number of lines To generate the smoothed frame difference inclination information as the smoothed frame difference inclination information, In order to output the noise component, the smoothed frame difference gradient information is used instead of the frame difference gradient information as one calculation variable for obtaining a calculation result with the nonlinear signal in the real space region. A characteristic noise removal method. From the frame difference signal obtained by subtracting the frame delay signal obtained by delaying the output video signal from the input video signal by one frame period, to a predetermined (n-1) line in the horizontal scanning period in the vertical direction, respectively. This is a frame difference signal of (m × n) regions obtained by cutting out arbitrary m pixels predetermined in the horizontal direction from each horizontal position for each of the delayed signals for n lines. The orthogonal transform process is performed on the orthogonal transform signal in the frequency domain obtained by performing the orthogonal transform process on the region frame difference signal, and is output to the orthogonal transform process as a nonlinear signal. By applying orthogonal inverse transformation processing, which is inverse transformation to the above, to the nonlinear signal, the original nonlinear signal in the real space region is restored and cut out. a noise determination signal output by determining the presence / absence of a noise component based on either the m × n) region frame difference signals and the nonlinear signal or the orthogonal transform signal in the real space region; Whether a noise component is continuously present at the same pixel position between frames by performing a logical operation process of the delayed noise determination signal obtained by delaying the noise determination signal by one frame period and the noise determination signal. Inter-frame noise information is generated, and the calculation result of the inter-frame noise information and the nonlinear signal in the real space region is output as a noise component, and the noise component is subtracted from the input video signal. A noise removing method of outputting as the output video signal.

Images