JP4679372B2 - 映像ノイズ削減処理装置及び映像表示装置 - Google Patents

Description

本発明は、映像装置におけるノイズ削減処理装置およびノイズ削減処理装置を組み込んだ映像処理装置に関する。

従来から、映像ノイズを削減する手段は数多く存在している。例えば、１フレーム遅延した映像と、現在入力されているフレームとの、フレーム内での同じ画素位置での平均を取ることにより、映像ノイズを削減する手段など、フレーム遅延した映像と現在の映像について、画面上の同一位置で処理を行い、映像ノイズを削減する方法が数多く考案されている。

特許文献１には、前フレームの画像信号と現フレームの画像信号との差分の絶対値を求め差分絶対値信号を出力する差分絶対値部と、動き検出すべき着目画素を含んだ特定の形状を持つ動き検出領域を有するとともに差分絶対値信号に基づいて動き検出領域の動きを検出する複数の特定動き検出部と、複数の特定動き検出部の出力に基づき動きの有無を判定する総合動き検出部とを有する動き検出装置が記載されている。
特開２００４−２２１９６０号公報

従来のノイズ削減処理方式では、画面上の同一位置におけるフレーム間演算で、ノイズ削減処理を行っていたため、動きのある映像では画面上の同一位置での映像レベルが全く異なったものになってしまい、ノイズ削減処理を行うことが不可能であるといった問題が存在した。
本発明の目的は、映像に動きが生じている部分に対しても適用可能な映像ノイズ削減処理装置を提供することである。

本発明の映像ノイズ削減処理装置は、ノイズの削減処理を行おうとしているフレーム、その前フレーム、その後フレームのうち少なくとも２フレームを用いて、処理を行おうとしている画素に対する相関処理を利用した動きの検出を行い、その動き情報を用いてノイズ削減処理を行うためのデータを生成することを主な特徴とする。

本発明では、ノイズの削減処理を行おうとしている画素に対する相関検索処理を行ってノイズ削減処理をするためのデータを生成するため、映像に動きが生じている部分についてもノイズ削減処理が可能であり、従来の映像ノイズ削減処理方式と異なって、静止画部分だけではなく、動画部分についても映像ノイズを削減が可能であるいう利点がある。

本発明では動きのある映像についてもノイズを削減可能な映像ノイズ削減装置を容易な構成で実現した。以下に、本発明の実施の形態について図面を参照して説明する。

まず、本発明の第１の実施例を図１、及び図２を用いて説明する。図１は、映像ノイズ削減装置の第１の実施例を示すブロック図である。この実施例１では、映像ノイズを削減する対象フレーム１１１と、その後フレーム１０１との２フレームを用い、５×３画素でブロックマッチング行って相関求め、映像の動きを検出し、映像のノイズを削減する例である。また、以下の説明においては、入力される映像信号１０１はデジタル形式であるものとする。もし、映像信号がアナログ信号として入力された場合には、これをデジタル信号に変換して図１の装置に入力するものとする。

本実施例１の映像ノイズ削減装置は、フレームメモリ２１、検索範囲変換処理部３１、ブロック変換処理部３２、相関検出処理部４１、画素移動処理部５１、平均処理部６１、ライン変換処理部７１を有する。映像信号入力部１１に入力された映像信号１０１は、フレームメモリ２１、探索範囲変換処理部３１に供給される。フレームメモリ２１は、１フレーム分の映像信号を保持することにより、１フレーム遅延した映像信号１１１を出力する。１フレーム遅延された映像信号１１１は、ブロック変換処理部３２に供給される。

次に探索範囲変換処理部３１以降の処理について、図２と合わせながら説明を行う。まず、ブロック変換処理部３２であるが、フレームメモリ２１から入力されたノイズ削減処理の対象フレームとなる１フレーム遅延された映像信号１１１を並び替え、水平５画素、垂直３画素のブロック１１２を構成し、出力する。なお、このブロック１１２の中心位置を水平ｘ、垂直ｙとし、その画素データ（レベル）を、ｃ（ｘ，ｙ）で表すことにする。つまり、水平ｘ−２、垂直ｙ−１から、水平ｘ＋２、垂直ｙ＋１までの１５画素によって構成されたブロックが、ブロック変換処理部３２からブロック１１２として出力される。探索範囲変換処理部３１では、映像信号入力部１１から入力された後フレームとなる映像信号１０１を並び替え、水平１３画素、垂直７画素の探索範囲１０２を構成し、出力する。この探索範囲１０２の中心位置は、ブロック１１２と同様に水平ｘ、垂直ｙであり、その画素データ（レベル）を、ｄ（ｘ，ｙ）で表すことにする。

相関検出処理部４１では、検索範囲変換処理部３１からの探索範囲１０２のデータと、ブロック変換処理部３２からのブロック１１２のデータを元に、ブロックマッチングにより相関を求め、映像の動きを検出する。その方法は次の通りである。まず、探索範囲１０２上に水平ｘ、垂直ｙの位置を中心とする水平５画素、垂直３画素のブロック２０１をとる。このブロック２０１を、（０，０）の動きのブロックとする。同様に探索範囲１０２上に水平ｘ＋１、垂直ｙの位置を中心とする水平５画素、垂直３画素のブロックをとり、（＋１，０）の動きのブロックとする。この様にして、水平１３画素、垂直９画素の探索範囲１０２上に、１画素毎ずらした水平５画素、垂直３画素のブロックをとっていくと、（−４，−２）から（＋４，＋２）の動きのブロックまで、水平方向に９種、垂直方向に５種の計４５種のブロックを取ることが可能であり、４５種の動きを表現することが可能である。例えば、図２の水平ｘ＋３、垂直ｙ＋２を中心とするブロック２０２は、（＋３，＋２）の動きのブロックになる。

この４５種類の動きに対してそれぞれ、映像の相関の強さを表現するものとして、後フレーム１０１の探索範囲１０２上のブロックと対象フレーム１１１上のブロック１１２間での映像データの累積絶対値差分ｓａｄ（ｋ，ｌ）を定義する。（ｋは−２から＋２、ｌは−１から＋１。）

例えば、ブロック２０２と、ブロック１１２との１５組の画素間での累積絶対値差分 ｓａｄ（３，２）は次の式で表される。

この様にして求めた４５種の累積絶対値差分ｓａｄ（ｋ，ｌ）のうち、ｓａｄ（Ｋ，Ｌ）が最も小さい値だった場合にはそれが最も映像の相関が強いものであるとし、対象フレーム上のブロック１１２の映像が、（Ｋ，Ｌ）の動きで後フレームへ移動したものとし、動き情報１３１として（Ｋ，Ｌ）を画素移動処理部５１に出力する。

画素移動処理部５１では、相関検出処理部４１から出力された動き情報１３１を元に、ブロック１１２と最も相関性が高いとされた後フレーム探索範囲１０２上の１５画素で構成されるブロックを選択し、ブロック１４１として平均処理部６１に出力する。例えば図２において、最も相関が高いとされた動き情報１３１が（＋３，＋２）だった時には、水平ｘ＋３、垂直ｙ＋２を中心とするブロック２０２の１５画素がブロック１４１として出力される。

平均処理部６１では、ブロック変換処理部３２から出力された対象フレーム上のブロック１１２の１５画素と、画素移動処理部５１から出力された後フレーム上のブロック１４１の１５画素と映像レベル（データ）を平均したブロック１５１の１５画素が出力される。つまり、例えば図２において、最も相関が高いとされた動き情報１３１を（＋３，＋２）とし、出力される映像レベル（データ）の中心画素の位置を水平ｘ、垂直ｙ、その映像レベルをａｖｅ（ｘ，ｙ）と定義した時、下式の値が出力される。（ｉは−２から＋２、ｊは−１から＋１。）
ａｖｅ（ｘ＋ｉ，ｙ＋ｊ）＝（ｃ（ｘ＋ｉ，ｙ＋ｊ）＋ｄ（ｘ＋３＋ｉ，ｙ＋２＋ｊ））／２
これにより、例えば対象フレーム上のブロック１１２中にノイズがのっていた場合、後フレーム上の検索範囲の中で最も相関が高かったブロックと平均化されることにより、ノイズの影響を削減することが可能になる。

ライン変換処理部７１では、平均処理部６１から出力されたブロック１５１を１ライン毎のデータに並べ替え出力する。このようにして対象フレーム１１１上のブロック１１２に対して、ブロック単位での処理を行う。１ブロックの処理が終了したら、ブロックの中心を、水平ｘ、垂直ｙから、水平ｘ＋５、垂直ｙに移動し、ブロック単位での処理を繰り返していく。また、水平方向で画面の端まで達した場合には、ブロックの垂直方向の中心を、ｙからｙ＋３に移動してブロック単位での処理を繰り返し、ノイズ削減処理を行っていく。

なお、本実施例１ではブロックマッチングで用いる映像ブロックのサイズは、５×３画素として行ったが、これにとらわれるものではなく、別のブロックサイズであっても可能であることは明らかである。また、検索範囲も水平１３画素、垂直７画素により構成したが、これにとらわれるものではなく、演算量や回路規模、入力される映像信号のサイズなどの条件に応じ、適当なものを選択すればよい。

また、本実施例１では対象フレームと後フレームを用いてブロックマッチングを行ったが、対象フレームと前フレームとの２フレーム間でブロックマッチング処理を行い、映像の動きを検出してノイズ削減処理を行っても良いことは明らかである。

さらには、前フレーム、対象フレーム、後フレームの３フレームを用い、次式で表される３フレーム間における累積絶対値差分ｓａｄ（ｋ，ｌ）により相関を求め、最も相関が高かった動き（Ｋ，Ｌ）を用いて３フレームにわたる平均ａｖｅ（ｘ，ｙ）によってノイズ削減処理を行っても良い。

ａｖｅ（ｘ＋ｉ，ｙ＋ｊ）＝（ｂ（ｘ−Ｋ＋ｉ，ｙ−Ｌ＋ｊ）＋（ｃ（ｘ＋ｉ，ｙ＋ｊ）＋ｄ（ｘ＋Ｋ＋ｉ，ｙ＋Ｌ＋ｊ））／３
（ｂ（ｘ，ｙ）は、前フレーム 水平ｘ、垂直ｙにおける映像レベル（データ）とする。）

次に図３、図４を用いて、本発明の第２の実施例を説明する。図３は映像ノイズ削減装置の第２の実施例を示すブロック図である。本実施例では、まず映像信号入力部１１に入力される映像信号３０１と、映像信号出力部９１から出力される映像信号３７１のフレームレートが同一である時に、映像ノイズ削減処理を行う。さらに、映像信号入力部１１に入力される映像信号３０１と、映像信号出力部９１から出力される映像信号３７１のフレームレートが異なり、フレームレート変換処理を行っている時で、かつ（内挿しているフレームではなく）もともと存在していたフレームと同タイミングのフレームを出力する際にも、映像ノイズ削減処理を行う。

まず、入力される映像信号３０１のフレームレートと、出力する映像信号３７１のフレームレートが共に６０Ｈｚである場合を例にして、以下説明を行っていく。フレームメモリ２１は、映像信号入力部１１から入力された映像を１フレーム分保持し、１フレーム遅延した映像信号３０２を出力し、相関検出処理部４２に送ると共に、フレームメモリ２２に供給する。フレームメモリ２２も入力された映像信号３０２を１フレーム分保持することにより、１フレーム遅延した（外部から入力された映像信号３０１に対しては２フレーム遅延した）映像信号３０３を、相関検出処理部４２、画素移動処理部５２、フレームメモリ２３に出力する。フレームメモリ２３も同様に、入力された映像信号３０３を１フレーム分保持し、１フレーム遅延した（外部から入力された映像信号３０１に対しては３フレーム遅延した）映像信号３０４を、相関検出部４２、ノイズ削減処理部８１、補間画素生成部５３、フレームメモリ２４に対して出力する。なお、入出力が同じフレームレートの場合の映像ノイズ削減処理においては、補間画素生成部５３に供給された映像信号３０４は特に使用されない。フレームメモリ２４は、入力された映像信号３０４を１フレーム分保持し、１フレーム遅延した映像信号３０５を、相関検出処理部４２、画素移動処理部５２、補間画素生成部５３、フレームメモリ２５へと出力する。なお、映像信号３０５は、外部から入力された映像信号３０２に対しては４フレーム遅延した信号になる。フレームメモリ２５は、入力された映像信号３０５を１フレーム分保持することにより、１フレーム遅延した（外部から入力された映像信号３０１に対しては５フレーム遅延した）映像信号３０６を相関検出処理部４２に供給する。

次に、相関検出処理部４２の動作を、図４を参照しながら説明していく。相関検出処理部４２では、入力された映像信号３０２〜３０６の５フレームを用いて、相関を検出し、映像の動きを求める。５フレーム中、中央のフレームである映像信号３０４を、映像ノイズ削減処理を行う対象フレームとする。対象フレームである映像信号３０４上の水平ｘ、垂直ｙの位置の画素５０４を、相関検出処理部４２で相関を検出し、映像の動きを求める対象画素とする。また、映像信号３０４上の水平ｘ、垂直ｙの位置の画素５０４の映像レベル（データ）を、ｃ（ｘ，ｙ）であると定義する。

続いて、前フレームである映像信号３０５、後フレームである映像信号３０３上に水平ｘ、垂直ｙの位置を中心として、水平±Ｍ画素、垂直±Ｎ画素（Ｍ、Ｎは自然数。図４においては、Ｍ＝２、Ｎ＝１としており、水平±２画素、垂直±１画素）の検索範囲を、それぞれ検索範囲３８５、検索範囲３８３として設定し、さらに前々フレームである映像信号３０６、後々フレームである映像信号３０２上に水平ｘ、垂直ｙの位置を中心として、水平±２Ｍ画素、垂直±２Ｎ画素（図４においては、Ｍ＝２、Ｎ＝１としており、水平±４画素、垂直±２画素）の検索範囲を、それぞれ検索範囲３８６、検索範囲３８２として設定する。

この検索範囲において、対象画素５０４を通過する１５種の直線の動きを定義する。
動き（＋２，＋１）：３０６（ｘ−４，ｙ−２）−３０５（ｘ−２，ｙ−１）−３０４（ｘ，ｙ）−３０３（ｘ＋２，ｙ＋１）−３０２（ｘ＋４，ｙ＋２）
動き（＋１，＋１）：３０６（ｘ−２，ｙ−２）−３０５（ｘ−１，ｙ−１）−３０４（ｘ，ｙ）−３０３（ｘ＋１，ｙ＋１）−３０２（ｘ＋２，ｙ＋２）
動き（０，＋１）：３０６（ｘ，ｙ−２）−３０５（ｘ，ｙ−１）−３０４（ｘ，ｙ）−３０３（ｘ，ｙ＋１）−３０２（ｘ，ｙ＋２）
動き（−１，＋１）：３０６（ｘ＋２，ｙ−２）−３０５（ｘ＋１，ｙ−１）−３０４（ｘ，ｙ）−３０３（ｘ−１，ｙ＋１）−３０２（ｘ−２，ｙ＋２）
動き（−２，＋１）：３０６（ｘ＋４，ｙ−２）−３０５（ｘ＋２，ｙ−１）−３０４（ｘ，ｙ）−３０３（ｘ−２，ｙ＋１）−３０２（ｘ−４，ｙ＋２）
動き（＋２，０）：３０６（ｘ−４，ｙ）−３０５（ｘ−２，ｙ）−３０４（ｘ，ｙ）−３０３（ｘ＋２，ｙ）−３０２（ｘ＋４，ｙ）
動き（＋１，０）：３０６（ｘ−２，ｙ）−３０５（ｘ−１，ｙ）−３０４（ｘ，ｙ）−３０３（ｘ＋１，ｙ）−３０２（ｘ＋２，ｙ）
動き（０，０）：３０６（ｘ，ｙ）−３０５（ｘ，ｙ）−３０４（ｘ，ｙ）−３０３（ｘ，ｙ）−３０２（ｘ，ｙ）
動き（−１，０）：３０６（ｘ＋２，ｙ）−３０５（ｘ＋１，ｙ）−３０４（ｘ，ｙ）−３０３（ｘ−１，ｙ）−３０２（ｘ−２，ｙ）
動き（−２，０）：３０６（ｘ＋４，ｙ）−３０５（ｘ＋２，ｙ）−３０４（ｘ，ｙ）−３０３（ｘ−２，ｙ）−３０２（ｘ−４，ｙ）
動き（＋２，−１）：３０６（ｘ−４，ｙ＋２）−３０５（ｘ−２，ｙ＋１）−３０４（ｘ，ｙ）−３０３（ｘ＋２，ｙ−１）−３０２（ｘ＋４，ｙ−２）
動き（＋１，−１）：３０６（ｘ−２，ｙ＋２）−３０５（ｘ−１，ｙ＋１）−３０４（ｘ，ｙ）−３０３（ｘ＋１，ｙ−１）−３０２（ｘ＋２，ｙ−２）
動き（０，−１）：３０６（ｘ，ｙ＋２）−３０５（ｘ，ｙ＋１）−３０４（ｘ，ｙ）−３０３（ｘ，ｙ−１）−３０２（ｘ，ｙ−２）
動き（−１，−１）：３０６（ｘ＋２，ｙ＋２）−３０５（ｘ＋１，ｙ＋１）−３０４（ｘ，ｙ）−３０３（ｘ−１，ｙ−１）−３０２（ｘ−２，ｙ−２）
動き（−２，−１）：３０６（ｘ＋４，ｙ＋２）−３０５（ｘ＋２，ｙ＋１）−３０４（ｘ，ｙ）−３０３（ｘ−２，ｙ−１）−３０２（ｘ−４，ｙ−２）

また、映像信号３０６上の水平Ｘ６、垂直Ｙ６の位置の画素の映像レベル（データ）をａ（Ｘ６，Ｙ６）、映像信号３０５上の水平Ｘ５、垂直Ｙ５の位置の画素の映像レベル（データ）をｂ（Ｘ５，Ｙ５）、映像信号３０３上の水平Ｘ３、垂直Ｙ３の位置の画素の映像レベル（データ）をｄ（Ｘ３，Ｙ３）、映像信号３０２上の水平Ｘ２、垂直Ｙ２の位置の画素の映像レベル（データ）をｅ（Ｘ２，Ｙ２）と定義する。

そして、これらの１５種の動きそれぞれに対して、相関の強さを表現するものとして、次の方法で５フレーム間の映像データの累積絶対値差分ｓａｄ（ｋ，ｌ）を求める。（ｋは−２から＋２、ｌは−１から＋１。）

例えば、図４の画素５１６−画素５１５−画素５０４−画素５１３−画素５１２を通る動き（＋１，＋１）の相関は次のようになる。

このようにして求めた１５種の相関を表すｓａｄ（ｋ，ｌ）のうち、ｓａｄ（Ｋ，Ｌ）が最も値が小さい場合、それが最も映像の相関が強いものであるとし、対象フレーム映像信号３０４の画素５０４は、（Ｋ，Ｌ）の動きで移動しているものとして、（Ｋ，Ｌ）を動き情報３１１として相関検出部４２から画素移動処理部５２、補間画素生成部５３へと出力する。

例えば、図４において画素５１６−画素５１５−画素５０４−画素５１３−画素５１２間で求めたｓａｄ（＋１，＋１）が１５種の動きから求められた累積絶対値差分のうち最小であった場合には、（＋１，＋１）を動き情報３１１として画素移動処理部５２、補間画素生成部５３に出力する。なお、説明を行っている入出力が同じフレームレートの場合の映像ノイズ削減処理においては、補間画素生成部５３に供給された動き情報３１１は実質使用されない。

画素移動処理部５２では、相関検出処理部４２で求められた対象画素５０４の動き情報３１１である（Ｋ，Ｌ）に応じて、前フレーム３０５上の検索範囲３８５と後フレーム３０３上の検索範囲３８３からそれぞれ１画素を選択し、その映像レベル（データ）の平均を出力する。それぞれの画素の選択方法は、動き情報３１１が（Ｋ，Ｌ）であった場合、前フレーム３０５上の検索範囲３８５では、検索範囲の中心の画素である画素５０５から水平に−Ｋ、垂直に−Ｌ移動した位置の画素が選択され、一方後フレーム３０３上の検索範囲３８３では、検索範囲の中心の画素である画素５０３から水平に＋Ｋ、垂直に＋Ｌ移動した位置の画素が選択される。例えば図４において、相関検出部４２から出力された動き情報３１１が（＋１，＋１）だった場合、前フレーム３０５の検索範囲３８５からは画素５１５が、後フレーム３０３の検索範囲３８３からは画素５１３が選択され、それぞれの映像レベルｂ（ｘ−１，ｙ−１）とｄ（ｘ＋１，ｙ＋１）の平均が出力される。

次にノイズ削減処理部８１では、画素移動処理部５２から入力される映像データ３２１と、フレームメモリ２３から入力された対象フレーム３０４上の画素５０４を用いてノイズ削減処理を行う。ノイズ削減処理は次の方法で行う。（１）画素５０４の映像レベルｃ（ｘ，ｙ）を中心に一定範囲（例えば映像レベルが０〜２５５の２５６段階の時、±８）を設定する。（２）その範囲間に映像データ３２１の映像レベルが入っていた場合には、画素５０４の映像レベルｃ（ｘ，ｙ）と映像データ３２１の映像レベルの平均を映像データ３３１として出力する。（３）その範囲間に映像データ３２１の映像レベルが入っていなかった場合には、画素５０４の映像レベルｃ（ｘ，ｙ）をそのまま映像データ３３１として出力する。

フレームメモリ２６では、ノイズ削減処理部８１から入力される映像データ３３１を記憶し、６０Ｈｚのフレームレートのタイミングに合わせて映像データ３４１出力する。

最後に切換器４１１は、入出力が同じフレームレートにおける映像ノイズ削減処理の場合、フレームメモリ２６からの映像データ３４１を選択し続け、映像データ３７１として、映像出力部９１に出力することにより、映像ノイズ削減処理を行う。

ここまで対象フレーム３０４上の水平ｘ、垂直ｙの位置の画素５０４における映像ノイズ削減処理について説明を行ってきたが、画素５０４のノイズ削減処理が終了したら、水平位置をｘ＋１に移動して順々に処理を行っていく。なお、この時、前々フレーム３０６、前フレーム３０５、後フレーム３０３、後々フレーム３０２それぞれの検索範囲の中心も、共に水平位置をｘ＋１に移動して処理を行っていく。また、１ラインが終了した時には、水平位置を０に戻し、垂直位置をｙ＋１に移動して処理を行っていく。このようにして、例えば、入力された映像フレームが水平７２０×垂直４８０画素の場合、７２０×４８０回、同様の処理を繰り返すことで１フレームの映像ノイズ削減処理を行う。

続いて、入力される映像信号３０１のフレームレートと、出力する映像信号３７１のフレームレートが異なり、入力される映像信号３０１のフレームレートが６０Ｈｚ、出力する映像信号３７１のフレームレートが１２０Ｈｚとする倍速のフレームレート変換である場合を例にして、以下説明を行っていく。

フレームレート変換の処理については、本発明の発明者の特許出願である特願２００４−３４９２６１号に記載しているため、詳細についてはここでは省略する。

倍速のフレームレート変換の場合、図５に示すような処理を行い、２フレームに１フレーム内挿フレームを生成し、倍のフレーム数に変換してフレームレートを変換する。
特願２００４−３４９２６１号では、次のような処理でフレームレート変換を行っていた。例えば内挿フレームであるフレーム６１６は、フレーム６０３、フレーム６０５、フレーム６０７、フレーム６０９の４フレームを用いて相関検出を行い、映像の動きを求め、フレーム６０５、フレーム６０７を用いて内挿フレームを生成していた。（なお、図３における相関検出処理部４２では、映像３０３〜映像３０６を用い、映像３０２は用いずに相関検出処理を行う。）

そのため、内挿フレームの映像は、２フレームの画素レベルの平均で作成することが可能であり、映像ノイズの削減することが可能であった。一方、フレーム６１５のように、入力フレーム６０５の映像をそのまま出力するフレームでは、映像ノイズを削減する処理が何も行われていなかった。本実施例では、フレーム６１５のように、入力フレームをそのまま出力していたフレームに対して、映像ノイズ削減処理を行う。以下、入力フレームをそのまま出力していたフレームに対する映像ノイズ削減処理について説明していく。

まず、入出力が同じフレームレートの場合と同様、フレームメモリ２１からフレームメモリ２５を用いて、１フレームから５フレーム遅延した映像信号３０２〜３０６を生成し、相関検出処理部４２に出力する。ただし、従来入力フレームをそのまま出力していたフレームが映像信号３０４として出力されているものとする。また、フレームメモリ２１からフレームメモリ２６の読み出し速度は、入力される映像信号３０１のフレームレート６０Ｈｚの倍の１２０Ｈｚの速度で読み出す。

相関演算処理部４２での処理も、入出力が同じフレームレートの場合と同様、映像信号３０２〜映像信号３０６の５フレームにわたる相関を検出し、動き情報３１１を出力する。画素移動処理部５２では、相関演算処理部４２からの動き情報３１１を用いて、こちらも入出力が同じフレームレートの場合と同様、前フレームである映像信号３０５と後フレームである映像信号３０３を用いて、動き情報３１１の情報に応じた２フレーム上の映像レベルの平均である画素データ３３１を生成し、フレームメモリ２６に書き込む。

フレームメモリ２６は、変換されたフレームレートタイミングに応じて、内挿ではない入力された映像と同じタイミングである映像データ３４１を１２０Ｈｚのフレームレートで読み出し、切換器４１１で選択して、映像出力部９１からノイズ削減処理がされた映像９１として出力する。

一方、内挿フレームについては、相関演算処理部４２、フレームレート変換処理部４０１を用いて、特願２００４−３４９２６１号に記載しているのと同様の方法で生成し、タイミングに合わせてフレームメモリ２７からの映像出力３６１を読み出し、切換器４１１で選択して映像信号３７１として映像信号出力部９１から出力する。

このようにして、従来映像ノイズ削減処理を行っておらず、内挿フレームと比較してノイズ量が多くなっていたフレームに対しても、ノイズ削減処理が可能になり、違和感の少ない映像を出力することが可能になる。

音声遅延処理４３１は、映像信号と共に入力される音声信号を音声信号入力部４２１から入力し、音声信号を遅延して、音声信号出力部４４１に出力するものである。上述した映像ノイズ削減処理において、フレームメモリを通過し、遅延を生じているが音声は遅延されていない。このため、映像と音声の間に時間的なずれが生じる。音声信号遅延処理部４３１では、音声信号をデジタル的に処理を行い、ＦＩＦＯにより映像と同じだけの遅延を行うことにより、時間的なずれを補正する。

なお本実施例２では、映像信号入力フレームレートと映像信号出力フレームレートが同じという条件下で映像ノイズ削減処理を行う場合でも、また映像信号入力フレームレートと映像信号出力フレームレートが異なり、フレームレート変換処理を行いながら映像ノイズ削減処理を行う場合でも、どちらでも使用可能な構成をとったため、フレームメモリ２１、２６を有する構成としている。しかし、映像信号入力フレームレートと映像信号出力フレームレートが同じと言う条件でのみ動作する映像ノイズ削減処理では、相関演算処理部４２に入力するフレームレートを変換する必要がないため、フレームメモリ２１は有しなくても良い。また、ノイズ削減処理を行ったフレームのフレームレートを変換するフレームメモリ２６、フレームレート変換処理を行うフレームレート変換処理部４０１、フレームレート変換処理により作成される内挿フレームとノイズ削減処理を行ったフレームとを切換える切換器４１１も不要になる。

また、本実施例２では対象フレームを中心とした５フレームを用いて相関検出を行い、対象フレームを中心とした３フレームを用いて映像ノイズ削減処理を行ったが、これにとらわれるものではなく、フレーム数を変更して相関検出処理、映像ノイズ削減処理を行っても同様なことが可能であることは明らかである。さらに、ここでは入出力フレームレートが６０Ｈｚで同じ場合と、入力フレームレートが６０Ｈｚ、出力フレームレートが１２０Ｈｚの倍速フレームレート変換について説明を行ったが、これに限られるものではなく、他のフレームレートでも同様なことが可能であることは明らかである。

映像のノイズを削減する装置であり、容易な構成であるといった利点を生かして、ＴＶなどの映像表示装置に組み込むことが可能である。また、ハードディスク搭載録画機等の映像処理装置用の映像ノイズ削減処理装置として組込むことも可能である。

図６に、本発明の実施例３である映像ノイズ削減処理装置が組み込まれたデジタル放送受信装置の例を示す。図６において、地上電波、衛星電波、あるいはケーブルからの放送信号は、復調部７０１でデジタル信号に復調され、誤り訂正部７０２で伝送系の情報の誤りが訂正され、多重信号分離部７０３で圧縮された画像、音声等の複数の情報に分離され、復号化部７０４で圧縮符号化された画像、音声等の複数の情報が復号化される。
復号化された映像信号は映像ノイズ削減処理部７０７で映像信号ノイズが削減されてディスプレイ７０５に出力され、復号化された音声信号はスピーカ７０６に出力される。
映像ノイズ削減処理装置は、映像ノイズ削減処理部７０７内に設けられ、復号化部で復号化された映像信号について、ノイズの削減処理を行おうとしているフレーム、その前フレーム、その後フレームのうち少なくとも２フレームを用いて、処理を行おうとしている画素に対する相関処理を利用した動きの検出を行い、その動き情報を用いてノイズ削減処理を行う。

本発明の第１実施例のノイズ削減装置の実施方法を示した説明図である。 第１実施例における相関検出処理部の処理を説明する図である。 本発明の第２実施例のノイズ削減装置の実施方法を示した説明図である。 第２実施例における相関検出処理部の処理を説明する図である。 第２実施例におけるノイズ削減処理を行うタイミングを説明する図である。 本発明の映像ノイズ削減処理装置が組み込まれたデジタル放送受信装置の例を示す図である。

符号の説明

１１ 映像信号入力部
２１〜２７ フレームメモリ
３１ 探索範囲変換処理部
３２ ブロック変換処理部
４１、４２ 相関検出処理部
５１、５２ 画素移動処理部
５３ 補間画素生成部
６１ 平均処理部
７１ ライン変換処理部
８１ ノイズ削減処理部
９１ 映像信号出力部
１０１、１１１ 映像信号
１０２ 探索範囲
１１２ ブロック
１３１ 動き情報
１４１、１５１ ブロック
１７１ 映像信号
２０１、２０２ ブロック
３０１〜３０６ 映像信号
３１１ 動き情報
３２１、３３１、３４１、３５１、３６１、３７１ 映像信号
３８２、３８３、３８５、３８６ 探索範囲
４０１ フレームレート変換処理部
４１１ 切換器
４２１ 音声信号入力部
４３１ 音声遅延処理部
４４１ 音声信号出力部
５０２〜５０６ 画素
５１２、５１３、５１５、５１６ 画素
６０１〜６０９ 入力映像信号
６１１〜６１９ 出力映像信号
７０１ 復調部
７０２ 誤り訂正部
７０３ 多重信号分離部
７０４ 復号化部
７０５ ディスプレイ
７０６ スピーカ
７０７ 映像ノイズ削減処理部

Claims (8)

1. ノイズ削減処理対象フレーム、前記対象フレームの前フレーム、前記対象フレームの後フレームのうち、少なくとも２フレームを含む複数のフレームを用いて相関演算処理により映像の動きを検出し、前記相関演算処理により検出した映像の動きにより特定される前記対象フレームの前のフレーム上の画素または前記対象フレームの後ろのフレーム上の画素の画素値と、前記対象フレーム上の対象画素の画素値との比較を行い、前記対象フレーム上の対象画素の画素値を中心に所定の範囲を設定し、該範囲に前記対象フレームの前のフレーム上の画素または前記対象フレームの後ろのフレーム上の画素の画素値が入っている場合には、前記対象フレームの前のフレーム上の画素または前記対象フレームの後ろのフレーム上の画素の画素値と前記対象フレーム上の対象画素の画素値との平均を前記対象フレーム上の対象画素の新たな画素値とする映像ノイズ削減処理装置。
2. ノイズ削減処理対象フレーム、前記対象フレームの前フレーム、前記対象フレームの後フレームのうち、少なくとも２フレームを含む複数のフレームを用いて相関演算処理により映像の動きを検出し、前記相関演算処理により検出した映像の動きにより特定される前記対象フレームの前のフレーム上の画素および前記対象フレームの後ろのフレーム上の画素の画素値の平均と、前記対象フレーム上の対象画素の画素値との比較を行い、前記対象フレーム上の対象画素の画素値を中心に所定の範囲を設定し、該範囲に前記対象フレームの前のフレーム上の画素および前記対象フレームの後ろのフレーム上の画素の画素値の平均が入っている場合には、前記対象フレームの前のフレーム上の画素および前記対象フレームの後ろのフレーム上の画素の画素値の平均と前記対象フレーム上の対象画素の画素値との平均を前記対象フレーム上の対象画素の新たな画素値とする映像ノイズ削減処理装置。
3. 請求項１または請求項２に記載の映像ノイズ削減処理装置において、
   前記相関演算処理は、前記対象フレーム上の前記対象画素を中心にして単一直線上に存在する前記複数のフレーム上の画素を用いて相関処理を行うことを特徴とする映像ノイズ削減処理装置。
4. 請求項１または請求項２に記載の映像ノイズ削減処理装置において、
   前記相関演算処理は、ｍ×ｎ画素（ｍ、ｎは自然数）のブロックマッチング処理を用いる相関演算処理であることを特徴とする映像ノイズ削減処理装置。
5. 符号化映像を入力する入力部と、
   前記符号化映像を復号する復号部と、
   前記復号部により復号された復号映像について、処理対象フレーム、前記対象フレームの前フレーム、前記対象フレームの後フレームのうち、少なくとも２フレームを含む複数のフレームを用いて相関演算処理により映像の動きを検出し、前記相関演算処理により検出した映像の動きにより特定される前記対象フレームの前のフレーム上の画素または前記対象フレームの後ろのフレーム上の画素の画素値と、前記対象フレーム上の対象画素の画素値との比較を行い、前記対象フレーム上の対象画素の画素値を中心に所定の範囲を設定し、該範囲に前記対象フレームの前のフレーム上の画素または前記対象フレームの後ろのフレーム上の画素の画素値が入っている場合には、前記対象フレームの前のフレーム上の画素または前記対象フレームの後ろのフレーム上の画素の画素値と前記対象フレーム上の対象画素の画素値との平均を前記対象フレーム上の対象画素の新たな画素値とする映像処理部と、
   前記映像処理部により処理された映像を表示する表示部と
   を備えることを特徴とする映像表示装置。
6. 符号化映像を入力する入力部と、
   前記符号化映像を復号する復号部と、
   前記復号部により復号された復号映像について、処理対象フレーム、前記対象フレームの前フレーム、前記対象フレームの後フレームのうち、少なくとも２フレームを含む複数のフレームを用いて相関演算処理により映像の動きを検出し、前記相関演算処理により検出した映像の動きにより特定される前記対象フレームの前のフレーム上の画素および前記対象フレームの後ろのフレーム上の画素の画素値と、前記対象フレーム上の対象画素の画素値との比較を行い、前記対象フレーム上の対象画素の画素値を中心に所定の範囲を設定し、該範囲に前記対象フレームの前のフレーム上の画素および前記対象フレームの後ろのフレーム上の画素の画素値の平均が入っている場合には、前記対象フレームの前のフレーム上の画素および前記対象フレームの後ろのフレーム上の画素の画素値の平均と前記対象フレーム上の対象画素の画素値との平均を前記対象フレーム上の対象画素の新たな画素値とする映像処理部と、
   前記映像処理部により処理された映像を表示する表示部と
   を備えることを特徴とする映像表示装置。
7. 請求項５または請求項６に記載の映像表示装置において、
   前記映像処理部における前記相関演算処理は、前記対象フレーム上の前記対象画素を中心にして単一直線上に存在する前記複数のフレーム上の画素を用いて相関処理を行うことを特徴とする映像表示装置。
8. 請求項５または請求項６に記載の映像表示装置において、
   前記映像処理部における前記相関演算処理は、ｍ×ｎ画素（ｍ、ｎは自然数）のブロックマッチング処理を用いる相関演算処理であることを特徴とする映像表示装置。

Images