JP6128878B2 - 映像処理装置、映像処理方法、放送受信装置、映像撮影装置、映像蓄積装置及びプログラム - Google Patents

映像処理装置、映像処理方法、放送受信装置、映像撮影装置、映像蓄積装置及びプログラム Download PDF

Info

Publication number
JP6128878B2
JP6128878B2 JP2013026781A JP2013026781A JP6128878B2 JP 6128878 B2 JP6128878 B2 JP 6128878B2 JP 2013026781 A JP2013026781 A JP 2013026781A JP 2013026781 A JP2013026781 A JP 2013026781A JP 6128878 B2 JP6128878 B2 JP 6128878B2
Authority
JP
Japan
Prior art keywords
frame
noise reduction
pixel value
motion vector
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013026781A
Other languages
English (en)
Other versions
JP2014158083A (ja
JP2014158083A5 (ja
Inventor
督 那須
督 那須
智教 福田
智教 福田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2013026781A priority Critical patent/JP6128878B2/ja
Publication of JP2014158083A publication Critical patent/JP2014158083A/ja
Publication of JP2014158083A5 publication Critical patent/JP2014158083A5/ja
Application granted granted Critical
Publication of JP6128878B2 publication Critical patent/JP6128878B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Picture Signal Circuits (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、映像信号に含まれるノイズを低減することができる装置、方法、及びプログラムに関する。
一般に、被写体を撮影して映像信号を生成する処理、この映像信号を伝送する処理、及び受信した映像信号に基づいて表示装置に映像を表示させる処理において、映像信号にノイズが付加される。このノイズは、暗ノイズ及び符号化ノイズなどを含む。暗ノイズは、暗い被写体を明るい映像として表示させるための増幅処理によって、映像信号の微小な揺らぎをも増幅してしまうことで現れるノイズである。符号化ノイズは、映像信号を伝送するための符号化処理によって映像信号に発生するノイズである。
このようなノイズを低減する方法として、平均化フィルタ又はガウシアンフィルタなどを用いて、映像信号に対し空間方向の平滑化処理を行う方法が知られている。しかし、空間方向の平滑化処理を行った場合には、ノイズの低減の度合いが増すほど画像の鮮鋭度が低下して、画像にぼやけが発生するという問題がある。また、メディアンフィルタを用いて、画像のエッジを保存しながら空間方向の平滑化処理を行う方法も知られているが、この場合には、画像のエッジの形状が変化するという他の問題が生じる。
上記問題を解決するために、時間的に隣接する複数の映像フレーム(以下「フレーム」又は「1フレームの映像データ」ともいう。)の比較結果に基づいてノイズ低減処理を行う3次元ノイズ低減法が提案されている。この方法は、例えば、ノイズ低減の対象フレームである現フレーム(着目フレーム)と、現フレームに対し時間的に先行するフレーム(前フレーム)と、現フレームに対し時間的に後続するフレーム(後フレーム)とから成る3つのフレームにおいて、同一座標の画素の画素値の平均を算出し、現フレームの画素値を、算出された画素値(平均値)に置き換える方法である。3次元ノイズ低減法は、空間方向の平滑化処理の場合のような画像のぼやけを発生させないが、異なる時刻の複数のフレームの同一座標の画素の画素値を参照するため、映像に物体の動きが存在する場合には、残像のようなぼやけが発生するという問題がある。
この残像のようなぼやけは、同一座標の画素の画素値を参照する代わりに、同一物体の同一位置の画素の画素値を参照する動き補償方式を用いることで軽減可能である(例えば、特許文献1参照)。しかし、動き補償方式を用いた3次元ノイズ低減法においては、物体の動き(フレーム間の動きベクトル)に応じて参照する画素の位置を決めるため、着目フレームより時間的に先行するフレームにおける動きの検出精度がノイズ低減の性能に大きく影響する。例えば、動きを誤って検出した場合は、ノイズを低減できないだけでなく、映像品質を低下させるおそれがある。特に、時間の経過に伴って前景物体に隠れる領域、又は、時間の経過に伴って前景物体の陰から出現する領域(すなわち、隠れていた領域)が存在する場合には、これらの領域において、着目フレームよりも時間的に先行するフレーム内に参照すべき画素が存在せず、物体の動きに応じて、参照する画素の座標位置を適切に決めることができない。
特開2008−294601号公報
以上に説明したように、従来の3次元ノイズ低減法においては、フレーム間の動きベクトルを誤って検出した場合に、ノイズを適切に低減できないだけでなく、映像品質を低下させるおそれがある。
そこで、本発明は、上記従来技術の課題を解決するためになされたものであり、その目的は、映像品質の低下を回避しながら、ノイズを適切に低減することができる映像処理装置、映像処理方法、放送受信装置、映像撮影装置、映像蓄積装置及びプログラムを提供することである。
本発明の一態様に係る映像処理装置は、動画像を構成する一連の複数のフレームの1つを着目フレームとし、前記着目フレームより時間的に先行するフレーム及び時間的に後続するフレームの少なくとも一方を動き検出用参照フレームとして用いて、前記着目フレームと前記動き検出用参照フレームとの間の動きを推定し、前記着目フレームを構成する画素単位の動きベクトルを検出する動き検出部と、前記動き検出部によって検出された前記動きベクトル、前記着目フレーム、及び前記着目フレームより時間的に先行するフレーム及び時間的に後続するフレームの少なくとも一方であるノイズ低減用参照フレームを用いて、前記着目フレームのノイズが低減されたノイズ低減フレームを生成するノイズ低減部とを有し、前記ノイズ低減部は、前記動きベクトルの境界画素を検出し、前記検出された境界画素を示す動きベクトル境界画素情報を生成する動きベクトル境界検出手段と、前記着目フレームと前記ノイズ低減用参照フレームとの間における画素値変化率を解析し、前記画素値変化率の解析結果情報を生成する画素値変化率解析手段と、前記動きベクトル境界画素情報及び前記画素値変化率の解析結果情報を用いて前記ノイズ低減フレームの生成を行う補正手段とを有し、前記画素値変化率解析手段によって生成された前記画素値変化率の解析結果情報は、前記着目フレームと前記ノイズ低減用参照フレームとの間における同じ座標の画素の画素値の変化を、前記着目フレームの画素毎に、予め決められた複数の画素値変化パターンのいずれに分類されるかを示す情報であることを特徴としている。
本発明の他の態様に係る映像処理方法は、動画像を構成する一連の複数のフレームの1つを着目フレームとし、前記着目フレームより時間的に先行するフレーム及び時間的に後続するフレームの少なくとも一方を動き検出用参照フレームとして用いて、前記着目フレームと前記動き検出用参照フレームとの間の動きを推定し、前記着目フレームを構成する画素単位の動きベクトルを検出する動き検出ステップと、前記動き検出ステップにおいて検出された前記動きベクトル、前記着目フレーム、及び前記着目フレームより時間的に先行するフレーム及び時間的に後続するフレームの少なくとも一方であるノイズ低減用参照フレームを用いて、前記着目フレームのノイズが低減されたノイズ低減フレームを生成するノイズ低減ステップとを有し、前記ノイズ低減ステップは、前記動きベクトルの境界画素を検出し、前記検出された境界画素を示す動きベクトル境界画素情報を生成する動きベクトル境界検出ステップと、前記着目フレームと前記ノイズ低減用参照フレームとの間における画素値変化率を解析し、前記画素値変化率の解析結果情報を生成する画素値変化率解析ステップと、前記動きベクトル境界画素情報及び前記画素値変化率の解析結果情報を用いて前記ノイズ低減フレームの生成を行うノイズ低減フレーム生成ステップとを有し、前記画素値変化率解析ステップにおいて生成された前記画素値変化率の解析結果情報は、前記着目フレームと前記ノイズ低減用参照フレームとの間における同じ座標の画素の画素値の変化を、前記着目フレームの画素毎に、予め決められた複数の画素値変化パターンのいずれに分類されるかを示す情報であることを特徴としている。
本発明の他の態様に係る放送受信装置は、放送波を受信し、前記放送波に含まれる映像情報の復号化を行う放送受信部と、前記放送受信部から動画像を構成する一連の複数のフレームを受け取り、前記一連の複数のフレームの1つを着目フレームとし、前記着目フレームより時間的に先行するフレーム及び時間的に後続するフレームの少なくとも一方を動き検出用参照フレームとして用いて、前記着目フレームと前記動き検出用参照フレームとの間の動きを推定し、前記着目フレームを構成する画素単位の動きベクトルを検出する動き検出部と、前記動き検出部によって検出された前記動きベクトル、前記着目フレーム、及び前記着目フレームより時間的に先行するフレーム及び時間的に後続するフレームの少なくとも一方であるノイズ低減用参照フレームを用いて、前記着目フレームのノイズが低減されたノイズ低減フレームを生成するノイズ低減部とを有し、前記ノイズ低減部は、前記動きベクトルの境界画素を検出し、前記検出された境界画素を示す動きベクトル境界画素情報を生成する動きベクトル境界検出手段と、前記着目フレームと前記ノイズ低減用参照フレームとの間における画素値変化率を解析し、前記画素値変化率の解析結果情報を生成する画素値変化率解析手段と、前記動きベクトル境界画素情報及び前記画素値変化率の解析結果情報を用いて前記ノイズ低減フレームの生成を行う補正手段とを有し、前記画素値変化率解析手段によって生成された前記画素値変化率の解析結果情報は、前記着目フレームと前記ノイズ低減用参照フレームとの間における同じ座標の画素の画素値の変化を、前記着目フレームの画素毎に、予め決められた複数の画素値変化パターンのいずれに分類されるかを示す情報であることを特徴としている。
本発明の他の態様に係る映像撮影装置は、映像を撮影し動画像を構成する一連の複数のフレームデータを生成する撮像部と、前記撮像部から動画像を構成する一連の複数のフレームを受け取り、前記一連の複数のフレームの1つを着目フレームとし、前記着目フレームより時間的に先行するフレーム及び時間的に後続するフレームの少なくとも一方を動き検出用参照フレームとして用いて、前記着目フレームと前記動き検出用参照フレームとの間の動きを推定し、前記着目フレームを構成する画素単位の動きベクトルを検出する動き検出部と、前記動き検出部によって検出された前記動きベクトル、前記着目フレーム、及び前記着目フレームより時間的に先行するフレーム及び時間的に後続するフレームの少なくとも一方であるノイズ低減用参照フレームを用いて、前記着目フレームのノイズが低減されたノイズ低減フレームを生成するノイズ低減部とを有し、前記ノイズ低減部は、前記動きベクトルの境界画素を検出し、前記検出された境界画素を示す動きベクトル境界画素情報を生成する動きベクトル境界検出手段と、前記着目フレームと前記ノイズ低減用参照フレームとの間における画素値変化率を解析し、前記画素値変化率の解析結果情報を生成する画素値変化率解析手段と、前記動きベクトル境界画素情報及び前記画素値変化率の解析結果情報を用いて前記ノイズ低減フレームの生成を行う補正手段とを有し、前記画素値変化率解析手段によって生成された前記画素値変化率の解析結果情報は、前記着目フレームと前記ノイズ低減用参照フレームとの間における同じ座標の画素の画素値の変化を、前記着目フレームの画素毎に、予め決められた複数の画素値変化パターンのいずれに分類されるかを示す情報であることを特徴としている。
本発明の他の態様に係る映像蓄積装置は、動画像を構成する一連の複数のフレームを記憶する記憶部と、前記記憶部に記憶されている前記一連の複数のフレームの1つを着目フレームとし、前記着目フレームより時間的に先行するフレーム及び時間的に後続するフレームの少なくとも一方を動き検出用参照フレームとして用いて、前記着目フレームと前記動き検出用参照フレームとの間の動きを推定し、前記着目フレームを構成する画素単位の動きベクトルを検出する動き検出部と、前記動き検出部によって検出された前記動きベクトル、前記着目フレーム、及び前記着目フレームより時間的に先行するフレーム及び時間的に後続するフレームの少なくとも一方であるノイズ低減用参照フレームを用いて、前記着目フレームのノイズが低減されたノイズ低減フレームを生成するノイズ低減部と、を有し、前記ノイズ低減部は、前記動きベクトルの境界画素を検出し、前記検出された境界画素を示す動きベクトル境界画素情報を生成する動きベクトル境界検出手段と、前記着目フレームと前記ノイズ低減用参照フレームとの間における画素値変化率を解析し、前記画素値変化率の解析結果情報を生成する画素値変化率解析手段と、前記動きベクトル境界画素情報及び前記画素値変化率の解析結果情報を用いて前記ノイズ低減フレームの生成を行う補正手段とを有し、前記画素値変化率解析手段によって生成された前記画素値変化率の解析結果情報は、前記着目フレームと前記ノイズ低減用参照フレームとの間における同じ座標の画素の画素値の変化を、前記着目フレームの画素毎に、予め決められた複数の画素値変化パターンのいずれに分類されるかを示す情報であることを特徴している。
本発明の他の態様に係るプログラムは、コンピュータに処理を実行させるプログラムであって、前記処理は、動画像を構成する一連の複数のフレームの1つを着目フレームとし、前記着目フレームより時間的に先行するフレーム及び時間的に後続するフレームの少なくとも一方を動き検出用参照フレームとして用いて、前記着目フレームと前記動き検出用参照フレームとの間の動きを推定し、前記着目フレームを構成する画素単位の動きベクトルを検出する動き検出処理と、前記動き検出処理において検出された前記動きベクトル、前記着目フレーム、及び前記着目フレームより時間的に先行するフレーム及び時間的に後続するフレームの少なくとも一方であるノイズ低減用参照フレームを用いて、前記着目フレームのノイズが低減されたノイズ低減フレームを生成するノイズ低減処理とを含み、前記ノイズ低減処理は、前記動きベクトルの境界画素を検出し、前記検出された境界画素を示す動きベクトル境界画素情報を生成する動きベクトル境界検出処理と、前記着目フレームと前記ノイズ低減用参照フレームとの間における画素値変化率を解析し、前記画素値変化率の解析結果情報を生成する画素値変化率解析処理と、前記動きベクトル境界画素情報及び前記画素値変化率の解析結果情報を用いて前記ノイズ低減フレームの生成を行うノイズ低減フレーム生成処理とを含み、前記画素値変化率解析処理によって生成された前記画素値変化率の解析結果情報は、前記着目フレームと前記ノイズ低減用参照フレームとの間における同じ座標の画素の画素値の変化を、前記着目フレームの画素毎に、予め決められた複数の画素値変化パターンのいずれに分類されるかを示す情報であることを特徴としている。
本発明によれば、動きベクトルだけでなく、動きベクトルの境界画素を示す動きベクトル境界画素情報及び着目フレームとノイズ低減用参照フレームとの間における画素値変化率の解析結果情報を用いてノイズ低減フレームを生成するので、映像品質の低下を回避しながら、ノイズを適切に低減することができる。
本発明の実施の形態1に係る映像処理装置(すなわち、実施の形態1に係る映像処理方法を実施することができる装置)の構成を概略的に示す機能ブロック図である。 図1に示される映像処理装置のノイズ低減部の構成を概略的に示す機能ブロック図である。 図2に示されるノイズ低減部のフレームブレンド率算出手段の構成を概略的に示す機能ブロック図である。 図2に示されるノイズ低減部の動き誤検出領域補正係数算出手段の構成を概略的に示す機能ブロック図である。 実施の形態1に係る映像処理装置におけるノイズ低減処理で参照するフレーム及び座標位置(図5の上側)、並びに、ノイズ低減処理されたフレーム(図5の下側)を概略的に示す図である。 (a)から(i)は、図2に示されるノイズ低減部の画素値変化率解析手段による画素値変化率の解析結果情報の具体例としての解析パターンを示すグラフである。 図2に示されるノイズ低減部の画素値変化率解析手段により実行される画素値変化パターンの分類処理を概略的に示すフローチャートである。 (a)から(c)は、オクルージョンの一例を示す図である。 図3に示されるフレームブレンド率算出手段のオクルージョン判定手段から出力されるオクルージョン判定結果に基づくオクルージョン領域の一例を示す図である。 図4に示される動き誤検出領域補正係数算出手段の参照フレーム不定領域検出手段が検出する参照フレーム不定領域の一例を示す図である。 図4に示される動き誤検出領域補正係数算出手段の動きベクトル境界集中領域検出手段が検出する動きベクトル集中領域の一例を示す図である。 本発明の実施の形態2に係る映像処理装置(すなわち、実施の形態2に係る映像処理方法を実施することができる装置)の構成を概略的に示す機能ブロック図である。 実施の形態1に係る映像処理装置おいてノイズ低減処理に用いるフレームを示す図である。 実施の形態2に係る映像処理装置おいてノイズ低減処理に用いるフレームを示す図である。 本発明の実施の形態2の変形例に係る映像処理装置(すなわち、実施の形態2の変形例に係る映像処理方法を実施することができる装置)の構成を概略的に示す機能ブロック図である。 実施の形態2の変形例に係る映像処理装置おいてノイズ低減処理に用いるフレームを示す図である。 本発明の実施の形態3に係る放送受信装置の構成を概略的に示す機能ブロック図である。 実施の形態3の変形例に係る放送受信装置の構成を概略的に示す機能ブロック図である。 本発明の実施の形態4に係る映像撮影装置の構成を概略的に示す機能ブロック図である。 実施の形態4の変形例に係る映像撮影装置の構成を概略的に示す機能ブロック図である。 本発明の実施の形態5に係る映像蓄積装置の構成を概略的に示す機能ブロック図である。 実施の形態5の変形例に係る映像蓄積装置の構成を概略的に示す機能ブロック図である。
《1》実施の形態1.
《1−1》実施の形態1の構成
図1は、本発明の実施の形態1に係る映像処理装置(すなわち、実施の形態1に係る映像処理方法を実施することができる装置)1の構成を概略的に示す機能ブロック図である。図1に示されるように、実施の形態1に係る映像処理装置1は、動き検出部10と、ノイズ低減部20とを備えている。また、図1に示されるように、映像処理装置1は、フレームバッファ30と、フレームバッファ40とを備えてもよい。フレームバッファ30は、動画像を構成する一連の複数のフレームFS1を蓄えるための記憶部である。フレームバッファ40は、動画像を構成する一連の複数のフレームを蓄えるための記憶部であるが、例えば、ノイズ低減部20から出力されたノイズ低減された映像データである一連の複数のフレーム(ノイズ低減フレーム)FS3を蓄えることができる。映像処理装置1は、動き補償方式を用いた3次元ノイズ低減法を用いる装置であり、動き検出部10が動きを誤って検出した場合であっても、映像品質を低下させないように、適切にノイズを低減することができる装置である。
また、実施の形態1に係る映像処理方法は、実施の形態1に係る映像処理装置1によって実行可能な方法である。実施の形態1に係る映像処理方法は、動画像を構成する一連の複数のフレームの1つを着目フレームとし、前記着目フレームより時間的に先行するフレーム及び時間的に後続するフレームの少なくとも一方を動き検出用参照フレームとして用いて、前記着目フレームと前記動き検出用参照フレームとの間の動きを推定し、前記着目フレームを構成する画素単位の動きベクトルを検出する動き検出ステップ(動き検出部10によって実行されるステップ)と、動き検出ステップにおいて検出された前記動きベクトル、前記着目フレーム、及び前記着目フレームより時間的に先行するフレーム及び時間的に後続するフレームの少なくとも一方であるノイズ低減用参照フレームを用いて、前記着目フレームのノイズが低減されたノイズ低減フレームを生成するノイズ低減ステップ(ノイズ低減部20によって実行されるステップ)とを有している。ここで、ノイズ低減ステップは、動きベクトルの境界画素を検出し、前記検出された境界画素を示す動きベクトル境界画素情報を生成する動きベクトル境界検出ステップ(後述する動きベクトル境界検出手段202によって実行されるステップ)と、前記着目フレームと前記ノイズ低減用参照フレームとの間における画素値変化率を解析し、前記画素値変化率の解析結果情報を生成する画素値変化率解析ステップ(後述する画素値変化率解析手段201によって実行されるステップ)と、前記動きベクトル境界画素情報及び前記画素値変化率の解析結果情報を用いて前記ノイズ低減フレームの生成を行うノイズ低減フレーム生成ステップ(後述するフレームブレンド率算出手段204、ノイズ低減画像生成手段205、動き誤検出領域補正係数算出手段203、動き誤検出領域補正手段206などによって実行されるステップ)とを含んでいる。
また、映像処理装置1は、プログラムによって動作するコンピュータであってもよい。このプログラムは、コンピュータに処理を実行させるプログラムであって、前記処理は、動画像を構成する一連の複数のフレームの1つを着目フレームとし、前記着目フレームより時間的に先行するフレーム及び時間的に後続するフレームの少なくとも一方を動き検出用参照フレームとして用いて、前記着目フレームと前記動き検出用参照フレームとの間の動きを推定し、前記着目フレームを構成する画素単位の動きベクトルを検出する動き検出処理と、前記動き検出処理において検出された前記動きベクトル、前記着目フレーム、及び前記着目フレームより時間的に先行するフレーム及び時間的に後続するフレームの少なくとも一方であるノイズ低減用参照フレームを用いて、前記着目フレームのノイズが低減されたノイズ低減フレームを生成するノイズ低減処理とを含み、前記ノイズ低減処理は、前記動きベクトルの境界画素を検出し、前記検出された境界画素を示す動きベクトル境界画素情報を生成する動きベクトル境界検出処理と、前記着目フレームと前記ノイズ低減用参照フレームとの間における画素値変化率を解析し、前記画素値変化率の解析結果情報を生成する画素値変化率解析処理と、前記動きベクトル境界画素情報及び前記画素値変化率の解析結果情報を用いて前記ノイズ低減フレームの生成を行うノイズ低減フレーム生成処理とを含んでいる。
また、上記プログラムは、コンピュータで読み取り可能な記録媒体に記録することができる。この場合には、プログラムを記録したコンピュータで読み取り可能な記録媒体も、本発明の一部をなす。
図1に示される動き検出部10は、動画像を構成する一連の複数のフレーム(すなわち、時間的に並ぶ複数のフレームから構成されるフレーム列)FS1を受け取り、この一連の複数のフレームFS1の内の1つを着目フレームとし、この着目フレームより時間的に先行するフレーム及び時間的に後続するフレームの少なくとも一方を参照フレームとして用いて(実施の形態1においては、両方のフレームを誤り検出用参照フレームとしている。)、着目フレームと該着目フレームの前後のフレームとの間の動きを推定して画素単位で(すなわち、フレーム内の各画素について)動きベクトルMVを検出する。例えば、動き検出部10は、フレームバッファ30から動画像を構成する一連の複数のフレームFS1を受け取り、受け取った一連の複数のフレームFS1の内の互いに隣接するフレームである第1フレームFn−1と第2フレームFとの間の動きベクトル、及び、互いに隣接する第2フレームFと第3フレームFn+1との間の動きベクトルを検出する。なお、nは、正の整数であり、Fの添え字であるn−1,n,n+1,…は、フレームの並びの順番を示す整数である。また、動きベクトルの検出に用いるフレームは、上記連続する3フレームに限定されない。
ノイズ低減部20は、動き検出部10によって検出された動きベクトル、着目フレーム、及び着目フレームより時間的に先行するフレーム及び時間的に後続するフレームの少なくとも一方である参照フレーム(ノイズ低減用参照フレーム)を用いて、着目フレームのノイズが低減されたノイズ低減フレームを生成する。ノイズ低減部20は、動きベクトルの境界画素を検出し、前記検出された境界画素を示す動きベクトル境界画素情報を生成する動きベクトル境界検出手段(後述する動きベクトル境界検出手段202)と、着目フレームとノイズ低減用参照フレームとの間における画素値変化率を解析し、画素値変化率の解析結果情報を生成する画素値変化率解析手段(後述する画素値変化率解析手段201)と、前記動きベクトル境界画素情報及び前記画素値変化率の解析結果情報を用いて前記ノイズ低減フレームFS3の生成を行うノイズ低減フレーム生成手段(後述するフレームブレンド率算出手段204、ノイズ低減画像生成手段205、動き誤検出領域補正係数算出手段203、動き誤検出領域補正手段206)とを含んでいる。なお、ノイズ低減フレームFS3の生成に用いるフレームは、上記連続する3フレームに限定されない。
図2は、図1に示されるノイズ低減部20の構成を概略的に示す機能ブロック図である。図2に示されるように、ノイズ低減部20は、フレーム間の画素値の変化率を解析して、フレーム間の画素値変化率の解析結果情報ANを生成する画素値変化率解析手段201と、動きベクトルMVの分布を解析し、動きベクトルMVの境界を検出して、動きベクトルMVの境界画素を示す動きベクトル境界画素情報BOを生成する動きベクトル境界検出手段202と、動き検出部10によって行われた動きの検出が誤りであると判断できる領域を検出して、この検出結果に基づいて画像を補正するための補正係数ERを算出する動き誤検出領域補正係数算出手段203とを有する。また、ノイズ低減部20は、ノイズ低減のためのフレームの重み付き平均を計算する際に用いられるフレーム合成係数であるブレンド重み係数(フレームブレンド率)BWを算出するフレームブレンド率算出手段204と、ブレンド重み係数BWを用いてノイズ低減処理を行うノイズ低減画像生成手段205と、動き検出部10によって行われた動きの検出が誤りであると判断できる領域における、検出された動きの誤りに起因するノイズ低減画像の乱れを補正する動き誤検出領域補正手段206とを有する。なお、図2において、207は、動画像を構成する一連の複数のフレーム(すなわち、第1、第2、第3フレームFn−1,F,Fn+1を含むフレーム列)FS1が入力される入力端子を示し、208は、画素単位の動きベクトルMVが入力される入力端子を示し、209は、ノイズを低減した画像データであるノイズ低減フレームFS3が出力される出力端子を示す。
画素値変化率解析手段201は、入力端子207を介して入力される一連の複数のフレームFS1の内の第1、第2、第3フレームFn−1,F,Fn+1と、入力端子208を介して入力される画素単位の動きベクトルMVとを受け取り、受け取った第1、第2、第3フレームFn−1,F,Fn+1及び動きベクトルMVに基づいて、フレーム間の画素値の変化を画素毎に解析し、フレーム間の画素値変化率の解析結果情報ANを生成する。
動きベクトル境界検出手段202は、入力端子208を介して入力される画素単位の動きベクトルMVを受け取り、検出対象となる対象画素の動きベクトルとこの対象画素に隣接する隣接画素の動きベクトルとの差が所定の値以上になる対象画素を動きベクトルの境界画素として抽出し、この抽出された境界画素に関する情報である動きベクトル境界画素情報BO及び動きベクトルMVを出力する。
動き誤検出領域補正係数算出手段203は、画素値変化率解析手段201からフレーム間の画素値変化率の解析結果情報ANを受け取り、動きベクトル境界検出手段202から動きベクトルMV及び動きベクトル境界画素情報BOを受け取り、受け取った画素値変化率の解析結果情報AN、動きベクトルMV、及び動きベクトル境界画素情報BOに基づいて、各画素における動きベクトルの誤検出の有無を判断し、誤検出がある画素の補正係数ERを算出する。
フレームブレンド率算出手段204は、画素値変化率解析手段201からフレーム間の画素値変化率の解析結果情報ANを受け取り、動きベクトル境界検出手段202から動きベクトルMV及び動きベクトル境界画素情報BOを受け取り、受け取った画素値変化率の解析結果情報AN、動きベクトルMV、及び動きベクトル境界画素情報BOに基づいて、第1、第2、第3フレームFn−1,F,Fn+1の重み付き平均に用いるブレンド重み係数BWを算出する。
ノイズ低減画像生成手段205は、入力端子207を介して第1、第2、第3フレームFn−1,F,Fn+1を受け取り、フレームブレンド率算出手段204からブレンド重み係数BWを受け取り、受け取ったブレンド重み係数BWと第1、第2、第3フレームFn−1,F,Fn+1とに基づいて、着目フレームのノイズ低減画像(動き誤検出領域を考慮した補正係数ERによる補正前のノイズ低減フレーム)FS2を生成する。
動き誤検出領域補正手段206は、入力端子207を介して第1、第2、第3フレームFn−1,F,Fn+1を受け取り、動き誤検出領域補正係数算出手段203から補正係数ERを受け取り、ノイズ低減画像生成手段205からノイズ低減フレームFS2を受け取り、受け取った第1、第2、第3フレームFn−1,F,Fn+1、補正係数ER、及びノイズ低減画像FS2に基づいて、ノイズ低減画像FS2の動き誤検出領域の補正を行ない、補正後の画像、すなわち、ノイズ低減された映像データを構成する一連の複数のフレーム(ノイズ低減フレーム)FS3を生成する。
図3は、図2に示されるフレームブレンド率算出手段204の構成を概略的に示す機能ブロック図である。図3に示されるように、フレームブレンド率算出手段204は、画素値変化率の解析結果情報ANから、第1、第2、第3フレームFn−1,F,Fn+1のノイズ低減への寄与率に応じた優先度PRを算出する参照フレーム優先度算出手段2041と、動きベクトルMV及び動きベクトル境界画素情報BOからオクルージョンを判定してオクルージョン判定結果OCを生成するオクルージョン判定手段2042と、ブレンド重み係数BWを算出するブレンド重み係数算出手段2043とを有する。なお、図3において、2044は、画素値変化率の解析結果情報ANが入力される入力端子を示し、2045は、動きベクトルMVと動きベクトル境界画素情報BOが入力される入力端子を示し、2046は、ブレンド重み係数BWが出力される出力端子を示す。
参照フレーム優先度算出手段2041は、入力端子2044を介して画素値変化率の解析結果情報ANを受け取り、第1、第2、第3フレームFn−1,F,Fn+1のそれぞれのノイズの有無、前景物体が背景を隠すオクルージョンの有無を推定し、第1、第2、第3フレームFn−1,F,Fn+1のノイズ低減処理に最適な優先度PRを算出する。
オクルージョン判定手段2042は、入力端子2045を介して動きベクトルMVと動きベクトル境界画素情報BOを受け取り、画素単位でオクルージョンの有無を判定し、画素毎のオクルージョンの有無を示すオクルージョン判定結果OCを生成する。
ブレンド重み係数算出手段2043は、参照フレーム優先度算出手段2041から、第1、第2、第3フレームFn−1,F,Fn+1の優先度PRを受け取り、オクルージョン判定手段2042から画素毎のオクルージョン判定結果OCを受け取り、受け取った優先度PR及びオクルージョン判定結果OCに基づいて、第1、第2、第3フレームFn−1,F,Fn+1の重み付き平均に用いるブレンド重み係数BWを算出する。
図4は、図2に示される動き誤検出領域補正係数算出手段203の構成を概略的に示す機能ブロック図である。図4に示されるように、動き誤検出領域補正係数算出手段203は、画素値変化率の解析結果情報ANに基づいて、補正の要否を判定する画素値急変領域検出手段2031と、動きベクトル境界画素情報BOに基づいて、参照フレームを決定する際に参照フレームが不定となる参照フレーム不定領域を検出して、検出結果を示す参照フレーム不定領域情報Rを生成する参照フレーム不定領域検出手段2032とを有する。また、動き誤検出領域補正係数算出手段203は、動きベクトル境界が集中する動きベクトル境界集中領域を検出する動きベクトル境界集中領域検出手段2033と、動きベクトルの誤検出領域を補正するための補正係数ERを算出する補正係数算出手段2034とを有する。なお、図4において、2035は、画素値変化率の解析結果情報ANが入力される入力端子を示し、2036は、動きベクトルMVと動きベクトル境界画素情報BOとが入力される入力端子を示し、2037は、動きが誤検出された領域を補正するための補正係数ERが出力される出力端子を示す。
画素値急変領域検出手段2031は、入力端子2035を介して画素値変化率の解析結果情報ANを受け取り、受け取った画素値変化率の解析結果情報ANに基づいて、動きの誤検出の影響で画素値が急激に変化する領域を検出し、検出した領域を示す補正対象領域情報SRを生成する。
参照フレーム不定領域検出手段2032は、入力端子2036を介して動きベクトルMVと動きベクトル境界画素情報BOを受け取り、受け取った動きベクトルMVと動きベクトル境界画素情報BOに基づいて、オクルージョンを避けて画素値の参照先を決定する参照フレームが不定である領域を検出し、動きベクトルMVの信頼度が低く、ノイズ低減処理を行うことが不適切な領域を示す参照フレーム不定領域情報RRを生成する。
動きベクトル境界集中領域検出手段2033は、入力端子2036を介して動きベクトルMVと動きベクトル境界画素情報BOを受け取り、受け取った動きベクトルMV及び動きベクトル境界画素情報BOに基づいて、動きの誤検出に起因すると推測される動きベクトル境界集中領域を示す動きベクトル境界集中領域情報BRを生成する。
補正係数算出手段2034は、画素値急変領域検出手段2031から画素値が急激に変化している補正対象領域情報SRを受け取り、参照フレーム不定領域検出手段2032から参照フレーム不定領域情報RRを受け取り、動きベクトル境界集中領域検出手段2033から動きベクトル境界集中領域情報BRを受け取り、受け取った情報SR,RR,BRに基づいて、これらの領域におけるノイズ低減画像(図2におけるFS2)上の画像の乱れを補正するための補正係数ERを算出する。
《1−2》実施の形態1の動作
《1−2−1》画素値変化率解析手段201
以下に、各機能ブロックの処理内容の詳細を、図面を参照しながら説明する。画素値変化率解析手段201は、第1、第2、第3フレームFn−1,F,Fn+1を受け取り、各画素について、動き補償された第1、第2、第3フレームFn−1,F,Fn+1間の画素値の変化を解析する。
図5は、実施の形態1に係る映像処理装置1におけるノイズ低減処理で参照する第1、第2、第3フレームFn−1,F,Fn+1及び座標位置(図5の上側)、並びに、ノイズ低減処理されたノイズ低減フレームM(図5の下側)を概略的に示す図である。図5に示されるように、実施の形態1においては、映像処理装置1は、第2フレームFをノイズ低減の対象である着目フレームとし、この第2フレームFよりも時間的に先行するフレーム(前フレーム)である第1フレームFn−1及び時間的に後続するフレーム(後フレーム)である第3フレームFn+1を参照フレームとして利用する。ただし、映像処理装置1が使用するフレームの組は、図5の例に限定されない。例えば、動き検出部10は、第1、第2、第3フレームFn−1,F,Fn+1の中から2つのフレームを選択し、選択された2つのフレームを用いて動きを検出し、ノイズ低減部20は、第1、第2、第3フレームFn−1,F,Fn+1の3つのフレームを用いてノイズ低減処理を行うように構成してもよい。
図5は、静止した背景111上を画像中の左下から右上に向かって円状の前景物体110が移動する様子を示している。図5の例においては、第2フレームFにおける背景(前景物体110以外の領域)111上の着目画素P1は、静止した背景111上にあるため、動き検出部10から出力された動きベクトルMVである「0ベクトル」に基づき、第1フレームFn−1及び第3フレームFn+1上においても第2フレームF上の画素P1と同一座標の第1フレームFn−1上の画素P1n−1及び第3フレームFn+1上の画素P1n+1を参照することができる。一方、第2フレームF上の画素P2は、移動する前景物体110上にあるため、第1フレームFn−1及び第3フレームFn+1上においては、第2フレームF上の画素P2の座標とは異なる座標の画素を参照する。すなわち、第2フレームF上の画素P2は、動き検出部10から出力された動きベクトルに従って、第1フレームFn−1上の画素P2n−1及び第3フレームFn+1上の画素P2n+1を参照する。
図6(a)から(i)は、図2に示される画素値変化率解析手段201による画素値変化率の解析結果情報ANの具体例としての解析パターンPA1,PA2,…,PA9を示すグラフである。画素値変化率解析手段201は、動き検出部10から出力された動きベクトルMVに基づいて動き補償された3フレームにわたる画素値の変化を、図6(a)から(i)に示される9パターンPA1,PA2,…,PA9のいずれかに分類する。
図6(a)から(c)は、画素値の差の絶対値が比較的小さいパターンを示している。図6(a)は、画素値の差の絶対値が予め決められた第1閾値TH1以下であるパターンを示しており、この場合には、画素値の変化は、微小変化パターンPA1に分類される。図6(b)は、画素値の差の絶対値が、予め決められた第1閾値TH1より大きいが、第2の閾値TH2以下であり(ただし、TH1<TH2)、且つ、時間の経過に伴い画素値の差の絶対値が増加するパターンを示しており、この場合には、画素値の変化は、単調増加パターンPA2に分類される。図6(c)は、画素値の差の絶対値が予め決められた第1閾値TH1より大きく第2の閾値TH2以下であり、且つ、時間の経過に伴い画素値の差の絶対値が減少するパターンを示しており、この場合には、画素値の変化は、単調減少パターンPA3に分類される。
図6(d)から(f)は、画素値の差の絶対値が第2閾値TH2より大きく、後述する後端差DifN(第2フレームF上の画素と第3フレームFn+1上の画素の間の画素値の差の絶対値)、両端差DifM(第1フレームFn−1上の画素と第3フレームFn+1上の画素の間の画素値の差の絶対値)、前方差DifP(第1フレームFn−1上の画素と第2フレームF上の画素の間の画素値の差の絶対値)が予め決められた第3閾値TH3以下であるパターンを示している。図6(d)は、第1、第2、第3フレームFn−1,F,Fn+1の画素値の差の絶対値が第2閾値TH2より大きく、且つ、後端差DifNについては、DifN≦TH3であるパターンを示しており、この場合には、画素値の変化は、前方不一致パターンPA4に分類される。図6(e)は、第1、第2、第3フレームFn−1,F,Fn+1の画素値の差の絶対値が第2閾値TH2より大きく、且つ、両端差DifMについては、DifM≦TH3であるパターンを示しており、この場合には、画素値の変化は、中央不一致パターンPA5に分類される。図6(f)は、第1、第2、第3フレームFn−1,F,Fn+1の画素値の差の絶対値が第2閾値TH2より大きく、且つ、前方差DifPについては、DifP≦TH3であるパターンを示しており、この場合には、画素値の変化は、後方不一致パターンPA6に分類される。
図6(g)から(i)は、第1、第2、第3フレームFn−1,F,Fn+1の画素値の差の絶対値が大きいパターンを示している。図6(h)は、図6(a)から(f)のパターンPA1,…,PA6いずれにも分類されず、且つ、単調増加するパターンを示しており、この場合には、画素値の変化は、単調大増加パターンPA8に分類される。図6(i)は、図6(a)から(f)のパターンPA1,…,PA6いずれにも分類されず、且つ、単調減少するパターンを示しており、この場合には、画素値の変化は、単調大減少パターンPA9に分類される。図6(g)は、図6(a)から(f)、(h)、(i)のパターンPA1,…,PA6,PA8,PA9のいずれにも分類されないパターンを示しており、この場合には、画素値の変化は、不規則パターンPA7に分類される。ただし、図6(a)から(i)の一式の分析結果パターンは一例であり、他のパターンを採用することもできる。
図7は、図2に示される画素値変化率解析手段201により実行される画素値変化パターンの分類処理を概略的に示すフローチャートである。図7に示されるように、画素値変化率解析手段201は、第1、第2、第3フレームFn−1,F,Fn+1の画像中の着目フレームの各画素に対してパターン分類を行う。
先ず、画素値変化率解析手段201は、対象画素(x、y)の初期値を座標を(0,0)に設定する(ステップST1)。
次に、画素値変化率解析手段201は、第1、第2、第3フレームFn−1,F,Fn+1間の画素値の差の絶対値を、例えば、式(1)、(2)、(3)により求める。
Figure 0006128878
DifN(x,y)、DifM(x,y)、DifP(x,y)はそれぞれ、第2及び第3フレームF,Fn+1間の画素値の差の絶対値である後方差DifN、第1及び第3フレームFn−1,Fn+1間の画素値の差の絶対値である両端差DifM、第1及び第2フレームFn−1,F間の画素値の差の絶対値である前方差DifPを示す。また、In−1(x,y),In(x,y),In+1(x,y)はそれぞれ、第1、第2、第3フレームFn−1,F,Fn+1における座標(x,y)の画素の画素値を示す。また、v(x,y),v(x,y)はそれぞれ、第2フレームFにおける座標(x,y)の動きベクトルのx,y成分を示す。なお、画素値は、座標(x,y)の画素の輝度値であってもよく、又は、RGBの値それぞれにおける計算結果の和であってもよい。
画素値変化率解析手段201は、式(1)、(2)、(3)で求めた各フレーム間の画素値の差の絶対値の内の最も値が大きいものを、式(4)に示す値maxDif(x,y)として求める。
Figure 0006128878
画素値変化率解析手段201は、maxDif(x,y)が、予め決められた第1の閾値TH1以下(maxDif(x,y)≦TH1)であれば(ステップST2でYES)、画素値の変化を、微小変化パターンPA1(図6(a))に分類する(ステップST3)。
画素値変化率解析手段201は、maxDif(x,y)が、第1の閾値TH1より大(minDif(x,y)>TH1)であり(ステップST2でNO)、maxDif(x,y)が、予め決められた第2の閾値TH2以下(maxDif(x,y)≦TH2)であり(ステップST4でYES)、且つ、時間経過と共に画素値が増加する(ステップST5でYES)場合は、画素値の変化を、単調増加パターンPA2(図6(b))に分類する(ステップST6)。
画素値変化率解析手段201は、第1の閾値TH1より大(minDif(x,y)>TH1)であり、maxDif(x,y)が、第2の閾値TH2以下であり、且つ、時間経過と共に画素値が減少する場合(ステップST7でYES)は、画素値の変化を、単調減少パターンPA3(図6(c))に分類する(ステップST8)。
画素値変化率解析手段201は、画素値の変化が微小変化パターンPA1、単調増加パターンPA2、単調減少パターンPA3以外の場合で、式(1)に示す前端差DifN(x,y)が、予め決められた第3の閾値TH3以下である場合は(ステップST9でYES)、画素値の変化を、前方不一致パターンPA4に分類し(ステップST10)、式(2)に示す値DifM(x,y)が第3の閾値TH3以下である場合は(ステップST11でYES)、画素値の変化を、中央不一致パターンPA5(図6(e))に分類し(ステップST12)、式(3)に示す値DifP(x,y)が、第3の閾値TH3以下である場合は(ステップST13でYES)、画素値の変化を、後方不一致パターンPA6(図6(f))に分類する(ステップST14)。
画素値変化率解析手段201は、画素値の変化がパターンPA1,…,PA6以外の場合で、時間経過と共に画素値が増加する場合は(ステップST15でYES)、画素値の変化を、単調大増加パターンPA8(図6(h))に分類し(ステップST16)、時間経過と共に画素値が減少する場合は(ステップST17でYES)、画素値の変化を、単調大減少パターンPA9(図6(i))に分類し(ステップST18)、画素値の変化がパターンPA1,…,PA6,PA8,PA9以外の場合は(ステップST17でNO)、画素値の変化を、不規則パターンPA9(図6(i))に分類する(ステップST19)。
次に、画素値変化率解析手段201は、対象画素が着目フレーム(1フレーム)内の最終画素でなければ、処理をステップST1に戻し、対象画素が1フレーム内の最終画素であれば、処理を終了する(ステップST20)。処理がステップST1に戻ると、画素値変化率解析手段201は、対象画素(x、y)の初期値の座標を未処理の座標に変更し、ステップST2以降の処理を実行する。
《1−2−2》動きベクトル境界検出手段202
動きベクトル境界検出手段202は、隣接する画素の動きベクトルの差が所定の閾値以上の画素を動きベクトル境界として分類する。隣接する画素の動きベクトルの差は、例えば、ラプラシアンフィルタに基づいて、式(5)のように定義される。
Figure 0006128878
ただし、動きベクトルの差を式(5)とは異なる式で算出してもよい。
《1−2−3》フレームブレンド率算出手段204
フレームブレンド率算出手段204は、ノイズ低減画像生成手段205が第1、第2、第3フレームFn−1,F,Fn+1の重み付き平均を算出する際に用いるブレンド重み係数BWを算出する。参照フレーム優先度算出手段2041は、画素値変化率解析手段201から出力される画素値変化率の解析結果情報ANを受け取り、第1のブレンド重み係数(KN−1,K,KN+1)を算出する。画素値変化率解析手段201から出力される画素値変化率の解析結果情報ANが微小変化パターンPA1、単調増加パターンPA2、単調減少パターンPA3のいずれかである場合は、第1のブレンド重み係数(KN−1,K,KN+1)を、式(6)のように設定する。画素値変化率解析手段201から出力される画素値変化率の解析結果情報ANが前方不一致パターンPA4の場合は、第1のブレンド重み係数(KN−1,K,KN+1)を、式(7)のように設定し、画素値変化率の解析結果情報ANが中央不一致パターンPA5の場合は、第1のブレンド重み係数(KN−1,K,KN+1)を、式(8)のように設定し、画素値変化率の解析結果情報ANが後方不一致パターンPA6の場合は、第1のブレンド重み係数(KN−1,K,KN+1)を、式(9)のように設定し、それ以外の場合は、第1のブレンド重み係数(KN−1,K,KN+1)を、式(10)のように設定する。
PA1、PA2、PA3の場合:
(KN−1,K,KN+1)=(1/3,1/3,1/3) 式(6)
PA4の場合:
(KN−1,K,KN+1)=(1−α,α/2,α/2) 式(7)
PA5の場合:
(KN−1,K,KN+1)=(α/2,1−α,α/2) 式(8)
PA6の場合:
(KN−1,K,KN+1)=(α/2,α/2,1−α) 式(9)
PA7、PA8、PA9の場合:
(KN−1,K,KN+1)=((1−α)/2,α,(1−α)/2) 式(10)
ここで、αは、2/3以上1以下の所定の値である。
画素値変化率解析手段201から出力される画素値変化率の解析結果情報ANが微小変化パターンPA1、単調増加パターンPA2、単調減少パターンPA3のいずれかである場合は、第1、第2、第3フレームFn−1,F,Fn+1の対応する座標の画素値は、いずれも近い値であるため、第1、第2、第3フレームFn−1,F,Fn+1のすべてのフレームが、ノイズ低減に有効である。
一方で、画素値変化率解析手段201から出力される画素値変化率の解析結果情報ANが前方不一致パターンPA4、中央不一致パターンPA5、後方不一致パターンPA6のいずれかである場合は、それぞれ第1フレームFn−1、第2フレームF及び第3フレームFn+1がノイズなどの影響で他のフレームと大きく異なった値を示しているため、ノイズ低減処理の際に、画素値変化率の解析結果情報ANが微小変化パターンPA1、単調増加パターンPA2、単調減少パターンPA3のいずれかである場合よりも、このフレームの影響を小さくすることでより、より適切なノイズ低減が可能となる。
画素値変化率解析手段201から出力される画素値変化率の解析結果情報ANがパターンPA7、PA8、PA9の場合は、第1、第2、第3フレームFn−1,F,Fn+1が大きく異なる画素値を持つため、重み付き平均をとることでノイズ低減を行うことが適切でないと推測できる。このため、ノイズ低減の対象フレームである第2フレームFの重みを大きくし、参照フレーム(第1及び第3フレーム)の影響を小さくすることで、ノイズが強調されてしまうなどのリスクを回避している。
なお、実施の形態1においては、フレームブレンド率算出手段204が、微小変化パターンPA1、単調増加パターンPA2、単調減少パターンPA3の区別を行っておらず、また、不規則パターンPA7、単調大増加パターンPA8、単調大減少パターンPA9の区別を行っていないため、画素値変化率解析手段201における分類段階において、これらの区別を行わない簡便な方法を採用してもよい。
また、フレームブレンド率算出手段204においては、微小変化パターンPA1、単調増加パターンPA2、単調減少パターンPA3の場合におけるαの値と、不規則パターンPA7、単調大増加パターンPA8、単調大減少パターンPA9の場合におけるαの値とを変えたり、個々の係数を調整するなど、詳細な処理を採用してもよい。
図8(a)から(c)は、オクルージョンの一例を示す図である。オクルージョン判定手段2042は、前景物体が背景領域を隠す領域を検出し、第1、第2、第3フレームFn−1,F,Fn+1から適切なフレームを選択してノイズ低減を行うよう第2のブレンド重み係数を算出する。図8(a)から(c)は、第1、第2、第3フレームFn−1,F,Fn+1において、静止している背景121上を矩形の前景物体120が右に向かって動く様子を表したものである。第2フレームFにおいて前景物体120の左側の領域122は、第1フレームFn−1で前景物体120によって隠されている。同様に、前景物体120の右の領域123は、第3フレームFn+1においては、前景物体120によって隠されている。すなわち、領域122のノイズ低減をする際は、第1フレームFn−1を参照することは適切ではなく、領域123のノイズ低減をする際は第3フレームFn+1を参照することは適切ではない。オクルージョン判定手段2042は、このような時間的に先行する第1フレームFn−1及び時間的に後続する第3フレームFn+1で隠される領域を検出し、ブレンド重み係数BWを算出する。
前後のフレームで隠される領域は、前景物体120と背景121の境界周辺に分布する。境界の検出は、画像にソーベルフィルタなどの微分フィルタを適用することで得ることができるが、微分フィルタを適用した場合には、同一物体中の模様も境界として検出してしまう。そこで、実施の形態1においては、動きベクトルの境界を用いる。動きベクトル境界検出手段202から動きベクトル境界画素情報BOを受け取り、動きベクトルの境界画素の周辺をオクルージョン領域とする。具体的には、フレーム中のすべての動きベクトルの境界画素に対し、上下左右方向に一定距離の画素から得た動きベクトルのx,y成分の差に基づいてオクルージョン領域を設定する。すなわち、式(11)に表すDistX(x,y)の絶対値を横幅とし、DistY(x,y)の絶対値を縦幅とする矩形領域が座標(x,y)に位置する動きベクトルの境界画素の周辺に設定されるオクルージョン領域となる。
DistX(x,y)=v(x+χ,y)−v(x−χ,y) 式(11)
DistY(x,y)=v(x,y+χ)−v(x,y−χ) 式(12)
ここで、χは、上下左右方向の参照する画素を決めるための所定の距離値であり、v(x,y),v(x,y)はそれぞれ、第2フレームFにおける座標(x,y)の動きベクトルのx,y成分を示す。
図9は、図3に示されるフレームブレンド率算出手段204のオクルージョン判定手段2042から出力されるオクルージョン判定結果OCに基づくオクルージョン領域132,133の一例を示す図である。図9は、131(濃いハッチング部分)の周辺にオクルージョン領域132,133(斜線部分)を設定する例である。ここでは、簡単のために水平方向のみに注目して説明する。動きベクトルの境界画素131の左側は、画像中で右向きに「1」の動きが検出されており、右側は、画像中で左向き「2」(右向き「−2」)の動きが検出されている場合を説明する。この場合には、
DistX(x,y)=(−2)−1=−3
となる。この場合、オクルージョン領域132,133の横幅は、「3」となるため、幅「3」のオクルージョン領域132,133が動きベクトルの境界画素131の両側に設定されることとなる。
図8(a)から(c)に示されるように、オクルージョン判定手段2042は、オクルージョン領域が、領域122のように時間的に先行する第1フレームFn−1で隠されるのか、領域123のように時間的に後続する第3フレームFn+1で隠されるのかを、オクルージョン領域生成もとの動きベクトルの境界画素125,126から判断する。すなわち、DistX(x,y)の絶対値とDistY(x,y)の絶対値を比較し、大きいほうの符号が正であれば、領域122のように時間的に先行する第1フレームFn−1で隠され、大きいほうの符号が負であれば、領域123のように時間的に後続する第3フレームFn+1で隠される。動きベクトルの境界画素125に着目すると、境界の左側は、静止している背景であるので動き「0」であり、右側は、右向きに動いているため水平方向に正の動きを持っており、DistX(x,y)は、正となる。一方、動きベクトルの境界画素126に着目すると、境界の右側は、静止している背景であるので、動き「0」であり、左側は、右向きに動いているため水平方向に正の動きを持っており、DistX(x,y)は、負となる。
第2のブレンド重み係数(CN−1,C,CN+1)は、オクルージョン領域であるか否か、及び、オクルージョン領域が時間的に前又は後のいずれのフレームで隠されているか、に基づいて決定される。オクルージョン領域以外の画素の第2のブレンド重み係数(CN−1,C,CN+1)は、式(13)で算出され、オクルージョン領域で時間的に後続するフレームで隠される領域の画素の第2のブレンド重み係数(CN−1,CN,CN+1)は、式(14)で算出され、オクルージョン領域で時間的に先行するフレームで隠される領域の画素の第2のブレンド重み係数(CN−1,C,CN+1)は、式(15)で算出される。
(CN−1,C,CN+1)=(1/3,1/3,1/3) 式(13)
(CN−1,C,CN+1)=(β/2,β/2,1−β) 式(14)
(CN−1,C,CN+1)=(1−β,β/2,β/2) 式(15)
ここで、βは、2/3以上1以下の所定の値である。
このように、動きベクトルの境界画素に着目し、その周辺をオクルージョン領域とすることで、前景物体による隠を考慮した適切なフレームを選択してのノイズ低減が可能となる。
ブレンド重み係数算出手段2043は、参照フレーム優先度算出手段2041が算出した第1のブレンド重み係数と、オクルージョン判定手段2042が算出した第2のブレンド重み係数を用いてノイズ低減画像生成手段205が第1、第2、第3フレームFn−1,F,Fn+1の重み付き平均を算出するためのブレンド重み係数(BN−1,B,BN+1)を算出する。算出式は、式(16)、又は、式(17)、(18)である。
Figure 0006128878
Figure 0006128878
ここで、γは、0以上1以下の所定の値、δは、ブレンド重み係数の正規化のための値である。
《1−2−4》ノイズ低減画像生成手段205
ノイズ低減画像生成手段205は、フレームブレンド率算出手段204によって算出されたブレンド重み係数(BN−1,B,BN+1)を用いて、入力端子207を介して入力されたデータからノイズ低減画像を生成する。ノイズ低減画像生成手段205は、例えば、ノイズ低減画像の各画素値NR(x,y)を、式(19)に従い算出することでノイズ低減画像を生成する。
Figure 0006128878
《1−2−5》動き誤検出領域補正係数算出手段203
動き誤検出領域補正係数算出手段203は、画素値変化率解析手段201から画素値変化率の解析結果情報ANを受け取り、動きベクトル境界検出手段202から動きベクトルMV及び動きベクトル境界画素情報BOを受け取り、画素値変化率の解析結果情報ANと動きベクトルMVと動きベクトル境界画素情報BOとに基づいて、動き検出部10において検出された動きに誤りがある画素を検出し、この画素を補正するための補正係数ERを算出する。
画素値急変領域検出手段2031は、入力端子2035を介して画素値変化率の解析結果情報ANを受け取り、誤った動きベクトルにより画素値が急激に変化している画素を検出する。画素値に急激な変化があるのは、画素値変化率の解析結果情報ANの中で前方不一致パターンPA4、中央不一致パターンPA5、後方不一致パターンPA6、単調大増加パターンPA8、単調大減少パターンPA9、不規則パターンPA7の場合である。ただし、前方不一致パターンPA4、中央不一致パターンPA5、後方不一致パターンPA6は、オクルージョンが原因で画素値の急激な変化が起こったと推測でき、フレームブレンド率算出手段204においてオクルージョンに対応した係数を算出してノイズ低減を行っているため、これら3つのパターンの場合には、補正係数ERを用いた補正の対象としない。一方、単調大増加パターンPA8、単調大減少パターンPA9、不規則パターンPA7の場合は、いずれも第1、第2、第3フレームFn−1,F,Fn+1の3フレームにわたって値が大きく変化しており、動きベクトルが誤っているため、異なる物体の値が参照されたと推測される。よって、画素値急変領域検出手段2031は、単調大増加パターンPA8、単調大減少パターンPA9、不規則パターンPA7に分類されている画素を補正対象画素として出力する。
図10は、図4に示される動き誤検出領域補正係数算出手段203の参照フレーム不定領域検出手段2032が検出する参照フレーム不定領域134の一例を示す図である。参照フレーム不定領域検出手段2032は、入力端子2036を介して動きベクトルMVと動きベクトル境界画素情報BOを受け取り、参照領域を決定することができない領域を補正対象として出力する。オクルージョン判定手段2042は、動きベクトルMVと動きベクトル境界画素情報BOから、図9に示されるように、動きベクトルの境界画素131の周辺をオクルージョン領域132,133として、さらに、その周辺の動きベクトルから第1フレームFn−1又は第3フレームFn+1のいずれにおける前景物体によって隠されていたのかを判断した。これに対し、参照フレーム不定領域検出手段2032は、図10に示されるように、動きベクトルの境界画素131(濃いハッチング部分)と動きベクトルの境界画素141(濃いハッチング部分)が近接している場合、動きベクトルの境界画素131の周辺領域132,133及び動きベクトルの境界画素141の周辺領域142,143が重なる領域134が発生する。オクルージョン判定手段2042は、後から生成されたオクルージョン領域で画像データが上書きされるため、動きベクトルの境界画素131を先に評価し、動きベクトルの境界画素141を後に評価した場合には、領域134は、動きベクトルの境界画素141の周辺のオクルージョン領域142であると判断する。しかし、領域134が、オクルージョン領域133に属するものとして扱う方が適切な場合もある。さらに、オクルージョン領域同士が重なるほど動きベクトル境界が近接することは、稀なことであるから、動き検出部10において動きベクトルの誤検出が発生したと推測できる。よって、参照フレーム不定領域検出手段2032は、このオクルージョン領域同士が重なる領域134を補正対象とする情報(参照フレーム不定領域情報)RRを出力する。
動きベクトル境界集中領域検出手段2033は、入力端子2036を介して動きベクトルMVと動きベクトル境界画素情報BOを受け取り、動きベクトル境界が局所的に集中している領域を補正対象領域とする情報(動きベクトル集中領域情報)BRとして出力する。様々な大きさ方向の動きベクトルが狭い領域に混在し動きベクトル境界が集中することは、稀なことであるから、動き検出部10において動きベクトルの誤検出が原因で動きベクトル境界が局所的に集中していると推測できる。
図11は、図4に示される動き誤検出領域補正係数算出手段203の動きベクトル境界集中領域検出手段2033が検出する動きベクトル集中領域の一例を示す図である。動きベクトル境界集中領域検出手段2033は、動きベクトルの境界画素151(濃いハッチング部分)の集中の有無を判断するためにブロック処理を行う。所定の閾値を設定し、ブロック(図11においては4行4列の16画素からなる太線正方形の領域)内の画素の内の動きベクトルの境界画素151の数が予め決められた閾値を超えたブロックを動きベクトルの境界画素集中ブロックとして、ブロック内の画素を補正対象として出力する。図11は、4画素四方のブロックにおける処理を表したものである。ブロック154は、ブロック内の16画素の内、4画素が動きベクトルの境界画素151である。一方、ブロック155は、16画素中7画素が動きベクトルの境界画素151となっている。閾値を値「5」とした場合、ブロック154は、動きベクトルの境界画素集中ブロックに該当しないが、ブロック155は、動きベクトルの境界画素集中ブロックに該当する。このため、動きベクトル境界集中領域検出手段2033は、ブロック155に属する16画素を補正対象画素であることを示す情報(動きベクトル集中領域情報)BRを出力する。
補正係数算出手段2034は、画素値急変領域検出手段2031と、参照フレーム不定領域検出手段2032と、動きベクトル境界集中領域検出手段2033とのそれぞれから、補正対象画素の情報を受け取り、画像中の各画素の補正係数を算出する。補正係数Conp(x、y)は、式(20)に示されるように、画素値急変領域検出手段2031、参照フレーム不定領域検出手段2032、動きベクトル境界集中領域検出手段2033の出力結果のいずれかが補正対象ならば「1」とし、いずれも補正対象外ならば「0」とする。
Figure 0006128878
ここで、S(x,y),S(x,y),S(x,y)は、座標(x,y)について、画素値急変領域検出手段2031、参照フレーム不定領域検出手段2032、動きベクトル境界集中領域検出手段2033の出力結果が補正対象なら「真」、補正対象外なら「偽」を出力する関数である。
なお、補正係数は、式(20)以外の式に基づいて算出してもよい。例えば、式(21)に示されるように、画素値急変領域検出手段2031、参照フレーム不定領域検出手段2032、動きベクトル境界集中領域検出手段2033の出力結果それぞれに重みをつけて、補正係数を算出してもよい。
Figure 0006128878
ここで、P(x,y),P(x,y),P(x,y)は、座標(x,y)について、画素値急変領域検出手段2031、参照フレーム不定領域検出手段2032、動きベクトル境界集中領域検出手段2033の出力結果が補正対象なら「1」、補正対象外なら「0」を出力する関数であり、Col,Colは、予め決められたブレンド重み係数である。
さらに、式(22)及び(23)に示されるように第1、第2、第3フレームFn−1,F,Fn+1間における画素値の差に応じて補正係数を変更してもよい。
Figure 0006128878
ここで、ConpI(x,y)は、座標(x,y)に対する画素値の差に応じて変更した補正係数であり、maxDif(x,y)は、式(4)に示されるとおりであり、LIMは、補正上限の閾値である。
《1−2−6》動き誤検出領域補正手段206
図2に示されるように、動き誤検出領域補正手段206は、入力端子207を介して第1、第2、第3フレームFn−1,F,Fn+1を受け取り、ノイズ低減画像生成手段205からノイズ低減画像FS3を受け取り、動き誤検出領域補正係数算出手段203から補正係数ERを受け取り、受け取った情報FS2,ERを用いて、動きの誤検出に伴うノイズ低減画像の乱れを補正する。補正は、補正係数ERに従い、例えば、式(24)及び(25)によって行う。
Figure 0006128878
ここで、CLPFは、0から1の範囲内において予め決められた係数である。また、LPF(x,y)は、平滑化のために算出した座標(x,y)を中心とする3画素四方(すなわち、3行3列の9画素)の正方領域の画素値の平均値である。ただし、LPF(x、y)の算出に、より広い領域又はより狭い領域における平均値又は重みを付けした平均値を採用してもよい。
《1−3》実施の形態1の効果
以上に説明した実施の形態1に係る映像処理装置1及び映像処理方法によれば、隠蔽や画素値の変化に応じたブレンド率に応じて処理することに加え、動きベクトルの誤りがある領域を検出し、この領域を補正することで、動きベクトルの誤検出に伴う映像品質の低下を抑制しつつ、ノイズを軽減することができる。
《2》実施の形態2.
図12は、本発明の実施の形態2に係る映像処理装置(すなわち、実施の形態2に係る映像処理方法を実施することができる装置)2の構成を概略的に示す機能ブロック図である。図12において、図1に示される構成と同じ又は対応する構成には、同じ符号を付す。実施の形態2に係る映像処理装置2は、動画像を構成する一連の複数のフレームを蓄えるフレームバッファ30と、動画像を構成する一連の複数のフレームの内の時間的に互いに隣接する第1、第2、第3フレームを受け取り、これらのフレーム間の動きを検出して、動きベクトルMVとして出力する動き検出部10aと、動き検出部10aから出力された画素単位の動きベクトルMV及び第1、第2、第3フレームを受け取り、着目フレームである第2フレームFのノイズを低減してノイズ低減フレームFS3aを生成するノイズ低減部20aと、ノイズ低減フレームを画像データとして蓄えるフレームバッファ40とを有する。実施の形態2に係る像処理装置2及び像処理方法は、ノイズ低減フレームFS3aを生成する際に参照するフレームの点において、実施の形態1に係る像処理装置1及び像処理方法と相違する。他の点については、実施の形態2に係る映像処理装置2及び映像処理方法は、実施の形態1に係る映像処理装置1及び映像処理方法と同じである。
図13は、実施の形態1に係る映像処理装置1おいてノイズ低減処理に用いるフレームを示す図であり、実施の形態2を実施の形態1と比較して説明するための図である。図13に示されるように、実施の形態1においては、動き検出部10及びノイズ低減部20には、動画像を構成する一連の複数のフレームとして、時間的に互いに隣接する第1、第2、第3フレームFn−1,F,Fn+1が入力される。そして、実施の形態1においては、図13に示されるように、時間的に第2フレームFに相当するノイズ低減フレームMを,時間的に隣接する第1、第2、第3フレームFn−1,F,Fn+1に基づいて生成する。
図14は、実施の形態2に係る映像処理装置2おいてノイズ低減処理に用いるフレームを示す図である。図14に示されるように、実施の形態2においては、動き検出部10a及びノイズ低減部20aには、動画像を構成する一連の複数のフレームとして、時間的に隣接する入力される3フレームの内の、第1のフレームを過去にノイズ低減部20aが生成し、フレームバッファ40に蓄えられたノイズ低減フレームMn−1で代用する。そして、実施の形態2に係る映像処理装置2においては、図14に示されるように、時間的に第2フレームFに相当するノイズ低減フレームMを、既に生成されフレームバッファ40に蓄積されたノイズ低減フレームMn−1と第2、第3フレームF,Fn+1とに基づいて生成する。
図15は、本発明の実施の形態2の変形例に係る映像処理装置(すなわち、実施の形態2の変形例に係る映像処理方法を実施することができる装置)3の構成を概略的に示す機能ブロック図である。図15において、図12に示される構成と同じ又は対応する構成には、同じ符号を付す。実施の形態2の変形例に係る映像処理装置3は、動画像を構成する一連の複数のフレームを蓄えるフレームバッファ30と、動画像を構成する一連の複数のフレームの内の時間的に互いに隣接する第1、第2、第3フレームを受け取り、これらのフレーム間の動きを検出して、動きベクトルMVとして出力する動き検出部10bと、動き検出部10bから出力された画素単位の動きベクトルMV及び第1、第2、第3フレームを受け取り、着目フレームである第2フレームFのノイズを低減してノイズ低減フレームFS3aを生成するノイズ低減部20bと、ノイズ低減フレームを画像データとして蓄えるフレームバッファ40とを有する。実施の形態2の変形例に係る像処理装置3及び像処理方法は、ノイズ低減フレームFS3bを生成する際に参照するフレームの点において、実施の形態2に係る像処理装置2及び像処理方法と相違する。
図16は、実施の形態2の変形例に係る映像処理装置3おいてノイズ低減処理に用いるフレームを示す図である。図16に示されるように、実施の形態2の変形例においては、動き検出部10b及びノイズ低減部20bには、動画像を構成する一連の複数のフレームとして、時間的に隣接する入力される3フレームの内の、2枚のフレームを過去にノイズ低減部20bが生成し、フレームバッファ40に蓄えられたノイズ低減フレームMn−1,Mで代用する。そして、図16に示されるように、実施の形態2の変形例においては、時間的に第2フレームFに相当するノイズ低減フレームを、既に生成されフレームバッファ40に蓄積されたノイズ低減フレームMn−1,M及び第3フレームFn+1から生成する。
以上に説明したように、実施の形態2に係る映像処理装置2及び映像処理方法、並びに、実施の形態2の変形例に係る映像処理装置3及び映像処理方法によれば、ノイズ低減部20a又は20bは、過去に生成された、着目フレームより時間的に先行する少なくとも1枚のノイズ低減フレームを参照フレームとして用いる。具体的には、ノイズ低減部20a又は20bは、過去に生成されたノイズ低減フレームMn−1、又は、過去に生成されたノイズ低減フレームMn−1,Mを使用して、着目フレームについてノイズ低減処理を行って新たにノイズ低減フレームを生成するので、より高いノイズ低減効果を得ることができる。
《3》実施の形態3.
図17は、本発明の実施の形態3に係る放送受信装置4の構成を概略的に示す機能ブロック図である。図17において、図1に示される構成と同じ又は対応する構成には、同じ符号を付す。図17に示されるように、実施の形態3に係る放送受信装置(又は受像装置)4は、放送波を受信し、映像と音声の多重分離を行い、デコードした映像フレームを出力する放送受信部51と、放送受信部51で受信された放送波に基づく動画像を構成する一連の複数のフレームを蓄えるフレームバッファ30と、動画像を構成する一連の複数のフレームの内の時間的に互いに隣接する第1、第2、第3フレームFn−1,F,Fn+1を受け取り、これらのフレーム間の動きを検出して、動きベクトルMVとして出力する動き検出部10と、動き検出部10から出力された画素単位の動きベクトルMV及び第1、第2、第3フレームFn−1,F,Fn+1を受け取り、着目フレームである第2フレームFのノイズを低減してノイズ低減フレームFS3を生成するノイズ低減部20と、ノイズ低減フレームを画像データとして蓄えるフレームバッファ40と、フレームバッファ40に蓄えられたノイズ低減フレームに基づく映像を表示する映像表示部52とを有する。実施の形態3に係る放送受信装置4は、放送受信部51と映像表示部52を備えた点において、実施の形態1に係る映像処理装置1と相違する。他の構成については、実施の形態3は、実施の形態1と同じである。
図18は、本発明の実施の形態3の変形例に係る放送受信装置5の構成を概略的に示す機能ブロック図である。図18において、図17に示される構成と同じ又は対応する構成には、同じ符号を付す。図18に示されるように、実施の形態3の変形例に係る放送受信装置5は、動き検出部10及びノイズ低減部20に代えて、動き検出部10a(又は10b)及びノイズ低減部20a(又は20b)を備えた点において、実施の形態3に係る放送受信装置4と相違する。他の構成については、実施の形態3の変形例は、実施の形態3(図17)と同じである。また、動き検出部10a(又は10b)及びノイズ低減部20a(又は20b)は、図12(又は図15)で説明したものと同じである。
以上に説明したように、実施の形態3に係る放送受信装置4、及び、実施の形態3の変形例に係る放送受信装置5によれば、受信した放送波に基づく映像のノイズを低減して、映像表示部52に表示される映像の品質を向上させることができる。
また、実施の形態3の変形例に係る放送受信装置5によれば、過去に生成されたノイズ低減フレームMn−1、又は、過去に生成されたノイズ低減フレームMn−1,Mを使用して、新たなノイズ低減フレームの生成を行うので、より高いノイズ低減効果を得ることができる。
《4》実施の形態4.
図19は、本発明の実施の形態4に係る映像撮影装置6の構成を概略的に示す機能ブロック図である。図19において、図1に示される構成と同じ又は対応する構成には、同じ符号を付す。図19に示されるように、実施の形態4に係る映像撮影装置6は、レンズなどの光学系を通して入射する光の強度に応じて電気信号を生成することで動画像を構成する一連の複数の画像フレームを生成する撮像部61と、撮像部61で生成された一連の複数のフレームを蓄えるフレームバッファ30と、動画像を構成する一連の複数のフレームの内の時間的に互いに隣接する第1、第2、第3フレームFn−1,F,Fn+1を受け取り、これらのフレーム間の動きを検出して、動きベクトルMVとして出力する動き検出部10と、動き検出部10から出力された画素単位の動きベクトルMV及び第1、第2、第3フレームFn−1,F,Fn+1を受け取り、着目フレームである第2フレームFのノイズを低減してノイズ低減フレームFS3を生成するノイズ低減部20と、ノイズ低減フレームを画像データとして蓄えるフレームバッファ40と、フレームバッファ40に蓄えられたノイズ低減フレームを、ハードディスク、光ディスク、半導体記憶装置の記録媒体に記録する映像記録部62とを有する。実施の形態4に係る映像撮影装置6は、撮像部61と映像記録部62を備えた点において、実施の形態1に係る映像処理装置1と相違する。他の構成については、実施の形態4は、実施の形態1と同じである。
図20は、本発明の実施の形態4の変形例に係る映像撮影装置7の構成を概略的に示す機能ブロック図である。図20において、図19に示される構成と同じ又は対応する構成には、同じ符号を付す。図20に示されるように、実施の形態4の変形例に係る映像撮影装置7は、動き検出部10及びノイズ低減部20に代えて、動き検出部10a(又は10b)及びノイズ低減部20a(又は20b)を備えた点において、実施の形態4に映像撮影装置6と相違する。他の構成については、実施の形態4の変形例は、実施の形態4(図19)と同じである。動き検出部10a(又は10b)及びノイズ低減部20a(又は20b)を備えた点において、実施の形態3に係る放送受信装置4と相違する。他の構成については、実施の形態3の変形例は、実施の形態3(図17)と同じである。また、動き検出部10a(又は10b)及びノイズ低減部20a(又は20b)は、図12(又は図15)で説明したものと同じである。また、動き検出部10a(又は10b)及びノイズ低減部20a(又は20b)は、図12(又は図15)で説明したものと同じである。
以上に説明したように、実施の形態4に係る映像撮影装置6、及び、実施の形態4の変形例に係る映像撮影装置7によれば、撮像部61で発生するノイズを含む映像のノイズを低減して、映像記録部62に記録される映像の品質を向上させることができる。
また、実施の形態4の変形例に係る映像撮影装置7によれば、過去に生成されたノイズ低減フレームMn−1、又は、過去に生成されたノイズ低減フレームMn−1,Mを使用してノイズ低減フレームの生成を行うので、より高いノイズ低減効果を得ることができる。
《5》実施の形態5.
図21は、本発明の実施の形態5に係る映像蓄積装置8の構成を概略的に示す機能ブロック図である。図21において、図1に示される構成と同じ又は対応する構成には、同じ符号を付す。図21に示されるように、実施の形態5に係る映像蓄積装置8は、動画像を構成する一連の複数のフレームの内の時間的に互いに隣接する第1、第2、第3フレームFn−1,F,Fn+1を受け取り、これらのフレーム間の動きを検出して、動きベクトルMVとして出力する動き検出部10と、動き検出部10から出力された画素単位の動きベクトルMV及び第1、第2、第3フレームFn−1,F,Fn+1を受け取り、着目フレームである第2フレームFのノイズを低減してノイズ低減フレームFS3を生成するノイズ低減部20と、ノイズ低減フレームを画像データとして蓄えるフレームバッファ40と、フレームバッファ40に蓄えられたノイズ低減フレームを、ハードディスク、光ディスク、半導体記憶装置の記録媒体に記録する映像記録部62とを有する実施の形態5に係る映像蓄積装置8では、動き検出部10とノイズ低減部20に、映像記録部62に蓄積されている一連の複数のフレームが供給される。実施の形態5に係る映像蓄積装置8は、動き検出部10とノイズ低減部20に、映像記録部62に蓄積されている一連の複数のフレームが供給される点において、実施の形態1に係る映像処理装置1と相違する。他の構成については、実施の形態5は、実施の形態1と同じである。
図22は、本発明の実施の形態5の変形例に係る映像蓄積装置9の構成を概略的に示す機能ブロック図である。図22において、図21に示される構成と同じ又は対応する構成には、同じ符号を付す。図22に示されるように、実施の形態5の変形例に係る映像蓄積装置9は、動き検出部10及びノイズ低減部20に代えて、動き検出部10a(又は10b)及びノイズ低減部20a(又は20b)を備えた点において、実施の形態5に映像蓄積装置8と相違する。他の構成については、実施の形態5の変形例は、実施の形態5(図21)と同じである。また、動き検出部10a(又は10b)及びノイズ低減部20a(又は20b)は、図12(又は図15)で説明したものと同じである。また、動き検出部10a(又は10b)及びノイズ低減部20a(又は20b)は、図12(又は図15)で説明したものと同じである。
以上に説明したように、実施の形態5係る映像蓄積装置8、及び、実施の形態5の変形例に係る映像蓄積装置9によれば、ノイズ低減処理を行わずに蓄積された映像フレームのノイズを低減し、新たなノイズ低減フレームとして映像記録部62に記録することができる。
また、実施の形態5の変形例に係る映像蓄積装置9によれば、過去に生成されたノイズ低減フレームMn−1、又は、過去に生成されたノイズ低減フレームMn−1,Mを使用してノイズ低減フレームの生成を行うので、より高いノイズ低減効果を得ることができる。
本発明は、テレビ受像機、放送受信機、映像記録再生装置、パーソナルコンピュータ、並びに、携帯電話及びスマートフォンなどのような通信端末などのような、映像信号に含まれるノイズを低減する処理を行う装置、映像信号に含まれるノイズを低減する処理を行う方法、及び映像信号に含まれるノイズを低減する処理を装置に実行させるプログラムに適用可能である。
1,2,3 映像処理装置、 4,5 放送受信装置、 6,7 映像撮影装置、 8,9 映像蓄積装置、 10,10a,10b 動き検出部、 20,20a,20b ノイズ低減部、 30,40 フレームバッファ、 51 放送受信部、 52 映像表示部、 61 撮像部、 62 映像記録部、 201 画素値変化率解析手段、 202 動きベクトル境界検出手段、 203 動き誤検出領域補正係数算出手段、 204 フレームブレンド率算出手段、 205 ノイズ低減画像生成手段、 206 動き誤検出領域補正手段、 2031 画素値急変領域検出手段、 2032 参照フレーム不定領域検出手段、 2033 動きベクトル境界集中領域検出手段、 2034 補正係数算出手段、 2041 参照フレーム優先度算出手段、 2042 オクルージョン判定手段、 2043 ブレンド重み係数算出手段、 AN 画素値変化率の解析結果情報、 BO 動きベクトル境界画素情報、 BR 動きベクトル集中領域情報、 BW ブレンド重み係数、 ER 補正係数、 Fn−1,F,Fn+1 第1、第2、第3フレーム、 FS フレーム、 FS2 ノイズ低減画像、 FS3,FS3a,FS3b ノイズ低減フレーム、 Mn−1,M ノイズ低減フレーム、 MV 動きベクトル、 OC オクルージョン判定結果、 PR 優先度、 RR 参照フレーム不定領域情報、 SR 補正対象領域情報。

Claims (13)

  1. 動画像を構成する一連の複数のフレームの1つを着目フレームとし、前記着目フレームより時間的に先行するフレーム及び時間的に後続するフレームの少なくとも一方を動き検出用参照フレームとして用いて、前記着目フレームと前記動き検出用参照フレームとの間の動きを推定し、前記着目フレームを構成する画素単位の動きベクトルを検出する動き検出部と、
    前記動き検出部によって検出された前記動きベクトル、前記着目フレーム、及び前記着目フレームより時間的に先行するフレーム及び時間的に後続するフレームの少なくとも一方であるノイズ低減用参照フレームを用いて、前記着目フレームのノイズが低減されたノイズ低減フレームを生成するノイズ低減部と
    を有し、
    前記ノイズ低減部は、
    前記動きベクトルの境界画素を検出し、前記検出された境界画素を示す動きベクトル境界画素情報を生成する動きベクトル境界検出手段と、
    前記着目フレームと前記ノイズ低減用参照フレームとの間における画素値変化率を解析し、前記画素値変化率の解析結果情報を生成する画素値変化率解析手段と、
    前記動きベクトル境界画素情報及び前記画素値変化率の解析結果情報を用いて前記ノイズ低減フレームの生成を行う補正手段と
    を有し、
    前記画素値変化率解析手段によって生成された前記画素値変化率の解析結果情報は、前記着目フレームと前記ノイズ低減用参照フレームとの間における同じ座標の画素の画素値の変化を、前記着目フレームの画素毎に、予め決められた複数の画素値変化パターンのいずれに分類されるかを示す情報である
    ことを特徴とする映像処理装置。
  2. 前記ノイズ低減部は、前記画素値変化率解析手段によって生成された前記画素値変化率の解析結果情報と前記動きベクトル境界検出手段によって生成された前記動きベクトル境界画素情報とを用いて、前記着目フレームの画素毎のフレーム合成係数を算出するフレームブレンド率算出手段をさらに有し、
    前記補正手段による前記ノイズ低減フレームの生成は、前記動きベクトル境界画素情報、前記画素値変化率の解析結果情報、及び前記フレーム合成係数を用いて行われる
    ことを特徴とする請求項1に記載の映像処理装置。
  3. 前記ノイズ低減部は、前記画素値変化率解析手段によって生成された前記画素値変化率の解析結果情報と前記動きベクトル境界検出手段によって生成された前記動きベクトル境界画素情報とに基づいて前記動き検出部による動き検出が誤検出であると推定できる領域を検出し、画素毎の補正係数を決定する動き誤検出領域補正係数算出手段をさらに有し、
    前記補正手段は、前記画素毎の補正係数を用いて前記ノイズ低減フレームを生成する
    ことを特徴とする請求項1又は2に記載の映像処理装置。
  4. 前記動き誤検出領域補正係数算出手段は、
    画素値の変化率が大きい箇所を検出して、検出された箇所を示す補正対象領域情報を生成する画素値急変領域検出手段と、
    前記着目フレームに隣接するフレームにおいて前景部分であるか背景であるかの判定ができない領域を示す参照フレーム不定領域情報を生成する参照フレーム不定領域検出手段と、
    前記動きベクトルの境界が集中する領域を示す動きベクトル集中領域情報を生成する動きベクトル境界集中領域検出手段と、
    前記補正対象領域情報、前記参照フレーム不定領域情報、前記動きベクトル集中領域情報に基づいて前記補正係数を決定する補正係数算出手段と
    を有することを特徴とする請求項に記載の映像処理装置。
  5. 前記ノイズ低減フレームを記憶する記憶部をさらに有し、
    前記ノイズ低減部は、過去に生成された前記着目フレームより時間的に先行する少なくとも1枚のノイズ低減フレームを前記記憶部から読み出し、前記ノイズ低減用参照フレームとして用いる
    ことを特徴とする請求項1からのいずれか1項に記載の映像処理装置。
  6. 動画像を構成する一連の複数のフレームの1つを着目フレームとし、前記着目フレームより時間的に先行するフレーム及び時間的に後続するフレームの少なくとも一方を動き検出用参照フレームとして用いて、前記着目フレームと前記動き検出用参照フレームとの間の動きを推定し、前記着目フレームを構成する画素単位の動きベクトルを検出する動き検出ステップと、
    前記動き検出ステップにおいて検出された前記動きベクトル、前記着目フレーム、及び前記着目フレームより時間的に先行するフレーム及び時間的に後続するフレームの少なくとも一方であるノイズ低減用参照フレームを用いて、前記着目フレームのノイズが低減されたノイズ低減フレームを生成するノイズ低減ステップと
    を有し、
    前記ノイズ低減ステップは、
    前記動きベクトルの境界画素を検出し、前記検出された境界画素を示す動きベクトル境界画素情報を生成する動きベクトル境界検出ステップと、
    前記着目フレームと前記ノイズ低減用参照フレームとの間における画素値変化率を解析し、前記画素値変化率の解析結果情報を生成する画素値変化率解析ステップと、
    前記動きベクトル境界画素情報及び前記画素値変化率の解析結果情報を用いて前記ノイズ低減フレームの生成を行うノイズ低減フレーム生成ステップと
    を有し、
    前記画素値変化率解析ステップにおいて生成された前記画素値変化率の解析結果情報は、前記着目フレームと前記ノイズ低減用参照フレームとの間における同じ座標の画素の画素値の変化を、前記着目フレームの画素毎に、予め決められた複数の画素値変化パターンのいずれに分類されるかを示す情報である
    ことを特徴とする映像処理方法。
  7. 放送波を受信し、前記放送波に含まれる映像情報の復号化を行う放送受信部と、
    前記放送受信部から動画像を構成する一連の複数のフレームを受け取り、前記一連の複数のフレームの1つを着目フレームとし、前記着目フレームより時間的に先行するフレーム及び時間的に後続するフレームの少なくとも一方を動き検出用参照フレームとして用いて、前記着目フレームと前記動き検出用参照フレームとの間の動きを推定し、前記着目フレームを構成する画素単位の動きベクトルを検出する動き検出部と、
    前記動き検出部によって検出された前記動きベクトル、前記着目フレーム、及び前記着目フレームより時間的に先行するフレーム及び時間的に後続するフレームの少なくとも一方であるノイズ低減用参照フレームを用いて、前記着目フレームのノイズが低減されたノイズ低減フレームを生成するノイズ低減部と
    を有し、
    前記ノイズ低減部は、
    前記動きベクトルの境界画素を検出し、前記検出された境界画素を示す動きベクトル境界画素情報を生成する動きベクトル境界検出手段と、
    前記着目フレームと前記ノイズ低減用参照フレームとの間における画素値変化率を解析し、前記画素値変化率の解析結果情報を生成する画素値変化率解析手段と、
    前記動きベクトル境界画素情報及び前記画素値変化率の解析結果情報を用いて前記ノイズ低減フレームの生成を行う補正手段と
    を有し、
    前記画素値変化率解析手段によって生成された前記画素値変化率の解析結果情報は、前記着目フレームと前記ノイズ低減用参照フレームとの間における同じ座標の画素の画素値の変化を、前記着目フレームの画素毎に、予め決められた複数の画素値変化パターンのいずれに分類されるかを示す情報である
    ことを特徴とする放送受信装置。
  8. 前記ノイズ低減フレームを記憶する記憶部をさらに有し、
    前記ノイズ低減部は、過去に生成された少なくとも1枚のノイズ低減フレームを前記記憶部から読み出し、前記ノイズ低減用参照フレームとして用いる
    ことを特徴とする請求項に記載の放送受信装置。
  9. 映像を撮影し動画像を構成する一連の複数のフレームデータを生成する撮像部と、
    前記撮像部から動画像を構成する一連の複数のフレームを受け取り、前記一連の複数のフレームの1つを着目フレームとし、前記着目フレームより時間的に先行するフレーム及び時間的に後続するフレームの少なくとも一方を動き検出用参照フレームとして用いて、前記着目フレームと前記動き検出用参照フレームとの間の動きを推定し、前記着目フレームを構成する画素単位の動きベクトルを検出する動き検出部と、
    前記動き検出部によって検出された前記動きベクトル、前記着目フレーム、及び前記着目フレームより時間的に先行するフレーム及び時間的に後続するフレームの少なくとも一方であるノイズ低減用参照フレームを用いて、前記着目フレームのノイズが低減されたノイズ低減フレームを生成するノイズ低減部と
    を有し、
    前記ノイズ低減部は、
    前記動きベクトルの境界画素を検出し、前記検出された境界画素を示す動きベクトル境界画素情報を生成する動きベクトル境界検出手段と、
    前記着目フレームと前記ノイズ低減用参照フレームとの間における画素値変化率を解析し、前記画素値変化率の解析結果情報を生成する画素値変化率解析手段と、
    前記動きベクトル境界画素情報及び前記画素値変化率の解析結果情報を用いて前記ノイズ低減フレームの生成を行う補正手段と
    を有し、
    前記画素値変化率解析手段によって生成された前記画素値変化率の解析結果情報は、前記着目フレームと前記ノイズ低減用参照フレームとの間における同じ座標の画素の画素値の変化を、前記着目フレームの画素毎に、予め決められた複数の画素値変化パターンのいずれに分類されるかを示す情報である
    ことを特徴とする映像撮影装置。
  10. 前記ノイズ低減フレームを記憶する記憶部をさらに有し、
    前記ノイズ低減部は、過去に生成された少なくとも1枚のノイズ低減フレームを前記記憶部から読み出し、前記ノイズ低減用参照フレームとして用いる
    ことを特徴とする請求項に記載の映像撮影装置。
  11. 動画像を構成する一連の複数のフレームを記憶する記憶部と、
    前記記憶部に記憶されている前記一連の複数のフレームの1つを着目フレームとし、前記着目フレームより時間的に先行するフレーム及び時間的に後続するフレームの少なくとも一方を動き検出用参照フレームとして用いて、前記着目フレームと前記動き検出用参照フレームとの間の動きを推定し、前記着目フレームを構成する画素単位の動きベクトルを検出する動き検出部と、
    前記動き検出部によって検出された前記動きベクトル、前記着目フレーム、及び前記着目フレームより時間的に先行するフレーム及び時間的に後続するフレームの少なくとも一方であるノイズ低減用参照フレームを用いて、前記着目フレームのノイズが低減されたノイズ低減フレームを生成するノイズ低減部と、
    を有し、
    前記ノイズ低減部は、
    前記動きベクトルの境界画素を検出し、前記検出された境界画素を示す動きベクトル境界画素情報を生成する動きベクトル境界検出手段と、
    前記着目フレームと前記ノイズ低減用参照フレームとの間における画素値変化率を解析し、前記画素値変化率の解析結果情報を生成する画素値変化率解析手段と、
    前記動きベクトル境界画素情報及び前記画素値変化率の解析結果情報を用いて前記ノイズ低減フレームの生成を行う補正手段と
    を有し、
    前記画素値変化率解析手段によって生成された前記画素値変化率の解析結果情報は、前記着目フレームと前記ノイズ低減用参照フレームとの間における同じ座標の画素の画素値の変化を、前記着目フレームの画素毎に、予め決められた複数の画素値変化パターンのいずれに分類されるかを示す情報である
    ことを特徴とする映像蓄積装置。
  12. 前記ノイズ低減部は、過去に生成された少なくとも1枚のノイズ低減フレームを前記記憶部から読み出し、前記ノイズ低減用参照フレームとして用いることを特徴とする請求項11に記載の映像蓄積装置。
  13. コンピュータに処理を実行させるプログラムであって、
    前記処理は、
    動画像を構成する一連の複数のフレームの1つを着目フレームとし、前記着目フレームより時間的に先行するフレーム及び時間的に後続するフレームの少なくとも一方を動き検出用参照フレームとして用いて、前記着目フレームと前記動き検出用参照フレームとの間の動きを推定し、前記着目フレームを構成する画素単位の動きベクトルを検出する動き検出処理と、
    前記動き検出処理において検出された前記動きベクトル、前記着目フレーム、及び前記着目フレームより時間的に先行するフレーム及び時間的に後続するフレームの少なくとも一方であるノイズ低減用参照フレームを用いて、前記着目フレームのノイズが低減されたノイズ低減フレームを生成するノイズ低減処理と
    を含み、
    前記ノイズ低減処理は、
    前記動きベクトルの境界画素を検出し、前記検出された境界画素を示す動きベクトル境界画素情報を生成する動きベクトル境界検出処理と、
    前記着目フレームと前記ノイズ低減用参照フレームとの間における画素値変化率を解析し、前記画素値変化率の解析結果情報を生成する画素値変化率解析処理と、
    前記動きベクトル境界画素情報及び前記画素値変化率の解析結果情報を用いて前記ノイズ低減フレームの生成を行うノイズ低減フレーム生成処理と
    を含み、
    前記画素値変化率解析処理によって生成された前記画素値変化率の解析結果情報は、前記着目フレームと前記ノイズ低減用参照フレームとの間における同じ座標の画素の画素値の変化を、前記着目フレームの画素毎に、予め決められた複数の画素値変化パターンのいずれに分類されるかを示す情報である
    ことを特徴とするプログラム。
JP2013026781A 2013-02-14 2013-02-14 映像処理装置、映像処理方法、放送受信装置、映像撮影装置、映像蓄積装置及びプログラム Active JP6128878B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013026781A JP6128878B2 (ja) 2013-02-14 2013-02-14 映像処理装置、映像処理方法、放送受信装置、映像撮影装置、映像蓄積装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013026781A JP6128878B2 (ja) 2013-02-14 2013-02-14 映像処理装置、映像処理方法、放送受信装置、映像撮影装置、映像蓄積装置及びプログラム

Publications (3)

Publication Number Publication Date
JP2014158083A JP2014158083A (ja) 2014-08-28
JP2014158083A5 JP2014158083A5 (ja) 2015-11-05
JP6128878B2 true JP6128878B2 (ja) 2017-05-17

Family

ID=51578723

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013026781A Active JP6128878B2 (ja) 2013-02-14 2013-02-14 映像処理装置、映像処理方法、放送受信装置、映像撮影装置、映像蓄積装置及びプログラム

Country Status (1)

Country Link
JP (1) JP6128878B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111783632B (zh) * 2020-06-29 2022-06-10 北京字节跳动网络技术有限公司 针对视频流的人脸检测方法、装置、电子设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000013643A (ja) * 1998-06-18 2000-01-14 Sony Corp ノイズ低減装置および方法、映像信号処理装置、並びに動き検出方法
JP4596215B2 (ja) * 2001-06-19 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
KR100453714B1 (ko) * 2001-12-31 2004-10-20 (주)펜타마이크로 Mpeg 영상 압축 기술을 이용한 디지털 영상 저장장치에서의 움직임 검출 장치 및 그 방법
JP5430234B2 (ja) * 2009-06-04 2014-02-26 パナソニック株式会社 画像処理装置、画像処理方法、プログラム、記録媒体及び集積回路
JP2011176776A (ja) * 2010-02-25 2011-09-08 Olympus Corp 画像処理装置及び画像処理方法
JP2012080369A (ja) * 2010-10-01 2012-04-19 Sony Corp 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
JP2014158083A (ja) 2014-08-28

Similar Documents

Publication Publication Date Title
US8379120B2 (en) Image deblurring using a combined differential image
US9202263B2 (en) System and method for spatio video image enhancement
EP2489007B1 (en) Image deblurring using a spatial image prior
CN102077572B (zh) 用于在成像系统中防止运动模糊和重影的方法及装置
EP2987135B1 (en) Reference image selection for motion ghost filtering
JP4666012B2 (ja) 画像処理装置、画像処理方法、プログラム
US9262684B2 (en) Methods of image fusion for image stabilization
US7702178B2 (en) Method and apparatus for providing noise reduction
US9002129B2 (en) Method and device for reducing temporal noise for image
JP4454657B2 (ja) ぶれ補正装置及び方法、並びに撮像装置
JP2010286488A (ja) 映像処理装置および方法
EP2164040A1 (en) System and method for high quality image and video upscaling
US20120314093A1 (en) Image processing apparatus and method, program, and recording medium
US20080025628A1 (en) Enhancement of Blurred Image Portions
US10614554B2 (en) Contrast adaptive video denoising system
JP2012208553A (ja) 画像処理装置、および画像処理方法、並びにプログラム
US9367900B2 (en) Image noise removing apparatus and image noise removing method
US8559716B2 (en) Methods for suppressing structured noise in a digital image
EP3438923B1 (en) Image processing apparatus and image processing method
KR101805623B1 (ko) 영상 고주파 정보 추정 및 안정화를 통한 고해상도 영상 생성 방법 및 장치
JP2012109656A (ja) 画像処理装置及び方法、並びに画像表示装置及び方法
JP2005150903A (ja) 画像処理装置、ノイズ除去方法及びノイズ除去プログラム
EP3540685B1 (en) Image-processing apparatus to reduce staircase artifacts from an image signal
JP6128878B2 (ja) 映像処理装置、映像処理方法、放送受信装置、映像撮影装置、映像蓄積装置及びプログラム
JP5550794B2 (ja) 画像処理装置及び方法、並びに画像表示装置及び方法

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150910

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150910

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160706

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160823

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170411

R150 Certificate of patent or registration of utility model

Ref document number: 6128878

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150