JP4991890B2

JP4991890B2 - 補間フレーム生成装置及び方法

Info

Publication number: JP4991890B2
Application number: JP2010044435A
Authority: JP
Inventors: 直三島; 琢麿山本
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2010-03-01
Filing date: 2010-03-01
Publication date: 2012-08-01
Anticipated expiration: 2030-03-01
Also published as: US8433156B2; US20110211111A1; JP2011182193A

Description

本発明は、動画像のフレーム間に内挿する補間フレームを生成する装置及び方法に関する。

液晶ディスプレイ及びエレクトロルミネッセンスディスプレイ等の画像表示装置は、動画像を滑らかに表示させるために、動画像のフレーム間に補間フレームを内挿して、単位時間当たりのフレーム数を増大させる補間フレーム生成装置を備えている。このような補間フレーム生成装置は、連続する２つのフレーム間の相関に主に基づいて、フレーム間に内挿する補間フレームを生成している。補間フレームの生成に関しては、補間フレームに発生するオクルージョン領域に画素を補間することは困難とされる。

特許文献１には、動画像の複数のフレームから、静止している領域を背景領域と判定し、背景領域と判定した静止領域から背景画像を生成してこれを蓄積し、補間フレームのオクルージョン領域に蓄積してある背景画像を使用する方法が開示されている。

特開２００７−６０１９２号公報

しかしながら、特許文献１に開示される方法では、静止している領域に発生するオクルージョン領域に対して、画素を補間することができるが、動いている領域に発生するオクルージョン領域に対して、適用することができない問題がある。

本発明は、上記問題点を解決するためになされたものであり、補間フレームのオクルージョン領域に画素を適切に補間することができる補間フレーム生成装置及び方法を提供することを目的とする。

本発明の一態様に係る、第１参照フレームと、前記第１参照フレームとは異なる時刻に表示すべき第２参照フレームとの間の時刻に内挿される補間フレームを生成する補間フレーム生成装置は、前記第１参照フレーム内の第１ブロックと、前記第２参照フレーム内のブロックとの相関値を求め、その中で最も前記相関値の高い第２ブロックを探索し、前記第１ブロックの位置と、前記第２ブロックの位置とをむすぶ第１動きベクトルを求める動き推定部と、前記第１動きベクトルで特定される前記補間フレーム内の第１画素位置に、前記第１参照フレーム及び／又は前記第２参照フレームの画素値から求まる第１の画素値を割り当て、さらに、前記第１画素位置に、この第１画素位置を始点とする第１動きベクトルを第２動きベクトルとして割り当てる補間フレーム生成部と、前記補間フレーム上でオクルージョン領域を検出するオクルージョン領域検出部と、前記オクルージョン領域に画素値を割り当てるオクルージョンフィルタリング部であって、前記オクルージョン領域の周辺に位置する非オクルージョン領域に割り当てられている第２動きベクトルを第３動きベクトルとして前記非オクルージョン領域に割り当て、前記第３動きベクトルで特定される前記第１又は第２参照フレームの画素値から求まる第２の画素値と、前記非オクルージョン領域に割り当てられている前記第２動きベクトルで特定される前記第１又は第２参照フレームの画素値から求まる第３の画素値との間の相異度に基づいて、前記第２動きベクトルを重み付け加算した第４動きベクトルを前記オクルージョン領域に割り当て、前記オクルージョン領域に、前記第４動きベクトルで特定される前記第１又は第２参照フレームの画素値から求まる第４の画素値を割り当てるオクルージョンフィルタリング部と、を具備する。

本発明の他の態様に係る、第１参照フレームと、前記第１参照フレームとは異なる時刻に表示すべき第２参照フレームとの間の時刻に内挿される補間フレームを生成する補間フレーム生成方法は、前記第１参照フレーム内の第１ブロックと、前記第２参照フレーム内のブロックとの相関値を求め、その中で最も前記相関値の高い第２ブロックを探索し、前記第１ブロックの位置と、前記第２ブロックの位置とをむすぶ第１動きベクトルを求める算出ステップと、前記第１動きベクトルで特定される前記補間フレーム内の第１画素位置に、前記第１参照フレーム及び／又は前記第２参照フレームの画素値から求まる第１の画素値を割り当てる第１割当ステップと、前記第１画素位置に、この第１画素位置を始点とする第１動きベクトルを第２動きベクトルとして割り当てる第２割当ステップと、前記補間フレーム上でオクルージョン領域を検出する検出ステップと、前記オクルージョン領域に画素値を割り当てるオクルージョンフィルタリング部であって、前記オクルージョン領域の周辺に位置する非オクルージョン領域に割り当てられている第２動きベクトルを第３動きベクトルとして前記非オクルージョン領域に割り当て、前記第３動きベクトルで特定される前記第１又は第２参照フレームの画素値から求まる第２の画素値と、前記非オクルージョン領域に割り当てられている前記第２動きベクトルで特定される前記第１又は第２参照フレームの画素値から求まる第３の画素値との間の相異度に基づいて、前記第２動きベクトルを重み付け加算した第４動きベクトルを前記オクルージョン領域に割り当てる第３割当ステップと、前記オクルージョン領域に、前記第４動きベクトルで特定される前記第１又は第２参照フレームの画素値から求まる第４の画素値を割り当てる第４割当ステップと、を具備する。

本発明によれば、補間フレームに発生するオクルージョン領域に適切な画素値を割り当てることができる。

本発明の一実施形態に係る補間フレーム生成装置の構成を示す概略図である。補間フレームと参照フレームの関係を示す図である。補間フレーム生成装置が補間フレームを生成する手順の一例を示すフローチャートである。第１動きベクトルを推定する他の方法を説明するための図である。 Coveredオクルージョン領域を検出する方法を説明するための図である。オクルージョンフィルタリング処理を説明するための図である。オクルージョンフィルタリング処理を説明するための図である。

以下、必要に応じて図面を参照しながら、本発明の実施形態に係る補間フレーム生成装置及び方法を説明する。なお、以下の実施形態では、同一の番号を付した部分については同様の動作を行うものとして、重ねての説明を省略する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る補間フレーム生成装置１００の構成を概略的に示している。動画像の画像信号（動画像信号）は、動き推定部１０１及びフレームメモリ１０５に入力される。フレームメモリ１０５は、入力された画像信号を、フレーム毎に一時的に記憶する。これにより、補間フレーム生成装置１００内に設けられた動き推定部１０１、補間フレーム生成部１０２、オクルージョン領域検出部１０３、及びオクルージョンフィルタリング部１０４の各々は、同時に複数のフレームを参照することができる。

図１の補間フレーム生成装置１００は、連続する（即ち、時間的に隣接する）２つの参照フレーム間に内挿する補間フレームを生成し、それを２つの参照フレーム間に内挿補間する。補間フレーム生成装置１００から出力される画像信号は、単位時間当たりのフレーム数が入力画像信号より増加した信号となる。例えば、入力画像信号が６０Ｈｚのノンインタレース信号（プログレッシブ信号）である場合、補間フレーム生成装置１００は、生成した補間フレームを参照フレーム間の時間的中央位置に内挿して、１２０Ｈｚのノンインタレース信号に変換する。

本実施形態では、連続する２つの参照フレーム間に１つの補間フレームを内挿する例を説明する。参照フレーム間に内挿する補間フレームの数は、２以上であってもよい。また、本実施形態は、入力される動画像の解像度、大きさ及びフレームレートに限定されることなく、適用されることができる。さらに、第１及び第２参照フレームは、連続するフレームである例に限定されず、互いに異なる時間に表示されるフレームであればよい。

本実施形態では、図２に示されるように、補間フレームｑを内挿する２つのフレームを参照フレームｐ１及びｐ２とする。なお、各フレームは２次元画像であるが、図２、図４及び図５においては、説明を簡単にするために、各フレームが１次元画像であるように模式的に示されている。参照フレームｐ１（第１参照フレームともいう）は、時刻ｔのフレームであり、また、参照フレームｐ２（第２参照フレームともいう）は、参照フレームｐ１に連続する時刻ｔ＋１のフレームである。また、補間フレームｑを内挿する時間位置をΔｔとする。ただし、時間位置Δｔは、参照フレームｐ１、ｐ２間の時間間隔を１として、参照フレームｐ１及び補間フレームｑ間の時間間隔を示す。従って、０≦Δｔ≦１を満たす。

また、フレーム内の画素の位置を位置（ｘ，ｙ）で表わす。参照フレームｐ１内の位置（ｘ，ｙ）の画素が有する画素値をＩ_ｔ（ｘ，ｙ）とし、参照フレームｐ２内の位置（ｘ，ｙ）の画素が有する画素値をＩ_ｔ＋１（ｘ，ｙ）とする。さらに、補間フレーム内の画素位置（ｘ，ｙ）に割り当てられる画素値をＩ_ｍｃ（ｘ，ｙ）とする。本実施形態では、画素値が輝度値であるとして、即ち、スカラー量として、以下の各式に示されているが、画素値として、例えば赤、緑及び青に関する色の情報を持ったベクトル量が使用されてもよい。

フレーム補間に関しては、以下に説明するようなオクルージョン（隠面：occlusion）問題がある。図２では、参照フレームｐ１から参照フレームｐ２にかけて、オブジェクトが上に移動し、背景が下に移動する例を示している。このように、参照フレームｐ１、ｐ２間でオブジェクト及び背景領域が移動する場合、オクルージョン領域が発生する。ここでいうオクルージョン領域とは、補間フレームｑに発生する領域であって、補間フレームｑを内挿する２つの参照フレームｐ１、ｐ２のいずれか一方にしか対応する領域が見つからない領域を指す。オクルージョン領域は、図２に示されるように、例えば、移動するオブジェクト周囲に発生する。

オクルージョン領域は、Coveredオクルージョン領域及びUncoveredオクルージョン領域を含む。Coveredオクルージョン領域（第１オクルージョン領域ともいう）は、参照フレームｐ１には対応する画素（領域）が存在するが、参照フレームｐ２には対応する領域画素（領域）が存在しない画素位置を指す。一例として、参照フレームｐ１に存在する背景領域が、オブジェクト及び背景領域の少なくとも一方の移動によって、参照フレームｐ２においてオブジェクトにより隠される場合に、Coveredオクルージョン領域が発生する。

Uncoveredオクルージョン領域は、参照フレームｐ２には対応する画素（領域）が存在するが、参照フレームｐ１には対応する画素（領域）が存在しない画素位置を指す。一例として、参照フレームｐ１においてオブジェクトの後方に隠れている背景領域が、オブジェクト及び背景領域の少なくとも一方の移動によって、参照フレームｐ２において現れる場合に、Uncoveredオクルージョン領域が発生する。

補間フレームｑ上の領域であって、オクルージョン領域を除く領域を非オクルージョン領域と称す。また、参照フレームｐ１上の領域であって、参照フレームｐ２に対応する領域が存在しない領域を同様にCoveredオクルージョン領域と称し、参照フレームｐ２上の領域であって、参照フレームｐ１に対応する領域が存在しない領域を同様にUncoveredオクルージョン領域と称す。

フレーム補間では、参照フレームｐ１、ｐ２間の相関を使用して参照フレームｐ１からｐ２への第１動きベクトルが推定され、推定された第１動きベクトルに基づいて補間フレームｑに画素値が割り当てられる。しかしながら、オクルージョン領域に関しては、参照フレームｐ１、ｐ２のいずれか一方にしか対応する領域が存在しないため、参照フレームｐ１、ｐ２間の相関に基づいて画素を適切に補間することは困難とされる。本実施形態では、補間フレームｑ上のオクルージョン領域に対して適切な画素値を補間することにより、高品質の補間フレームを生成する方法を提供する。

図１において、入力画像信号は、動き推定部１０１及びフレームメモリ１０５に入力される。動き推定部１０１は、基準となる参照フレームｐ１から参照フレームｐ２への第１動きベクトルを推定する。補間フレーム生成部１０２は、動き推定部１０１で推定された第１動きベクトルに応じて、補間フレームｑ内の画素位置に画素値を割り当て、また、第１動きベクトルを第２動きベクトルとして割り当てて、補間フレームｑを生成する。

オクルージョン領域検出部１０３は、補間フレーム生成部１０２で生成された補間フレームｑに発生するオクルージョン領域を検出する。オクルージョンフィルタリング部１０４は、オクルージョン領域検出部１０３で検出されたオクルージョン領域に対して、フィルタリングによって動きベクトル（後に説明する第４動きベクトル）及び画素値を割り当てる。

図３は、補間フレーム生成装置１００が参照フレームｐ１、ｐ２間に内挿する補間フレームｑを生成する手順の一例を示している。

まず、図３のステップＳ３０１に示されるように、動き推定部１０１が参照フレームｐ１から参照フレームｐ２への第１動きベクトルを求める。動き推定部１０１は、例えば以下に説明するようなブロックマッチングによって第１動きベクトルを求める。本実施形態では、ブロックマッチングによって第１動きベクトルを推定しているが、これに限定されず、勾配法等の手法を利用して第１動きベクトルを推定してもよい。

ブロックマッチングでは、参照フレームｐ１は、予め設定されたサイズのブロックに分割される。参照フレームｐ１を分割するブロックは、Ｍ_１画素×Ｍ_２画素からなる矩形の小領域に設定される。動き推定部１０１は、参照フレームｐ１を分割した第１ブロックの各々に対して、参照フレームｐ２内の所定範囲から、第１ブロックと最も相関値の高い第２ブロックを探索する。動き推定部１０１は、第１ブロックの位置を始点とし、探索した第２ブロックの位置を終点とするベクトルを、参照フレームｐ１からｐ２への第１動きベクトルとして求める。さらに、動き推定部１０１は、第１ブロックに割り当てられた第１動きベクトルを、その第１ブロック内の各画素に割り当てる。

位置（ｉ，ｊ）の第１ブロックに割り当てられる動きベクトルｕ（ｉ，ｊ）は、例えば下記式１に示されるブロックマッチングアルゴリズムに従って求められる。

式１では、誤差関数Ｅとしては、下記式２に示されるように、画素値に関する平均絶対値差分（Mean Absolute Difference：ＭＡＤ）が使用されている。

このように、動き推定部１０１は、誤差関数を最小にするｕ_ｘ、ｕ_ｙの組を求め、即ち、第１ブロックとの相関値が最も大きくなる第２ブロックを指し示すｕ_ｘ、ｕ_ｙの組を求め、これを第１ブロックに第１動きベクトルとして割り当てる。

なお、式１の誤差関数としては、式２に示される平均絶対値差分に限定されず、第１及び第２ブロック間の相関の大きさを評価することができればよく、平均二乗誤差（Mean Squared Error）等を用いてもよい。

本実施形態では、第１ブロック内の各画素の動きベクトルは、その第１ブロックの動きベクトルと同一とし、即ち、第１ブロック内の各画素には、下記式３のように、その第１ブロックに割り当てられた第１動きベクトルが割り当てられる。
ｕ（ｘ，ｙ）←ｕ（ｉ，ｊ）式３
ここで、矢印「←」は、割り当てることを意味する。従って、式３は、位置（ｉ，ｊ）の第１ブロックに割り当てられた第１動きベクトルがそのブロック内の位置（ｘ，ｙ）の画素に割り当てられることを示す。

なお、図１の補間フレーム生成装置１００は、動き推定部１０１で第１動きベクトルを検出することなく、例えばＭＰＥＧ２のような動画像符号化における圧縮のために用いられる動きベクトルを利用してもよい。この場合、補間フレーム生成装置１００は、図示しないデコーダで入力画像信号をデコードして、第１動きベクトルを得ることができる。

このようにして、動き推定部１０１は、参照フレームｐ１から参照フレームｐ２への動きベクトルを推定する。しかしながら、参照フレームｐ１上のCoveredオクルージョン領域では、対応する領域が参照フレームｐ２上に存在しないことから、動きベクトルの推定結果が歪み、その結果、Coveredオクルージョン領域に誤った動きベクトルが割り当てられることがある。これを回避するために、参照フレームｐ１のCoveredオクルージョン領域には、参照フレームｐ２と異なる参照フレームとのブロックマッチングによって、動きベクトルが割り当てられてもよい。例えば、図４に示されるように、参照フレームｐ１上のCoveredオクルージョン領域は、参照フレームｐ２には対応する領域がないが、連続する時刻ｔ＋１の参照フレームｐ３には対応する領域が存在する。動き推定部１０１は、ブロックマッチングによって、参照フレームｐ１から参照フレームｐ３への動きベクトルｍｖ１を推定し、推定した動きベクトルｍｖ１の逆ベクトルを、参照フレームｐ１から参照フレームｐ２への動きベクトルｍｖ２として求める。これにより、参照フレームｐ１のCoveredオクルージョン領域に正しい動きベクトルを割り当てることができる。

図３のステップＳ３０２では、補間フレーム生成部１０２は、第１動きベクトルで特定される補間フレームｑ内の第１画素位置に、第１及び第２参照フレームｐ１、ｐ２の少なくとも一方の画素値から求まる画素値を割り当て、さらに、この第１画素位置に、第１画素位置を始点とする第１動きベクトルを第２動きベクトルとして割り当てる。補間フレームｑ内の画素位置には、下記式４のように、第１動きベクトルに従って、参照フレームｐ１の画素値Ｉ_ｔが割り当てられる。

参照フレームｐ１、ｐ２では、位置（ｘ，ｙ）の各成分ｘ、ｙが整数値となる位置に画素が配置されており、補間フレームｑ内の位置（ｘ，ｙ）の各成分ｘ、ｙが整数値となる位置に画素値及び動きベクトルが割り当てられるものとする。従って、下記式５に示される位置は、第１動きベクトルｕ＝（ｕ_ｘ，ｕ_ｙ）で特定される補間フレームｑ内の位置から最も近い画素位置を示している。

補間フレーム生成部１０２は、補間フレームｑに対して、参照フレームｐ２から、或いは参照フレームｐ１及びｐ２の両方から画素値を割り当ててもよい。例えば、下記式６のように、参照フレームｐ１及びｐ２に関して、補間フレームｑを内挿する時間位置Δｔに応じた重み平均を取って算出した画素値が補間フレームｑ内の画素位置に割り当てられてもよい。

ステップＳ３０３では、補間フレーム生成部１０２は、下記式７のように、補間フレームｑに対して、参照フレームｐ１に割り当てられている第１動きベクトルを第２動きベクトルとして割り当てる。即ち、補間フレーム生成部１０２は、補間フレームｑを始点とする第１動きベクトルを第２動きベクトルとして割り当てる。

ただし、補間フレームｑの各動きベクトルｕ_ｍｃ（ｘ，ｙ）は、下記式８のように、予め初期化しておく。

ここで、ＮＵＬＬは、値がまだ割り当てられていないことを意味する。

式７に代えて、補間フレーム生成部１０２は、参照フレームｐ１内の位置（ｘ，ｙ）の画素に割り当てられた第１動きベクトルの終点を参照フレームｐ２内の位置（ｘ＋ｕ_ｘ（ｘ，ｙ），ｙ＋ｕ_ｙ（ｘ，ｙ））に固定したまま、始点を補間フレームｑ内の式５の位置に移動させることで、補間フレームｑから参照フレームｐ２への動きベクトルを第２動きベクトルとして生成してもよい。即ち、補間フレーム生成部１０２は、第２動きベクトルを、補間フレームｑと参照フレームｐ２との間の時間間隔（１−Δｔ）に応じた大きさの動きベクトルとして生成してもよい。

なお、ステップＳ３０２で補間フレームｑに画素値を割り当てるより前に、ステップＳ３０３において、補間フレームｑに第２動きベクトルが割り当てられてもよい。この場合、補間フレームｑに割り当てられた第２動きベクトルによって特定される参照フレームｐ１、ｐ２の少なくとも一方の画素値から求められる画素値が補間フレームｑ内の画素位置に割り当てられる。

図３のステップＳ３０４では、オクルージョン領域検出部１０３は、補間フレーム生成部１０２が生成した補間フレームｑからオクルージョン領域を検出する。補間フレームｑ上のUncoveredオクルージョン領域は、第２動きベクトルが割り当てられていない画素位置に一致する。オクルージョン領域検出部１０３は、下記式９を満たす位置（ｘ、ｙ）を、即ち、第２動きベクトルが割り当てられていない位置（ｘ、ｙ）をUncoveredオクルージョン領域として検出する。

次に、補間フレームｑのCoveredオクルージョン領域を検出する方法を説明する。補間フレームｑのCoveredオクルージョン領域の検出では、まず、下記式１０を満たすような、補間フレームｑ内の画素位置（ｘ_１，ｙ_１）、（ｘ_２，ｙ_２）が検出される。即ち、図５に示されるように、補間フレームｑ内の画素位置（ｘ_１，ｙ_１）に割り当てられている第２動きベクトルが指し示す第２参照フレームｐ２内の画素と、補間フレームｑ内の他の画素位置（ｘ_２，ｙ_２）に割り当てられている第２動きベクトルが指し示す第２参照フレームｐ２内の画素とが一致するような、補間フレームｑ内の画素位置（ｘ_１，ｙ_１）、（ｘ_２，ｙ_２）が検出される。

次に、下記式１０のように、第２動きベクトルによって特定される参照フレームｐ１の画素と参照フレームｐ２の画素との間の画素差分値（相違度ともいう）ｄ１、ｄ２が算出される。

ｄ_１≧ｄ_２の場合、補間フレームｑ内の位置（ｘ_１，ｙ_１）がCoveredオクルージョン領域と判定され、ｄ_１＜ｄ_２の場合、補間フレームｑ内の位置（ｘ_２，ｙ_２）がCoveredオクルージョン領域と判定される。Coveredオクルージョン領域と判定された領域からは、割り当てられている画素値及び第２動きベクトルが除去される。

ステップＳ３０５では、オクルージョンフィルタリング部１０４は、オクルージョン領域検出部１０３によって検出されたオクルージョン領域に対して、フィルタリングにより画素を補間する。オクルージョン領域は、隣接するいずれかの領域、例えば、オブジェクト及び背景領域のいずれかの領域と連続する領域であると考えられる。そこで、Coveredオクルージョン領域に関しては、図６に示されるように、参照フレームｐ２内の画素間の画素差分値によって相関の高さを判定し、この判定結果に応じて補間フレームｑのオクルージョン領域がオブジェクト及び背景領域のどちらと連続性が高いかを判定する。

ステップＳ３０５のオクルージョンフィルタリングの概念を、図６を参照して具体的に説明する。図６において、補間フレームｑ内の画素位置ｉ−１〜ｉ＋２は、Uncoveredオクルージョン領域であり、第２動きベクトルが割り当てられていない。補間フレームｑ上の非オクルージョン領域である位置ｉ＋３には、第２動きベクトルｕ_ｉ＋３が割り当てられており、この第２動きベクトルｕ_ｉ＋３が指し示す参照フレームｐ２内の位置は、位置ｉ＋２となっている。また、非オクルージョン領域の位置ｉ−２には、第２動きベクトルｕ_ｉ−２が割り当てられており、この第２動きベクトルｕ_ｉ−２が指し示す参照フレームｐ２内の位置は、位置ｉ−４となっている。

補間フレームｑ内の位置ｉに第２動きベクトル及び画素値を割り当てる場合を例にとって考える。まず、補間フレームｑ内の位置ｉに第２動きベクトルｕ_ｉ＋３を第３動きベクトルとして割り当てると、第３動きベクトルｕ_ｉ＋３は、参照フレームｐ２内の位置ｉ＋２を指し示す。参照フレームｐ２内の位置ｉ＋２と位置ｉ＋５との間の画素差分値ｄ_ｉ＋３は、ｄ_ｉ＋３＝｜Ｉ_ｔ＋１（ｉ＋５）−Ｉ_ｔ＋１（ｉ＋２）｜となる。また、補間フレームｑ内の位置ｉに第２動きベクトルｕ_ｉ−２を第３動きベクトルとして割り当てると、第３動きベクトルｕ_ｉ−２は、参照フレームｐ２内の位置ｉ−２を指し示す。参照フレームｐ２内の位置ｉ−２と位置ｉ−４との間の画素差分値ｄ_ｉ−２は、ｄ_ｉ−２＝｜Ｉ_ｔ＋１（ｉ−４）−Ｉ_ｔ＋１（ｉ−２）｜となる。これら画素差分値ｄ_ｉ＋３及びｄ_ｉ−２を比較して、差分値ｄ_ｉ−２が小さい場合、補間フレームｑ内の位置ｉが補間フレームｑ内の位置ｉ−２と高い連続性を有すると判断する。この連続性の判断に基づいて、オクルージョンフィルタリング部１０４は、補間フレームｑ内の位置ｉに、第２動きベクトルｕ_ｉ−２を第４動きベクトルとして割り当て、さらに、画素値Ｉ_ｔ＋１（ｉ−２）を割り当てる。

本実施形態のオクルージョンフィルタリング部１０４は、後述するように、第２動きベクトルｕ_ｉ＋３、ｕ_ｉ−２に画素差分値ｄ_ｉ＋３及びｄ_ｉ−２の大きさに応じた重み付けをして加算したものを第４動きベクトルとして、補間フレームｑ内の画素位置ｉに割り当てる。重みは、画素差分値が大きいほど小さくなるように、例えば、下記式１１の第４式に示される重みｗのように設定される。

図７に示されるように、補間フレームｑ内の画素位置（ｘ，ｙ）がuncoveredオクルージョン領域である場合、オクルージョンフィルタリング部１０４は、下記式１２のように、uncoveredオクルージョン領域に割り当てる第４動きベクトルを求める。

ここで、ｕ_ｍｃ（ｘ，ｙ）＝（ｕ_ｘ（ｘ，ｙ），ｕ_ｙ（ｘ，ｙ））^Ｔであり、Ｎはフィルタリングの幅（探索範囲）を示す。上付きのＴは、転置を示す。また、σは画素の連続性を評価するためのパラメータであり、このパラメータの値を小さく設定すると、差分値が充分小さくないと連続とは判定されず、大きく設定すると差分値が大きくても連続と判定するようになる。式１２の第４式が連続性を評価する項になっている。また式１２の第３式は、フィルタリングの対象領域がオクルージョン領域か否かを判定しており、オクルージョン領域の動きベクトル（ＮＵＬＬが入っている）を計算に使用しないようにしている。

式１２に代えて、オクルージョンフィルタリング部１０４は、下記式１３のように、所定範囲内に割り当てられた第２動きベクトルから重みｗが最も大きくなるものを探索し、探索した第２動きベクトルを、補間フレームｑを始点とする第４動きベクトルとして画素位置（ｘ，ｙ）に割り当ててもよい。

続いて、Uncoveredオクルージョン領域の画素には、下記式１４のように、参照フレームｐ２内の画素値であって、式１２で求められた第４動きベクトルが指し示す位置の画素値が割り当てられる。

Coveredオクルージョン領域では、第２動きベクトルの逆ベクトルで特定される参照フレームｐ１の画素値を使用して、Coveredオクルージョン領域とその周囲の領域との連続性を判定する。オクルージョンフィルタリング１０４は、下記式１５のように、Coveredオクルージョン領域に対して、フィルタリングを実行し、Coveredオクルージョン領域に第４動きベクトルを割り当てる。

ここで、式１３と同様に重みｗが最も大きくなる第２動きベクトルを第４動きベクトルとして選択するようにしてもよい。

Coveredオクルージョン領域の画素には、下記式１６のように、参照フレームｐ１の画素値であって、式１５で求められた第４動きベクトルの逆ベクトルで特定される位置の画素値が割り当てられる。

上記フィルタリングは、オクルージョン領域に含まれる画素に対して、Ｎを充分大きくして画素順に順次実行してよく、或いは、オクルージョン領域の端部から実行してもよい。

以上のように、第１の実施形態に係る補間フレーム生成装置１００は、補間フレームｑ上に発生するオクルージョン領域に対して、適切な画素値を割り当てることができ、高品質の補間フレームを生成することができる。

（第２の実施形態）
本発明の第２の実施形態に係る補間フレーム生成装置は、図１に示した第１の実施形態と同様の構成を有している。第２の実施形態は、第１実施形態と異なり、３以上の参照フレームを使用して、時刻ｔの第１参照フレームと時刻ｔ＋１の第２参照フレームとの間に内挿する補間フレームを生成する。

本実施形態では、動き推定部１０１は、第１参照フレームと第２参照フレームとの相関、並びに第１参照フレームと、第１及び第２参照フレームとは異なる時刻の複数の第３参照フレームの各々との相関に基づいて、第１参照フレームの位置を始点とする第１動きベクトルを推定する。第３参照フレームとしては、時刻ｔ−Ｔ及び時刻ｔ＋Ｔ間に含まれるフレームを使用する。ただし、Ｔは自然数である。また、時刻ｔ−ｎの参照フレームの画素値をＩ_ｔ−ｎ（ｘ，ｙ）とし、時刻ｔ＋ｎの参照フレームの画素値をＩ_ｔ＋ｎ（ｘ，ｙ）とする。ただし、ｎ＝１，２，・・・，Ｔである。

第１参照フレームから第２参照フレームへの第１動きベクトルを基準とすると、第１参照フレームから時刻ｔ＋ｎの第３参照フレームへの第１動きベクトルは、ｎ倍する必要があり、第１動きベクトルをそのように正規化する。

本実施形態は、図３のステップＳ３０１及びＳ３０５で説明した式を、以下に示す式に置き換えることで実現することができる。

図３のステップＳ３０１に関しては、時刻ｔの参照フレームを分割した第１ブロック毎に第１動きベクトルを求める式１及び２を、下記式１７及び１８に置き換える。

さらに、第１ブロックに割り当てられた第１動きベクトルは、式４に代えて下記式１９のように、この第１ブロック内の各画素に割り当てられる。

また、ステップＳ３０５のオクルージョンフィルタリングに関しては、式１１が下記式２０に置き換えられ、Uncoveredオクルージョン領域に割り当てられる第４動きベクトルがこの式２０に従って求められる。式２０に示されるように、Uncoveredオクルージョン領域では、第２参照フレームと、時刻ｔ＋２から時刻ｔ＋Ｔに含まれる第３参照フレームとを使用して、Uncoveredオクルージョン領域の周囲の非オクルージョン領域との連続性が判定される。

さらに、Uncoveredオクルージョン領域内の画素位置に画素値を割り当てる式１４を、下記式２１に置き換える。

Coveredオクルージョン領域に関しては、第１の実施形態と同じ方法で、画素値及び第４動きベクトルが割り当てられる。

以上のように、第２の実施形態に係る補間フレーム生成装置においては、第１参照フレームと第２参照フレームとの相関とともに、第１参照フレームと１以上の第３参照フレームとの相関を含めて補間フレームに画素値を割り当てることで、より高品質な補間フレームを生成することができる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１００…補間フレーム生成装置、１０１…動き推定部、１０２…補間フレーム生成部、１０３…オクルージョン領域検出部、１０４…オクルージョンフィルタリング部、１０５…フレームメモリ

Claims

第１参照フレームと、前記第１参照フレームとは異なる時刻に表示すべき第２参照フレームとの間の時刻に内挿される補間フレームを生成する補間フレーム生成装置であって、
前記第１参照フレーム内の第１ブロックと、前記第２参照フレーム内のブロックとの相関値を求め、その中で最も前記相関値の高い第２ブロックを探索し、前記第１ブロックの位置と、前記第２ブロックの位置とをむすぶ第１動きベクトルを求める動き推定部と、
前記第１動きベクトルで特定される前記補間フレーム内の第１画素位置に、前記第１参照フレーム及び／又は前記第２参照フレームの画素値から求まる第１の画素値を割り当て、さらに、前記第１画素位置に、この第１画素位置を始点とする第１動きベクトルを第２
動きベクトルとして割り当てる補間フレーム生成部と、
前記補間フレーム上でオクルージョン領域を検出するオクルージョン領域検出部と、
前記オクルージョン領域に画素値を割り当てるオクルージョンフィルタリング部であって、前記オクルージョン領域の周辺に位置する非オクルージョン領域に割り当てられている第２動きベクトルを第３動きベクトルとして前記オクルージョン領域に割り当て、前記第３動きベクトルで特定される前記第１又は第２参照フレームの画素値から求まる第２の画素値と、前記非オクルージョン領域に割り当てられている前記第２動きベクトルで特定される前記第１又は第２参照フレームの画素値から求まる第３の画素値との間の相異度に基づいて、前記第２動きベクトルを重み付け加算した第４動きベクトルを前記オクルージョン領域に割り当て、前記オクルージョン領域に、前記第４動きベクトルで特定される前記第１又は第２参照フレームの画素値から求まる第４の画素値を割り当てるオクルージョンフィルタリング部と、
を具備することを特徴とする補間フレーム生成装置。
前記オクルージョンフィルタリング部は、前記相異度が最も小さい前記第３動きベクトルを前記第４動きベクトルとして前記オクルージョン領域に割り当てることを特徴とする請求項１に記載の補間フレーム生成装置。
前記オクルージョンフィルタリング部は、前記相異度が大きいほど値の小さくなる重みを使用して重み付け加算することを特徴とする請求項１に記載の補間フレーム生成装置。
前記オクルージョン領域検出部は、画素値が割り当てられていない領域をオクルージョン領域として検出することを特徴とする請求項１に記載の補間フレーム生成装置。
前記オクルージョン領域検出部は、前記補間フレーム内の第２画素位置に割り当てられている第２動きベクトルが指し示す前記第２参照フレーム内の第１画素と、前記補間フレーム内の第３画素位置に割り当てられている第２動きベクトルが指し示す前記第２参照フレーム内の第２画素とが同一である場合に、前記第１画素が有する画素値と前記第２画素位置に割り当てられている画素値との画素差分値と、前記第１画素が有する画素値と前記第３画素位置に割り当てられている画素値との画素差分値とを比較して、前記第２及び第３画素位置のうちの、前記画素差分値が大きいほうをオクルージョン領域として検出することを特徴とする請求項４に記載の補間フレーム生成装置。
第１参照フレームと、前記第１参照フレームとは異なる時刻に表示すべき第２参照フレームとの間の時刻に内挿される補間フレームを生成する補間フレーム生成方法であって、
前記第１参照フレーム内の第１ブロックと、前記第２参照フレーム内のブロックとの相関値を求め、その中で最も前記相関値の高い第２ブロックを探索し、前記第１ブロックの位置と、前記第２ブロックの位置とをむすぶ第１動きベクトルを求める算出ステップと、
前記第１動きベクトルで特定される前記補間フレーム内の第１画素位置に、前記第１参照フレーム及び／又は前記第２参照フレームの画素値から求まる第１の画素値を割り当てる第１割当ステップと、
前記第１画素位置に、この第１画素位置を始点とする第１動きベクトルを第２動きベクトルとして割り当てる第２割当ステップと、
前記補間フレーム上でオクルージョン領域を検出する検出ステップと、
前記オクルージョン領域に画素値を割り当てる第３割当ステップであって、前記オクルージョン領域の周辺に位置する非オクルージョン領域に割り当てられている第２動きベクトルを第３動きベクトルとして前記オクルージョン領域に割り当て、前記第３動きベクトルで特定される前記第１又は第２参照フレームの画素値から求まる第２の画素値と、前記非オクルージョン領域に割り当てられている前記第２動きベクトルで特定される前記第１又は第２参照フレームの画素値から求まる第３の画素値との間の相異度に基づいて、前記第２動きベクトルを重み付け加算した第４動きベクトルを前記オクルージョン領域に割り当てる第３割当ステップと、
前記オクルージョン領域に、前記第４動きベクトルで特定される前記第１又は第２参照フレームの画素値から求まる第４の画素値を割り当てる第４割当ステップと、
を具備することを特徴とする補間フレーム生成方法。