JP4162582B2

JP4162582B2 - 補間フレーム生成方法及び装置

Info

Publication number: JP4162582B2
Application number: JP2003422272A
Authority: JP
Inventors: 直三島; 雅裕馬場; 伊藤　　剛
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2003-12-19
Filing date: 2003-12-19
Publication date: 2008-10-08
Anticipated expiration: 2023-12-19
Also published as: JP2005184449A

Description

本発明は、補間フレーム生成装置及び方法に関する。

動画像のフレーム間に画像を内挿補間することにより、動画像を滑らかに表示することができる。従来、補間フレームを一様格子の補間対象ブロックに分割し、この補間対象ブロックを中心として幾何対称的に前後のフレーム間の相関を求めることにより、補間フレームの画像を生成する手法が提案されている（特許文献１）。この手法には、補間フレームに重なりや隙間が生じないという利点がある。
特許第２５８８１０３号公報

しかし、上記の手法はブロック単位で動きベクトルを求めて補間フレームを生成している。そのため、一つのブロック内に複数の動きが存在する場合に、背景や物体が正しく補間されないことがある。その結果、特にブロック境界において、ブロック歪みが発生するという問題がある。

本発明の目的は、一つのブロック内に複数の動きが存在する場合にそれを検出し、ブロック歪みの発生を抑制可能な補間フレーム生成装置及び方法を提供することである。

本発明は上記の課題を解決するためになされたものである。本発明の一側面の補間フレーム生成方法は、第１フレームと第２フレームとを用いて複数の補間対象ブロックを含む補間フレームを生成する方法であって、前記補間対象ブロックを基準に対称的に、相関が高い前記第１フレームの第１ブロックと前記第２フレームの第２ブロックとのブロック対を探索し、前記第１ブロックと前記第２ブロックとをそれぞれ、複数の画素を含む複数の第１及び第２クラスタに分割し、前記複数の第１クラスタの中から、前記第２ブロック内の当該第１クラスタに対応する領域との相関がある基準より高い高相関クラスタを抽出し、前記第１ブロック内の前記高相関クラスタに対応する領域及び前記第２ブロック内の前記高相関クラスタに対応する領域のうちの少なくとも一方の画素情報を用いて、前記補間対象ブロックの前記高相関クラスタに対応する領域の画像を生成する。

また、本発明の一側面の補間フレーム生成方法は、第１フレームと第２フレームとを入力し、前記第１フレームを複数の第１ブロックに分割し、前記第２フレームから、前記第１ブロックのそれぞれとの相関が高い第２ブロックを探索し、前記第１ブロックと前記第２ブロックとの間の動きベクトルを求め、前記第１ブロックを複数のクラスタに分割し、前記クラスタの中から、前記第２ブロックの対応する領域との相関がある基準より高い高相関クラスタを抽出し、前記高相関クラスタの画像及び前記高相関クラスタに対応する前記第２ブロック内の領域の画像のうちの少なくとも一方と前記動きベクトルとを用いて、前記第１フレームと前記第２フレームとの間の補間フレームの画像を生成する。

また、本発明の一側面の補間フレーム生成装置は、第１フレームと第２フレームとを用いて複数の補間対象ブロックを含む補間フレームを生成する装置であって、第１フレームと第２フレームとを入力する入力部と、前記補間対象ブロックを基準に対称的に、相関が高い前記第１フレームの第１ブロックと前記第２フレームの第２ブロックとのブロック対
を探索する動き検出部と、前記第１ブロックと前記第２ブロックとをそれぞれ、複数の画素を含む複数の第１及び第２クラスタに分割するクラスタ分割部と、前記複数の第１クラスタの中から、前記第２ブロックの対応する領域との相関がある基準より高い高相関クラスタを抽出する抽出部と、前記第１ブロックの前記高相関クラスタに対応する領域及び前記第２ブロックの前記高相関クラスタに対応する領域のうちの少なくとも一方の画素情報を用いて前記補間対象ブロックの前記高相関クラスタに対応する領域の画像を生成する補間画像生成部とを備える。

また、本発明の一側面の補間フレーム生成装置は、第１フレームと第２フレームとを入力する入力部と、前記第１フレームを複数に分割した第１ブロックのそれぞれとの相関が高い、前記第２フレームの第２ブロックを探索して、前記第１ブロックと前記第２ブロックとの間の動きベクトルを検出する動きベクトル検出部と、前記第１ブロックを複数のクラスタに分割するクラスタ分割部と、前記クラスタのうち、前記第２ブロックの対応する領域との相関がある基準より高い高相関クラスタを求める高相関クラスタ検出部と、前記高相関クラスタの画像及び前記高相関クラスタに対応する前記第２ブロック内の領域の画像のうちの少なくとも一方と、前記動きベクトルとを用いて、前記第１フレームと前記第２フレームとの間の補間フレームの前記高相関クラスタに対応する領域の画像を生成する補間画像生成部とを備える。

補間フレームの生成時に生じるブロック歪みを抑制することができる。

（概要）従来のフレーム補間ではブロック単位で動きを求めていた。そのため、１つのブロック内に動きが異なる複数の領域が存在する場合、ブロック境界においてブロック歪みが発生する。

そこで、本実施形態の補間フレーム生成装置は、ブロック内を複数の領域（クラスタ）に分割する。そして、ブロックマッチングを行った後に、相関が高いクラスタ（高相関クラスタ）と相関が低いクラスタ（低相関クラスタ）とに分ける。低相関クラスタは再度ブロックマッチングを行う。このようにしてブロックマッチングを繰り返し行った結果得られる複数の動きベクトルを用いて、各クラスタごとに動き補償を行う。クラスタ毎に動き補償を行っているのでブロック境界でブロック歪みが発生しにくくなる。

従来から提案されてきた領域分割手法を用いてブロックを分割する。領域分割手法には、例えば、Fast Watersheds法（L.Vincent and P.Soille: "Watersheds in digital spaces: An efficient algorithm based on immersion simulations", IEEE trans. on Pattern Analysis and Machine Intell., vol.13, No.6, pp.583-598）、Snake法、及び、領域成長法がある。まず、微分フィルタ等を利用してでエッジを検出する。検出されたエッジに上述した領域分割手法を適用して、ブロックをクラスタに分割する。

尚、領域分割手法を利用してブロックを分割することが望ましいが、このような手法を用いずにブロックを分割しても構わない。例えば、４分割や１６分割でも構わない。

各クラスタの相関の高低は、平均絶対値差分や、平均二乗差分や、クラスタ内に含まれる相関が高い画素の割合などの指標を用いてクラスタ全体として評価を行う。これにより、クラスタ内に若干のノイズピクセルが存在していてもその影響を受けにくくしている。

例えば、あるブロックが図７（Ａ）のように４つのクラスタに分割され、各画素の相関の高低が図７（Ｂ）のようになったとする。図７（Ｂ）では斜線で示された画素は相関の
低い画素（不一致画素）であり、それ以外は相関が高い（一致画素）である。

図７（Ｄ）は、相関が高い画素を一致領域とみなして動き補償した場合の結果を示している。クラスタという概念を用いていないので、不一致画素と一致画素とが混在した領域（例えば図７（Ａ）のクラスタ２に相当する領域）では、異なる領域から画素情報がコピーされた画素が混在している。その結果、補間フレームにいわゆる「ごま塩ノイズ（salt-and-pepper noise）」が生じる可能性が高くなる。

図７（Ｃ）は、クラスタ単位で相関の高低を判定して動き補償した場合の結果を示している。クラスタ単位で動き補償を行うので、異なる領域から画素情報がコピーされた画素が混ざることはない。その結果、補間フレームのごま塩ノイズを抑制することができる。

（詳細）以下、本発明の一実施形態の補間フレーム生成装置について説明する。本実施形態では、各クラスタはブロックを上述したエッジ検出と領域分割手法とを用いて分割した不定形状の領域である。

図１は本実施形態の補間画像生成装置のブロック図である。本装置は、動画像をフレーム単位で順次記憶するフレームメモリ１０１と、第１フレームＰ１とこれに続く第２フレームＰ２との間で相関が高い領域の動きベクトルを求める動き推定部１０６と、求めた動きベクトルを用いて補間フレームＱに動き補償を行う動き補償部１０５とを備える。

動き推定部１０６は、ブロックマッチング法を用いて、ブロック及びブロック内の各クラスタの動きベクトルを求める動き探索部１０２と、ブロック内のクラスタ毎に相関の高低を判定する一致判定部１０３と、ブロック内をクラスタに分割する領域分割部１０４とを備える。

動画像の各フレームはフレームメモリ１０１、動き補償部１０５、動き探索部１０２に入力される。フレームメモリ１０１は入力されたフレーム（第２フレームＰ２）を順次記憶し、１つ前のフレーム（第１フレームＰ１）を動き補償部１０５と動き探索部１０２とに出力する。

動き探索部１０２は第１フレームＰ１と第２フレームＰ２とを用いて動き探索を行う。動き探索部１０２は、まず、補間フレームＱのブロックＢＬ０を基準にして対称的に、第１フレームＰ１と第２フレームＰ２との間で相関の高いブロック対を求める。すなわち、補間フレームＱのブロックＢＬ０と一直線上にある第１フレームＰ１と第２フレームＰ２とのブロック対の中から、相関が高いブロック対を探索する。この相関が高いブロック対のうち、第１フレームＰ１にあるものをブロックＢＬ１と呼び、第２フレームＰ２にあるものをブロックＢＬ２と呼ぶ。そして、動き探索部１０２は、このブロック対を一致判定部１０３に出力する。

一致判定部１０３はブロックＢＬ１とブロックＢＬ２とのブロック対を用いて不一致フィルタＡＦを生成する。一致判定部１０３は、まず、領域分割部１０４にブロックＢＬ１とブロックＢＬ２とのブロック対を出力する。

領域分割部１０４は、ブロックＢＬ１とブロックＢＬ２とのそれぞれを複数の画素を含む複数のクラスタＣＬに分割する。そして、領域分割部１０４は、分割したクラスタの集合であるクラスタグループＣＬＧ１、ＣＬＧ２とを、一致判定部１０３に出力する。

一致判定部１０３は、領域分割部１０４からクラスタグループＣＬＧ１、ＣＬＧ２を受け取る。そして、一致判定部１０３はクラスタ毎にブロック間で相関があるか判定し、判
定結果を画像化した不一致フィルタＡＦを生成する。一致判定部１０３は不一致フィルタＡＦを動き探索部１０２に出力する。

動き探索部１０２は、一致判定部１０３から不一致フィルタＡＦを受け取る。動き探索部１０２は不一致フィルタＡＦを用いてクラスタ単位で動きベクトルＭＶを求める。そして、動き探索部１０２は、求めた動きベクトルＭＶの全て（動きベクトルグループＭＶＧ）と不一致フィルタＡＦの全て（不一致フィルタグループＡＦＧ）とを動き補償部１０５へ出力する。

動き補償部１０５は、動きベクトルグループＭＶＧと不一致フィルタグループＡＦＧとを用いてクラスタ単位で動き補償を行う。すなわち、第１フレームＰ１と第２フレームＰ２とで各クラスタに対応する領域の画像を抽出し、２つの画像を平均した画像を補間フレームＱのブロックＢＬ０にコピーする。尚、平均した画像を求める代わりに、第１フレームＰ１あるいは第２フレームＰ２のいずれか一方から抽出した画像をコピーしても構わない。

図２は本装置が行う処理の概要を説明するフローチャートである。

（ステップ１１０１）動き推定部１０６は、補間フレームＱを一様格子のブロックＢＬ０に分割する。

（ステップ１１０２）動き推定部１０６はブロックＢＬ０毎に処理を開始する。

（ステップ１１０３）動き推定部１０６は動き推定を行い、ブロックＢＬ０毎に動きベクトルグループＭＶＧと不一致フィルタグループＡＦＧとを求める。

ブロックＢＬ０を基準にして対称的に、第１フレームＰ１と第２フレームＰ２との間で相関の高いブロック対を求める。ブロック対のうち第１フレームＰ１側にあるものをブロックＢＬ１と呼び、第２フレームＰ２側にあるものをブロックＢＬ２と呼ぶ。そして、ブロックＢＬ０内の各クラスタ毎にこのブロック対の探索処理を行い、動きベクトルグループＭＶＧと不一致フィルタグループＡＦＧとを求める。

（ステップ１１０４）動き補償部１０５は、動きベクトルグループＭＶＧ、不一致フィルタグループＡＦＧ、第１フレームＰ１及び第２フレームＰ２とを用いて、ブロックＢＬ０に対して動き補償を行う。

（ステップ１１０５）動き補償部１０５は、走査が完了していないブロックＢＬ０が存在する場合はステップ１１０３の処理を行い、全てのブロックＢＬ０について走査完了したら処理を終了する。

図３は動き推定部１０６が行う動き推定処理（上述のステップ１１０３の処理に相当する）を説明するフローチャートである。まず、動き探索部１０２は適宜設定した探索範囲内で最も相関の高いブロック対（ブロックＢＬ１、ＢＬ２）を探して動きベクトルを求める。そして、一致判定部１０３は、ブロックＢＬ１とブロックＢＬ２との間でブロック内部のクラスタ毎の相関の高低を判定して、相関が高いクラスタ（「一致クラスタ」と呼ぶ）と相関が低いクラスタ（「不一致クラスタ」と呼ぶ）とに分類する。

さらに、一致判定部１０３は、ブロック内で一致クラスタに対応する領域をマスクするためのマスク画像である不一致フィルタＡＦを分類結果に基づいて生成する。この不一致フィルタＡＦは、図９に示すように、一致クラスタに対応する領域内の画素値が０であり
、不一致クラスタに対応する領域内の画素値が１であるようなマスク画像である。本実施形態では、不一致フィルタＡＦは補間フレームＱと同じ時間的位置にあるものとする。動き推定部１０６は、不一致フィルタＡＦを参照して、不一致クラスタの動きベクトルを再帰的に探索する。

以下、動き推定部１０６が行う処理を詳細に説明する。

（ステップ１２０１）動き探索部１０２は繰り返し処理を開始する。動き探索部１０２は繰り返し変数ｉｔｅを１にセットするとともに、図１０に示すように不一致フィルタＡＦ［０］の全画素の画素値を１にする。なお、ＡＦ［ｘ］のｘは、不一致フィルタの識別子である。

（ステップ１２０２）動き探索部１０２は、図８に示すように補間フレームＱ上のブロックＢＬ０を中心として対称的に第１フレームＰ１と第２フレームＰ２とを探索し、最も相関の高いブロック対（第１フレームＰ１のブロックＢＬ１、第２フレームＰ２のブロックＢＬ２）を求める。そして、ブロックＢＬ０とブロックＢＬ２との間の動きベクトルＭＶ［ｉｔｅ］を求める。

動き探索部１０２は、ブロックＢＬ１とブロックＢＬ２との位置情報を一致判定部１０３に出力する。

ブロック対の相関を求める際には、図１３に示すように、不一致フィルタＡＦ［ｉｔｅ−１］で画素値が１の画素に対応する、ブロック対の画素のみについて演算を行う。ｉｔｅ＝１の場合、不一致フィルタＡＦ［０］の全画素の画素値が１であるので、図１１に示すようにブロック対の全画素が演算対象となる。

（ステップ１２０３）一致判定部１０３はブロックＢＬ１とブロックＢＬ２とを用いて一致判定を行い、不一致フィルタＡＦ［ｉｔｅ］を求める。そして、動き探索部１０２に不一致フィルタＡＦ［ｉｔｅ］出力する。このステップの処理の詳細については後で説明する。

（ステップ１２０４）動き探索部１０２は不一致フィルタＡＦ［ｉｔｅ］と不一致フィルタＡＦ［ｉｔｅ−１］との論理積を求め、これを不一致フィルタＡＦ［ｉｔｅ］とする。

（ステップ１２０５、ステップ１２０６）動き探索部１０２は繰り返し処理の継続判定を行う。まず、繰り返し変数ｉｔｅに１を加える。繰り返し変数ｉｔｅが予め定めておいた値ｎを未満ならばステップ１２０２の処理を行う。繰り返し変数ｉｔｅが値ｎ以上ならば繰り返しを終了する。

繰り返し処理が終了した時点で、ｎ個の動きベクトルＭＶ［ｊ］（ｊ＝１．．．ｎ）からなる動きベクトルグループＭＶＧと、ｎ個の不一致フィルタＡＦ［ｊ］（ｊ＝１．．．ｎ）からなる不一致フィルタグループＡＦＧとが得られる。

以下、一致判定部１０３における一致判定処理（上記のステップ１２０３）の詳細を説明する。

一致判定部１０３は、領域分割部１０４にブロックＢＬ１を出力し、ブロックＢＬ１を複数のクラスタに分割したクラスタグループＣＬＧ１を得る。そして、各クラスタ毎にブロックＢＬ２との相関を評価して、相関が閾値より高い一致クラスタと、相関が閾値より
低い不一致クラスタとに分類する。ブロックＢＬ２についても同様にクラスタに分割して分類を行う。

いずれのブロックでも不一致クラスタに分類された領域をブロックＢＬ０における不一致クラスタとみなし、不一致フィルタＡＦ［ｊ］を生成する。

図５は一致判定処理のフローチャートである。この図に従って一致判定処理を説明する。

（ステップ１４０１）一致判定部１０３は、領域分割部１０４を用いて、ブロックＢＬ１を複数のクラスタＣＬ１［ｉ］（ｉ＝１．．．ｒ）に分割する。クラスタＣＬ１［ｉ］の集まりをクラスタグループＣＬＧ１と呼ぶ。分割の手法は数々の従来手法を採用することが可能である。本実施形態では微分フィルタを利用してエッジ検出を行い、検出されたエッジにFast Watersheds法を適用してブロックＢＬ１を分割する。微分フィルタにはSobleオペレータを用いる。

（ステップ１４０２）一致判定部１０３はブロックＢＬ２を複数のクラスタＣＬ２［ｉ］（ｉ＝１．．．ｓ）に分割してクラスタグループＣＬＧ２を求める。

（ステップ１４０３）一致判定部１０３はクラスタグループＣＬＧ１をブロックＢＬ２との相関の高低に応じて一致クラスタと不一致クラスタとに分類する。そして、不一致クラスタに相当する領域の画素値を１とした不一致フィルタＬＡＦ１を求める。

図１２は本ステップの処理の概要を示している。まず、一致判定部１０３はブロックＢＬ１内の各クラスタＣＬとブロックＢＬ２の対応する領域との間で相関演算を行い、各クラスタＣＬの相関度の指標である一致度を求める。図１２は、クラスタＣＬ［１］は一致率０．９５、クラスタＣＬ［２］は一致率０．９０、クラスタＣＬ［１］は一致率０．３０になった場合を例示している。

次に、一致判定部１０３は一致率が閾値Ｔより低いクラスタを不一致クラスタに分類し、閾値Ｔより高いクラスタを一致クラスタに分類する。そして、一致判定部１０３は、分類結果に基づいて不一致フィルタＬＡＦの各画素の画素値を、不一致クラスタに相当する領域では１にし、一致クラスタに相当する領域では０にする。

以下、図６を用いて本ステップの処理の詳細を説明する。

（ステップ１５０１）一致判定部１０３は不一致フィルタＬＡＦ１を用意する。不一致フィルタＬＡＦ１の全画素の初期値は１にする。

（ステップ１５０２）一致判定部１０３はループ変数ｉに１を代入して初期化する。このステップは、クラスタグループＣＬＧ１内の全クラスタについて走査するためのループの起点である。

（ステップ１５０３）一致判定部１０３は各クラスタＣＬ１［ｉ］とブロックＢＬ２との相関を求める。具体的には、各クラスタＣＬ１［ｉ］内の画素情報と、このクラスタＣＬ［ｉ］の形状をマスクとしてブロックＢＬ２から抽出した画像の画素情報とを用いて相関を計算する。一致判定部１０３は、各クラスタＣＬ１［ｉ］の相関を表す指標として、一致画素率（Rate of Coincident Pixels／RCP）を用いる。一致画素率（RCP）とは、クラスタ内の各画素のうちブロックＢＬ１とブロックＢＬ２との間での相関が高いものの数を、クラスタ内の全画素数Numで除算した値である。相関が低いクラスタほど値が０に近
くなり、相関が高いクラスタほど値が１に近くなる。ブロックＢＬ１とブロックＢＬ２との間で画素値の絶対値差分が閾値T₁より低い画素を相関が高い画素とすると、RCPは次式で表される。

数１で、Bはクラスタ内に属する画素の集合であり、f₁(x,y)はブロックＢＬ１の座標(x,y)にある画素の画素値であり、f₂(x,y)はブロックＢＬ２の座標(x,y)にある画素の画素値である。

（ステップ１５０４）一致判定部１０３は、各クラスタＣＬ１［ｉ］のRCPを閾値Tと比較する。RCPが閾値Tより高いクラスタＣＬ［ｉ］１は一致クラスタと判定する。そうでないクラスタＣＬ１［ｉ］は不一致クラスタと判定する。

（ステップ１５０５）一致判定部１０３は、一致クラスタと判定されたクラスタＣＬ１［ｉ］に関して、不一致フィルタＬＡＦ１で対応する領域の画素値を０にする。

（ステップ１５０６、１５０７）一致判定部１０３はループ変数ｉに１を加算し、クラスタグループＣＬＧ１に属する全てのクラスタＣＬ［ｉ］の走査が完了したかを判定する。走査が終わっていなければステップ１５０３の処理を行う。

以上のステップ１５０１からステップ１５０７までの処理によって、不一致フィルタＬＡＦ１が求められる。

（ステップ１４０４）一致判定部１０３はクラスタグループＣＬＧ２をブロックＢＬ１との相関の高低に応じて一致クラスタと不一致クラスタとに分類する。そして、不一致クラスタに相当する領域の画素値を１とした不一致フィルタＬＡＦ２を求める。尚、相関の計算処理及び分類処理等は、ステップ１４０３で説明したステップ１５０１からステップ１５０７までの処理と同様にして行う。

（ステップ１４０５）一致判定部１０３は、不一致フィルタＬＡＦ１と不一致フィルタＬＡＦ２との論理積を求める。これが不一致フィルタＡＦ［ｉ］である。

図４は動き補償部１０５が行う動き補償処理のフローチャートである。この図を用いて、本実施形態の動き補償処理を説明する。図４では補間フレームＱの１つのブロックＢＬ０に対する動き補償処理を説明している。よって、補間フレームＱ全体の動き補償を行うには、図４に示した処理を全てのブロックＢＬ０に対して繰り返し行う。

（ステップ１３０１）動き補償部１０５は、繰り返し変数ｉｔｅに初期値として１を設定する。このステップは動き補償処理の繰り返しの開始点となる。

（ステップ１３０２、１３０３）動き補償部１０５は、補間フレームＱのブロックＢＬ０を基準として動きベクトルＭＶ［ｉｔｅ］と動きベクトルＭＶ［ｉｔｅ］を（−１）倍したものとを用いて、第１フレームＰ１のブロックＢＬ１と第２フレームＰ２のブロックＢＬ２とを求める。ブロックＢＬ１とブロックＢＬ２とはブロックＢＬ０を中心に対称な位置関係にある。

（ステップ１３０４）動き補償部１０５はブロックＢＬ１とブロックＢＬ２とを平均した平均ブロックＢＬＭを求める。本実施形態では単純平均とするが、ブロックＢＬ１とブロックＢＬ０との時間間隔及びブロックＢＬ２とブロックＢＬ０との時間間隔に応じた加重平均を用いることもできる。

（ステップ１３０５）動き補償部１０５は、不一致フィルタＡＦ［ｉｔｅ］の画素値が０となっている領域に対応する平均ブロックＢＬＭの画素をブロックＢＬ０へコピーする。例えば、不一致フィルタＡＦ［ｉｔｅ］の各画素の値を１画素ずつ確認しながら、平均ブロックＢＬＭの対応する画素をブロックＢＬ０へコピーする。

（ステップ１３０６、１３０７）動き補償部１０５は繰り返し変数ｉｔｅに１を加え、ブロックＢＬ０に関する全ての動きベクトルＭＶ［ｉｔｅ］を用いたかを判定する。まだ未使用の動きベクトルがある場合はステップ１３０２の処理を行い、全て用いた場合は処理を終了する。

以上に説明したように、本実施形態の補間フレーム生成装置ならば、ブロック内を複数のクラスタに分割し、クラスタ単位で動きベクトルを求めている。よって、一つのブロック内に複数の動きがある場合でも精度良く補間フレームに対する動き補償を行うことが可能であり、補間フレームにおけるブロック歪みの発生を抑制することができる。また、クラスタ単位で動きベクトルを求めているので、補間フレームにいわゆる「ごま塩ノイズ（salt-and-pepper noise）」が発生するのを抑制することができる。

（変形例１）上述のステップ１５０３における相関の計算には、RCP以外の指標も用いることができる。例えば、平均絶対値差分（Mean Absolute Difference／MAD）や、平均二乗差分（Mean Squared Difference／MSD）や、相互相関（Cross Correlation／CC）などを用いることができる。これらの計算式は、クラスタ内に属する画素の集合をB、クラスタ内の画素数をNum、ブロックＢＬ１の座標(x,y)にある画素の画素値をf₁(x,y)、ブロックＢＬ２の座標(x,y)にある画素の画素値をf₂(x,y)とすると、以下のように表される。平均絶対値差分：

平均二乗差分：

相互相関：

平均絶対値差分及び平均二乗差分は相関が高いほど値が小さくなるので、本実施形態とは相関値の扱いが逆になる。すなわち、相関値が閾値未満の場合に一致クラスタとなり、閾値以上の場合に不一致クラスタとなる。

（変形例２）上述の実施形態では補間フレームＱを基準にして対称的に前後のフレームを探索して動き推定を行った。しかし、動き推定はこの方法に限らない。例えば、第１フレームＰ１を複数のブロックＢＬ１に分割して、各ブロックＢＬ１と相関の高いブロックＢＬ２を第２フレームＰ２から求めても構わない。すなわち、第１フレームＰ１を基準にして動き推定を行っても構わない。あるいは、第２フレームＰ２を基準にして動き推定を行っても構わない。

これらの動き推定手法により求められた動きベクトルは、第１フレームＰ１と第２フレームＰ２との間の動きベクトルであるので、これをスケール変換することにより、第１フレームＰ１（若しくは第２フレームＰ２）と補間フレームＱとの間の動きベクトルを求める。

本発明の一実施形態の補間フレーム生成装置の構成を示す図。本発明の一実施形態の補間フレーム生成装置で行われる処理のフローチャート。ステップ１１０３の詳細なフローチャート。ステップ１１０４の詳細なフローチャート。ステップ１２０３の詳細なフローチャート。ステップ１４０３の詳細なフローチャート。クラスタ単位で相関の高低を分けた場合と画素単位で相関の高低を分けた場合とで、生成された補間フレームを比較する図。本発明の一実施形態の補間フレーム生成装置の動き推定手法の概要を示す図。不一致フィルタの例を示す図。不一致フィルタの初期値を示す図。不一致フィルタが初期値の場合の動き推定処理の概要を示す図。相関演算により、不一致フィルタを求める処理の概要を示す図。動き推定の際に、不一致フィルタにより一致クラスタ相当領域が遮蔽される様子を示す図。

符号の説明

１０１フレームメモリ
１０２動き探索部
１０３一致判定部
１０４領域分割部
１０５動き補償部
１０６動き推定部

Claims

第１フレームと第２フレームとを用いて複数の補間対象ブロックを含む補間フレームを生成する方法であって、
前記補間対象ブロックを基準に対称的に、相関が高い前記第１フレームの第１ブロックと前記第２フレームの第２ブロックとのブロック対を探索し、
前記第１ブロックを、連続的に分布する複数の画素を含む複数の第１クラスタに分割し、
前記複数の第１クラスタの中から、前記第２ブロック内で当該第１クラスタに対応する領域との相関がある基準より高い第１高相関クラスタを抽出し、
前記第１ブロック内の前記第１高相関クラスタに対応する領域及び前記第２ブロック内の前記第１高相関クラスタに対応する領域のうちの少なくとも一方の画素情報を用いて、前記補間対象ブロックの前記第１高相関クラスタに対応する領域の画像を生成することにより補間画像を生成する、
補間フレーム生成方法。
さらに、前記複数の第１クラスタから、前記第２ブロックの対応する領域との相関が前記基準より低い低相関クラスタを抽出し、
前記補間対象ブロックの前記低相関クラスタに対応する領域に関して、前記ブロック対の探索、前記クラスタへの分割、前記第１高相関クラスタの抽出、及び、前記補間画像の生成を行う、
請求項１記載の補間フレーム生成方法。
さらに、前記第２ブロックを、連続的に分布する複数の画素を含む複数の第２クラスタに分割し、
前記複数の第２クラスタから、前記第１ブロックの対応する領域との相関が前記基準より高い第２高相関クラスタを抽出し、
前記第１および前記第２ブロックと同じサイズのマスク画像で、前記第１高相関クラスタに相当する領域と前記第２高相関クラスタに相当する領域との共通領域を求め、
前記補間画像の生成では、前記第１ブロックの前記共通領域に対応する領域及び前記第２ブロックの前記共通領域に対応する領域のうちの少なくとも一方の画素情報を用いて前記補間対象ブロックの前記共通領域に対応する領域の画像を生成する、
請求項１記載の補間フレーム生成方法。
前記補間対象ブロックの前記共通領域以外の領域に関して、前記ブロック対の探索、前記クラスタへの分割、前記第１及び第２高相関クラスタの抽出、及び、前記補間画像の生成を行う、
請求項３記載の補間フレーム生成方法。
前記クラスタへの分割は、ブロック内の画素情報に基づいて行われる、
請求項１から請求項４のいずれかに記載の補間フレーム生成方法。
第１フレームと第２フレームとを入力し、
前記第１フレームを複数の第１ブロックに分割し、
前記第２フレームから、前記第１ブロックのそれぞれとの相関が高い第２ブロックを探索し、
前記第１ブロックと前記第２ブロックとの間の動きベクトルを求め、
前記第１ブロックを複数のクラスタに分割し、
前記クラスタの中から、前記第２ブロックの対応する領域との相関がある基準より高い高相関クラスタを抽出し、
前記高相関クラスタの画像及び前記高相関クラスタに対応する前記第２ブロック内の領域の画像のうちの少なくとも一方と前記動きベクトルとを用いて、前記第１フレームと前記第２フレームとの間の補間フレームの画像を生成する、
補間フレーム生成方法。
第１フレームと第２フレームとを用いて複数の補間対象ブロックを含む補間フレームを生成する装置であって、
第１フレームと第２フレームとを入力する入力部と、
前記補間対象ブロックを基準に対称的に、相関が高い前記第１フレームの第１ブロックと前記第２フレームの第２ブロックとのブロック対を探索する動き検出部と、
前記第１ブロックを、複数の画素を含む複数の第１クラスタに分割するクラスタ分割部と、
前記複数の第１クラスタの中から、前記第２ブロックで対応する領域との相関がある基準より高い第１高相関クラスタを抽出する抽出部と、
前記第１ブロックの前記第１高相関クラスタに対応する領域及び前記第２ブロックの前記第１高相関クラスタに対応する領域のうちの少なくとも一方の画素情報を用いて前記補間対象ブロックの前記第１高相関クラスタに対応する領域の画像を生成する補間画像生成部と、
を備える補間フレーム生成装置。
さらに、反復制御部を備え、
前記抽出部は、前記複数の第１クラスタの中から、前記第２ブロックの対応する領域との相関が前記基準より低い低相関クラスタをも抽出し、
前記反復制御部は、前記補間対象ブロックの前記低相関クラスタに対応する領域に関して、前記動き検出部、前記クラスタ分割部、及び、前記抽出部及び前記補間画像生成部に各々の処理を行わせるように制御する、
請求項７記載の補間フレーム生成装置。
前記クラスタ分割部は、前記第２ブロックを、連続的に分布する複数の画素を含む複数の第２クラスタに分割し、
前記抽出部は、前記複数の第２クラスタの中から、前記第１ブロックの対応する領域との相関が前記基準より高い第２高相関クラスタをも抽出し、
前記補間画像生成部は、前記第１ブロックおよび前記第２ブロックと同じサイズのマスク画像で前記第１高相関クラスタに相当する領域と前記第２高相関クラスタに相当する領域との共通領域を求め、前記第１ブロックの前記共通領域に対応する領域及び前記第２ブロックの前記共通領域に対応する領域のうちの少なくとも一方の画素情報を用いて前記補間対象ブロックの前記共通領域に対応する領域の画像を生成する、
請求項７記載の補間フレーム生成装置。
さらに反復制御部を備え、
前記反復制御部は、前記補間対象ブロックの前記共通領域以外の領域に関して、前記動き検出部、前記クラスタ分割部、及び、前記抽出部及び前記補間画像生成部に各々の処理を行わせるように制御する、
請求項９記載の補間フレーム生成装置。
前記クラスタ分割部は、ブロック内の画素情報に基づいて分割を行う、
請求項７から請求項１０のいずれかに記載の補間フレーム生成装置。
第１フレームと第２フレームとを入力する入力部と、
前記第１フレームを複数に分割した第１ブロックのそれぞれとの相関が高い、前記第２フレームの第２ブロックを探索して、前記第１ブロックと前記第２ブロックとの間の動きベクトルを検出する動きベクトル検出部と、
前記第１ブロックを複数のクラスタに分割するクラスタ分割部と、
前記クラスタのうち、前記第２ブロックの対応する領域との相関がある基準より高い高相関クラスタを求める高相関クラスタ検出部と、
前記高相関クラスタの画像及び前記高相関クラスタに対応する前記第２ブロック内の領域の画像のうちの少なくとも一方と、前記動きベクトルとを用いて、前記第１フレームと前記第２フレームとの間の補間フレームの前記高相関クラスタに対応する領域の画像を生成する補間画像生成部と、
を備える補間フレーム生成装置。