JP5145887B2 - フレーム補間装置および方法 - Google Patents

Description

本発明は、２つの映像フレームの間に、実在しない映像フレームを補間によって生成するフレーム補間技術に関する。

薄型テレビに用いられるディスプレイの１つである液晶ディスプレイ（ＬＣＤ）においては、ＣＲＴ（Cathode Ray Tube）やプラズマディスプレイのようにディスプレイに一瞬の画像を描画するインパルス表示とは異なり、次の映像フレームが来るまでの間、描画を続けるホールド表示が用いられる。

このホールド表示では、映像中の動体に対して、眼球の追従による動き補間と、位置の変わらないホールド表示との間のアンマッチによって、モーションジャダといわれる現象が発生する。また、近年始まったワンセグ放送では、フレームレートが１５ｆｐｓ程度と、現行のアナログ放送よりも低いレートになっていることから、動きの不自然さが目立つことがある。

この問題を解決するには、映像フレームの間に中間フレームを作成し、動きを補間した映像を見せることが効果的である。この動きの補間の様子を図１９に示す。時刻ｔ−１におけるフレーム１０１と時刻ｔにおけるフレーム１０３から画面内の動きベクトルを求め、例えば、１／２時刻後の動きを補償することで、ちょうど真ん中の時刻ｔ−１／２における補間フレーム１０２が生成される。これにより、映像の画質向上を図ることができる。

ところが、動きベクトル探索には膨大な計算量を必要とし、特に大きな動き、すなわち、フレーム補間の効果が顕著となるような映像を補間するとなると、現実的な時間で探索が終わらない。そこで、動きに一定の特徴のあるものだけを補間することでフレーム補間を実現する、シーン選別型のフレーム補間が現実的に有効な方法として提案されている（例えば、下記の特許文献１および２を参照）。

図２０は、このようなシーン選別型のフレーム補間装置の構成例を示している。シーン選別部２０１は、動きベクトル探索部２０２が求めた動きベクトルから特徴あるシーンか否かを判定し、補間制御信号を補間画像生成部２０３に出力する。この補間制御信号は、特徴あるシーンが検出されたとき、ＯＮ（有効）となり、それ以外の場合はＯＦＦ（無効）となる。補間画像生成部２０３は、補間制御信号がＯＮのときのみ、動きベクトルから補間フレームを生成する。

動きに一定の特徴のあるシーンの１つとしては、等速なスクロールシーンが挙げられる。この場合、画面内のベクトルの向きが揃っていること、という条件を満たす必要がある。しかしながら、合成テロップのように、画面内に停止している部分があると、そのベクトル０成分によりシーン選別から外れてしまうことがある。また、空や水面のように、画面のアクティビティが低い部分では、動きベクトルがばらつくために、シーン選別にかかりにくくなる。シーン選別が不能になると、補間フレームの有無の切り替わりにより、動画としての不自然さがかえって目立つようになる。

また、建物の窓のように、幾何学的パターンの繰り返しが見られる部分では、動きベクトルの探索が誤りやすく、補間フレーム生成時に誤補間による劣化部分として目立ってしまう場合がある。

フレーム補間においては正確に動きベクトルを求めることが重要であると、以前より指摘されており、動きベクトルを求める方法の１つとして、予測ベクトルを用いる技術が知られている。先に掲げた特許文献１および２には、空間内から動きベクトルを予測して探索を行う方法が開示されている。

この予測技術では、図２１に示すように、大領域３０１での探索結果をもとに中領域３０２での動きベクトルが探索され、中領域３０２での探索結果をもとに小領域３０３での動きベクトルが探索される。この方法では、予測誤差が大きい場合に、より小さな領域での再探索が行われ、予測残差最小を満たす一方で、動きベクトルにばらつきが発生することを許容している。

これに対して、空間方向ではなく、時間方向から動きベクトルを予測する技術も提案されている（例えば、下記の特許文献３を参照）。図２２は、時間方向の予測ベクトルを用いたフレーム補間装置の構成例を示している。動きベクトル探索部４０１が求めた動きベクトルは、参照動きベクトルとして動きベクトルメモリ４０２に保持され、次のフレームの動きベクトル探索に用いられる。補間画像生成部４０３は、動きベクトルから補間フレームを生成する。

この方法では、時間方向の予測ベクトルが適切であれば問題はないが、とりわけ空や水面のように、アクティビティが低い部分では、望ましくない動きが生成されることがある。そのような部分では、動きベクトルの方向がいずれの方向でも良否判断がつきづらいことから、時間方向で与えられた予測ベクトルがたとえ本来の動きベクトルと異なっていても、探索結果がその予測ベクトルに拘束されてしまう。これにより、誤った動きベクトルが継続して選択され、補間フレームの映像が劣化するという問題が発生する。

さらに、空間方向の予測を行っていないため、上述したような動きベクトルのばらつきに対してはまったく無力である。
下記の特許文献４は、オクリュージョン領域に正確な動きベクトルを割り当て、背景画像をより鮮明に表示することができる補間フレーム生成装置に関する。
特開平１１−１１２９４０号公報 特開２０００−１３４５８５号公報 特開２００６−３３１１３６号公報 特開２００７−０６０１９２号公報

本発明の課題は、シーン選別型のフレーム補間装置において、動きベクトルのばらつきによってシーン選別が不能になることを防止し、安定した補間フレームを生成することである。

本発明の第１の局面において、フレーム補間装置は、平均計算部、記憶部、動きベクトル探索部、補間制御部、および補間部を備え、入力される映像フレーム内のブロック毎に動きベクトルを求め、得られた動きベクトルから補間フレームを生成する。

平均計算部は、映像フレーム毎に画面内の動きベクトルを平均して、画面内平均動きベクトルを計算し、記憶部は、計算された画面内平均動きベクトルを格納する。動きベクトル探索部は、記憶部に格納された過去の画面内平均動きベクトルを参照動きベクトルとして用いて、現在の映像フレームのブロック毎に動きベクトルを探索する。補間制御部は、
得られた動きベクトルを用いて、補間が有効か否かを判定し、補間部は、補間が有効と判定されたとき、得られた動きベクトルを用いて、現在の映像フレームと前の映像フレームの間に補間フレームを生成する。

画面内平均動きベクトルを参照動きベクトルとして動きベクトルを探索することで、ブロック間における動きベクトルのばらつきを抑えることが可能になる。このような動きベクトルを用いて補間が有効か否かを判定すれば、等速なスクロールシーンのように、動きに特徴のあるシーンが補間される可能性を高めることができる。したがって、シーン選別を精度良く、間口広く行うことが可能になり、より多くの映像フレームに対して補間効果が得られる。

本発明の第２の局面において、上記動きベクトル探索部は、相関計算部、静止判定部、およびバイアス付加部を含む。
相関計算部は、現在の映像フレーム内の１つのブロックに対する複数の動きベクトル候補のそれぞれについて、現在の映像フレームと前の映像フレームとの相関値を計算し、静止判定部は、そのブロックが静止領域か否かを判定する。バイアス付加部は、静止領域ではないと判定されたブロックに対するそれぞれの動きベクトル候補の相関値に、参照動きベクトルが選択される確率を高くする探索バイアスを付加して、１つの動きベクトル候補を選択し、選択された動きベクトル候補をそのブロックの動きベクトルとして出力する。

静止領域以外の動きベクトルとして、参照動きベクトルである画面内平均動きベクトルが選択される確率を高くすることで、動いている領域に限定して動きベクトルのばらつきを抑えることができる。したがって、合成テロップのように、画面内に停止している部分がある場合でも、動きに特徴のあるシーンを精度良く検出することが可能になり、シーン選別で選択される映像フレームがさらに増加する。

ブロック間における動きベクトルのばらつきを抑えることができ、シーン選別で選択される映像フレームが増加する。したがって、従来技術に比べてシーン選別を精度良く、間口広く行うことが可能になり、より多くの映像フレームに対して補間効果を得ることができる。

以下、図面を参照しながら、本発明を実施するための最良の形態を詳細に説明する。
図１は、実施形態のフレーム補間装置の構成例を示している。このフレーム補間装置は、シーン選別部５０１、記憶部５０２、動きベクトル探索部５０３、補間ベクトル生成部５０４、および補間画像生成部５０５を備える。

動きベクトル探索部５０３は、２つの入力映像フレームの間で、所定サイズのブロック（矩形領域）を用いたブロックマッチングを行い、マッチング結果から動体の動きベクトルを求める。得られた動きベクトルは、シーン選別部５０１および補間ベクトル生成部５０４に出力される。

シーン選別部５０１は、画面内で動きベクトルの統計処理を行うことで、フレーム毎に補間効果のあるシーンかどうかを判定し、補間制御信号を補間画像生成部５０５に出力する。この補間制御信号は、補間効果のあるシーンが検出されたとき、ＯＮ（有効）となり、それ以外の場合はＯＦＦ（無効）となる。補間効果のあるシーンとは、例えば、縦横等の一定の方向に等速でスクロールしているようなシーンである。

このシーン選別の過程で、シーン選別部５０１は、画面内の平均動きベクトルを計算し
、記憶部５０２に格納する。例えば、画面全体がスクロールしている場合は、画面内平均動きベクトルは、そのスクロール速度に一致する。動きベクトル探索部５０３は、記憶部５０２に保持された過去の画面内平均動きベクトルを取り出し、それを参照動きベクトルとして用いて、上記マッチング結果から動きベクトルを求める。

補間ベクトル生成部５０４は、動きベクトル探索部５０３が求めた動きベクトルから、各画素をどこから補間するかを示す補間ベクトルを生成し、補間画像生成部５０５に出力する。補間ベクトルは、補間フレームの画像を得るために、参照画素を計算する際に用いられるベクトルである。

例えば、２つの入力映像フレームの中間に補間フレームを生成する場合には、補間ベクトルは、動きベクトルの１／２の大きさを持つベクトルに相当する。しかし、必ずしも画面全体を探索することができないため、周辺部分については画面内平均動きベクトルを用いて補間ベクトルを生成したり、近傍の動きベクトルを用いて補間ベクトルを生成したりする。

補間画像生成部５０５は、シーン選別部５０１からの補間制御信号がＯＮのときのみ、補間ベクトルから補間フレームを生成し、補間制御信号がＯＦＦのときは、入力映像フレームの繰返し出力を行う。

画面内平均動きベクトルは、記憶部５０２に保持され、次の時刻での動きベクトル探索において、予測ベクトルとして参照される。この場合、予測ベクトルの近傍が最適な動きベクトルの候補となり、次の時刻における探索結果も、この予測ベクトルの近傍から得られる可能性が高くなる。結果として、画面内のすべての動きベクトルが平均動きベクトルに揃ってきて、次の映像フレームでもシーン選別が有効に作用するように帰還がかかる。

図２は、画面内平均動きベクトルの求め方の一例を示している。通常、１つの映像フレームの画面は、所定サイズのブロックを用いて複数のブロック領域に分割され、ブロック毎に動きベクトルが求められる。この例では、画面の水平方向および垂直方向をそれぞれｘ軸およびｙ軸として、画面がＮｘ×Ｎｙ個のブロックに分割され、ブロック座標（ｉ，ｊ）における動きベクトルは、ｍｖ（ｉ，ｊ）と表記される（ｉ＝０，１，．．．，Ｎｘ−１，ｊ＝０，１，．．．，Ｎｙ−１）。ＮｘおよびＮｙは、それぞれ水平方向および垂直方向のブロック数を表す。

画面内平均動きベクトルｍｖａｖｅａｌｌは、水平方向におけるＮｘ個のｍｖ（ｉ，ｊ）の平均値ｍｖａｖｅ（ｊ）をライン毎に計算し、得られたＮｙ個のｍｖａｖｅ（ｊ）の平均値を計算することで、求められる。

図３は、動きベクトル探索部５０３の構成例を示している。動きベクトル探索部５０３は、相関計算部７０１、静止判定部７０２、およびバイアス付加部７０３を含み、相関計算部７０１は、第１ステージを構成し、バイアス付加部７０３は、第２ステージを構成する。

相関計算部７０１は、遅延画像信号が示す１フレーム前の映像フレーム７１１と、現在の画像信号が示す映像フレーム７１２との相関を検出し、複数の動きベクトル候補を出力する。静止判定部７０２は、ブロック内における映像の変化度と、静止状態を示す動きベクトル候補に基づいて、そのブロックが静止領域か否かを判定する。バイアス付加部７０３は、静止領域ではないと判定されたブロックについて、画面内平均動きベクトルを探索バイアスが最大の参照動きベクトルとするバイアスを付加し、複数の動きベクトル候補の中から１つの動きベクトル候補を選択する。

相関計算部７０１は、図４に示すように、映像フレーム７１２の現画像と映像フレーム７１１の参照画像８１１の間の類似度計算を行って、計算結果を出力する。この類似度計算では、現画像内のｎ×ｍ画素からなるブロック８０１に対応する、参照画像８１１内のブロック８０２に対して、動きベクトル候補８１２により位置オフセットを付加し、ブロック８０３を求める。そして、ブロック８０１とブロック８０３のマッチングを行い、動きベクトル候補８１２に対する類似度を計算する。

一般には、ブロック内の画素値の差分絶対値をｎ×ｍ個の全画素について総和した値が、類似度として求められる。したがって、類似度が小さいほどブロック８０１とブロック８０３がよく一致していることを表す。複数の動きベクトル候補のそれぞれについて、このような類似度計算が行われ、類似度が求められる。従来の動きベクトル探索部では、類似度が最小となる動きベクトル候補が、ブロック８０１の動きベクトル、すなわち、画像オフセットとして選択される。

静止判定部７０２は、ブロック内における映像の変化度と、静止状態を示す動きベクトル候補の類似度を用いて、ブロック毎に動きがあるか否かを判定する。ここで、動きありと判定されると、バイアス付加部７０３は、それぞれの動きベクトル候補の類似度に、画面内動きベクトルが選択される確率が高くなるようなバイアスをかけて、動きベクトルを選定する。動きなしと判定された場合は、静止状態を示す動きベクトル候補を、動きベクトルの探索結果として出力する。これにより、スクロール映像中に停止している部分が存在する場合でも、その部分がスクロール方向にずれて補間されるのを防止することができる。

図５は、画面内平均動きベクトルを参照して、その向きに探索バイアスをかける例を示している。この例では、前の時刻で求められた画面内平均動きベクトルが（＋１，０）であり、動きベクトルの探索範囲が（±２，±２）であるものとする。

この場合、相関計算部７０１は、静止状態を示す動きベクトル候補（０，０）を中心とする、２５（＝５×５）個の動きベクトル候補について類似度を計算し、類似度値テーブル９０１を出力する。類似度値テーブル９０１において、水平方向は動きベクトル候補のｘ成分を表し、垂直方向は動きベクトル候補のｙ成分を表す。そして、セル（ｘ，ｙ）に記された値は、動きベクトル候補（ｘ，ｙ）について得られた類似度を表している。

バイアス付加部７０３は、類似度値テーブル９０１と同じサイズのバイアス値テーブル９０２を用意し、それぞれの動きベクトル候補に対するバイアス値を設定する。この例では、画面内平均動きベクトル（＋１，０）のバイアス値を“０”とし、この候補から遠くなるにつれて大きくなるようなバイアス値が設定される。

次に、バイアス付加部７０３は、類似度値テーブル９０１の各セルの類似度とバイアス値テーブル９０２の各セルのバイアス値を加算し、得られた値が最小となる動きベクトル候補を動きベクトルとして選択する。類似度値テーブル９０１の計算結果のみを用いた場
合、類似度の最小値“１７６”に対応する候補（−１，０）が動きベクトルとして選択されるが、バイアス値テーブル９０２を加算してから動きベクトルを選択すれば、画面内平均動きベクトルと同じ（＋１，０）を選択することができる。

次に、静止判定部７０２による静止判定処理の具体例について説明する。図６は、８×８個の画素からなるブロックにおける各画素の輝度値を示している。この例では、直線１００１を境として輝度値が大きく変化しており、この直線１００１上に急峻なエッジが存在することが分かる。図７は、このブロックの動きベクトルを（±２，±２）の探索範囲で探索したときの類似度値テーブルを示している。この例では、動きベクトル候補（０，０）の類似度“６１”が最小であることが分かる。この場合、以下の２つの方法のいずれかにより、静止判定が行われる。

第１の静止判定処理では、ブロック内における画素値の分散を変化度計算に用いる。画素値として輝度値を用いた場合、ブロック内の全画素についての総和演算をΣと記すと、変化度は、次式により求められる。

変化度＝Σ（注目画素の輝度値と右隣画素の輝度値との差分絶対値
＋注目画素の輝度値と下隣画素の輝度値との差分絶対値） （３）

この変化度が十分大きく、かつ、動きベクトル候補（０，０）の類似度が最小、かつ、動きベクトル候補（０，０）の類似度が十分小さいときに、そのブロックは静止していると判定される。変化度は、所定の閾値より大きければ、十分大きいと判定され、類似度は、所定の閾値より小さければ、十分小さいと判定される。

これらの閾値は、実験により決定することが可能である。例えば、画素値の誤差をＥとし、ブロックの画素数をｎ×ｍとすると、類似度の閾値Ｔ１はＥ×ｎ×ｍに設定され、変化度の閾値Ｔ２はＴ１の２倍程度に設定される。

第２の静止判定処理では、探索範囲内における類似度の最大値と最小値の差を変化度計算に用いる。この場合、変化度は、次式により求められる。

変化度＝類似度の最大値−類似度の最小値 （４）

この変化度が十分大きく、かつ、動きベクトル候補（０，０）の類似度が最小、かつ、動きベクトル候補（０，０）の類似度が十分小さいときに、そのブロックは静止していると判定される。この場合、例えば、類似度の閾値Ｔ１としては上述した値が設定され、変化度の閾値Ｔ２はＴ１の３倍程度に設定される。

図６および図７に示した例では、直線１００１上の急峻なエッジのために（３）式の変化度は十分大きくなり、（４）式の変化度は９８４−６１＝９２３となるから、やはり十分大きくなる。さらに、動きベクトル候補（０，０）の類似度“６１”は探索範囲内で最小であり、かつ、十分小さい値である。したがって、いずれの静止判定処理においても、このブロックは静止していると判定される。

図８は、動きベクトル探索部５０３の別の構成例を示している。図８の動きベクトル探索部は、図３の動きベクトル探索部に、複雑度検出部１１０１を追加した構成を有する。
複雑度検出部１１０１は、相関計算部７０１から出力される複数の動きベクトル候補の相関値に基づいて映像の複雑度を検出し、バイアス付加部７０３に出力する。バイアス付加部７０３は、検出された複雑度に応じて、それらの動きベクトル候補に対するバイアス
値の大きさを変化させる。

画面の複雑度が高い部分は、動きベクトル候補もまた複雑であると考えられ、幾何学的パターンの切り出し箇所となっている可能性が高い。そこで、バイアスを強めることによって、画面内平均動きベクトルの近傍にある動きベクトル候補がより選ばれやすくなるようにする。これにより、幾何学的パターンの繰り返しによるいくつかの動きベクトル候補が現れた場合でも、画面内平均動きベクトルを選択することで、その部分が周囲の動きに従うようになり、誤補間による画質の劣化を防ぐことができる。

図９は、複雑度の異なる２種類のブロックの類似度値テーブルとバイアス値テーブルの例を示している。類似度値テーブル１１１１では類似度の絶対値が小さいので、このブロックは、エッジが少なくのっぺりした画像に対応し、複雑度は小さい。一方、類似度値テーブル１１１３では類似度の最小値が大きく、全体的に高止まりの類似度となっている。したがって、このブロックは、エッジが多く複雑な画像に対応する。

ここで、複雑度として、（４）式の変化度と同じく、類似度の最大値と最小値の差を用いることにすると、類似度値テーブル１１１１から得られる複雑度は、３５３−９＝３４４となり、類似度値テーブル１１１３から得られる複雑度は、７２４４−８８１＝６３６３となる。

複雑度の小さな類似度値テーブル１１１１に対してバイアス値テーブル１１１２が加算される場合、複雑度の大きな類似度値テーブル１１１３に対しては、双方の複雑度の比率を考慮したバイアス値テーブル１１１４が加算される。バイアス値テーブル１１１４のバイアス値は、バイアス値テーブル１１１２のバイアス値を６３６３／３４４倍することで求められる。なお、複雑度として、類似度値テーブル内の類似度の総和を用いてもよい。

図１０は、補間画像生成部５０５により生成される補間ベクトルを示している。映像フレーム７１１と映像フレーム７１２の真ん中に補間フレーム１２０１を生成する場合、補間画像生成部５０５は、まず、動きベクトル１２１１の１／２の大きさを持つベクトル１２１２を生成し、さらにそのベクトル１２１２の始点をずらすことで補間ベクトル１２１３を生成する。

図１１は、シーン選別部５０１の構成例を示している。シーン選別部５０１は、特徴量計算部１３０１および補間制御部１３０２を含み、特徴量計算部１３０１は、ばらつき計算部１３１１および平均計算部１３１２を含む。

平均計算部１３１２は、図２に示した方法により、１フレーム分の動きベクトルから画面内平均動きベクトルｍｖａｖｅａｌｌを計算し、記憶部５０２に格納するとともに、ばらつき計算部１３１１および補間制御部１３０２に出力する。ばらつき計算部１３１１は、画面内平均動きベクトルｍｖａｖｅａｌｌを用いて、次式により動きベクトルのばらつきΔを計算する。

上式では、動きベクトルｍｖ（ｉ，ｊ）の水平方向における平均値ｍｖａｖｅ（ｊ）とｍｖａｖｅａｌｌの差分からばらつきΔを求めているが、ｍｖａｖｅ（ｊ）の代わりに、
動きベクトルｍｖ（ｉ，ｊ）の垂直方向における平均値ｍｖａｖｅ（ｉ）を用いてもよい。さらに、ｍｖａｖｅ（ｊ）から求めたばらつきと、ｍｖａｖｅ（ｉ）から求めたばらつきの和を、ばらつきΔとして用いてもよい。

補間制御部１３０２は、ばらつきΔをｍｖａｖｅａｌｌの大きさで割った商を判定値として用い、判定値が十分小さいとき、画面内の動きが一様である、すなわち、補間効果のあるシーンが検出されたと判定し、補間制御信号をＯＮにする。具体的には、判定値が所定の閾値より小さいとき、補間制御信号をＯＮにし、判定値が閾値以上のとき、補間制御信号をＯＦＦにする。なお、ばらつきΔそのものを判定値として用いてもよい。

以上説明したように、フレーム補間装置は、過去の画面内平均動きベクトルを保持しておき、現時刻での動きベクトル探索において、それに基づき探索バイアスをかけるとともに、ブロック内のアクティビティをもとに静止領域を検出し、静止領域には探索バイアスをかけないようにする。これにより、動いている領域に限定して動きベクトルのばらつきを抑えることができ、シーン選別で選択される映像フレームが増加する。したがって、従来技術に比べてシーン選別を精度良く、間口広く行うことが可能になり、より多くの映像フレームに対して補間効果を得ることができる。

ところで、動きベクトル探索部５０３による静止判定の結果を用いて、シーン選別部５０１による特徴量計算をより精密に行うことも可能である。この場合、シーン選別処理の前に、静止判定の結果を用いて特徴量計算に含める領域と含めない領域とを選別する。

図１２は、このようなフレーム補間装置の構成例を示している。この構成では、図１のシーン選別部５０１がシーン選別部１４０１に置き換えられており、動きベクトル探索部５０３は、静止判定部７０２の判定結果を示す静止情報をシーン選別部１４０１に出力する。

シーン選別部１４０１は、図１３に示すように、静止領域除外部１５０１、特徴量計算部１３０１、および補間制御部１３０２を含む。静止領域除外部１５０１は、静止情報が動きありを示している場合は、そのブロックの動きベクトルを特徴量計算部１３０１に出力し、静止情報が動きなしを示している場合は、そのブロックの動きベクトルを特徴量計算部１３０１に出力しない。これにより、静止領域の動きベクトルが特徴量計算から除外される。

一般に、静止領域を含めて特徴量計算を行うと、動きベクトルのばらつきが大きくなり、スクロール平均速度を示す画面内平均動きベクトルの大きさが実際より小さく算出されてしまう。しかし、静止領域を特徴量計算から除外することで、このような計算のずれを防止し、特徴量をより精密に求めることができる。したがって、シーン選別で選択される映像フレームが増加する。

ばらつき計算部１３１１および平均計算部１３１２の処理は、図１１の場合と同様である。ただし、図２の画面内平均動きベクトルの計算においては、静止しているブロックを除外して、動いているブロックのみで平均処理が行われる。このため、ＮｘおよびＮｙは、それぞれ水平方向および垂直方向のブロック数より小さな値になる場合がある。

図１４は、実施形態のフレーム補間装置を利用したフレームレート変換装置の構成例を示している。このフレームレート変換装置は、フレーム補間装置１６０１、遅延器１６０２、およびスイッチ１６０３を備え、入力映像のフレームレートを向上させる。

遅延器１６０２は、連続して入力される映像フレーム１６１１および１６１２を、一定
時間だけ遅延させて出力する。フレーム補間装置１６０１は、現時刻の映像フレーム１６１２と、遅延器１６０２から出力される前の時刻の映像フレーム１６１１から、補間フレーム１６１３を生成する。スイッチ１６０３は、遅延器１６０２から出力される映像フレームと、フレーム補間装置１６０１から出力される補間フレーム１６１３を交互に選択して出力する。これにより、映像フレーム１６１１、補間フレーム１６１３、および映像フレーム１６１２の順に、それぞれのフレームがフレームレート変換装置から出力される。

図１５は、図１４のフレームレート変換装置を利用した映像再生装置の構成例を示している。この映像再生装置は、映像データ記憶装置１７０１、デコード装置１７０２、フレームレート変換装置１７０３、およびディスプレイ１７０４を備える。デコード装置１７０２は、映像データ記憶装置１７０１に保存された映像データをデコードして、映像フレームを出力する。フレームレート変換装置１７０３は、映像フレーム間に補間フレームを挿入し、ディスプレイ１７０４は、それらのフレームを時系列に画面上に表示する。

図１６は、図１４のフレームレート変換装置を利用した映像表示装置の構成例を示している。この映像表示装置は、映像データ受信機１８０１、フレームレート変換装置１７０３、およびディスプレイ１８０２を備える。映像データ受信機１８０１は、通信ネットワークから映像フレームを受信し、フレームレート変換装置１７０３は、映像フレーム間に補間フレームを挿入し、ディスプレイ１８０２は、それらのフレームを時系列に画面上に表示する。

ところで、フレーム補間装置１６０１およびフレームレート変換装置１７０３の処理をソフトウェアにより実装する場合、図１７に示すような情報処理装置（コンピュータ）が用いられる。図１７の情報処理装置は、ＣＰＵ（中央処理装置）１９０１、メモリ１９０２、入力装置１９０３、出力装置１９０４、外部記憶装置１９０５、媒体駆動装置１９０６、およびネットワーク接続装置１９０７を備え、それらはバス１９０８により互いに接続されている。

メモリ１９０２は、例えば、ＲＯＭ（read only memory）、ＲＡＭ（random access memory）等を含み、処理に用いられるプログラムおよびデータを格納する。ＣＰＵ１９０１は、メモリ１９０２を利用してプログラムを実行することにより、フレーム補間処理およびフレームレート変換処理を行う。

この場合、入力される映像フレームは、処理対象のデータとしてメモリ１９０２に格納され、探索された動きベクトルは、処理結果のデータとしてメモリ１９０２に格納される。また、記憶部５０２は、メモリ１９０２に対応し、シーン選別部５０１、１４０１、動きベクトル探索部５０３、補間ベクトル生成部５０４、および補間画像生成部５０５は、メモリ１９０２に格納されたプログラムに対応する。

入力装置１９０３は、例えば、キーボード、ポインティングデバイス等であり、オペレータからの指示や情報の入力に用いられる。出力装置１９０４は、例えば、ディスプレイ、プリンタ、スピーカ等であり、オペレータへの問い合わせや処理結果の出力に用いられる。

外部記憶装置１９０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。情報処理装置は、この外部記憶装置１９０５に、プログラムおよびデータを格納しておき、必要に応じて、それらをメモリ１９０２にロードして使用する。

媒体駆動装置１９０６は、可搬記録媒体１９０９を駆動し、その記録内容にアクセスす
る。可搬記録媒体１９０９は、メモリカード、フレキシブルディスク、光ディスク、光磁気ディスク等の任意のコンピュータ読み取り可能な記録媒体である。オペレータは、この可搬記録媒体１９０９にプログラムおよびデータを格納しておき、必要に応じて、それらをメモリ１９０２にロードして使用する。

ネットワーク接続装置１９０７は、ＬＡＮ（local area network）等の通信ネットワークに接続され、通信に伴うデータ変換を行う。また、情報処理装置は、必要に応じて、プログラムおよびデータを外部の装置からネットワーク接続装置１９０７を介して受け取り、それらをメモリ１９０２にロードして使用する。

図１８は、図１７の情報処理装置にプログラムおよびデータを提供する方法を示している。可搬記録媒体１９０９や外部装置２００１のデータベースに格納されたプログラムおよびデータは、情報処理装置２００２のメモリ１９０２にロードされる。外部装置２００１は、そのプログラムおよびデータを搬送する搬送信号を生成し、通信ネットワーク上の任意の伝送媒体を介して情報処理装置２００２に送信する。ＣＰＵ１９０１は、そのデータを用いてそのプログラムを実行し、上述した処理を行う。

（付記１）入力される映像フレーム内のブロック毎に動きベクトルを求め、得られた動きベクトルから補間フレームを生成するフレーム補間装置であって、
映像フレーム毎に画面内の動きベクトルを平均して、画面内平均動きベクトルを計算する平均計算部と、
計算された画面内平均動きベクトルを格納する記憶部と、
前記記憶部に格納された過去の画面内平均動きベクトルを参照動きベクトルとして用いて、現在の映像フレームのブロック毎に動きベクトルを探索する動きベクトル探索部と、
得られた動きベクトルを用いて、補間が有効か否かを判定する補間制御部と、
補間が有効と判定されたとき、前記得られた動きベクトルを用いて、前記現在の映像フレームと前の映像フレームの間に前記補間フレームを生成する補間部と
を備えることを特徴とするフレーム補間装置。
（付記２）前記動きベクトル探索部は、前記現在の映像フレーム内の１つのブロックに対する複数の動きベクトル候補のそれぞれについて、該現在の映像フレームと前記前の映像フレームとの相関値を計算する相関計算部と、該ブロックが静止領域か否かを判定する静止判定部と、静止領域ではないと判定されたブロックに対するそれぞれの動きベクトル候補の相関値に、前記参照動きベクトルが選択される確率を高くする探索バイアスを付加して、１つの動きベクトル候補を選択し、選択された動きベクトル候補を該ブロックの動きベクトルとして出力するバイアス付加部とを含むことを特徴とする付記１記載のフレーム補間装置。
（付記３）前記静止判定部は、前記１つのブロック内における映像の変化度と静止状態を示す動きベクトル候補の相関値に基づいて、該ブロックが静止領域か否かを判定することを特徴とする付記２記載のフレーム補間装置。
（付記４）前記動きベクトル探索部は、前記複数の動きベクトル候補の相関値に基づいて映像の複雑度を検出する複雑度検出部をさらに含み、前記バイアス付加部は、検出された複雑度に応じて前記探索バイアスの大きさを変化させることを特徴とする付記２記載のフレーム補間装置。
（付記５）映像フレーム毎に画面内の動きベクトルのばらつきを計算するばらつき計算部をさらに備え、前記補間制御部は、計算された動きベクトルのばらつきに基づいて、補間が有効か否かを判定することを特徴とする付記１乃至４のいずれかに記載のフレーム補間装置。
（付記６）前記得られた動きベクトルから、静止領域と判定されたブロックの動きベクトルを除外する除外部をさらに備え、前記平均計算部は、該静止領域と判定されたブロックの動きベクトルを除いた残りの動きベクトルから、前記画面内平均動きベクトルを計算し
、前記ばらつき計算部は、該残りの動きベクトルから前記動きベクトルのばらつきを計算することを特徴とする付記５記載のフレーム補間装置。
（付記７）付記１乃至６のいずれかに記載のフレーム補間装置を備えたフレームレート変換装置。
（付記８）映像データ記憶装置と付記７記載のフレームレート変換装置とを備え、該フレームレート変換装置は、該映像データ記憶装置から出力される映像データの補間を行うことで、フレームレートを変換することを特徴とする映像再生装置。
（付記９）映像データ受信機と付記７記載のフレームレート変換装置とを備え、該フレームレート変換装置は、該映像データ受信機が受信した映像データの補間を行うことで、フレームレートを変換することを特徴とする映像表示装置。
（付記１０）入力される映像フレーム内のブロック毎に動きベクトルを求め、得られた動きベクトルから補間フレームを生成するコンピュータのためのプログラムであって、
映像フレーム毎に画面内の動きベクトルを平均して、画面内平均動きベクトルを計算し、
計算された画面内平均動きベクトルを記憶部に格納し、
前記記憶部に格納された過去の画面内平均動きベクトルを参照動きベクトルとして用いて、現在の映像フレームのブロック毎に動きベクトルを探索し、
得られた動きベクトルを用いて、補間が有効か否かを判定し、
補間が有効と判定されたとき、前記得られた動きベクトルを用いて、前記現在の映像フレームと前の映像フレームの間に前記補間フレームを生成する
処理を前記コンピュータに実行させることを特徴とするプログラム。
（付記１１）コンピュータが、入力される映像フレーム内のブロック毎に動きベクトルを求め、得られた動きベクトルから補間フレームを生成するフレーム補間方法であって、
映像フレーム毎に画面内の動きベクトルを平均して、画面内平均動きベクトルを計算し、
計算された画面内平均動きベクトルを記憶部に格納し、
前記記憶部に格納された過去の画面内平均動きベクトルを参照動きベクトルとして用いて、現在の映像フレームのブロック毎に動きベクトルを探索し、
得られた動きベクトルを用いて、補間が有効か否かを判定し、
補間が有効と判定されたとき、前記得られた動きベクトルを用いて、前記現在の映像フレームと前の映像フレームの間に前記補間フレームを生成する
ことを特徴とするフレーム補間方法。

第１のフレーム補間装置の構成図である。 画面内平均動きベクトルの求め方を示す図である。 第１の動きベクトル探索部の構成図である。 映像フレーム間の類似度計算を示す図である。 探索バイアスのかけ方を示す図である。 ブロック内における各画素の輝度値を示す図である。 類似度値テーブルを示す図である。 第２の動きベクトル探索部の構成図である。 ２種類の類似度値テーブルとバイアス値テーブルを示す図である。 補間ベクトルを示す図である。 第１のシーン選別部の構成図である。 第２のフレーム補間装置の構成図である。 第２のシーン選別部の構成図である。 フレームレート変換装置の構成図である。 映像再生装置の構成図である。 映像表示装置の構成図である。 情報処理装置の構成図である。 プログラムおよびデータの提供方法を示す図である。 動きの補間を示す図である。 シーン選別型のフレーム補間装置の構成図である。 空間方向の動きベクトル予測を示す図である。 時間方向の予測ベクトルを用いたフレーム補間装置の構成図である。

符号の説明

１０１、１０３ フレーム
１０２、１６１３ 補間フレーム
２０１、５０１、１４０１ シーン選別部
２０２、４０１、５０３ 動きベクトル探索部
２０３、４０３、５０５ 補間画像生成部
３０１ 大領域
３０２ 中領域
３０３ 小領域
４０２ 動きベクトルメモリ
５０２ 記憶部
５０４ 補間ベクトル生成部
７０１ 相関計算部
７０２ 静止判定部
７０３ バイアス付加部
７１１、７１２、１６１１、１６１２ 映像フレーム
８０１、８０２、８０３ ブロック
８１１ 参照画像
８１２ 動きベクトル候補
９０１、１１１１、１１１３ 類似度値テーブル
９０２、１１１２、１１１４ バイアス値テーブル
１００１ 直線
１１０１ 複雑度検出部
１２１１ 動きベクトル
１２１２ ベクトル
１２１３ 補間ベクトル
１３０１ 特徴量計算部
１３０２ 補間制御部
１３１１ ばらつき計算部
１３１２ 平均計算部
１５０１ 静止領域除外部
１６０１ フレーム補間装置
１６０２ 遅延器
１６０３ スイッチ
１７０１ 映像データ記憶装置
１７０２ デコード装置
１７０３ フレームレート変換装置
１７０４、１８０２ ディスプレイ
１８０１ 映像データ受信機
１９０１ ＣＰＵ
１９０２ メモリ
１９０３ 入力装置
１９０４ 出力装置
１９０５ 外部記憶装置
１９０６ 媒体駆動装置
１９０７ ネットワーク接続装置
１９０８ バス
２００１ 外部装置
２００２ 情報処理装置

Claims (9)

1. 入力される映像フレーム内のブロック毎に動きベクトルを求め、得られた動きベクトルから補間フレームを生成するフレーム補間装置であって、
   映像フレーム毎に画面内の動きベクトルを平均して、画面内平均動きベクトルを計算する平均計算部と、
   計算された画面内平均動きベクトルを格納する記憶部と、
   前記記憶部に格納された過去の画面内平均動きベクトルを参照動きベクトルとして用いて、現在の映像フレームのブロック毎に動きベクトルを探索する動きベクトル探索部と、
   得られた動きベクトルを用いて、補間が有効か否かを判定する補間制御部と、
   補間が有効と判定されたとき、前記得られた動きベクトルを用いて、前記現在の映像フレームと前の映像フレームの間に前記補間フレームを生成する補間部とを備え、
   前記動きベクトル探索部は、前記現在の映像フレーム内の１つのブロックに対する複数の動きベクトル候補のそれぞれについて、該現在の映像フレームと前記前の映像フレームとの相関値を計算する相関計算部と、該ブロックが静止領域か否かを判定する静止判定部と、静止領域ではないと判定されたブロックに対するそれぞれの動きベクトル候補の相関値に、前記参照動きベクトルが選択される確率を高くする探索バイアスを付加して、１つの動きベクトル候補を選択し、選択された動きベクトル候補を該ブロックの動きベクトルとして出力するバイアス付加部とを含むことを特徴とするフレーム補間装置。
2. 前記動きベクトル探索部は、前記複数の動きベクトル候補の相関値に基づいて映像の複雑度を検出する複雑度検出部をさらに含み、前記バイアス付加部は、検出された複雑度に応じて前記探索バイアスの大きさを変化させることを特徴とする請求項１記載のフレーム補間装置。
3. 映像フレーム毎に画面内の動きベクトルのばらつきを計算するばらつき計算部をさらに備え、前記補間制御部は、計算された動きベクトルのばらつきに基づいて、補間が有効か否かを判定することを特徴とする請求項１又は２のいずれかに記載のフレーム補間装置。
4. 前記得られた動きベクトルから、静止領域と判定されたブロックの動きベクトルを除外する除外部をさらに備え、前記平均計算部は、該静止領域と判定されたブロックの動きベクトルを除いた残りの動きベクトルから、前記画面内平均動きベクトルを計算し、前記ばらつき計算部は、該残りの動きベクトルから前記動きベクトルのばらつきを計算することを特徴とする請求項３記載のフレーム補間装置。
5. 請求項１乃至４のいずれかに記載のフレーム補間装置を備えたフレームレート変換装置。
6. 映像データ記憶装置と請求項５記載のフレームレート変換装置とを備え、該フレームレート変換装置は、該映像データ記憶装置から出力される映像データの補間を行うことで、フレームレートを変換することを特徴とする映像再生装置。
7. 映像データ受信機と請求項５記載のフレームレート変換装置とを備え、該フレームレート変換装置は、該映像データ受信機が受信した映像データの補間を行うことで、フレームレートを変換することを特徴とする映像表示装置。
8. 入力される映像フレーム内のブロック毎に動きベクトルを求め、得られた動きベクトルから補間フレームを生成するコンピュータのためのプログラムであって、
   前記プログラムは、
   映像フレーム毎に画面内の動きベクトルを平均して、画面内平均動きベクトルを計算し、
   計算された画面内平均動きベクトルを記憶部に格納し、
   前記記憶部に格納された過去の画面内平均動きベクトルを参照動きベクトルとして用いて、現在の映像フレームのブロック毎に動きベクトルを探索し、
   得られた動きベクトルを用いて、補間が有効か否かを判定し、
   補間が有効と判定されたとき、前記得られた動きベクトルを用いて、前記現在の映像フレームと前の映像フレームの間に前記補間フレームを生成する
   処理を前記コンピュータに実行させ、
   前記コンピュータは、前記現在の映像フレームのブロック毎に動きベクトルを探索する際、前記現在の映像フレーム内の１つのブロックに対する複数の動きベクトル候補のそれぞれについて、該現在の映像フレームと前記前の映像フレームとの相関値を計算し、該ブロックが静止領域か否かを判定し、静止領域ではないと判定されたブロックに対するそれぞれの動きベクトル候補の相関値に、前記参照動きベクトルが選択される確率を高くする探索バイアスを付加して、１つの動きベクトル候補を選択し、選択された動きベクトル候補を該ブロックの動きベクトルとして出力することを特徴とするプログラム。
9. コンピュータが、入力される映像フレーム内のブロック毎に動きベクトルを求め、得られた動きベクトルから補間フレームを生成するフレーム補間方法であって、
   映像フレーム毎に画面内の動きベクトルを平均して、画面内平均動きベクトルを計算し、
   計算された画面内平均動きベクトルを記憶部に格納し、
   前記記憶部に格納された過去の画面内平均動きベクトルを参照動きベクトルとして用いて、現在の映像フレームのブロック毎に動きベクトルを探索し、
   得られた動きベクトルを用いて、補間が有効か否かを判定し、
   補間が有効と判定されたとき、前記得られた動きベクトルを用いて、前記現在の映像フレームと前の映像フレームの間に前記補間フレームを生成し、
   前記コンピュータは、前記現在の映像フレームのブロック毎に動きベクトルを探索する際、前記現在の映像フレーム内の１つのブロックに対する複数の動きベクトル候補のそれぞれについて、該現在の映像フレームと前記前の映像フレームとの相関値を計算し、該ブロックが静止領域か否かを判定し、静止領域ではないと判定されたブロックに対するそれぞれの動きベクトル候補の相関値に、前記参照動きベクトルが選択される確率を高くする探索バイアスを付加して、１つの動きベクトル候補を選択し、選択された動きベクトル候補を該ブロックの動きベクトルとして出力することを特徴とするフレーム補間方法。
   

Images