JPWO2012066866A1

JPWO2012066866A1 - 動きベクトル検出装置、動きベクトル検出方法、フレーム補間装置及びフレーム補間方法

Info

Publication number: JPWO2012066866A1
Application number: JP2012544149A
Authority: JP
Inventors: 督那須; 良樹小野; 俊明久保; 直之藤山; 知篤堀部
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2010-11-17
Filing date: 2011-10-07
Publication date: 2014-05-12
Also published as: US20130235274A1; WO2012066866A1

Abstract

動きベクトル検出装置は、ブロック単位の動きベクトル（ＭＶ０）を検出する動き推定部と動きベクトル細密化部（１３０）とを備える。動きベクトル細密化部（１３０）は、第１の動きベクトル生成部（１３４１）と第２の動きベクトル生成部（１３４２〜１３４Ｎ）と動きベクトル補正部（１３７１〜１３７Ｎ）とを含む。第１の動きベクトル生成部（１３４１）は、各ブロックを生成元として第１階層のサブブロックを生成し、第１階層の各サブブロックの動きベクトル（ＭＶ１）を生成する。第２の動きベクトル生成部（１３４２〜１３４Ｎ）は、第２階層乃至第Ｎ階層の各階層について、当該各階層の各サブブロックの動きベクトル（ＭＶｋ；ｋは２〜Ｎ）を生成する。動きベクトル補正部（１３７１〜１３７Ｎ）は、第１階層乃至第Ｎ階層のうちの補正対象階層のサブブロックの動きベクトルを補正する。

Description

本発明は、映像信号に含まれる一連のフレームに基づいて動きベクトルを検出する技術に関する。

液晶表示装置（ＬＣＤ）に代表されるホールド型表示装置は、同一の表示画像を一定期間（たとえば、１フレーム期間）保持（ホールド）し表示し続けるため、視聴者には、動画像中の移動する物体がぼやけて見えるという特有の問題がある。具体的には、視聴者の視点は、ホールド型表示装置の表示画面中の移動する物体に追随して移動するが、この物体は一定期間ホールドされている間は移動しないので、この物体の実際の表示位置と視聴者の視点との間にズレが発生し、このことが、当該物体がぼやけて見える原因となる。この種の動画像のぼけを軽減する手段としては、フレーム間に補間フレームを内挿して単位時間当たりの表示フレーム数を増やすフレーム補間技術が知られている。また、解像度の低い複数のフレームから解像度の高いフレームを生成し、これら高解像度フレームを用いて補間フレームを生成することにより、より高精細な映像を提供する技術もある。

このようなフレーム補間技術では、フレーム間の画素対応、すなわち、フレーム間における物体の動きを推定する必要がある。フレーム間の物体の動きを推定する方法としては、各フレームを複数のブロックに分割し、ブロックごとの動きを推定するブロックマッチング法が広く使用されている。ブロックマッチング法は、一般に、時間的に連続する２つのフレームの一方を複数のブロックに分割し、これら複数のブロックのそれぞれを順次着目ブロックとして、他方のフレームの中から着目ブロックと最も相関の高い参照ブロックを探索するものである。そして、最も相関の高い参照ブロックと当該着目ブロックとの位置のズレが動きベクトルとして検出される。たとえば、着目ブロックと参照ブロックとの間の画素の輝度差の絶対値を算出し、算出された絶対値の総和を算出して、この総和が最小となる参照ブロックを最も相関の高い参照ブロックとすることができる。

従来のブロックマッチング法では、各ブロックは８×８画素や１６×１６画素といったサイズを有するため、ブロックマッチング法による動きベクトルを用いて生成した補間フレームでは、ブロック境界部で画像の乱れが発生して画質が低下するという問題がある。この問題は、画素単位（１画素精度）の動きベクトルを正確に検出することができれば、解決可能なものである。しかしながら、画素単位の動きベクトルの推定精度を向上させることはむずかしいという問題がある。たとえば、ブロックごとに検出された動きベクトルを、当該ブロック内の画素１つ１つの動きベクトルとすることも可能ではあるが、この場合は、当該ブロックに属する画素が全て同じ動きを示すため、画素単位の動きベクトルを正確に検出したことにはならない。また、画素単位の動きベクトルを検出するためにブロックサイズを小さくすると、動きベクトルの推定精度が向上しないことが知られている。さらに、ブロックサイズを小さくすると演算量が膨大となるという問題もある。

特許第４４１９０６２号公報（特許文献１）、特許第４３７４０４８号公報（特許文献２）及び特開平１１−１７７９４０号公報（特許文献３）には、ブロック単位の動きベクトルに基づいて画素単位の動きベクトルを生成する技術が開示されている。特許文献１乃至３に開示されている方法は、時間的に前後する２つのフレームのうちの一方のフレームにおける注目画素が存在するブロック（注目ブロック）の動きベクトルと、当該注目ブロックに隣接する周辺ブロックの動きベクトルとを候補とし、他方のフレームにおいて当該注目画素に対応する位置から動きベクトルの候補分移動した位置の画素と当該着目画素との間の画素値の差分を求める。そして、動きベクトルの候補のなかから当該差分が最小となる動きベクトルが、当該注目画素の動きベクトル（画素単位の動きベクトル）として選択される。特許文献２の方法は、既に画素単位の動きベクトルが決定された際に最多適用された画素単位の動きベクトルを候補に加えることで、さらなる検出精度の向上を図るものである。

特許第４４１９０６２号公報（図５〜図１２、段落００５７〜００９３など）特許第４３７４０４８号公報（図３〜図６、段落００１９〜００４０など）特開平１１−１７７９４０号公報（図１，図１８、段落００２５〜００３９など）

上述のとおり、特許文献１乃至３の方法は、ブロック単位の動きベクトルの候補の中から、注目画素の動きベクトルを選択するものである。しかしながら、画像中に空間的な周期パターン（たとえば、空間周波数の高い縞模様などの繰り返しパターン）やノイズが存在すると、動きベクトルの候補の中から推定精度の高い正確な動きベクトルを選択することが妨げられるという問題がある。

上記に鑑みて本発明の目的は、画像中に現れる空間的な周期パターンやノイズの影響により画素単位の動きベクトルの推定精度が低下することを抑制することができる動きベクトル検出装置、動きベクトル検出方法、フレーム補間装置及びフレーム補間方法を提供することである。

本発明の第１の態様による動きベクトル検出装置は、動画像を構成する一連のフレームにおける動きを検出する動きベクトル検出装置であって、前記一連のフレームの中の着目フレームを複数のブロックに分割し、前記一連のフレームのうち前記着目フレームとは時間的に異なるフレームを参照フレームとして、前記着目フレームと前記参照フレームとの間における前記各ブロックの動きを推定してブロック単位の動きベクトルを検出する動き推定部と、前記複数のブロックに基づいて第１階層乃至第Ｎ階層（Ｎは２以上の整数）に分類された複数のサブブロックを生成し、前記ブロック単位の動きベクトルに基づいて前記複数のサブブロック各々の動きベクトルを生成する動きベクトル細密化部とを備え、前記動きベクトル細密化部は、前記複数のブロックの各々を生成元として前記第１階層の複数のサブブロックを生成し、前記ブロック単位の動きベクトルに基づいて前記第１階層の複数のサブブロック各々の動きベクトルを生成する第１の動きベクトル生成部と、前記第１階層乃至第Ｎ階層のうちの第２階層乃至第Ｎ階層の各階層について、当該各階層よりも１つ上位の階層の複数のサブブロックの各々を生成元として当該各階層の複数のサブブロックを生成し、当該１つ上位の階層の複数のサブブロックの動きベクトルに基づいて、当該各階層の複数のサブブロック各々の動きベクトルを生成する第２の動きベクトル生成部と、前記第１階層乃至第Ｎ階層のうちの少なくとも１つの補正対象階層について、当該補正対象階層の複数のサブブロックのそれぞれを補正対象サブブロックとし、前記補正対象サブブロックの周辺領域に位置する周辺サブブロックの動きベクトルと前記補正対象サブブロックの動きベクトルとを包含する集合に属する動きベクトルと前記補正対象サブブロックの動きベクトルとの間の距離の総和が最小となるように前記補正対象サブブロックの動きベクトルを補正する動きベクトル補正部とを含み、前記第２の動きベクトル生成部は、前記動きベクトル補正部により補正された動きベクトルを用いて、前記補正対象階層よりも１つ下位の階層の複数のサブブロック各々の動きベクトルを生成する。

本発明の第２の態様によるフレーム補間装置は、上記第１の態様による動きベクトル検出装置と、前記動きベクトル検出装置で検出されたサブブロック単位の動きベクトルに基づいて補間フレームを生成する補間部とを備える。

本発明の第３の態様による動きベクトル検出方法は、動画像を構成する一連のフレームの中の動きを検出する動きベクトル検出方法であって、前記一連のフレームの中の着目フレームを複数のブロックに分割し、前記一連のフレームのうち前記着目フレームとは時間的に異なるフレームを参照フレームとして、前記着目フレームと前記参照フレームとの間における前記各ブロックの動きを推定してブロック単位の動きベクトルを検出する動き推定ステップと、前記複数のブロックに基づいて第１階層乃至第Ｎ階層（Ｎは２以上の整数）に分類された複数のサブブロックを生成し、前記ブロック単位の動きベクトルに基づいて前記複数のサブブロック各々の動きベクトルを生成する動きベクトル細密化ステップとを備え、前記動きベクトル細密化ステップは、前記複数のブロックの各々を生成元として前記第１階層の複数のサブブロックを生成し、前記ブロック単位の動きベクトルに基づいて前記第１階層の複数のサブブロック各々の動きベクトルを生成する第１の動きベクトル生成ステップと、前記第１階層乃至第Ｎ階層のうちの第２階層乃至第Ｎ階層の各階層について、当該各階層よりも１つ上位の階層の複数のサブブロックの各々を生成元として当該各階層の複数のサブブロックを生成し、当該１つ上位の階層の複数のサブブロックの動きベクトルに基づいて、当該各階層の複数のサブブロック各々の動きベクトルを生成する第２の動きベクトル生成ステップと、前記第１階層乃至第Ｎ階層のうちの少なくとも１つの補正対象階層について、当該補正対象階層の複数のサブブロックのそれぞれを補正対象サブブロックとし、前記補正対象サブブロックの周辺領域に位置する周辺サブブロックの動きベクトルと前記補正対象サブブロックの動きベクトルとを包含する集合に属する動きベクトルと前記補正対象サブブロックの動きベクトルとの間の距離の総和が最小となるように前記補正対象サブブロックの動きベクトルを補正する補正ステップとを含み、前記第２の動きベクトル生成ステップでは、当該補正された動きベクトルを用いて、前記補正対象階層よりも１つ下位の階層の複数のサブブロック各々の動きベクトルが生成される。

本発明の第４の態様によるフレーム補間方法は、上記第３の態様による動きベクトル検出方法が備える動き推定ステップ及び動きベクトル細密化ステップと、前記動きベクトル細密化ステップで検出されたサブブロック単位の動きベクトルを用いて補間フレームを生成するステップとを備える。

本発明によれば、画像中に現れる空間的な周期パターンやノイズの影響により画素単位の動きベクトルの推定精度が低下することを効果的に抑制することができる。

本発明に係る実施の形態１の動きベクトル検出装置の構成を概略的に示す機能ブロック図である。実施の形態１に係る動き推定に使用される一対のフレームの時間軸上の配置例を概略的に示す図である。実施の形態１に係る階層的な分割により第１階層から第３階層に分類されたサブブロックを概念的に例示する図である。実施の形態１の動きベクトル細密化部の構成を概略的に示す機能ブロック図である。実施の形態１の動きベクトル生成部の構成を概略的に示す機能ブロック図である。実施の形態１の候補ベクトル抽出部により実行される候補ベクトル抽出処理の手順を概略的に示すフローチャートである。（Ａ）及び（Ｂ）は、実施の形態１に係る候補ベクトル抽出処理の一例を説明するための図である。実施の形態１に係る候補ベクトル抽出処理の他の例を説明するための図である。（Ａ）及び（Ｂ）は、実施の形態１に係る候補ベクトル抽出処理のさらに他の例を説明するための図である。実施の形態１に係る候補ベクトルの選択に使用される一対のフレームの時間軸上の配置例を概略的に示す図である。（Ａ）及び（Ｂ）は、実施の形態１に係る動きベクトル補正方法の一例を説明するための図である。実施の形態１の動きベクトル補正部により実行される動きベクトル補正処理の手順を概略的に示す図である。本発明に係る実施の形態２の動きベクトル検出装置の構成を概略的に示す機能ブロック図である。実施の形態２に係る動き推定に使用される３枚のフレームの時間軸上の配置例を概略的に示す図である。本発明に係る実施の形態３の動きベクトル検出装置の構成を概略的に示す機能ブロック図である。実施の形態３に係る動き推定に使用される一対のフレームの時間軸上の配置例を概略的に示す図である。実施の形態３の動きベクトル細密化部の構成を概略的に示す機能ブロック図である。実施の形態３の動きベクトル生成部の構成を概略的に示す機能ブロック図である。第ｋ階層におけるサブブロック画像に現れる移動物体を示す図である。本発明に係る実施の形態４の動きベクトル検出装置の構成を概略的に示す機能ブロック図である。本発明に係る実施の形態５の動きベクトル検出装置における動きベクトル細密化部の構成を概略的に示す機能ブロック図である。実施の形態５の動きベクトル生成部の構成を概略的に示す機能ブロック図である。実施の形態５の候補ベクトル抽出部により実行される候補ベクトル抽出処理の手順を概略的に示すフローチャートである。本発明に係る実施の形態５のフレーム補間装置の構成を概略的に示す機能ブロック図である。フレーム補間方法の一例である線形補間法を説明するための図である。フレーム補間装置のハードウェア構成の一例を概略的に示す図である。

以下、本発明に係る種々の実施の形態について図面を参照しつつ説明する。

実施の形態１．
図１は、本発明に係る実施の形態１の動きベクトル検出装置１０の構成を概略的に示す機能ブロック図である。動きベクトル検出装置１０は、動画像を構成する一連のフレームのうち時間的に互いに前後する第１及び第２フレームＦａ，Ｆｂがそれぞれ入力される入力部１００ａ，１００ｂを備えている。また、動きベクトル検出装置１０は、入力された第１及び第２フレームＦａ，Ｆｂからブロック単位の動きベクトルＭＶ_０を検出する動き推定部１２０と、ブロック単位の動きベクトルＭＶ_０に基づいて画素単位（１画素精度）の動きベクトルＭＶを生成する動きベクトル細密化部１３０とを備える。動きベクトルＭＶは、出力部１５０から外部に出力される。

図２は、第１フレームＦａと第２フレームＦｂの時間軸上の配置例を概略的に示す図である。第１フレームＦａと第２フレームＦｂには、それぞれ、タイムスタンプ情報で特定される時刻ｔａ，ｔｂが割り当てられている。本実施の形態では、動きベクトル検出装置１０は、第２フレームＦｂを着目フレームとし、この第２フレームＦｂよりも時間的に後に入力する第１フレームＦａを参照フレームとして利用するが、これに限定されるものではない。第１フレームＦａを着目フレームとし、第２フレームＦｂを参照フレームとして利用することもできる。

動き推定部１２０は、図２に概略的に示されるように着目フレームＦｂを複数のブロック（たとえば、８×８画素や１６×１６画素）ＭＢ（１），ＭＢ（２），ＭＢ（３），…に分割し、これら複数のブロックＭＢ（１），ＭＢ（２），ＭＢ（３），…のそれぞれを順次着目ブロックＣＢ_０として、着目フレームＦｂから参照フレームＦａへの着目ブロックＣＢ_０の動きを推定する。具体的には、動き推定部１２０は、着目フレームＦｂ内の着目ブロックＣＢ_０と最も相関の高い参照ブロックＲＢｆを参照フレームＦａの中から探索し、着目ブロックＣＢ_０と当該参照ブロックＲＢｆとの間の空間方向（水平画素方向Ｘと垂直画素方向Ｙとで定まる方向）のズレを着目ブロックＣＢ_０の動きベクトルとして検出する。このようにして動き推定部１２０は、ＭＢ（１），ＭＢ（２），ＭＢ（３），…のそれぞれの動きベクトルＭＶ_０（１），ＭＶ_０（２），ＭＶ_０（３），…を検出する。

このような動きベクトルＭＶ_０（１），ＭＶ_０（２），ＭＶ_０（３），…（動きベクトルＭＶ_０）の検出法としては、公知のブロックマッチング法を使用することができる。ブロックマッチング法では、参照ブロックＲＢｆと着目ブロックＣＢ_０との間の相関の程度を評価するために、これら２つのブロック間の類似度または非類似度に基づいた評価値が求められる。評価値の算出方法には様々なものが提案されているが、たとえば、ブロック間の画素ごとの輝度値の差分の絶対値を算出し、その総和を絶対値差分和（ＳＡＤ：ＳｕｍｏｆＡｂｓｏｌｕｔｅＤｉｆｆｅｒｅｎｃｅ）として求め、絶対値差分和を評価値とする方法を用いることができる。ＳＡＤが小さいほど、対比される両ブロック間の類似度は大きくなる（言い換えれば、両ブロック間の非類似度は小さくなる）。

なお、参照ブロックＲＢｆの探索範囲は、参照フレームＦａの全体を網羅することが理想的であるが、その全体の位置について評価値を算出するには、膨大な演算量が必要となるため、着目ブロックＣＢ_０のフレーム内位置に相当する位置を中心とする一定の範囲で探索することが好ましい。

また、本実施の形態では、動きベクトルの好適な検出法としてブロックマッチング法を使用するが、これに限定されずに、ブロックマッチング法以外の方法を使用することも可能である。たとえば、動き推定部１２０は、ブロックマッチング法に代えて、公知の勾配法（たとえば、Ｌｕｃａｓ−Ｋａｎａｄｅ法）によりブロック単位の動きベクトルＭＶ_０を高速に生成してもよい。

動きベクトル細密化部１３０は、着目フレームＦｂから派生するブロックＭＢ（１），ＭＢ（２），ＭＢ（３），…の各々を階層的に分割して第１階層から第Ｎ階層（Ｎは２以上の整数）に分類された複数のサブブロックを生成する。動きベクトル細密化部１３０は、階層ごとに各サブブロックの動きベクトルを生成する機能を有する。

図３は、第１階層から第３階層に分類されたサブブロックＳＢ_１（１），ＳＢ_１（２），…，ＳＢ_２（１），ＳＢ_２（２），…，ＳＢ_３（１），ＳＢ_３（２），…を概念的に例示する図である。図３に示されるように、第１階層の４つのサブブロックＳＢ_１（１），ＳＢ_１（２），ＳＢ_１（３），ＳＢ_１（４）は、１つ上位の階層（第０階層）のブロックＭＢ（ｐ）（ｐは正整数）を水平画素方向Ｘ及び垂直画素方向Ｙの縮小率１／２で４分割することで得られる。また、第０階層における複数のブロックの複数の動きベクトルに基づいて第１階層のサブブロックＳＢ_１（１），ＳＢ_１（２），ＳＢ_１（３），ＳＢ_１（４），…のそれぞれの動きベクトルＭＶ_１（１），ＭＶ_１（２），ＭＶ_１（３），ＭＶ_１（４），…が求められる。また、第２階層のサブブロックＳＢ_２（１），ＳＢ_２（２），ＳＢ_２（３），ＳＢ_２（４），…は、１つ上位の第１階層のサブブロックＳＢ_１（１），ＳＢ_１（２），…の各々を縮小率１／２で４分割することで得られる。これらサブブロックＳＢ_２（１），ＳＢ_２（２），ＳＢ_２（３），ＳＢ_２（４），…のそれぞれの動きベクトルは、第１階層における複数のサブブロックの複数の動きベクトルに基づいて求められる。そして、第３階層のサブブロックＳＢ_３（１），ＳＢ_３（２），ＳＢ_３（３），…は、１つ上位の第２階層のサブブロックＳＢ_２（１），ＳＢ_２（２），…の各々を縮小率１／２で４分割することで得られる。これらサブブロックＳＢ_３（１），ＳＢ_３（２），ＳＢ_３（３），ＳＢ_３（４），…のそれぞれの動きベクトルは、第２階層における複数のサブブロックの複数の動きベクトルに基づいて求められる。このように、動きベクトル細密化部１３０は、第０階層のブロックの各々を再帰的に分割して第１階層から第３階層のサブブロックＳＢ_１（１），ＳＢ_１（２），…，ＳＢ_２（１），ＳＢ_２（２），…，ＳＢ_３（１），ＳＢ_３（２），…を生成しつつ、第０階層における密度（単位画素当たりの動きベクトルの数）の低い動きベクトルから、より密度の高い動きベクトルを段階的に生成する機能を有している。

なお、図３の例では、ブロックＭＢ（ｐ）及びサブブロックＳＢ_１（１），ＳＢ_１（２），…，ＳＢ_２（１），ＳＢ_２（２），…の分割の際に使用される縮小率はすべて１／２であったが、これに限定されるものではない。分割のそれぞれの段階で縮小率を個別に設定することが可能である。

また、サブブロックのサイズと縮小率によっては、分割の過程で、サブブロックのサイズ（水平画素数と垂直画素数）が整数値とならない場合がある。かかる場合は、そのサイズの少数点以下の数値を切り捨てもしくは切り上げる処理を行うことができる。さらに、互いに異なる複数の生成元（ブロックまたはサブブロック）から分割により生成された複数のサブブロックが同一フレーム内で互いに重複する場合がある。かかる場合は、複数の生成元のうちの１つを選択し、選択された生成元から生成されたサブブロックを選択すればよい。

図４は、動きベクトル細密化部１３０の構成を概略的に示す機能ブロック図である。図４に示されるように、動きベクトル細密化部１３０は、ブロック単位の動きベクトルＭＶ_０が入力される入力部１３２と、参照フレームＦａ及び着目フレームＦｂが入力される入力部１３１ａ，１３１ｂと、第１乃至第Ｎの階層処理部１３３_１〜１３３_Ｎ（Ｎは２以上の整数）と、画素単位の動きベクトルＭＶを出力する出力部１３８とを有する。各階層処理部１３３_ｋ（ｋは１〜Ｎのいずれかの整数）は、動きベクトル生成部１３４_ｋと動きベクトル補正部１３７_ｋとを有している。

図５は、動きベクトル生成部１３４_ｋの構成を概略的に示す機能ブロック図である。図５に示されるように、動きベクトル生成部１３４_ｋは、前段から入力された動きベクトルＭＶ_ｋ−１を受ける入力部１４１_ｋと、参照フレームＦａ及び着目フレームＦｂが入力される入力部１４０Ａ_ｋ，１４０Ｂ_ｋと、候補ベクトル抽出部１４２_ｋと、評価部１４３_ｋと、動きベクトル決定部１４４_ｋとを有している。

階層処理部１３３_１〜１３３_Ｎの基本的な動作は同じである。以下、第１の階層処理部１３３_１で処理されるブロックＭＢ（１），ＭＢ（２），…を第０階層のサブブロックＳＢ_０（１），ＳＢ_０（２），…とみなして、各階層処理部１３３_ｋの処理について詳細に説明する。

動きベクトル生成部１３４_ｋにおいては、候補ベクトル抽出部１４２_ｋは、サブブロックＳＢ_ｋ（１），ＳＢ_ｋ（２），ＳＢ_ｋ（３），…のそれぞれを順次着目サブブロックＣＢ_ｋとし、この着目サブブロックＣＢ_ｋに対して、１つ上位の階層のサブブロックＳＢ_ｋ−１（１），ＳＢ_ｋ−１（２），ＳＢ_ｋ−１（３），…の動きベクトル群の中から少なくとも１つの候補ベクトルＣＶ_ｋを抽出する。抽出された候補ベクトルＣＶ_ｋは、評価部１４３_ｋに与えられる。

図６は、候補ベクトル抽出部１４２_ｋにより実行される候補ベクトル抽出処理の手順を概略的に示すフローチャートである。図６に示されるように、候補ベクトル抽出部１４２_ｋは、まず、サブブロック番号ｊを初期値「１」に設定し（ステップＳ１０）、ｊ番目のサブブロックＳＢ_ｋ（ｊ）を着目サブブロックＣＢ_ｋに設定する（ステップＳ１１）。次いで、候補ベクトル抽出部１４２_ｋは、１つ上位の第ｋ−１階層のサブブロック群のうち、着目サブブロックＣＢ_ｋの生成元であるサブブロックＳＢ_ｋ−１（ｉ）を選択し（ステップＳ１２）、このサブブロックＳＢ_ｋ−１（ｉ）の動きベクトルＭＶ_ｋ−１（ｉ）を候補ベクトル集合Ｖ_ｋ（ｊ）に登録する（ステップＳ１３）。

その後、候補ベクトル抽出部１４２_ｋは、第ｋ−１階層における生成元のサブブロックＳＢ_ｋ−１（ｉ）の周辺領域のサブブロック群を選択し（ステップＳ１４）、このサブブロック群の動きベクトルを候補ベクトル集合Ｖ_ｋ（ｊ）に登録する（ステップＳ１５）。

次に、候補ベクトル抽出部１４２_ｋは、サブブロック番号ｊが、第ｋ階層に属するサブブロックの総数Ｎ_ｋに達したか否かを判定し（ステップＳ１６）、サブブロック番号ｊが総数Ｎ_ｋに達していない場合（ステップＳ１６のＮＯ）には、サブブロック番号ｊを１だけインクリメントし（ステップＳ１７）、ステップＳ１１に処理を戻す。他方で、サブブロック番号ｊが総数Ｎ_ｋに達している場合（ステップＳ１６のＹＥＳ）には、候補ベクトル抽出処理は終了する。

図７（Ａ），（Ｂ）は、候補ベクトル抽出処理の手順の一例を説明するための図である。図７（Ａ）に示される第ｋ−１階層の各サブブロックを縮小率α＝１／２（＝０．５）で分割することにより、図７（Ｂ）に示される第ｋ階層のサブブロックＳＢ_ｋ（１），ＳＢ_ｋ（２），ＳＢ_ｋ（３），…が生成されている。図７（Ｂ）のサブブロックＳＢ_ｋ（ｊ）が着目サブブロックＣＢ_ｋとされたときは、この着目サブブロックＣＢ_ｋに対応する生成元のサブブロックＳＢ_ｋ−１（ｉ）が選択される（ステップＳ１２）。次に、このサブブロックＳＢ_ｋ−１（ｉ）の動きベクトルＭＶ_ｋ−１（ｉ）が候補ベクトル集合Ｖ_ｋ（ｊ）に登録される（ステップＳ１３）。また、生成元のサブブロックＳＢ_ｋ−１（ｉ）に対して水平画素方向、垂直画素方向、右上がり斜め方向、右下がり斜め方向、左上がり斜め方向及び左下がり斜め方向という８方向にそれぞれ隣接する周辺領域の８個のサブブロックＳＢ_ｋ−１（ａ）〜ＳＢ_ｋ−１（ｈ）が選択される（ステップＳ１４）。次に、これらサブブロックＳＢ_ｋ−１（ａ）〜ＳＢ_ｋ−１（ｈ）の動きベクトルが候補ベクトル集合Ｖ_ｋ（ｊ）に登録される（ステップＳ１５）。結果として、第ｋ階層の１つの着目サブブロックＣＢ_ｋに対して、第ｋ−１階層における９個のサブブロックＳＢ_ｋ−１（ｉ），ＳＢ_ｋ−１（ａ）〜ＳＢ_ｋ−１（ｈ）の９個の動きベクトルが候補ベクトルとして抽出され、候補ベクトル集合Ｖ_ｋ（ｊ）に登録される。

なお、ステップＳ１４において、生成元のサブブロックＳＢ_ｋ−１（ｉ）に隣接するサブブロックＳＢ_ｋ−１（ａ）〜ＳＢ_ｋ−１（ｈ）の全てを選択しない場合もありうる。また、生成元のサブブロックＳＢ_ｋ−１（ｉ）に対して隣接しない周辺のサブブロックを選択する場合や、生成元のサブブロックＳＢ_ｋ−１（ｉ）が属するフレームＦｂに対して時間的に隣接する他のフレーム上のサブブロック（たとえば、当該サブブロックＳＢ_ｋ−１（ｉ）のフレーム内位置に相当する位置を有するサブブロック）を選択する場合にも、本実施の形態は成立し得る。

また、ステップＳ１４においては、生成元のサブブロックＳＢ_ｋ−１（ｉ）に対して８方向に隣接する領域以外の領域のサブブロックが選択されてもよい。たとえば、図８に示されるように、生成元のサブブロックＳＢ_ｋ−１（ｉ）に対して、８方向に２サブブロック分離れた８個のサブブロックＳＢ_ｋ−１（ｍ）〜ＳＢ_ｋ−１（ｔ）の中からサブブロックを選択してもよい。このように、隣接サブブロックに限定せずに離れたサブブロックを選択することで、誤検出された動きベクトルを有する複数のサブブロックが局在している場合（複数のサブブロックが固まって存在している場合）でも、これらの誤検出された動きベクトル以外の正しい動きベクトルを候補ベクトル集合に加えることができる。

さらに、縮小率αは１／２に限定されない。図９（Ａ），（Ｂ）は、候補ベクトル抽出処理の手順の他の例を説明するための図である。図９（Ａ）に示される第ｋ−１階層の各サブブロックを縮小率α＝１／４（＝０．２５）で分割することにより、図９（Ｂ）に示される第ｋ階層のサブブロックＳＢ_ｋ（１），ＳＢ_ｋ（２），ＳＢ_ｋ（３），ＳＢ_ｋ（４），…が生成されている。図９（Ｂ）のサブブロックＳＢ_ｋ（ｊ）が着目サブブロックＣＢ_ｋとされたときは、この着目サブブロックＣＢ_ｋに対応する生成元のサブブロックＳＢ_ｋ−１（ｉ）が選択される（ステップＳ１２）。次に、このサブブロックＳＢ_ｋ−１（ｉ）の動きベクトルＭＶ_ｋ−１（ｉ）が候補ベクトル集合Ｖ_ｋ（ｊ）に登録される（ステップＳ１３）。また、生成元のサブブロックＳＢ_ｋ−１（ｉ）に対して周辺の隣接サブブロックＳＢ_ｋ−１（ａ）〜ＳＢ_ｋ−１（ｈ）の中からサブブロックを選択し（ステップＳ１４）、選択されたサブブロックの動きベクトルを候補ベクトル集合Ｖ_ｋ（ｊ）に登録することができる（ステップＳ１５）。ステップＳ１４では、生成元のサブブロックＳＢ_ｋ−１（ｉ）の境界４辺のうち、着目サブブロックＣＢ_ｋと空間方向に最も近い２辺に隣接するサブブロックＳＢ_ｋ−１（ｃ）〜ＳＢ_ｋ−１（ｇ）を選択してもよい。

上記のごとく候補ベクトルが抽出された後、評価部１４３_ｋは、着目サブブロックＣＢ_ｋのフレーム内位置ｐｏｓ＝（Ｘｃ，Ｙｃ）に相当する参照フレームＦａ内の位置（Ｘｒ，Ｙｒ）から候補ベクトルＣＶ_ｋの分ずれた位置（Ｘｒ＋ＣＶｘ，Ｙｒ＋ＣＶｙ）にある参照サブブロックＲＢを抽出する。ここで、ＣＶｘ，ＣＶｙは、それぞれ、候補ベクトルＣＶ_ｋの水平画素方向成分（Ｘ成分）と垂直画素方向成分（Ｙ成分）であり、参照サブブロックＲＢのサイズは、着目サブブロックＣＢ_ｋのサイズと同じである。たとえば、図１０に示されるように、着目フレームＦｂ内の着目サブブロックＣＢ_ｋに対して、４個の候補ベクトルＣＶ_ｋ（１）〜ＣＶ_ｋ（４）が抽出された場合、これら候補ベクトルＣＶ_ｋ（１）〜ＣＶ_ｋ（４）で指定される４個の参照サブブロックＲＢ（１）〜ＲＢ（４）を抽出することができる。

さらに、評価部１４３_ｋは、抽出された参照サブブロックＲＢと着目サブブロックＣＢ_ｋとのブロック対の類似度または非類似度を算出し、この算出結果に基づいて候補ベクトルの評価値Ｅｄを求める。たとえば、ブロック対の絶対値差分和（ＳＡＤ）を評価値Ｅｄとして算出することができる。図１０の例では、着目サブブロックＣＢ_ｋと、４個の参照サブブロックＲＢ（１）〜ＲＢ（４）との間で４つのブロック対が形成されるので、評価部１４３_ｋは、ブロック対それぞれについて候補ベクトルの評価値Ｅｄを算出することとなる。これら評価値Ｅｄと候補ベクトルＣＶ_ｋの組は、動きベクトル決定部１４４_ｋに与えられる。

そして、動きベクトル決定部１４４_ｋは、評価値Ｅｄに基づいて、候補ベクトル集合Ｖ_ｋ（ｊ）の中から最も確からしい動きベクトルを、着目サブブロックＣＢ_ｋ（＝ＳＢ_ｋ（ｊ））の動きベクトルＭＶ_ｋとして選択する。この動きベクトルＭＶ_ｋは出力部１４５_ｋを介して後段に出力される。

動きベクトル決定部１４４_ｋは、次式（１）を用いて動きベクトルを選択することができる。

ここで、ｖ_ｉは、候補ベクトル集合Ｖ_ｋの要素である候補ベクトルであり、ｆ_ａ（ｘ）は、位置ベクトルｘで指定される参照フレームＦａ内の画素の値であり、ｆ_ｂ（ｘ）は、位置ベクトルｘで指定される着目フレームＦｂ内の画素の値であり、Ｂは、着目サブブロック内の位置を示す位置ベクトルの集合であり、ｐｏｓは、集合Ｂの要素である位置ベクトルである。また、ＳＡＤ（ｖ_ｉ）は、候補ベクトルｖ_ｉで指定される参照フレームＦａ内の参照サブブロックと着目サブブロックとの対の差分絶対値和（ＳＡＤ）を出力する関数である。ａｒｇｍｉｎ（ＳＡＤ（ｖ_ｉ））は、ＳＡＤ（ｖ_ｉ）を最小にするｖ_ｉ（＝ｖ_ｔ）を与える。

このようにして、ＳＡＤに基づいて真の動きベクトルに対して最も確からしい動きベクトルＭＶ_ｋ（＝ｖ_ｔ）を選ぶことができる。なお、評価値ＥｄをＳＡＤとは異なる定義を用いて算出してもよい。

次に、図４の動きベクトル補正部１３７_ｋについて説明する。

動きベクトル補正部１３７_ｋは、第ｋ階層のサブブロックＳＢ_ｋ（１），…，ＳＢ_ｋ（Ｎ_ｋ）のそれぞれを順次着目サブブロックとし、この着目サブブロックの周辺領域に位置する周辺サブブロックの動きベクトルに基づいて、当該着目サブブロックの動きベクトルを補正するフィルタ機能を有する。このフィルタ機能により、動きベクトル生成部１３４_ｋから誤った動きベクトルＭＶ_ｋが出力されたとき、その誤った動きベクトルＭＶ_ｋが後段の階層処理部１３３_ｋ＋１または出力部１３８に伝達されることを防止することができる。

ここで、着目サブブロックの動きベクトルがその周辺領域のサブブロックの動きベクトルとは明らかに異なる場合にその動きベクトルを排除し、サブブロック単位の動きベクトルの分布を滑らかにするには、平滑化フィルタを使用することが考えられる。しかしながら、平滑化フィルタを適用すると、本来存在しない動きベクトルが出現する場合がある。

たとえば、着目サブブロックの動きベクトルが誤検出により（９，９）となり、着目サブブロックに隣接する８個のサブブロックの動きベクトルがすべて（０，０）であった場合に、当該着目サブブロックに対して、３×３個のサブブロックを適用範囲（フィルタ窓）とする単純な平滑化フィルタ（複数の動きベクトルの算術平均を行う平均化フィルタ）を適用すると、この平滑化フィルタの出力は（１，１）となる。この出力は、より確からしい（０，０）とは異なり、本来存在しない動きベクトルが出力されてしまう。動きベクトルを利用した補間フレーム生成や超解像においては、周辺に全く存在しないベクトルを出力することを回避することが好ましい。

そこで、本実施の形態の動きベクトル補正部１３７_ｋは、当該着目サブブロック（補正対象サブブロック）とこの着目サブブロックを中心とする周辺サブブロックとを含む適用範囲（フィルタ窓）内の複数のサブブロックの複数の動きベクトルを補正候補ベクトルｖ_ｃとし、補正候補ベクトルｖ_ｃの中から、周辺サブブロックの動きベクトルと着目サブブロックの動きベクトルとの間の距離（ｄｉｓｔａｎｃｅ）の総和を最小とする補正候補ベクトルを選択し、当該選択された補正候補ベクトルで着目サブブロックの動きベクトルを置き換えるというフィルタ機能を有する。ここで、２つの動きベクトル間の距離としては、ユークリッド距離、マンハッタン距離並びにチェビシェフ距離など、数学的な様々な概念が知られている。

本実施の形態の場合、周辺サブブロックの動きベクトルと当該着目サブブロックの動きベクトルとの間の距離として、マンハッタン距離が採用される。マンハッタン距離を採用した場合、次式（２）を用いて、着目サブブロックの新たな動きベクトルｖ_ｎを生成することができる。

ここで、ｖ_ｃは、補正候補ベクトルであり、Ｖ_ｆは、フィルタ窓内のサブブロックの動きベクトルからなる集合であり、ｘ_ｃ，ｙ_ｃは、それぞれ、補正候補ベクトルｖ_ｃの水平画素方向成分（Ｘ成分）及び垂直画素方向成分（Ｙ成分）であり、ｘ_ｉ，ｙ_ｉは、それぞれ、集合Ｖ_ｆに属する動きベクトルｖ_ｉのＸ成分及びＹ成分である。そして、ｄｉｆ（ｖ_ｃ）は、動きベクトルｖ_ｃ，ｖ_ｉ間のマンハッタン距離の総和を出力する関数である。ａｒｇｍｉｎ（ｄｉｆ（ｖ_ｃ））は、ｄｉｆ（ｖ_ｃ）を最小するｖ_ｃを補正ベクトルｖ_ｎとして与える。このようにして集合Ｖ_ｆに属する補正候補ベクトルｖ_ｃから補正ベクトルｖ_ｎを選択することで、本来存在しない動きベクトルを補正ベクトルとして生成することを確実に回避することができる。なお、フィルタ窓内のサブブロックの位置に応じて、サブブロックの動きベクトルに重み付けを行うといった最適化処理を行うこともできる。また、フィルタ窓内のサブブロックの動きベクトルの空間分布によっては、補正候補ベクトルｖ_ｃが集合Ｖ_ｆに属するとの制限を外して補正ベクトルｖ_ｎを算出する処理を実行してもよい。

図１１（Ａ），（Ｂ）は、３×３画素分のフィルタ窓Ｆｗを有する動きベクトル補正部１３７_ｋを用いて着目サブブロックＣＢ_ｋを補正する様子を概略的に示す図である。図１１（Ａ）が補正前の状態を表し、図１１（Ｂ）が補正後の状態を表している。図１１（Ａ）に示されるように、着目サブブロックＣＢ_ｋの動きベクトルＭＶｃの方向は、周辺サブブロックＣＢ_ｋ（ａ）〜ＣＢ_ｋ（ｈ）の動きベクトルと比べて大きく外れている。周辺サブブロックＣＢ_ｋ（ａ）〜ＣＢ_ｋ（ｈ）の動きベクトルに基づくフィルタ処理（補正）を行うと、図１１（Ｂ）に示されるように、着目サブブロックＣＢ_ｋは、周辺サブブロックＣＢ_ｋ（ａ）〜ＣＢ_ｋ（ｃ）の動きベクトルとほぼ同じ方向の動きベクトルＭＶｃを有するようになる。

図１２は、動きベクトル補正部１３７_ｋにより実行される動きベクトル補正処理の手順を概略的に示す図である。図１２に示されるように、動きベクトル補正部１３７_ｋは、まず、サブブロック番号ｉを初期値「１」に設定し（ステップＳ２０）、ｉ番目のサブブロックＳＢ_ｋ（ｉ）を着目サブブロックＣＢ_ｋに設定する（ステップＳ２１）。次いで、動きベクトル補正部１３７_ｋは、着目サブブロックＣＢ_ｋを中心とするフィルタ窓内の周辺サブブロックの動きベクトルを集合Ｖ_ｆに登録する（ステップＳ２２）。次に、動きベクトル補正部１３７_ｋは、集合Ｖ_ｆに属する動きベクトルと着目サブブロックＣＢ_ｋの動きベクトルとの間の距離の総和を算出し、この総和を最小にする補正ベクトルを求める（ステップＳ２３）。そして、動きベクトル補正部１３７_ｋは、着目サブブロックＣＢ_ｋの動きベクトルを補正ベクトルで置換する（ステップＳ２４）。

その後、動きベクトル補正部１３７_ｋは、サブブロック番号ｉが、第ｋ階層に属するサブブロックの総数Ｎ_ｋに達したか否かを判定し（ステップＳ２５）、サブブロック番号ｉが総数Ｎ_ｋに達していない場合（ステップＳ２５のＮＯ）には、サブブロック番号ｉを１だけインクリメントし（ステップＳ２６）、ステップＳ２１に処理を戻す。他方で、サブブロック番号ｉが総数Ｎ_ｋに達している場合（ステップＳ２５のＹＥＳ）には、動きベクトル補正処理は終了する。

上記したように各階層処理部１３３_ｋは、前段から入力された動きベクトルＭＶ_ｋ−１に基づいて、より密度の高い動きベクトルＭＶ_ｋを生成し後段に出力する。最終段の階層処理部１３３_Ｎは、画素単位の動きベクトルＭＶ_Ｎを動きベクトルＭＶとして出力する。

以上に説明したように実施の形態１の動きベクトル細密化部１３０は、ブロックＭＢ（１），ＭＢ（２），…の各々を階層的に分割することにより複数階層のサブブロックＳＢ_１（１），ＳＢ_１（２），…，ＳＢ_２（１），ＳＢ_２（２），…，ＳＢ_Ｎ（１），ＳＢ_Ｎ（２），…を生成しつつ、密度の粗い動きベクトルＭＶ_０から、階層が増すにつれて密度が次第に細かくなる動きベクトルＭＶ_１，ＭＶ_２，…，ＭＶ_Ｎを段階的に生成する。このため、画像中に現れるノイズや空間的な周期パターンの影響が抑制された細密な動きベクトルＭＶを生成することができる。

また、複数階層で求められた動きベクトルＭＶ_１，ＭＶ_２，…，ＭＶ_Ｎは、動きベクトル補正部１３７_１〜１３７_Ｎで補正されるので、各階層における誤った動きベクトルを後段に伝達することを防止することができる。したがって、ブロック単位の動きベクトルＭＶ_０に基づいて、推定精度の高い細密な動きベクトル（画素単位の動きベクトル）ＭＶを生成することができる。

なお、図４に示したように、本実施の形態の動きベクトル細密化部１３０は、複数の階層処理部１３３_１〜１３３_Ｎを有しているが、これら階層処理部１３３_１〜１３３_Ｎは、ハードウェア構成を有する複数個の処理ユニットで実現されてもよいし、あるいは、再帰的な処理を行う単一の処理ユニットで実現されてもよい。

実施の形態２．
次に、本発明に係る実施の形態２について説明する。図１３は、実施の形態２の動きベクトル検出装置２０の構成を概略的に示す機能ブロック図である。

この動きベクトル検出装置２０は、動画像を構成する一連のフレームのうち時間的に連続する３枚のフレームＦａ，Ｆｂ，Ｆｃがそれぞれ入力される入力部２００ａ，２００ｂ，２００ｃを備えている。また、動きベクトル検出装置２０は、入力されたフレームＦａ，Ｆｂ，Ｆｃからブロック単位の動きベクトルＭＶ_０を検出する動き推定部２２０と、ブロック単位の動きベクトルＭＶ_０に基づいて画素単位（１画素精度）の動きベクトルＭＶを生成する動きベクトル細密化部２３０と、動きベクトルＭＶを出力する出力部２５０とを備える。動きベクトル細密化部２３０の機能は、上記実施の形態１の動きベクトル細密化部１３０の機能と同じである。

図１４は、３枚のフレームＦａ，Ｆｂ，Ｆｃの時間軸上の配置例を概略的に示す図である。フレームＦａ，Ｆｂ，Ｆｃには、それぞれ、タイムスタンプ情報で特定される時刻ｔａ，ｔｂ，ｔｃが等間隔で割り当てられている。本実施の形態では、動き推定部２２０は、フレームＦｂを着目フレームとし、このフレームＦｂよりも時間的に前後する２つのフレームＦａ，Ｆｃを参照フレームとして利用する。

動き推定部２２０は、図１４に概略的に示されるように着目フレームＦｂを複数のブロック（たとえば、８×８画素や１６×１６画素）ＭＢ（１），ＭＢ（２），ＭＢ（３），…に分割し、これら複数のブロックＭＢ（１），ＭＢ（２），ＭＢ（３），…のそれぞれを順次着目ブロックＣＢ_０として、時刻ｔｃ〜ｔａにおける着目ブロックＣＢ_０の動きを推定する。具体的には、動き推定部２２０は、着目フレームＦｂ内の着目ブロックＣＢ_０と最も相関の高い一対の参照ブロックＲＢｆ，ＲＢｂをそれぞれ参照フレームＦａ，Ｆｃの中から探索し、着目ブロックＣＢ_０と当該参照ブロックＲＢｆ，ＲＢｂのいずれか一方との間の空間方向のズレを着目ブロックＣＢ_０の動きベクトルＭｖｆまたはＭｖｂとして検出する。ここで、着目ブロックＣＢ_０と参照ブロックＲＢｆ，ＲＢｂとは、時空間（時間軸、Ｘ軸及びＹ軸で定まる空間）上で一直線上に配列されているので、参照ブロックＲＢｆ，ＲＢｂのうちの一方の位置が定まると、他方の位置が定まることとなる。また、参照ブロックＲＢｆ，ＲＢｂは、着目ブロックＣＢ_０を中心として点対称に位置する。

このような動きベクトルＭｖｆまたはＭｖｂの検出法としては、上記実施の形態１の場合と同様に、公知のブロックマッチング法を使用することができる。ブロックマッチング法では、一対の参照ブロックＲＢｆ，ＲＢｂと着目ブロックＣＢ_０との間の相関の程度を評価するために、類似度または非類似度に基づいた評価値が求められる。本実施の形態では、参照ブロックＲＢｆと着目ブロックＣＢ_０との間の類似度と、参照ブロックＲＢｂと着目ブロックＣＢ_０との間の類似度とを加算した値を評価値として利用するか、あるいは、参照ブロックＲＢｆと着目ブロックＣＢ_０との間の非類似度と、参照ブロックＲＢｂと着目ブロックＣＢ_０との間の非類似度とを加算した値を評価値として利用することができる。参照ブロックＲＢｆ，ＲＢｂの探索範囲については、演算量の低減のため、着目ブロックＣＢ_０のフレーム内位置に相当する位置を中心とする一定の範囲で探索することが好ましい。

なお、フレームＦａ，Ｆｂ，Ｆｃは、時間軸上に等間隔で配列されていなくてもよい。この場合は、フレームＦａ，Ｆｃ上の参照ブロックＲＢｆ，ＲＢｂの位置は、着目ブロックＣＢ_０に関して点対称の位置とならない。また、着目ブロックＣＢ_０がこれらフレームＦａ，Ｆｂ，Ｆｃにおいて等速直線運動をすると仮定して、参照ブロックＲＢｆ，ＲＢｂの位置を定めることが望ましい。ただし、フレームＦａ，Ｆｂ，Ｆｃが、動きが大きく変化するタイミングをまたいで存在すると、動きの推定精度が低下する可能性が高くなるので、時間間隔ｔａ−ｔｂ，ｔｂ−ｔｃを短くし、両時間間隔の差を小さくすることが好ましい。

上記したように実施の形態２の動きベクトル検出装置３０は、３枚のフレームＦａ，Ｆｂ，Ｆｃを用いて、推定精度の高い動きベクトルＭＶ_０を生成するので、動きベクトル細密化部３３０は、実施の形態１の場合と比べると、より推定精度の高い細密な動きベクトルＭＶを生成することができる。

なお、本実施の形態の動き推定部２２０は、３枚のフレームＦａ，Ｆｂ，Ｆｃに基づいて動き推定を行っているが、この代わりに、４枚以上のフレームに基づいて動き推定を行うようにその構成を変更してもよい。

実施の形態３．
次に、本発明に係る実施の形態３について説明する。図１５は、実施の形態３の動きベクトル検出装置３０の構成を概略的に示す機能ブロック図である。

この動きベクトル検出装置３０は、動画像を構成する一連のフレームのうち時間的に互いに前後する第１及び第２フレームＦａ，Ｆｂがそれぞれ入力される入力部３００ａ，３００ｂを備えている。また、動きベクトル検出装置３０は、入力された第１及び第２フレームＦａ，Ｆｂからブロック単位の動きベクトルＭＶＡ_０，ＭＶＢ_０を検出する動き推定部３２０と、これら動きベクトルＭＶＡ_０，ＭＶＢ_０に基づいて画素単位（１画素精度）の動きベクトルＭＶを生成する動きベクトル細密化部３３０と、動きベクトルＭＶを外部に出力する出力部３５０とを備える。

図１６は、第１フレームＦａと第２フレームＦｂの時間軸上の配置例を概略的に示す図である。第１フレームＦａと第２フレームＦｂには、それぞれ、タイムスタンプ情報で特定される時刻ｔａ，ｔｂが割り当てられている。本実施の形態の動きベクトル検出装置３０は、第２フレームＦｂを着目フレームとし、この第２フレームＦｂよりも時間的に後に入力する第１フレームＦａを参照フレームとして利用する。

動き推定部３２０は、図１６に概略的に示されるように着目フレームＦｂを複数のブロック（たとえば、８×８画素や１６×１６画素）ＭＢ（１），ＭＢ（２），ＭＢ（３），…に分割する。そして、動き推定部３２０は、これら複数のブロックＭＢ（１），ＭＢ（２），ＭＢ（３），…のそれぞれを順次着目ブロックＣＢ_０とし、着目フレームＦｂから参照フレームＦａへの着目ブロックＣＢ_０の動きを推定して信頼度の高い順に上位２つの動きベクトルＭＶＡ_０，ＭＶＢ_０を検出する。具体的には、動き推定部３２０は、着目ブロックＣＢ_０と最も相関の高い参照ブロックＲＢ１と、２番目に相関の高い参照ブロックＲＢ２とを参照フレームＦａの中から探索する。そして、着目ブロックＣＢ_０と当該参照ブロックＲＢ１との間の空間方向のズレが動きベクトルＭＶＡ_０として検出され、着目ブロックＣＢ_０と当該参照ブロックＲＢ２との間の空間方向のズレが動きベクトルＭＶＢ_０として検出される。

動きベクトルＭＶＡ_０，ＭＶＢ_０の検出法としては、公知のブロックマッチング法を使用すればよい。たとえば、サブブロック対の非類似度を表す差分絶対値和（ＳＡＤ）を使用する場合は、ＳＡＤが最も小さい動きベクトルを１位の動きベクトルＭＶＡ_０とし、ＳＡＤが２番目の小さい動きベクトルを２位の動きベクトルＭＶＢ_０とすることができる。

動きベクトル細密化部３３０は、実施の形態１の動きベクトル細密化部１３０と同様に、着目フレームＦｂから派生したブロックＭＢ（１），ＭＢ（２），…の各々を分割して、第１階層から第Ｎ階層に分類された複数のサブブロックを生成する。動きベクトル細密化部３３０は、さらに、ブロック単位の動きベクトルＭＶＡ_０，ＭＶＢ_０に基づいて、最終段の第Ｎ階層を除く階層ごとに各サブブロックについて信頼度の高い順に上位２つの動きベクトルを生成し、最終段の第Ｎ階層では、最も信頼度の高い動きベクトルＭＶを生成する。ここで、動きベクトルの信頼度は、当該動きベクトルの検出に使用された参照サブブロックと着目サブブロックとの類似度または非類似度に基づいて定められるものである。サブブロック対の類似度が高いほど（言い換えれば、サブブロック対の非類似度が低いほど）、動きベクトルの信頼度も高くなる。

図１７は、動きベクトル細密化部３３０の構成を概略的に示す機能ブロック図である。図１７に示されるように、動きベクトル細密化部３３０は、上位２つの動きベクトルＭＶＡ_０，ＭＶＢ_０がそれぞれ入力される入力部３３２ａ，３３２ｂと、参照フレームＦａ及び着目フレームＦｂがそれぞれ入力される入力部３３１ａ，３３１ｂと、第１乃至第Ｎの階層処理部３３３_１〜３３３_Ｎ（Ｎは２以上の整数）と、細密化された動きベクトルＭＶを出力する出力部３３８とを有する。さらに、各階層処理部３３３_ｋ（ｋは１〜Ｎのいずれかの整数）は、動きベクトル生成部３３４_ｋと動きベクトル補正部３３７_ｋとを有している。

階層処理部３３３_１〜３３３_Ｎの基本的な動作は同じである。以下、第１の階層処理部３３３_１で処理されるブロックＭＢ（１），ＭＢ（２），…を第０階層のサブブロックＳＢ_０（１），ＳＢ_０（２），…とみなして、階層処理部３３３_１〜３３３_Ｎの処理について詳細に説明する。

図１８は、階層処理部３３３_ｋにおける動きベクトル生成部３３４_ｋの構成を概略的に示す機能ブロック図である。図１８に示されるように、動きベクトル生成部３３４_ｋは、前段から入力された上位２つの動きベクトルＭＶＡ_ｋ−１，ＭＶＢ_ｋ−１を受ける入力部３４１Ａ_ｋ，３４１Ｂ_ｋと、参照フレームＦａ及び着目フレームＦｂが入力される入力部３４０Ａ_ｋ，３４０Ｂ_ｋと、候補ベクトル抽出部３４２_ｋと、評価部３４３_ｋと、動きベクトル決定部３４４_ｋとを有している。

候補ベクトル抽出部３４２_ｋは、サブブロックＳＢ_ｋ（１），ＳＢ_ｋ（２），…のそれぞれを順次着目サブブロックＣＢ_ｋとし、この着目サブブロックＣＢ_ｋに対して、１つ上位の階層のサブブロックＳＢ_ｋ−１（１），ＳＢ_ｋ−１（２），…の１位の動きベクトル群ＭＶＡ_ｋ−１の中から候補ベクトルＣＶＡ_ｋを抽出する。これと並行して、候補ベクトル抽出部３４２_ｋは、着目サブブロックＣＢ_ｋに対して、１つ上位の階層のサブブロックＳＢ_ｋ−１（１），ＳＢ_ｋ−１（２），…の２位の動きベクトル群ＭＶＢ_ｋ−１の中から候補ベクトルＣＶＢ_ｋを抽出する。抽出された候補ベクトルＣＶＡ_ｋ，ＣＶＢ_ｋは、評価部３４３_ｋに与えられる。候補ベクトルＣＶＡ_ｋ，ＣＶＢ_ｋの抽出方法は、実施の形態１の候補ベクトル抽出部１４２_ｋ（図５）による抽出方法と同じである。

候補ベクトルＣＶＡ_ｋ，ＣＶＢ_ｋが抽出された後、評価部３４３_ｋは、一方の候補ベクトルＣＶＡ_ｋを用いて参照フレームＦａ内の参照サブブロックを抽出し、当該参照サブブロックと着目サブブロックＣＢ_ｋとの間の類似度または非類似度に基づいた評価値Ｅｄａを算出する。これと並行して、評価部３４３_ｋは、他方の候補ベクトルＣＶＢ_ｋを用いて参照フレームＦａ内の参照サブブロックを抽出し、当該参照サブブロックと着目サブブロックＣＢ_ｋとの間の類似度または非類似度に基づいた評価値Ｅｄｂを算出する。これら評価値Ｅｄａ，Ｅｄｂの算出方法は、実施の形態１の評価部１４３_ｋ（図５）による評価値Ｅｄの算出方法と同じである。

そして、動きベクトル決定部３４４_ｋは、評価値Ｅｄａ，Ｅｄｂに基づいて、候補ベクトルＣＶＡ_ｋ，ＣＶＢ_ｋの中から、最も信頼度の高い１位の動きベクトルＭＶＡ_ｋと、２番目に信頼度の高い２位の動きベクトルＭＶＢ_ｋとを選択する。これら動きベクトルＭＶＡ_ｋ，ＭＶＢ_ｋは、それぞれ、出力部３４５Ａ_ｋ，３４５Ｂ_ｋを介して後段に出力される。ただし、最終段の階層処理部３３３_Ｎにおける動きベクトル決定部３４４_Ｎは、前段から供給されたＣＶＡ_Ｎ，ＣＶＢ_Ｎの中から最も信頼度の高い動きベクトルＭＶを選択し、出力する。

図１７の動きベクトル補正部３３７_ｋは、動きベクトルＭＶＡ_ｋを補正する処理と、動きベクトルＭＶＢ_ｋを補正する処理とを並行に実行するフィルタ機能を有する。これら動きベクトルＭＶＡ_ｋ，ＭＶＢ_ｋの補正方法は、上記実施の形態１の動きベクトル補正部３３７_ｋによる動きベクトルＭＶ_ｋの補正方法と同じである。このフィルタ機能により、動きベクトル生成部３３４_ｋから誤った動きベクトルＭＶＡ_ｋ，ＭＶＢ_ｋが出力されたとしても、このような動きベクトルＭＶＡ_ｋ，ＭＶＢ_ｋが後段の階層処理部３３３_ｋ＋１に伝達されることを防止することができる。

上記したように各階層処理部３３３_ｋは、前段から入力された上位２つの動きベクトルＭＶＡ_ｋ−１，ＭＶＢ_ｋ−１に基づいて、より密度の高い動きベクトルＭＶＡ_ｋ，ＭＶＢ_ｋを生成し後段に出力する。最終段の階層処理部３３３_Ｎは、最も信頼度の高い動きベクトルを画素単位の動きベクトルＭＶとして出力する。

以上に説明したように実施の形態３の動きベクトル細密化部３３０は、ブロックＭＢ（１），ＭＢ（２），…の各々を階層的に分割することにより複数階層のサブブロックＳＢ_１（１），ＳＢ_１（２），…，ＳＢ_２（１），ＳＢ_２（２），…，ＳＢ_Ｎ（１），ＳＢ_Ｎ（２），…を生成しつつ、密度の粗い動きベクトルＭＶＡ_０，ＭＶＢ_０から、階層が増すにつれて密度が次第に細かくなる動きベクトルＭＶＡ_１，ＭＶＢ_１，ＭＶＡ_２，ＭＶＢ_２，…，ＭＶＡ_Ｎ−１，ＭＶＢ_Ｎ−１，ＭＶを段階的に生成する。このため、画像中に現れるノイズや空間的な周期パターンの影響が抑制された細密な動きベクトルＭＶを生成することができる。

また、複数階層で求められた動きベクトルＭＶＡ_１，ＭＶＢ_１，ＭＶＡ_２，ＭＶＢ_２，…，ＭＶＡ_Ｎ−１，ＭＶＢ_Ｎ−１，ＭＶは、動きベクトル補正部３３７_１〜３３７_Ｎで補正されるので、各階層における誤った動きベクトルを後段に伝達することを防止することができる。したがって、ブロック単位の動きベクトルＭＶＡ_０，ＭＶＢ_０に基づいて、推定精度の高い細密な動きベクトル（画素単位の動きベクトル）ＭＶを生成することができる。

さらに、上述したように、動き推定部３２０は、ブロックＭＢ（１），ＭＢ（２），…の各々について上位２つの動きベクトルＭＶＡ_０，ＭＶＢ_０を検出し、動きベクトル細密化部３３０の各階層処理部３３３_ｋ（ｋ＝１〜Ｎ−１）も、サブブロックＳＢ_ｋ（１），ＳＢ_ｋ（２），…の各々について上位２つの動きベクトルＭＶＡ_ｋ，ＭＶＢ_ｋを生成している。これにより、図１８の動きベクトル決定部３４４_ｋは、実施の形態１の場合と比べると、より多くの候補ベクトルＣＶＡ_ｋ，ＣＶＢ_ｋの中から、より確からしい動きベクトルを選択することができるので、動きベクトルの推定精度を向上させることができる。

また、図１９に示されるように、サブブロックの境界と画像中の物体Ｏ１，Ｏ２の境界とは必ずしも一致せず、物体Ｏ１，Ｏ２の移動方向が互いに異なる場合がある。このような場合に、サブブロックＳＢ_ｋ（１），ＳＢ_ｋ（２），…の各々について単一の動きベクトルを生成すると、物体Ｏ１，Ｏ２の２つの移動方向に関する情報が失われてしまう可能性がある。これに対し、本実施の形態の動きベクトル検出装置３０は、ブロックＭＢ（１），ＭＢ（２），…及びサブブロックＳＢ_ｋ（１），ＳＢ_ｋ（２），ＳＢ_ｋ（３），…（ｋ＝１〜Ｎ−１）の各々について信頼度の高い上位２つの動きベクトルを生成するので、ブロックＭＢ（１），ＭＢ（２），…またはサブブロックＳＢ_ｋ（１），ＳＢ_ｋ（２），…に存在し得る複数方向の動きに関する情報が失われることを防止することができる。したがって、実施の形態１と比べると、動きベクトルの推定精度をより向上させることができる。

なお、動き推定部３２０及び階層処理部３３３_ｋ（ｋ＝１〜Ｎ−１）は、それぞれ、上位２つの動きベクトルを生成しているが、これに限定されるものではない。動き推定部３２０及び階層処理部３３３_ｋは、それぞれ、信頼度の高い順に上位３つ以上の動きベクトルを生成してもよい。

また、本実施の形態の動き推定部３２０は、２枚のフレームＦａ，Ｆｂに基づいてブロック単位の動きベクトルＭＶＡ_０，ＭＶＢ_０を検出しているが、この代わりに、上記実施の形態２の動き推定部２２０のように３枚以上のフレームに基づいて動きベクトルＭＶＡ_０，ＭＶＢ_０を検出してもよい。

実施の形態４．
次に、本発明に係る実施の形態４について説明する。図２０は、実施の形態４の動きベクトル検出装置４０の構成を概略的に示す機能ブロック図である。

この動きベクトル検出装置４０は、動画像を構成する一連のフレームのうち時間的に互いに前後する第１及び第２フレームＦａ，Ｆｂがそれぞれ入力される入力部４００ａ，４００ｂと、入力された第１及び第２フレームＦａ，Ｆｂからブロック単位の動きベクトルＭＶＡ_０，ＭＶＢ_０を検出する動き推定部４２０とを備えている。動き推定部４２０の機能は、上記実施の形態３の動き推定部３２０の機能と同じである。

また、動きベクトル検出装置４０は、最も信頼度の高い動きベクトルＭＶＡ_０に基づいて画素単位（１画素精度）の候補ベクトルＭＶａを生成する動きベクトル細密化部４３０Ａと、２番目に信頼度の高い動きベクトルＭＶＢ_０に基づいて画素単位の候補ベクトルＭＶｂを生成する動きベクトル細密化部４３０Ｂと、候補ベクトルＭＶａ，ＭＶｂのうちの一方を動きベクトルＭＶとして選択する動きベクトル選択部４４０と、動きベクトルＭＶを外部に出力する出力部４５０とを備える。

動きベクトル細密化部４３０Ａは、上記実施の形態１の動きベクトル細密化部１３０（図１）と同様に、着目フレームＦｂから派生したブロックＭＢ（１），ＭＢ（２），…の各々を階層的に分割して第１階層から第Ｎ階層に分類された複数のサブブロックを生成し、ブロック単位の動きベクトルＭＶＡ_０に基づいて、階層ごとに各サブブロックの動きベクトルを生成する機能を有する。他方、動きベクトル細密化部（副動きベクトル細密化部）４３０Ｂも、上記実施の形態１の動きベクトル細密化部１３０と同様に、着目フレームＦｂから派生したブロックＭＢ（１），ＭＢ（２），…の各々を階層的に分割して第１階層から第Ｎ階層に分類された複数のサブブロックを生成し、ブロック単位の動きベクトルＭＶＢ_０に基づいて、階層ごとに各サブブロックの動きベクトルを生成する機能を有する。

動きベクトル選択部４４０は、候補ベクトルＭＶａ，ＭＶｂのうちの一方を動きベクトルＭＶとして選択し、この動きベクトルＭＶを出力部４５０を介して外部に出力する。たとえば、動きベクトル細密化部４３０Ａ，４３０Ｂの最終階層で得られた、参照サブブロックと着目サブブロックとの間の類似度または非類似度に基づいて、候補ベクトルＭＶａ，ＭＶｂのうち信頼度が高い方を動きベクトルＭＶとして選択することができるが、これに限定されるものではない。

上記したように実施の形態４の動きベクトル検出装置４０は、ブロックＭＢ（１），ＭＢ（２），…の各々について上位２つの動きベクトルＭＶＡ_０，ＭＶＢ_０を検出して２つの細密な候補ベクトルＭＶａ，ＭＶｂを生成するので、これら候補ベクトルＭＶａ，ＭＶｂのうち信頼度の高い方を動きベクトルＭＶとして出力することができる。また、実施の形態３の場合と同様に、ブロックＭＢ（１），ＭＢ（２），…の各々に存在し得る複数方向の動きに関する情報が失われることを防止することができる。したがって、実施の形態１と比べると、動きベクトルの推定精度をより向上させることができる。

なお、動き推定部４２０は、上位２つの動きベクトルＭＶＡ_０，ＭＶＢ_０を生成しているが、これに限定されるものではない。動き推定部４２０は、信頼度の高い順にＭ個以上（Ｍは３以上の整数）の動きベクトルを生成してもよい。この場合は、Ｍ個の動きベクトルに基づいてＭ個の細密な候補ベクトルを生成するＭ個の動きベクトル細密化部を組み込めばよい。

実施の形態５．
次に、本発明に係る実施の形態５について説明する。図２１は、実施の形態５の動きベクトル検出装置における動きベクトル細密化部１６０の構成を概略的に示す機能ブロック図である。本実施の形態の動きベクトル検出装置は、図１の動きベクトル細密化部１３０の代わりに図２１の動きベクトル細密化部１６０を有する点を除いて、実施の形態１の動きベクトル検出装置１０と同じ構成を有する。

図２１に示されるように、動きベクトル細密化部１６０は、ブロック単位の動きベクトルＭＶ_０が入力される入力部１６２と、参照フレームＦａ及び着目フレームＦｂが入力される入力部１６１ａ，１６１ｂと、第１乃至第Ｎの階層処理部１６３_１〜１６３_Ｎ（Ｎは２以上の整数）と、画素単位の動きベクトルＭＶを出力する出力部１６８とを有する。各階層処理部１６３_ｋ（ｋは１〜Ｎのいずれかの整数）は、動きベクトル生成部１３４_ｋと動きベクトル補正部１３７_ｋとを有しており、図２１の動きベクトル補正部１３７_ｋは、図４の動きベクトル補正部１３７_ｋと同じ構成を有する。

図２２は、図２１の動きベクトル細密化部１６０におけるｋ番目の動きベクトル生成部１６４_ｋの構成を概略的に示す機能ブロック図である。図２２に示されるように、動きベクトル生成部１６４_ｋは、前段から入力された動きベクトルＭＶ_ｋ−１を受ける入力部１７１_ｋと、参照フレームＦａ及び着目フレームＦｂが入力される入力部１７０Ａ_ｋ，１７０Ｂ_ｋと、候補ベクトル抽出部１７２_ｋと、評価部１４３_ｋと、動きベクトル決定部１４４_ｋとを有しており、図２２の評価部１４３_ｋ及び動きベクトル決定部１４４_ｋは、図５の評価部１４３_ｋ及び動きベクトル決定部１４４_ｋと同じ構成を有する。本実施の形態の候補ベクトル抽出部１７２_ｋは、着目サブブロックの生成元（１つ上位の階層のサブブロック）に対する当該着目サブブロックの相対位置を検出する相対位置検出部１７２ａを有している。

図２３は、候補ベクトル抽出部１７２_ｋにより実行される候補ベクトル抽出処理の手順を概略的に示すフローチャートである。図２３に示されるように、候補ベクトル抽出部１７２_ｋは、まず、サブブロック番号ｊを初期値「１」に設定し（ステップＳ１０）、ｊ番目のサブブロックＳＢ_ｋ（ｊ）を着目サブブロックＣＢ_ｋに設定する（ステップＳ１１）。次いで、候補ベクトル抽出部１７２_ｋは、１つ上位の第ｋ−１階層のサブブロック群のうち、着目サブブロックＣＢ_ｋの生成元であるサブブロックＳＢ_ｋ−１（ｉ）を選択する（ステップＳ１２）。次いで、候補ベクトル抽出部１７２_ｋは、サブブロックＳＢ_ｋ−１（ｉ）の動きベクトルＭＶ_ｋ−１（ｉ）を候補ベクトル集合Ｖ_ｋ（ｊ）に登録する（ステップＳ１３）。

その後、候補ベクトル抽出部１７２_ｋの相対位置検出部１７２ａは、上位階層のサブブロックＳＢ_ｋ−１（ｉ）に対する着目サブブロックＣＢ_ｋの相対位置を検出する（ステップＳ１３Ａ）。たとえば、図７（Ａ），（Ｂ）の場合には、第ｋ階層の着目サブブロックＣＢ_ｋの生成元は、第ｋ−１階層のサブブロックＳＢ_ｋ−１（ｉ）である。この場合、相対位置検出部１７２ａは、第ｋ−１階層のサブブロックＳＢ_ｋ−１（ｉ）の中心に対して着目サブブロックＣＢ_ｋが右下方に位置することを検出することができる。また、図９（Ａ），（Ｂ）の場合、着目サブブロックＣＢ_ｋは、サブブロックＳＢ_ｋ−１（ｉ）の境界に相当する点線の枠の頂点に接しない位置に配置されている。この場合、相対位置検出部１７２ａは、着目サブブロックＣＢ_ｋと空間的に最も近い枠の頂点の位置情報を出力することができる。

次に、候補ベクトル抽出部１４２_ｋは、ステップＳ１３Ａで検出された相対位置を用いて、第ｋ−１階層における生成元のサブブロックＳＢ_ｋ−１（ｉ）の周辺領域のサブブロック群を選択し（ステップＳ１４Ｍ）、このサブブロック群の動きベクトルを候補ベクトル集合Ｖ_ｋ（ｊ）に登録する（ステップＳ１５）。たとえば、図７（Ａ），（Ｂ）の場合、候補ベクトル抽出部１４２_ｋは、ステップＳ１３Ａで検出された相対位置を用いて、着目サブブロックＣＢ_ｋの生成元であるサブブロックＳＢ_ｋ−１（ｉ）に隣接する周辺サブブロックＳＢ_ｋ−１（ａ）〜ＳＢ_ｋ−１（ｈ）の中から、当該サブブロックＳＢ_ｋ−１（ｉ）の境界４辺のうち当該境界の右下の頂点を含む２辺に隣接するサブブロックＳＢ_ｋ−１（ｃ）〜ＳＢ_ｋ−１（ｇ）を選択することができる（ステップＳ１４Ｍ）。図９（Ａ），（Ｂ）の場合にも同様に、ステップＳ１３Ａで検出された相対位置を用いて、サブブロックＳＢ_ｋ−１（ｉ）に隣接する周辺サブブロックＳＢ_ｋ−１（ａ）〜ＳＢ_ｋ−１（ｈ）の中からサブブロックＳＢ_ｋ−１（ｃ）〜ＳＢ_ｋ−１（ｇ）を選択することが可能である（ステップＳ１４Ｍ）。なお、ステップＳ１４Ｍで選択されるサブブロックは、サブブロックＳＢ_ｋ−１（ｉ）と隣接するサブブロックＳＢ_ｋ−１（ｄ）〜ＳＢ_ｋ−１（ｆ）に限定されているが、これに限定されず、サブブロックＳＢ_ｋ−１（ｉ）と隣接しないサブブロックが選択されてもよい。

ステップＳ１５の後、候補ベクトル抽出部１７２_ｋは、サブブロック番号ｊが、第ｋ階層に属するサブブロックの総数Ｎ_ｋに達したか否かを判定し（ステップＳ１６）、サブブロック番号ｊが総数Ｎ_ｋに達していない場合（ステップＳ１６のＮＯ）には、サブブロック番号ｊを１だけインクリメントし（ステップＳ１７）、ステップＳ１１に処理を戻す。他方で、サブブロック番号ｊが総数Ｎ_ｋに達している場合（ステップＳ１６のＹＥＳ）には、候補ベクトル抽出処理は終了する。

以上に説明したように実施の形態５の候補ベクトル抽出部１７２_ｋは、相対位置検出部１７２ａによる検出結果を用いて、着目サブブロックＣＢ_ｋの生成元ＳＢ_ｋ−１（ｉ）の周辺領域に位置するサブブロックの中から、着目サブブロックＣＢ_ｋと空間的に比較的近いサブブロックを選択することができる（ステップＳ１４Ｍ）。したがって、実施の形態１の候補ベクトル抽出処理（図６）と比べると、候補ベクトルの数を減らすことができ、後段の評価部１４３_ｋの処理負荷の軽減あるいは演算速度の向上を図ることができる。また、候補ベクトル抽出部１７２_ｋがハードウエアで構成されている場合には、回路規模を削減することができる。

なお、本実施の形態の動きベクトル細密化部１６０の構成は、上記実施の形態２，３，４の動きベクトル細密化部２３０，３３０，４３０Ａ，４３０Ｂに適用することができる。

実施の形態６．
次に、本発明に係る実施の形態６について説明する。図２４は、実施の形態６のフレーム補間装置１の構成を概略的に示す機能ブロック図である。

図２４に示されるように、このフレーム補間装置１は、図示されない外部装置から入力部２を介して入力された映像信号１３を一時的に格納するフレームバッファ１１と、動きベクトル検出装置６０と、補間部１２とを備えている。動きベクトル検出装置６０の構成は、上記実施の形態１〜４の動きベクトル検出装置１０，２０，３０，４０及び上記実施の形態５の動きベクトル検出装置のうちのいずれかの構成と同じである。

フレームバッファ１１は、動画像を構成する一連のフレームを表す映像信号１４を、２フレーム単位または３フレーム単位で動きベクトル検出装置６０に出力する。動きベクトル検出装置６０は、フレームバッファ１１から読み出され入力された映像信号１４に基づいて画素単位（１画素精度）の動きベクトルＭＶを生成し、補間部１２に出力する。

補間部１２は、フレームバッファ１１から読み出された時間的に連続するフレームのデータ１５を用い、細密な動きベクトルＭＶに基づいてフレーム間に補間フレーム（内挿補間フレームあるいは外挿補間フレーム）を生成する機能を有する。補間フレームを含む補間映像信号１６は、出力部３を介して外部に出力される。

図２５は、フレーム補間方法の一例である線形補間法を説明するための図である。図２５に示されるように、時間的に前後するフレームＦ_ｋ＋１，Ｆ_ｋの間に補間フレームＦ_ｉが生成（線形補間）される。フレームＦ_ｋ＋１，Ｆ_ｋにはそれぞれ時刻ｔ_ｋ＋１，ｔ_ｋが割り当てられており、補間フレームＦ_ｉの時刻ｔ_ｉは、時刻ｔ_ｋよりもΔｔ_１だけ先方にあり、時刻ｔ_ｋ＋１よりもΔｔ_２だけ後方にある。フレームＦ_ｋ＋１上の画素Ｐ_ｋ＋１の位置は、フレームＦ_ｋ＋１上の画素Ｐ_ｋの位置が動きベクトルＭＶ＝（Ｖｘ，Ｖｙ）の分だけ移動したものである。

補間フレームＦ_ｉ上の補間画素Ｐ_ｉの位置は、フレームＦ_ｋ上の画素Ｐ_ｋの位置が動きベクトルＭＶｉ＝（Ｖｘｉ，Ｖｙｉ）の分だけ移動したものである。動きベクトルＭＶｉのＸ成分及びＹ成分については、以下の式が成立する。
Ｖｘｉ＝Ｖｘ・（１−Δｔ_２／ΔＴ）
Ｖｙｉ＝Ｖｙ・（１−Δｔ_２／ΔＴ）

ここで、ΔＴ＝Δｔ_１＋Δｔ_２、である。補間画素Ｐ_ｉの画素値は、フレームＦ_ｋ上の画素Ｐ_ｋの画素値とすることができる。

なお、フレーム補間方法は、線形補間法に限定されず、画素の動き方に適した他の補間法を使用してもよい。

上記したように実施の形態６のフレーム補間装置１は、動きベクトル検出装置６０で生成された推定精度の高い細密な動きベクトルＭＶを用いてフレーム補間を行うことができるので、補間フレーム内に現れる物体の境界部分におけるブロックノイズなどの画像の乱れを抑制することができ、高画質の補間フレームを生成することができる。

なお、フレームバッファ１１は、解像度の高い補間フレームＦ_ｉを生成するために、入力された映像信号１３に含まれるフレーム各々の解像度をより高い解像度に変換する機能を有していてもよい。これにより、フレーム補間装置１は、フレームレートが高く、且つ、解像度も高い高品質な映像信号１６を出力することができる。

また、動きベクトル検出装置６０及び補間部１２の機能の全部または一部は、ハードウェア構成で実現されてもよいし、あるいは、マイクロプロセッサにより実行されるコンピュータプログラムで実現されてもよい。

図２６は、当該機能の全部または一部をコンピュータプログラムで実現する場合のフレーム補間装置１の構成を概略的に示す図である。図２６のフレーム補間装置１は、ＣＰＵ（ｃｅｎｔｒａｌｐｒｏｃｅｓｓｉｎｇｕｎｉｔ）を含むプロセッサ７１、専用処理ユニット７２、入出力インタフェース７３、ＲＡＭ（ｒａｎｄｏｍａｃｃｅｓｓｍｅｍｏｒｙ）７４、不揮発性メモリ７５、記録媒体７６及びバス８０を備えている。記録媒体７６としては、たとえば、ハードディスク（磁気ディスク）、光ディスクまたはフラッシュメモリが挙げられる。

入出力インタフェース７３内には図２４のフレームバッファ１１を組み込むことができ、動きベクトル検出装置６０及び補間部１２は、プロセッサ７１または専用処理ユニット７２で実現することができる。プロセッサ７１は、不揮発性メモリ７５または記録媒体７６からコンピュータプログラムをロードし実行することによって動きベクトル検出装置６０の機能や補間部１２の機能を実現することができる。

実施の形態１〜６の変形例．
以上、図面を参照して本発明の実施の形態について述べたが、これらは本発明の例示であり、上記以外の様々な形態を採用することもできる。たとえば、上記実施の形態１〜５では、いずれも、最終的に出力される動きベクトルＭＶの精度は１画素精度であるが、これに限定されるものではない。半画素精度や１／４画素精度や１．５画素精度といった、整数画素精度以外の画素精度の動きベクトルＭＶを生成するように各実施の形態の構成を変更することも可能である。

また、上記実施の形態１の動きベクトル細密化部１３０では、図４に示されるように、全ての階層処理部１３３_１〜１３３_Ｎが動きベクトル補正部１３７_１〜１３７_Ｎを有しているが、これに限定されるものではない。階層処理部１３３_１〜１３３_Ｎのうちの少なくとも１つの階層処理部１３３_ｍ（ｍは１〜Ｎのうちのいずれか）が動きベクトル補正部１３７_ｍを有し、その他の階層処理部１３３_ｎ（ｎ≠ｍ）が動きベクトル補正部を有していない形態もあり得る。また、実施の形態３の動きベクトル細密化部３３０についても、階層処理部３３３_１〜３３３_Ｎのうちの少なくとも１つの階層処理部１３３_ｐ（ｐは１〜Ｎのうちのいずれか）が動きベクトル補正部１３７_ｐを有し、その他の階層処理部１３３_ｑ（ｑ≠ｐ）が動きベクトル補正部を有していない形態があり得る。実施の形態２，４，５の動きベクトル細密化部２３０，４３０Ａ，４３０Ｂ，１６０についても同様である。

また、上記サブブロックＳＢ_ｋ（ｊ）へのサブブロック番号ｊの割り当て法は、特に限定されるものではなく、任意の割り当て法を採用することができる。

１フレーム補間装置、２入力部、３出力部、１０，２０，３０，４０，５０動きベクトル検出装置、１２０，２２０，３２０，４２０動き推定部、１３０，２３０，３３０，４３０Ａ，４３０Ｂ動きベクトル細密化部、１３３_１〜１３３_Ｎ，３３３_１〜３３３_Ｎ階層処理部、１３４_１〜１３４_Ｎ，３３４_１〜３３４_Ｎ動きベクトル生成部、１３７_１〜１３７_Ｎ，３３７_１〜３３７_Ｎ動きベクトル補正部、１４２_ｋ，３４２_ｋ候補ベクトル抽出部、１４３_ｋ，３４３_ｋ評価部、１４４_ｋ，３４４_ｋ動きベクトル決定部、４４０動きベクトル選択部、１１フレームバッファ、１２補間部、７１プロセッサ、７２専用処理ユニット、７３入出力インタフェース、７４ＲＡＭ、７５不揮発性メモリ、７６記録媒体、８０バス。

本発明の第１の態様による動きベクトル検出装置は、動画像を構成する一連のフレームにおける動きを検出する動きベクトル検出装置であって、前記一連のフレームの中の着目フレームを複数のブロックに分割し、前記一連のフレームのうち前記着目フレームとは時間的に異なるフレームを参照フレームとするとともに前記複数のブロックの各々を着目ブロックとして、前記参照フレームの中から前記着目ブロックと最も相関の高い参照ブロックを探索し、前記参照ブロックと前記着目サブブロックとの間の空間方向のズレを前記着目ブロックの動きベクトルとして検出する動き推定部と、前記複数のブロックを第０階層の複数のサブブロックとみなし、前記第０階層の複数のサブブロックの各々を階層的に分割して第１階層乃至第Ｎ階層（Ｎは２以上の整数）に分類された複数のサブブロックを生成し、前記第１階層乃至第Ｎ階層の各階層ごとに前記複数のサブブロック各々の動きベクトルを生成する動きベクトル細密化部とを備え、前記動きベクトル細密化部は、前記各階層よりも１つ上位の階層の当該サブブロックを生成元として当該各階層のサブブロックを生成し、前記複数のサブブロックの各々を着目サブブロックとして前記着目サブブロックの生成元である生成元サブブロックの動きベクトルを候補ベクトル集合に登録するとともに、前記生成元サブブロックの同一階層における周辺領域に位置するサブブロックの動きベクトルをも前記候補ベクトル集合に登録し、前記候補ベクトル集合から前記着目サブブロックの動きベクトルを選択する動きベクトル生成部と、前記第１階層乃至第Ｎ階層のうちの少なくとも１つの補正対象階層について、当該補正対象階層の複数のサブブロックのそれぞれを補正対象サブブロックとし、前記補正対象サブブロックの周辺領域に位置する周辺サブブロックの動きベクトルに基づいて、前記補正対象サブブロックの動きベクトルを補正する動きベクトル補正部とを含み、前記動きベクトル補正部は、前記補正対象サブブロックの動きベクトル及び前記周辺サブブロックの動きベクトルの中から、前記補正対象サブブロックの動きベクトルと前記周辺サブブロックの動きベクトルとの間の距離の総和を最小とする補正候補ベクトルを選択し、前記補正候補ベクトルの動きベクトルで前記補正対象サブブロックの動きベクトルを置き換えることによって前記補正対象サブブロックの動きベクトルを補正することを特徴とする。

本発明の第３の態様による動きベクトル検出方法は、動画像を構成する一連のフレームの中の動きを検出する動きベクトル検出方法であって、前記一連のフレームの中の着目フレームを複数のブロックに分割し、前記一連のフレームのうち前記着目フレームとは時間的に異なるフレームを参照フレームとするとともに前記複数のブロックの各々を着目ブロックとして、前記参照フレームの中から前記着目ブロックと最も相関の高い参照ブロックを探索し、前記参照ブロックと前記着目サブブロックとの間の空間方向のズレを前記着目ブロックの動きベクトルとして検出する動き推定ステップと、前記複数のブロックを第０階層の複数のサブブロックとみなし、前記第０階層の複数のサブブロックの各々を階層的に分割して第１階層乃至第Ｎ階層（Ｎは２以上の整数）に分類された複数のサブブロックを生成し、前記第１階層乃至第Ｎ階層の各階層ごとに前記複数のサブブロック各々の動きベクトルを生成する動きベクトル細密化ステップとを備え、前記動きベクトル細密化ステップは、前記各階層よりも１つ上位の階層の当該サブブロックを生成元として当該各階層のサブブロックを生成し、前記複数のサブブロックの各々を着目サブブロックとして前記着目サブブロックの生成元である生成元サブブロックの動きベクトルを候補ベクトル集合に登録するとともに、前記生成元サブブロックの同一階層における周辺領域に位置するサブブロックの動きベクトルをも前記候補ベクトル集合に登録し、前記候補ベクトル集合から前記着目サブブロックの動きベクトルを選択する動きベクトル生成ステップと、前記第１階層乃至第Ｎ階層のうちの少なくとも１つの補正対象階層について、当該補正対象階層の複数のサブブロックのそれぞれを補正対象サブブロックとし、前記補正対象サブブロックの周辺領域に位置する周辺サブブロックの動きベクトルに基づいて、前記補正対象サブブロックの動きベクトルを補正する補正ステップとを含み、前記動きベクトル補正ステップは、前記補正対象サブブロックの動きベクトル及び前記周辺サブブロックの動きベクトルの中から、前記補正対象サブブロックの動きベクトルと前記周辺サブブロックの動きベクトルとの間の距離の総和を最小とする補正候補ベクトルを選択するステップと、前記補正候補ベクトルの動きベクトルで前記補正対象サブブロックの動きベクトルを置き換えることによって前記補正対象サブブロックの動きベクトルを補正するステップとを含むことを特徴とする。

Claims

動画像を構成する一連のフレームにおける動きを検出する動きベクトル検出装置であって、
前記一連のフレームの中の着目フレームを複数のブロックに分割し、前記一連のフレームのうち前記着目フレームとは時間的に異なるフレームを参照フレームとして、前記着目フレームと前記参照フレームとの間における前記各ブロックの動きを推定してブロック単位の動きベクトルを検出する動き推定部と、
前記複数のブロックに基づいて第１階層乃至第Ｎ階層（Ｎは２以上の整数）に分類された複数のサブブロックを生成し、前記ブロック単位の動きベクトルに基づいて前記複数のサブブロック各々の動きベクトルを生成する動きベクトル細密化部と
を備え、
前記動きベクトル細密化部は、
前記複数のブロックの各々を生成元として前記第１階層の複数のサブブロックを生成し、前記ブロック単位の動きベクトルに基づいて前記第１階層の複数のサブブロック各々の動きベクトルを生成する第１の動きベクトル生成部と、
前記第１階層乃至第Ｎ階層のうちの第２階層乃至第Ｎ階層の各階層について、当該各階層よりも１つ上位の階層の複数のサブブロックの各々を生成元として当該各階層の複数のサブブロックを生成し、当該１つ上位の階層の複数のサブブロックの動きベクトルに基づいて、当該各階層の複数のサブブロック各々の動きベクトルを生成する第２の動きベクトル生成部と、
前記第１階層乃至第Ｎ階層のうちの少なくとも１つの補正対象階層について、当該補正対象階層の複数のサブブロックのそれぞれを補正対象サブブロックとし、前記補正対象サブブロックの周辺領域に位置する周辺サブブロックの動きベクトルと前記補正対象サブブロックの動きベクトルとを包含する集合に属する動きベクトルと前記補正対象サブブロックの動きベクトルとの間の距離の総和が最小となるように前記補正対象サブブロックの動きベクトルを補正する動きベクトル補正部と
を含み、
前記第２の動きベクトル生成部は、前記動きベクトル補正部により補正された動きベクトルを用いて、前記補正対象階層よりも１つ下位の階層の複数のサブブロック各々の動きベクトルを生成する
ことを特徴とする動きベクトル検出装置。
請求項１に記載の動きベクトル検出装置であって、前記動きベクトル補正部は、前記集合に属する動きベクトルの中から前記距離の総和を最小にする動きベクトルを選択し、当該選択された動きベクトルで前記補正対象サブブロックの動きベクトルを置換することで前記補正対象サブブロックの動きベクトルを補正することを特徴とする動きベクトル検出装置。
請求項１または２に記載の動きベクトル検出装置であって、
前記第１の動きベクトル生成部は、
前記第１階層の複数のサブブロックのそれぞれを第１階層の着目サブブロックとし、前記第１階層の着目サブブロックの生成元の動きベクトルと、前記複数のブロックのうち前記第１階層の着目サブブロックの生成元の周辺領域に位置するブロックの動きベクトルとを第１階層の候補ベクトルとして抽出する第１階層候補ベクトル抽出部と、
前記第１階層の候補ベクトルの各々について、前記第１階層の着目サブブロックのフレーム内位置に相当する前記参照フレーム内の位置から前記第１階層の候補ベクトル分ずれた位置にある参照サブブロックと前記第１階層の着目サブブロックとの間の類似度または非類似度を示す第１の評価値を算出する第１階層評価部と、
前記第１の評価値に基づいて、前記第１階層の候補ベクトルの中から前記第１階層の着目サブブロックの動きベクトルを選択することで前記第１階層の複数のサブブロック各々の当該動きベクトルを生成する第１階層動きベクトル決定部と
を有し、
前記第２の動きベクトル生成部は、
前記第２階層乃至第Ｎ階層の各階層の複数のサブブロックのそれぞれを当該各階層の着目サブブロックとし、当該各階層の着目サブブロックの生成元の動きベクトルと、当該各階層よりも１つ上位の階層の複数のサブブロックのうち当該各階層の着目サブブロックの生成元の周辺領域に位置するサブブロックの動きベクトルとを当該各階層の候補ベクトルとして抽出する候補ベクトル抽出部と、
当該各階層の候補ベクトルの各々について、当該各階層の着目サブブロックのフレーム内位置に相当する前記参照フレーム内の位置から当該各階層の候補ベクトル分ずれた位置にある参照サブブロックと当該各階層の着目サブブロックとの間の類似度または非類似度を示す第２の評価値を算出する評価部と、
前記第２の評価値に基づいて、当該各階層の候補ベクトルの中から当該各階層の着目サブブロックの動きベクトルを選択することで当該各階層の複数のサブブロック各々の動きベクトルを生成する動きベクトル決定部と
を有することを特徴とする動きベクトル検出装置。
請求項３に記載の動きベクトル検出装置であって、
前記第１階層候補ベクトル抽出部は、前記第１階層の着目サブブロックの生成元に対する前記第１階層の着目サブブロックの相対位置を検出し、該相対位置を用いて前記第１階層の候補ベクトルを抽出し、
前記候補ベクトル抽出部は、当該各階層の着目サブブロックの生成元に対する当該各階層の着目サブブロックの相対位置を検出し、該相対位置を用いて当該各階層の候補ベクトルを抽出する
ことを特徴とする動きベクトル検出装置。
請求項３または４に記載の動きベクトル検出装置であって、
前記第１階層動きベクトル決定部は、前記第１階層の着目サブブロックの動きベクトルとして、前記第１階層の候補ベクトルの中から信頼度の高い順に複数の動きベクトルを選択し、
前記動きベクトル決定部は、前記第２階層乃至第Ｎ−１階層の各階層の複数のサブブロックのそれぞれを当該各階層の着目サブブロックとするとき、当該各階層の着目サブブロックの動きベクトルとして、当該各階層の候補ベクトルの中から信頼度の高い順に複数の動きベクトルを選択する、
ことを特徴とする動きベクトル検出装置。
請求項３から５のうちのいずれか１項に記載の動きベクトル検出装置であって、
前記第１階層の着目サブブロックの生成元の周辺領域に位置する当該ブロックは、当該生成元のブロックに対して、水平画素方向、垂直画素方向、右上がり斜め方向、右下がり斜め方向、左上がり斜め方向及び左下がり斜め方向にそれぞれ隣接する８個のブロックのうちから選択された２以上のブロックからなり、
当該各階層の着目サブブロックの生成元の周辺領域に位置する当該サブブロックは、当該生成元のサブブロックに対して、水平画素方向、垂直画素方向、右上がり斜め方向、右下がり斜め方向、左上がり斜め方向及び左下がり斜め方向にそれぞれ隣接する８個のサブブロックのうちから選択された２以上のサブブロックからなる
ことを特徴とする動きベクトル検出装置。
請求項１から６のうちのいずれか１項に記載の動きベクトル検出装置であって、
前記第１階層の複数のサブブロックは、前記複数のブロックの各々を分割することにより生成され、
前記第２階層乃至第Ｎ階層の各階層の複数のサブブロックは、当該各階層よりも１つ上位の階層の複数のサブブロックの各々を分割することにより生成される
ことを特徴とする動きベクトル検出装置。
請求項１から７のうちのいずれか１項に記載の動きベクトル検出装置であって、前記距離は、マンハッタン距離であることを特徴とする動きベクトル検出装置。
請求項１から８のうちのいずれか１項に記載の動きベクトル検出装置であって、前記補正対象サブブロックの周辺領域に位置する当該周辺サブブロックは、前記各サブブロックと隣接するサブブロック、または、前記各サブブロックから所定範囲内にあるサブブロックであることを特徴とする動きベクトル検出装置。
請求項１から９のうちのいずれか１項に記載の動きベクトル検出装置であって、前記動き推定部は、前記各ブロックの動きを推定した結果に基づいて、信頼度の高い順にＭ個（Ｍは２以上の整数）の動きベクトルを前記ブロック単位の動きベクトルとして検出することを特徴とする動きベクトル検出装置。
請求項１０に記載の動きベクトル検出装置であって、
前記第Ｎ階層のサブブロックについてＭ個の前記動きベクトル細密化部により生成されたＭ個の動きベクトルの中から最も信頼度の高い動きベクトルを選択する動きベクトル選択部をさらに備え、
Ｍ個の前記動きベクトル細密化部は、前記動き推定部により検出された当該Ｍ個の動きベクトルに基づいて前記第Ｎ階層の各サブブロックの当該Ｍ個の動きベクトルをそれぞれ生成する
ことを特徴とする動きベクトル検出装置。
請求項１から１１のうちのいずれか１項に記載の動きベクトル検出装置であって、前記動き推定部は、前記一連のフレームのうち時間的に互いに前後する一対のフレームを入力とし、前記一対のフレームのうちの一方を前記複数のブロックに分割し、前記各ブロックの前記一対のフレーム間の動きを推定して前記ブロック単位の動きベクトルを検出することを特徴とする動きベクトル検出装置。
請求項１から１１のうちのいずれか１項に記載の動きベクトル検出装置であって、前記動き推定部は、前記一連のフレームのうち時間的に連続する少なくとも３枚のフレームを入力とし、前記３枚のフレームのうちの中間フレームを前記複数のブロックに分割し、前記少なくとも３枚のフレームにおける前記各ブロックの動きを推定して前記ブロック単位の動きベクトルを検出することを特徴とする動きベクトル検出装置。
請求項１から１３のうちのいずれか１項に記載の動きベクトル検出装置であって、前記第Ｎ階層のサブブロックの動きベクトルは、１画素精度の動きベクトルであることを特徴とする動きベクトル検出装置。
請求項１から１４のうちのいずれか１項に記載の動きベクトル検出装置と、
前記第Ｎ階層の複数のサブブロックの各々について前記動きベクトル検出装置により検出された動きベクトルに基づいて補間フレームを生成する補間部と
を備えることを特徴とするフレーム補間装置。
動画像を構成する一連のフレームの中の動きを検出する動きベクトル検出方法であって、
前記一連のフレームの中の着目フレームを複数のブロックに分割し、前記一連のフレームのうち前記着目フレームとは時間的に異なるフレームを参照フレームとして、前記着目フレームと前記参照フレームとの間における前記各ブロックの動きを推定してブロック単位の動きベクトルを検出する動き推定ステップと、
前記複数のブロックに基づいて第１階層乃至第Ｎ階層（Ｎは２以上の整数）に分類された複数のサブブロックを生成し、前記ブロック単位の動きベクトルに基づいて前記複数のサブブロック各々の動きベクトルを生成する動きベクトル細密化ステップと
を備え、
前記動きベクトル細密化ステップは、
前記複数のブロックの各々を生成元として前記第１階層の複数のサブブロックを生成し、前記ブロック単位の動きベクトルに基づいて前記第１階層の複数のサブブロック各々の動きベクトルを生成する第１の動きベクトル生成ステップと、
前記第１階層乃至第Ｎ階層のうちの第２階層乃至第Ｎ階層の各階層について、当該各階層よりも１つ上位の階層の複数のサブブロックの各々を生成元として当該各階層の複数のサブブロックを生成し、当該１つ上位の階層の複数のサブブロックの動きベクトルに基づいて、当該各階層の複数のサブブロック各々の動きベクトルを生成する第２の動きベクトル生成ステップと、
前記第１階層乃至第Ｎ階層のうちの少なくとも１つの補正対象階層について、当該補正対象階層の複数のサブブロックのそれぞれを補正対象サブブロックとし、前記補正対象サブブロックの周辺領域に位置する周辺サブブロックの動きベクトルと前記補正対象サブブロックの動きベクトルとを包含する集合に属する動きベクトルと前記補正対象サブブロックの動きベクトルとの間の距離の総和が最小となるように前記補正対象サブブロックの動きベクトルを補正する補正ステップと
を含み、
前記第２の動きベクトル生成ステップでは、当該補正された動きベクトルを用いて、前記補正対象階層よりも１つ下位の階層の複数のサブブロック各々の動きベクトルが生成される
ことを特徴とする動きベクトル検出方法。
請求項１６に記載の動きベクトル検出方法であって、
前記補正ステップは、
前記集合に属する動きベクトルの中から前記距離の総和を最小にする動きベクトルを選択するステップと、
当該選択された動きベクトルで前記補正対象サブブロックの動きベクトルを置換することで前記補正対象サブブロックの動きベクトルを補正するステップと
を含むことを特徴とする動きベクトル検出方法。
請求項１６または１７に記載の動きベクトル検出方法であって、
前記第１の動きベクトル生成ステップは、
前記第１階層の複数のサブブロックのそれぞれを第１階層の着目サブブロックとし、前記第１階層の着目サブブロックの生成元の動きベクトルと、前記複数のブロックのうち前記第１階層の着目サブブロックの生成元の周辺領域に位置するブロックの動きベクトルとを第１階層の候補ベクトルとして抽出する第１の抽出ステップと、
前記第１階層の候補ベクトルの各々について、前記第１階層の着目サブブロックのフレーム内位置に相当する前記参照フレーム内の位置から前記第１階層の候補ベクトル分ずれた位置にある参照サブブロックと前記第１階層の着目サブブロックとの間の類似度または非類似度を示す第１の評価値を算出する第１の評価ステップと、
前記第１の評価値に基づいて、前記第１階層の候補ベクトルの中から前記第１階層の着目サブブロックの動きベクトルを選択することで前記第１階層の複数のサブブロック各々の当該動きベクトルを生成する第１の選択ステップと
を有し、
前記第２の動きベクトル生成ステップは、
前記第２階層乃至第Ｎ階層の各階層の複数のサブブロックのそれぞれを当該各階層の着目サブブロックとし、当該各階層の着目サブブロックの生成元の動きベクトルと、当該各階層よりも１つ上位の階層の複数のサブブロックのうち当該各階層の着目サブブロックの生成元の周辺領域に位置するサブブロックの動きベクトルとを当該各階層の候補ベクトルとして抽出する第２の抽出ステップと、
当該各階層の候補ベクトルの各々について、当該各階層の着目サブブロックのフレーム内位置に相当する前記参照フレーム内の位置から当該各階層の候補ベクトル分ずれた位置にある参照サブブロックと当該各階層の着目サブブロックとの間の類似度または非類似度を示す第２の評価値を算出する第２の評価ステップと、
前記第２の評価値に基づいて、当該各階層の候補ベクトルの中から当該各階層の着目サブブロックの動きベクトルを選択することで当該各階層の複数のサブブロック各々の動きベクトルを生成する第２の選択ステップと
を有することを特徴とする動きベクトル検出方法。
請求項１８に記載の動きベクトル検出方法であって、
前記第１の抽出ステップは、
前記第１階層の着目サブブロックの生成元に対する前記第１階層の着目サブブロックの相対位置を検出するステップと、
該相対位置を用いて前記第１階層の候補ベクトルを抽出するステップと
を含み、
前記第２の抽出ステップは、
当該各階層の着目サブブロックの生成元に対する当該各階層の着目サブブロックの相対位置を検出するステップと、
該相対位置を用いて当該各階層の候補ベクトルを抽出するステップと
を含むことを特徴とする動きベクトル検出方法。
請求項１５から１９のうちのいずれか１項に記載の動きベクトル検出方法が備える動き推定ステップ及び動きベクトル細密化ステップと、
前記第Ｎ階層のサブブロックについて前記動きベクトル細密化ステップで生成された動きベクトルを用いて補間フレームを生成するステップと
を備えることを特徴とするフレーム補間方法。