JP3840129B2 - 動きベクトル検出方法と装置、補間画像作成方法と装置及び画像表示システム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、動きベクトル検出方法と動きベクトルを用いた動き補償による補間画像作成方法及び画像表示システムに関する。
【０００２】
【従来の技術】
一般に、画像表示装置は画像の書き込み後、蛍光体の残光時間の間発光し続けるインパルス型表示装置と、新たに画像の書き込みが行われるまで前フレームの表示を保持しつづけるホールド型表示装置に大別される。インパルス型表示装置には、例えばＣＲＴディスプレイやフィールドエミッション型表示装置（以下、ＦＥＤと呼ぶ））がある。ホールド型表示装置としては、例えば液晶表示装置（以下、ＬＣＤと呼ぶ）、エレクトロルミネッセンスディスプレイ（以下、ＥＬＤと呼ぶ）などが挙げられる。
【０００３】
ホールド型表示装置の問題点は、動画表示に生じるボケ現象である。ボケ現象の発生は、図２５（ａ）に示す複数フレームにわたる画像中に動体（楕円で示される）が存在し、その動体の動きに観察者の眼が追随した場合、図２５（ｂ）に示されるように複数フレームの画像が重なって網膜上に映し出されることに起因する。表示画像が前フレームから次のフレームへ切り換わる期間までは、同じ前フレームの画像が表示され続けられているにもかかわらず、眼は次フレームの画像の表示を予測して、前フレーム画像上を動体の移動方向に移動しながら観察してしまう。すなわち、眼の追随運動は連続性があり、フレーム間隔より細かいサンプリングを行うため、結果として隣接する二つのフレームの間の画像を埋めるように視認することで、ボケとして観察される。
【０００４】
これらの問題を解決するためには、表示のフレーム間隔を短くすればよい。その具体的な手法として、ＭＰＥＧ（Motion Picture Experts Group）１やＭＰＥＧ２で用いられている動き補償を利用して補間画像を作成し、隣接するフレーム間で補間を行うことが考えられる。動き補償では、ブロックマッチングによって検出される動きベクトルが用いられる。
【０００５】
ＭＰＥＧ１やＭＰＥＧ２では、基本的に圧縮率を上げることを前提においており、動きベクトルが実際の動きを正確に再現しているかどうかは、あまり問題にならない。動きベクトルの誤差は動き補償により作成される予測信号の誤差となって現れ、この予測信号と入力画像信号との誤差信号がＤＣＴにより符号化されるからである。しかし、ホールド型表示装置のような画像表示システムにおいては、このような正確でない動きベクトルを用いた動き補償により補間画像を作成すると、表示画像を劣化させてしまうという問題がある。
【０００６】
一方、ＭＰＥＧ４では動きベクトルが実際の動きを再現することが求められるため、幾つかの精度の高い検出方法が考えられている。鄭氏ら（日本放送協会）は、特開平１０−３０４３６９号公報において、複数フレームとブロックによって形成される斜方体型のデータ群を利用する方法を提案している。この手法は通常の画像が複数フレームで等速運動（静止状態も含む）している点を利用しており、動きベクトル検出精度の向上が期待される。
【０００７】
【発明が解決しようとする課題】
特開平１０−３０４３６９号公報に記載された動きベクトル検出技術では、検出された動きベクトルが実際に正しいかどうかを検定する手段を持っていないため、誤った動きベクトルによる動き補償によって補間画像を作成すると、表示画像が大きく劣化してしまう可能性は依然として残る。また、動きベクトルの検出精度を高めるには、多数のフレームにわたる処理が必要であり、処理時間が長くなるのも欠点である。
【０００８】
従って、本発明は少ないフレーム数で、実際の画像の動きとは大きく異なる動きベクトルを排除して、より正確な動きベクトルを検出できる動きベクトル検出方法を提供することを目的とする。
【０００９】
また、本発明の他の目的は、検出された正確な動きベクトルを用いた動き補償により、画像の補間を行うための補間画像を作成し、動画においてはよりリアルな、また静止画においては画質劣化の少ない高品質の画像を得ることができる補間画像作成方法及び画像表示システムを提供することをすることにある。
【００１０】
【課題を解決するための手段】
上記課題を解決するため、本発明は画像の第ｍフレーム（ｍは任意の整数）と第ｍ＋ｎフレーム（ｎはｉ＋１以上の整数、ｉは１以上の整数）間の動きベクトルを求める動きベクトル検出方法において、第ｍフレームと第ｍ＋ｎフレームの間の複数の動きベクトル候補を求め、動きベクトル候補をｍ＋ｉフレームと第ｍ＋ｎフレーム間またはｍ＋ｉフレームと第ｍフレーム間のフレーム差分に応じてスケール変換し、スケール変換後の動きベクトル候補に従ってｍ＋ｉフレーム上の画像を仮想的に作成し、仮想的に作成された画像と第ｍ＋ｉフレーム上の実際の画像との相関を最大とする最適動きベクトルを動きベクトル候補から選択することを基本とする。
【００１１】
本発明の第１の視点では、画像の第ｍフレーム（ｍは任意の整数）と第ｍ＋ｎフレーム（ｎはｉ＋１以上の整数、ｉは１以上の整数）間の動きベクトルを求める動きベクトル検出方法において、（ａ）第ｍフレームの動きベクトル探索領域から第１ブロックを抽出し、（ｂ）第ｍ＋ｎフレームの動きベクトル探索領域から第１ブロックとの相関がより大きい複数の第２ブロックを抽出し、（ｃ）第１ブロックと複数の第２ブロック間の複数の第１動きベクトルを検出し、（ｄ）第ｍ＋ｉフレームから第１ブロックと空間的同位置にある第３ブロックを抽出し、（ｅ）第１動きベクトルの（ｎ−ｉ）／ｎである複数の第２動きベクトルを算出し、（ｆ）第２動きベクトルに従って第ｍ＋ｎフレームから第３ブロックの移動先となる第４ブロックを抽出し、（ｇ）複数の第１動きベクトルから第３ブロックと第４ブロックとの相関を最大とする最適動きベクトルを選択する。
【００１２】
本発明の第２の視点では、第１の視点における（ａ）（ｂ）及び（ｃ）と同様の処理の後、（ｈ）第１動きベクトルのｉ／ｎである複数の第３動きベクトルを算出し、（ｉ）第３動きベクトルに従って第ｍ＋ｉフレームから第１ブロックの移動先となる第５ブロックを抽出し、（ｊ）複数の第１動きベクトルから第１ブロックと第５ブロックとの相関を最大とする最適動きベクトルを選択する。
【００１３】
本発明の第３の視点では、第１及び第２の視点の両方の効果を考慮し、第１ブロック１１と第２ブロック１２と第５ブロック１５の相関が高くなる複数の第１動きベクトルを求め、第３ブロック１３と第４ブロック１４の相関が最大となる動きベクトルを最適動きベクトルとして選択する。
【００１４】
本発明の第４の視点では、第ｍ＋ｎフレームから第ｍフレームへの動きベクトルを求める方法を加えた双方向動きベクトル検出によって、より正確な動きベクトルを求める。
【００１５】
本発明の第５の視点では、第ｍ＋ｉフレームを支点として第ｍフレームと第ｍ＋ｎフレーム間で相関の高いブロック対を抽出し、そのブロック対と第ｍ＋ｉフレームの支点位置にあるブロックとの相関が最大となる動きベクトルを最適動きベクトルとする。
【００１６】
本発明の第６の視点は、検出された最適動きベクトルを使ってフレーム画像のない時間的位置に補間画像を作成するために、原画像の第ｍフレーム（ｍは任意の整数）と第ｍ＋ｎフレーム（ｎはｉ＋１以上の整数、ｉは１以上の整数）間の第ｍ＋ｋ（ｋは任意の実数）フレームの時間的位置に補間すべき補間画像を作成する補間画像作成方法において、第１〜第５の視点のいずれかの動きベクトル方法により求められた最適動きベクトルを第ｍ＋ｋフレームの時間的位置に応じてスケール変換し、スケール変換後の動きベクトルに従って第ｍ＋ｉフレームから第１ブロックの移動先となる第１２ブロックを抽出し、第ｍ＋ｋフレームの第１ブロックと空間的同位置に第１２ブロックを割り当てることにより補間画像を作成する。
【００１７】
本発明の第７の視点では、特にインターレース画像について、間引いて取り出す画像を偶数もしくは奇数フィールドの画像とし、ライン補間を行う前に動きベクトルを求めることで余分な処理が入る前に第１の動きベクトルを求める。すなわち、原画像の第ｍフィールド（ｍは任意の整数）と第ｍ＋ｎフィールド（ｎはｉ＋１以上の整数、ｉは１以上の整数）間の第ｍ＋ｋ（ｋは任意の実数）フィールドの時間的位置に補間すべき補間画像を作成する補間画像作成方法であって、第ｍフィールド（ｍは任意の整数）の動きベクトル探索領域から第１ブロックを抽出し、第ｍ＋２ｎ（ｎは１以上の整数）フィールドの動きベクトル探索領域から第１ブロックとの相関がより大きい複数の第２ブロックを抽出し、第１ブロックと複数の第２ブロック間の複数の第１動きベクトルを検出し、第ｍ＋２ｎ−１フィールドから第１ブロックを空間的に１／２ライン垂直方向にシフトさせた空間的位置にある第３ブロックを抽出し、第１動きベクトルの１／２である複数の第２動きベクトルを算出し、第２動きベクトルに従って第ｍ＋２ｎフィールドから、第ｍ＋２ｎ−１フィールド内の第１ブロックと空間的同位置にあるブロックの移動先となる第４ブロックを抽出し、第３ブロックを第１垂直方向に線形補間した第１３ブロックを作成し、第４ブロックを第１垂直方向とは逆の第２垂直方向に線形補間した第１４ブロックを作成し、複数の第１動きベクトルから第１３ブロックと第１４ブロックとの相関を最大とする最適動きベクトルを選択する。そして、最適動きベクトルを時間的位置に応じてスケール変換し、スケール変換後の動きベクトルに従って第ｍ＋２ｎフィールドから第１ブロックの移動先となる第１５ブロックを抽出し、第ｍ＋ｋフィールドの第１ブロックと空間的同位置に第１５ブロックを割り当てることにより補間画像を作成する。
【００１８】
さらに、本発明の第８の視点によると、上述した補間画像作成方法により作成された補間画像及び原画像を表示する画像表示システムを提供する。
【００１９】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
（第１実施形態）
図１に示すように、例えば原画像の第ｍフレーム１と第ｍ＋ｎ（ｎは、ｉ＋１以上の整数、ｉは１以上の整数）フレーム２との間に補間画像を作成するために、第ｍフレーム１と第ｍ＋ｎフレーム２との間の最適動きベクトルを検出することを考える。本発明の第１実施形態では、図２に示すような手順で最適動きベクトルを検出する。以下、図１及び図２を用いて本実施形態の処理手順を説明する。
【００２０】
まず、第ｍフレーム１の動きベクトル探索領域から、第１ブロック１１を抽出する（ステップＳ１０１）。
次に、第ｍ＋ｎフレーム２の動きベクトル探索領域から、第ｍフレーム１内の第１ブロック１１と同じブロックサイズで、かつ第１ブロック１１との相関がより大きい複数の第２ブロック１２を抽出する（ステップＳ１０２）。
ステップＳ１０２においてブロック間の相関の大小を調べる方法としては、例えば、ブロック内の画素毎にデータの絶対値差分を計算してその総和である絶対値差分和を求め、絶対値差分和が小さい場合には相関が大きく、絶対値差分和が大きい場合には相関が小さいと判断する公知の方法を用いることができる。
【００２１】
次に、第１ブロック１１と複数の第２ブロック１２間の複数の第１動きベクトルＤを動きベクトルの候補として検出する（ステップＳ１０３）。
次に、第ｍ＋ｉフレーム３から、第ｍフレーム１内の第１ブロック１１と空間的同位置にある第３ブロック１３を抽出する（ステップＳ１０４）。
次に、第ｍ＋ｉフレーム３及び第ｍ＋ｎフレーム２間のフレーム差分（ｎ−ｉ）と、第ｍフレーム１及び第ｍ＋ｉフレーム３間のフレーム差分ｉとの比から、第１動きベクトルＤを第ｍ＋ｉフレーム３内の第３ブロック１３の第ｍ＋ｎフレーム２上への動きベクトルに換算、すなわちスケール変換した複数の第２動きベクトル（（ｎ−ｉ）／ｎ）＊Ｄを算出する（ステップＳ１０５）。フレーム差分とは、二つのフレームのフレーム番号の差である。
【００２２】
次に、第２動きベクトル（（ｎ−ｉ）／ｎ）＊Ｄに従って、第３ブロック１３の第ｍ＋ｎフレーム２への移動先となる第４ブロック１４を抽出する（ステップＳ１０６）。第４ブロック１４は、第２動きベクトル（（ｎ−ｉ）／ｎ）＊Ｄに従って仮想的に第ｍ＋ｉフレーム上に作成される画像の一部である。
【００２３】
ここで、ある第１動きベクトルＤが真の動きを再現しているとすると、第ｍ＋ｉフレーム３においても第１ブロック１１と同じブロックが存在するはずであり、その位置は図１中の点線ブロックの位置となる。よって、点線ブロックと第３ブロック１３との相対位置関係と、第２ブロック１２と第４ブロック１４との相対位置関係は等しくなる。そこで、本実施形態では第３ブロック１３と第４ブロック１４を用いて複数の第１動きベクトルＤの各々について適否を判定する。
【００２４】
具体的には、第３ブロック１３と第４ブロック１４との相関を調べる処理を繰り返すことによって、第３ブロック１３と第４ブロック１４との相関が最大となる動きベクトルを求める。すなわち、複数の第１動きベクトルＤの中から、第３ブロック１３と第４ブロック１４との相関を最大とする最適動きベクトルを選択する（ステップＳ１０７）。第３ブロック１３と第４ブロック１４との相関は、両ブロックの画素の絶対値差分和を計算することにより求められ、絶対値差分和が小さい場合は相関が大、絶対値差分和が大きい場合は相関が小と判断される。
【００２５】
上述した本実施形態の動きベクトル検出方法では、次式（１）により計算される絶対値差分和Ｅ１が最小となる一つの第１動きベクトルＤを最適動きベクトルとして求めることになる。
【数１】

【００２６】
ここで、Ｘはブロックの位置ベクトル、ｆ（Ａ，ｂ）は各ブロックの位置（Ａ）及びフレーム（ｂ）に対応する画素値、α及びβは重み係数をそれぞれ表している。これらの各パラメータの定義については、後述の各実施形態においても適用される。式（１）の右辺第１項は第１ブロック１１と第２ブロック１２との絶対値差分和、同第２項は第３ブロック１３と第４ブロック１４との絶対値差分和である。重み係数α及びβは、各ブロックの絶対値差分に重み付けを行う場合に使用され、基本的には第３ブロック１３と第４ブロック１４との絶対値差分和（相関）を重視するため、β≧αであることが好ましい。
【００２７】
次に、図３及び図４を用いて本実施形態による効果を説明する。
簡単のためにｉ＝１、ｎ＝２とする。図３に示すように画像として「ＴＥＳＴ」という静止画が第ｍフレーム１から第ｍ＋２フレーム２にかけて表示された場合に、第１動きベクトルＤとして二つの動きベクトルＡ及びＢが検出されたとする。動きベクトルＡは、第ｍフレーム１上の第１ブロック１１と第ｍ＋２フレーム２上の第２ブロック１２Ａとの動きベクトルである。動きベクトルＢは、第ｍフレーム１上の第１ブロック１１と第ｍ＋２フレーム２上の第２ブロック１２Ａとは異なる第２ブロック１２Ｂとの動きベクトルである。
【００２８】
動きベクトルＡをスケール変換した第ｍフレーム１と第ｍ＋１フレーム３との間の動きベクトルに従って第ｍ＋１フレーム３内の第３ブロック１３の位置に表示されるべき画像１４Ａを作成すると、「ＥＳ」の一部となる。一方、動きベクトルＢをスケール変換した第ｍフレーム１と第ｍ＋１フレームとの間の動きベクトルに従って第ｍ＋１フレーム２の第３ブロック１３の位置に表示されるべき画像１４Ｂを作成すると、「Ｔ」となる。
【００２９】
本実施形態では、こうして動きベクトルＡ及びＢからそれぞれ作成される画像１４Ａ，１４Ｂと、実際の第ｍ＋１フレーム３の画像を比較する。すなわち、第３ブロック１３とそれぞれの第４ブロック１４Ａ，１４Ｂとを比較する。この比較により、動きベクトルＢが最適動きベクトルとして選択される。
【００３０】
ここで、誤って動きベクトルＡが検出される理由は、上記「ＴＥＳＴ」の例のように、一つの静止画内に全く同じ文字（この例では「Ｔ」）がある場合以外にも、ノイズが大きく影響してくる。例えば、図４に示すように第ｍ＋２フレーム２で実際に検出すべき「Ｔ」にノイズが発生しており、動きベクトルＡが指し示す「Ｔ」にノイズが少ない場合は、動きベクトルＡが検出されてしまう。これに対し、本実施形態に従って実際に第ｍ＋１フレーム３の第３ブロック１３とそれぞれの第４ブロック１４Ａ，１４Ｂの相関を調べることにより、動きベクトルＡが誤って検出される確率が大幅に減少する。発明者らの行った実験からも、この効果を確認することができた。
【００３１】
次に、本実施形態に係る動きベクトル検出方法を実施する動きベクトル検出装置の構成を図５に示す。ここでは、説明を簡略化するためにｉ＝１、ｎ＝２とする。入力画像信号３１は第ｍ＋２フレームメモリ３２、第ｍ＋１フレームメモリ３３及び第ｍフレームメモリ３４に順次入力され、これらのメモリ３２、３３及び３４から第ｍ＋２フレーム、第ｍ＋１フレーム及び第ｍフレームの画像信号３５、３６及び３７が読み出される。
【００３２】
動きベクトル検出部４０は、第ｍ＋２フレーム及び第ｍフレームの画像信号３５及び３７を受けて、図２中のステップＳ１０１〜Ｓ１０３の処理、すなわち第ｍフレームの画像信号３７からの第１ブロックの抽出と、第ｍ＋２フレームの画像信号３５からの第２ブロックの抽出、及び第１ブロックと第２ブロック間の複数の第１動きベクトル４１の検出を行う。動きベクトル判定用ブロック抽出部４３は、第ｍ＋２フレーム及び第ｍ＋１フレームの画像信号３５及び３６から動きベクトルの判定に用いるブロックを抽出する。第１ブロック１１の位置指定は第１ブロック位置指定部３８によって行われ、第１ブロック位置指定部３８から第１ブロック位置のアドレス３９、例えばブロック位置の左上隅のアドレスが動きベクトル検出部４０及び動きベクトル判定用ブロック抽出部４３へ出力される。
【００３３】
動きベクトルスケール変換部４２は、図２中のステップＳ１０５の処理、すなわち第１動きベクトル４１（Ｄ）の１／２の動きである複数の第２動きベクトル４４（Ｄ／２）を算出する。動きベクトル判定用ブロック抽出部４３は、図２中のステップＳ１０４及びＳ１０６の処理、すなわち第ｍ＋１フレームの画像信号３６からの第３ブロック１３の抽出と、第２動きベクトル４４に従った第ｍ＋２フレームの画像信号３５からの第４ブロック１４の抽出を行い、第３及び第４ブロックの画像信号４５を出力する。
【００３４】
動きベクトル判定用ブロック抽出部４３からの第３ブロック及び第４ブロックの画像信号４５は最適動きベクトル判定部４６に入力され、複数の第１動きベクトル４１の中で第３ブロックと第４ブロックとの相関を最大とする動きベクトルを最適動きベクトルと判定する処理が行われる。最適動きベクトル判定部４６からの判定結果４７に従って、動きベクトル選択部４８により複数の第１動きベクトル４１から一つの動きベクトルが最終的な最適動きベクトル４９として選択され、図２中のステップＳ１０７の処理が行われる。
【００３５】
このように本実施形態では、第ｍ、第ｍ＋ｉ及び第ｍ＋ｎフレームの３フレームの画像から動きベクトルを正確に求めることができる。すなわち、第ｍ＋ｉフレームから抽出した第３ブロックと、動きベクトルの候補である複数の第１動きベクトルをスケール変換した第２動きベクトルを用いて第ｍ＋ｎフレームから抽出した第４ブロックとの相関を求めて各第１動きベクトルの適否を検証し、この相関を最大とする一つの動きベクトルのみを最適動きベクトルとして検出しそれ以外の動きベクトルを排除することによって、より正確な動きベクトル検出が可能となる。
【００３６】
（第２実施形態）
次に、本発明の第２実施形態として第１実施形態と同様に第ｍフレーム１と第ｍ＋ｎフレーム２との間の最適動きベクトルを検出する別の手順について、図６及び図７を用いて説明する。
【００３７】
本実施形態において、第ｍフレーム１の動きベクトル探索領域から、第１ブロック１１を抽出し、第ｍ＋ｎフレーム２の動きベクトル探索領域から、第ｍフレーム１内の第１ブロック１１と同じブロックサイズで、かつ第１ブロック１１との相関がより大きい複数の第２ブロック１２を抽出し、さらに第１ブロック１１と複数の第２ブロック１２間の複数の第１動きベクトルＤを最適動きベクトルの候補として検出するまでの処理（ステップＳ２０１〜Ｓ２０３）は、第１の実施形態と同様である。
【００３８】
本実施形態では、次に第ｍフレーム１及び第ｍ＋ｎフレーム２間のフレーム差分ｎと、第ｍフレーム１及び第ｍ＋ｉフレーム３間のフレーム差分ｉとの比から、第１動きベクトルＤを第ｍフレーム１内の第１ブロック１１の第ｍ＋ｉフレーム３上への動きベクトルにスケール変換した複数の第３動きベクトル（ｉ／ｎ）＊Ｄを算出する（ステップＳ２０４）。次に、第３動きベクトル（ｉ／ｎ）＊Ｄに従って、第１ブロック１１の第ｍ＋ｎフレーム２への移動先となる第５ブロック１５を抽出する（ステップＳ２０５）。
【００３９】
第１動きベクトルＤが真の動きを再現しているとすると、第ｍ＋ｉフレーム３においても第１ブロック１１と同じブロックが存在するはずであり、その位置は第５ブロック１５の位置となる。よって、第５ブロック１５と第１ブロック１１は等しくなる。そこで、本実施形態では第１ブロック１１と第５ブロック１５を用いて、第１動きベクトルＤの各々について適否を判定する。
【００４０】
具体的には、第１ブロック１１と第５ブロック１５との相関を調べる。この処理を繰り返すことによって、第１ブロック１１と第５ブロック１５との相関が最大となる動きベクトルを求める。すなわち、複数の第１動きベクトルＤの中から、第１ブロック１１と第５ブロック１５との相関を最大とする最適動きベクトルを選択する（ステップＳ２０６）。第１ブロック１１と第５ブロック１５との相関は、両ブロックの画素の絶対値差分和を計算することによって求められ、絶対値差分和が小さい場合は相関が大、絶対値差分和が大きい場合は相関が小と判断される。
【００４１】
上述した本実施形態の動きベクトル検出方法では、式（２）により計算される絶対値差分和Ｅ２が最小となる一つの第１動きベクトルＤを最適動きベクトルとして求めることになる。
【００４２】
【数２】

【００４３】
式（２）の右辺第１項は第１ブロック１１と第２ブロック１２との絶対値差分和、同第２項は第１ブロック１１と第５ブロック１５との絶対値差分和である。重み係数α及びβは各ブロックの絶対値差分に重み付けを行う場合に使用され、基本的には第１ブロック１１と第５ブロック１５との相関を重視するため、β≧αであることが好ましい。
【００４４】
図８に、本実施形態に係る動きベクトル検出方法を実施する動きベクトル検出装置の構成を示す。説明を簡略化するためにｉ＝１、ｎ＝２とする。図５と対応する要素に同一符号を付して第１の実施形態との相違点を中心に説明すると、動きベクトルスケール変換部４２は図７中のステップＳ２０４の処理、すなわち第１動きベクトル４１（Ｄ）の１／２の動きである第３動きベクトル５１（Ｄ／２）を算出する処理を行う。動きベクトル判定用ブロック抽出部４３は、第ｍ＋１フレーム及び第ｍフレームの画像信号３６及び３７から第１動きベクトルの判定に用いるブロックを抽出する。より詳しくは、動きベクトル判定用ブロック抽出部４３は図７中のステップＳ２０５の処理、すなわち第３動きベクトル５１に従った第ｍ＋１フレームの画像信号３６からの第５ブロック１５の抽出を行う。
【００４５】
動きベクトル判定用ブロック抽出部４３からの第５ブロックの画像信号５２は最適動きベクトル判定部４６に入力され、ここで複数の第１動きベクトル４１の中で第１ブロック１１と第５ブロック１５の相関を最大とする動きベクトルを最適な動きベクトルと判定する処理が行われる。最適動きベクトル判定部４６からの判定結果４７に従って、動きベクトル選択部４８により複数の第１動きベクトル４１から一つの動きベクトルが最終的な最適動きベクトル４９として選択され、図７中のステップＳ２０７の処理が行われる。本実施形態によっても、先の第１実施形態と同様の効果を得ることができる。
【００４６】
（第３実施形態）
次に、本発明の第３実施形態として、上述した第１及び第２実施形態を組み合わせて、さらに正確な動きベクトル検出を可能とした動きベクトル検出方法について図９及び図１０を用いて説明する。本実施形態では、まず第１及び第２実施形態で説明した手順により、第１〜第５ブロック１１〜１５の抽出を行う（ステップＳ３０１〜Ｓ３０８）。
【００４７】
次に、ステップＳ３０３で検出された複数の第１動きベクトルＤから、第１ブロック１１、第２ブロック１２及び第５ブロック１５を用いて、これらの各ブロック１１，１２，１５の相関をより大きくする複数の第１動きベクトルを選択する（ステップＳ３０９）。さらに、ステップＳ３０９で選択された第１動きベクトルＤについて第３ブロック１３と第４ブロック１４を用いて適否を判定し、第３ブロック１３と第４ブロック１４との相関を最大とする一つの第１動きベクトルＤを最適動きベクトルとして選択する（ステップＳ３１０）。
【００４８】
従って、上述した本実施形態の動きベクトル検出方法では、次式（３）により計算される絶対値差分和Ｅ３が最小となる一つの第１動きベクトルＤを最適動きベクトルとして求めることになる。
【数３】

【００４９】
式（３）の右辺第１項は第１ブロック１１と第２ブロック１２との絶対値差分和、同第２項は第１ブロック１１と第５ブロック１５との絶対値差分和、同第３項は第３ブロック１３と第４ブロック１４との絶対値差分和である。重み係数α及びβは各ブロックの絶対値差分に重み付けを行う場合に使用され、基本的には第３ブロック１３と第４ブロック１４との相関を重視するため、β≧αであることが好ましい。
【００５０】
図１１に、本実施形態に係る動きベクトル検出方法を実施する動きベクトル検出装置の構成を示す。説明を簡略化するためにｉ＝１、ｎ＝２とする。図５及び図８と対応する要素に同一符号を付して第１及び第２の実施形態との相違点を中心に説明すると、動きベクトル検出部４０は、図１０中のステップＳ３０１〜Ｓ３０３の処理、すなわち第ｍフレームの画像信号３７からの第１ブロックの抽出と、第ｍ＋２フレームの画像信号３５からの第２ブロックの抽出、及び第１ブロックと第２ブロック間の複数の第１動きベクトル４１（Ｄ）の検出を行い、この際に第１及び第２ブロックの画像信号５３を最適動きベクトル判定部４６へ出力する。
【００５１】
動きベクトルスケール変換部４２は、図１０中のステップＳ３０５及びＳ３０７の処理、すなわち第１動きベクトルの（ｎ−ｉ）／ｎである第２動きベクトル４４及び第１動きベクトルのｉ／ｎである第３動きベクトル５１の算出を行うが、この場合はｉ＝１、ｎ＝２であるため、第２及び第３動きベクトルとして共に第１動きベクトル（Ｄ）の１／２の動きベクトル（Ｄ／２）を算出することになる。
【００５２】
動きベクトル判定用ブロック抽出部４３は、第ｍ＋２フレーム、第ｍ＋１フレーム及び第ｍフレームの画像信号３５，３６及び３７から動きベクトルの判定に用いるブロックを抽出する。より詳しくは、動きベクトル判定用ブロック抽出部４３は図１０中のステップＳ３０６及びＳ３０８の処理、すなわち第ｍ＋１フレームの画像信号３６からの第３ブロック１３の抽出と、第２動きベクトル４４に従った第ｍ＋２フレームの画像信号３５からの第４ブロック１４の抽出、及び第３動きベクトル５１に従った第ｍ＋１フレームの画像信号３６からの第５ブロック１５の抽出を行い、第３、第４及び第５ブロックの画像信号５４を出力する。
【００５３】
動きベクトル判定用ブロック抽出部４３からの第３、第４及び第５ブロックの画像信号５４は最適動きベクトル判定部４６に入力され、ここで図１０中のステップＳ３０９の処理、すなわち複数の第１動きベクトル４１の中で第１ブロック１１と第２ブロック１２及び第５ブロック１５の相関がより大きい複数の動きベクトルの選択が行われ、さらに第３ブロック１３と第４ブロック１４の相関が最大となる一つの動きベクトルを最適な動きベクトルと判定する処理が行われる。最適動きベクトル判定部４６からの判定結果４７に従って、動きベクトル選択部４８により図１０中のステップＳ３１０の最適動きベクトルの選択処理が行われ、ここで選択された動きベクトルが最終的な最適動きベクトル４９として出力され、図１０中のステップＳ３１０の処理が行われる。
【００５４】
このように本実施形態では、第１及び第２実施形態を組み合わせた構成とすることによって、より正確な動きベクトル検出が可能となる。
【００５５】
（第４実施形態）
次に、図１２〜図１４を用いて本発明の第４実施形態について説明する。本実施形態では、第ｍフレーム１と第ｍ＋ｎフレーム２間の第ｍ＋ｉフレーム３の位置に補間画像を作成する場合において、第ｍフレーム１から第ｍ＋ｎフレーム２への第１動きベクトルＤ及び第ｍ＋ｎフレーム２から第ｍフレーム１への第４動きベクトルＥの両方を求める。第１動きベクトルＤの検出については、第１実施形態と同様に行う（ステップＳ４０１〜Ｓ４０６，Ｓ４１２）。
【００５６】
一方、第４動きベクトルＥの検出においては、第ｍ＋ｎフレームから第１ブロック１１と空間的同位置にある第６ブロック１６を抽出し（ステップＳ４０７）、さらに第ｍフレーム１内の動きベクトル探索領域で第６ブロック１６と同じブロックサイズの複数のブロックから第６ブロック１６との相関がより大きい第７ブロック１７を抽出し（ステップＳ４０８）、第６ブロック１６と第７ブロック１６間の第４動きベクトルＥを検出する（ステップＳ４０９）。ブロック間の相関は、両ブロックの画素の絶対値差分和を計算することによって求められ、絶対値差分和が小さい場合は相関が大、絶対値差分和が大きい場合は相関が小と判断される。
【００５７】
次に、第ｍフレーム１と第ｍ＋ｉフレーム３上のフレーム差分ｉと第ｍ＋ｎフレーム２と第ｍフレーム１のフレーム差分ｎとの比から、第４動きベクトルＥを第６ブロック１６の第ｍ＋ｉフレーム３から第ｍフレーム１への移動量にスケール変換した第５動きベクトル（ｉ／ｎ）＊Ｅを算出する（ステップＳ４１０）。第５動きベクトル（ｉ／ｎ）＊Ｅに従って、第ｍフレーム１の第１ブロック１１と空間的同位置にある第ｍ＋ｉフレーム３内の第３ブロック１３の第ｍフレーム１への移動先となる第８ブロック１８を抽出する（ステップＳ４１１）。
【００５８】
次のステップＳ４１２の最適第１動きベクトルの選択では、第１実施形態と同様に第３ブロック１３と第４ブロック１４の絶対値差分和を求めて相関を調べ、第１動きベクトルから第３ブロック１３と第４ブロック１４との相関が最大となる一つの動きベクトルを求める。一方、次のステップＳ４１３の最適第４動きベクトルの選択では、第４動きベクトルから第３ブロック１３と第８ブロック１８との相関が最大となる一つの動きベクトルを選択する。
【００５９】
次に、第３ブロック１３と第４ブロック１４の絶対値差分和Ｅ１と第３ブロック１３と第８ブロック１８の絶対値差分和Ｅ４を比較し（ステップＳ４１４）、絶対値差分和が小さい方の動きベクトルを採用する。すなわち、Ｅ１がＥ４より小さい場合は、ステップＳ４１２で検出された最適第１動きベクトルを最適動きベクトルとして選択し（ステップＳ４１５）、Ｅ４がＥ１より小さい場合は、ステップＳ４１３で検出された最適第４動きベクトルの逆ベクトル−Ｅを最適動きベクトルとして選択し（ステップＳ４１６）。
【００６０】
本実施形態における第４動きベクトルを求めるために計算すべき絶対値差分和Ｅ４は、次式で表すことができる。
【００６１】
【数４】

【００６２】
ここで、重み係数α及びβはＥ１を求めるのに使用する値と同じものを使用することが好ましい。
【００６３】
図１５に、本実施形態に係る動きベクトル検出方法を実施する動きベクトル検出装置の構成を示す。説明を簡略化するためにｉ＝１、ｎ＝２とする。図５と対応する要素に同一符号を付して第１の実施形態との相違点を中心に説明すると、図１５では新たに動きベクトル検出部６０、動きベクトルスケール変換部６２、動きベクトル判定用ブロック抽出部６３及び最適動きベクトル判定部６６が設けられている。動きベクトル検出部４０、動きベクトルスケール変換部４２、動きベクトル判定用ブロック抽出部４３及び最適動きベクトル判定部４６は、第１の実施形態と同様であり、これらによって図１３中のステップＳ４０１〜Ｓ４０６及びＳ４１２の処理が行われる。
【００６４】
新たに設けられた動きベクトル検出部６０では、図１３中のステップＳ４０７〜Ｓ４０９の処理、すなわち第ｍ＋２フレーム内から動きベクトル探索領域にある第６ブロック１６を抽出する処理と、第６ブロック１６に対して第ｍフレーム１内の動きベクトル探索領域で同じブロックサイズの第７ブロック１７を抽出する処理、及び第６ブロック１６と第７ブロック１７間の第４動きベクトル６１を検出する処理が行われる。
【００６５】
第６ブロック１６の位置指定は第１ブロック１１指定部３８によって行われ、第１ブロック位置のアドレス、例えば左上隅のアドレス３９が動きベクトル検出部６０及び動きベクトル判定用ブロック抽出部６３へ出力される。
【００６６】
動きベクトルスケール変換部６２は、図１４中のステップＳ４１０の処理、すなわち第４動きベクトル６１の１／２の動きである複数の第５動きベクトル６４を算出する。動きベクトル判定用ブロック抽出部６３は、図１４中のステップＳ４１１の処理、すなわち第５動きベクトル６４に従った第ｍフレームの画像信号３７からの第８ブロック１８の抽出を行い、第８ブロック１８の画像信号６５を出力する。
【００６７】
動きベクトル判定用ブロック抽出部４３からの第３ブロックの画像信号４５Ａと動きベクトル判定用ブロック抽出部６３からの第８ブロックの画像信号６５は最適動きベクトル判定部６６に入力され、複数の第４動きベクトル６１の中で第３ブロック１３と第８ブロック１８との相関を最大とする動きベクトルを最適第４動きベクトルと判定する図１４中のステップＳ４１３の処理が行われる。
【００６８】
最適動きベクトル判定部４６及び６６からの判定結果４７，６７に従って、動きベクトル選択部６８により図１４中のステップＳ４１５，Ｓ４１６の最適動きベクトルの選択処理が行われ、ここで選択された動きベクトルが最終的な最適動きベクトル６９として出力される。
【００６９】
本実施形態によると、第１の実施形態で説明した第ｍフレームから第ｍ＋ｎフレームへの最適第４動きベクトルを求める処理に、これとは時間的な方向が逆である第ｍ＋ｎフレームから第ｍフレームへの最適第４動きベクトルを求める処理を加え、これらのうちでより最適な方を最終的に選択することによって、さらに正確な動きベクトル検出を行うことができる。
【００７０】
（第５実施形態）
次に、図１６及び図１７を用いて本発明の第５実施形態について説明する。本実施形態では、第ｍフレーム１と第ｍ＋ｎフレーム２間の動きベクトルを求めるために、まず第ｍ＋ｉフレーム３の動きベクトル探索対象から第９ブロック１９を抽出する（ステップＳ５０１）。次に、第ｍフレーム１の動きベクトル探索領域から複数の第１０ブロック２０を抽出する（ステップＳ５０２）。
【００７１】
次に、第９ブロック１９から第ｍフレーム１への動きベクトルとして第９ブロック１９と第１０ブロック２０間の第６動きベクトルＦを検出する（ステップＳ５０３）。さらに、第９ブロック１９から第ｍ＋ｎフレーム２への動きベクトルとして第６動きベクトルＦと方向が逆で、大きさが第ｍ＋ｉフレーム３と第ｍ＋ｎフレーム２間のフレーム差分（ｎ−ｉ）と、第ｍフレーム１と第ｍ＋ｉフレーム３間のフレーム差分ｉとの比を満たす第７動きベクトル−（（ｎ−ｉ）／ｉ）＊Ｆを算出する（ステップＳ５０４）。第７動きベクトル−（（ｎ−ｉ）／ｉ）＊Ｆに従って、第ｍ＋ｎフレーム２から第９ブロック１９の移動先となる第１１ブロック２１を抽出する（ステップＳ５０５）。
【００７２】
次に、第１０ブロック２０と第１１ブロック２１の相関がより大きい複数の第６動きベクトルＦを検出する（ステップＳ５０６）。第６動きベクトルＦが真の動きを再現しているとすると、第ｍ＋ｉフレーム３においても第１０ブロック２０もしくは第１１ブロック２１と同一ブロックが存在するはずであり、その位置は第９ブロック１９の位置となる。
【００７３】
そこで、本実施形態では第９ブロック１９の画像を第ｍ＋ｉフレーム３から抽出し、第９ブロック１９と第１０ブロック２０と第１１ブロック２１の画像を用いて第６動きベクトルＦの適否を判定する。具体的には第１０ブロック２０と第１１ブロック２１の相関を調べて、より相関の大きい複数の第６動きベクトルを求め、さらに第９ブロック１９と第１０ブロック２０の相関を調べてより相関が大きい一つの第６動きベクトルを最適な動きベクトルとして選択する。
【００７４】
本実施形態における計算すべき絶対値差分和Ｅ５は、次式のように表すことができる。
【数５】

【００７５】
式（５）では第９ブロック１９と第１０ブロック２０の相関を調べているが、第９ブロック１９と第１１ブロック２１の相関を調べるようにしても良い。その場合の計算すべき絶対値差分和Ｅ６は、次式のように表すことができる。
【数６】

【００７６】
ここで、式（５）（６）における重み係数α及びβについては、β≧αであることが好ましい。
【００７７】
更に、第９ブロック１９と第１０ブロック２０及び第９ブロック１９と第１１ブロック２１から相関を調べることもでき、その場合の計算すべき絶対値差分和Ｅ７は次式のように表すことができる。
【数７】

【００７８】
ここで、重み係数α及びβについては時間方向に相関の高いブロック間を重視する。つまり、ｉとｎ−ｉを比較し、より小さい方のフレーム間のブロックを重視する。例えばｉ＝１、ｎ＝３の場合には、ｎ−ｉが２となることから、第９ブロック１９と第１０ブロック２０の相関を重視し、αをβより大きくするのが好ましい。
【００７９】
本実施形態では、式（５）（６）（７）に示したＥ５，Ｅ６またはＥ７が最小となる動きベクトルＦを最適動きベクトルとして求めることになる。
【００８０】
図１８に、本実施形態に係る動きベクトル検出方法を実施する動きベクトル検出装置の構成を示す。説明を簡略化するためにｉ＝１、ｎ＝２とする。図５と対応する要素に同一符号を付して第１の実施形態との相違点を中心に説明すると、動きベクトル判定用ブロック抽出部８３では、図１７中のステップＳ５０１の処理、すなわち第ｍ＋１フレームの画像信号３６内から動きベクトル探索領域にある第９ブロック１９を抽出する処理が行われる。第９ブロック１９の位置指定は第９ブロック１１指定部７８によって行われ、第９ブロック位置のアドレス、例えば左上隅のアドレス７９が動きベクトル判定用ブロック抽出部８３へ出力される。
【００８１】
動きベクトル検出部８０では、図１７中のステップＳ５０２〜Ｓ５０６の処理、すなわち第ｍ＋ｉフレーム３から第ｍフレーム１への動きベクトルである第６動きベクトルＦを検出して該動きベクトルＦとは逆方向で１／２の動きである第７動きベクトルを算出する処理と、第６動きベクトルと第７動きベクトルを用いて第９ブロック１９に対する第ｍフレーム１上の第１０ブロック２０及び第ｍ＋ｎフレーム２上の第１１ブロック２１を抽出する処理、及び第１０ブロック２０と第１１ブロック２１の相関がより大きい複数の第６動きベクトル８１と第１０ブロック２０の画像信号８２を出力する処理を行う。
【００８２】
次に、最適動きベクトル判定部８６では、複数の第６動きベクトル８１の中で第９ブロック１９と第１０ブロック２０の相関が最大となる動きベクトルを最適動きベクトルと判定する処理が行われる。最適動きベクトル判定部８６からの判定結果８７に従って、動きベクトル選択部８８により図１７中のステップＳ５０７の最適動きベクトルの選択処理が行われ、ここで選択された動きベクトルが最終的な最適動きベクトル８９として出力される。
【００８３】
ここでは第１０ブロック２０と９ブロックの相関を判定する構成について説明したが、前述のように第１１ブロック２１と第９ブロック１９の相関を判定する場合についても同様の構成を用いて実施できる。
【００８４】
（第６実施形態）
次に、本発明の第６実施形態として動きベクトル検出に基づく動き補償を用いた補間画像作成方法について、図１９及び図２０を用いて説明する。本実施形態に係る補間画像の作成方法は、例えば第１実施形態で求めた最適動きベクトルＤをスケール変換した動きベクトルを用いて第１２ブロック２２を抽出し、第１２ブロック２２を補間フレームの第１ブロックと空間的同位置に割り当てることにより補間画像を作成することが基本となる。
【００８５】
より詳しく説明すると、原画像の第ｍフレーム（ｍは任意の整数）と第ｍ＋ｎフレーム（ｎはｉ＋１以上の整数、ｉは１以上の整数）間の第ｍ＋ｋ（ｋは任意の実数）フレームの位置、例えば図１９に示すように第ｍフレーム１と第ｍ＋ｉフレーム３間の第ｍ＋ｋフレームの位置に補間画像を作成する場合、まず第１の実施形態と同様にして第ｍフレーム１と第ｍ＋ｎフレーム２間の最適動きベクトルＤを求めた後、最適動きベクトルＤを第ｍ＋ｋフレームの時間的位置に応じてスケール変換する（ステップＳ６０１〜Ｓ６０２）。
【００８６】
すなわち、第ｍフレーム１と第ｍ＋ｎフレーム２のフレーム差分ｎと、第ｍ＋ｋフレームと第ｍ＋ｉフレーム３のフレーム差分（ｉ−ｋ）との比から、第１ブロック１１と空間的に同位置となる第ｍ＋ｋフレーム上のブロックの第ｍ＋ｋフレームから第ｍ＋ｉフレーム３への移動量、つまり動きベクトル（（ｉ−ｋ）／ｎ）＊Ｄを算出する。
【００８７】
次に、スケール変換後の動きベクトル（（ｉ−ｋ）／ｎ）＊Ｄに従って、第ｍ＋ｉフレーム３から第１ブロック１１の移動先となる第１２ブロック２２、すなわち第１ブロック１１と空間的に同位置となる第ｍ＋ｋフレーム上のブロックの第ｍ＋ｉフレーム３上への移動先となる第１２ブロック２２を抽出する（ステップＳ６０３）。
【００８８】
次に、第ｍ＋ｋフレームの第１ブロックと空間的同位置に第１２ブロック２２を割り当て第ｍ＋ｋフレームの補間画像を作成する（ステップＳ６０４）。第ｍ＋ｋフレーム上の各ブロックは、第ｍフレーム１から空間的に同位置となるブロックによって構成されているため、第ｍ＋ｋフレーム上に敷き詰められた状態にあり、各ブロックに対応して補間ブロックを作成することで、補間画像を隙間なく、また重なり合うことなく作成できる。
【００８９】
補間画像は前述のように第ｍフレーム１と第ｍ＋ｉフレーム３間のフレームに作成することもできるし、同じ動きベクトルＤを用いて第ｍ＋ｉフレーム３と第ｍ＋ｎフレーム２間のフレームに作成することができる。例えばｉ＝１、ｎ＝２とすると、第ｍフレーム１と第ｍ＋２フレームから検出される動きベクトルＤを用いて、第ｍ＋０．５フレーム（第ｍフレーム１と第ｍ＋１フレームの間）画像と、第ｍ＋１．５フレーム（第ｍ＋１フレームと第ｍ＋２フレームの間）画像をほぼ同時に求められる。これは、第ｍフレーム１と第ｍ＋１フレーム間の動きベクトルを求めた後、その動きベクトルを用いて第ｍ＋０．５フレームを作成し、第ｍ＋１フレームと第ｍ＋２フレーム間の別の動きベクトルを求めた後、その動きベクトルを用いて第ｍ＋１．５フレームを作成した場合に比べ、計算時間を短縮することが可能になる。
【００９０】
また別の方法として、計算処理に余裕がある場合に、第ｍフレーム１と第ｍ＋２フレームから検出される動きベクトルＤ₁ を用いて、第ｍ＋０．５フレーム画像と第ｍ＋１．５フレーム画像を求めた後、第ｍ＋１フレームと第ｍ＋３フレームから検出される別の動きベクトルＤ₂ を用いて、第ｍ＋１．５フレーム画像と第ｍ＋２．５フレーム画像を求め、更に２つの第ｍ＋１．５フレーム画像と第ｍ＋２フレーム画像の相関を調べ、第ｍ＋２フレーム画像と相関が高くなるように各ブロックを選択する方法を取るようにしても良い。
【００９１】
（第７実施形態）
次に、本発明の第７の実施形態として、原画像がインターレース画像の場合において動きベクトルの検出及び補間画像の作成を行う方法について、図２１〜図２３を用いて説明する。
【００９２】
まず、第ｍフィールド１の動きベクトル探索領域から第１ブロック１１を抽出し（ステップＳ７０１）、さらに第ｍ＋２ｎ（ｎは１以上の整数）フィールドの動きベクトル探索領域内で第１ブロック１１と同じブロックサイズの複数のブロックから第１ブロック１１との相関がより大きい複数の第２ブロック１２を抽出し（ステップＳ７０２）、第１ブロック１１と第２ブロック１２を結ぶベクトルを第１動きベクトルＤとして検出する（ステップＳ７０３）。
【００９３】
次に、第ｍ＋２ｎ−１フィールドから第ｍフレーム１の第１ブロック１１と空間的に１／２ライン垂直方向（上もしくは下）にシフトした空間位置にある第３ブロック１３を抽出する（ステップＳ７０４）。次に、第１動きベクトルＤと方向が同じで動き量が１／２の第２動きベクトルＤ／２を検出し（ステップＳ７０５）、第２動きベクトルＤ／２に従って第ｍ＋２ｎフィールドから第３ブロック１３と空間的に同位置にあるブロックの第ｍ＋２ｎフィールドへの移動先となる第４ブロック１４を抽出する（ステップＳ７０６）。
【００９４】
次に、第３ブロック１３を第１垂直方向（例えば、上方向）に線形補間した第１３ブロック２３を作成し（ステップＳ７０７）、さらに第４ブロック１４を第１垂直方向とは逆の第２垂直方向（例えば、下方向）に線形補間した第１４ブロック２４を作成する（ステップＳ７０８）。そして、第１３ブロック２３と第１４ブロック２４を用いて第１動きベクトル１１の適否の判定を行う。すなわち、例えば第１３ブロック２３と第１４ブロック２４の絶対値差分和を求めることで両ブロック間の相関を調べ、相関が最大となる第１動きベクトルＤを最適動きベクトルとして選択する（ステップＳ７０９）。
【００９５】
次に、第ｍ＋ｋフィールドの補間画像を基本的には第６実施形態と同様の方法を用いて作成する。すなわち、第６実施形態において説明した図２０中のステップＳ６０２〜Ｓ６０４と同様に、ステップＳ７０９で求められた最適動きベクトルを第ｍ＋ｋフィールドの時間的位置に応じてスケール変換して第３動きベクトルを求め（ステップＳ７１０）、スケール変換後の第３動きベクトルに従って第ｍ＋２ｎフィールドから第１ブロック１１の移動先となる第１５ブロックを抽出し（ステップＳ７１１）、第ｍ＋ｋフィールドの第１ブロック１１と空間的同位置に第１５ブロックを割り当ててて第ｍ＋ｋフィールドの補間画像を作成する（ステップＳ７１２）。
【００９６】
例えば、ｋ＝０．５として第ｍ＋１．５フィールドの補間画像を作成する場合は、第１動きベクトルの最適動きベクトルと方向が同じで動き量が１／４の第３動きベクトルに従って、第ｍ＋２ｎフィールド上への移動先となる第５ブロックを第ｍ＋２ｎフィールドから抽出し、第５ブロックを第ｍ＋１．５フィールドに割り当てる。同様にして、第ｍ＋１．５フィールド上の各第５ブロックを求めて、第ｍ＋１．５フィールド上に割り当ててゆくことによって、補間画像が完成する。但し、この方法は基本的にプログレッシブ画像をフィールド画像として求める場合であり、補間画像のフィールドについてもインターレース処理を行う場合は、垂直方向にラインの間引きを行わなければならない。
【００９７】
（第８実施形態）
最後に、本発明の第８実施形態として、これまでの各実施形態で説明した動きベクトル検出方法及びこれに基づく補間画像の作成方法を用いた画像表示システムについて説明する。
【００９８】
図２４は、画像表示システムの概略構成を示しており、入力画像信号１０１は補間フィールド画像作成部１０２及び画像切替部１０４に入力される。補間フィールド画像作成部１０２では、補間画像信号１０３がこれまで述べた手順によって作成され、補間画像信号１０３は画像切替部１０４へ出力される。画像切替部１０４では、入力画像信号１０１をそのまま出力するか、補間画像信号１０４を出力するかの制御が行われる。画像切替部１０４からの出力画像信号１０５は、ホールド型表示装置である高速リフレッシュ表示装置１０６へ出力される。表示装置１０６では、出力画像信号１０５に含まれる同期信号に対応して、リフレッシュレートを変えて画像の表示が行われる。
【００９９】
【発明の効果】
以上述べたように、本発明によれば画像の実際の動きとは異なる誤った動きベクトルを排除し、正確な動きベクトル検出を行うことができる。また、検出された正確な動きベクトルを用いて補間画像を作成することにより、フレーム周波数の低い入力画像信号からフレーム周波数の高い出力画像信号を作成でき、動画においてはよりリアルな画像を提供し、静止画においては画質劣化の少ない画像を提供することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る動きベクトル検出方法を説明する図
【図２】同実施形態に係る動きベクトル検出手順を示すフローチャート
【図３】同実施形態の作成画像出力結果とその効果を示す図
【図４】誤った動きベクトルが検出される画像の例を示す図
【図５】同実施形態に係る動きベクトル検出装置の構成を示すブロック図
【図６】本発明の第２の実施形態に係る動きベクトル検出方法を説明する図
【図７】同実施形態に係る動きベクトル検出手順を示すフローチャート
【図８】同実施形態に係る動きベクトル検出装置の構成を示すブロック図
【図９】本発明の第３の実施形態に係る動きベクトル検出方法を説明する図
【図１０】同実施形態に係る動きベクトル検出手順を示すフローチャート
【図１１】同実施形態に係る動きベクトル検出装置の構成を示すブロック図
【図１２】本発明の第４の実施形態に係る動きベクトル検出方法を説明する図
【図１３】同実施形態に係る動きベクトル検出手順を示すフローチャート
【図１４】同実施形態に係る動きベクトル検出手順を示すフローチャート
【図１５】同実施形態に係る動きベクトル検出装置の構成を示すブロック図
【図１６】本発明の第５の実施形態に係る動きベクトル検出方法を説明する図
【図１７】同実施形態に係る動きベクトル検出手順を示すフローチャート
【図１８】同実施形態に係る動きベクトル検出装置の構成を示すブロック図
【図１９】本発明の第６の実施形態に係る補間画像作成方法を説明する図
【図２０】同実施形態に係る補間画像作成手順を示すフローチャート
【図２１】本発明の第７の実施形態に係る動きベクトル検出方法を説明する図
【図２２】同実施形態に係る動きベクトル検出手順を示すフローチャート
【図２３】同実施形態に係る動きベクトル検出手順を示すフローチャート
【図２４】本発明の一実施形態に係る表示システムの構成を示すブロック図
【図２５】従来のホールド型表示装置におけるボケ現象について説明する図

Claims (11)

1. 画像の第ｍフレーム（ｍは任意の整数）と第ｍ＋ｎフレーム（ｎはｉ＋１以上の整数、ｉは１以上の整数）間の動きベクトルを求める動きベクトル検出方法において、
   前記第ｍフレームの動きベクトル探索領域から第１ブロックを抽出するステップと、
   第ｍ＋ｎフレームの動きベクトル探索領域から前記第１ブロックとの相関が大きい順に選択した複数の第２ブロックを抽出するステップと、
   前記第１ブロックと前記複数の第２ブロック間の複数の第１動きベクトルを検出するステップと、
   第ｍ＋ｉフレームから前記第１ブロックと空間的同位置にある第３ブロックを抽出するステップと、
   前記第１動きベクトルの（ｎ−ｉ）／ｎである複数の第２動きベクトルを算出するステップと、
   前記第２動きベクトルに従って前記第ｍ＋ｎフレームから前記第３ブロックの移動先となる複数の第４ブロックを抽出するステップと、
   前記複数の第１動きベクトルから前記第３ブロックと前記複数の第４ブロックとの相関のうち最大の相関に対応する一つの動きベクトルを最適動きベクトルとして選択するステップとを有する動きベクトル検出方法。
2. 画像の第ｍフレーム（ｍは任意の整数）と第ｍ＋ｎフレーム（ｎはｉ＋１以上の整数、ｉは１以上の整数）間の最適動きベクトルを求める動きベクトル検出方法において、
   前記第ｍフレームの動きベクトル探索領域から第１ブロックを抽出するステップと、
   第ｍ＋ｎ（ｎはｉ＋１以上の整数）フレームの動きベクトル探索領域から前記第１ブロックとの相関が大きい順に選択した複数の第２ブロックを抽出するステップと、
   前記第１ブロックと前記複数の第２ブロック間の複数の第１動きベクトルを検出するステップと、
   第ｍ＋ｉフレームから前記第１ブロックと空間的同位置にある第３ブロックを抽出するステップと、
   前記第１動きベクトルの（ｎ−ｉ）／ｎである複数の第２動きベクトルを算出するステップと、
   前記第２動きベクトルに従って前記第ｍ＋ｎフレームから前記第３ブロックの移動先となる複数の第４ブロックを抽出するステップと、
   前記第１動きベクトルのｉ／ｎである複数の第３動きベクトルを算出するステップと、
   前記第３動きベクトルに従って前記第ｍ＋ｉフレームから前記第１ブロックの移動先となる複数の第５ブロックを抽出するステップと、
   前記複数の第１動きベクトルから前記第１ブロックと前記第２ブロック及び前記第５ブロックの相関を大きくする順に複数の第１動きベクトルを選択するステップと、
   選択された複数の第１動きベクトルから前記第３ブロックと前記複数の第４ブロックとの相関のうち最大の相関に対応する一つの動きベクトルを最適動きベクトルとして選択するステップとを有する動きベクトル検出方法。
3. 画像の第ｍフレーム（ｍは任意の整数）と第ｍ＋ｎフレーム（ｎはｉ＋１以上の整数、ｉは１以上の整数）間の最適動きベクトルを求める動きベクトル検出方法において、
   前記第ｍフレームの動きベクトル探索領域から第１ブロックを抽出するステップと、
   第ｍ＋ｎ（ｎはｉ＋１以上の整数）フレームの動きベクトル探索領域から前記第１ブロックとの相関が大きい順に選択した複数の第２ブロックを抽出するステップと、
   前記第１ブロックと前記複数の第２ブロック間の複数の第１動きベクトルを検出するステップと、
   第ｍ＋ｉフレームから前記第１ブロックと空間的同位置にある第３ブロックを抽出するステップと、
   前記第１動きベクトルの（ｎ−ｉ）／ｎである複数の第２動きベクトルを算出するステップと、
   前記第２動きベクトルに従って前記第ｍ＋ｎフレームから前記第３ブロックの移動先となる複数の第４ブロックを抽出するステップと、
   第ｍ＋ｎフレームから前記第１ブロックと空間的に同位置にある第６ブロックを抽出するステップと、
   前記第ｍフレームの動きベクトル探索領域から前記第６ブロックとの相関が大きい順に選択した複数の第７ブロックを抽出するステップと、
   前記第６ブロックと前記複数の第７ブロック間の複数の第４動きベクトルを検出するステップと、
   前記第４動きベクトルのｉ／ｎである複数の第５動きベクトルを算出するステップと、
   前記第５動きベクトルに従って前記第ｍフレームから前記第３ブロックの移動先となる複数の第８ブロックを抽出するステップと、
   前記複数の第１動きベクトルから前記第３ブロックと前記複数の第４ブロックとの相関のうち最大の相関に対応する一つの動きベクトルを最適第１動きベクトルとして選択するステップと、
   前記複数の第４動きベクトルから前記第３ブロックと前記複数の第８ブロックとの相関のうち最大の相関に対応する一つの動きベクトルを最適第４動きベクトルとして選択するステップと、
   前記第３ブロック及び前記第４ブロックの画素値についての第１の絶対値差分和と前記第３ブロック及び前記第８ブロックの画素値についての第２の絶対値差分和とを比較し、第１の絶対値差分和が第２の絶対値差分和より小さい場合は前記最適第１動きベクトルを最適動きベクトルとして選択し、第２の絶対値差分和が第１の絶対値差分和より小さい場合は前記最適第４動きベクトルの逆ベクトルを最適動きベクトルとして選択するステップとを有する動きベクトル検出方法。
4. 原画像の第ｍフレーム（ｍは任意の整数）と第ｍ＋ｎフレーム（ｎはｉ＋１以上の整数、ｉは１以上の整数）間の第ｍ＋ｋ（ｋは任意の実数）フレームの時間的位置に補間すべき補間画像を作成する補間画像作成方法において、
   請求項１乃至３のいずれかの動きベクトル検出方法により求められた前記最適動きベクトルを前記第ｍ＋ｋフレームの時間的位置に応じてスケール変換するステップと、
   前記スケール変換後の動きベクトルに従って前記第ｍ＋ｉフレームから前記第ｍ＋ｋフレーム内で前記第１ブロックと空間的同位置にある補間ブロックの移動先となる第１２ブロックを抽出するステップと、
   前記第ｍ＋ｋフレーム内で前記第１ブロックと空間的同位置にある前記補間ブロックに前記第１２ブロックを割り当てることにより前記補間画像を作成するステップとを有する補間画像作成方法。
5. 原画像の第ｍフィールド（ｍは任意の整数）と第ｍ＋２フィールド間の第ｍ＋ｋ（ｋは任意の実数）フィールドの時間的位置に補間すべき補間画像を作成する補間画像作成方法であって、
   前記第ｍフィールド（ｍは任意の整数）の動きベクトル探索領域から第１ブロックを抽出するステップと、
   前記第ｍ＋２フィールドの動きベクトル探索領域から前記第１ブロックとの相関が大きい順に選択した複数の第２ブロックを抽出するステップと、
   前記第１ブロックと前記複数の第２ブロック間の複数の第１動きベクトルを検出するステップと、
   第ｍ＋１フィールドから前記第１ブロックを空間的に１／２ライン垂直方向にシフトさせた空間的位置にある第３ブロックを抽出するステップと、
   前記第１動きベクトルの１／２である複数の第２動きベクトルを算出するステップと、
   前記第２動きベクトルに従って前記第ｍ＋２フィールドから前記第ｍ＋１フィールド内で前記第１ブロックと空間的同位置にある第３ブロックの移動先となる複数の第４ブロックを抽出するステップと、
   前記第３ブロックを第１垂直方向に線形補間した第１３ブロックを作成するステップと、
   前記第４ブロックを前記第１垂直方向とは逆の第２垂直方向に線形補間した複数の第１４ブロックを作成するステップと、
   前記複数の第１動きベクトルから前記第１３ブロックと前記第１４ブロックとの相関のうち最大の相関に対応する一つの動きベクトルを最適動きベクトルとして選択するステップと、
   前記最適動きベクトルを前記第ｍ＋ｋフィールドの時間的位置に応じてスケール変換するステップと、
   前記スケール変換後の動きベクトルに従って前記第ｍ＋２フィールドから前記第ｍ＋ｋフィールド内で前記第１ブロックと空間的同位置にある補間ブロックの移動先となる第１５ブロックを抽出するステップと、
   前記第ｍ＋ｋフィールド内で前記第１ブロックと空間的同位置にある前記補間ブロックに前記第１５ブロックを割り当てることにより前記補間画像を作成するステップとを有する補間画像作成方法。
6. 請求項４または５に記載の補間画像作成方法により作成された前記補間画像及び前記原画像を表示する画像表示システム。
7. 画像の第ｍフレーム（ｍは任意の整数）と第ｍ＋ｎフレーム（ｎはｉ＋１以上の整数、ｉは１以上の整数）間の動きベクトルを求める動きベクトル検出装置において、
   前記第ｍフレームの動きベクトル探索領域から第１ブロックを抽出するステップと、
   第ｍ＋ｎフレームの動きベクトル探索領域から前記第１ブロックとの相関が大きい順に選択した複数の第２ブロックを抽出する手段と、
   前記第１ブロックと前記複数の第２ブロック間の複数の第１動きベクトルを検出する手段と、
   第ｍ＋ｉフレームから前記第１ブロックと空間的同位置にある第３ブロックを抽出する手段と、
   前記第１動きベクトルの（ｎ−ｉ）／ｎである複数の第２動きベクトルを算出する手段と、
   前記第２動きベクトルに従って前記第ｍ＋ｎフレームから前記第３ブロックの移動先となる複数の第４ブロックを抽出する手段と、
   前記複数の第１動きベクトルから前記第３ブロックと前記複数の第４ブロックとの相関のうち最大の相関に対応する一つの動きベクトルを最適動きベクトルとして選択する手段とを有する動きベクトル検出装置。
8. 画像の第ｍフレーム（ｍは任意の整数）と第ｍ＋ｎフレーム（ｎはｉ＋１以上の整数、ｉは１以上の整数）間の最適動きベクトルを求める動きベクトル検出装置において、
   前記第ｍフレームの動きベクトル探索領域から第１ブロックを抽出する手段と、
   第ｍ＋ｎ（ｎはｉ＋１以上の整数）フレームの動きベクトル探索領域から前記第１ブロックとの相関が大きい順に選択した複数の第２ブロックを抽出する手段と、
   前記第１ブロックと前記複数の第２ブロック間の複数の第１動きベクトルを検出する手段と、
   第ｍ＋ｉフレームから前記第１ブロックと空間的同位置にある第３ブロックを抽出する手段と、
   前記第１動きベクトルの（ｎ−ｉ）／ｎである複数の第２動きベクトルを算出する手段と、
   前記第２動きベクトルに従って前記第ｍ＋ｎフレームから前記第３ブロックの移動先となる複数の第４ブロックを抽出する手段と、
   前記第１動きベクトルのｉ／ｎである複数の第３動きベクトルを算出する手段と、
   前記第３動きベクトルに従って前記第ｍ＋ｉフレームから前記第１ブロックの移動先となる複数の第５ブロックを抽出する手段と、
   前記複数の第１動きベクトルから前記第１ブロックと前記第２ブロック及び前記第５ブロックの相関を大きくする順に複数の第１動きベクトルを選択する手段と、
   選択された複数の第１動きベクトルから前記第３ブロックと前記複数の第４ブロックとの相関のうち最大の相関に対応する一つの動きベクトルを最適動きベクトルとして選択する手段とを有する動きベクトル検出装置。
9. 画像の第ｍフレーム（ｍは任意の整数）と第ｍ＋ｎフレーム（ｎはｉ＋１以上の整数、ｉは１以上の整数）間の最適動きベクトルを求める動きベクトル検出装置において、
   前記第ｍフレームの動きベクトル探索領域から第１ブロックを抽出する手段と、
   第ｍ＋ｎ（ｎはｉ＋１以上の整数）フレームの動きベクトル探索領域から前記第１ブロックとの相関が大きい順に選択した複数の第２ブロックを抽出する手段と、
   前記第１ブロックと前記複数の第２ブロック間の複数の第１動きベクトルを検出する手段と、
   第ｍ＋ｉフレームから前記第１ブロックと空間的同位置にある第３ブロックを抽出する手段と、
   前記第１動きベクトルの（ｎ−ｉ）／ｎである複数の第２動きベクトルを算出する手段と、
   前記第２動きベクトルに従って前記第ｍ＋ｎフレームから前記第３ブロックの移動先となる複数の第４ブロックを抽出する手段と、
   第ｍ＋ｎフレームから前記第１ブロックと空間的に同位置にある第６ブロックを抽出する手段と、
   前記第ｍフレームの動きベクトル探索領域から前記第６ブロックとの相関が大きい順に選択した複数の第７ブロックを抽出する手段と、
   前記第６ブロックと前記複数の第７ブロック間の複数の第４動きベクトルを検出する手段と、
   前記第４動きベクトルのｉ／ｎである複数の第５動きベクトルを算出する手段と、
   前記第５動きベクトルに従って前記第ｍフレームから前記第３ブロックの移動先となる複数の第８ブロックを抽出する手段と、
   前記複数の第１動きベクトルから前記第３ブロックと前記複数の第４ブロックとの相関のうち最大の相関に対応する一つの動きベクトルを最適第１動きベクトルとして選択する手段と、
   前記複数の第４動きベクトルから前記第３ブロックと前記複数の第８ブロックとの相関のうち最大の相関に対応する一つの動きベクトルを最適第４動きベクトルとして選択する手段と、
   前記第３ブロック及び前記第４ブロックの画素値についての第１の絶対値差分和と前記第３ブロック及び前記第８ブロックの画素値についての第２の絶対値差分和とを比較し、第１の絶対値差分和が第２の絶対値差分和より小さい場合は前記最適第１動きベクトルを最適動きベクトルとして選択し、第２の絶対値差分和が第１の絶対値差分和より小さい場合は前記最適第４動きベクトルの逆ベクトルを最適動きベクトルとして選択する手段とを有する動きベクトル検出装置。
10. 原画像の第ｍフレーム（ｍは任意の整数）と第ｍ＋ｎフレーム（ｎはｉ＋１以上の整数、ｉは１以上の整数）間の第ｍ＋ｋ（ｋは任意の実数）フレームの時間的位置に補間すべき補間画像を作成する補間画像作成装置において、
    請求項７乃至９のいずれかの動きベクトル検出装置により求められた前記最適動きベクトルを前記第ｍ＋ｋフレームの時間的位置に応じてスケール変換する手段と、
    前記スケール変換後の動きベクトルに従って前記第ｍ＋ｉフレームから前記第ｍ＋ｋフレーム内で前記第１ブロックと空間的同位置にある補間ブロックの移動先となる第１２ブロックを抽出する手段と、
    前記第ｍ＋ｋフレーム内で前記第１ブロックと空間的同位置にある前記補間ブロックに前記第１２ブロックを割り当てることにより前記補間画像を作成する手段とを有する補間画像作成装置。
11. 原画像の第ｍフィールド（ｍは任意の整数）と第ｍ＋２フィールド間の第ｍ＋ｋ（ｋは任意の実数）フィールドの時間的位置に補間すべき補間画像を作成する補間画像作成装置であって、
    前記第ｍフィールド（ｍは任意の整数）の動きベクトル探索領域から第１ブロックを抽出する手段と、
    前記第ｍ＋２フィールドの動きベクトル探索領域から前記第１ブロックとの相関が大きい順に選択した複数の第２ブロックを抽出する手段と、
    前記第１ブロックと前記複数の第２ブロック間の複数の第１動きベクトルを検出する手段と、
    第ｍ＋１フィールドから前記第１ブロックを空間的に１／２ライン垂直方向にシフトさせた空間的位置にある第３ブロックを抽出する手段と、
    前記第１動きベクトルの１／２である複数の第２動きベクトルを算出する手段と、
    前記第２動きベクトルに従って前記第ｍ＋２フィールドから前記第ｍ＋１フィールド内で前記第１ブロックと空間的同位置にある第３ブロックの移動先となる複数の第４ブロックを抽出する手段と、
    前記第３ブロックを第１垂直方向に線形補間した第１３ブロックを作成する手段と、
    前記第４ブロックを前記第１垂直方向とは逆の第２垂直方向に線形補間した複数の第１４ブロックを作成する手段と、
    前記複数の第１動きベクトルから前記第１３ブロックと前記第１４ブロックとの相関のうち最大の相関に対応する一つの動きベクトルを最適動きベクトルとして選択する手段と、
    前記最適動きベクトルを前記第ｍ＋ｋフィールドの時間的位置に応じてスケール変換する手段と、
    前記スケール変換後の動きベクトルに従って前記第ｍ＋２フィールドから前記第ｍ＋ｋフィールド内で前記第１ブロックと空間的同位置にある補間ブロックの移動先となる第１５ブロックを抽出する手段と、
    前記第ｍ＋ｋフィールド内で前記第１ブロックと空間的同位置にある前記補間ブロックに前記第１５ブロックを割り当てることにより前記補間画像を作成する手段とを有する補間画像作成装置。

Images