JP4964937B2 - 動きベクトル検出装置、フレーム補間処理装置およびそれらの方法 - Google Patents

Description

この発明は、動きベクトル検出に関し、特にその精度向上に関する。

特許文献１には、 現在フレームと参照フレームの２枚の入力画像を、それぞれ複数のブロックに分割し、２つの入力画像に基づいて、各ブロックのＬＭＶ（ローカル動きベクトル）をそれぞれ検出し、ブロック各々に対応するＬＭＶの信頼度指標としてのブロック重みを算出して、このブロック重みに応じて各ブロック対応の寄与率を設定してＧＭＶ（グローバル動きベクトル）を算出する動きベクトル検出装置が開示されている。

このように、ブロックごとのＬＭＶの信頼度指標に基づいて重みづけをすることにより、全体として信頼度の高いＧＭＶを得ることができるというものである。

特開２００９−６５３３２号公報

上記特許文献１では、以下のような問題があった。動画像には、投げられたボールのように、カメラワークに依存しない物体が含まれている場合がある。これらは外乱と呼ばれており、該当するブロックをＧＭＶの計算から除外することが望ましい。しかし、これらの外乱ブロックを正確に取り除く簡易な演算処理は見いだせていなかった。特にこれらの外乱に該当するブロックが画面の半分程度を占める場合には、これらを除外することができなかった。

この発明は、上記の問題点を解決して、カメラワークにおける外乱ブロックを正確に取り除くことのできるグローバル動きベクトル演算装置またはその方法を提供することを目的とする。

(1)本発明にかかるグローバル動きベクトル演算装置は、Ａ）第ｎフレームと第ｎ＋１フレームについて、それぞれ１画面を構成する画素を所定の矩形のブロックにブロック化して、ブロック別の動きベクトルであるローカル動きベクトルを求めるとともに、求めたブロックについてのローカル動きベクトルを計算対象ブロックのローカル動きベクトルとして与えるブロック別動きベクトル演算手段、Ｂ）前記計算対象ブロックのローカル動きベクトルが与えられると、各ブロックを注目ブロックとして、その周辺ブロックのローカル動きベクトルの平均と当該注目ブロックのローカル動きベクトルとの差分の絶対値に基づいて注目ブロックのローカル動きベクトルに重み付け係数を全計算対象ブロックについて演算するとともに、前記計算対象ブロックの各重み付け係数およびローカル動きベクトルから、最小二乗法によりグローバル動きベクトルの平行移動パラメータを演算する平行移動パラメータ演算手段、Ｃ）前記平行移動パラメータが与えられると、この平行移動パラメータおよび、平行移動、回転、ズームの４パラメータで表したアフィン変換式からグローバル動きベクトルの回転・ズームパラメータを求める回転・ズームパラメータ演算手段、Ｄ）前記平行移動パラメータ、および回転・ズームパラメータが与えられると、各ブロックについてのローカル動きベクトルに展開した展開後ローカル動きベクトルを演算する展開後動きベクトル手段、Ｅ）計算対象ブロックを選別するための閾値を記憶する閾値記憶手段、Ｆ）各ブロックについて、前記展開後ローカル動きベクトルと、前記ブロック別動きベクトル演算手段が演算したローカル動きベクトルとの差が前記閾値記憶手段に記憶された閾値内であるブロックを計算対象ブロックとして決定し、決定した計算対象ブロックについての前記ブロック別動きベクトル演算手段が演算したローカル動きベクトルを前記平行移動パラメータ演算手段に計算対象ブロックとして与える計算対象ブロック決定手段、Ｇ）計算対象ブロック決定手段の処理を所定回数繰り返し実行する手段であって、繰り返し回数が増える度に前記閾値を小さくして、前記繰り返し処理を行う繰り返し手段を備えている。
このように、最小二乗法によりグローバル動きベクトルの平行移動パラメータを演算し、この平行移動パラメータからアフィン変換式により、グローバル動きベクトルの回転・ズームパラメータを求めることにより、カメラワークにおける平行移動、回転・ズームパラメータを簡易に求めることができる。

また、前記求めたグローバル動きベクトルのパラメータについて、閾値を変更しつつ計算対象ブロックを変更して繰り返し演算を行うことにより、より精度の高いグローバル動きベクトルの平行移動パラメータ、および回転・ズームパラメータを求めることができる。

(2)本発明にかかるグローバル動きベクトル演算装置は、Ａ）演算結果であるブロック別のローカル動きベクトルを記憶するローカル動きベクトル記憶手段、Ｂ）前記ブロックごとのローカル動きベクトルからグローバル動きベクトルの平行移動、回転、ズームの各パラメータを求めるグローバル動きベクトル演算手段、Ｃ）求めたグローバル動きベクトルを各ブロックのローカル動きベクトルに展開した展開ローカル動きベクトルを求める展開動きベクトル演算手段、Ｄ）計算対象ブロックを選別するための閾値を記憶する閾値記憶手段、Ｅ）各ブロックについて、前記ローカル動きベクトル記憶手段に記憶されたローカル動きベクトルと展開ローカル動きベクトルとの差分を求め、前記閾値を超えないブロックを対象ブロックとして決定する演算対象ブロック選定手段、Ｆ）前記対象ブロックとして決定されなったブロックを除外して、前記グローバル動きベクトル演算手段に新たなグローバル動きベクトルを求めさせる処理を、所定条件まで繰り返し実行する繰り返し手段を備えている。

前記求めたグローバル動きベクトルのパラメータについて、繰り返し演算を行うことにより、より精度の高いグローバル動きベクトルの平行移動パラメータ、および回転・ズームパラメータを求めることができる。

(3)本発明にかかるグローバル動きベクトル演算装置においては、前記繰り返し手段は、前記繰り返し回数が増える度に前記閾値を小さくして、前記繰り返し処理を行う。したがって、繰り返し回数が多くなるにつれて、計算対象ブロックをより適切な範囲に選択することができる。これにより、精度の高いグローバル動きベクトルの平行移動パラメータ、および回転・ズームパラメータを求めることができる。

(4)本発明にかかるグローバル動きベクトル演算装置においては、前記グローバル動きベクトル演算手段は、1)前記計算対象ブロックのローカル動きベクトルが与えられると、各ブロックを注目ブロックとして、その周辺ブロックのローカル動きベクトルの平均と当該注目ブロックのローカル動きベクトルとの差分の絶対値に基づいて注目ブロックのローカル動きベクトルに重み付け係数を全計算対象ブロックについて演算するとともに、前記計算対象ブロックの各重み付け係数およびローカル動きベクトルから、最小二乗法によりグローバル動きベクトルの平行移動パラメータを演算する平行移動パラメータ演算手段、2)前記平行移動パラメータが与えられると、この平行移動パラメータおよび、平行移動、回転、ズームの４パラメータで表したアフィン変換式からグローバル動きベクトルの回転・ズームパラメータを求める回転・ズームパラメータ演算手段、で構成されている。 したがって、簡易にグローバル動きベクトルの平行移動パラメータ、および回転・ズームパラメータを求めることができる。

(5)本発明にかかるグローバル動きベクトル演算装置においては、前記重み付け係数は、注目ブロックおよびその周辺ブロックのローカル動きベクトルの平均と、当該注目ブロックのローカル動きベクトルとの差分の絶対値のべき乗である。したがって、疑いのあるブロックの寄与を限りなく小さくすることができる。

(6)本発明にかかるグローバル動きベクトル演算方法においては、Ａ）演算結果であるブロック別のローカル動きベクトルを記憶するローカル動きベクトルおよび計算対象ブロックを選別するための閾値を記憶しておき、Ｂ）前記ブロックごとのローカル動きベクトルからグローバル動きベクトルの平行移動、回転、ズームの各パラメータを求め、Ｃ）求めたグローバル動きベクトルを各ブロックのローカル動きベクトルに展開した展開ローカル動きベクトルを求め、Ｄ）各ブロックについて、前記記憶されているローカル動きベクトルと前記展開ローカル動きベクトルとの差分を求め、Ｅ）前記閾値と比較し、これを超えないブロックを対象ブロックとして決定し、Ｆ）前記対象ブロックとして決定されなったブロックを除外して、グローバル動きベクトルの平行移動、回転、ズームの各パラメータを求めさせる処理を、所定条件まで繰り返し実行する。

前記求めたグローバル動きベクトルのパラメータについて、繰り返し演算を行うことにより、より精度の高いグローバル動きベクトルの平行移動パラメータ、および回転・ズームパラメータを求めることができる。

(7)本発明にかかるフレーム補間処理装置においては、Ａ）請求項２のグローバル動きベクトル演算装置、Ｂ）前記グローバル動きベクトル演算装置から与えられたグローバル動きベクトルによって、第ｎフレームおよび第ｎ＋１フレームをカメラワーク補償した補償後第ｎフレームと補償後第ｎ＋１フレームを出力するカメラワーク補償手段、Ｃ）前記補償後第ｎフレームと補償後第ｎ＋１フレームを用いて、静止部分を特定するためのマスクを生成するマスク生成手段、Ｄ）前記マスクを用いて、前記補償後第ｎフレームと補償後第ｎ＋１フレームのブロックマッチング型探索処理を行い、マッチング結果に基づいて、ブロックごとのローカル動きベクトルを出力するブロックマッチング探索処理手段、Ｅ）前記ブロックマッチング探索処理手段から与えられたローカル動きベクトルと、前記補償後第ｎ、ｎ＋１フレームと、前記生成されたマスクを用いて、前記補償後第ｎフレームと補償後第ｎ＋１フレームの中間フレームを生成して出力する局所動き補償手段を備えている。

したがって、より精度の高いグローバル動きベクトルの平行移動パラメータ、および回転・ズームパラメータによるカメラワーク補償が可能なフレーム補間処理が可能となる。

グローバル動きベクトル演算装置１の機能ブロック図である。 グローバル動きベクトル演算装置１におけるグローバル動きベクトル演算のフローチャートである。 平行移動パラメータ取得を説明する図である。 グローバル動きベクトル演算１のハード構成を示す図である。 演算したグローバル動きベクトルを用いたフレーム補間処理装置２００の機能ブロック図である。 前後フレームの一例である。 オブジェクトマスク生成部の詳細ブロック図である。 補正部の詳細ブロック図である。 階層マスク生成部の詳細ブロック図である。 ブロック分割の一例である。 ブロック分割の一例である。 ブロック分割の一例である。 フレーム補間処理装置３００の機能ブロック図である。 フレーム補間処理装置４００の機能ブロック図である。

以下、本発明における実施形態について、図面を参照して説明する。
（１.ＧＭＶ演算の概要について）
グローバル動きベクトル演算装置１の機能ブロック図を図１に示す。グローバル動きベクトル演算装置１は、ブロック別動きベクトル演算手段３、平行移動パラメータ演算手段６、回転・ズームパラメータ演算手段７、グローバル動きベクトル記憶手段９、展開後動きベクトル手段１１、閾値記憶手段１５、計算対象ブロック決定手段１７、および繰り返し手段１３を備えている。

ブロック別動きベクトル演算手段３は、第ｎフレームと第ｎ＋１フレームについて、それぞれ１画面を構成する画素を所定の矩形のブロックにブロック化して、ブロック別の動きベクトルであるローカル動きベクトルを求めるとともに、求めたブロックについてのローカル動きベクトルを計算対象ブロックのローカル動きベクトルとして与える。

平行移動パラメータ演算手段６は、前記計算対象ブロックのローカル動きベクトルが与えられると、各ブロックを注目ブロックとして、その周辺ブロックのローカル動きベクトルの平均と当該注目ブロックのローカル動きベクトルとの差分の絶対値に基づいて注目ブロックのローカル動きベクトルに重み付け係数を全計算対象ブロックについて演算するとともに、前記計算対象ブロックの各重み付け係数およびローカル動きベクトルから、最小二乗法によりグローバル動きベクトルの平行移動パラメータを演算する。回転・ズームパラメータ演算手段７は、前記平行移動パラメータが与えられると、この平行移動パラメータおよび、平行移動、回転、ズームの４パラメータで表したアフィン変換式からグローバル動きベクトルの回転・ズームパラメータを求める。グローバル動きベクトル記憶手段９は、前記平行移動パラメータおよび前記回転・ズームパラメータを記憶する。

展開後動きベクトル手段１１は、前記平行移動パラメータ、および回転・ズームパラメータが与えられると、各ブロックについてのローカル動きベクトルに展開した展開後ローカル動きベクトルを演算する。

閾値記憶手段１５は、計算対象ブロックを選別するための閾値を記憶する。計算対象ブロック決定手段１７は、各ブロックについて、前記展開後ローカル動きベクトルと、ブロック別動きベクトル演算手段３が演算したローカル動きベクトルとの差が閾値記憶手段１５に記憶された閾値内であるブロックを計算対象ブロックとして決定し、決定した計算対象ブロックについてのブロック別動きベクトル演算手段３が演算したローカル動きベクトルを平行移動パラメータ演算手段６に計算対象ブロックとして与える。

繰り返し手段１１は、計算対象ブロック決定手段１７の処理を所定回数繰り返し実行する手段であって、繰り返し回数が増える度に前記閾値を小さくして、前記繰り返し処理を行う。

このように、演算されたグローバル動きベクトルの前記平行移動パラメータ、および前記回転・ズームパラメータから、ブロック別の動きベクトルに展開させ、計算対象ブロックを前記閾値で決定し、決定したブロックに基づいて、前記平行移動パラメータ、および前記回転・ズームパラメータの計算を繰り返すことにより、より精度の高い前記平行移動パラメータおよび前記回転・ズームパラメータを取得することができる。

（２．ＧＭＶ取得の詳細処理)
グローバル動きベクトル演算装置１の詳細ブロック図を図２に、演算処理のフローチャートを図３に示す。以下、図２，図３を用いて説明する。

ブロック別動きベクトル演算部３１(図２）は、ブロック別動きベクトル演算処理(図３ステップＳ１)を実行する。具体的には、第ｎフレームと第ｎ＋１フレームについて、それぞれ１画面を構成する画素を所定の矩形のブロックにブロック化して、ブロック別の動きベクトルであるローカル動きベクトルを求める。演算結果は、局所動きベクトル記憶部３３(図２参照)に記憶される。

重み付け演算部３４(図２）は、ブロック重み付け処理(図３ステップＳ３)を実行する。

重み付け演算部３４(図２）は、局所動きベクトル記憶部３３からローカル動きベクトルが与えられると、ブロック（Ｘblk、Ｙblk）を注目ブロックとして、その周辺ブロックにおけるローカル動きベクトルの平均ｍaveを式（１）により求める。

Ｘblk、Ｙblkはブロックを示す座標、δは有効計算ブロックを示すマスク、ｍは動きベクトルである。δ（Ｘblk＋ｋ，Ｙblk＋ｌ）は、後述するように演算対象でないブロックについては、「０」と、それ以外は「１」に設定されるが、１回目は全てのブロックが演算対象であるので、「１」に設定される。

注目ブロックを順次変更することにより、全ブロックについてのローカル動きベクトルの平均ｍave（Ｘblk、Ｙblk）が求められる。

重み付け演算部３４は、ブロック（Ｘblk、Ｙblk）のローカル動きベクトルｍ（Ｘblk、Ｙblk）とブロック（Ｘblk、Ｙblk）の周辺部ブロックの平均ｍave（Ｘblk、Ｙblk）と当該注目ブロックの差分の絶対値に基づいて、ブロック（Ｘblk、Ｙblk）のローカル動きベクトルに重み付け係数ｗを演算する。本実施形態においては、下記式（２）、式（３）によって重み付け係数ｗを求めた。

かかる重み付け演算は、全ブロックについて行われる。なお、差分の絶対値としては、L2ノルム、L1ノルムなどを採用することができる。

本実施形態においては、指数的な収斂を行うことにより、疑いのあるブロックの寄与を限りなく小さくすることができる。更に、1/2（あるいは1/4）のべき乗であるため固定小数点実装（シフトによる構成）がやりやすくなる。これにより、演算器をより簡易に構成できる。さらに、べき乗数とする絶対値に対し４乗とするようにした。これにより大きな差分である場合には、そのブロックの重み付け係数ｗをより小さくすることができる。

平行移動パラメータ演算部３６(図２）は、局所動きベクトル記憶部３３からローカル動きベクトルが与えられると、重み付け演算部３４から各ブロックの重み付け係数を受け取り、アフィン変換における平行移動パラメータa1,a4を演算する(図３ステップＳ７）。

アフィン変換における６つのパラメータa1〜a6を求める式を、式（４）、式（５）に示す。

本実施形態においては、各ローカル動きベクトルについて重み付け演算をしているので、式（４）、式（５）は、式(６)、式（７）と表される。これにより平行移動パラメータa1,a4が求められる。

ズーム・回転パラメータ演算部３７(図２）は、平行移動パラメータ演算部３６から平行移動パラメータa1,a4が与えられると、重み付け演算部３４から各ブロックの重み付け係数を受け取り、アフィン変換におけるズーム・回転パラメータa2,a3を演算する(図３ステップＳ９）。

本実施形態においては、式(６)、式（７）を一部限定することにより、ズーム・回転パラメータa2,a3を、平行移動パラメータa1,a4に基づいて求めるようにした。

カメラワークに限定した場合、アフィン変換のパラメータとしては、平行移動、回転、ズームに限定される。したがって、パラメータa5,a6は、下記で表される。

−a6＝a2
−a5＝−a3
これらを前記式（６），式（７）に代入すると、式（８）、式（９）が得られる。

式（８）、式（９）を変形することにより、パラメータa2,a3は、式（１０）、式（１１）で表される。

式（１０）、式（１１）から明らかなように、パラメータa2,a3は、パラメータa1,a4から演算することができる。

得られたパラメータa1〜a4は、グローバル動きベクトル記憶部３９(図２)に記憶される。

繰り返し制御部４３(図２)は、所定回数繰り返し済みか否か判断する（図３ステップＳ１１）。本実施形態においては、繰り返し回数として「３回」を採用した。この場合、１回目であるので、演算対象ブロック選定処理(図３ステップＳ１７）が実行される。

展開部４１(図２)は、グローバル動きベクトル記憶部３９からパラメータa1〜a4が与えられると、ブロック別動きベクトル演算部３１と同じブロックのブロック別動きベクトルに展開する（ＧＭＶからＬＭＶに変換）。

演算対象ブロック選定部４７は、繰り返し制御部４３から繰り返し命令が与えられると、各ブロックについて、展開されたブロック別動きベクトルと、局所動きベクトル記憶部３３のブロック別動きベクトルの差を演算し、演算結果が閾値記憶部４５に記憶されている閾値内であるブロックを演算対象ブロックとして決定する。

これを全ブロックについて繰り返すことにより、被選定ブロック位置を平行移動パラメータ演算部３６および重み付け演算部３４に与える。

かかる演算対象ブロックの選定処理の概念について図４を用いて説明する。図４は、説明のために、８つのブロックp1〜p8のローカル動きベクトルから、グローバル動きベクトルを求めた場合を示す。図４Ａは８つ全てのブロックp1〜p8から得られたグローバル動きベクトル８１を示す。このグローバル動きベクトル８１と閾値Th内にあるブロックp1,p2,p4,p6が抽出される。演算処理としては、グローバル動きベクトル８１から得られるローカル動きベクトルと比較することにより計算対象ブロックとして決定される。

重み付け演算部３４(図２)は、被選定ブロック位置が与えられると、選定されたブロックを用いて、重み付け演算を行う(図３ステップＳ３)。具体的には、重み付け演算部３４は、選定されなかったブロックについてδ(xblk,yblk)＝０として、式(１）の周辺ブロックにおけるローカル動きベクトルの平均ｍave を演算する。

なお、選定対象とならなかったブロックについては、グローバル動きパラメータ演算に用いないため、そもそも、w(xblk,yblk)の計算も不要である。したがって、重み付け演算部３４は、当該ブロックについては、w(xblk,yblk)=0として重み付け演算を省略する。

なお、上記式（８）〜（１１）において、Σwとなっている全ての部分をΣδwと置き換えることによっても同様の動作が可能である。これにより総和計算に明示的にマスク処理を施すことができる。

平行移動パラメータ演算部３６（図２）は、演算対象ブロック選定部４７から、被選定ブロック位置が与えられると、指定されたブロックの重み付け係数を用いて、平行移動パラメータを演算する(図３ステップＳ７)。

ズーム・回転パラメータ演算部３７（図２）は、被選定ブロックについて、その重み付け係数および平行移動パラメータa1,a4を用いて、パラメータa2,a3を演算する(図３ステップＳ７)。

このようにして、被選定ブロック（計算対象でないブロック以外のブロック）のＬＭＶから求めたＧＭＶパラメータa1〜a4が得られ、パラメータa1〜a4は、グローバル動きベクトル記憶部３９に上書きされる。

図４Ｂに、８つのブロックp1〜p8のうち、計算対象ブロックとなったブロックp1,p2,p4,p6から、得られた新たなグローバル動きベクトル８２を示す。

繰り返し制御部４３(図２)は、所定回数繰り返し済みか否か判断する（図３ステップＳ１１）。この場合、２回目であるので、所定回数である３回は処理していないと判断して、ステップＳ１３に進み、１回目であるか否か判断する。この場合、１回目ではなく２回目であるので、閾値を小さくする処理を実行する(ステップＳ１５）。具体的には、閾値記憶部４５に記憶されている閾値を変更する変更命令を行う。本実施形態においては、「２」である閾値を「１」とした。

演算対象ブロック選定部４７(図２)は、かかる小さくなった閾値を用いて、演算対象ブロックの選定処理を行う(図３ステップＳ１７）。

図４Ｃは、計算対象ブロックとなったブロックp1,p2,p4,p6から、得られた新たなグローバル動きベクトル８２および小さくなった閾値Th’により、グローバル動きベクトル８２と閾値Th’内にあるブロックp1,p2,p3,p5,p9が抽出される。

以下、同様にして、図３ステップＳ３〜ステップＳ９の処理が実行され、新たなグローバル動きベクトルのパラメータa1〜a4がグローバル動きベクトル記憶部３９に上書きされる。

図４Ｄは、計算対象ブロックとなったブロックp1,p2,p3,p5,p9から、得られた新たなグローバル動きベクトル８３を示す。

以下、ステップＳ１１にて３回目の処理が実行され、ステップＳ１５で閾値がさらに小さくされる。本実施形態においては、閾値を「１」から「２／３」とした。ステップＳ１７からステップＳ９の処理が実行され、あらたなグローバル動きベクトルのパラメータa1〜a4がグローバル動きベクトル記憶部３９に追記される。

繰り返し制御部４３(図２)は、所定回数の繰り返しが終わると、処理を終了する。

このように、得られたグローバル動きベクトルを用いて、閾値を小さくしつつ、計算対象ブロックを変更して、新たなグローバル動きベクトルを求める処理を繰り返すことにより、より精度の高いグローバル動きベクトルを得ることができる。

本実施形態においては、閾値を小さくする手法として、繰り返し回数をnとした場合に、閾値=2/nとした。本実施形態においては繰り返し回数を3回としたので、閾値は、最初は「２」、次は「１」、その次は「２／３」となる。

なお、繰り替え処理を行うか否かの条件については、回数としたが、閾値を設けておき、条件を満足するまで処理を繰り返すようにしてもよい。

また、計算対象ブロック決定手段１７が求める差分については、実施形態においては、差分の絶対値を採用したがこれに限定されない。

（３.変形実施形態）
上記実施形態においては、ＧＭＶパラメータ演算について、重み付け係数を考慮して、最小二乗法で平行移動パラメータを求めて、これをアフィン変換の式に代入して、ズーム・回転パラメータを求めた。しかし、これに限定されず、他の手法によって４つのパラメータを演算するようにしてもよい。

本実施形態におけるＧＭＶパラメータ演算手法は４種類のグローバル動きベクトルを簡易に計算できるという効果がある。したがって、本実施形態におけるグローバル動きベクトル演算装置１のうち、ＧＭＶパラメータ演算手段５(図１参照)における処理を単独の装置として把握することもできる。

また、繰り返し処理を行う手段（図１における展開後動きベクトル演算手段１１、繰り返し手段１３、閾値記憶手段１５、および演算対象ブロック選定手段１７）により、精度よくかつ高速にグローバル動きベクトルのパラメータ演算が可能となる。これらを単独の装置として把握することもできる。

すわなち、グローバル動きベクトルを求める演算装置であれば、どのような物にも適用可能であり、上記４パラメータだけでなく、６パラメータ（Affine）、さらに、８パラメータ（射影）を求めるグローバル動きベクトル演算装置に適用可能である。、
繰り返し処理による計算ブロックの除外・復活を実施し再計算を行なうことにより、初期の誤ったパラメータが原因で正しいブロックまで過剰に除去されることを防ぐことができる。また、繰り返しごとに閾値の値を小さくすることにより、繰り返し演算の前、または繰り返し演算の序盤は、正しいパラメータとのずれが大きいおそれがある。これにより、当初は閾値を大きめにとることで正しいブロックの検出漏れを防ぐことができる。

上記実施形態では求めたＧＭＶから閾値を小さくしながら、演算対象ブロックを変更しつつ、繰り返し演算を行っている。これにより、精度の高い中間フレームの生成が可能となる。

（４．ＧＭＶを用いた補間処理について)
前記中間フレーム画像生成時に、動いているブロックと動いていないブロックを区別するためのマスクを生成することができる。特開2003-018604号公報には、前後フレームからマスクを生成することが開示されている（図４参照）。

しかしながら、かかるマスクの生成においては、以下のような問題があった。動いているブロックの移動速度、移動距離が大きい場合、精度よく探索するためには、探索の範囲を広く設定する必要がある。しかし、探索範囲を広くすると演算速度が問題となる。下記実施形態においては、ブロックごとに探索範囲を複数段階とする階層構造マスクを生成することにより、上記問題を解決した。

まず、補間処理を行うフレーム補間処理装置２００の機能ブロック図について図５を用いて説明する。

補間処理を行うフレーム補間処理装置２００は、カメラワーク補償部２０１、マスク生成部２０３、ブロックマッチング型探索処理２０４，局所動き補償部２０６、外乱除去部２０７、カメラワーク推定部２０９を備えている。

カメラワーク補償部２０１は前回のＧＭＶパラメータを用いて補償後の前後フレームを出力する。一般的には、ＧＭＶはパラメータ、フレームn,n+1の中間フレームn+0.5を生成するために用いられる。本実施形態においては、演算遅延の抑制やフレーム記憶領域削減のために、フレームn,n+1から得られたＧＭＶから、つぎの中間フレームn+1.5を生成するようにした。たとえば、等速直線運動と仮定すれば、
ＧＭＶact(n+1.5)=ＧＭＶ0(n+0.5)
で求められる。

ＧＭＶacｔ：実際にカメラワーク補償に用いるGMV
ＧＭＶ0：カメラワーク推定部２０９から算出されたGMV
なお、等速直線運動ではなく、より滑らかさを加味するために、
ＧＭＶact(n+1.5) = {ＧＭＶ0(n+0.5) +ＧＭＶact(n+0.5)}/2
として、ＧＭＶacｔを演算するようにしてもよい。

カメラワーク補償部２０１は、与えられた前後フレームn,n+1を、ＧＭＶact(n+0.5)を用いてそれぞれ中間フレーム時間n+0.5にあわせて補償する。補償後の前後フレームがマスク生成部２０３、ブロックマッチング探索処理部２０４，および局所動き補償部２０６に与えられる。

ここでは図６に示すような前後フレームが出力されたものとする。なお、図６Ａは前フレームであり、図６Ｂは後フレームである。なお、図６において、物体２４４は静止しており、物体２４１は後フレームでは矢印α方向に移動しており、物体２４７は後フレームでは矢印β方向に移動している。

（４．１ マスク生成について)
マスク生成部２０３について説明する。マスク生成部２０３は、オブジェクトマスク生成部２０３ａおよび階層マスク生成部２０３ｂを備えている。

（４．１．１ オブジェクトマスク生成について)
オブジェクトマスク生成部２０３ａの詳細ブロックを図７に示す。オブジェクトマスク生成部２０３ａは、エッジ抽出部２５１、２６１、仮動きオブジェクトマスク生成部２５２，２６２、補正部２５３、２６３を備えている。

エッジ抽出部２５１は、後フレームが与えられると、エッジ抽出を行う。エッジ抽出処理については、従来と同様であるので説明は省略する。仮動きオブジェクトマスク生成部２５２は、後フレームから前フレームの値を減算することにより、後フレームと前フレームとの差分を演算するとともに、値がマイナスの値となった画素はゼロとする。

エッジ抽出部２６１は、前フレームが与えられると、エッジ抽出を行う。仮動きオブジェクトマスク生成部２６２は、前フレームから後フレームの値を減算することにより、後フレームと前フレームとの差分を演算するとともに、値がマイナスの値となった画素はゼロとする。かかるマイナスとなった画素についてゼロとすることにより、仮動きオブジェクトマスク生成部２５２，２６２で、異なる差分画像が得られる。補正部２５３は、仮動きオブジェクトマスク生成部２５２、２６２からの２つの差分画像およびエッジ抽出部２５１から与えられるエッジ画像を用いて、補正処理を行う。補正部２５３の構成について図８を用いて説明する。

図８は、補正部２６３の詳細ブロック図である。膨張処理部２５５は、後フレームの仮動きオブジェクトマスクの膨張処理を行う。具体的には、仮動きオブジェクトマスクは、静止している部分は黒で、動いている画素が白の二値画像である。白の部分を１画素分だけ周辺方向に広げる処理を行う。膨張処理部２５７は、後フレームのフレームエッジ画像の膨張処理を行う。膨張処理については同様である。

論理積演算部２５６は、前フレームの仮動きオブジェクトマスクと、膨張後の後フレームの仮動きオブジェクトマスクとの論理和を演算する。後フレームの仮動きオブジェクトマスクは膨張処理がなされているため、多少の演算誤差を吸収することができる。論理和演算部２５８は、上記論理和演算結果と、膨張処理がなされた後フレームエッジの論理和演算を行う。

閾値比較部２５９は、膨張後の後フレームの仮動きオブジェクトマスクと、論理和演算部２５８の出力を所定の閾値で比較して、閾値以上の部分について、オブジェクトマスクの穴埋めを行う。

このように、エッジ抽出部２５１からのエッジ画像および穴埋めを行うことにより、前記２つの差分画像で動いている領域が前フレームと後フレームで重なっている場合でも、輪郭を取得することができる。例えば、図６に示す物体２４１の部分は、前後で輪郭が少しずれて重なった位置に存在する。したがって、論理積演算部２５６の出力は、一部が欠けた円の形のマスクとなる。これに輪郭情報を付加するとともに、輪郭となるまで穴埋めすることにより、円形状のマスクが得られる。

前フレーム用の補正部２６３は与えられるフレームが変わるだけで、補正部２５３と同様の構成をしており、同様にして、前フレームの動きオブジェクトマスクが生成される。これにより、前フレーム、後フレームの動きオブジェクトマスクが得られる。なお、この動きオブジェクトマスクは前フレーム用も後フレーム用もいずれも画素単位の二値画像である。

（４．１．２ 階層マスク生成について)
得られた動きオブジェクトマスクを用いて、階層マスク生成部２０３ｂ（図５参照）は、各ブロックの探索範囲を決定する階層マスクを生成する。階層マスク生成部２０３ｂの詳細を図９に示す。

階層マスク生成部２０３ｂは、ブロック分割部２６１、２７１、前フレームオブジェクト画素数計測部２６３，後フレームオブジェクト画素数計測部２７３、最大値抽出部２６５，２７５、ブロックパターン別前後フレーム比較部２７７，階層数決定部２７９を備えている。

（４．１．２．１ ブロック分割処理について)
ブロック分割部２６１は、前フレームの動きオブジェクトマスクを所定のブロックに分割する。動きオブジェクトマスクは、既に説明したように、動いている部分は白く、静止している部分については黒の二値画像である。本実施形態においては、第１分割部２６１ａが画素数16*16に、第２分割部２６１ｂが画素数32*32に、第３分割部２６１ｃが画素数64*64のブロックに分割するようにした。かかる画素数は計算を容易にするためであるが、これに限定されるわけではない。また、分割部の数も限定されない。

ブロック分割部２７１も同様である。図１０〜図１２にブロック分割部２６１，２７１による分割結果の一例を示す。

図１０は、画素数16*16にブロック分割した状態を示す。図１０は最小矩形が８画素を表している。また、太線が各ブロックの境界を表している。また、画素との関係をわかりやすくするために、本来マスクとして黒である部分を白とし、白部分をハッチング処理している。また、図１０Ａが、ブロック分割部２６１によってブロック分割された前フレームであり、図１０Ｂが、ブロック分割部２７１によってブロック分割された後フレームを示している。以下では、ブロックの左上角のブロック特定座標で特定するものとする。たとえば、図１０Ａにおいて、オブジェクト２９１は、ブロック（4,4）、（3,4）、（4,3）、計3つのブロックにわたって位置している。

図１１は、画素数32*32にブロック分割した状態を示す。なお、図１１に示す画素数32*32のブロック分割は、図１０とは異なり、各ブロックをこのブロックサイズにおいて、１／２ブロック幅分Ｘ方向またはＹ方向にずらして重複するよう配置する。これにより、ブロックサイズが異なっても、ブロックの左上角のブロック座標は同じでなる。

図１２は、画素数64*64におけるブロック分割した場合である。なお、ブロック分割は、このブロックサイズにおいて、１／４ブロック幅分Ｘ方向，Ｙ方向にずらしながら重複して配置する。

（４．１．２．２ 画素計測処理について)
前オブジェクト画素計測部２６３は、第１分割部２６１ａ〜第3分割部２６１ｃによって、前記ブロックサイズに分割された各ブロックについて、それぞれ、ブロック内の画素数を計測する。

前フレームオブジェクト画素計測部２６３(図９参照)による処理について、図１０〜図１２を参照しつつ説明する。

前フレームオブジェクト画素計測部２６３(図９参照)の画素数計測部２６３ａは、１ブロックの画素数が16*16における計測を行う（図１０参照)。画素数計測部２６３ａは、ブロック（0,0）から順次その外側に位置するブロックについて探索を行う。図１０Ａでは、ブロック（0,0）が「０」、ブロック（0,1）が「０」、・・・・、ブロック（4,3）が「６４」、・・・、ブロック（3,4）が「１２８」、ブロック（4,4）が「２５６」・・・となる。

後フレームオブジェクト画素計測部２７３(図５参照)の画素数計測部２７３ａも同様の処理を行う。ブロック（0,0）が「０」、ブロック（0,1）が「０」、・・・・、ブロック（2,1）が「６４」、・・・、ブロック（1,2）が「１２８」、ブロック（2,2）が「２５６」・・・となる。

前フレームオブジェクト画素計測部２６３(図９参照)の画素数計測部２６３ｂは、１ブロックの画素数が32*32における計測を行う（図１１参照)。図１１Ａでは、ブロック（0,0）が「０」、ブロック（0,1）が「０」、・・・、ブロック（3,2）が「６４」、・・・、ブロック（2,3）が「１２８」、ブロック（3,3）が「４４８」・・・となる。

後フレームオブジェクト画素計測部２７３(図５参照)の画素数計測部２７３ｂも同様の処理を行う。図１１Ｂにおいては、ブロック（0,0）が「０」、ブロック（1,0）が「６４」、・・・・、ブロック（1,1）が「４４８」・・・となる。

前フレームオブジェクト画素計測部２６３(図９参照)の画素数計測部２６３ｃは、１ブロックの画素数が64*64における計測を行う（図１２参照)。図１２Ａでは、ブロック（0,0）が「０」、ブロック（1,0）が「６４」、・・・ブロック（1,1）が「４４８」・・・となる。

後フレームオブジェクト画素計測部２７３(図５参照)の画素数計測部２７３ｃも同様の処理を行う。図１２Ｂにおいては、ブロック（0,0）が「４４８」、ブロック（1,0）が「４４８」、・・・・、ブロック（1,1）が「４４８」・・・となる。

（４．１．２．３ 最大値決定処理について)
前フレームブロック別最大値抽出部２６５(図９参照)は、画素数計測部２６３ａ〜２６３ｃが計測した各ブロックについて、その最大値を決定する。その際、所定範囲の周辺ブロックも含めて、当該ブロックの最大値とする。また、後述する階層数決定部２７９（図９参照)にて、ブロックサイズ別に比較する為に、画素数をブロック構成画素数との相対値とした。

以下、図１０〜図１２を参照しつつ説明する。

i)最大値抽出部２６５ａ、２７５ａによる処理
前フレームブロック別最大値抽出部２６５(図９参照)の最大値抽出部２６５ａは、計測した画素数について、その周辺ブロックも合わせて、そのうちの最大値を当該ブロックの最大値とする。本実施形態においては、16*16画素のブロックの場合は、周辺ブロックとして周囲１ブロックとした。

図１０Ａでは、ブロック（0,0）が「０」であり、その１ブロック周辺の範囲、であるブロック（0,1）、（1,0）、（1,1）は、ともに「０」、であるので、ブロック（0,0）の最大値は「０」となる。その際、相対値は16*16で除算しても「０」である。以下、かかる処理を繰り返す。ブロック（2,3）は「０」であるが、周辺１ブロックを探索すると、ブロック（3,4）が「１２８」である。したがって、ブロック（2,3）の最大値は、これを２５６で除算した「１２８／２５６」となる。同様にして、ブロック（2,4）、（2,5）の最大値は「１２８／２５６」となる。また、ブロック（3,2）の値は、「０」であるが、1ブロック周辺にあるブロック（4,3)が「６４」である。したがって、ブロック（3,2）の最大値は、これを２５６で除算した「６４／２５６」となる。また、ブロック（3,3）の値は、「０」であるが、1ブロック周辺にあるブロック（4,4)が「２５６」である。したがって、ブロック（3,3）の最大値は、これを２５６で除算した「２５６／２５６」となる。

後フレームオブジェクト画素計測部２７３(図５参照)の画素数計測部２７５ａも同様の処理を行う。ブロック（0,0）が「０」、ブロック（0,1）〜（0,3）が「１２８／２５６」となる。ブロック（1,0）は「６４」、ブロック（1,1）〜（1,3）が「２５６」・・・となる。

ii)最大値抽出部２６５ｂ，２７５ｂによる処理
前フレームブロック別最大値抽出部２６５(図９参照)の最大値抽出部２６５ｂは、計測した画素数について、その周辺ブロックも合わせて、そのうちの最大値を当該ブロックの最大値とする。本実施形態においては、32*32画素のブロックの場合は、周辺ブロックとして周囲２ブロックとした。

図１１Ａでは、ブロック（0,0）が「０」であり、その２ブロック周辺の範囲、であるブロック（0,1）、（1,0）、（1,1）は、ともに「０」であるので、ブロック（0,0）の最大値は「０」となる。その際、相対値は32*32で除算しても「０」である。

以下、上記処理を繰り返す。ブロック（0,1）は「０」であるが、周辺２ブロックを探索すると、ブロック（2,3）が「１２８」である。したがって、ブロック（0,1）の最大値は、これを１０２４で除算した「１２８／１０２４」となる。同様にして、ブロック（0,2）、（0,3）は「１２８／１０２４」となる。

また、ブロック（1,0）は「０」であるが、周辺２ブロックを探索すると、ブロック（3,2）が「６４」である。したがって、ブロック（1,0)の最大値は、これを１０２４で除算した「６４／１０２４」となる。ブロック（1,1）は「０」であるが、周辺２ブロックを探索すると、ブロック（3,3）が「４４８」である。したがって、ブロック（1,1)の最大値は、これを１０２４で除算した「４４８／１０２４」となる。以下、同様にして、ブロック（1,2）、（1,3）は「４４８／１０２４」となる。

後フレームオブジェクト画素計測部２７３(図５参照)の画素数計測部２７５ｂも同様の処理を行う。ブロック（0,0）が「４４８／１０２４」、ブロック（0,1）〜（0,2）が「４４８／１０２４」となる。また、ブロック（0,3）が周囲２ブロック内のブロック（1,2）の「３８４／１０２４」となる。

iii)最大値抽出部２６５ｃ，２７５ｃによる処理
前フレームブロック別最大値抽出部２６５(図９参照)の最大値抽出部２６５ｃは、計測した画素数について、その周辺ブロックも合わせて、そのうちの最大値を当該ブロックの最大値とする。本実施形態においては、64*64画素のブロックの場合は、周辺ブロックとして周囲３ブロックとした。

図１２Ａでは、ブロック（0,0）が「０」であるが、その３ブロック周辺の範囲、であるブロック（1,1）は、４４８である。したがって、ブロック（0,0）の最大値は、これを４０９６で除算した「４４８／４０９６」となる。同様にして、ブロック（0,1）〜ブロック（0,6）は「４４８／４０９６」となる。

後フレームオブジェクト画素計測部２７３(図５参照)の画素数計測部２７５ｃも同様の処理を行う。ブロック（0,0）が「４４８／４０９６」・・・となる。

（４．１．2．4 前後フレーム比較処理について)
ブロックパターン別前後フレーム比較部２７７は、３種類のブロックパターンそれぞれについて、各ブロックについての最大値、最小値を決定する。

16*16画素のブロックについては、前フレームのブロック(0,0)は「０」、後フレームのブロック(0,0)は「０」である。したがって、ブロック(0,0)は最大値、最小値とも「０」となる。前フレームのブロック(0,1)は「０」、後フレームのブロック(0,1)は「１２８／２５６」である。したがって、ブロック(0,1)は最大値「１２８／２５６」、最小値「０」となる。同様にして、ブロック(0,2)、(0,3)は最大値「１２８／２５６」、最小値「０」となる。ブロック(1,0)については、最大値「６４／２５６」、最小値「０」となる。

32*32画素のブロックについては、前フレームのブロック(0,0)は「０」、後フレームのブロック(0,0)は「４４８／１０２４」である。したがって、ブロック(0,0)は最大値「４４８／１０２４」、最小値「０」となる。また、前フレームのブロック(0,1)は「１２８／１０２４」、後フレームのブロック(0,1)は「４４８／１０２４」である。したがって、ブロック(0,1)は最大値「４４８／１０２４」、最小値「１２８／１０２４」となる。

64*64画素のブロックについては、前フレームのブロック(0,0)は「４４８／４０９６」、後フレームのブロック(0,0)は「４４８／４０９６」である。したがって、ブロック(0,0)は最大値、最小値とも「４４８／４０９６」となる。また、前フレームのブロック(0,1)は「４４８／４０９６」、後フレームのブロック(0,1)は「４４８／４０９６」である。したがって、ブロック(0,1)は最大値、最小値とも「４４８／４０９６」となる。

このようにして、前後フレームの対応するブロックの値から、最大値、最小値がブロックパターン毎に求められる。

階層数決定部２７９（図９参照)は、閾値処理により、当該ブロックの検索範囲を特定する階層数を決定する。具体的には、ブロックについて、閾値が定められており、最小値が閾値を超えている場合には、階層数として決定する。

本実施形態においては、閾値を「1/2」とするとともに、得られた値が、1/4以上1/2未満の場合はその下の階層（ブロックを構成する画素数が小さなもの）の同位置の最大値が3/4以上であれば、大きなブロックの階層数として決定するようにした。

例えば、32*32画素のブロックでは、最小値が1/4であり、16*16画素のブロックでは、最小値3/4であれば、32*32画素が階層として設定される。

図１０〜図１２の場合、ブロック(0,0)については、16*16画素の場合、最大値、最小値とも「０」、32*32画素の場合、最大値「４４８／１０２４」、最小値「０」、64*64画素の場合、最大値、最小値とも「４４８／４０９６」である。いずれも閾値「1/2」はもちろん、「1/4」も越えていないので、階層数は「０」、すなわち、探索しないブロックとして決定される。

ブロック(0,1)については16*16画素の場合、最大値「１２８／２５６」、最小値「０」、32*32画素の場合、最大値「４４８／１０２４」、最小値「１２８／１０２４」、64*64画素の場合、最大値、最小値とも「４４８／４０９６」である。したがって、ブロック(0,0)の場合と同様に、階層数は「０」として決定される。

以上の処理を繰り返すことにより、各ブロックの階層数が決定される。

なお、複数種類のブロックについて、閾値を超えている場合もある、その場合は、そのうちの大きな方のブロックの階層数とすればよい。たとえば、16*16画素と32*32画素の場合と２つとも閾値を超える場合、大きい方のブロックである階層数「２」と決定される。

階層数によって、予め定められた探索範囲が決定される。本実施形態においては、階層数と、前、後フレームオブジェクト画素数計測部２６３，２７３の計測範囲とを一致させるようにした。すなわち、階層数が「１」であれば、周囲１ブロックまで、階層数が「２」であれば、周囲２ブロックまで、階層数が「３」であれば、周囲３ブロックとした。しかし、探索範囲については、これに限定されない。

以上説明したように、マスク生成部２０３は、ブロックマッチングの探索範囲をオブジェクトの大きさおよび移動速度に基づき、ブロックごとに複数段階としている。このように、移動範囲の広いことが予測される部分は探索範囲を広くできるように階層数を上げ、移動範囲の狭いことが予測される部分は探索範囲を狭くするように階層数を下げることができる。これにより、演算量を無駄に増やすことなく、精度の高い探索が可能となる。特に、移動がない部分、たとえば、背景のように差分が発生しない部分については、探索しないという制御も可能である。

また、動きオブジェクトマスクは、画素単位であるので、オブジェクト単位の切り出しが可能となる。

（４．２ 補償処理について)
図５に示すブロックマッチング型探索処理２０４は、カメラワーク補償部２０１から与えられた補償後の前後フレームおよびマスク生成部２０３の階層マスク生成部２０３ｂから与えられる階層マスクを用いて、ブロックごとのブロックマッチング処理を行い、ブロックごとのローカル動きベクトルを求める。

本実施形態においては、ブロックごとに、探索範囲が異なる以外は従来と同様であるのでブロックマッチング型探索処理の説明は省略する。

局所動き補償部２０６はブロックマッチング型探索処理２０４からローカル動きベクトルを受け取ると、カメラワーク補償部２０１から与えられた補償後の前後フレームから、中間フレームを生成して出力する。局所動き補償部２０６は、その際、オブジェクトマスク生成部２０３ａよりオブジェクトマスクを受け取って、これにより動いていない領域については、補償処理をする必要がない。中間フレームの生成については、従来と同様であるので詳細な説明は省略する。

局所動き探索範囲マスクをＬＭＶ算出（局所動き推定）に用いることで、単一ブロック内で背景とオブジェクトの分離ができ、精度の向上を図ることができる。また、局所動き補償にマスクを用いることで、中間フレームのブロックノイズが減少するので、補償精度を向上することができる。

本実施形態においては、既に説明したように、１つ前のＧＭＶを用いて、カメラワーク補償を行っている。

カメラワーク推定部２０９は、ＬＭＶへの分解部２１０から与えられたローカル動きベクトル、およびブロックマッチング型探索処理部２０４から出力されたローカル動きベクトルを用いてカメラワーク推定を行う。カメラワーク推定部２０９から出力されたグローバル動きベクトルは、ＬＭＶへの分解部２０８にてローカル動きベクトルに展開される。外乱除去部２０７は、与えられたローカル動きベクトルを用いて、計算対象ブロック選定部４７（図２参照）による被選定ブロック選定処理をおこない、外乱を除去する。カメラワーク推定部２０９は、外乱除去後のローカル動きベクトルを用いてカメラワーク推定を行い、グローバル動きベクトルを求める。このグローバル動きベクトルが次のフレームを補償するグローバル動きベクトルとしてカメラワーク補償部２０１に与えられる。

なお、本実施形態においては、前回算出したグローバル動きベクトルをＬＭＶへの分解部２１０にて展開するようにした。しかし、これに限られることなく、前回算出したグローバル動きベクトルをカメラワーク推定部２０９の出力するグローバル動きベクトルとあわせて出力するようにしてもよい。

また、本実施形態においては、カメラワーク推定部２０９、ＬＭＶへの分解部２０８、外乱除去部２０７と接続され、さらに、外乱除去部２０７の出力が、再び、カメラワーク推定部２０９に与えられている。しかし、これに限らず、外乱除去部２０７、カメラワーク推定部２０９と接続して、ブロックマッチング型探索処理部２０４からの出力を、外乱除去部２０７に与えて、カメラワーク推定部２０９にてカメラワーク推定をするようにしてもよい。

（４．３ 補償処理の変形実施形態)
図１３に補償処理を行う他の実施形態であるフレーム補間処理装置３００の機能ブロック図を示す。図５に示す実施形態では、オブジェクトマスク生成部２０３ａに、グローバル動きベクトルを用いて補償後のフレームを用いて、差分を求めた。これに対して、この実施形態では、前回算出したＧＭＶを用いてＬＭＶを生成し、これをマスク生成部３０３のオブジェクトマスク生成部３０３ａに与えている。オブジェクトマスク生成部３０３ａは、与えられたＬＭＶを用いて前後フレームを各ブロック単位で移動させたものを補償後フレームとして、差分をとるようにしている。これにより、図５に示す実施形態と比べると、精度は低いが簡易な構成で、実現が可能である。また、前回算出したＧＭＶを用いて生成したＬＭＶは、局所動き補償部３０６にも与えられ、局所動き補償がなされる。

カメラワーク推定部３０９、ＬＭＶへの分解部３０８，外乱除去部３０７による処理については、図５の場合と同様である。

図１４に補償処理を行う他の実施形態であるフレーム補間処理装置４００の機能ブロック図を示す。図１３に示す実施形態では、カメラワーク補償を行っていないが、この例では、マスク生成時には、ＬＭＶのみで処理を行うが、局所動き補償部４０６に対しては、ＧＭＶを用いて補償した前後フレームを与えている点が異なる。ＧＭＶを用いた補償処理により背景部分の回転・ズームを伴う場合に画質の劣化が抑制される。

この実施形態では、ＧＭＶを用いた補償処理はマスク生成処理の後までに間に合えばよいので、その分だけ、演算するための時間を稼ぐことができる。

この実施形態では、ブロックマッチング型ME処理部４０４はカメラワークを考慮していないブロックマッチング型探索処理を行っている。これに対して、局所動き補償部４０６で用いる画像はカメラワーク補償を行なった後の画像である。これらの整合性を保つためにカメラワーク除去ＬＭＶ計算部４０５で、その分を除去した処理をおこなう。

また、カメラワーク推定部４０９、ＬＭＶへの分解部４０８，外乱除去部４０７による処理については、図５の場合と同様である。

（４．４ 階層マスク生成装置としての開示)
上記実施形態における階層マスク生成部２０３ｂは、下記に示す階層マスク生成装置として把握することもできる。

第ｎフレームおよび第ｎ＋１フレームの画像データに基づいて生成され、前記第ｎフレームからみた第ｎフレーム動きマスクと、前記第ｎ+1フレームからみた第ｎ+1フレーム動きマスクであって、前記各動きマスクは、動いている部分が白で、動いていない部分が黒の２値画像である、が与えられると、ブロックごとに異なる探索範囲を決定するための階層マスクを生成する装置であって、
前記各動きマスクが与えられると、各々について、所定の構成画素ブロックに分割する手段であって、前記の構成画素数は、各動きマスク毎に複数種類あり、この複数種類のブロックパターンに分割する分割手段、
前記第ｎフレーム動きマスクにおける前記複数のブロックパターンについて、各ブロックのうち前記白部分が存在するブロックの周辺ブロックについて、前記ブロックのブロックサイズに応じて、ブロックサイズが大きくなるほど、周辺探索範囲を大きくして、前記白部分の画素数の最大値を当該周辺ブロックの最大値として決定する第ｎフレーム周辺ブロック画素数決定手段、
前記第ｎ＋１フレーム動きマスクにおける前記複数のブロックパターンについて、各ブロックのうち前記白部分が存在するブロックの周辺ブロックについて、前記ブロックのブロックサイズに応じて、ブロックサイズが大きくなるほど、周辺探索範囲を大きくして、前記白部分の画素数の最大値を当該周辺ブロックの最大値として決定する第ｎ＋１フレーム周辺ブロック画素数決定手段、
前記第ｎフレーム、第ｎ+１フレーム動きマスクにおける前記複数のブロックパターン別に、同じブロックを比較して、当該ブロックの最大値および最小値を求める最大値最小値演算手段、
前記ブロックパターン別の各ブロックの最小値が所定の閾値を超える場合には、そのブロックパターンで示される領域が探索範囲であるとして決定する階層マスク決定手段、
を備えた階層マスク生成装置。

かかる構成を採用することにより、オブジェクトの大きさ、移動速度に応じて探索範囲を変えることができる。

なお、「ブロックパターンが異なる」とは、実施形態では、ブロックサイズだけでなく、各ブロックを重複して配置した場合について説明したが、ブロックサイズのみ異なるようにしてもよい。

（４．５ オブジェクトマスク生成装置としての開示)
上記実施形態におけるオブジェクトマスク生成部２０３ａは、下記に示す動きマスク生成装置として把握することもできる。

第ｎフレームおよび第ｎ＋１フレームの画像データに基づいて生成され、前記第ｎフレームからみた第ｎフレーム動きマスクと、前記第ｎ+1フレームからみた第ｎ+1フレーム動きマスクであって、前記各動きマスクは、動いている部分が白で、動いていない部分が黒の２値画像である、を生成する動きマスク生成部装置であって、
第ｎフレームから第ｎ＋１フレームの画像データを減算して、値がマイナスとなる画素については値をゼロとした前記第ｎフレームからみた第ｎフレーム動きマスクを生成する第１マスク生成手段、
第ｎ+1フレームから第ｎフレームの画像データを減算して、値がマイナスとなる画素については値をゼロとした前記第ｎ+1フレームからみた第ｎ+1フレーム動きマスクを生成する第２マスク生成手段、
前記第ｎフレームの画像データから第ｎフレームエッジ画像を抽出する第１エッジ抽出手段、
前記第ｎ+1フレームの画像データから第ｎ+1フレームエッジ画像抽出する第２エッジ抽出手段、
第ｎフレーム動きマスクを、前記第ｎフレームエッジ画像および第ｎ+1フレーム動きマスクによって補正する第１補正手段、
第ｎ+1フレーム動きマスクを、前記第ｎ+1フレームエッジ画像および第ｎフレーム動きマスクによって補正する第２補正手段、
を備えた動きマスク生成装置。

また、上記開示した装置を任意に組み合わせることもできる。

（５．他の実施形態)
上記各実施形態においては、各ブロックで行っているアルゴリズムを、ハードウェア記述言語（Hardware Description Language）で記述することにより、各ブロックを構成すればよい。

上記実施形態においては、図１、図５に示す機能を実現するために、並列処理を可能とするために、全てをハードウェア処理する場合について説明した（例えば、図２参照）。しかし、これに限定されず、一部をソフトウェアによって実現してもよい。その場合、プログラムの一部の処理を、オペレーティングシステム（ＯＳ）にさせるようにしてもよい。

Claims (7)

1. 第ｎフレームと第ｎ＋１フレームについて、それぞれ１画面を構成する画素を所定の矩形のブロックにブロック化して、ブロック別の動きベクトルであるローカル動きベクトルを求めるとともに、求めたブロックについてのローカル動きベクトルを計算対象ブロックのローカル動きベクトルとして与えるブロック別動きベクトル演算手段、
   前記計算対象ブロックのローカル動きベクトルが与えられると、各ブロックを注目ブロックとして、その周辺ブロックのローカル動きベクトルの平均と当該注目ブロックのローカル動きベクトルとの差分の絶対値に基づいて注目ブロックのローカル動きベクトルに重み付け係数を全計算対象ブロックについて演算するとともに、前記計算対象ブロックの各重み付け係数およびローカル動きベクトルから、最小二乗法によりグローバル動きベクトルの平行移動パラメータを演算する平行移動パラメータ演算手段、
   前記平行移動パラメータが与えられると、この平行移動パラメータおよび、平行移動、回転、ズームの４パラメータで表したアフィン変換式からグローバル動きベクトルの回転・ズームパラメータを求める回転・ズームパラメータ演算手段、
   前記平行移動パラメータ、および回転・ズームパラメータが与えられると、各ブロックについてのローカル動きベクトルに展開した展開後ローカル動きベクトルを演算する展開後動きベクトル手段、
   計算対象ブロックを選別するための閾値を記憶する閾値記憶手段、
   各ブロックについて、前記展開後ローカル動きベクトルと、前記ブロック別動きベクトル演算手段が演算したローカル動きベクトルとの差が前記閾値記憶手段に記憶された閾値内であるブロックを計算対象ブロックとして決定し、決定した計算対象ブロックについての前記ブロック別動きベクトル演算手段が演算したローカル動きベクトルを前記平行移動パラメータ演算手段に計算対象ブロックとして与える計算対象ブロック決定手段、
   計算対象ブロック決定手段の処理を所定回数繰り返し実行する手段であって、繰り返し回数が増える度に前記閾値を小さくして、前記繰り返し処理を行う繰り返し手段、
   を備えたことを特徴とするグローバル動きベクトル演算装置。
2. 演算結果であるブロック別のローカル動きベクトルを記憶するローカル動きベクトル記憶手段、
   前記ブロックごとのローカル動きベクトルからグローバル動きベクトルの平行移動、回転、ズームの各パラメータを求めるグローバル動きベクトル演算手段、
   求めたグローバル動きベクトルを各ブロックのローカル動きベクトルに展開した展開ローカル動きベクトルを求める展開動きベクトル演算手段、
   計算対象ブロックを選別するための閾値を記憶する閾値記憶手段、
   各ブロックについて、前記ローカル動きベクトル記憶手段に記憶されたローカル動きベクトルと展開ローカル動きベクトルとの差分を求め、前記閾値を超えないブロックを対象ブロックとして決定する演算対象ブロック選定手段、
   前記対象ブロックとして決定されなったブロックを除外して、前記グローバル動きベクトル演算手段に新たなグローバル動きベクトルを求めさせる処理を、所定条件まで繰り返し実行する繰り返し手段、
   を備えたことを特徴とするグローバル動きベクトル演算装置。
3. 請求項２のグローバル動きベクトル演算装置において、
   前記繰り返し手段は、前記繰り返し回数が増える度に前記閾値を小さくして、前記繰り返し処理を行うこと、
   を特徴とするグローバル動きベクトル演算装置。
4. 請求項２または請求項３のグローバル動きベクトル演算装置において、
   前記グローバル動きベクトル演算手段は、
   1)前記計算対象ブロックのローカル動きベクトルが与えられると、各ブロックを注目ブロックとして、その周辺ブロックのローカル動きベクトルの平均と当該注目ブロックのローカル動きベクトルとの差分の絶対値に基づいて注目ブロックのローカル動きベクトルに重み付け係数を全計算対象ブロックについて演算するとともに、前記計算対象ブロックの各重み付け係数およびローカル動きベクトルから、最小二乗法によりグローバル動きベクトルの平行移動パラメータを演算する平行移動パラメータ演算手段、
   2)前記平行移動パラメータが与えられると、この平行移動パラメータおよび、平行移動、回転、ズームの４パラメータで表したアフィン変換式からグローバル動きベクトルの回転・ズームパラメータを求める回転・ズームパラメータ演算手段、
   で構成されていること、
   を特徴とするグローバル動きベクトル演算装置。
5. 請求項４のグローバル動きベクトル演算装置において、
   前記重み付け係数は、
   注目ブロックおよびその周辺ブロックのローカル動きベクトルの平均と、当該注目ブロックのローカル動きベクトルとの差分の絶対値のべき乗であること、
   を特徴とするグローバル動きベクトル演算装置。
6. 演算結果であるブロック別のローカル動きベクトルを記憶するローカル動きベクトルおよび計算対象ブロックを選別するための閾値を記憶しておき、
   前記ブロックごとのローカル動きベクトルからグローバル動きベクトルの平行移動、回転、ズームの各パラメータを求め、
   求めたグローバル動きベクトルを各ブロックのローカル動きベクトルに展開した展開ローカル動きベクトルを求め、
   各ブロックについて、前記記憶されているローカル動きベクトルと前記展開ローカル動きベクトルとの差分を求め、
   前記閾値と比較し、これを超えないブロックを対象ブロックとして決定し、
   前記対象ブロックとして決定されなったブロックを除外して、グローバル動きベクトルの平行移動、回転、ズームの各パラメータを求めさせる処理を、所定条件まで繰り返し実行すること、
   を特徴とするグローバル動きベクトル演算方法。
7. 請求項２のグローバル動きベクトル演算装置、
   前記グローバル動きベクトル演算装置から与えられたグローバル動きベクトルによって、第ｎフレームおよび第ｎ＋１フレームをカメラワーク補償した補償後第ｎフレームと補償後第ｎ＋１フレームを出力するカメラワーク補償手段、
   前記補償後第ｎフレームと補償後第ｎ＋１フレームを用いて、静止部分を特定するためのマスクを生成するマスク生成手段、
   前記マスクを用いて、前記補償後第ｎフレームと補償後第ｎ＋１フレームのブロックマッチング型探索処理を行い、マッチング結果に基づいて、ブロックごとのローカル動きベクトルを出力するブロックマッチング探索処理手段、
   前記ブロックマッチング探索処理手段から与えられたローカル動きベクトルと、前記補償後第ｎ、ｎ＋１フレームと、前記生成されたマスクを用いて、前記補償後第ｎフレームと補償後第ｎ＋１フレームの中間フレームを生成して出力する局所動き補償手段、
   を備えたフレーム補間処理装置。

Images