JP5867289B2 - 動きベクトル生成装置及び方法 - Google Patents

Description

本発明は、現在フレームまたは過去フレームを基点として画像の動きベクトルを検出し、動きベクトルを補正して補間フレームを生成する際に用いる動きベクトルを生成する動きベクトル生成装置及び方法に関する。

液晶パネルを用いた画像表示装置で動画像を表示すると残像が生じやすい。そこで、残像を低減させて動画特性を向上させるために、映像信号の実フレーム間に補間フレームを内挿してフレーム数を増大させ、例えば垂直周波数６０Ｈｚのフレームレート（フレーム周波数）を２倍の１２０Ｈｚまたはそれ以上のフレームレートに変換して画像表示することが行われている。映像信号のフレームレートを変換して画像表示する画像表示装置においては、画像の動きベクトルを検出し、動きベクトルを用いて各補間画素を生成し、実フレーム間に内挿する補間フレームを生成する。

画像の動きベクトルを検出する方法は種々ある。補間フレーム内の補間画素（補間ブロック）を中心として、補間フレームの時間的な前後に位置する実フレーム内で最も相関の高い方向に基づいて動きベクトルを検出する第１の方法がある。補間フレームの時間的な前後に位置する実フレームである過去フレームと現在フレームとのいずれか一方または双方を相関が最も高い方向を探索する基準として、動きベクトルを検出する第２の方法がある。第１の方法では動きベクトルの検出精度を高くすることが難しいため、第２の方法が用いられることが多い。

特開２００２−２７４１４号公報

第２の方法では動きベクトルの検出精度を高くすることができるものの、動きベクトルを検出した画素（ブロック）の検出位置と、補間画素（補間ブロック）を生成する補間位置とがずれてしまう。従って、画像の境界部分で正しい補間画像を生成することができないという問題点があった。

本発明はこのような問題点に鑑み、過去フレームまたは現在フレームを探索基準として動きベクトルを検出し、動きベクトルの検出位置と補間位置とのずれを補正した動きベクトルを生成することができる動きベクトル生成装置及び方法を提供することを目的とする。

本発明は、上述した従来の技術の課題を解決するため、映像信号（Ｓin）における現在フレーム（ｆ０）と前記現在フレームを１フレーム期間遅延させた過去フレーム（ｆ１）とのうちの一方のフレームを、動きベクトルを検出する探索基準のフレームとし、前記現在フレーム及び前記過去フレームのそれぞれを１または複数画素よりなるブロックに分割して、前記探索基準のフレームにおけるそれぞれのブロックを基準ブロックとし、前記現在フレームと前記過去フレームとのうちの他方のフレームにおける複数のブロックよりなる所定の領域を探索範囲とし、前記基準ブロックと前記探索範囲内のそれぞれのブロックとの相関に基づいて、前記基準ブロックそれぞれで第１の動きベクトル（Ｖ１）を検出する動きベクトル検出部（２）と、前記他方のフレームにおける所定の探索範囲に対向する前記探索基準のフレームにおける前記所定の探索範囲と同じ範囲の領域を第１の探索範囲領域とし、前記第１の探索範囲領域内それぞれの前記基準ブロックを前記探索範囲と同じ範囲の領域の中央に位置するブロックとして、前記基準ブロックが中央に位置する前記探索範囲と同じ範囲の領域それぞれを第２の探索範囲領域としたとき、前記基準ブロックの位置に対応したそれぞれの前記第２の探索範囲領域内に、前記現在フレームと前記過去フレームとの間に内挿する補間フレームの補間ブロックであり、それぞれの前記第２の探索範囲領域の中央に位置する前記基準ブロックと同じ位置の注目ブロックを通過する方向の動きベクトルがあるか否かを検出する補間ブロック通過動きベクトル検出部（３１）と、それぞれの前記第２の探索範囲領域内に存在する動きベクトルの種類とそれぞれの種類の動きベクトルの個数を検出する動きベクトル分布検出部（３２）と、前記補間フレームのそれぞれの前記注目ブロックを中心として、前記第２の探索範囲領域内に存在する動きベクトルの種類それぞれの方向で、前記探索基準のフレームのブロックと前記他方のフレームのブロックとの差分値を求め、前記補間ブロック通過動きベクトル検出部による検出結果と前記動きベクトル分布検出部による検出結果とに基づいて前記差分値に対して重み付けして重み付けした差分値を相関値とし、前記相関値に基づいて前記動きベクトル検出部によって検出された前記第１の動きベクトルを補正して、第２の動きベクトル（Ｖ２）として出力する相関計算部（３３）とを備えることを特徴とする動きベクトル生成装置（１０）を提供する。

上記の動きベクトル生成装置において、前記補間ブロック通過動きベクトル検出部は、前記注目ブロックを通過する方向の動きベクトルに対して第１の重み付けポイントを設定した第１の重み付けデータ（Ｄ３１）を生成し、前記動きベクトル分布検出部は、それぞれの種類の動きベクトルに対して、個数が多いほど大きい第２の重み付けポイントを設定した第２の重み付けデータ（Ｄ３２）を生成し、前記相関計算部は、前記第１の重み付けデータと前記第２の重み付けデータとで同じ動きベクトルであれば前記第１の重み付けポイントと前記第２の重み付けポイントとを加算した上で、それぞれの種類の動きベクトルの方向の差分値を、重み付けポイントが大きい動きベクトルの方向ほど差分値が小さくなるように補正することが好ましい。

上記の動きベクトル生成装置において、前記動きベクトル検出部は、前記第１の探索範囲領域内それぞれの前記基準ブロックと、複数の動きベクトルそれぞれの方向の前記他方のフレームのブロックとの差分値を求め、前記複数の動きベクトルそれぞれの方向の差分値において、前記基準ブロックで求めた差分値に対して前記基準ブロックの周囲のブロックで求めた差分値を積算して、最も小さい差分値を示す方向をそれぞれの前記基準ブロックにおける動きベクトルとして検出することが好ましい。

また、本発明は、上述した従来の技術の課題を解決するため、映像信号（Ｓin）における現在フレーム（ｆ０）と前記現在フレームを１フレーム期間遅延させた過去フレーム（ｆ１）とのうちの一方のフレームを、動きベクトルを検出する探索基準のフレームとし、前記現在フレーム及び前記過去フレームのそれぞれを１または複数画素よりなるブロックに分割して、前記探索基準のフレームにおけるそれぞれのブロックを基準ブロックとし、前記現在フレームと前記過去フレームとのうちの他方のフレームにおける複数のブロックよりなる所定の領域を探索範囲とし、前記基準ブロックと前記探索範囲内のそれぞれのブロックとの相関に基づいて、前記基準ブロックそれぞれで第１の動きベクトル（Ｖ１）を検出し、前記他方のフレームにおける所定の探索範囲に対向する前記探索基準のフレームにおける前記所定の探索範囲と同じ範囲の領域を第１の探索範囲領域とし、前記第１の探索範囲領域内それぞれの前記基準ブロックを前記探索範囲と同じ範囲の領域の中央に位置するブロックとして、前記基準ブロックが中央に位置する前記探索範囲と同じ範囲の領域それぞれを第２の探索範囲領域としたとき、前記基準ブロックの位置に対応したそれぞれの前記第２の探索範囲領域内に、前記現在フレームと前記過去フレームとの間に内挿する補間フレームの補間ブロックであり、それぞれの前記第２の探索範囲領域の中央に位置する前記基準ブロックと同じ位置の注目ブロックを通過する方向の動きベクトルがあるか否かを検出し、それぞれの前記第２の探索範囲領域内に存在する動きベクトルの種類とそれぞれの種類の動きベクトルの個数を検出し、前記補間フレームのそれぞれの前記注目ブロックを中心として、前記第２の探索範囲領域内に存在する動きベクトルの種類それぞれの方向で、前記探索基準のフレームのブロックと前記他方のフレームのブロックとの差分値を求め、前記基準ブロックを通過する方向の動きベクトルがあるか否かの検出結果と、それぞれの前記第２の探索範囲領域内に存在する動きベクトルの種類とそれぞれの種類の動きベクトルの個数の検出結果とに基づいて、前記差分値に対して重み付けして重み付けした差分値を相関値とし、前記相関値に基づいて前記第１の動きベクトルを第２の動きベクトル（Ｖ２）へと補正することを特徴とする動きベクトル生成方法を提供する。

上記の動きベクトル生成方法において、前記注目ブロックを通過する方向の動きベクトルに対して第１の重み付けポイントを設定した第１の重み付けデータ（Ｄ３１）を生成し、それぞれの種類の動きベクトルに対して、個数が多いほど大きい第２の重み付けポイントを設定した第２の重み付けデータ（Ｄ３２）を生成し、前記第１の重み付けデータと前記第２の重み付けデータとで同じ動きベクトルであれば前記第１の重み付けポイントと前記第２の重み付けポイントとを加算した上で、それぞれの種類の動きベクトルの方向の差分値を、重み付けポイントが大きい動きベクトルの方向ほど差分値が小さくなるように補正することが好ましい。

上記の動きベクトル生成方法において、前記第１の探索範囲領域内それぞれの前記基準ブロックと、複数の動きベクトルそれぞれの方向の前記他方のフレームのブロックとの差分値を求め、前記複数の動きベクトルそれぞれの方向の差分値において、前記基準ブロックで求めた差分値に対して前記基準ブロックの周囲のブロックで求めた差分値を積算し、最も小さい差分値を示す方向をそれぞれの前記基準ブロックにおける動きベクトルとして検出することが好ましい。

本発明の動きベクトル生成装置及び方法によれば、過去フレームまたは現在フレームを探索基準として検出した動きベクトルを検出し、動きベクトルの検出位置と補間位置とのずれを補正した動きベクトルを生成することができる。

本発明の動きベクトル生成装置の一実施形態を示すブロック図である。 図１中の動きベクトル検出部２による動きベクトルの検出動作を説明するための図である。 過去フレームから現在フレームへと動く物体と補間フレーム内に生成される補間画像による物体の例を示す図である。 図３の場合に、過去フレームのそれぞれのブロックで検出される水平方向＋１、垂直方向−１の方向の動きベクトルが示す差分値と、静止ベクトルが示す差分値の例を示す図である。 図４に示すそれぞれのブロックの差分値と周辺ブロックの差分値とを積算した差分値を示す図である。 図１中の動きベクトル検出部２が図５に示す差分値に基づいてそれぞれのブロックで生成した動きベクトルＶ１を示す図である。 図１中の動きベクトル補正部３の具体的な構成例を示すブロック図である。 補間フレームにおける注目ブロックを通過する、過去フレームを探索基準として検出した動きベクトルの第１の例を示す図である。 補間フレームにおける注目ブロックを通過する、過去フレームを探索基準として検出した動きベクトルの第２の例を示す図である。 補間フレームにおける注目ブロックを通過する、過去フレームを探索基準として検出した動きベクトルの第３の例を示す図である。 補間フレームにおける注目ブロックを通過する動きベクトルをまとめて示す図である。 図７に示す動きベクトル補正部３がブロック（m1,n1）を基準ブロックとしたときに重み付けデータＤ３１，Ｄ３２を生成する際の探索範囲を示す図である。 図７に示す動きベクトル補正部３がブロック（m2,n2）を基準ブロックとしたときに重み付けデータＤ３１，Ｄ３２を生成する際の探索範囲を示す図である。 図７に示す動きベクトル補正部３がブロック（m3,n3）を基準ブロックとしたときに重み付けデータＤ３１，Ｄ３２を生成する際の探索範囲を示す図である。 図７に示す動きベクトル補正部３がブロック（m5,n5）を基準ブロックとしたときに重み付けデータＤ３１，Ｄ３２を生成する際の探索範囲を示す図である。 図６に示すそれぞれのブロックにおいて生成した水平方向＋１、垂直方向−１の方向の動きベクトルに対する重み付けポイントと、静止ベクトルに対する重み付けポイントとを示す図である。 図７に示す相関計算部３３が計算する補間フレーム内の中心ブロックを通る過去フレーム内のブロックと現在フレーム内のブロックとの差分値を示す図である。 図１５に示す差分値に重み付けデータＤ３１，Ｄ３２が示す重み付けポイントに基づいて重み付けした重み付け差分値を示す図である。 図１６に示す重み付け差分値に基づいて相関計算部３３が出力する補正した動きベクトルＶ２を示す図である。

以下、本発明の動きベクトル生成装置及び方法の一実施形態について、添付図面を参照して説明する。図１に示す一実施形態は、動きベクトル生成装置を含むフレーム周波数変換装置を示している。図１において、入力された映像信号Ｓinの各画素データは、フレームメモリ１と、動きベクトル検出部２と、補間フレーム生成部４と、フレーム周波数変換部５とに順次入力される。映像信号Ｓinは、例えば６０Ｈｚのフレーム周波数を有する。

フレームメモリ１は、入力された画素データを１フレーム期間遅延させて出力する。映像信号Ｓinの現在のフレームを現在フレームｆ０、フレームメモリ１より出力された１フレーム過去のフレームを過去フレームｆ１とする。補間フレーム生成部４が生成する補間フレームを補間フレームｆ0.5とする。フレームメモリ１より出力された過去フレームｆ１の各画素データは、動きベクトル検出部２と補間フレーム生成部４とに順次入力される。

動きベクトル検出部２は、例えばマッチング法を用い、現在フレームｆ０と過去フレームｆ１の画素データを用いて、現在フレームｆ０と過去フレームｆ１との間に内挿する補間フレームの各補間画素データを生成するための動きベクトルＶ１を検出する。動きベクトルＶ１を画素単位で検出してもよいし、複数の画素よりなるブロック単位で検出してもよい。ブロックとは１または複数画素であるとする。特に図示しないが、動きベクトル検出部２は複数のラインメモリと画素遅延器、画素データの差分を求める減算器等を含んで構成される。

図２を用いて、動きベクトル検出部２による動きベクトルＶ１の検出動作についてさらに説明する。図２は、過去フレームｆ１内に位置している物体ＯＢが、一点鎖線の矢印線で示すように、現在フレームｆ０内の図示の位置に移動した状態を示している。理想的には、補間フレームｆ0.5内に、破線で示すような補間画像による物体ＯＢｉが生成される。本実施形態では、動きベクトル検出部２は、過去フレームｆ１を探索基準として動きベクトルＶ１を検出する。現在フレームｆ０を探索基準として動きベクトルＶ１を検出してもよいし、過去フレームｆ１及び現在フレームｆ０の双方を探索基準として動きベクトルＶ１を検出してもよい。

図２に示すように、過去フレームｆ１の物体ＯＢの位置を検出位置として検出された動きベクトルＶ１は、破線の矢印線で示すように、補間フレームｆ0.5における物体ＯＢの検出位置に対応する位置へと適用されることになる。従って、物体ＯＢの検出位置にて検出された動きベクトルＶ１が補間フレームｆ0.5に対して適用される位置と、補間フレームｆ0.5における補間画像による物体ＯＢｉの位置とがずれることになる。

図１に戻り、動きベクトル検出部２によって検出された動きベクトルＶ１は、動きベクトル補正部３へと入力される。動きベクトル補正部３は、後述のようにして動きベクトルＶ１を補正して動きベクトルＶ２を出力する。動きベクトル検出部２及び動きベクトル補正部３は、本実施形態の動きベクトル生成装置１０を構成している。

補間フレーム生成部４は、現在フレームｆ０の画素データと、過去フレームｆ１の画素データと、動きベクトルＶ２とを用いてそれぞれの補間画素データを生成することによって、補間フレームｆ0.5を生成する。フレーム周波数変換部５は、補間フレームｆ0.5と現在フレームｆ０とをこの順で１２０Ｈｚのフレーム周波数で交互に出力する。これによって、フレーム周波数変換部５からは１２０Ｈｚのフレーム周波数を有する映像信号Ｓoutが出力される。

動きベクトル生成装置１０において、動きベクトルＶ１が具体的にどのように生成され、動きベクトルＶ１が具体的にどのようにして動きベクトルＶ２に補正されるかについて、物体ＯＢが図３のように動く場合を例にして説明する。

前述のように、動きベクトル検出部２は、映像信号における現在フレームｆ０と過去フレームｆ１とのうちの一方のフレームを動きベクトルを検出する探索基準のフレームとする。動きベクトル検出部２は、現在フレームｆ０及び過去フレームｆ１のそれぞれを１または複数画素よりなるブロックに分割して、探索基準のフレーム（ここでは過去フレームｆ１）におけるそれぞれのブロックを、動きベクトルを検出する際の基準ブロックとする。動きベクトル検出部２は、現在フレームｆ０と過去フレームｆ１とのうちの他方のフレーム（ここでは現在フレームｆ０）における複数のブロックよりなる所定の領域を探索範囲とする。

動きベクトル検出部２は、基準ブロックと探索範囲内のそれぞれのブロックとの相関に基づいて、基準ブロックそれぞれで動きベクトルを検出する。

図３では、水平方向７ブロック、垂直方向７ブロックの合計４９ブロックの範囲を動きベクトルＶ１の探索範囲としている。探索範囲とは、探索基準のフレーム内の基準ブロックから見たときの、他方のフレーム内の基準ブロックとの相関を検出する複数のブロックよりなる所定の領域のことである。一般的に、基準ブロックは、探索範囲の中央に位置するブロックである。

本実施形態では、図３に示すように、過去フレームｆ１と補間フレームｆ0.5と現在フレームｆ０とで、互いに対向する探索範囲と同じ領域を考えることとする。現在フレームｆ０における任意の４９ブロックの範囲を探索範囲とすると、探索範囲に対向する探索基準のフレームである過去フレームｆ１における探索範囲と同じ範囲の領域を探索範囲領域（第１の探索範囲領域）と称することとする。

図３において、過去フレームｆ１、補間フレームｆ0.5、現在フレームｆ０それぞれのブロックの位置を、水平方向のブロックの位置を示すm1〜m7と垂直方向の位置を示すn1〜n7とで表すこととする。なお、動きベクトルＶ１の探索範囲は、適宜に設定すればよい。

図３は、過去フレームｆ１のブロック（m2,n2），（m2,n3），（m2,n4），（m3,n2），（m3,n3），（m3,n4），（m4,n2），（m4,n3），（m4,n4）にまたがっている物体ＯＢが、一点鎖線の矢印線で示すように、現在フレームｆ０のブロック（m4,n4），（m4,n5），（m4,n6），（m5,n4），（m5,n5），（m5,n6），（m6,n4），（m6,n5），（m6,n6）へと移動した状態を示している。

動きベクトル検出部２は、過去フレームｆ１のそれぞれのブロックを基準ブロックとして、それぞれのブロックで動きベクトルＶ１を検出する。具体的には、動きベクトル検出部２は、まず、基準ブロックと、基準ブロックと同じ水平方向及び垂直方向の位置である現在フレームｆ０内のブロックを中心とした探索範囲内それぞれのブロックとの差分をとる。

図３において、物体ＯＢの背景は完全な平坦な画像ではなく、過去フレームｆ１と現在フレームｆ０との位置が異なるブロック、即ち、対向しないブロックどうしの背景の差分値が５であるとする。物体ＯＢと背景とは絵柄や色が異なり、物体ＯＢと背景との差分値が１０であるとする。物体ＯＢにおける異なる部分のブロックの差分値が５であるとする。

図３に示すように静止画の背景内に移動する物体ＯＢが存在する場合、動きベクトル検出部２においては、過去フレームｆ１におけるブロックが現在フレームｆ０へと、水平方向の右方向に２ブロック、垂直方向の下方向に２ブロック移動する方向の差分値と、過去フレームｆ１と現在フレームｆ０との対向するブロックの差分値が、他の方向の差分値と比較して小さく検出されることになる。

図４において、（ａ）は、図３における過去フレームｆ１の探索範囲領域内それぞれの基準ブロックと、基準ブロックから右方向に２ブロック、下方向に２ブロックずれた現在フレームｆ０のブロックとの差分値を示している。図４において、（ｂ）は、図３における過去フレームｆ１の探索範囲領域内それぞれの基準ブロックと、基準ブロックと対向する現在フレームｆ０のブロックとの差分値を示している。図４の（ａ）の外側のそれぞれのブロックの差分値は全て５であり、図４の（ｂ）の外側のそれぞれのブロックの差分値は全て０である。

動きベクトル検出部２は、過去フレームｆ１内の基準ブロックと、現在フレームｆ０における探索範囲内それぞれのブロックとの差分をとって、それぞれの方向の差分値を求める。上記のように、図４の（ａ），（ｂ）以外の方向の差分値は大きな値となり、図３の場合には図４の（ａ），（ｂ）以外の方向を動きベクトルＶ１として検出することはないため、図４の（ａ），（ｂ）以外の方向の差分値の図示を省略する。

図２で説明したように、動きベクトル検出部２が過去フレームｆ１を探索基準として検出した動きベクトルＶ１を補間フレームｆ0.5に適用すると、過去フレームｆ１において動きベクトルＶ１を検出した位置と補間フレームｆ0.5における補間画像との位置がずれる。そこで、動きベクトル検出部２は、動きベクトルＶ１を検出した位置と補間画像との位置のずれを緩和するために、図４の（ａ），（ｂ）に示すそれぞれの基準ブロックの差分値に対して、周辺ブロックの差分値を積算する。一例として、動きベクトル検出部２は、基準ブロックと、基準ブロックを取り囲む８ブロックとの合計９ブロックを積算することとする。

図５において、（ａ）は図４の（ａ）に示す差分値を、基準目ブロックを含む９ブロックで積算した差分値を示している。図５において、（ｂ）は図４の（ｂ）に示す差分値を、基準ブロックを含む９ブロックで積算した差分値を示している。図５の（ａ）と（ｂ）とを比較して、小さい方が画像の相関が高く、動きベクトルＶ１の方向となる。但し、ここでは積算した差分値が４０以上は信頼度が低いため、図５の（ａ），（ｂ）いずれも不適とする。図５の（ａ），（ｂ）において、積算した差分値が４０未満で、（ａ）と（ｂ）とを比較して小さい方に梨地模様を付している。

動きベクトル検出部２は、以上のようにして、それぞれの方向の差分値を求め、基準ブロックの差分値と周辺ブロックの差分値とを積算し、より小さい積算した差分値を示す方向を動きベクトルＶ１とする。図６は、以上のようにして図３における過去フレームｆ１の探索範囲領域内それぞれのブロックにおいて検出した動きベクトルＶ１を示している。図６では、過去フレームｆ１内の物体ＯＢを実線で、物体ＯＢの移動後の位置を理解しやすいよう、現在フレームｆ０内の物体ＯＢを一点鎖線にて示している。

水平方向の右方向に２ブロック、垂直方向の下方向に２ブロック移動する方向は、過去フレームｆ１から補間フレームｆ0.5への移動方向を考えると、右方向に１ブロック、下方向に１ブロックの移動であり、右方向を水平方向の＋方向、上方向を垂直方向の＋方向とすれば、水平方向＋１、垂直方向−１の動きベクトルである。この動きベクトルをＶ（+1,-1）と称することとする。図６に示すベクトルＶ（+1,-1）は、水平方向＋１、垂直方向−１の動きベクトルＶ１を概念的に示している。

過去フレームｆ１の基準ブロックから現在フレームｆ０の対向するブロックへの移動は水平方向０、垂直方向０の動きベクトルである。この動きベクトルは静止ベクトルであり、“−”と示している。

動きベクトル検出部２は、図５の（ａ）に基づいて、図６に示すように、過去フレームｆ１のブロック（m2,n2），（m2,n3），（m2,n4），（m3,n2），（m3,n3），（m3,n4），（m3,n5），（m4,n2），（m4,n3），（m4,n4），（m4,n5），（m5,n3），（m5,n4）において、動きベクトルＶ１としてベクトルＶ（+1,-1）を検出する。差分値を積算したことにより、ベクトルＶ（+1,-1）が物体ＯＢより外側のブロックにおいても検出されている。

動きベクトル検出部２は、図５の（ｂ）に基づいて、図６に示すように、ベクトルＶ（+1,-1）を検出したブロック以外の多くのブロックで、静止ベクトルを検出する。動きベクトル検出部２は、過去フレームｆ１のブロック（m4,n6），（m5,n5），（m5,n6），（m6,n4），（m6,n5），（m6,n6）において、ベクトルＶ（+1,-1）及び静止ベクトル以外の何らかの相関微小ベクトルを検出する。相関微小ベクトルを“＊”にて示している。相関微小ベクトルは、図５の（ａ），（ｂ）において梨地模様を付していないブロックにおいて検出される。

相関微小ベクトルは全て同じベクトルとは限らないが、簡略化のため全て同じベクトルであるとする。図６よりも外側のブロックでは全て静止ベクトルが検出されているとする。

図６において、過去フレームｆ１のブロック（m4,n4）は、図３に示す補間フレームｆ0.5の中央に位置しているブロック（m4,n4）と対向しており、ハッチングを付している。図６からも、動きベクトル検出部２が過去フレームｆ１を探索基準として検出した動きベクトルＶ１を補間フレームｆ0.5に適用すると、補間フレームｆ0.5における補間画像による物体ＯＢｉの位置とがずれることが分かる。

そこで、動きベクトル補正部３は、過去フレームｆ１を探索基準として検出した動きベクトルＶ１と補間画像との位置のずれを解消するための、次のようにして動きベクトルＶ１を補正して、動きベクトルＶ２として出力する。

図７に示すように、動きベクトル補正部３は、補間ブロック通過動きベクトル検出部３１と、動きベクトル分布検出部３２と、相関計算部３３とを有する。動きベクトルＶ１は、補間ブロック通過動きベクトル検出部３１及び動きベクトル分布検出部３２に入力される。

図８〜図１１を用いて、補間ブロック通過動きベクトル検出部３１の動作について説明する。図８〜図１０では、理解を容易にするために、１つのブロックに収まる物体ＯＢが移動する場合を示している。図８の（ａ）では、過去フレームｆ１のブロック（m1，n1）内に位置している物体ＯＢが、一点鎖線の矢印線で示すように、現在フレームｆ０のブロック（m7，n7）へと移動した状態を示している。

補間フレームｆ0.5内のハッチングを付したブロック（m4，n4）は補間フレーム生成部４によって生成しようとする補間ブロックＢｋｉである。現在フレームｆ０の探索範囲及び過去フレームｆ１の探索範囲領域の中央に位置するブロックと同じ位置の補間ブロックＢｋｉを注目ブロックとする。勿論、補間フレームｆ0.5の補間ブロックＢｋｉは順次その位置を異ならせていくので、注目ブロックは順次異なった位置となる。図８の（ａ）は、補間フレームｆ0.5のブロック（m4，n4）が注目ブロックとなっている状態を示している。

物体ＯＢが、過去フレームｆ１のブロック（m1，n1）から現在フレームｆ０のブロック（m7，n7）へと移動した場合には、補間フレームｆ0.5のブロック（m4，n4）内に破線で示すような補間画像による物体ＯＢｉを生成すればよい。

過去フレームｆ１のブロック（m1，n1）が動きベクトルＶ１の検出位置であるとき、ブロック（m1，n1）で検出される動きベクトルＶ１が補間フレームｆ0.5内の補間ブロックＢｋｉ（注目ブロック）を通過する方向の動きベクトルであれば、物体ＯＢｉを正しく生成することができることになる。過去フレームｆ１のブロック（m1，n1）が補間フレームｆ0.5のブロック（m4，n4）へと移動する場合の動きベクトルＶ１は、水平方向＋３、垂直方向−３の動きベクトルである。この動きベクトルＶ１をＶ（+3,-3）と称することとする。

補間フレームｆ0.5のブロック（m4，n4）を現在フレームｆ０及び過去フレームｆ１のブロックを用いて補間して補間ブロックＢｋｉを生成する際に、図８の（ｂ）に示すように、過去フレームｆ１のブロック（m1，n1）において動きベクトルＶ１としてベクトルＶ（+3,-3）が検出されれば、物体ＯＢｉは動きベクトルＶ１を用いて正しく生成される。なお、図８の（ｂ）に示すベクトルＶ（+3,-3）は、水平方向＋３、垂直方向−３の動きベクトルＶ１を概念的に示している。図８の（ｂ）におけるハッチングを付したブロック（m4，n4）は、過去フレームｆ１における補間フレームｆ0.5の補間ブロックＢｋｉと対向する位置のブロックである。

図９の（ａ）は、過去フレームｆ１のブロック（m2，n2）内に位置している物体ＯＢが、一点鎖線の矢印線で示すように、現在フレームｆ０のブロック（m6，n6）へと移動した状態を示している。同様に、過去フレームｆ１のブロック（m2，n2）が動きベクトルＶ１の検出位置であるとき、ブロック（m2，n2）で検出される動きベクトルＶ１が補間フレームｆ0.5内の補間ブロックＢｋｉ（注目ブロック）を通過する方向の動きベクトルであれば、物体ＯＢｉを正しく生成することができることになる。

過去フレームｆ１のブロック（m2，n2）が補間フレームｆ0.5のブロック（m4，n4）へと移動する場合の動きベクトルＶ１は、水平方向＋２、垂直方向−２の動きベクトルであり、ベクトルＶ（+2,-2）と称することとする。

補間フレームｆ0.5のブロック（m4，n4）を現在フレームｆ０及び過去フレームｆ１のブロックを用いて補間して補間ブロックＢｋｉを生成する際に、図９の（ｂ）に示すように、過去フレームｆ１のブロック（m2，n2）において動きベクトルＶ１としてベクトルＶ（+2,-2）が検出されれば、物体ＯＢｉは動きベクトルＶ１を用いて正しく生成される。なお、図９の（ｂ）に示すベクトルＶ（+2,-2）は、水平方向＋２、垂直方向−２の動きベクトルＶ１を概念的に示している。

図１０の（ａ）は、過去フレームｆ１のブロック（m3，n3）内に位置している物体ＯＢが、一点鎖線の矢印線で示すように、現在フレームｆ０のブロック（m5，n5）へと移動した状態を示している。同様に、過去フレームｆ１のブロック（m3，n3）が動きベクトルＶ１の検出位置であるとき、ブロック（m3，n3）で検出される動きベクトルＶ１が補間フレームｆ0.5内の補間ブロックＢｋｉ（注目ブロック）を通過する方向の動きベクトルであれば、物体ＯＢｉを正しく生成することができることになる。

過去フレームｆ１のブロック（m3，n3）が補間フレームｆ0.5のブロック（m5，n5）へと移動する場合の動きベクトルＶ１は、水平方向＋１、垂直方向−１のベクトルＶ（+1,-1）である。

補間フレームｆ0.5のブロック（m3，n3）を現在フレームｆ０及び過去フレームｆ１のブロックを用いて補間して補間ブロックＢｋｉを生成する際に、図１０の（ｂ）に示すように、過去フレームｆ１のブロック（m3，n3）において動きベクトルＶ１としてベクトルＶ（+1,-1）が検出されれば、物体ＯＢｉは動きベクトルＶ１を用いて正しく生成される。

図８〜図１０で説明した考え方によって、過去フレームｆ１のそれぞれのブロックにおいて、補間フレームｆ0.5の注目ブロックを通過する動きベクトルＶ１は、概念的に図１１に示すような４９種類のベクトルＶ（+3,-3）〜Ｖ（-3,+3）となる。図１１は、動きベクトルＶ１が検出される過去フレームｆ１と補間ブロックＢｋｉを有する補間フレームｆ0.5とを便宜上重ね合わせた状態を示している。上記のように、注目ブロックは順次位置が変化していく。図１１の４９ブロックの中央に位置する補間ブロックＢｋｉは任意の位置の注目ブロックである。

図１１に示す４９ブロックの中央に位置する過去フレームｆ１のブロックにおいて、補間フレームｆ0.5の補間ブロックＢｋｉを通過する方向の“−”で示す静止ベクトルはベクトルＶ（0,0）である。

図７の補間ブロック通過動きベクトル検出部３１は、動きベクトル検出部２によって図６に示すように検出された動きベクトルＶ１のうち、補間フレームｆ0.5の補間ブロックＢｋｉを通過する方向の動きベクトルＶ１が存在するか否かを検出する。補間ブロック通過動きベクトル検出部３１は、図１１の概念図に示すように、過去フレームｆ１の探索範囲領域内それぞれの基準ブロックにおいて補間ブロックＢｋｉを通過する方向の動きベクトルＶ１が４９種類のベクトルＶ（+3,-3）〜Ｖ（-3,+3）のいずれであるかを示す情報を有している。

補間ブロック通過動きベクトル検出部３１は、過去フレームｆ１のそれぞれの基準ブロックを中心とした探索範囲領域（第２の探索範囲領域）内に、補間ブロックＢｋｉを通過する方向の動きベクトルＶ１が存在する場合には、所定の重み付けポイントを設定した重み付けデータＤ３１を出力する。補間ブロックＢｋｉを通過する方向の動きベクトルＶ１が存在する場合の重み付けポイントを例えば“２０”とする。

図７の動きベクトル分布検出部３２は、過去フレームｆ１のそれぞれの基準ブロックを中心とした探索範囲領域（第２の探索範囲領域）内の動きベクトルＶ１の分布を検出する。具体的には、動きベクトル分布検出部３２は、探索範囲領域内のそれぞれの種類の動きベクトルＶ１の個数を集計して、それぞれの種類の動きベクトルＶ１に対して個数に応じた重み付けポイントを設定した重み付けデータＤ３２を出力する。例えば、１ブロックを１ポイントとし、同じ種類の動きベクトルＶ１のブロックの個数に応じた重み付けポイントとする。

図１２〜図１５を用いて、補間ブロック通過動きベクトル検出部３１における補間ブロックＢｋｉを通過する方向の動きベクトルＶ１が存在するか否の検出、動きベクトル分布検出部３２における動きベクトルＶ１の分布の検出それぞれの具体的な動作について説明する。

まず、図１２は、過去フレームｆ１のブロック（m1，n1）が基準ブロックの場合を示している。ブロック（m1，n1）が基準ブロックの場合、ブロック（m1，n1）が中央に位置する探索範囲領域は図１２に示す範囲となる。探索範囲領域が図１２の場合、探索範囲領域の中央に位置するブロック（m1，n1）と同じ位置のブロックが補間フレームｆ0.5の注目ブロックとなる。図１１と図１２とを比較すれば分かるように、基準ブロックであるブロック（m1，n1）で検出された静止ベクトルＶ（0,0）は、注目ブロックを通過する方向の動きベクトルＶ１である。従って、補間ブロック通過動きベクトル検出部３１は、静止ベクトルＶ（0,0）に対する重み付けデータＤ３１の重み付けポイントを“２０”とする。

動きベクトル分布検出部３２は、探索範囲内のそれぞれの種類の動きベクトルＶ１の個数を集計して、重み付けデータＤ３２としてブロックの個数に応じた重み付けポイントとする。図１２の場合には、動きベクトルＶ１はベクトルＶ（+1,-1）と静止ベクトルＶ（0,0）のみであり、動きベクトル分布検出部３２は、ベクトルＶ（+1,-1）に対する重み付けポイントを“９”、静止ベクトルＶ（0,0）に対する重み付けポイントを“４０”とする。

図７の相関計算部３３には、重み付けデータＤ３１，Ｄ３２が入力される。相関計算部３３は、重み付けデータＤ３１，Ｄ３２それぞれが示す動きベクトルＶ１に対する重み付けポイントを、同じ種類の動きベクトルＶ１に対する重み付けポイントであれば合計して、それぞれの動きベクトルＶ１に対する重み付けポイントとする。図１２の場合では、重み付けデータＤ３１が示す静止ベクトルＶ（0,0）に対する重み付けポイントが“２０”、重み付けデータＤ３２が示す静止ベクトルＶ（0,0）に対する重み付けポイントが“４０”であるので、静止ベクトルＶ（0,0）に対する重み付けポイントを“６０”とする。ベクトルＶ（+1,-1）に対する重み付けポイントは“９”である。

図１３は、過去フレームｆ１のブロック（m2，n2）が基準ブロックの場合を示している。ブロック（m2，n2）が基準ブロックの場合、ブロック（m2，n2）が中央に位置する探索範囲領域は図１３に示す範囲となる。探索範囲領域が図１３の場合、探索範囲領域の中央に位置するブロック（m2，n2）と同じ位置が補間フレームｆ0.5の注目ブロックとなる。図１１と図１３とを比較すれば分かるように、注目ブロックを通過する方向の動きベクトルＶ１は存在しない。従って、補間ブロック通過動きベクトル検出部３１が出力する重み付けデータＤ３１の重み付けポイントは“０”である。

図１３の場合には、動きベクトルＶ１は、ベクトルＶ（+1,-1）と静止ベクトルＶ（0,0）と相関微小ベクトルである。動きベクトル分布検出部３２は、重み付けデータＤ３２として、ベクトルＶ（+1,-1）に対する重み付けポイントを“１３”、静止ベクトルＶ（0,0）に対する重み付けポイントを“３５”、相関微小ベクトルに対する重み付けポイントを“１”とする。従って、相関計算部３３は、重み付けデータＤ３２が示す重み付けポイントをそのまま用いる。

次に、図１４は、過去フレームｆ１のブロック（m3，n3）が基準ブロックの場合を示している。ブロック（m3，n3）が基準ブロックの場合、ブロック（m3，n3）が中央に位置する探索範囲領域は図１４に示す範囲となる。探索範囲領域が図１４の場合、探索範囲領域の中央に位置するブロック（m3，n3）と同じ位置のブロックが補間フレームｆ0.5の注目ブロックとなる。図１１と図１４とを比較すれば分かるように、ブロック（m2，n2）で検出されたベクトルＶ（+1,-1）は、注目ブロックを通過する方向の動きベクトルＶ１である。従って、補間ブロック通過動きベクトル検出部３１は、ベクトルＶ（+1,-1）に対する重み付けデータＤ３１の重み付けポイントを“２０”とする。

図１４の場合も、動きベクトルＶ１は、ベクトルＶ（+1,-1）と静止ベクトルＶ（0,0）と相関微小ベクトルである。動きベクトル分布検出部３２は、重み付けデータＤ３２として、ベクトルＶ（+1,-1）に対する重み付けポイントを“１３”、静止ベクトルＶ（0,0）に対する重み付けポイントを“３０”、相関微小ベクトルに対する重み付けポイントを“６”とする。

図１４の場合には、重み付けデータＤ３１が示すベクトルＶ（+1,-1）に対する重み付けポイントが“２０”、重み付けデータＤ３２が示すベクトルＶ（+1,-1）に対する重み付けポイントが“１３”であるので、相関計算部３３は、ベクトルＶ（+1,-1）に対する重み付けポイントを“３３”とする。静止ベクトルＶ（0,0）に対する重み付けポイントは“３０”、相関微小ベクトルに対する重み付けポイントを“６”のままである。

さらに、図１５は、過去フレームｆ１のブロック（m5，n5）が基準ブロックの場合を示している。ブロック（m5，n5）が基準ブロックの場合、ブロック（m5，n5）が中央に位置する探索範囲領域は図１５に示す範囲となる。探索範囲領域が図１５の場合、探索範囲領域の中央に位置するブロック（m5，n5）と同じ位置が補間フレームｆ0.5の注目ブロックとなる。図１１と図１５とを比較すれば分かるように、ブロック（m4，n4）で検出されたベクトルＶ（+1,-1）は、注目ブロックを通過する方向の動きベクトルＶ１である。従って、補間ブロック通過動きベクトル検出部３１は、ベクトルＶ（+1,-1）に対する重み付けデータＤ３１の重み付けポイントを“２０”とする。

図１５の場合も、動きベクトルＶ１は、ベクトルＶ（+1,-1）と静止ベクトルＶ（0,0）と相関微小ベクトルである。動きベクトル分布検出部３２は、重み付けデータＤ３２として、ベクトルＶ（+1,-1）に対する重み付けポイントを“１３”、静止ベクトルＶ（0,0）に対する重み付けポイントを“３０”、相関微小ベクトルに対する重み付けポイントを“６”とする。

図１５の場合には、重み付けデータＤ３１が示すベクトルＶ（+1,-1）に対する重み付けポイントが“２０”、重み付けデータＤ３２が示すベクトルＶ（+1,-1）に対する重み付けポイントが“１３”であるので、相関計算部３３は、ベクトルＶ（+1,-1）に対する重み付けポイントを“３３”とする。静止ベクトルＶ（0,0）に対する重み付けポイントは“３０”、相関微小ベクトルに対する重み付けポイントを“６”のままである。

以上のようにして、補間ブロック通過動きベクトル検出部３１は、それぞれの基準ブロックが中央に位置する探索範囲領域内に、補間フレームｆ0.5の注目ブロックを通過する方向の動きベクトルＶ１が存在するか否かを検出して、存在する場合にはその動きベクトルＶ１に対して重み付けデータＤ３１として重み付けポイント“２０”を与える。動きベクトル分布検出部３２は、それぞれの基準ブロックが中央に位置する探索範囲領域内において、全ての種類の動きベクトルＶ１の個数を集計し、重み付けデータＤ３２として個数に応じた重み付けポイントを与える。相関計算部３３は、重み付けデータＤ３１，Ｄ３２を合わせて、それぞれの動きベクトルＶ１の重み付けポイントを生成する。

図１６の（ａ）は、図６のそれぞれのブロックにおいて得られるベクトルＶ（+1,-1）に対する重み付けポイントを示しており、図１６の（ｂ）は、図６のそれぞれのブロックにおいて得られる静止ベクトルＶ（0,0）に対する重み付けポイントを示している。相関微小ベクトルに対する重み付けポイントは非常に少ないため、省略する。

また、相関計算部３３は、重み付けデータＤ３１，Ｄ３２として検出された動きベクトルＶ１の方向のみ、補間フレームｆ0.5のそれぞれの補間ブロックＢｋｉ（注目ブロック）を中心とした差分値を求める。図１２〜図１５で説明したように、補間ブロック通過動きベクトル検出部３１及び動きベクトル分布検出部３２で検出の対象とする動きベクトルＶ１は、補間フレームｆ0.5の１つの注目ブロックに対して、注目ブロックと同じ位置の過去フレームｆ１のブロックを中心とする探索範囲領域で検出される動きベクトルＶ１である。

相関計算部３３は、それぞれの補間ブロックＢｋｉを中心として、それぞれの補間ブロックＢｋｉに対する過去フレームｆ１の探索範囲領域で検出された動きベクトルＶ１の方向の、過去フレームｆ１のブロックと現在フレームｆ０のブロックとの差分値を求める。

図１２の場合には、過去フレームｆ１のブロック（m1，n1）と同じ位置のブロックが補間フレームｆ0.5の注目ブロックである補間ブロックＢｋｉとなっている。このとき、過去フレームｆ１の探索範囲領域で検出された動きベクトルＶ１は、ベクトルＶ（+1,-1）と静止ベクトルＶ（0,0）のみである。そこで、相関計算部３３は、ブロック（m1，n1）と同じ位置の補間ブロックＢｋｉを中心として、ベクトルＶ（+1,-1）が示す方向の過去フレームｆ１のブロックと現在フレームｆ０のブロックとの差分値と、静止ベクトルＶ（0,0）が示す方向の過去フレームｆ１のブロックと現在フレームｆ０のブロックとの差分値を求める。

図１３の場合には、過去フレームｆ１のブロック（m2，n2）と同じ位置のブロックが補間フレームｆ0.5の補間ブロックＢｋｉであり、過去フレームｆ１の探索範囲領域で検出された動きベクトルＶ１は、ベクトルＶ（+1,-1）と静止ベクトルＶ（0,0）のみである。そこで、相関計算部３３は、ブロック（m2，n2）と同じ位置の補間ブロックＢｋｉを中心として、ベクトルＶ（+1,-1）が示す方向の過去フレームｆ１のブロックと現在フレームｆ０のブロックとの差分値と、静止ベクトルＶ（0,0）が示す方向の過去フレームｆ１のブロックと現在フレームｆ０のブロックとの差分値を求める。

図１４の場合には、過去フレームｆ１のブロック（m3，n3）と同じ位置のブロックが補間フレームｆ0.5の補間ブロックＢｋｉであり、過去フレームｆ１の探索範囲領域で検出された動きベクトルＶ１は、ベクトルＶ（+1,-1）と静止ベクトルＶ（0,0）と相関微小ベクトルである。そこで、相関計算部３３は、ブロック（m3，n3）と同じ位置の補間ブロックＢｋｉを中心として、ベクトルＶ（+1,-1）が示す方向の過去フレームｆ１のブロックと現在フレームｆ０のブロックとの差分値と、静止ベクトルＶ（0,0）が示す方向の過去フレームｆ１のブロックと現在フレームｆ０のブロックとの差分値と、相関微小ベクトルが示す方向の過去フレームｆ１のブロックと現在フレームｆ０のブロックとの差分値とを求める。

図１５の場合には、過去フレームｆ１のブロック（m5，n5）と同じ位置のブロックが補間フレームｆ0.5の補間ブロックＢｋｉであり、過去フレームｆ１の探索範囲領域で検出された動きベクトルＶ１は、ベクトルＶ（+1,-1）と静止ベクトルＶ（0,0）と相関微小ベクトルである。そこで、相関計算部３３は、ブロック（m5，n5）と同じ位置の補間ブロックＢｋｉを中心として、ベクトルＶ（+1,-1）が示す方向の過去フレームｆ１のブロックと現在フレームｆ０のブロックとの差分値と、静止ベクトルＶ（0,0）が示す方向の過去フレームｆ１のブロックと現在フレームｆ０のブロックとの差分値と、相関微小ベクトルが示す方向の過去フレームｆ１のブロックと現在フレームｆ０のブロックとの差分値とを求める。

図１７において、（ａ）は、以上のようにして、それぞれの補間ブロックＢｋｉを中心として、ベクトルＶ（+1,-1）が示す方向の過去フレームｆ１のブロックと現在フレームｆ０のブロックとの差分値を示している。図１７において、（ｂ）は、それぞれの補間ブロックＢｋｉを中心として、静止ベクトルＶ（0,0）が示す方向の過去フレームｆ１のブロックと現在フレームｆ０のブロックとの差分値を示している。相関微小ベクトルが示す方向の過去フレームｆ１のブロックと現在フレームｆ０のブロックとの差分値は省略する。

相関計算部３３は、図１６に示す重み付けポイントに基づいて図１７に示す差分値に対して重み付けして、ベクトルＶ（+1,-1）が示す方向と静止ベクトルＶ（0,0）が示す方向の最終的な相関値を計算する。相関計算部３３は、一例として、図１７に示すそれぞれの方向の差分値を、図１６に示すそれぞれの方向の重み付けポイントのうち、重み付けポイントが多い方の方向の差分値はそのままとし、重み付けポイントが少ない方の方向の差分値は差分値を＋１０とする。

図１７では、ベクトルＶ（+1,-1）が示す方向と静止ベクトルＶ（0,0）が示す方向の差分値のみを示しているため、重み付けポイントの大小比較となる。図６において３種類以上の方向の動きベクトルＶ１が検出された場合には、重み付けポイントが多い方の方向の差分値をそのまま、重み付けポイントが２番目に多い方の方向の差分値を＋１０、重み付けポイントが３番目に多い方の方向の差分値を＋２０のようにすればよい。図６の場合には、図示を省略した相関微小ベクトルに対する重み付けポイントが３番目となる。相関微小ベクトルが複数の異なるベクトルの場合には、それぞれの相関微小ベクトルに対する重み付けポイントが３番目，４番目，５番目…となる。

図１８は、相関計算部３３が重み付けポイントに基づいて差分値に対して重み付けすることによって計算した最終的な相関値を示している。図１８の（ａ）はベクトルＶ（+1,-1）が示す方向の相関値、図１８の（ｂ）は静止ベクトルＶ（0,0）が示す方向の相関値である。相関計算部３３は、最も相関値が小さい方向を動きベクトルＶ２として出力する。

図１９は、相関計算部３３が出力する動きベクトルＶ２を示している。図１８の（ａ）と（ｂ）とを比較すれば分かるように、ブロック（m3，n3），（m3，n4），（m3，n5），（m4，n3），（m4，n4），（m4，n5），（m5，n3），（m5，n4），（m5，n5）のみベクトルＶ（+1,-1）が示す方向の相関値が小さく、他のブロックでは、静止ベクトルＶ（0,0）が示す方向の相関値の方が小さい。よって、相関計算部３３が出力する動きベクトルＶ２は図１９のようになる。このようにして、動きベクトル検出部２によって検出された図６に示す動きベクトルＶ１は、動きベクトル補正部３によって図１９に示す動きベクトルＶ２へと補正される。

図１８では図示を省略したが、図６に示す動きベクトルＶ１に含まれていた相関微小ベクトルが示す方向の相関値は、ベクトルＶ（+1,-1）が示す方向の相関値や静止ベクトルＶ（0,0）が示す方向の相関値よりも大きな値となる。従って、相関微小ベクトルは全てベクトルＶ（+1,-1）または静止ベクトルＶ（0,0）へと置換される。

以上のように、動きベクトル補正部３の補間ブロック通過動きベクトル検出部３１は、他方のフレーム（現在フレームｆ０）における所定の探索範囲に対向する探索基準のフレーム（過去フレームｆ１）における所定の探索範囲と同じ範囲の領域を第１の探索範囲領域とする。補間ブロック通過動きベクトル検出部３１は、第１の探索範囲領域内それぞれの基準ブロックを探索範囲と同じ範囲の領域の中央に位置するブロックとし、基準ブロックが中央に位置する探索範囲と同じ範囲の領域それぞれを第２の探索範囲領域とする。

そして、補間ブロック通過動きベクトル検出部３１は、基準ブロックの位置に対応したそれぞれの第２の探索範囲領域内に、補間フレームｆ0.5の注目ブロックを通過する方向の動きベクトルＶ１があるか否かを検出する。補間フレームｆ0.5の注目ブロックは、それぞれの第２の探索範囲領域の中央に位置する基準ブロックと同じ位置のブロックである。

補間ブロック通過動きベクトル検出部３１は、注目ブロックを通過する方向の動きベクトルＶ１に対して第１の重み付けポイントを設定した第１の重み付けデータを生成する。

動きベクトル分布検出部３２は、それぞれの第２の探索範囲領域内に存在する動きベクトルＶ１の種類とそれぞれの種類の動きベクトルＶ１の個数を検出する。動きベクトル分布検出部３２は、それぞれの種類の動きベクトルＶ１に対して、個数が多いほど大きい第２の重み付けポイントを設定した第２の重み付けデータを生成する。個数が多いほど重み付けポイントを大きくするのは、個数が多い動きベクトルＶ１ほど信頼度が高いと判断できるからである。

相関計算部３３は、補間フレームｆ0.5のそれぞれの注目ブロックを中心として、第２の探索範囲領域内に存在する動きベクトルＶ１の種類それぞれの方向で、探索基準のフレーム（過去フレームｆ１）のブロックと他方のフレーム（現在フレームｆ０）のブロックとの差分値を求める。相関計算部３３は、補間ブロック通過動きベクトル検出部３１による検出結果（第１の重み付けデータ）と動きベクトル分布検出部３２による検出結果（第２の重み付けデータ）とに基づいて差分値に対して重み付けして重み付けした差分値を相関値とする。そして、相関計算部３３は、重み付けした差分値による相関値に基づいて、動きベクトルＶ１を補正して、動きベクトルＶ２として出力する。

相関計算部３３は、第１の重み付けデータと第２の重み付けデータとで同じ動きベクトルであれば第１の重み付けポイントと第２の重み付けポイントとを加算した上で、それぞれの種類の動きベクトルの方向の差分値を、重み付けポイントが大きい動きベクトルの方向ほど差分値が小さくなるように補正すればよい。

動きベクトル検出部２は、動きベクトルＶ１を検出するに際し、第１の探索範囲領域内それぞれの基準ブロックと、複数の動きベクトルそれぞれの方向の他方のフレームのブロックとの差分値を求める。動きベクトル検出部２は、複数の動きベクトルそれぞれの方向の差分値において、基準ブロックで求めた差分値に対して基準ブロックの周囲のブロックで求めた差分値を積算することが好ましい。そして、動きベクトル検出部２は、積算した差分値に基づいて、最も小さい差分値を示す方向をそれぞれの基準ブロックにおける動きベクトルとして検出することが好ましい。

このようにすれば、動きベクトルＶ１を検出した位置と補間画像との位置のずれを緩和した上で、動きベクトル補正部３によって動きベクトルＶ１を補正して、動きベクトルＶ２とすることができる。

本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。図１では、動きベクトル生成装置１０をフレーム周波数変換装置に備える構成を示したが、本実施形態の動きベクトル生成装置１０は、フレーム周波数変換装置に限らず、動きベクトルを用いて映像信号処理する任意の装置に用いることが可能である。

２ 動きベクトル検出部
３ 動きベクトル補正部
１０ 動きベクトル生成装置
３１ 補間ブロック通過動きベクトル検出部
３２ 動きベクトル分布検出部
３３ 相関計算部

Claims (4)

1. 映像信号における現在フレームと前記現在フレームを１フレーム期間遅延させた過去フレームとのうちの一方のフレームを、動きベクトルを検出する探索基準のフレームとし、前記現在フレーム及び前記過去フレームのそれぞれを１または複数画素よりなるブロックに分割して、前記探索基準のフレームにおけるそれぞれのブロックを基準ブロックとし、前記現在フレームと前記過去フレームとのうちの他方のフレームにおける複数のブロックよりなる所定の領域を探索範囲とし、前記基準ブロックと前記探索範囲内のそれぞれのブロックとの相関に基づいて、前記基準ブロックそれぞれで第１の動きベクトルを検出する動きベクトル検出部と、
   前記他方のフレームにおける所定の探索範囲に対向する前記探索基準のフレームにおける前記所定の探索範囲と同じ範囲の領域を第１の探索範囲領域とし、前記第１の探索範囲領域内それぞれの前記基準ブロックを前記探索範囲と同じ範囲の領域の中央に位置するブロックとして、前記基準ブロックが中央に位置する前記探索範囲と同じ範囲の領域それぞれを第２の探索範囲領域としたとき、前記基準ブロックの位置に対応したそれぞれの前記第２の探索範囲領域内に、前記現在フレームと前記過去フレームとの間に内挿する補間フレームの補間ブロックであり、それぞれの前記第２の探索範囲領域の中央に位置する前記基準ブロックと同じ位置の注目ブロックを通過する方向の動きベクトルがあるか否かを検出する補間ブロック通過動きベクトル検出部と、
   それぞれの前記第２の探索範囲領域内に存在する動きベクトルの種類とそれぞれの種類の動きベクトルの個数を検出する動きベクトル分布検出部と、
   前記補間フレームのそれぞれの前記注目ブロックを中心として、前記第２の探索範囲領域内に存在する動きベクトルの種類それぞれの方向で、前記探索基準のフレームのブロックと前記他方のフレームのブロックとの差分値を求め、前記補間ブロック通過動きベクトル検出部による検出結果と前記動きベクトル分布検出部による検出結果とに基づいて前記差分値に対して重み付けして重み付けした差分値を相関値とし、前記相関値に基づいて前記動きベクトル検出部によって検出された前記第１の動きベクトルを補正して、第２の動きベクトルとして出力する相関計算部と、
   を備え、
   前記補間ブロック通過動きベクトル検出部は、前記注目ブロックを通過する方向の動きベクトルに対して第１の重み付けポイントを設定した第１の重み付けデータを生成し、
   前記動きベクトル分布検出部は、それぞれの種類の動きベクトルに対して、個数が多いほど大きい第２の重み付けポイントを設定した第２の重み付けデータを生成し、
   前記相関計算部は、前記第１の重み付けデータと前記第２の重み付けデータとで同じ動きベクトルであれば前記第１の重み付けポイントと前記第２の重み付けポイントとを加算した上で、それぞれの種類の動きベクトルの方向の差分値を、重み付けポイントが大きい動きベクトルの方向ほど差分値が小さくなるように補正する
   ことを特徴とする動きベクトル生成装置。
2. 前記動きベクトル検出部は、前記第１の探索範囲領域内それぞれの前記基準ブロックと、複数の動きベクトルそれぞれの方向の前記他方のフレームのブロックとの差分値を求め、前記複数の動きベクトルそれぞれの方向の差分値において、前記基準ブロックで求めた差分値に対して前記基準ブロックの周囲のブロックで求めた差分値を積算して、最も小さい差分値を示す方向をそれぞれの前記基準ブロックにおける動きベクトルとして検出することを特徴とする請求項１に記載の動きベクトル生成装置。
3. 映像信号における現在フレームと前記現在フレームを１フレーム期間遅延させた過去フレームとのうちの一方のフレームを、動きベクトルを検出する探索基準のフレームとし、前記現在フレーム及び前記過去フレームのそれぞれを１または複数画素よりなるブロックに分割して、前記探索基準のフレームにおけるそれぞれのブロックを基準ブロックとし、前記現在フレームと前記過去フレームとのうちの他方のフレームにおける複数のブロックよりなる所定の領域を探索範囲とし、前記基準ブロックと前記探索範囲内のそれぞれのブロックとの相関に基づいて、前記基準ブロックそれぞれで第１の動きベクトルを検出する動きベクトル検出ステップと、
   前記他方のフレームにおける所定の探索範囲に対向する前記探索基準のフレームにおける前記所定の探索範囲と同じ範囲の領域を第１の探索範囲領域とし、前記第１の探索範囲領域内それぞれの前記基準ブロックを前記探索範囲と同じ範囲の領域の中央に位置するブロックとして、前記基準ブロックが中央に位置する前記探索範囲と同じ範囲の領域それぞれを第２の探索範囲領域としたとき、前記基準ブロックの位置に対応したそれぞれの前記第２の探索範囲領域内に、前記現在フレームと前記過去フレームとの間に内挿する補間フレームの補間ブロックであり、それぞれの前記第２の探索範囲領域の中央に位置する前記基準ブロックと同じ位置の注目ブロックを通過する方向の動きベクトルがあるか否かを検出する補間ブロック通過動きベクトル検出ステップと、
   それぞれの前記第２の探索範囲領域内に存在する動きベクトルの種類とそれぞれの種類の動きベクトルの個数を検出する動きベクトル分布検出ステップと、
   前記補間フレームのそれぞれの前記注目ブロックを中心として、前記第２の探索範囲領域内に存在する動きベクトルの種類それぞれの方向で、前記探索基準のフレームのブロックと前記他方のフレームのブロックとの差分値を求め、前記基準ブロックを通過する方向の動きベクトルがあるか否かの検出結果と、それぞれの前記第２の探索範囲領域内に存在する動きベクトルの種類とそれぞれの種類の動きベクトルの個数の検出結果とに基づいて、前記差分値に対して重み付けして重み付けした差分値を相関値とし、前記相関値に基づいて前記第１の動きベクトルを第２の動きベクトルへと補正する動きベクトル補正ステップと、
   を含み、
   前記補間ブロック通過動きベクトル検出ステップは、前記注目ブロックを通過する方向の動きベクトルに対して第１の重み付けポイントを設定した第１の重み付けデータを生成し、
   前記動きベクトル分布検出ステップは、それぞれの種類の動きベクトルに対して、個数が多いほど大きい第２の重み付けポイントを設定した第２の重み付けデータを生成し、
   前記動きベクトル補正ステップは、前記第１の重み付けデータと前記第２の重み付けデータとで同じ動きベクトルであれば前記第１の重み付けポイントと前記第２の重み付けポイントとを加算した上で、それぞれの種類の動きベクトルの方向の差分値を、重み付けポイントが大きい動きベクトルの方向ほど差分値が小さくなるように補正する
   ことを特徴とする動きベクトル生成方法。
4. 前記動きベクトル検出ステップは、
   前記第１の探索範囲領域内それぞれの前記基準ブロックと、複数の動きベクトルそれぞれの方向の前記他方のフレームのブロックとの差分値を求め、
   前記複数の動きベクトルそれぞれの方向の差分値において、前記基準ブロックで求めた差分値に対して前記基準ブロックの周囲のブロックで求めた差分値を積算し、
   最も小さい差分値を示す方向をそれぞれの前記基準ブロックにおける動きベクトルとして検出する
   ことを特徴とする請求項３に記載の動きベクトル生成方法。

Images