JP4384231B2 - 動き予測装置 - Google Patents

Description

本発明は画像に含まれる物体の動きを予測する動き予測装置に関するものである。

従来、画像に含まれる物体の動きを動きベクトルとして検出することによって、物体の動きを予測する動き予測装置が知られている。動きベクトルの検出は、時間的に連続する２枚の画像フレームをそれぞれ複数の小領域（画素ブロック）に分割し、その小領域の中から最も相関の高い小領域を探してそのずれの量を動きベクトルで表すといった方法で行われる。

従来、このような動きベクトルの検出を行う装置に関し、例えば、特許文献１の技術では、領域分割部により、復号対象小ブロックの動き補償フレーム間差分絶対値を画素毎に閾値と比較し、閾値より小さい画素の第１の領域と大きい画素の第２の領域に分割する。補間値演算部は第１の領域の画素値と参照ブロック中の対応画素値を平均して補間フレームを構成する。補間値演算部は、第２の領域の復号対象フレームでの遮蔽・出現を判定し、復号対象ブロック又は参照ブロックの対応領域の一方を基準領域とし、基準領域が属しないフレームを再探索参照フレームとする。次いで、補間値演算部は、基準領域と再探索参照フレーム間で求めた第２の動きベクトルの１／２から定まる再探索参照フレームの画素値を補間フレームの第２の領域にコピーして補間フレームを構成する。
特開２０００−２２４５９３号公報

しかしながら、上記のような技術では、ノイズや微動の細かい繰り返し模様の静止画よりのフレーム補間では、ベクトルのバラツキを防ぐためベクトルの重み付けを行っていたが、文字スクロールのような動画よりのフレーム補間では、ゼロベクトルよりの補間になるためベクトル検出エラーとなる場合がある。

本発明は、かかる事情に鑑みてなされたものであり、その目的は、静止画と動画の両方のフレーム補間に対して、より精度の高い動きベクトルを検出することが可能となる動き予測装置を提供することにある。

本発明は、画像フレーム及び画像フィールドのいずれかにおける画素ブロック同士の類似度により、画像フレーム及び画像フィールドのいずれかに含まれる物体の動きを予測するための動きベクトルを探索するベクトル探索手段と、画像フレーム及び画像フィールドのいずれかにおける画素ブロック同士の類似度により画素ブロック中の動ブロックの個数を検出する動ブロック数検出手段と、動ブロック数検出手段が検出した動ブロックの個数が大きいほど、大きなリミット値を算出するリミット値算出手段と、ベクトル探索手段が探索した動きベクトルについて、リミット値算出手段により算出されたリミット値より大きい動きベクトルの出力を制限するリミッタと、を備えた動き予測装置である。

本発明の動き予測装置によれば、静止画と動画の両方のフレーム補間に対して、より精度の高い動きベクトルを検出することが可能となる。

以下、図面を参照しつつ本発明に係る動き予測装置の好適な実施形態について詳細に説明する。本発明の実施の形態に係る動き予測装置は図１に示す補間フレーム作成装置１０に動きベクトル探索部３０ａとして組み込まれているので、まず、補間フレーム作成装置１０について説明する。

図１は本発明の実施の形態に係る補間フレーム作成装置１０の構成を示すブロック図である。この補間フレーム作成装置１０は、テレビ、パーソナルコンピュータ、携帯電話機といった画像表示機能を有する装置に備えられている。

この補間フレーム作成装置１０は、チューナ１００を介して入力される入力画像信号（６０Ｆ／ｓ）を構成する複数の画像フレームから、その複数の画像フレームを補間する補間フレームを作成し、作成された補間フレームが内挿された出力画像信号（１２０Ｆ／ｓ）を表示パネル（映像表示手段）２００に出力するようになっている。

補間フレーム作成装置１０は、フレームメモリ２０と、動きベクトル探索部３０ａと、補間フレーム生成部（補間画像作成手段）６０と、制御部７０とを有し、液晶表示パネルなどからなる映像表示手段としての表示パネル６１が接続されている。

フレームメモリ２０は、入力画像信号を画像フレーム毎に記憶する。動きベクトル探索部３０ａは、フレームメモリ２０を介さずに入力される画像フレームである前フレームと、フレームメモリ２０に記憶された画像フレームである後フレームについてのブロックマッチングを行って動きベクトルを検出し、検出された動きベクトルを補間フレーム生成部６０に出力するためのものである。なお、動きベクトル探索部３０ａの構成および動作内容については、後に詳述する。

補間フレーム生成部６０は、フレームメモリ２０を介さずに入力される前フレームおよびフレームメモリ２０に記憶されている後フレームと、動きベクトル探索部３０ａにより検出された動きベクトルとに基づいて補間フレームを作成し、作成された補間フレームをフレームメモリ２０に記憶させるためのものである。

この補間フレームは、フレームメモリ２０を介さずに入力される前フレームと、フレームメモリ２０に記憶されている後フレームとの間に補間されるフレームである。

補間フレーム生成部６０は、前フレームの各画素ブロックと、後フレームの各画素ブロックとの時間的距離を割り出し、その割り出した時間的距離のうちの後フレームから補間フレームまでの時間的距離の割合で、動きベクトル探索部３０ａにより検出された動きベクトルを縮小する。補間フレーム生成部６０は、その縮小された動きベクトルに基づいて、後フレームの対応する画素ブロックを変位させて補間フレームを構成する画素ブロックを作成する。補間フレーム生成部６０は、この手順を前フレームの各画素ブロックと、後フレームの各画素ブロックについて繰り返し、補間フレームを作成する。

制御部７０はブロックタイミング信号を動きベクトル探索部３０ａに出力するなどして補間フレームの作成を制御する。

次に、動きベクトル探索部３０ａの構成について、図２を参照して説明する。図２は、動きベクトル探索部３０ａの構成を示すブロック図である。図２に示すように、動きベクトル探索部３０ａは、動ブロック数検出部（動ブロック数検出手段）３１、リミット値算出部（リミット値算出手段）３２、ベクトル探索部（ベクトル探索手段）３３、及びリミッタ３４を備えている。

動ブロック数検出部３１は、１フレーム中の全てのブロックにおいて、動いていると判断されるベクトルを持つブロックである動ブロックの個数を検出するためのものである。動ブロック数検出部３１は、フレームメモリ２０を介さずに入力される前フレームと、フレームメモリ２０から入力される後フレームとのそれぞれに含まれる２つの画像フレームを対象としてブロックマッチングを行い、画素ブロック同士の類似度を検出して、動いていると判断されるベクトルを持つ動ブロックの個数を検出することができる。

リミット値算出部３２は、動ブロック数検出部３１が検出した動ブロック数に基づいてリミッタ３４のリミット値を算出するためのものである。リミット値算出部３２は、動ブロック数検出部３１が検出した動ブロックの個数が大きいほど、リミッタ３４のリミット値として大きな値を算出する。リミット値算出部３２の具体的な動作については後述する。

ベクトル探索部３３は、フレームメモリ２０を介さずに入力される前フレームと、フレームメモリ２０から入力される後とのそれぞれに含まれる２つの画像フレームを対象としてブロックマッチングを行い、画素ブロック同士の類似度を検出することにより、フレームに含まれる物体の動きを予測するための動きベクトルを探索するためのものである。

ベクトル探索部３３は、フレームメモリ２０を介さずに入力される前フレームと、フレームメモリ２０から入力される後フレームとのそれぞれに含まれる２つの画像フレームを対象としてブロックマッチングを行い、画素ブロック同士のＳＡＤ(Sum of Absolute Difference：画素差分絶対値の総和)を用いてｎ通りの方向の類似度データＡ_１〜Ａ_Ｎを求め、類似度データＡ_１〜Ａ_Ｎに基づいて、相関が最も高い画素ブロック間の変位を示すベクトル値を選択し、その選択したベクトル値に基づいて、動きベクトルを探索することができる。

リミッタ３４は、ベクトル探索部３３が探索した動きベクトルについて、リミット値算出部３２が算出したリミット値より大きい動きベクトルの出力を制限するためのものである。リミッタ３４の具体的な動作については後述する。

以下、本実施形態の補間フレーム作成装置１０の動作について説明する。動きベクトル探索部３０ａの動ブロック数検出部３１は、チューナ１００からフレームメモリ２０を介さずに入力される前フレームと、フレームメモリ２０から入力される後フレームとのそれぞれに含まれる２つの画像フレームを対象としてブロックマッチングを行い、画素ブロック同士の類似度を検出して、動いていると判断されるベクトルを持つ動ブロックの個数を検出する。

動きベクトル探索部３０ａのリミット値算出部３２は、動ブロック数検出部３１が検出した動ブロック数に基づいてリミッタ３４のリミット値を算出する。図３は、リミット値と動ブロック数との関係を示すグラフ図である。図３に示すように、リミット値算出部３２は、第１閾値ｔｈ１＜動ブロック数ｎ＜第２閾値ｔｈ２である動ブロック数ｎについての関数としてリミット値を算出する。リミット値算出部３２は、０＜動ブロック数ｎ≦第１閾値ｔｈ１の静止画領域では、リミッタ３４に動きベクトルの出力を全て制限させる値のリミット値を算出する（リミッタ閉鎖）。一方、リミット値算出部３２は、第２閾値ｔｈ２≦動ブロック数ｎの動画領域では、リミッタ３４に動きベクトルの出力を全て制限させない値のリミット値を算出する（リミッタ開放）。

第１閾値ｔｈ１＜動ブロック数ｎ＜第２閾値ｔｈ２において、リミット値算出部３２は、リミット値を動ブロック数ｎのステップ関数として算出する。図３及び４に示すように、時間ｔ１〜ｔ２において動ブロック数ｎが増加し、時間ｔ１の動ブロック数ｎ（ｔ１）のリミット値Ｌ０（ｔ１）、時間ｔ２の動ブロック数ｎ（ｔ２）のリミット値Ｌ６（ｔ２）としたとき、リミット値算出部３２は、リミット値をリミット値Ｌ０（ｔ１）からＬ６（ｔ２）へと一度に変化させることはなく、それまでのリミット値に固定のリミット値のステップ値を１フレーム毎に加算していき、１ステップずつＬ０（ｔ１）からＬ６（ｔ２）へと変化させる（Ｌ０→Ｌ１→Ｌ２→Ｌ３→Ｌ４→Ｌ５→Ｌ６へと遷移）。また、動ブロック数ｎが減少する場合も、リミット値算出部３２は、それまでのリミット値に固定のリミット値のステップ値を１フレーム毎に減算させてリミット値を算出する。

なお、リミット値算出部３２は、リミット値の算出に要するリソースを低減するため、リミット値を動ブロック数ｎの線形関数として算出しても良い。

動きベクトル探索部３０ａのベクトル探索部３３は、フレームメモリ２０を介さずに入力される前フレームと、フレームメモリ２０から入力される後フレームとのそれぞれに含まれる２つの画像フレームを対象としてブロックマッチングを行い、画素ブロック同士の類似度を検出することにより、動きベクトルを探索する。

動きベクトル探索部３０ａのリミッタ３４は、ベクトル探索部３３が探索した動きベクトルについて、リミット値算出部３２が動ブロック数ｎに基づいて算出したリミット値より大きい動きベクトルの出力を制限し、当該リミッタ値以下の動きベクトルを補間フレーム生成部６０へ出力する。

補間フレーム生成部６０は、フレームメモリ２０を介さずに入力される前フレームおよびフレームメモリ２０に記憶されている後フレームと、動きベクトル探索部３０ａにより検出された動きベクトルとに基づいて補間フレームを作成し、作成された補間フレームをフレームメモリ２０に記憶させる。

パネル２００は、補間フレーム作成装置１０のフレームメモリ２０から出力される１２０Ｆ／ｓの出力画像信号を表示する。

本実施形態においては、図６に示す従来のベクトル探索部３３が探索した動きベクトルを固定されたリミット値により出力を制限する手法に対し、リミッタ３４は、ベクトル探索部３３が探索した動きベクトルについて、動ブロック数検出部３１が検出した動ブロック数ｎに基づいて、リミット値算出部３２が算出したリミット値より大きい動きベクトルの出力を制限する。これにより、入力画像の１フレーム当りの動ブロック数に応じて、リミッタ３４のリミット値を適応的に調整することができるため、静止画と動画の両方のフレーム補間に対して、より精度の高い動きベクトルを検出することが可能となる

また、本実施形態においては、リミット値算出部３２は、０＜動ブロック数ｎ≦第１閾値ｔｈ１の静止画領域では、リミッタ３４に動きベクトルの出力を全て制限させる値のリミット値を算出するため、静止画においてノイズ等の影響を排除することが可能となる。一方、リミット値算出部３２は、第２閾値ｔｈ２≦動ブロック数ｎの動画領域では、リミッタ３４に動きベクトルの出力を全て制限させない値のリミット値を算出するため、明らかに動画であるフレームについて、探索範囲の全ての動きベクトルを補間フレーム生成部６０に出力することができる。

さらに、本実施形態では、リミット値算出部３２は、第１閾値ｔｈ１＜動ブロック数ｎ＜第２閾値ｔｈ２において、リミット値を動ブロック数ｎのステップ関数として算出するため、リミット値算出部３２はリソースを比較的に消費しない手法により、リミット値を算出することが可能となる。

以下、本発明の第２実施形態について説明する。図５は、第２実施形態に係る動きベクトル探索部の構成を示すブロック図である。本実施形態では、動ブロック数検出部３１が検出した動ブロック数ｎに基づいて、リミッタ、ベクトル探索の重み付け（ベクトルオフセット）、あるいはベクトル探索範囲を設定する。

図５に示すように、本実施形態の動きベクトル探索部３０ｂでは、動ブロック数検出部３１にリミット値算出部３２の他に、ベクトルオフセット値算出部（ベクトルオフセット値算出手段）３６とベクトル探索範囲算出部（ベクトル探索範囲算出手段）３８とが接続されている。ベクトルオフセット値算出部３６は、ベクトルオフセット部（ベクトルオフセット手段）３７に接続されている。ベクトル探索範囲算出部３８は、ベクトル探索範囲設定部（ベクトル探索範囲設定手段）３９に接続されている。ベクトル探索部３３は、セレクタ３５を介して選択的にリミッタ３４、ベクトルオフセット部３７、及びベクトル探索範囲設定部３９に接続されている。リミッタ３４、ベクトルオフセット部３７、及びベクトル探索範囲設定部３９は、動きベクトルを補間フレーム生成部４０に出力する。

ベクトルオフセット値算出部３６は、動ブロック数検出部３１が検出した動ブロック数に基づいて、ベクトルオフセット部のベクトルオフセット値を変化させるためのものである。ベクトルオフセット値算出部３６は、ベクトル探索部３３が算出した類似度データＡ_１〜Ａ_Ｎについて、動ブロック数検出部３１が検出した動ブロック数ｎに基づいて、ベクトルオフセット値Ｋ_１〜Ｋ_Ｎの大きさを調整する。ベクトルオフセット値算出部３６は、例えば、動ブロック数ｎが少ないほど、ゼロベクトル近傍のベクトルについてのベクトルオフセット値が小さく、ゼロベクトルから遠いベクトルについてのベクトルオフセット値が大きくなるようにベクトルオフセット値を設定することができる。

ベクトルオフセット部３７は、ベクトル探索部３３が動きベクトルを探索する際に、ベクトルオフセット値に従って任意の動きベクトルが探索されやすくなるような重み付けを、前フレーム及び後フレームにおける画素ブロック同士の類似度について行うためのものである。ベクトルオフセット部３７は、ベクトル探索部３３が算出した類似度データＡ_１〜Ａ_Ｎに、ベクトルオフセット値算出部３６が算出したベクトルオフセット値Ｋ_１〜Ｋ_Ｎを乗じて、類似度データＡ_１〜Ａ_Ｎに対する重み付けを行う。

ベクトル探索範囲算出部３８は、動ブロック数検出部３１が検出した動ブロック数ｎに基づいて、ベクトル探索設定部３９が設定するベクトルの探索範囲を算出するためのものである。例えば、ベクトル探索範囲算出部３８は、動ブロック数ｎが小さくなるほど、ベクトルの探索範囲を小さくなるようにベクトルの探索範囲を算出することができる。ベクトル探索設定部３９は、ベクトル探索部３３が動きベクトルを探索する際の前フレーム及び後フレームにおける探索範囲を設定するためのものである。

以下、本実施形態の動きベクトル探索部３０ｂの動作について説明する。動ブロック数検出部３１は、上記第１実施形態と同様に動ブロック数ｎを検出する。

セレクタ３５によりベクトル探索部３３がベクトルオフセット部３７に接続されている場合は、ベクトルオフセット値算出部３６は、動ブロック数検出部３１が検出した動ブロック数ｎに基づいてベクトルオフセット値Ｋ_１〜Ｋ_Ｎを算出する。ベクトルオフセット部３７は、ベクトル探索部３３が算出した類似度データＡ_１〜Ａ_Ｎに対して、ベクトルオフセット値算出部３６が算出したベクトルオフセット値Ｋ_１〜Ｋ_Ｎを乗じて類似度の重み付けを行なう。ベクトル探索部３３は、ベクトルオフセット値Ｋ_１〜Ｋ_Ｎが乗じられた類似度データＫ_１・Ａ_１〜Ｋ_Ｎ・Ａ_Ｎに基づいて、相関が最も高い画素ブロック間の変位を示すベクトル値を選択し、その選択したベクトル値に基づいて、動きベクトルを探索することができる。

また、セレクタ３５によりベクトル探索部３３がベクトル探索設定部３９に接続されている場合は、ベクトル探索範囲算出部３８は、動ブロック数検出部３１が検出した動ブロック数ｎに基づいてベクトルの探索範囲を算出する。ベクトル探索部３３は、ベクトル探索範囲算出部３８が算出した探索範囲に基づいて設定されたベクトルの探索範囲内について、動きベクトルの探索を行なう。

なお、セレクタ３５によりベクトル探索部３３がリミッタ３４に接続されている場合は、上記第１実施形態と同様である。

本実施形態によれば、入力画像の１フレーム当りの動ブロックの個数に応じて、ベクトルの重み付け、リミッタのリミット値、ベクトルの探索範囲を適応的に調整することでより精度の良いベクトル検出ができる。

以上、本発明の実施の形態について説明したが、本発明は、上記実施形態に限定されるものではなく種々の変形が可能である。例えば、上記実施形態では、画像フレーム間における画素ブロック同士の類似度に基づいて、動きベクトルの探索及び動ブロック数の検出を行なったが、本発明においては、画像フィールド間における画素ブロック同士の類似度に基づいて、動きベクトルの探索及び動ブロック数の検出を行なってもよい。

本発明に係る動き予測装置の第１実施形態である補間フレーム作成装置の構成を示すブロック図である。 図１の動きベクトル探索部の構成を示すブロック図である。 リミット値と動ブロック数との関係を示すグラフ図である。 リミット値と動ブロック数との関係の詳細を示すグラフ図である。 第２実施形態に係る動きベクトル探索部の構成を示すブロック図である。 従来の動きベクトル探索部の構成を示すブロック図である。

符号の説明

１０…補間フレーム作成装置、２０…フレームメモリ、３０ａ，３０ｂ…動きベクトル探索部、３１…動ブロック数検出部、３２…リミット値算出部、３３…ベクトル探索部、３４…リミッタ、３５…セレクタ、３６…ベクトルオフセット値算出部、３７…ベクトルオフセット部、３８…ベクトル探索範囲算出部、３９…ベクトル探索範囲設定部、６０…補間フレーム生成部、７０…制御部、１００…チューナ、２００…パネル。

Claims (8)

1. 画像フレーム及び画像フィールドのいずれかにおける画素ブロック同士の類似度により、前記画像フレーム及び前記画像フィールドのいずれかに含まれる物体の動きを予測するための動きベクトルを探索するベクトル探索手段と、
   前記画像フレーム及び前記画像フィールドのいずれかにおける前記画素ブロック同士の類似度により前記画素ブロック中の動ブロックの個数を検出する動ブロック数検出手段と、
   前記動ブロック数検出手段が検出した前記動ブロックの個数が大きいほど、大きなリミット値を算出するリミット値算出手段と、
   前記ベクトル探索手段が探索した前記動きベクトルについて、前記リミット値算出手段により算出された前記リミット値より大きい前記動きベクトルの出力を制限するリミッタと、
   を備えた動き予測装置。
2. 前記リミット値算出手段が算出する前記リミット値は、第１閾値ｔｈ１＜前記動ブロックの個数ｎ＜第２閾値ｔｈ２である前記動ブロックの個数ｎについての関数である、請求項１に記載の動き予測装置。
3. 前記リミット値算出手段が算出する前記リミット値は、
   前記動ブロックの個数ｎ≦前記第１閾値ｔｈ１となる前記動ブロックの個数ｎについて、前記リミッタに前記動きベクトルの出力を全て制限させる値であり、
   前記動ブロックの個数ｎ≧前記第２閾値ｔｈ２となる前記動ブロックの個数ｎについて、前記リミッタに前記動きベクトルの出力を全て制限させない値である、請求項２に記載の動き予測装置。
4. 前記リミット値算出手段が算出する前記リミット値は、前記動ブロックの個数ｎについての線形関数である、請求項２又は３に記載の動き予測装置。
5. 前記リミット値算出手段が算出する前記リミット値は、前記動ブロックの個数ｎについての非線形関数である、請求項２又は３に記載の動き予測装置。
6. 前記リミット値算出手段が算出する前記リミット値は、前記動ブロックの個数ｎについてのステップ関数である、請求項５に記載の動き予測装置。
7. 前記リミッタから出力された前記動きベクトルに基づいて、前記画像フレーム及び画像フィールドのいずれかの間に内挿される補間画像を作成する補間画像作成手段と、
   前記補間画像作成手段により作成される前記補間画像を含む出力画像信号を用いて映像を表示する映像表示手段と、
   をさらに備えた請求項１〜６のいずれか一項記載の動き予測装置。
8. 前記映像表示手段が、表示パネルであることを特徴とする請求項７記載の動き予測装置。

Images