JPH11219436A - 動きベクトル検出回路および動きベクトル検出方法 - Google Patents

Abstract

(57)【要約】 【課題】 マクロブロックおよび参照画像における動き
ベクトル候補についての各画素の差分絶対値の累積加算
時間の短縮化と、消費電力の低減とを図る。 【解決手段】 動きベクトル候補に設定された探索範囲
における候補を複数のグループに分けるグループ化手段
と真の動きベクトルが含まれる蓋然性が高いグループか
ら優先的に累積加算の順位を決定する順位決定手段より
なる動きベクトル候補グループ指定手段１５と、原画像
情報Ｄ１と参照画像情報Ｄ２を並列入力して指定手段１
５により決定された順位に従って両者の差分絶対値を累
積加算する手段１と、累積加算手段１の出力を最小値情
報とを比較して管理する回路４と、最小値情報管理回路
４の最小値情報が検出された後の各累積加算回路の動作
を停止させる個別停止回路１１を備えた累積加算停止手
段１０と、累積加算手段１と累積加算停止手段１０を制
御する制御手段５とを備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は動画像情報のフレー
ム又はフィールド内の所定の範囲であるマクロブロック
に対する動きベクトルを求める動きベクトル検出回路に
係り、特に前記マクロブロックに対する動きベクトル候
補に対応する原画像及び参照画像の各々の画素の信号強
度差を累積加算して累積結果の最小のものを動きベクト
ルとして選択する動きベクトル検出回路に関する。

【０００２】

【従来の技術】一般に、動画像情報の処理においては、
以下の手法を用いてマクロブロック内の画素に関する値
を演算することによって動きベクトルを検出している。
すなわち、ある動きベクトル候補に対して、原画像上の
マクロブロック内の画素の信号強度と、このマクロブロ
ックに対応する範囲を有し動きベクトルに相当する分だ
け平行移動した参照画像上の画素毎の信号強度とを比較
して、この信号強度の差を表す値をマクロブロック内の
全ての画素に関して累積加算し、この演算を全ての動き
ベクトル候補に関して行ない、各々の動きベクトル候補
に対して得られた累積結果を逐次的に比較し、累積結果
が最小となるような候補を動きベクトルとして推定して
いる。上記手法においては、参照画像とは原画像のフレ
ームまたはフィールド内の所定の範囲であるマクロブロ
ックを動きベクトルに相当する分だけ平行移動したマク
ロブロックに対応する所定領域の画像のことをいう。

【０００３】このような一般的な動きベクトルの検出に
おいては、累積加算処理を小さいデータ量によって高速
で行なうために、複数の累積加算回路を並列に配置して
各々の累積加算回路毎にそれぞれ動きベクトル候補の演
算を割り当てて、累積結果のデータをパイプライン状に
出力させるように動きベクトル検出回路を構成してい
る。このような動きベクトル検出回路における累積加算
回路は、信号強度差の演算を原画像のマクロブロックを
構成する画素と参照画像における対応する画素との輝度
の差により行なっており、具体的には｜原画像画素輝度
値−参照画像画素輝度値｜の演算が各累積加算回路にお
いて行なわれている。

【０００４】具体的には、上記パイプライン方式により
動きベクトルの検出を行なう場合、それぞれの動きベク
トルに対応させて領域に対する累積加算を行ない、所定
の動きベクトル候補の全てに対して同様の評価を行な
い、その中から最小（または最大）の評価値を与える動
きベクトル候補をそのマクロブロックの動きベクトルと
して選択し採用している。一度に評価できる動きベクト
ル候補の数を並列数と定義すると、全ての動きベクトル
候補の数を並列数で除した回数だけ累積加算を繰り返す
ことにより動きベクトルの検出が終了する。したがっ
て、並列数ｍで処理を行なう場合、動きベクトル候補の
中から候補をｍ個ずつ選択していって残余の候補が無く
なるまでこの処理を繰り返すことになる。例えば動きベ
クトル候補の総数が１０２４個で１６列あった場合、６
４回の累積加算を繰り返すことによって動きベクトルの
検出が終了することになる。

【０００５】したがって、最初に動きベクトル候補１〜
ｍまでの累積加算値の１回目の評価を行ない、次いで２
回目からの評価からｎ回目までの評価を連続的に繰り返
して行なわなければ動きベクトルの検出は終了しないこ
とになる。このような動きベクトル検出回路は、入力さ
れた原画像の品質とは関係なく必ず固定サイクル数だけ
の累積加算動作を行なわなければならず、動きベクトル
検出のために必要以上のサイクル数を用いると共に動き
ベクトル検出のための回路駆動に要する電力消費コスト
が増大するという問題があった。このような問題を解決
するため、本願発明者は特願平８−３４１９２８号にお
いて不要な累積加算動作を停止させる動きベクトル検出
装置について既に提案している。

【０００６】この従来の動きベクトル検出装置は、原画
像データのフレーム又はフィールド内における所定の範
囲の画像であるマクロブロック内のある特定領域の動き
ベクトル候補を選択し、原画像と参照画像の動きベクト
ル候補に対応する画素の信号強度差を算出し、マクロブ
ロック内の画素について算出された信号強度差を累積加
算してその累積結果を求め、マクロブロック内の更に特
定領域内の動きベクトル候補の中から極大値又は極小値
となる累積結果を与える動きベクトル候補を動きベクト
ルとして選択する動きベクトル検出装置に、図１５に示
すような構成を設けたものである。

【０００７】すなわち、図１５において、動きベクトル
検出装置は、動きベクトル候補に関する原画像データＤ
１と参照画像データＤ２とを並列的に入力して複数の動
きベクトルに関する累積加算を並列で処理するためにパ
イプライン状に接続された複数の差分絶対値累積加算回
路２ａ，２ｂ〜２ｎよりなる累積加算手段１と、この累
積加算手段１の累積加算動作を各々の累積加算回路２
ａ，２ｂ〜２ｎ毎に停止させる個別停止回路１１を備え
る累積加算停止手段１０と、累積加算手段１の累積加算
回路２ａ，２ｂ〜２ｎに対して前記動きベクトル候補に
関する原画像データＤ１と参照画像データＤ２の供給を
制御すると共に個別停止回路１１に対して個別の累積加
算を停止させるべき個別の停止信号Ｓ３を出力して対応
する累積加算回路２ａ，２ｂまたは２ｎの累積加算動作
の停止を制御する制御手段５と、を備えている。

【０００８】累積加算手段１を構成する個々の差分絶対
値累積加算回路２ａ，２ｂ〜２ｎの個々の累積加算結果
は、累積加算信号Ｓ１として最小値情報管理回路４に出
力され、最小値情報管理回路４は累積加算信号Ｓ１をそ
れまでに入力された差分絶対値の最小値と比較してその
比較結果信号Ｓ２を前記制御手段５に対して出力してい
る。制御手段５は、最小値情報管理回路４より供給され
る比較結果信号Ｓ２に基づいて累積加算手段１を構成す
る個々の差分絶対値累積加算回路２ａ〜２ｎのの累積加
算の停止を制御する停止信号Ｓ３を累積加算停止手段１
０に出力している。

【０００９】

【発明が解決しようとする課題】しかしながら、図１５
に示されるような従来の動きベクトル検出装置は、入力
動画像の品質によって改善効率が影響され、最終的に動
きベクトルとなるベクトル候補の検討順序が全体の中で
後ろの順番になった場合、実質的には検討順序が前の方
のほとんど全ての動きベクトル候補に対する累積加算を
行なった後にようやくその動きベクトル候補に対する累
積加算を行なうこととなり、改善効率の観点からあまり
具合が良くなかった。例えば、このように動きベクトル
候補の検討順序が固定順位である場合に、画面の動きベ
クトルが全体的に逆順方向に向かっているような状況で
は、全てのマクロブロックの動きベクトル発見効率が低
下してしまうという事態も発生する可能性があった。

【００１０】上述した従来の動きベクトル検出装置にお
いて、累積加算により動きベクトルを検出する際に、最
終的な動きベクトルである動きベクトル候補をその検索
動作の初期の過程で発見することができれば、実際の累
積加算のための演算時間の短縮により動きベクトル検索
効率が大幅に向上すると共に、検出装置において各々の
動きベクトル候補に対して累積加算を行なう個々の演算
回路の消費電力を低減することが可能となり有効であ
る。

【００１１】本発明は、上記不具合を解消するため、動
きベクトル検出のための演算時間の短縮すなわち演算効
率の向上と、検索のための演算の際の消費電力の低減と
を可能とする動きベクトル検出回路を提供することを目
的とする。

【００１２】

【課題を解決するための手段】上記課題を達成するた
め、請求項１に係る動きベクトル検出回路は、動画像デ
ータにおけるフレーム又はフィールド内における所定範
囲の画像であるマクロブロックに対して、適当な範囲の
ベクトルを動きベクトル候補として設定して、原画像と
参照画像の動きベクトル候補に対応する画素の信号強度
差を算出し、マクロブロック内の画素について算出され
た信号強度差を累積加算して累積加算結果を求め、設定
された動きベクトル候補の中から極大値または極小値と
なる累積結果を与える動きベクトル候補を動きベクトル
として選択する動きベクトル検出回路において、前記動
きベクトル候補に設定された探索範囲における動きベク
トル候補を複数の動きベクトル候補グループに分けるグ
ループ化手段と、真の動きベクトルが含まれている蓋然
性の高い動きベクトル候補グループから低いものまでそ
の順番を予測してこの予測した順番に従ってそれぞれの
動きベクトル候補グループに対して動きベクトル検出の
ための累積加算の順位を決定する順位決定手段と、前記
順位決定手段により決定された順位に従って複数の動き
ベクトル候補グループの前記動きベクトル候補に関する
原画像データと参照画像データとを並列的に入力して複
数の動きベクトル候補に関する累積加算を並列的に処理
するパイプライン状に接続された複数の累積加算回路よ
りなる累積加算手段と、この累積加算手段の累積加算処
理動作を各々の累積加算回路毎に個別に停止させる累積
加算停止手段と、各々の累積加算回路に対して前記動き
ベクトル候補に関する原画像データと参照画像データと
の供給を制御し、個別の累積加算回路の累積加算を停止
させる個別の停止信号を前記累積加算停止手段から出力
させてその累積加算回路の累積加算処理の停止を制御す
ると共に、前記順位決定手段により決定された検討の順
位に従って、蓋然性の高いグループにおける動きベクト
ル候補の検討を前記累積加算手段に行なわせ、一連の検
討動作の初期に最終的な動きベクトル候補となる蓋然性
の高い動きベクトル候補の検討を済ませることにより前
記検討動作の初期に前記累積加算停止手段に前記停止信
号を出力させる制御手段と、を備えることを特徴として
いる。

【００１３】また、請求項２に係る動きベクトル検出回
路は、請求項１に記載のものにおいて、前記グループ化
手段と前記順位決定手段とにより動きベクトル候補グル
ープ指定手段が構成されると共に、前記グループ化手段
によりグループ化された動きベクトル候補グループ毎
に、前記順位決定手段が動的に優先順位を設定し、この
順位に従って動きベクトル候補グループ毎の動きベクト
ル候補に対応する原画像と参照画像の画素の信号強度差
の累積加算を行なうことを特徴としている。

【００１４】また、請求項３に係る動きベクトル検出回
路は、請求項１に記載のものにおいて、前記順位決定手
段が、撮像装置に組み込まれてこの撮像装置が撮像した
動画像における動きの角速度または角加速度を測定する
測定手段を含み、この測定手段から供給される角速度ま
たは角加速度の測定値に基づいて求められる参照動きベ
クトルを用いて動画像内の動きベクトルを検出すること
を特徴としている。

【００１５】また、請求項４に係る動きベクトル検出回
路は、請求項１に記載のものにおいて、前記順位決定手
段が、動画像内の目標物体の特徴点となる部分をフレー
ム全体に対するサーチを行なって発見することにより得
られる目標物体の大域的な動きベクトルを参照動きベク
トルとして用いて、前記動きベクトル候補グループにお
ける優先順位を決定することを特徴としている。

【００１６】また、請求項５に係る動きベクトル検出回
路は、請求項１に記載のものにおいて、前記順位決定手
段が、動きベクトル検出を行なうマクロブロックが含ま
れるフレームと同一のフレーム内に存在し、かつ、当該
マクロブロックより以前に動きベクトル検出が行なわれ
たマクロブロックであって、当該マクロブロックの近傍
に存在する単数もしくは複数のマクロブロックにおける
動きベクトルを参照動きベクトルとして用いることによ
り、動きベクトル候補グループの優先順位を決定するこ
とを特徴としている。

【００１７】また、請求項６に係る動きベクトル検出回
路は、請求項１に記載のものにおいて、前記順位決定手
段が、動きベクトル検出を行なうマクロブロックが含ま
れるフレームとは異なる時点のフレームに含まれ、当該
マクロブロックと同じ座標もしくは近傍の座標に存在す
るマクロブロックのうち、既に動きベクトル検出が終了
した単数もしくは複数のマクロブロックにおける動きベ
クトルを参照動きベクトルとして用いることにより、動
きベクトル候補グループの優先順位を決定することを特
徴としている。

【００１８】また、請求項７に係る動きベクトル検出回
路は、請求項１に記載のものにおいて、前記順位決定手
段は、参照動きベクトルが選択された後この参照動きベ
クトルに対して適当な重み付けを行なう重み付け手段を
備え、この重み付け手段により重み付けがなされた動き
ベクトル候補グループの優先順位を決定することを特徴
としている。

【００１９】上記目的を達成するため、請求項８に係る
動きベクトル検出方法は、動画像データにおけるフレー
ム又はフィールド内における所定範囲の画像であうマク
ロブロックに対して、適当な範囲のベクトルを動きベク
トル候補として設定して、原画像と参照画像の動きベク
トル候補に対応する画素の信号強度差を算出し、マクロ
ブロック内の画素について算出された信号強度差を累積
加算して累積加算結果を求め、設定された動きベクトル
候補の中から極大値または極小値となる累積結果を与え
る動きベクトル候補を動きベクトルとして選択する動き
ベクトル検出方法において、前記動きベクトル候補に設
定された探索範囲における動きベクトル候補を複数の動
きベクトル候補グループにグループ化するステップと、
真の動きベクトルが含まれている蓋然性の高い動きベク
トル候補グループから低いものまでの順番を予測してこ
の順番に従って動きベクトル検出のための累積加算の順
位を決定するステップと、前記動きベクトル候補に関す
る原画像データと参照画像データとを並列的に入力し
て、前記決定された累積加算の順位に従って複数の動き
ベクトルに関する累積加算を複数段のパイプラインによ
り並列的に処理するステップと、前記複数段のパイプラ
インの段数に対応した数の動きベクトルを選択するステ
ップと、累積加算の停止を含んだ前記パイプラインによ
り動きベクトル候補の検討を行なうステップと、その順
位の動きベクトル候補グループに含まれる全ての動きベ
クトル候補に対して検討が行なわれたか否かを判断する
ステップと、順位に従って全ての動きベクトル候補グル
ープについて動きベクトルの検討が行なわれたか否かを
判断するステップと、残った動きベクトルを真の動きベ
クトル候補として出力するステップと、を備えることを
特徴としている。

【００２０】また、請求項９に係る動きベクトル検出方
法は、請求項８に記載のものにおいて、前記複数の動き
ベクトル候補グループにグループ化するステップは、動
画像内の目標物体の特徴点となる部分をフレーム全体に
対するサーチを行なって発見することにより得られる目
標物体の大域的な動きベクトルを参照動きベクトルとし
て用いて行なうことことを特徴としている。

【００２１】また、請求項１０に係る動きベクトル検出
方法は、請求項８に記載のものにおいて、前記複数の動
きベクトル候補グループの順位を決定するステップは、
参照動きベクトルが選択された後、この参照動きベクト
ルに対して適当な重み付けを行なうステップを含むこと
を特徴としている。

【００２２】本発明は以上のように構成することによ
り、検討するベクトル候補を所定領域毎のグループに分
割し、グループ単位で動きベクトルの検討順序を適宜入
れ替えることにより、フレーム内で発見効率が低下した
マクロブロックが連続することを防止する。具体的に
は、次のような基準において動きベクトル検討候補の優
先順位づけを行なう。あるフレームのあるマクロブロッ
クに着目した場合、 １）同じフレーム内において、当該マクロブロック以前
に動きベクトル検出を行なった近傍に存在するマクロブ
ロックの動きベクトルの含まれるベクトル候補グルー
プ、もしくはその近くのベクトル候補グループを優先す
る。 ２）既に動きベクトル検出の終了した、時間的に前後の
フレームにおける、当該マクロブロックもしくは近傍マ
クロブロックの動きベクトルの含まれるベクトル候補グ
ループ、もしくはその近くのベクトル候補グループを優
先する。 ３）動きベクトル検出回路を、ハンドカメラなどと組み
合わせて使う場合、手ブレ防止などの理由で、角速度あ
るいは角加速度情報を取得できるようなデバイス、たと
えば光ファイバージャイロなどのデバイスを搭載するこ
とがあるが、この種のデバイスからの情報に基づく動き
ベクトルの含まれるベクトル候補グループ、もしくはそ
の近くのベクトル候補グループを優先する。 ４）目標物体の特徴点となる部分をサーチすることによ
って得られる、目標物体の大域的な動きベクトルの含ま
れるベクトル候補グループ、もしくはその近くのベクト
ル候補グループを優先する。 これらの手法によって、最終的に動きベクトルとなるベ
クトルの検討順序を統計的に向上させることができる。
このような改善を行なうことにより、動きベクトル検出
回路の効率をより高くすることができる。なお、本発明
に係る動きベクトル検出回路および動きベクトル検出方
法は、特願平８−３４１９２８に開示された動きベクト
ル検出装置および方法における累積加算手段と累積加算
停止手段に加え、グループ化手段と順位決定手段とを設
けるようにしたものである。

【００２３】

【発明の実施の形態】以下、本発明に係る動きベクトル
検出回路および動きベクトル検出方法の好適な実施形態
について、添付図面を参照しながら詳細に説明する。ま
ず、本発明に係る動きベクトル検出回路の最も基本的な
構成を備える第１実施形態に係る動きベクトル検出回路
について、図１を参照して説明する。この第１実施形態
に係る動きベクトル検出回路は、動きベクトル候補を複
数の特定領域に存在する単位ずつにグループ分けし、各
動きベクトル候補グループ毎に動きベクトル候補の探索
順位を動的に設定できるようにしたものである。

【００２４】第１実施形態に係る動きベクトル検出回路
は、図１に示すように、図１６に示された従来例の動き
ベクトル検出装置に対して、動きベクトル候補グループ
指定ブロック１５を付加した構造になっており、この動
きベクトル候補グループ指定ブロック１５が領域分割手
段と順位決定手段とを含んでいる。制御手段５は参照動
きベクトル等の情報Ｄ３をベクトル候補グループ指定ブ
ロック１５に供給し、かわりに動きベクトル候補グルー
プ情報Ｄ４を取得する。具体的な説明を以下に述べる。

【００２５】動きベクトルの検出においては、累積加算
手段１が、累積加算原画像のマクロブロックの画素(pix
el) と、動きベクトル候補に対応する参照画像領域の画
素とのそれぞれの信号値の差を個別に累積加算し、最も
小さい累積加算結果を与える動きベクトル候補を動きベ
クトルとして選び出している。図１５に示される従来例
による動きベクトル検出装置においては、動きベクトル
候補は図２（ａ）に示すような固定の順序に従って、順
次に検討されている。これに対して、本発明の第１実施
形態に係る動きベクトル検出回路にあっては、図２
（ｂ）に示すように動きベクトル候補は２列４段の８個
の部分領域より成る動きベクトル候補グループに分けら
れ、グループ毎の優先順位に従いその動きベクトル候補
グループの領域内の原画像と参照画像の対応するそれぞ
れの画素の信号値の強度差を累積加算することにより動
きベクトル候補に対する検討が順次に行なわれる。

【００２６】グループの優先順位は動きベクトル候補グ
ループ情報Ｄ４に基づいて決定されるが、このグループ
情報Ｄ４も固定値ではなく、動きベクトル検出の過程に
おいて適宜変更することができる。また、動きベクトル
候補のグループ分けは、図２（ｂ）に示すものに限定さ
れず、そのグループの個数も８個に限らず例えば１６
個，３２個などのように、適当な値を採ることができ
る。また、動きベクトル検出回路の動作中に、ベクトル
候補グループ指定手段１５がグループの分け方を動的に
変化させてもよい。

【００２７】以上の構成を備える第１実施形態に係る動
きベクトル検出回路の作用効果について図３（ａ）
（ｂ）を用いて説明する。図３（ａ）（ｂ）にそれぞれ
示す同一の動きベクトル候補２０に対して、図１５に示
す従来の動きベクトル検出装置と図１に示す第１実施形
態に係る動きベクトル検出回路によりそれぞれ動きベク
トルの検索を行う場合を例にとり説明する。図３（ａ）
に示す従来の動きベクトル検出装置のように、固定の検
索順序２１に従って動きベクトルを検出する場合、図３
（ａ）に示す最終的に有効な、すなわち真の動きベクト
ルである動きベクトル候補２０は、検出過程の後半に検
出されることになる。

【００２８】これに対して、図３（ｂ）に示す第１実施
形態に係る動きベクトル検出回路のように、適宜検索順
序を変更する場合は、検索順序２２が適切であるなら
ば、最終的に有効となる動きベクトル候補２０の検出を
検出過程の前半に行なうことができる。動きベクトル検
出が固定サイクル数の検出過程で行なわれるタイプの動
きベクトル検出回路ならば、どちらの方式でもそれほど
の大差はないが、従来の動きベクトル検出装置の場合、
動きベクトルの検出に要するサイクル数は可変であり、
最終的に有効な動きベクトル候補の検出が早期であれば
あるほど、検出に要するサイクル数は小さくなり、消費
電力も低下する。

【００２９】したがって、図１５に示されるような検出
サイクルを可変とすることができる従来の動きベクトル
検出装置に対して、動的に動きベクトルの検索順序を変
化させ得る動きベクトル候補グループ指定手段を付属さ
せるようにした第１実施形態に係る動きベクトル検出回
路は、真の動きベクトルである最終的に有効な動きベク
トル候補についての累積加算を迅速に行なう上から非常
に有意義である。

【００３０】上記第１実施形態に係る動きベクトル検出
回路は、動きベクトル候補に対する検索過程の順位を可
変とすることにより可変サイクルで累積加算を行なう際
の検索速度の飛躍的な向上を図るようにしていたが、動
きベクトル候補グループに対する可変の検討順序をどの
ような準則により行なうかについて、本発明の第２実施
形態に係る動きベクトル検出回路により説明する。この
第２実施形態に係る動きベクトル検出回路は、外部角速
度あるいは外部角加速度を検出し、この角速度又は角加
速度に基づいて動きベクトル候補のグループに対する検
索順位を決定したり、撮像された動画像に存在する特徴
点を用いて大域動きベクトルを検出し、この大域動きベ
クトルから動きベクトル候補グループの検索優先順位を
決定するものである。

【００３１】第２実施形態に係る動きベクトル検出回路
は、図４に示すように、参照動きベクトルの検出のため
に必要な情報は、ビデオカメラ２５等の撮像装置より送
られてくることになる。図４において、ビデオかカメラ
２５は内蔵ジャイロスコープ２６を備えており、ケーブ
ル２７を介して画像処理装置３０に接続されている。こ
の画像処理装置３０は、図１に示される構成を備える動
きベクトル検出回路を含んでおり、撮像装置より送られ
てくる動画像を用いてマクロブロック情報Ｄ１と参照画
像情報Ｄ２を得て、これらの情報に基づいて累積加算の
制御を行なうと共に、マクロブロックおよび参照画像内
の動きベクトル候補を複数のグループに分割して、どの
グループから累積加算の演算を開始するのが演算効率の
上から最適かを考慮して検索順位を決定し、対象となる
特定領域内の画素に対して累積加算を行ない、両者の画
素の信号差をとって最小値と比較し、動きベクトル候補
の中から動きベクトルとして有効なものを検出する。

【００３２】この第２実施形態に係る動きベクトル検出
回路の参照動きベクトルは、図５に示すように、動画像
中の特定物体の特徴のある画像は、フレーム内の全体に
わたってサーチして、フレームの間の差分をとることに
よって得られる。すなわち、図５（ａ）のような動画像
の前フレームの画像における検出対象としての移動する
車両３１は特徴点３２を有しており、図５（ｂ）の動画
像の現フレーム画像には移動後の車両３３とこの車両３
３の特徴点３４とが示されている。図５（ｂ）に示すよ
うに、前フレーム画像の特徴点３２と現フレーム画像の
特徴点３４との移動軌跡が、特徴点の移動によ検知され
る大域動きベクトル３５として求められることになる。
このような図４および図５により説明される手法により
参照動きベクトルが求められるが、この例においては、
参考となる動きベクトルの数が１つであるので、優先順
位付けの方法は図６に示すような手順により行なわれる
ことになる。

【００３３】図６において、動きベクトル候補検討範囲
３６を２列４段からなる８つの動きベクトル候補検討グ
ループ３７ａ、３７ｂ，３７ｃ，３７ｄ，３７ｅ，３７
ｆ，３７ｇ，３７ｈに分割する。ここで、参照動きベク
トル３８が含まれる動きベクトル候補グループ３７ｃ
が、累積加算の優先順位１番となる。グループ３７ｃ以
外で、最も参照動きベクトル３８に近い動きベクトルグ
ループ３７ａが第２順位の優先順位となる。後は、右回
りに第１順位のグループ３７ｃを中心として近いものか
ら優先させて順番に検討順位３９を割り振っている。す
なわち、３７ｄ→３７ｅ→３７ｂ→３７ｆ→３７ｇ→３
７ｈのような検討順位３９が割り当てられているが、優
先順位を割り振る方法は特にこの通りでなくてもよく、
動きベクトル候補グループの分割状況等の影響を考慮し
て割り当てることもできる。また、動きベクトルの検出
過程において、その動きベクトルの検出状況を考慮して
動的に変化させることにより動きベクトル候補のグルー
プの累積加算の順位を割り振ることもできる。

【００３４】次に、本発明の第３実施形態に係る動きベ
クトル回路について、図７ないし図９を用いて説明す
る。この第３実施形態に係る動きベクトル検出回路は、
同一フレーム内で既に検出された動きベクトルに基づい
て、動きベクトル候補グループの優先順位付けを行な
い、その順位に従って動きベクトル候補に対する累積加
算を行なうようにしたものである。この第３実施形態に
係る動きベクトル検出回路においては、参照動きベクト
ルが１つではなく複数個となるため、動きベクトル候補
グループの優先順位を決定する際に、適当な重み付けを
行なってから順位付けを行なう必要がある。以下、第３
実施形態の詳細について説明する。

【００３５】図７は第３実施形態に係る動きベクトル検
出回路を説明するのものであり、フレーム４０内は複数
のマクロブロック４１により分割されている。同一フレ
ーム４０内における、現時点において動きベクトルを検
出中のマクロブロック「＊」と、参照動きベクトルを与
えるマクロブロックＡ，Ｂ，Ｃの位置関係を示してい
る。参照動きベクトルを含む動きベクトル候補グループ
に対して、図８に示すような重み付けを行なった。図８
において、動きベクトル候補検討範囲であるマクロブロ
ック４１は、更に複数の特定領域４２ａないし４２ｈに
分割されている。符号４３は参考となるＡの動きベクト
ルであり、４４はＢの動きベクトル、４５はＣの動きベ
クトル、４６はＡ，Ｂ，Ｃの動きベクトルのｘ，ｙ成分
のそれぞれの中間値から作成された動きベクトルであ
り、Ａ，Ｂ，Ｃの動きベクトル４３，４４，４５を含む
各動きベクトル候補グループに対して１点を加算し、
Ａ，Ｂ，Ｃの動きベクトル４３，４４，４５の各ｘ成
分、各ｙ成分のそれぞれ中間値から求められる参考ベク
トル４６を含むベクトル候補グループに対して２点を加
算することにより重み付けがなされている。

【００３６】図９では、重み係数の大きい動きベクトル
候補グループから順次に動きベクトルの検索を行ない、
重みゼロのベクトル候補グループに関しては、重み係数
の最も大きいベクトル候補グループを中心に、近いもの
から右まわりに動きベクトル候補の検討を行なってい
る。具体的には、重み係数が３で最も思い動きベクトル
グループ４２ｃから検索を開始して、重み係数１のグル
ープを右回りで動きベクトル候補グループ４２ａに進
み、重み係数１の候補グループ４２ｅ，重み係数無しの
候補グループ４２ｄ，４２ｂ，４２ｆ，４２ｇ，４２ｈ
の順に動きベクトル候補についての累積加算が行なわれ
る。この検索の順序は、図９に矢印４７により、動きベ
クトル候補グループ検討順序として示されている。

【００３７】なお、この第３実施形態に係る動きベクト
ル検出回路において、図７に示された参考となるマクロ
ブロックは、図示の通りでなくてもよいし、数も異なっ
ていても良い。また、図８に示された重み付けの方式は
単純な例であり、これよりも複雑な重み付けを行なって
もかまわない。また、図９に示した検索順序は、例えば
同格のグループに対して左回りとするなどのように、他
の方式により適宜に行なうようにしても良い。

【００３８】上述した第３実施形態に係る動きベクトル
検出回路は、同一フレーム内の動きベクトルを用いて、
動きベクトル候補に関する累積加算の順位を可変にして
いたが、本発明はこれに限定されず、第４実施形態に係
る動きベクトル検出回路のように、時間的に前後となる
フレームにおいて既に検出された動きベクトルに基づい
て動きベクトル候補グループの優先順位を決定するよう
にしても良い。この第４実施形態に係る動きベクトル検
出回路における動きベクトル候補グループの優先順位づ
けも、参考となるベクトルが複数であるため、適当な重
み付けを加えてから行なう必要がある。以下、第４実施
形態に係る動きベクトル検出回路について説明する。

【００３９】図１０は時間的に異なるフレーム内におけ
る、参考となるマクロブロックの位置関係を示したもの
である。現在動きベクトル検出中のマクロブロックと同
じ座標に存在するマクロブロック「＊」と、その近傍に
存在するマクロブロックＡＢＣＤである。参考となる動
きベクトルを含む動きベクトル候補グループに対して図
１１のような重み付けを行なった。なお、図１１および
図１２においては、便宜上図８および図９と同じ符号を
用いて説明する。Ａの参考動きベクトル４３，Ｂの参考
動きベクトル４４，Ｃの参考動きベクトル４５，Ｄの参
考動きベクトル４８を含む各ベクトル候補グループに対
してそれぞれ１点を加算し、「＊」の参考動きベクトル
４９を含む動きベクトル候補グループに対して２点を加
算した。したがって、動きベクトル候補検討範囲４１内
の特定領域４２ａないし４２ｈの重み係数は、候補グル
ープ４２ｃが３、グループ４２ｅが２，グループ４２ｆ
が１となり、図１２では、重み係数の大きいベクトル候
補グループから順次に動きベクトルの検索を行ない、重
みゼロのベクトル候補グループ４２ａ，４２ｂ，４２
ｄ，４２ｇ，４２ｈに関しては、重み係数の最も大きい
ベクトル候補グループを中心に、近いものから右まわり
に動きベクトル候補の検討を行なっている。具体的な検
討順位は、図１２に（１）から（８）を付したように、
４２ｃ→４２ｅ→４２ｆ→４２ａ→４２ｄ→４２ｇ→４
２ｂ→４２ｈとなる。

【００４０】参考となるマクロブロックは、図１０に示
したものに限定されず、また、マクロブロックの数も異
なっていても良い。また、図１１に示した重み付け方式
も単純な例であって、さらに複雑な方法により重み付け
を行なうようにしても良い。また、図１２に示した検索
順序も適宜他の方式で行なっても良い。

【００４１】次に、本発明の第５実施形態に係る動きベ
クトル検出回路について図１３を用いて説明する。この
第５実施形態に係る動きベクトル検出回路も、時間的に
前後となるフレーム内で既に検出された動きベクトルに
基づいてベクトル候補グループの優先順位付けを行なう
ものであり、参考となるベクトル候補グループの優先順
位付けも、参考となるベクトルが複数であるため、適当
な重み付けをしてから行なう必要がある。ここでは、第
２実施形態に係る動きベクトル検出回路における撮像装
置からの角加速度情報から計算したベクトルと、第４実
施形態に係る動きベクトル検出回路における異なる時点
のフレームの動きベクトル情報の両方を参考にした場合
の重み付けの例を図１３を用いて説明する。この場合、
第４実施形態における参考動きベクトルの起点を原点で
なく、第２実施形態に係る動きベクトルの終点にとって
いる。

【００４２】図１３において、重み付け係数は、動きベ
クトル候補グループ４２ｃの係数が「１＋２＝３」で最
も重く、動きベクトル候補グループ４２ｅは「１＋１＝
２」で次に重く、動きベクトル候補グループ４２ｆが
「１」で、他のグループには重み付け係数が付されてい
ない。このため、第３または第４実施形態と同様にグル
ープの累積加算順位を割り振ると、グループ４２ｃ→４
２ｅ→４２ｆ→４２ａ→４２ｄ→４２ｇ→４２ｂ→４２
ｈのような順番となる。

【００４３】なお、図１３に示した重み付けの方法は、
一例を示すのみであってこの方法と異なっていても構わ
ないし、また、参考にする動きベクトルの数や種類もこ
の例に限定されることはない。また、動きベクトル検出
動作中に複数種類の重み付け方法を切り替えることも可
能である。

【００４４】最後に、本発明の第６実施形態に係る動き
ベクトル検出方法について図１４を用いて説明する。図
１４は第６実施形態に係る動きベクトル検出方法を示す
フローチャートである。この第６実施形態に係る動きベ
クトル検出方法は、動画像データにおけるフレーム又は
フィールド内における所定範囲の画像をマクロブロック
として、このマクロブロック内に存在する動きベクトル
候補を選択して、原画像と参照画像の動きベクトル候補
に対応する画素の信号強度差を算出し、マクロブロック
内の画素について算出された信号強度差を累積加算して
累積加算結果を求め、マクロブロック内の更に特定範囲
内の動きベクトル候補の中から極大値または極小値とな
る累積結果を与える動きベクトル候補を動きベクトルと
して選択するものである。

【００４５】第６実施形態に係る動きベクトル検出方法
は、動画像データにおけるフレーム又はフィールド内に
おける所定範囲の画像であるマクロブロックに対して、
適当な範囲のベクトルを動きベクトル候補として設定し
て、原画像と参照画像の動きベクトル候補に対応する画
素の信号強度差を算出し、マクロブロック内の画素につ
いて算出された信号強度差を累積加算して累積加算結果
を求め、設定された動きベクトル候補の中から極大値ま
たは極小値となる累積結果を与える動きベクトル候補を
動きベクトルとして選択する動きベクトル検出方法に適
用される。

【００４６】図１４において、動きベクトル検出方法
は、動きベクトル候補に設定された探索範囲における動
きベクトル候補を複数の動きベクトル候補グループにグ
ループ化するステップST１と、真の動きベクトルが含ま
れている蓋然性の高い動きベクトル候補グループから低
いものまでの順番を予測してこの順番に従って動きベク
トル検出のための累積加算の順位を決定するステップST
２と、前記動きベクトル候補に関する原画像データと参
照画像データとを並列的に入力して、前記決定された累
積加算の順位に従って複数の動きベクトルに関する累積
加算を複数段のパイプラインに並より列的に処理するス
テップST３と、前記複数段のパイプラインの段数に対応
した数の動きベクトルを選択するステップST４と、累積
加算の停止を含んだ前記パイプラインにより動きベクト
ル候補の検討を行なうステップST５と、その順位の動き
ベクトル候補グループに含まれる全ての動きベクトル候
補に対して検討が行なわれたか否かを判断するステップ
ST６と、順位に従って全ての動きベクトル候補グループ
について動きベクトルの検討が行なわれたか否かを判断
するステップST７と、残った動きベクトルを真の動きベ
クトルとして出力するステップST８と、を備えている。

【００４７】ステップST６において、グループ内の動き
ベクトル候補の全てについて検討が行なわれていない場
合には、ステップST４に戻り、ステップST４，ST５，ST
６の処理ルーチンを繰り返す。ステップST６でグループ
内の全ての動きベクトル候補に対する検討が行なわれた
場合にはステップST７で全てのグループについて検討が
終了したか否かが判断されるが、もしも残っているグル
ープがある場合には、ステップST３に戻りステップST３
ないしST６の処理動作を繰り返すことになる。ステップ
ST７において、全てのグループについて動きベクトルの
検出が終了されたものと判断されたときには、ステップ
ST８において残った動きベクトル候補が真の動きベクト
ルであるものとして動きベクトルの検出が終了する。

【００４８】また、図１４に示される動きベクトル検出
方法において、複数に分割された前記特定領域の順位を
決定する第３のステップST３が、動画像内の目標物体の
特徴点となる部分をフレーム全体に対するサーチを行な
って発見することにより得られる目標物体の大域的な動
きベクトルを前記参照動きベクトルとして用いて、前記
動きベクトル候補グループにおける優先順位を決定する
ステップを含むようにしても良い。

【００４９】さらに、図１４に示される動きベクトル検
出方法において、複数に分割された前記特定領域の順位
を決定する第３のステップST３は、前記参照動きベクト
ルが選択された後この参照動きベクトルに対して適当な
重み付けを行なうステップを含むように構成しても良
い。

【００５０】

【発明の効果】以上詳細に説明したように、本発明に係
る動きベクトル検出回路によれば、累積加算の演算サイ
クルを可変とし、複数の動きベクトル候補に対する差分
絶対値の累積加算を行なう際に、真の動きベクトルが存
在する蓋然性の高い領域から順に累積加算を行ない、動
きベクトルが確定したとき他の領域に対する累積加算を
停止するようにしたので、動きベクトルの検出時間の短
縮と検出効率の飛躍的な向上を可能とし、検出に要する
消費電力も低減できるという効果を奏する。

【００５１】また、全てのマクロブロックの動きベクト
ルに近い高品質な参考動きベクトルを得ることができ、
フレーム中で注目している物体に関するマクロブロック
の動きベクトルに近い高品質な参考動きベクトルを得る
こともできる。さらに、空間的に相関の強い動画像にお
いては、高品質な参考動きベクトルを得ることができる
と共に、時間的に相関の強い動画像においても、高品質
な参考動きベクトルを得ることができる。また、以上の
効果が複合することによって、より高性能なベクトル候
補グループの優先順位付けを行なうことができる。

【図面の簡単な説明】

【図１】本発明の第１実施形態に係る動きベクトル検出
回路の構成を示すブロック図である。

【図２】（ａ）図１５に示す従来の動きベクトル検出装
置の検出順序、（ｂ）図１に示される第１実施形態に係
る動きベクトル検出回路の検出順序をそれぞれ示す説明
図である。

【図３】（ａ）図１５に示す従来の動きベクトル検出装
置の検出順序、（ｂ）図１に示される第１実施形態に係
る動きベクトル検出回路における動きベクトル候補グル
ープの検出順序をそれぞれ示す説明図である。

【図４】第２実施形態に係る動きベクトル検出回路の撮
像装置を画像処理装置と共に示す説明図である。

【図５】第２実施形態における特徴点の移動を（ａ）前
フレームと（ｂ）現フレームとの差により検知した大域
動きベクトルを示す説明図である。

【図６】第２実施形態に係る動きベクトル検出回路にお
ける動きベクトル検出候補グループの検出順位を示す説
明図である。

【図７】本発明の第３実施形態に係る動きベクトル検出
回路における同一フレーム内の動きベクトルの既検出お
よび検出中のそれぞれのマクロブロックの関係を示す説
明図である。

【図８】第３実施形態に係る動きベクトル検出回路にお
ける参照動きベクトルとベクトル候補グループの重み付
けの例を示す説明図である。

【図９】第３実施形態に係る動きベクトル検出回路にお
ける動きベクトル候補グループの重み付けと優先順位付
けの例を示す説明図である。

【図１０】本発明の第４実施形態に係る動きベクトル検
出回路における時間的に異なるフレーム内の既検出動き
ベクトルに基づいた動きベクトル候補グループの優先順
位付け例を示す説明図である。

【図１１】第４実施形態に係る動きベクトル検出回路に
おける参照動きベクトルとベクトル候補グループの重み
付けの例を示す説明図である。

【図１２】第３実施形態に係る動きベクトル検出回路に
おける動きベクトル候補グループの重み付けと優先順位
付けの例を示す説明図である。

【図１３】本発明の第５実施形態に係る動きベクトル検
出回路における参照動きベクトルとベクトル候補グルー
プの重み付けの例を示す説明図である。

【図１４】本発明の第６実施形態に係る動きベクトル検
出方法を示すフローチャートである。

【図１５】従来の動きベクトル検出装置の構成を示すブ
ロック図である。

【符号の説明】

１ 累積加算手段 ２ａ〜２ｎ 第１ないし第ｎの差分絶対値累積加算回路 ４ 最小値情報管理回路 ５ 制御手段 １０ 累積加算停止手段 １１ 個別停止回路 １５ 動きベクトル候補グループ指定手段

Claims (10)

【特許請求の範囲】
1. 【請求項１】動画像データにおけるフレーム又はフィー
   ルド内における所定範囲の画像であるマクロブロックに
   対して、適当な範囲のベクトルを動きベクトル候補とし
   て設定して、原画像と参照画像の動きベクトル候補に対
   応する画素の信号強度差を算出し、マクロブロック内の
   画素について算出された信号強度差を累積加算して累積
   加算結果を求め、設定された動きベクトル候補の中から
   極大値または極小値となる累積結果を与える動きベクト
   ル候補を動きベクトルとして選択する動きベクトル検出
   回路において、 前記動きベクトル候補に設定された探索範囲における動
   きベクトル候補を複数の動きベクトル候補グループに分
   けるグループ化手段と、 真の動きベクトルが含まれている蓋然性の高い動きベク
   トル候補グループから低いものまでその順番を予測して
   この予測した順番に従ってそれぞれの動きベクトル候補
   グループに対して動きベクトル検出のための累積加算の
   順位を決定する順位決定手段と、 前記順位決定手段により決定された順位に従って複数の
   動きベクトル候補グループの前記動きベクトル候補に関
   する原画像データと参照画像データとを並列的に入力し
   て複数の動きベクトル候補に関する累積加算を並列的に
   処理するパイプライン状に接続された複数の累積加算回
   路よりなる累積加算手段と、 この累積加算手段の累積加算処理動作を各々の累積加算
   回路毎に個別に停止させる累積加算停止手段と、 各々の累積加算回路に対して前記動きベクトル候補に関
   する原画像データと参照画像データとの供給を制御し、
   個別の累積加算回路の累積加算を停止させる個別の停止
   信号を前記累積加算停止手段から出力させてその累積加
   算回路の累積加算処理の停止を制御すると共に、前記順
   位決定手段により決定された検討の順位に従って、蓋然
   性の高いグループにおける動きベクトル候補の検討を前
   記累積加算手段に行なわせ、一連の検討動作の初期に最
   終的な動きベクトル候補となる蓋然性の高い動きベクト
   ル候補の検討を済ませることにより前記検討動作の初期
   に前記累積加算停止手段に前記停止信号を出力させる制
   御手段と、 を備えることを特徴とする動きベクトル検出回路。
2. 【請求項２】前記グループ化手段と前記順位決定手段と
   により動きベクトル候補グループ指定手段が構成される
   と共に、前記グループ化手段によりグループ化された動
   きベクトル候補グループ毎に、前記順位決定手段が動的
   に優先順位を設定し、この順位に従って動きベクトル候
   補グループ毎の動きベクトル候補に対応する原画像と参
   照画像の画素の信号強度差の累積加算を行なうことを特
   徴とする請求項１に記載の動きベクトル検出回路。
3. 【請求項３】前記順位決定手段は、撮像装置に組み込ま
   れてこの撮像装置が撮像した動画像における動きの角速
   度または角加速度を測定する測定手段を含み、この測定
   手段から供給される角速度または角加速度の測定値に基
   づいて求められる参照動きベクトルを用いて動画像内の
   動きベクトルを検出することを特徴とする請求項１に記
   載の動きベクトル検出回路。
4. 【請求項４】前記順位決定手段は、動画像内の目標物体
   の特徴点となる部分をフレーム全体に対するサーチを行
   なって発見することにより得られる目標物体の大域的な
   動きベクトルを参照動きベクトルとして用いて、前記動
   きベクトル候補グループにおける優先順位を決定するこ
   とを特徴とする請求項１に記載の動きベクトル検出回
   路。
5. 【請求項５】前記順位決定手段は、動きベクトル検出を
   行なうマクロブロックが含まれるフレームと同一のフレ
   ーム内に存在し、かつ、当該マクロブロックより以前に
   動きベクトル検出が行なわれたマクロブロックであっ
   て、当該マクロブロックの近傍に存在する単数もしくは
   複数のマクロブロックにおける動きベクトルを参照動き
   ベクトルとして用いることにより、動きベクトル候補グ
   ループの優先順位を決定することを特徴とする請求項１
   に記載の動きベクトル検出回路。
6. 【請求項６】前記順位決定手段は、動きベクトル検出を
   行なうマクロブロックが含まれるフレームとは異なる時
   点のフレームに含まれ、当該マクロブロックと同じ座標
   もしくは近傍の座標に存在するマクロブロックのうち、
   既に動きベクトル検出が終了した単数もしくは複数のマ
   クロブロックにおける動きベクトルを参照動きベクトル
   として用いることにより、動きベクトル候補グループの
   優先順位を決定することを特徴とする請求項１に記載の
   動きベクトル検出回路。
7. 【請求項７】前記順位決定手段は、参照動きベクトルが
   選択された後この参照動きベクトルに対して適当な重み
   付けを行なう重み付け手段を備え、この重み付け手段に
   より重み付けがなされた動きベクトル候補グループの優
   先順位を決定することを特徴とする請求項１に記載の動
   きベクトル検出回路。
8. 【請求項８】動画像データにおけるフレーム又はフィー
   ルド内における所定範囲の画像であうマクロブロックに
   対して、適当な範囲のベクトルを動きベクトル候補とし
   て設定して、原画像と参照画像の動きベクトル候補に対
   応する画素の信号強度差を算出し、マクロブロック内の
   画素について算出された信号強度差を累積加算して累積
   加算結果を求め、設定された動きベクトル候補の中から
   極大値または極小値となる累積結果を与える動きベクト
   ル候補を動きベクトルとして選択する動きベクトル検出
   方法において、 前記動きベクトル候補に設定された探索範囲における動
   きベクトル候補を複数の動きベクトル候補グループにグ
   ループ化するステップと、 真の動きベクトルが含まれている蓋然性の高い動きベク
   トル候補グループから低いものまでの順番を予測してこ
   の順番に従って動きベクトル検出のための累積加算の順
   位を決定するステップと、 前記動きベクトル候補に関する原画像データと参照画像
   データとを並列的に入力して、前記決定された累積加算
   の順位に従って複数の動きベクトルに関する累積加算を
   複数段のパイプラインにより並列的に処理するステップ
   と、 前記複数段のパイプラインの段数に対応した数の動きベ
   クトルを選択するステップと、 累積加算の停止を含んだ前記パイプラインにより動きベ
   クトル候補の検討を行なうステップと、 その順位の動きベクトル候補グループに含まれる全ての
   動きベクトル候補に対して検討が行なわれたか否かを判
   断するステップと、 順位に従って全ての動きベクトル候補グループについて
   動きベクトルの検討が行なわれたか否かを判断するステ
   ップと、 残った動きベクトル候補を真の動きベクトルとして出力
   するステップと、 を備えることを特徴とする動きベクトル検出方法。
9. 【請求項９】前記複数の動きベクトル候補グループにグ
   ループ化するステップは、動画像内の目標物体の特徴点
   となる部分をフレーム全体に対するサーチを行なって発
   見することにより得られる目標物体の大域的な動きベク
   トルを参照動きベクトルとして用いて行なうことことを
   特徴とする請求項８に記載の動きベクトル検出方法。
10. 【請求項１０】前記複数の動きベクトル候補グループの
    順位を決定するステップは、参照動きベクトルが選択さ
    れた後、この参照動きベクトルに対して適当な重み付け
    を行なうステップを含むことを特徴とする請求項８に記
    載の動きベクトル検出方法。