JP3437381B2 - 動きベクトル検出装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像符号化装置
における動きベクトル検出装置に関する。

【０００２】

【従来の技術】近年、動画像符号化方式として、ＭＰＥ
Ｇ−１（ＩＳＯ／ＩＥＣ １１１７２）、ＭＰＥＧ−２
（ＩＳＯ／ＩＥＣ １３８１８）などの動き補償予測を
用いたフレーム間符号化方式が記録、通信、放送の分野
で用いられつつある。これらの方式においては、動画像
の各画面を符号化ブロックに分割し、符号化ブロックご
とに参照画面から検出した動きベクトルを用いて予測ブ
ロックを求める、動き補償予測が行なわれている。

【０００３】この動きベクトルの検出方法としては、一
般にブロックマッチング法が知られている。ブロックマ
ッチング法は、符号化画面の符号化ブロックに対応す
る、参照画面の動きベクトル探索領域内にある予測ブロ
ック候補を取り出し、このブロック候補と、符号化ブロ
ックとの間の誤差量を計算する。そして、誤差量が最小
となる候補を予測ブロックとし、予測ブロック位置の符
号化ブロック位置からの相対的なズレ量を動きベクトル
とする。

【０００４】ここで、ブロックマッチング法において、
符号化画面と参照画面とが時間的に離れている場合に
は、被写体の移動量も大きいと考えられるため、一般的
に探索領域を大きくする必要がある。

【０００５】図９に、符号化画面と参照画面との間の距
離と探索領域の関係を示す。符号化画面と参照画面との
間の距離が１フレームの時に、動きベクトルが取り得る
範囲を水平，垂直方向にそれぞれ［−ｆｘ：＋ｆｘ］，
［−ｆｙ：＋ｆｙ］とする（以下、この範囲を探索範囲
と呼び、［±ｆｘ，±ｆｙ］と記す）。すると画面内の
被写体が等速度運動を行なっていると仮定した場合、符
号化画面と参照画面がｄフレーム離れている時には、探
索範囲を［±（ｄ×ｆｘ），±（ｄ×ｆｙ）］とする必
要がある。図９では、参照画面と符号化画面の間の距離
が３フレームなので、探索範囲は［±３ｆｘ，±３ｆ
ｙ］となる。

【０００６】すなわち、ブロックマッチング法において
は、符号化画面と参照画面との間の距離がｎフレーム離
れるごとに、探索範囲を水平，垂直方向にそれぞれｎ倍
にする必要がある。その結果、誤差量の演算量は動きベ
クトル探索領域の面積に比例するので、フレーム間距離
の増加にしたがって、演算量は２乗で増加する。

【０００７】この演算量の増加を緩和する手法として、
３ステップサーチと呼ばれる、３段階の階層にて、順次
近似する画像ブロックを検出する動きベクトル探索方法
を用いることができる。しかし３ステップサーチでは、
探索領域内の予測ブロック候補の数を減らすことによっ
て、演算量を減らしているため、動きベクトルの精度が
低くなってしまうという問題がある。

【０００８】また演算量の増加を緩和する他の手法とし
て、時間階層的動きベクトルサーチと呼ばれる方法があ
る。図１０に、この時間階層的動きベクトルサーチの探
索領域を示す。

【０００９】次に図１０を参照して、時間階層的動きベ
クトルサーチの手順を説明する。符号化画面を基準とし
て、参照画面に向かってフレーム順に０，１，２，…と
番号を振る。参照画面は第３フレームである。

【００１０】まず、第１フレームを仮の参照画面とし、
探索領域１の中心座標を０として動きベクトル探索を行
なう。この時、探索範囲は［±ｆｘ，±ｆｙ］とする。
なお、以下のステップにおける探索範囲は全て［±ｆ
ｘ，±ｆｙ］とする。ここで得られた動きベクトルをＭ
Ｖ１とする。

【００１１】次に、第２フレームを仮の参照画面とし
て、探索を行なう。この時、探索領域２の中心座標を、
符号化画面位置の中心からベクトルＭＶ１だけずらした
点とする。ここで得られた動きベクトルをＭＶ２とす
る。

【００１２】第３フレームを仮の参照画面として、探索
を行なう。この時、探索領域３の中心座標を、符号化画
面の中心からベクトル（ＭＶ１＋ＭＶ２）だけずらした
点とする。ここで得られた動きベクトルをＭＶ３とす
る。

【００１３】ベクトル（ＭＶ１＋ＭＶ２＋ＭＶ３）を動
きベクトルとする。符号化画面と参照画面との間の距離
ｄが３であるため、以上のステップで終りであるが、ｄ
＞３の場合は、上記のステップを繰り返す。

【００１４】時間階層的動きベクトルサーチを用いた図
１０の例においては、各ステップの探索範囲は全て［±
ｆｘ，±ｆｙ］であるが、最終的に得られる動きベクト
ル（ＭＶ１＋ＭＶ２＋ＭＶ３）のとり得る値の範囲は
［±３ｆｘ，±３ｆｙ］となり、必要な探索範囲と同等
の大きさとなる。すなわち、探索範囲を［±３ｆｘ，±
３ｆｙ］としたのと同等の効果が得られる。

【００１５】ここで、探索範囲を［±ｆｘ，±ｆｙ］と
した時の動きベクトル探索で必要となる演算量をＣとす
ると、［±（ｄ×ｆｘ），±（ｄ×ｆｙ）］の探索範囲
において、動きベクトル探索に必要な演算量はＣ×ｄ²
となり、時間階層的動きベクトルサーチを用いた場合の
演算量は、Ｃ×ｄとなる。

【００１６】前者では演算量は参照画面と符号化画面と
の間の距離の２乗に比例し、後者では距離に比例してい
る。その結果、時間階層的動きベクトルサーチを用いる
ことによって、大幅に演算量が減少し、減少の度合はフ
レーム間距離が大きいほど顕著である。

【００１７】図１１は、時間階層的動きベクトルサーチ
を行なう回路の機能ブロック図である。動きベクトル検
出ユニット２は、符号化ブロックに対する動きベクトル
探索領域の基準位値からの変位と、参照画面番号との指
定を受けて動きベクトル探索を行ない、［±ｆｘ，±ｆ
ｙ］の範囲の動きベクトルを出力する。メモリ１は画像
データを格納し、加算器３は動きベクトル検出ユニット
２の出力と切替え器５の出力とを加算し、レジスタ４は
加算器３の加算結果を保持し、切替え器５はレジスタ４
と（動きベクトル）０入力とを切り替え、制御器１２は
全体を制御する。

【００１８】次に図１１および、各信号のタイミングチ
ャートを示す図１２を参照して、上記の回路の動作を説
明する。

【００１９】最初に、符号化画面上の符号化ブロックデ
ータを動きベクトル検出ユニット２に入力する。符号化
ブロックデータは、次の符号化ブロックに対して動きベ
クトル探索が開始されるまで、動きベクトル検出ユニッ
ト２内で保持され、誤差演算に用いられる。そして制御
器１２が発生する参照画面番号に応じて、メモリ１から
探索領域内の画像データが読み出される。

【００２０】次に制御器１２は、参照画面番号を１と
し、切替え器５をＡ側に切替える。その結果、切替え器
５の出力ＭＶｓは０となる。動きベクトル検出ユニット
２は、参照画面番号を１、探索領域変位をＭＶｓ＝０と
して動きベクトル探索を行なう。すなわち、第１フレー
ムからの動きベクトルＭＶ１を検出し、加算器３に入力
する。この時、加算器３の他方の入力はＭＶｓ＝０であ
る。よって、加算器３の出力はＭＶ１となり、この値が
レジスタ４に保持される。

【００２１】次に、制御器１２は、参照画面番号を２と
し、切替え器５をＢ側に切替える。その結果、切替え器
５の出力ＭＶｓは、ＭＶ１となる。動きベクトル検出ユ
ニット２は、探索領域の変位をＭＶｓ＝ＭＶ１として、
第２フレームからの動きベクトルＭＶ２を検出し、加算
器３に入力する。この時、加算器３の他方の入力はＭＶ
ｓ＝ＭＶ１であるため、加算器３の出力は（ＭＶ１＋Ｍ
Ｖ２）となり、（ＭＶ１＋ＭＶ２）がレジスタ４に保持
される。この（ＭＶ１＋ＭＶ２）は、第２フレームから
の動きベクトルである。

【００２２】続いて、制御器１２は、参照画面番号を３
とする。切替え器５はＢ側のままである。動きベクトル
検出ユニット２は、探索領域の変位を（ＭＶ１＋ＭＶ
２）として、第３フレームからの動きベクトルＭＶ３を
検出する。そして加算器３においてベクトル（ＭＶ１＋
ＭＶ２）と加算され、加算器３の出力（ＭＶ１＋ＭＶ２
＋ＭＶ３）が、レジスタ４に保持される。この（ＭＶ１
＋ＭＶ２＋ＭＶ３）が、第３フレームすなわち参照画面
からの動きベクトルである。

【００２３】ここで［±ｆｘ，±ｆｙ］の探索範囲を動
きベクトル探索するのに要する時間をＴとすると、図１
２においては、参照画面からの動きベクトルを検出する
のに３Ｔの時間を要している。一般的に時間階層的動き
ベクトルサーチにおいては、参照画面と符号化画面の間
がｄフレーム離れている場合には、動きベクトルの探索
にｄ×Ｔの時間が必要である。

【００２４】

【発明が解決しようとする課題】しかしながら、時間階
層的動きベクトルサーチでは、参照画面と符号化画面と
の間の距離によって、演算量が変化する。すなわち、参
照画面と符号化画面との間の距離が増加すると、動きベ
クトル探索に要する時間が増加する。このため、実時間
で動きベクトルを求めようとすると、参照画面と符号化
画面の間の距離をあまり大きくできない。さもなけれ
ば、１回あたりの動きベクトル検出の演算量を小さく抑
えなければならず、このことは探索領域を小さくするこ
とを意味するため、高精度な動きベクトル検出ができな
いという問題が生じる。

【００２５】そこで本発明は、参照画面と符号化画面と
の間の距離に関係なく、一定の演算量で動きベクトルを
求めることができ、さらには、時間階層的動きベクトル
サーチ以下の演算量で効率的に高精度な動きベクトルを
求めることができる動きベクトル検出装置を提供するこ
とを目的とする。

【００２６】

【課題を解決するための手段】本発明においては、前記
課題を達成するため、動画像シーケンスの符号化におい
て、符号化画面を符号化ブロックに分割して参照画面か
ら符号化画面への動きベクトルを符号化ブロックごとに
検出し、この動きベクトルを用いて参照画像から符号化
ブロックに対する予測ブロックを生成し、符号化ブロッ
クと予測ブロックとの差分画像ブロックを符号化する動
画像符号化装置における動きベクトル検出装置であり、
参照画面内において、前記符号化ブロックから探索領域
変位だけずらした位置の周辺領域を探索して前記符号化
ブロックに対する前記予測ブロックを検出し、動きベク
トルを生成する動きベクトル検出手段と、この動きベク
トル検出手段が生成した該動きベクトルから所定の演算
により推定ベクトルを算出する動きベクトル推定手段
と、探索領域変位として０ベクトルと該推定ベクトルと
を切り替える切り替え手段とを具備し、前記切り替え手
段により前記動きベクトル検出手段に探索領域変位とし
て０ベクトルを入力し、前記符号化ブロックに対する第
１の参照画面からの第１の動きベクトルを生成し、この
第１の動きベクトルから前記動きベクトル推定手段によ
り第２の参照画面からの動きベクトルの推定ベクトルを
算出し、前記切り替え手段により、前記動きベクトル検
出手段に探索領域変位として推定ベクトルを入力し、前
記符号化ブロックに対する第２の参照画面からの第２の
動きベクトルを生成するものであって、前記推定ベクト
ルの大きさと前記第１の動きベクトルの大きさとの比
を、前記第２の参照画面と前記符号化画面との間の時間
的な距離と、前記第１の参照画面と該符号化画面との間
の時間的な距離との比に一致させ、前記第１、第２の参
照画面の両方が該符号化画面から見て未来又は過去にあ
る場合には、前記推定ベクトルの符号を第１の動きベク
トルと一致させ、前記第１、第２の参照画面のうち、一
方が該符号化画面から見て過去にあり、他方が未来にあ
る場合には、前記推定ベクトルの符号を前記第１の動き
ベクトルと反転させるようにしたことを特徴としてい
る。

【００２７】また、本発明においては、前記課題を達成
するため、動画像シーケンスの符号化において、符号化
画面を符号化ブロックに分割して参照画面から符号化画
面への動きベクトルを符号化ブロックごとに検出し、こ
の動きベクトルを用いて参照画像から符号化ブロックに
対する予測ブロックを生成し、符号化ブロックと予測ブ
ロックとの差分画像ブロックを符号化する動画像符号化
装置における動きベクトル検出装置であり、前記符号化
ブロックに対する第１の参照画面からの予測ブロックを
検出し、第１の動きベクトルを生成する第１の動きベク
トル検出手段と、この第１の動きベクトルから所定の演
算により第２の参照画面からの動きベクトルの推定ベク
トルを算出する動きベクトル推定手段と、該第２の参照
画面上において、前記推定ベクトルが指し示す位置の周
辺を探索して前記符号化ブロックに対する該第２の参照
画面からの予測ブロックを検出し、第２の動きベクトル
を生成する第２の動きベクトル検出手段とを具備するも
のであって、前記推定ベクトルの大きさと前記第１の動
きベクトルの大きさとの比を、前記第２の参照画面と前
記符号化画面との間の時間的な距離と、前記第１の参照
画面と符号化画面との間の時間的な距離との比に一致さ
せ、前記第１、第２の参照画面の両方が前記符号化画面
から見て未来又は過去にある場合には、前記推定ベクト
ルの符号を前記第１の動きベクトルと一致させ、前記第
１、第２の参照画面のうち、一方が前記符号化画面から
見て過去にあり、他方が未来にある場合には、前記推定
ベクトルの符号を前記第１の動きベクトルと反転させる
ようにしたことを特徴としている。

【００２８】

【００２９】上記の構成によって、本発明の請求項１お
よび２に記載のベクトル検出装置は、符号化画面と参照
画面との間の時間的な距離に関わらず、動きベクトル探
索回数を最小２回にまで減らすことができ、かつ探索回
数を固定する。さらに本発明の請求項１に記載のベクト
ル検出装置は、一つの動きベクトル検出手段にて複数回
の動きベクトル検出を行う。

【００３０】また本発明の請求項２に記載のベクトル検
出装置は、動きベクトル探索回数を固定し、動きベクト
ル検出をそれぞれ別の検出手段に行わせることによっ
て、一回の動きベクトル検出が終了すると、次の段階の
動きベクトル検出を他の検出手段に引き渡すパイプライ
ン処理を可能とした。

【００３１】また、本発明によれば、未来の参照画面か
らの動きベクトルと過去の参照画面からの動きベクトル
を時間的な距離に対応した大きさで混在させ、動きベク
トル探索で検出する。

【００３２】

【発明の実施の形態】図１は、本発明の第１の実施の形
態の動きベクトル検出装置の機能ブロック図である。以
後の説明において、図１１の中の構成要素と同一の機能
を有するものについては、図１１と同一の番号を割り当
てて、説明を割愛する。

【００３３】動きベクトル推定回路７は、参照画面番
号、符号化画面番号に従って、動きベクトルＭＶｒか
ら、推定動きベクトルＭＶｐを算出する。また、図２は
図１の回路における各信号のタイミングチャートであ
る。

【００３４】次に図１の回路の動作を説明する。最初
に、符号化画面上の符号化ブロックデータを動きベクト
ル検出ユニット２に入力する。符号化ブロックデータ
は、次の符号化ブロックに対しての動きベクトル探索が
開始するまで、動きベクトル検出ユニット２内に保持さ
れ、誤差演算で用いられる。そして制御器６が発生する
参照画面番号に応じて、メモリ１から探索領域内の画像
データが読み出される。

【００３５】次に制御器６は、第１の参照画面番号をＰ
１とし、切替え器５をＡ側に切替える。その結果、切替
え器５の出力ＭＶｓは０となる。動きベクトル検出ユニ
ット２は、探索領域の変位をＭＶｓ＝０として、第１の
参照画面からの動きベクトルを探索する。そして検出し
た動きベクトルＭＶ１は、加算器３に入力される。この
時、加算器３の他方の入力はＭＶｓ＝０である。よっ
て、加算器３の出力はＭＶ１となり、この値がレジスタ
４に保持される。

【００３６】次に制御器６は、第２の参照画面番号をＰ
２とし、切替え器５をＢ側に切替える。動きベクトル推
定回路７は、レジスタ４の出力ＭＶ１を用いて、第２の
参照画面からの推定動きベクトルＭＶ１ｓを算出する。
そして動きベクトル検出ユニット２は、探索領域の変位
をＭＶｓ＝ＭＶ１ｓとして、第２の参照画面からの動き
ベクトルを探索する。そして検出した動きベクトルをＭ
Ｖ２は、加算器３に入力される。この時、加算器３の他
方の入力はＭＶｓ＝ＭＶ１ｓとなり、加算器３の出力は
（ＭＶ１ｓ＋ＭＶ２）となる。そして（ＭＶ１ｓ＋ＭＶ
２）がレジスタ４に保持される。この動きベクトル（Ｍ
Ｖ１ｓ＋ＭＶ２）が第２の参照画面からの動きベクトル
である。

【００３７】本発明においては符号化画面と参照画面の
間の時間的な距離に関係なく、２回の動きベクトル探索
によって動きベクトルを検出することができるため、動
きベクトル探索に要する演算量は一定である。探索範囲
を［±ｆｘ，±ｆｙ］とした時に動きベクトル探索で必
要となる演算量をＣとすると、本発明における動きベク
トル探索に必要な演算量は常に２Ｃとなり、演算量Ｃに
要する時間をＴとすると、探索に要する時間は常に２Ｔ
となる。この時間２Ｔは、時間階層的動きベクトルサー
チにおいて符号化画面と参照画面の間の距離が２フレー
ムの時の時間と等しい。符号化画面と参照画面の間の距
離２フレームは、時間階層的動きベクトルサーチを用い
る時の最小のフレーム間距離であるため、本発明の動き
ベクトル検出装置は常に時間階層的動きベクトルサーチ
以下の演算量で、動きベクトル検出を行なうことができ
る。

【００３８】図３は、本発明の第２の実施の形態の動き
ベクトル検出装置の機能ブロック図である。図１の回路
と同一の機能を有する構成要素には、同一の番号を割り
当てて、説明を割愛する。また、図４は図３の回路にお
ける各信号のタイミングチャートである。

【００３９】第１の実施の形態においては、第１の参照
画面からの動きベクトル検出と、第２の参照画面からの
動きベクトル検出とを、時分割処理によって一つの動き
ベクトル検出ユニット２で実現していた。

【００４０】第２の実施の形態においては、第１および
第２の参照画面からの動きベクトル検出を別々の動きベ
クトル検出ユニット２ａ，２ｂで実現している。これに
よって、動きベクトル検出ユニット２ａが動きベクトル
を検出すると、次の段階の動きベクトル検出を動きベク
トル検出ユニット２ｂが行うため、パイプライン処理が
可能となる。このため図４に示すように、複数の符号化
ブロックの動きベクトルを連続して検出することができ
る。よって、動きベクトル探索に要する時間は１符号化
ブロックあたりＴとなる。ここで、ベクトル推定回路７
は、推定動きベクトルＭＶｐを算出し、レジスタ８，９
は、ベクトル値を保持する。

【００４１】時間階層的動きベクトルサーチにおいて同
様にパイプライン処理を行なおうとすると、符号化画面
と参照画面との間に存在する画像の最大枚数個分の動き
ベクトル検出ユニットを用意しておかなければならず、
ハードウェア規模が大きくなる。また逆に、一度ハード
ウェアを構成してしまうと符号化画面と参照画面との間
の距離の最大値が決まってしまうので、参照画面や符号
化画面の設定の自由度に制約ができてしまう。本発明で
は、動きベクトル検出の回数を２に固定できるので、パ
イプラインの段数も常に一定となり、本実施の形態のよ
うな処理のパイプライン化が有効となると共に、パイプ
ライン化しても参照画面や符号化画面の設定の自由度を
広いままに保つことができる。

【００４２】ところで数フレーム程度の短い時間内の動
きベクトルの推定を考えると、画面内の被写体は等速度
運動していると考えられる。このため、第１の参照画面
からの動きベクトルを用い、符号化画面と第１の参照画
面および第２の参照画面との間の時間的な距離に対応さ
せて、第２の参照画面からの動きベクトルを推定するこ
とができる。この推定した動きベクトルの周辺を探索す
ることによって、少ない演算量で第２の参照画面からの
動きベクトルを効率的に探索することができる。

【００４３】図５は、図１および図３に示される本発明
の動きベクトル推定回路７の例である。動きベクトル推
定回路７は、第１の参照画面のフレーム番号Ｐ１，第２
の参照画面のフレーム番号Ｐ２，符号化画面のフレーム
番号Ｅによって、第１の動きベクトルＭＶｒを用いて第
２の参照画面からの推定動きベクトルＭＶｐを算出す
る。また動きベクトル推定回路７は、減算器１１、除算
器１２、乗算器１３にて構成される。減算器１１はＰ１
またはＰ２からＥを減算し、除算器１２は（Ｐ２−Ｅ）
／（Ｐ１−Ｅ）を計算し、乗算器１３は第１の動きベク
トルＭＶｒに除算器１２の出力を乗算する。ここで、第
１の参照画面と符号化画面の間の距離Ｐ１−Ｅおよび第
２の参照画面と符号化画面の間の距離Ｐ２−Ｅが、数ビ
ットで表現できる範囲内のみを想定している時には、除
算器１２をＬＵＴ(Look Up Table)で実現することによ
って、より小さいハードウェア規模を実現できる。

【００４４】本実施の形態においては、以下の式により
推定動きベクトルを算出している。

【数１】

【００４５】式（１）は、動きベクトルＭＶｐとＭＶｒ
の大きさの比を、第１の参照画面と符号化画面との間の
距離｜Ｐ１−Ｅ｜と、第２の参照画面と符号化画面との
間の距離｜Ｐ２−Ｅ｜との比に一致させる。また符号化
画面から見て、第１の参照画面と第２の参照画面が共に
未来もしくは過去にある時は、ＭＶｐとＭＶｒの符号を
一致させ、一方が未来で他方が過去の時には、符号を反
転している。

【００４６】図６は、ＭＰＥＧ−１，ＭＰＥＧ−２にお
ける双方向予測画像（Ｂピクチャ）に本発明を適用した
例であり、第１の参照画面を未来の参照画面、第２の参
照画面を過去の参照画面とし、第２の参照画面と符号化
画面は２フレーム離れている。この時、ＭＶ１は未来の
参照画面からの動きベクトルになり、（ＭＶ１ｓ＋ＭＶ
２）は過去の参照画面からの動きベクトルになる。すな
わち、２回の動きベクトル探索で、２枚の参照画面から
の動きベクトルを検出している。

【００４７】図６において、符号化画面のフレーム番号
をｉとし、第１の参照画面をフレーム番号ｉ＋１のフレ
ーム、第２の参照画面をフレーム番号ｉ−２のフレーム
としている。

【００４８】ここで、式（１）を用いると、Ｐ１＝ｉ＋
１，Ｐ２＝ｉ−２，Ｅ＝ｉであるので、

【数２】 となり、ＭＶ１ｓは大きさがＭＶ１の２倍で、符号が反
転している。すなわち図６に示すように、ＭＶ１ｓは、
ＭＶ１が指す点から符号化ブロックの中心に伸ばした線
とフレームｉ−２との交わる点を指すベクトルとなる。
この時、動きベクトルＭＶ１の探索範囲が［±ｆｘ，±
ｆｙ］であるとすると、ＭＶ１ｓのとりうる範囲は［±
２ｆｘ，±２ｆｙ］となる。さらに動きベクトルＭＶ２
の探索範囲も［±ｆｘ，±ｆｙ］であれば、動きベクト
ル（ＭＶ１ｓ＋ＭＶ２）のとり得る範囲は、［±３ｆ
ｘ，±３ｆｙ］となる。

【００４９】一方、従来の方法では、第１の参照画面に
対して［±ｆｘ，±ｆｙ］の探索を行ない、第２の参照
画面に対して、時間階層的動きベクトルサーチを用いて
フレームｉ−１，ｉ−２のそれぞれに［±ｆｘ，±ｆ
ｙ］の探索を行なう。この時、第２の参照画面であるフ
レームｉ−２上での探索範囲は［±２ｆｘ，±２ｆｙ］
に相当する。この場合の［±ｆｘ，±ｆｙ］の探索の回
数は計３回である。

【００５０】すなわち、図６の双方向予測のための動き
ベクトル探索において、本実施の形態では［±ｆｘ，±
ｆｙ］の探索の回数が２回であるのに対し、時間階層的
動きベクトルサーチを用いる従来の方法では３回であ
る。また、第２の参照画面に対する探索範囲が本実施の
形態においては［±３ｆｘ，±３ｆｙ］であるのに対
し、従来の方法では［±２ｆｘ，±２ｆｙ］である。よ
って、本実施の形態においては、時間階層的動きベクト
ルサーチよりも少ない演算量で、より精度の高い動きベ
クトル検出が可能である。

【００５１】この特徴により、第２の参照画面からの動
きベクトルを検出する際の探索領域を小さく設定しても
十分精度の高い動きベクトル検出が可能となる。この場
合には、さらなる演算時間の短縮、および図３における
動きベクトル検出ユニット２ｂの回路規模を縮小するこ
とが可能となる。

【００５２】なお一般的には、符号化画面から時間的に
近い画面を第１の参照画面とし、遠い方の画面を第２の
参照画面とすると、近い参照画面に対する動きベクトル
探索領域は小さく、遠い参照画面に対する動きベクトル
探索領域は大きくなるため、より好都合である。

【００５３】図７は、第１の参照画面と第２の参照画面
が共に過去にある場合の例である。符号化画面のフレー
ム番号をｉとして、第１の参照画面としてフレーム番号
ｉ−１のフレームを、第２の参照画面としてフレーム番
号ｉ−３のフレームを用いている。

【００５４】ここで、式（１）を用いると、Ｐ１＝ｉ−
１，Ｐ２＝ｉ−３，Ｅ＝ｉであるので、

【数３】 となり、ＭＶ１ｓは大きさがＭＶ１の３倍で、符号が一
致している。すなわち図７に示すように、ＭＶ１ｓは、
符号化ブロックの中心からＭＶ１が指す点に伸ばした線
とフレームｉ−３との交わる点を指すベクトルとなる。
この時、動きベクトル（ＭＶ１ｓ＋ＭＶ２）のとり得る
範囲は［±４ｆｘ，±４ｆｙ］となり、符号化画面と参
照画面との間の距離が３フレームの時の時間階層的動き
ベクトルサーチ（探索範囲［±３ｆｘ，±３ｆｙ］）よ
りも大きくなる。また図６と同様に、動きベクトルの探
索回数は本実施の形態では２回であり、時間階層的動き
ベクトルサーチでは３回になる。本実施の形態において
も、時間階層的動きベクトルサーチよりも精度の高い動
きベクトル検出が可能であり、もしくは第２の参照画面
からの動きベクトル検出の際の探索領域の縮小が可能と
なる。

【００５５】符号化画面と参照画面との間の時間的な距
離が長い時、効率的かつ高精度に動きベクトルを検出す
るために、動きベクトルの探索回数を増やすことによっ
て、本発明を時間方向に拡張することができる。図８
は、符号化画面と参照画面との間のフレーム間距離が９
フレームの時に、本発明の動きベクトル検出を時間方向
に拡張した例を示す。

【００５６】図８においては、次の手順で参照画面から
の動きベクトルを検出する。第１の参照画面からの動き
ベクトル（第１の動きベクトル）を探索する。そして第
１の参照画面および第２の参照画面と符号化画面との間
の時間的な距離の関係を用いて、第２の参照画面からの
推定動きベクトル（第１の推定動きベクトル）を算出す
る。

【００５７】次に、第２の参照画面上において、第１の
推定動きベクトルが指し示す位置の周辺を探索して、第
２の参照画面からの動きベクトル（第２の動きベクト
ル）を検出する。そして第２の参照画面および第３の参
照画面と符号化画面との間の時間的な距離の関係を用い
て、第３の参照画面からの推定動きベクトル（第２の推
定動きベクトル）を算出する。

【００５８】次に、第３の参照画面上において、第２の
推定動きベクトルが指し示す位置の周辺を探索して、第
３の参照画面からの動きベクトル（第３の動きベクト
ル）を検出する。この第３の動きベクトルが、求める参
照画面からの動きベクトルである。

【００５９】図８の例では、全部で３回の動きベクトル
探索を行なっているが、動きベクトル探索を行なう画面
の間隔や枚数の設定を変えることによって、動きベクト
ル探索の回数を自由に変更することができ、動きベクト
ル探索回数を減らして演算量を低減することも、また動
きベクトル探索回数を増やして検出精度を向上すること
もできる。

【００６０】なお、図８における動きベクトルの検出
は、図１の回路において、参照画面番号をｉ−１，ｉ−
６，ｉ−９とすることにより実現できる。よって、上記
の拡張によってハードウェア規模が増加することはな
い。

【００６１】上述の実施の形態は、フレーム画面に対し
て本発明を適用したが、各画面をフィールド画面として
も、同様の効果が得られる。

【００６２】

【発明の効果】以上のように、本発明によれば、符号化
画像と参照画像との間の時間的な距離に関わらず、動き
ベクトル探索回数を最小２回にまで減らすことができ、
かつ探索回数を固定できるため、時間階層的動きベクト
ルサーチよりも少ない動きベクトル探索回数で動きベク
トルを検出することができ、検出に要する演算量や処理
時間を短くすることができるという効果がある。

【００６３】さらに本発明の請求項１に記載の動きベク
トル検出装置は、一つの動きベクトル検出手段にて複数
回の動きベクトル検出を行うので、簡易な構成で動きベ
クトル検出を行うことができる。

【００６４】また本発明の請求項２に記載の動きベクト
ル検出装置は、動きベクトル探索回数を固定し、動きベ
クトル検出をそれぞれ別の検出手段に行わせることによ
って、パイプライン処理を可能としたので、単位時間あ
たりの処理速度を向上することができる。

【００６５】また、時間階層的動きベクトルサーチに比
べて動きベクトルの探索範囲を広げることができるた
め、より精度の高い動きベクトル検出を行なうことがで
きる。このことから、第２の参照画面からの動きベクト
ルの検出における探索領域を小さくしても十分精度の高
い動きベクトルを検出することが可能である。このた
め、第２の参照画面からの動きベクトル検出における探
索領域を小さくすることにより、演算量の低減および回
路規模の縮小を図ることができる。

【００６６】さらに、本発明によれば、第１、第２の参
照画面をそれぞれ双方向予測における未来と過去の参照
画像とし、時間的に近い参照画像を第１の画像、遠い参
照画像を第２の画像にすると、近い参照画像からの動き
ベクトルの探索には小さい探索領域が割り当てられ、遠
い参照画像からの動きベクトルの探索には実際にマッチ
ング処理を行なう探索範囲よりも大きい探索領域が割り
当てられる。すなわち、本発明によれば、未来の参照画
像からの動きベクトルと過去の参照画像からの動きベク
トルを、参照画像と符号化画像との間の距離に関わら
ず、それぞれ１回の動きベクトル探索で検出することが
できる。

【００６７】以上のように、本発明は、演算量，ハード
ウェア規模，探索範囲の点で、従来の時間階層的動きベ
クトルサーチを利用した方法に比べて極めて有効であ
る。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態のブロック図であ
る。

【図２】本発明の第１の実施の形態における各信号のタ
イミングチャートである。

【図３】本発明の第２の実施の形態のブロック図であ
る。

【図４】本発明の第２の実施の形態における各信号のタ
イミングチャートである。

【図５】本発明の動きベクトル推定回路の実施の形態の
ブロック図である。

【図６】本発明における動きベクトルと探索領域の関係
の第１の例を示す図である。

【図７】本発明における動きベクトルと探索領域の関係
の第２の例を示す図である。

【図８】本発明を時間方向に拡張した例を示す図であ
る。

【図９】ブロックマッチング法におけるフレーム間の距
離と探索領域の大きさの関係を示す図である。

【図１０】時間階層的動きベクトルサーチの探索領域を
示す図である。

【図１１】時間階層的動きベクトルサーチを行なう装置
のブロック図である。

【図１２】図１１における各信号のタイミングチャート
である。

【符号の説明】

１ メモリ ２ ベクトル検出ユニット ３ 加算器 ４ レジスタ ５ 切替え器 ６ 制御器 ７ 動きベクトル推定回路

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 動画像シーケンスの符号化において、符
   号化画面を符号化ブロックに分割して参照画面から符号
   化画面への動きベクトルを符号化ブロックごとに検出
   し、この動きベクトルを用いて参照画像から符号化ブロ
   ックに対する予測ブロックを生成し、符号化ブロックと
   予測ブロックとの差分画像ブロックを符号化する動画像
   符号化装置における動きベクトル検出装置であり、 参照画面内において、前記符号化ブロックから探索領域
   変位だけずらした位置の周辺領域を探索して前記符号化
   ブロックに対する前記予測ブロックを検出し、動きベク
   トルを生成する動きベクトル検出手段と、この動きベク
   トル検出手段が生成した該動きベクトルから所定の演算
   により推定ベクトルを算出する動きベクトル推定手段
   と、探索領域変位として０ベクトルと該推定ベクトルと
   を切り替える切り替え手段とを具備し、 前記切り替え手段により前記動きベクトル検出手段に探
   索領域変位として０ベクトルを入力し、前記符号化ブロ
   ックに対する第１の参照画面からの第１の動きベクトル
   を生成し、この第１の動きベクトルから前記動きベクト
   ル推定手段により第２の参照画面からの動きベクトルの
   推定ベクトルを算出し、前記切り替え手段により、前記
   動きベクトル検出手段に探索領域変位として推定ベクト
   ルを入力し、前記符号化ブロックに対する第２の参照画
   面からの第２の動きベクトルを生成する動きベクトル検
   出装置であって、 前記推定ベクトルの大きさと前記第１の動きベクトルの
   大きさとの比を、前記第２の参照画面と前記符号化画面
   との間の時間的な距離と、前記第１の参照画面と該符号
   化画面との間の時間的な距離との比に一致させ、 前記第１、第２の参照画面の両方が該符号化画面から見
   て未来又は過去にある場合には、前記推定ベクトルの符
   号を第１の動きベクトルと一致させ、 前記第１、第２の参照画面のうち、一方が該符号化画面
   から見て過去にあり、他方が未来にある場合には、前記
   推定ベクトルの符号を前記第１の動きベクトルと反転さ
   せるようにしたことを特徴とする動きベクトル検出装
   置。
2. 【請求項２】 動画像シーケンスの符号化において、符
   号化画面を符号化ブロックに分割して参照画面から符号
   化画面への動きベクトルを符号化ブロックごとに検出
   し、この動きベクトルを用いて参照画像から符号化ブロ
   ックに対する予測ブロックを生成し、符号化ブロックと
   予測ブロックとの差分画像ブロックを符号化する動画像
   符号化装置における動きベクトル検出装置であり、 前記符号化ブロックに対する第１の参照画面からの予測
   ブロックを検出し、第１の動きベクトルを生成する第１
   の動きベクトル検出手段と、この第１の動きベクトルか
   ら所定の演算により第２の参照画面からの動きベクトル
   の推定ベクトルを算出する動きベクトル推定手段と、該
   第２の参照画面上において、前記推定ベクトルが指し示
   す位置の周辺を探索して前記符号化ブロックに対する該
   第２の参照画面からの予測ブロックを検出し、第２の動
   きベクトルを生成する第２の動きベクトル検出手段とを
   具備する動きベクトル検出装置であって、 前記推定ベクトルの大きさと前記第１の動きベクトルの
   大きさとの比を、前記第２の参照画面と前記符号化画面
   との間の時間的な距離と、前記第１の参照画面と符号化
   画面との間の時間的な距離との比に一致させ、 前記第１、第２の参照画面の両方が前記符号化画面から
   見て未来又は過去にある場合には、前記推定ベクトルの
   符号を前記第１の動きベクトルと一致させ、 前記第１、第２の参照画面のうち、一方が前記符号化画
   面から見て過去にあり、他方が未来にある場合には、前
   記推定ベクトルの符号を前記第１の動きベクトルと反転
   させるようにしたことを特徴とする動きベクトル検出装
   置。