JPH10262254A - 動きベクトル検出方法およびその装置 - Google Patents

Abstract

(57)【要約】 【課題】 ディジタル動画像データの動き補償予測符号
化に用いられる動きベクトル検出において、様々な特徴
を持つ画像や異なる応用分野に対して精度の良く動きベ
クトルを検出可能にし、しかも簡易な構成により実現可
能にする。 【解決手段】 ベクトル生成部４０は、候補ブロックを
示す探索範囲アドレス及び対象画像ブロックを示す対象
画像アドレスを相関度検出部３０に出力すると共に、前
記候補ブロックに対応する候補ベクトルをベクトル選択
部５０に生成出力する。相関度検出部３０は候補ブロッ
クと対象画像ブロックとの相関度の評価値を演算し、ベ
クトル選択部５０に入力する。ベクトル選択部５０は、
探索ブロック全体に対する粗い探索処理を行う第１のス
テップにおいて、入力した候補ベクトルの中から複数の
候補ベクトルをベクトル生成部４０に選択入力し、前記
複数の候補ベクトルの周辺に対する密の探索処理を行う
第２のステップにおいて、入力した候補ベクトルの中か
ら１つの候補ベクトルを動きベクトルとして選択出力す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ディジタル動画像
データの圧縮符号化の手法である動き補償予測符号化に
おいて用いられる，動きベクトル検出装置に関する。

【０００２】

【従来の技術】動画像の画像符号化を実現するための方
法の１つに、現在の画面のある部分が１つ前の画面のど
の場所から移動したかを示す情報（動きベクトル）を用
いて時間的な冗長性を削減するという方法がある。

【０００３】この動きベクトルを検出するための１つの
方法として、ブロックマッチング法がある。ブロックマ
ッチング法とは、符号化の対象である対象フレーム画像
と動きベクトルを探索する探索フレーム画像とを比較
し、対象フレームの一のブロックと最も似通った（すな
わち最も相関度が高い）ブロックを探索フレーム内の探
索ブロックから抽出することにより動きベクトルを検出
するものである。ブロックマッチング法は、画像圧縮符
号化の動き補償予測に広く用いられている。

【０００４】動きベクトル検出の目的は、動き補償符号
化において最も符号量を削減できるブロックを探索フレ
ームから検出することであり、このためにはいかに精度
良く動きベクトルを検出することができるかがポイント
となる。

【０００５】しかしながら画像には様々な種類があり、
各種の画像に適応した動きベクトル検出装置を実現する
ことは難しい。例えば画像がフレームの中の一部に動き
の速い物体を映し出している場合もあれば、カメラを動
かして撮影しているときに多く生じる，フレーム全体が
比較的ゆっくり動くいわゆるパーン画像を映し出してい
る場合もある。このように時によって異なる特徴を持つ
画像を、ある限られた資源によりある制限時間内に符号
化処理する場合において考えると、速い物体を映し出す
画像の場合は動きベクトルの検出精度を粗くしても探索
範囲を広く設定すること、またパーン画像の場合は探索
範囲は狭くしても動きベクトルの検出精度を細かくする
こと、が各々精度の良い動きベクトルが検出できる手法
であることは一般的に知られている。

【０００６】従来の動きベクトル検出装置として、画素
間引きによりデータを予め削減して動きベクトルを検出
し、その後、複数の候補ブロックの相関度を演算処理す
ることにより検出分解能の向上を図ったものがある。

【０００７】例えば特開平４−１０４６８１号公報に開
示された動きベクトル検出装置は、対象画像をサブサン
プルする手段と、探索画像をサブサンプルする手段と、
サブサンプルされた対象画像とサブサンプルされた探索
画像とブロックマッチングを試行ベクトル毎に行い評価
値を演算するマッチング手段と、評価値から動きベクト
ルを判定するベクトル判定手段と、前記動きベクトルの
評価値と動きベクトルの周辺のベクトルの評価値から高
分解能の動きベクトルを演算する演算手段とを備え、少
ない演算量によって分解能の高い動きベクトルを検出可
能にするものである。

【０００８】

【発明が解決しようとする課題】しかしながら、従来の
動きベクトル検出には以下のような問題がある。

【０００９】前記の動きベクトル検出装置によると、サ
ブサンプルした画像に対して動きベクトルを検出し、そ
の後、検出した動きベクトルの評価値とその動きベクト
ルの周辺のベクトルの評価値とから高分解能の動きベク
トルを演算することにより検出分解能の向上を図ってい
る。

【００１０】ところがこの場合、サブサンプル画像に対
してその評価値が最小であるベクトルを動きベクトルと
して検出しても、高分解能の動きベクトルとして最適な
ベクトルを必ずしも検出できないという問題がある。す
なわち、単にサブサンプル等により分解能を低下させて
ブロックマッチングを行い、評価値が最小である動きベ
クトルを検出したとしても、検出した動きベクトルとそ
の周辺のベクトルの中に実際に評価値が最小になるベク
トルが含まれていない可能性があるため、この場合に
は、実際には評価値が最小でない候補ベクトルを動きベ
クトルとして検出してしまうことになる。

【００１１】また探索範囲を広げる場合には、サブサン
プルをさらに粗くして行うので、最適な高分解能の動き
ベクトルを検出できない可能性が益々増加する。

【００１２】前記の問題に鑑み、本発明は、従来よりも
精度良く動きベクトルを検出可能な方法を提供すること
を目的とするものであり、また、前記の方法を簡易な構
成により実現する動きベクトル検出装置を提供すること
を目的とする。

【００１３】

【課題を解決するための手段】前記の課題を解決するた
めに、本発明は、ブロックマッチングを２段階に分けて
行い、１段目の粗い探索処理により複数のベクトルを選
出し、選出した複数のベクトルの周辺に対して２段目の
密の探索処理を行うことによって、最終的な動きベクト
ルを検出するものである。

【００１４】また、本発明は、ブロックマッチングを２
段階に分けて行い、１段目の粗い探索処理により複数の
フレームから選択ベクトルを抽出し、各選択ベクトルに
対応する候補ブロックの組み合わせにより作成した補間
ブロックに対して２段目の探索処理を行い、動きベクト
ルを検出するものである。

【００１５】具体的には請求項１の発明が講じた手段
は、動画像の符号化において符号化の対象となる対象フ
レーム内の一の対象ブロックのフレーム間における動き
を示す動きベクトルを求める動きベクトル検出方法とし
て、前記一の対象ブロックと探索対象となる探索ブロッ
クとのブロックマッチングを全画素データを対象にした
ブロックマッチングよりも粗く行い、算出した相関度を
基にして、前記探索ブロックにおける前記一の対象ブロ
ックとの相関度が高い位置を示す選択ベクトルを複数個
求める第１のステップと、前記第１のステップにおいて
求めた各選択ベクトルが示す位置の近傍を新たな探索ブ
ロックとし、前記一の対象ブロックと前記新たな探索ブ
ロックとのブロックマッチングを前記第１のステップよ
りも密に行い、算出した相関度を基にして、前記新たな
探索ブロックにおける前記一の対象ブロックとの相関度
が最も高い位置を示すベクトルを動きベクトルとして検
出する第２のステップとを備えているものである。

【００１６】請求項１の発明によると、第１のステップ
において、一の対象ブロックと探索ブロックとのブロッ
クマッチングを粗く行い、探索ブロックにおいて一の対
象ブロックとの相関度が高い位置を示す選択ベクトルを
複数個求め、第２のステップにおいて、各選択ベクトル
が示す位置の近傍を新たな探索ブロックとした上で前記
一の対象ブロックと前記新たな探索ブロックとのブロッ
クマッチングを前記第１のステップよりも密に行い、算
出した相関度を基にして、前記新たな探索ブロックにお
ける前記一の対象ブロックとの相関度が最も高い位置を
示すベクトルを動きベクトルとして検出するので、少な
い演算量で動きベクトルを検出することができ、しかも
従来よりも実際には評価値が最小でない候補ベクトルを
動きベクトルとして検出してしまう可能性が少ないの
で、従来よりも精度良く動きベクトルを検出することが
できる。

【００１７】請求項２の発明では、前記請求項１のベク
トル検出方法における第１のステップは、前記一の対象
ブロック及び探索ブロックの画素データをサブサンプル
した後にブロックマッチングを行うものとする。

【００１８】また、請求項３の発明では、前記請求項１
のベクトル検出方法において求める動きベクトルは、前
記対象フレームと探索の対象となる第１の探索フレーム
との間の前記一の対象ブロックの動きを示す動きベクト
ル、及び前記対象フレームと探索の対象となる第２の探
索フレームとの間の前記一の対象ブロックの動きを示す
動きベクトルであるものとする。

【００１９】また請求項４の発明が講じた解決手段は、
動画像の符号化において符号化の対象となる対象フレー
ム内の一の対象ブロックのフレーム間における動きを示
す動きベクトルを求める動きベクトル検出方法として、
前記一の対象ブロックと探索の対象となる第１の探索ブ
ロックとのブロックマッチングを行い、算出した相関度
を基にして、前記第１の探索ブロックにおける，前記一
の対象ブロックとの相関度が高い位置を示す少なくとも
１つの選択ベクトルからなる第１の選択ベクトル群を求
める第１のステップと、前記一の対象ブロックと探索の
対象となる第２の探索ブロックとのブロックマッチング
を行い、算出した相関度を基にして、前記第２の探索ブ
ロックにおける，前記一の対象ブロックとの相関度が高
い位置を示す少なくとも１つの選択ベクトルからなる第
２の選択ベクトル群を求める第２のステップと、前記第
１の選択ベクトル群に属する一の選択ベクトルと前記第
２の選択ベクトル群に属する一の選択ベクトルとからな
る組を複数個つくり、各組について、前記第１の選択ベ
クトル群に属する一の選択ベクトルが示す位置の近傍で
ある候補ブロックと前記第２の選択ベクトル群に属する
一の選択ベクトルが示す位置の近傍である候補ブロック
とを合せて補間ブロックを生成し、前記一の対象ブロッ
クと前記各補間ブロックとの相関度を算出し、算出した
相関度を基にして、一の対象ブロックとの相関度が最も
高い一の補間ブロックを特定する第３のステップとを備
え、前記第３のステップにおいて特定した一の補間ブロ
ックの生成の基になる候補ブロックに対応する，前記第
１の選択ベクトル群に属する一の選択ベクトル及び前記
第２の選択ベクトル群に属する一の選択ベクトルを、動
きベクトルとして検出するものである。

【００２０】請求項４の発明によると、第１のステップ
において、一の対象ブロックと第１の探索ブロックとの
ブロックマッチングを行い、第１の探索ブロックにおけ
る一の対象ブロックとの相関度が高い位置を示す少なく
とも１つの選択ベクトルからなる第１の選択ベクトル群
を求めると共に、第２のステップにおいて、一の対象ブ
ロックと第２の探索ブロックとのブロックマッチングを
行い、第２の探索ブロックにおける一の対象ブロックと
の相関度が高い位置を示す少なくとも１つの選択ベクト
ルからなる第２の選択ベクトル群を求める。そして第３
のステップにおいて、第１の選択ベクトル群に属する一
の選択ベクトルが示す位置の近傍である候補ブロックと
第２の選択ベクトル群に属する一の選択ベクトルが示す
位置の近傍である候補ブロックとを合せて複数の補間ブ
ロックを生成し、一の対象ブロックとの相関度が高い一
の補間ブロックを特定し、この補間ブロックの生成の基
になる候補ブロックに対応する，第１の選択ベクトル群
に属する一の選択ベクトル及び第２の選択ベクトル群に
属する一の選択ベクトルを、動きベクトルとして検出す
るので、少ない演算量で動きベクトルを検出することが
でき、しかも従来よりも実際には評価値が最小でない候
補ベクトルを動きベクトルとして検出してしまう可能性
が少ないので、従来よりも精度良く動きベクトルを検出
することができる。

【００２１】請求項５の発明では、前記請求項４の動き
ベクトル検出方法において、前記第１のステップは前記
一の対象ブロック及び第１の探索ブロックの画素データ
をサブサンプルした後にブロックマッチングを行うもの
であり、前記第２のステップは前記一の対象ブロック及
び第２の探索ブロックの画素データをサブサンプルした
後にブロックマッチングを行うものとする。

【００２２】また請求項６の発明が講じた解決手段は、
動画像の符号化において、符号化の対象となる対象フレ
ーム内の対象ブロックのフレーム間における動きを示す
動きベクトルを求める動きベクトル検出装置として、探
索の対象となる探索ブロックにおける候補ブロックを示
す探索範囲情報を出力すると共に、この候補ブロックに
対応する候補ベクトルを生成出力するベクトル生成部
と、前記探索ブロック及び対象ブロックの画素データを
記憶しており、前記ベクトル生成部から出力された探索
範囲情報を入力とし、この探索範囲情報により示された
候補ブロックと前記対象ブロックとの相関度を表す評価
値を、記憶している探索ブロック及び対象ブロックの画
素データに基づいて算出する相関度検出部と、前記ベク
トル生成部から生成出力された候補ベクトル及び前記相
関度検出部により算出された，前記候補ベクトルに対応
する候補ブロックと前記対象ブロックとの相関度を表す
評価値を順次入力し、入力した複数の候補ベクトルの中
から、評価値に基づいて１つ又は複数の候補ベクトルを
選択するベクトル選択部とを備えているものである。

【００２３】請求項６の動きベクトル検出装置は、請求
項１の発明に係る動きベクトル検出方法を実行するため
のものであり、第１のステップにおいて、前記ベクトル
選択部は、入力した複数の候補ベクトルの中から複数の
候補ベクトルを選択ベクトル群として前記ベクトル生成
部に選択入力し、第２のステップにおいて、前記ベクト
ル生成部は、第１のステップにおいて前記ベクトル選択
部から入力された選択ベクトル群を基にして探索範囲情
報を生成し、前記ベクトル選択部は、入力した複数の候
補ベクトルの中から１つの候補ベクトルを動きベクトル
として選択出力する。

【００２４】請求項７の発明では、請求項６の動きベク
トル検出装置における相関度検出部は、探索ブロックの
画素データを格納する探索範囲メモリと、対象ブロック
の画素データを格納する対象画像メモリと、前記探索範
囲メモリから読み出された画素データ及び前記対象画像
メモリから読み出された画素データを基にして、前記探
索ブロックにおける候補ブロックと前記対象ブロックと
の相関度を表す評価値を算出する評価部とを備えている
ものとする。

【００２５】また請求項８の発明が講じた解決手段は、
動画像の符号化において、符号化の対象となる対象フレ
ーム内の対象ブロックのフレーム間における動きを示す
動きベクトルを求める動きベクトル検出装置として、探
索の対象となる第１の探索ブロックにおける候補ブロッ
クを示す第１の探索範囲情報及び探索の対象となる第２
の探索ブロックにおける候補ブロックを示す第２の探索
範囲情報の一方または両方を出力すると共に、出力する
探索範囲情報が示す候補ブロックに対応する候補ベクト
ルを生成出力するベクトル生成部と、前記第１及び第２
の探索ブロック及び対象ブロックの画素データを記憶し
ており、前記ベクトル生成部から出力された探索範囲情
報を入力とし、前記第１及び第２の探索範囲情報のいず
れか一方が入力されたときはこの一方の探索範囲情報に
より示された候補ブロックと前記対象ブロックとの相関
度を表す評価値を、前記第１及び第２の探索範囲情報の
両方が入力されたときは前記第１の探索範囲情報により
示された候補ブロックと前記第２の探索範囲情報により
示された候補ブロックとを合せて生成した補間ブロック
と前記対象ブロックとの相関度を表す評価値を、記憶し
ている第１及び第２の探索ブロック及び対象ブロックの
画素データに基づいて算出する相関度検出部と、前記ベ
クトル生成部から生成出力された候補ベクトル及び前記
相関度検出部により算出された，前記候補ベクトルに対
応する候補ブロック又は補間ブロックと前記対象ブロッ
クとの相関度を表す評価値を順次入力し、入力された複
数の候補ベクトルの中から、評価値に基づいて１つ又は
複数の候補ベクトルを選択するベクトル選択手段とを備
えているものである。

【００２６】請求項８の発明は、請求項４の発明に係る
動きベクトル検出方法を実行するためのものであり、第
１のステップにおいて、前記ベクトル生成部は、前記第
１の探索範囲情報及びこの第１の探索範囲情報が示す候
補ブロックに対応する候補ベクトルを生成出力し、前記
ベクトル選択手段は、入力した複数の候補ベクトルの中
から、相関度検出部から入力された評価値に基づいて、
複数の候補ベクトルを第１の選択ベクトル群として前記
ベクトル生成部に選択入力し、第２のステップにおい
て、前記ベクトル生成部は、前記第２の探索範囲情報及
びこの第２の探索範囲情報が示す候補ブロックに対応す
る候補ベクトルを生成出力し、前記ベクトル選択手段
は、入力した複数の候補ベクトルの中から、相関度検出
部から入力された評価値に基づいて、複数の候補ベクト
ルを第２の選択ベクトル群として前記ベクトル生成部に
選択入力し、第３のステップにおいて、前記ベクトル生
成部は、前記第１の選択ベクトル群を基にして特定した
第１の探索ブロックにおける候補ブロックを示す第１の
探索範囲情報、及び前記第２の選択ベクトル群を基にし
て特定した第２の探索ブロックにおける候補ブロックを
示す第２の探索範囲情報を生成出力すると共に、前記第
１及び第２の探索範囲情報が示す候補ブロックに各々対
応する候補ベクトルの組を生成出力し、前記ベクトル選
択手段は、入力した複数組の候補ベクトルの中から、相
関度検出部から入力された評価値に基づいて、１組の候
補ベクトルを動きベクトルとして選択出力する。

【００２７】請求項９の発明では、前記請求項８の動き
ベクトル検出装置における相関度検出部は、第１の探索
ブロックの画素データを格納する第１の探索範囲メモリ
と、第２の探索ブロックの画素データを格納する第２の
探索範囲メモリと、対象ブロックの画素データを格納す
る対象画像メモリと、前記第１の探索範囲メモリから読
み出された画素データと前記第２の探索範囲メモリから
読み出された画素データとを加算する加算部と、前記加
算部の加算結果データを２で除する除算部と、前記第１
の探索範囲メモリから読み出された画素データ、前記第
２の探索範囲メモリから読み出された画素データ、又は
前記除算部の除算結果データのいずれかを選択出力する
出力選択部と、前記出力選択部から出力されたデータ及
び前記対象画像メモリから読み出された画素データを基
にして、前記探索ブロックにおける候補ブロックと前記
対象ブロックとの相関度を表す評価値を算出する評価部
とを備えているものとする。

【００２８】請求項１０の発明では、前記請求項９の動
きベクトル検出装置における相関度検出部は、前記第１
及び第２の探索範囲メモリの少なくとも一方のデータ入
力側に複数の入力データから１つの入力データを当該探
索範囲メモリに選択入力するデータ選択部を備えている
ものとする。

【００２９】

【発明の実施の形態】図１はブロックマッチング方法を
示す図である。図１に示すように、ブロックマッチング
方法では、符号化の対象となる対象フレーム画像（対象
フレーム１）と探索対象となる探索フレーム画像（探索
フレーム２）とを比較し、対象フレーム１の一のブロッ
ク（対象ブロック３）と最も似通った（すなわち最も相
関度が高い）ブロック（ベストマッチブロック４）を探
索フレーム２内の探索ブロック５から抽出し、動きベク
トル６を抽出する。

【００３０】実際には、１つの対象ブロック３に対し、
探索フレーム２内のある探索ブロック５に含まれる複数
個の候補ブロックとの相関度をそれぞれ演算し、相関度
が最も高い候補ブロックをベストマッチブロック４とし
て選択して、ベストマッチブロック４と対象ブロック３
との位置の差を動きベクトル６として検出する。

【００３１】相関度の評価値としては、一般的には画素
データの自乗誤差の累算値(SquareError)や絶対値誤差
の累算値(Absolute Error)が用いられる。自乗誤差の累
算値や絶対値誤差の累算値を評価値として用いる場合、
相関度が高いほど対象ブロック３と候補ブロックとの画
素データの差分値が小さくなるため、評価値は小さな値
になる。本発明の実施形態では、絶対値誤差の累算値Ａ
Ｅ＝Σ｜Ｓ−Ｔ｜（Ｓは候補ブロックの画素データ、Ｔ
は対象ブロックの画素データ）を相関度の評価値として
用いるものとする。

【００３２】以下、本発明の実施の形態について図面を
参照しながら説明する。

【００３３】（第１の実施形態）本発明の第１の実施形
態に係る動きベクトル検出は、ブロックマッチングを２
段階に分けて行い、１段目の粗い探索処理により複数の
ベクトルを選出し、選出した複数のベクトルの周辺に対
して２段目の密の探索処理を行うことによって、最終的
に動きベクトルを検出するものである。

【００３４】本実施形態に係る動きベクトル検出方法に
ついて図２〜図４を用いて説明する。

【００３５】図２は本実施形態に係る動きベクトル検出
方法を示す概略図である。図２において、１０は探索フ
レーム、１０ｓは探索ブロック、１１ｓ，１２ｓ，１３
ｓは探索ブロック１０ｓ内の候補ブロック、１１ｂ，１
２ｂ，１３ｂは候補ブロック１１ｓ，１２ｓ，１３ｓに
それぞれ対応する候補ベクトル、２０は対象フレーム、
２１は対象ブロックである。

【００３６】まず１段目の探索処理において、サブサン
プル等により分解能を低下させた上で対象ブロック２１
と探索ブロック１０ｓとのブロックマッチングを行い、
相関度の高い複数の候補ブロックを求め、求めた候補ブ
ロックに対応する候補ベクトルを選択ベクトルとして特
定する。次に２段目の探索処理において、前記１段目の
探索処理で特定した複数の選択ベクトルに対応する候補
ブロックを新たな探索ブロックとし、分解能を低下させ
ずに、対象ブロック２１と前記新たな探索ブロックとの
ブロックマッチングを行い、相関度が最も高い候補ブロ
ックを求め、求めた候補ブロックに対応する候補ベクト
ルを動きベクトルとして検出する。

【００３７】本実施形態では、１段目の探索処理におい
て対象ブロック２１及び探索ブロック１０ｓを１／４に
サブサンプルするものとする。図３はサブサンプルを示
す図であり、探索ブロック１０ｓ及び対象ブロック２１
共に垂直方向に１／２にサブサンプルした図である。

【００３８】図４は本実施形態に係る動きベクトル検出
方法を説明するための図であり、ベクトルの終端位置と
評価値との関係を示すグラフである。図４において、横
軸は対象ブロックを基準にしたベクトルの終端位置、縦
軸は相関度の評価値であり、グラフ上の実曲線が各位置
における評価値を表している。ここでは説明を簡単にす
るために、横軸は水平方向又は垂直方向のいずれか一方
における位置を示すものとする。

【００３９】図４に示すように、まず１段目の探索処理
において、１／４にサブサンプルされた探索ブロック１
０ｓ内の位置−４の候補ベクトル１１ｂ、位置０の候補
ベクトル１２ｂ、位置４の候補ベクトル１３ｂの評価値
が算出される（図４の白丸）。そしてこの評価値算出結
果に基づき、評価値が小さい候補ベクトル１１ｂ，１２
ｂの２本の候補ベクトルが選択ベクトルとして特定され
る。次に２段目の探索処理において、選択ベクトル１１
ｂ，１２ｂに対応する候補ブロック１１ｓ，１２ｓを新
たな探索ブロックとし、検出分解能を向上させるために
サブサンプルせずに評価値の算出を行う。そしてこの評
価値算出結果に基づき、評価値が最小となる（図４の２
重丸）位置−３の候補ベクトルが最終的に動きベクトル
として検出される。

【００４０】ここで注目するべき点は、図４に示すよう
に、１段目の探索処理における評価値算出結果では候補
ベクトル１２ｂが３本の候補ベクトルの中で評価値が最
小であったが、２段目の探索処理において分解能を上げ
て評価値を算出した結果では、１段目の探索処理で評価
値が２番目に小さかった候補ベクトル１１ｂの周辺から
動きベクトルが検出された点である。

【００４１】すなわち、単にサブサンプル等により分解
能を低下させてブロックマッチングを行っただけでは、
実際には評価値が最小でない候補ベクトルを動きベクト
ルとして検出してしまう可能性があるが、これに対して
本実施形態では、１段目の探索処理によって評価値の小
さな複数の候補ベクトルを選択ベクトルとして特定し、
特定した複数の選択ベクトルの周辺について２段目の探
索処理を行うので、実際には評価値が最小でない候補ベ
クトルを動きベクトルとして検出してしまう可能性は極
めて少ない。したがって本実施形態に係る方法は、動き
ベクトル検出の精度向上に有効である。

【００４２】図５は本実施形態に係る動きベクトル検出
装置の構成を示すブロック図である。図５において、３
０は相関度の評価値を算出する相関度検出部であり、探
索ブロックの画素データを格納する探索範囲メモリ３
１、対象ブロックの画素データを格納する対象画像メモ
リ３２、及び評価値を計算する評価部３３を備えてい
る。評価部３３は、探索ブロックと対象ブロックとの画
素データの差分の絶対値を計算する差分絶対値演算器３
３ａと、差分絶対値演算器３３ａにより計算された差分
の絶対値を累算して評価値を求める累算器３３ｂとから
なる。また、４０は候補ベクトルを生成出力すると共に
探索範囲メモリ３１及び対象画像メモリ３２のアドレス
を出力するベクトル生成部、５０はベクトル生成部４０
から出力された候補ベクトルから、１段目の探索処理で
は第１及び第２の選択ベクトルを選択し、２段目の探索
処理では動きベクトルを選択するベクトル選択部であ
る。

【００４３】図６はベクトル選択部５０の内部構成を示
すブロック図である。図６において、５１ａ，５１ｂは
相関度検出部３０から入力された評価値を格納する第１
及び第２の評価値格納部、５２ａ，５２ｂはベクトル生
成部４０から入力された候補ベクトルを格納する第１及
び第２のベクトル格納部、５３ａは相関度検出部３０か
ら入力された評価値と第１の評価値格納部５１ａに格納
された評価値ＡＥ１とを大小比較する第１の比較器、５
３ｂは相関度検出部３０から入力された評価値と第２の
評価値格納部５１ｂに格納された評価値ＡＥ２とを大小
比較する第２の比較器、５４は相関度検出部３０から入
力された評価値及び第１の評価値格納部５１ａに格納さ
れた評価値ＡＥ１のいずれか一方を第２の評価値格納部
５１ｂに選択出力する評価値選択部、５５はベクトル生
成部４０から入力された候補ベクトル及び第１のベクト
ル格納部５２ａに格納された候補ベクトルＭＶ１のいず
れか一方を第２のベクトル格納部５２ｂに選択出力する
ベクトル選択部である。

【００４４】第１の比較器５３ａは相関度検出部３０か
ら入力された評価値の方が第１の評価値格納部５１ａに
格納された評価値ＡＥ１よりも小さいときは第１の更新
信号を出力する一方、そうでないときは非更新信号を出
力する。評価値選択部５４は第１の更新信号が入力され
たときは第１の評価値格納部５１ａに格納されていた評
価値ＡＥ１を選択出力する一方、そうでないときは相関
度検出部３０から入力された評価値を選択出力する。ベ
クトル選択部５５は第１の更新信号が入力されたときは
第１のベクトル格納部５２ａに格納されていた候補ベク
トルＭＶ１を選択出力する一方、そうでないときはベク
トル生成部４０から入力された候補ベクトルを選択出力
する。

【００４５】第１及び第２の評価値格納部５１ａ，５１
ｂは第１の更新信号が入力されると格納している評価値
を更新する。また第１及び第２のベクトル格納部５２
ａ，５２ｂも第１の更新信号が入力されると格納してい
る候補ベクトルを更新する。

【００４６】第２の比較器５３ｂは第１の比較器５３ａ
から非更新信号が入力されたとき動作し、相関度検出部
３０から入力された評価値の方が第２の評価値格納部５
１ｂに格納された評価値ＡＥ２よりも小さいとき第２の
更新信号を出力する。第２の評価値格納部５１ｂは第２
の更新信号が入力されると格納している評価値を更新
し、第２のベクトル格納部は第２の更新信号が入力され
ると格納している候補ベクトルを更新する。

【００４７】以上のように構成された本実施形態に係る
動きベクトル検出装置の動作について、説明する。

【００４８】開始信号がベクトル生成部４０に入力され
ると、１段目の探索処理を開始する。まずベクトル生成
部４０は、探索範囲メモリ３１に探索範囲アドレスの入
力を開始すると共に対象画像メモリ３２に対象画像アド
レスの入力を開始する。

【００４９】ベクトル生成部４０は相関度検出部３０
に、一の候補ブロックの画素データの格納アドレスを探
索範囲アドレスとして順次入力すると共に対象ブロック
の画素データの格納アドレスを対象画像アドレスとして
順次入力する一方、前記一の候補ブロックに対応する候
補ベクトルをベクトル選択部５０に入力する。相関度検
出部３０において、探索範囲メモリ３１から探索範囲ア
ドレスにしたがい画素データＳが読み出されると共に対
象画像メモリ３２から対象画像アドレスにしたがい画素
データＴが読み出され、評価部３３は、画素データＳ及
び画素データＴを入力とし、差分絶対値演算器３３ａに
より画素データＳと画素データＴとの差分の絶対値｜Ｓ
−Ｔ｜を演算し、演算結果を累算器３３ｂにより累算す
る。累算結果は、ベクトル生成部４０から出力された候
補ベクトルに対する評価値としてベクトル選択部５０に
入力される。これにより、対象ブロックと一の候補ブロ
ックとの相関度検出が終了する。

【００５０】ベクトル生成部４０及び相関度検出部３０
は、同様の動作を繰り返し行い、対象ブロックと各候補
ブロックとの相関度検出を行う。これにより、ベクトル
選択部５０には候補ベクトルとこの候補ベクトルの評価
値との組み合わせが順次入力される。ベクトル選択部５
０は、比較処理により、評価値が最小となる候補ベクト
ルを第１の選択ベクトルとして選択出力すると共に２番
目に小さい評価値を持つ候補ベクトルを第２の選択ベク
トルとして選択出力する。

【００５１】図７はベクトル選択部５０の動作を示すフ
ローチャートである。ベクトル選択部５０は、相関度検
出部３０からｉ番目の評価値ＡＥ(i) を入力すると共に
ベクトル生成部４０からｉ番目の候補ベクトルＭＶ(i)
を入力する（ステップＳａ１）と、まず第１の比較器５
３ａによって、第１の評価値格納部５１ａに格納された
評価値ＡＥ１と評価値ＡＥ(i) との比較処理を行う（ス
テップＳａ２）。ＡＥ(i) ＜ＡＥ１のときは、第２の評
価値格納部５１ｂに格納された評価値ＡＥ２を評価値Ａ
Ｅ１に更新すると共に第２のベクトル格納部５２ｂに格
納された候補ベクトルＭＶ２を第１のベクトル格納部５
２ａに格納された候補ベクトルＭＶ１に更新する（ステ
ップＳａ３）。またこのとき、第１の評価値格納部５１
ａに格納された評価値ＡＥ１を評価値ＡＥ(i) に更新す
ると共に第１のベクトル格納部５２ａに格納された候補
ベクトルＭＶ１を候補ベクトルＭＶ(i) に更新する（ス
テップＳａ４）。

【００５２】一方、ＡＥ(i) ≧ＡＥ１のときはステップ
Ｓａ５に進み、第２の比較器５３ｂによって、第２の評
価値格納部５１ｂに格納された評価値ＡＥ２と評価値Ａ
Ｅ(i) との比較処理を行う。ＡＥ(i) ＜ＡＥ２のとき
は、第２の評価値格納部５１ｂに格納された評価値ＡＥ
２を評価値ＡＥ(i) に更新すると共に、第２のベクトル
格納部５２ｂに格納された候補ベクトルＭＶ２を候補ベ
クトルＭＶ(i) に更新する（ステップＳａ６）。一方、
ＡＥ(i) ≧ＡＥ２のときは、評価値及び候補ベクトルの
更新は行わない。

【００５３】以上のような処理を、探索ブロック内の全
候補ブロックについてすなわち評価値ＡＥ(i) が最終の
評価値になるまで繰り返す（ステップＳａ７，Ｓａ
８）。この結果、第１の評価値格納部５１ａに格納され
た評価値ＡＥ１は最小値となり、第１のベクトル格納部
５２ａに格納された候補ベクトルＭＶ１は評価値が最小
の候補ベクトルとなる。また、第２の評価値格納部５１
ａに格納された評価値ＡＥ２は２番目に小さい値とな
り、第２のベクトル格納部５２ａに格納された候補ベク
トルＭＶ２は評価値が２番目に小さい候補ベクトルとな
る。

【００５４】最後に、ベクトル選択部５０は、第１のベ
クトル格納部５２ａに格納された候補ブロックＭＶ１を
第１の選択ベクトルとして出力すると共に、第２のベク
トル格納部５２ｂに格納された候補ブロックＭＶ２を第
２の選択ベクトルとして出力する（ステップＳａ９）。

【００５５】次に、本装置は２段目の探索処理を開始す
る。２段目の探索処理では、１段目の探索処理で選択し
た複数の選択ベクトルに対応する候補ブロックを新たな
探索ブロックとしてブロックマッチングを行う。この場
合、探索範囲は１段目よりも狭くなるが、１段目よりも
分解能を上げることにより探索精度を向上させる。例え
ば、１段目の探索処理では探索範囲を±５、探索精度を
４とし、２段目の探索処理では探索範囲を±１、探索精
度を１とすればよい。

【００５６】２段目の探索処理も１段目の探索処理と同
様に、相関度検出部３０により評価値を算出し、算出し
た評価値をベクトル選択部５０に入力し、ベクトル選択
部５０により評価値が最小の候補ベクトルを動きベクト
ルとして検出する。評価値が最小の候補ベクトルだけを
求めればよいので、ベクトル選択部５０の構成要素のう
ち第１の評価値格納部５１ａ，第１のベクトル格納部５
２ａ及び第１の比較器５３ａのみが動作する。

【００５７】１段目及び２段目の探索処理において、ベ
クトル生成部４０は以下のように動作する。

【００５８】図８はベクトル生成部４０の動作を示すフ
ローチャートである。開始信号が入力される（ステップ
Ｓｂ１）と１段目の探索処理を開始する。まず探索範囲
と分解能の程度を示す探索精度とをセット（ステップＳ
ｂ２）する。次に対象画像アドレスをリセットし（ステ
ップＳｂ３）、しかる後に、探索範囲アドレス及び対象
画像アドレスを、対象ブロックの全画素のアクセスが終
了するまでインクリメントしながら順次発行する（ステ
ップＳｂ４〜７）。対象ブロックの全画素についてのア
ドレスの発行が終了した後、候補ベクトルをベクトル選
択部５０に出力する。ステップＳｂ３〜Ｓｂ８の動作
を、探索ブロック内の全ての候補ブロックの評価が終了
するまで探索開始位置をインクリメントしながら繰り返
し行う（ステップＳｂ９，Ｓｂ１０）。

【００５９】次に、２段目の探索処理を開始する（ステ
ップＳｂ１１）。１段目の探索処理でベクトル選択部５
０により選択された第１及び第２の選択ベクトルを入力
し（ステップＳｂ１２）、入力した選択ベクトルより探
索範囲と分解能の程度を示す探索精度とをセットする
（ステップＳｂ１３）。以下、１段目の探索処理と同様
にステップＳｂ３〜Ｓｂ１０を実行する。１段目の探索
処理で選択された複数の選択ベクトルに対応する新たな
探索ブロックについて２段目の探索処理が終了すると、
ベクトル生成部４０の動作は終了する。

【００６０】以上のような動作の結果、分解能の大きな
サブサンプルを行う場合においても、回路規模を増加さ
せることなく、相関度の高い動きベクトルの検出が可能
になる。

【００６１】なお、以上の説明では、１段目の探索処理
において評価値の小さな２つの候補ベクトルを選択ベク
トルとして選択したが、本発明における選択ベクトルの
個数は２に限られるものではなく、任意の個数であって
もよい。

【００６２】なお、以上の説明では、１段目の探索処理
において１／４にサブサンプルしてブロックマッチング
を行うものとしたが、本発明はこれに限られるものでな
く、１段目の探索処理において１／Ｎ（Ｎは自然数）に
サブサンプルしてブロックマッチングを行ってもよい。

【００６３】なお、以上の説明では、１段目の探索処理
と２段目の探索処理とを共通の回路で実行するものとし
たが、１段目の探索処理と２段目の探索処理とを別の回
路によって実行することにより、処理の高速化を図るこ
とも可能である。

【００６４】なお、以上の説明では、探索処理を２段階
に分けて行う場合を例にとったが、本発明はこれに限ら
れるものでなく、Ｎ段（Ｎは自然数）の探索処理を行う
こととしてもよい。

【００６５】なお、以上の説明では、１段目の探索処理
において１つの探索ブロックから複数の選択ベクトルを
選択する場合を例にとったが、１段目の探索処理におい
て複数の探索ブロックから複数のベクトルを選択しても
かまわない。

【００６６】なお、以上の説明では、相関度の評価値と
して絶対値誤差の累算値を用いたが、もちろん他の評価
値を用いてもかまわない。

【００６７】なお、以上の説明では、ベクトル選択部を
ハードウェアで構成したが、ソフトウェアで構成しても
よい。

【００６８】なお、以上の説明では、動きベクトル検出
方法をハードウェア構成で説明したが、ソフトウェアで
構成してもよい。

【００６９】（第２の実施形態）本発明の第２の実施形
態に係る動きベクトル検出は、ブロックマッチングを２
段階に分けて行い、１段目の粗い探索処理により複数の
フレームから選択ベクトルを抽出し、各選択ベクトルに
対応する候補ブロックの組み合わせにより作成した補間
ブロックに対して２段目の探索処理を行い、動きベクト
ルを検出するものである。

【００７０】本実施形態に係る動きベクトル検出方法に
ついて図９を用いて説明する。

【００７１】図９は本実施形態に係る動きベクトル検出
方法を示す概略図である。図９において、２０は時間Ｔ
における対象フレーム、２１は対象フレーム２０内の対
象ブロック、６１は対象フレーム２０よりも時間的に前
（時間（Ｔ−１））の前探索フレーム、６２は対象フレ
ーム２０よりも時間的に後（時間（Ｔ＋１））の後探索
フレーム、６１ｓは前探索フレーム６１内の探索ブロッ
クである前探索ブロック、６２ｓは後探索フレーム６２
内の探索ブロックである後探索ブロック、７１ｂ，７２
ｂは前探索ブロック６１ｓの１段目の探索処理によって
選択された選択ベクトル、７３ｂ，７４ｂは後探索ブロ
ック６２ｓの１段目の探索処理によって選択された選択
ベクトル、７１ｓ，７２ｓは選択ベクトル７１ｂ，７２
ｂに各々対応する前探索ブロック６１ｓ内の候補ブロッ
ク、７３ｓ，７４ｓは選択ベクトル７３ｂ，７４ｂに各
々対応する後探索ブロック６２ｓ内の候補ブロック、７
５は候補ブロック７１ｓ，７２ｓと候補ブロック７３
ｓ，７４ｓとの組み合わせにより生成した補間ブロック
である。

【００７２】まず１段目の探索処理では、対象ブロック
２１と前探索フレーム６１内の前探索ブロック６１ｓと
のブロックマッチングを行い、評価値の小さな候補ベク
トルを選択ベクトルとして抽出する。これと共に、対象
ブロック２１と後探索フレーム６２内の後探索ブロック
６２ｓとのブロックマッチングを行い、評価値の小さな
候補ベクトルを選択ベクトルとして抽出する。ここで
は、前探索ブロック６１ｓの候補ベクトルのうち評価値
の小さな候補ベクトル７１ｂ，７２ｂと、後探索ブロッ
ク６２ｓの候補ベクトルのうち評価値の小さな候補ベク
トル７３ｂ，７４ｂとが１段目の探索処理により選択ベ
クトルとして抽出されたものとする。

【００７３】次に２段目の探索処理において、前探索フ
レーム６１とのブロックマッチングにより抽出された選
択ベクトル７１ｂ，７２ｂが指し示す候補ブロックと後
探索フレーム６２とのブロックマッチングにより抽出さ
れた選択ベクトル７３ｂ，７４ｂが指し示す候補ブロッ
クとの組合せにより補間ブロック７５を作成し、対象ブ
ロック２１との相関度を算出する。すなわち、i)前探索
フレーム６１の候補ブロック７１ｓと後探索フレーム６
２の候補ブロック７３ｓとの組合せ、ii) 前探索フレー
ム６１の候補ブロック７１ｓと後探索フレーム６２の候
補ブロック７４ｓとの組合せ、iii)前探索フレーム６１
の候補ブロック７２ｓと後探索フレーム６２の候補ブロ
ック７３ｓとの組合せ、iv) 前探索フレーム６１の候補
ブロック７２ｓと後探索フレーム６２の候補ブロック７
４ｓとの組合せ、からなる４種類の補間ブロック７５と
対象ブロック２１との相関度を算出する。そして、最も
相関度が高い補間ブロックの基となる候補ブロックを指
し示す１組の選択ベクトルを対象ブロック２１の動きベ
クトルとする。

【００７４】このように、本実施形態に係る動きベクト
ル検出方法は、２つのフレームの候補ブロックを補間し
た画像を用いて動きベクトルの検出を行うので、精度の
高い動きベクトルを検出するのに有効である。

【００７５】図１０は本実施形態に係る動きベクトル検
出装置の構成を示すブロック図である。図１０におい
て、８０は相関度の評価値を算出する相関度検出部、９
０は候補ベクトルを生成出力するベクトル生成部、９２
ａは１段目の探索処理において前探索フレーム６１に対
する複数の選択ベクトルからなる第１の選択ベクトル群
を選択出力する第１のベクトル選択部、９２ｂは１段目
の探索処理において後探索フレーム６２に対する複数の
選択ベクトルからなる第２の選択ベクトル群を選択出力
する第２のベクトル選択部、９２ｃは２段目の探索処理
において動きベクトルを選択出力する第３のベクトル選
択部、９４はベクトル生成部９０から生成出力された候
補ブロックを同じくベクトル生成部９０から生成出力さ
れた探索ブロック選択信号にしたがって第１〜第３のベ
クトル選択部９２ａ〜９２ｃのいずれかに振り分ける候
補ベクトル分配器、９６は相関度検出部８０から生成出
力された評価値を前記探索ブロック選択信号にしたがっ
て第１〜第３のベクトル選択部９２ａ〜９２ｃのいずれ
かに振り分ける評価値分配器である。第１〜第３のベク
トル選択部９２ａ〜９２ｃは各々、第１の実施形態に係
るベクトル選択部５０と同様の構成からなる。第１〜第
３のベクトル選択部９２ａ〜９２ｃ、候補ベクトル分配
部９４及び評価値分配部９６によってベクトル選択手段
が構成されている。

【００７６】図１１は相関度検出部８０の内部構成を示
すブロック図である。図１１において、８１ａは前探索
フレーム６１の前探索ブロック６１ｓの画素データを格
納する第１の探索範囲メモリ、８１ｂは後探索フレーム
６２の後探索ブロック６２ｓの画素データを格納する第
２の探索範囲メモリ、８２は対象ブロック２１の画素デ
ータを格納する対象画像メモリ、８３は第１の探索範囲
メモリ８１ａから読み出された画素データと第２の探索
範囲メモリ８１ｂから読み出された画素データとを加算
する加算部、８４は加算部８３の加算結果データを２で
除する除算部、８５は第１及び第２の探索範囲メモリ８
１ａ，８１ｂから読み出された画素データ、並びに除算
部８４の除算結果データのいずれかを探索ブロック選択
信号にしたがって選択出力する出力選択部である。ま
た、８６は評価値を算出する評価部であり、第１の実施
形態に係る評価部３３と同様の構成からなる。

【００７７】以上のように構成された動きベクトル検出
装置の動作について説明する。

【００７８】図１２は本実施形態に係る動きベクトル検
出装置の動作の概略を示すフローチャートである。開始
信号がベクトル生成部９０に入力されると、まず前探索
フレーム６１の前探索ブロック６１ｓの探索を開始する
（ステップＳｃ１）。ベクトル生成部９０は第１の探索
範囲アドレス及び対象画像アドレスの出力を開始し、相
関度検出部８０は第１の探索範囲メモリ８１ａから第１
の探索範囲アドレスにしたがい一の候補ブロックの画素
データを読み出すと共に、対象画像メモリ８２から対象
画像アドレスにしたがい対象ブロックの画素データを読
み出す。出力選択部８５は探索ブロック選択信号にした
がい、第１の探索範囲メモリ８１ａから読み出された画
素データを評価部８６に選択出力する。評価部８６は第
１の探索範囲メモリ８１ａから出力選択部８５を経由し
て入力された一の候補ブロックの画素データＳと対象画
像メモリ８２から入力された対象ブロックの画素データ
Ｔとを用いて相関度の評価値を算出する。

【００７９】相関度検出部８０により算出された評価値
は評価値分配部９６に入力され、評価値分配部９６は探
索ブロック選択信号にしたがい、入力された評価値を第
１のベクトル選択部９２ａに入力する。またベクトル生
成部９０は第１の探索範囲アドレスに対応する候補ベク
トルを出力し、候補ベクトル分配部９４は探索ブロック
選択信号にしたがい、候補ベクトルを第１のベクトル選
択部９２ａに入力する。第１のベクトル選択部９２ａは
前探索フレーム６１の前探索ブロック６１ｓ内の全ての
候補ブロックについて評価値の比較処理を行い、評価値
が最小となる候補ベクトル及び２番目に小さい候補ベク
トルを第１の選択ベクトル群として選択する。

【００８０】次に後探索フレーム６２の後探索ブロック
６２ｓの探索を行う（ステップＳｃ２）。ベクトル生成
部９０は第２の探索範囲アドレス及び対象画像アドレス
の出力を開始し、相関度検出部８０は第２の探索範囲メ
モリ８１ｂから第２の探索範囲アドレスにしたがい一の
候補ブロックの画素データを読み出すと共に、対象画像
メモリ８２から対象画像アドレスにしたがい対象ブロッ
クの画素データを読み出す。出力選択部８５は探索ブロ
ック選択信号にしたがい、第２の探索範囲メモリ８１ｂ
から読み出された画素データを評価部８６に選択出力す
る。評価部８６は第２の探索範囲メモリ８１ｂから出力
選択部８５を経由して入力された一の候補ブロックの画
素データＳと対象画像メモリ８２から入力された対象ブ
ロックの画素データＴとを用いて相関度の評価値を算出
する。

【００８１】相関度検出部８０により算出された評価値
は評価値分配部９６に入力され、評価値分配部９６は探
索ブロック選択信号にしたがい、入力された評価値を第
２のベクトル選択部９２ｂに入力する。またベクトル生
成部９０は第２の探索範囲アドレスに対応する候補ベク
トルを出力し、候補ベクトル分配部９４は探索ブロック
選択信号にしたがい、候補ベクトルを第２のベクトル選
択部９２ａに入力する。第２のベクトル選択部９２ａは
後探索フレーム６２の後探索ブロック６２ｓ内の全ての
候補ブロックについて評価値の比較処理を行い、評価値
が最小となる候補ベクトル及び２番目に小さい候補ベク
トルを第２の選択ベクトル群として選択する。以上のよ
うな動作により１段目の探索処理が終了する。

【００８２】次に、１段目の探索処理により選択された
第１及び第２の選択ベクトル群に基づいて生成した補間
ブロックと対象ブロックとのブロックマッチングを行い
（ステップＳｃ３）動きベクトルの検出を行う（ステッ
プＳｃ４）。

【００８３】ベクトル生成部９０は、第１の選択ベクト
ル群のうちの一の選択ベクトルが指し示す候補ブロック
の画素データを読み出すための第１の探索範囲アドレ
ス、第２の選択ベクトル群のうちの一の選択ベクトルが
指し示す候補ブロックの画素データを読み出すための第
２の探索範囲アドレス、及び対象画像アドレスを出力す
る。相関度検出部８０は、第１の探索範囲メモリ８１ａ
から第１の探索範囲アドレスにしたがい画素データを読
み出すと共に第２の探索範囲メモリ８１ｂから第２の探
索範囲アドレスにしたがい画素データを読み出し、読み
出した画素データを加算部８３により加算し、除算部８
４により２で除する。出力選択部８５は探索ブロック選
択信号にしたがい、除算部８４の除算結果データを評価
部８６に選択出力する。このデータは、第１の選択ベク
トル群のうちの一の選択ベクトルが指し示す候補ブロッ
クと第２の選択ベクトル群のうちの一の選択ベクトルが
指し示す候補ブロックとの組み合わせによる補間ブロッ
クの画素データとなる。また一方、対象画像メモリ８２
から対象画像アドレスにしたがい対象ブロックの画素デ
ータを読み出す。評価部８６は除算部８４から出力選択
部８５を経由して入力された補間ブロックの画素データ
Ｓと対象画像メモリ８２から入力された対象ブロックの
画素データＴとを用いて相関度の評価値を算出する。

【００８４】相関度検出部８０により算出された評価値
は評価値分配部９６に入力され、評価値分配部９６は探
索ブロック選択信号にしたがい、入力された評価値を第
３のベクトル選択部９２ｃに入力する。またベクトル生
成部９０は第１の探索範囲アドレスに対応する一の選択
ベクトル及び第２の探索範囲アドレスに対応する一の選
択ベクトルを候補ベクトルとして出力し、候補ベクトル
分配部９４は探索ブロック選択信号にしたがい、候補ベ
クトルを第３のベクトル選択部９２ｃに入力する。第３
のベクトル選択部９２ｃは第１の選択ベクトル群の選択
ベクトルと第２の選択ベクトル群の選択ベクトルとの組
み合わせからなる全ての補間ブロックについて評価値の
比較処理を行い、評価値が最小となる補間ブロックに対
応する選択ベクトルの組を動きベクトルとして出力す
る。

【００８５】図１３はベクトル生成部９０の動作を示す
フローチャートである。開始信号が入力される（ステッ
プＳｄ１）と１段目の探索処理を開始する。まず前探索
ブロック６１ｓの探索範囲と分解能の程度を示す探索精
度とをセットし（ステップＳｄ２）、第１の探索範囲ア
ドレス及び対象画像アドレスを順次相関度検出部８０に
出力すると共に、対応する候補ベクトルを出力する（ス
テップＳｄ３）。ステップＳｄ３の処理は図８に示す第
１の実施形態に係るベクトル生成部４０の処理における
ステップＳｂ３〜Ｓｂ１０（図８において一点鎖線で囲
んだ部分）と同様である。前探索ブロック６１ｓの全て
の候補ブロックについてアドレス及び候補ベクトルの出
力が終了すると、１段目の探索処理が終了したか否かを
判断する（ステップＳｄ４）。ここではまだ終了してい
ないのでステップＳｄ５に進む。

【００８６】次に後探索ブロック６２ｓの探索範囲をセ
ットし（ステップＳｄ５）、第２の探索範囲アドレス及
び対象画像アドレスを順次相関度検出部８０に出力する
と共に、対応する候補ベクトルを出力する（ステップＳ
ｄ３）。後探索ブロック６１ｓの全ての候補ブロックに
ついてアドレス及び候補ベクトルの出力が終了すると、
１段目の探索処理が終了したか否かを判断する（ステッ
プＳｄ４）。ここでは終了しているのでステップＳｄ６
に進み、補間ブロックとのマッチングが終了したか否か
を判定する。ここではまだ終了していないのでステップ
Ｓｄ７に進む。

【００８７】次に２段目の探索処理を開始する。まず第
１のベクトル選択部９２ａから第１の選択ベクトル群を
入力すると共に第２のベクトル選択部９２ｂから第２の
選択ベクトル群を入力し（ステップＳｄ７）、選択ベク
トルに基づき探索範囲と分解能の程度を示す探索精度と
をセットし（ステップＳｄ８）、第１及び第２の探索範
囲アドレス並びに対象画像アドレスを順次相関度検出部
８０に出力すると共に、対応する選択ベクトルの組を候
補ベクトルとして出力する（ステップＳｄ３）。全ての
選択ベクトルの組み合わせについての処理が終わると、
ベクトル生成部９０は処理を終了する（ステップＳｄ
４，Ｓｄ６）。

【００８８】なお、以上の説明では、１段目の探索処理
において各探索ブロックに対して複数の選択ベクトルを
検出する例を示したが、第１の実施形態の方式を用い
て、各探索ブロックに対し１つの選択ベクトルを抽出し
て、補間ブロックを作成してもよい。

【００８９】なお、以上の説明では、１段目の探索処理
において各探索ブロックに対して評価値の小さな２つの
候補ベクトルを選択ベクトルとして選択したが、本発明
における選択ベクトルの個数は２に限られるものではな
く、任意の個数であってもよい。

【００９０】なお、以上の説明では、１段目の探索処理
においてサブサンプルしない場合を例にとったが、１段
目の探索処理においてサブサンプルしても実施可能であ
る。

【００９１】なお、以上の説明では、補間ブロックは１
組の選択ベクトルが指し示す候補ブロックの加算により
作成したが、１組の選択ベクトルの一方をある範囲内で
移動して加算することにより補間ブロックを作成しても
かまわない。

【００９２】なお、以上の説明では、前探索ブロックと
後探索ブロックとに対する選択ベクトルの全ての組合せ
によって補間ブロックを作成するものとしたが、必ずし
も選択ベクトルの全ての組み合わせから補間ブロックを
生成する必要はなく、選択ベクトルの組合せの一部から
補間ブロックを作成するものとしてもかまわない。

【００９３】なお、以上の説明では、１段目の探索処理
と２段目の探索処理とを共通の回路で実行するものとし
たが、１段目の探索処理と２段目の探索処理とを別の回
路によって実行することにより、処理の高速化を図るこ
とも可能である。

【００９４】なお、以上の説明では、対象フレームの時
間的に前と後のフレームを探索フレームとする場合を例
にとったが、対象フレームに対して時間的に同じ方向に
ある２枚のフレームを探索フレームとしてもかまわな
い。

【００９５】なお、以上の説明では、２枚の探索フレー
ム各々に探索ブロックがあるとして説明したが、１枚の
探索フレームの中の複数の探索ブロックに対して探索処
理を行ってもかまわない。

【００９６】なお、以上の説明では、ベクトル選択部を
ハードウェアで構成したが、ソフトウェアで構成しても
よい。

【００９７】なお、以上の説明では、動きベクトル検出
方法をハードウェア構成で説明したが、ソフトウェアで
構成してもよい。

【００９８】また画像符号化の応用分野としては、テレ
ビ電話のような通信分野や記憶媒体への書き込みのよう
な蓄積分野が考えられる。通信分野においては、発信側
と受信側との間に遅延があることが最大の問題となるた
め、符号化／復号化が短時間で終了することが望まれ
る。一方、蓄積分野においては、符号化／復号化で発生
する遅延よりもむしろ高画質が望まれる。このためＭＰ
ＥＧ２でも、１枚のフレームからの予測により遅延を少
なくする片方向予測（Simple-Profile）と、２枚のフレ
ームからの予測により高画質を実現する双方向予測（Ma
in-Profile）という異なる規格が規定されている。

【００９９】このため、動きベクトル検出装置は片方向
予測及び双方向予測の両方に対応可能なように構成され
ていることが好ましい。

【０１００】図１４は本実施形態に係る動きベクトル検
出装置における相関度検出部の他の構成例を示すブロッ
ク図であり、片方向予測及び双方向予測の両方に対応可
能なように構成されたものである。図１４において、８
７は当該相関度検出部に入力される第１及び第２の探索
範囲データのうちいずれか一方を、入力データ選択信号
の指示にしたがい第２の探索範囲メモリ８１ｂに選択入
力するデータ選択部である。他の構成要素は図１１に示
す相関度検出部と同様であり、図１１と共通の符号を付
している。

【０１０１】図１４に示す相関度検出部の動作につい
て、双方向予測の場合と片方向予測の場合とに分けて説
明する図１５は双方向予測の動きベクトル検出を行う場
合の相関度検出部の動作を示す図である。この場合、デ
ータ選択部８７は第２の探索範囲データを第２の探索範
囲メモリ８１ｂに選択入力するよう入力データ選択信号
により指示されている。まず最初に、第１の探索範囲メ
モリ８１ａに第１の探索範囲データを入力すると共に第
２の探索範囲メモリ８１ｂに第２の探索範囲データを入
力する。データ入力終了後、第１の探索範囲メモリ８１
ａから画素データを読み出して評価値を算出し、続いて
第２の探索範囲メモリ８１ｂから画素データを読み出し
て評価値を算出する。最後に、第１及び第２の探索範囲
メモリ８１ａ，８１ｂから画素データを読み出し、加算
部８３及び除算部８４により補間ブロックの画素データ
を求め、評価値を算出する。

【０１０２】図１６は片方向予測の動きベクトル検出を
行う場合の相関度検出部の動作を示す図である。この場
合、片方向のフレームの画素データが第１の探索範囲デ
ータとして入力され、第２の探索範囲データの入力はな
く、データ選択部８７は第１の探索範囲データを第２の
探索範囲メモリ８１ｂに選択入力するよう入力データ選
択信号により指示されている。

【０１０３】まず最初に、第１の探索範囲メモリ８１ａ
に第１の探索範囲データを入力する。データ入力終了
後、第１の探索範囲メモリ８１ａから画素データを読み
出して評価値を算出すると共に、第２の探索範囲メモリ
８１ｂに第１の探索範囲データを入力する。前記の処理
が終了すると、次に、第２の探索範囲メモリ８１ｂから
画素データを読み出して評価値を算出すると共に、第１
の探索範囲メモリ８１ａに第１の探索範囲データを入力
する。

【０１０４】このような処理を繰り返すことにより、片
方向予測の動きベクトル検出において、探索範囲の拡大
処理におけるデータ入力時間が削減できる。

【０１０５】なお図１４では、第２の探索範囲メモリ８
１ｂのデータ入力にのみデータ選択部８７を設けたが、
第１の探索範囲メモリ８１ａのデータ入力にデータ選択
部を設けても実施可能である。

【０１０６】なお、以上の説明では、探索範囲メモリを
２つの例で説明したが、２つ以上で実現しても実現可能
である。

【０１０７】

【発明の効果】以上のように本発明によれば、算出した
相関度のうちの相関度の高い複数の動きベクトルを用い
て、再度相関度を検出するすることにより、分解能の大
きなサブサンプルの場合においても、相関度の高い動き
ベクトルの検出ができるという有利な効果が得られる。

【０１０８】また本発明によれば、２フレームを補間し
た画像での動きベクトルの検出が実現できるため、精度
の高い動きベクトルが検出できるという有利な効果が得
られる。

【０１０９】以上のように本発明によれば、同一構成の
動きベクトル検出装置により、双方向予測の動きベクト
ル検出と片方向予測の動きベクトル検出ができるという
有利な効果が得られる。

【０１１０】また本発明によれば、片方向予測の動きベ
クトル検出における探索範囲の拡大を処理時間の面で効
率的に実現できるという有利な効果が得られる。

【図面の簡単な説明】

【図１】動きベクトルを検出するためのブロックマッチ
ング方法を示す図である。

【図２】本発明の第１の実施形態に係る動きベクトル検
出方法を示す概略図である。

【図３】サブサンプルを示す図である。

【図４】本発明の第１の実施形態に係る動きベクトル検
出方法を説明するための図であり、候補ベクトルの終端
位置と相関度を表す評価値との関係を示すグラフであ
る。

【図５】本発明の第１の実施形態に係る動きベクトル検
出装置の構成を示すブロック図である。

【図６】図５に示す本発明の第１の実施形態に係る動き
ベクトル検出装置におけるベクトル選択部５０の内部構
成を示すブロック図である。

【図７】図５に示す本発明の第１の実施形態に係る動き
ベクトル検出装置におけるベクトル選択部５０の動作を
示すフローチャートである。

【図８】図５に示す本発明の第１の実施形態に係る動き
ベクトル検出装置におけるベクトル生成部４０の動作を
示すフローチャートである。

【図９】本発明の第２の実施形態に係る動きベクトル検
出方法を示す概略図である。

【図１０】本発明の第２の実施形態に係る動きベクトル
検出装置の構成を示すブロック図である。

【図１１】図１０に示す本発明の第２の実施形態に係る
動きベクトル検出装置における相関度検出部８０の内部
構成を示すブロック図である。

【図１２】図１０に示す本発明の第２の実施形態に係る
動きベクトル検出装置の動作の概略を示すフローチャー
トである。

【図１３】図１０に示す本発明の第２の実施形態に係る
動きベクトル検出装置におけるベクトル生成部９０の動
作を示すフローチャートである。

【図１４】図１０に示す本発明の第２の実施形態に係る
動きベクトル検出装置における相関度検出部の他の構成
例を示すブロック図である。

【図１５】双方向予測の動きベクトル検出を行う場合の
図１４に示す相関度検出部の動作を示す図である。

【図１６】片方向予測の動きベクトル検出を行う場合の
図１４に示す相関度検出部の動作を示す図である。

【符号の説明】

１，２０ 対象フレーム ２，１０ 探索フレーム ３，２１ 対象ブロック ４ ベストマッチブロック ５，１０ｓ 探索ブロック ６ 動きベクトル １１ｂ，１２ｂ，１３ｂ 候補ベクトル １１ｓ，１２ｓ，１３ｓ 候補ブロック ３０ 相関度検出部 ３１ 探索範囲メモリ ３２ 対象画像メモリ ３３ 評価部 ４０ ベクトル生成部 ５０ ベクトル選択部 ６１ 前探索フレーム ６１ｓ 前探索ブロック（第１の探索ブロック） ６２ 後探索フレーム ６２ｓ 後探索ブロック（第２の探索ブロック） ７１ｂ〜７４ｂ 選択ベクトル ７１ｓ〜７４ｓ 候補ベクトル ８０ 相関度検出部 ８１ａ 第１の探索範囲メモリ ８１ｂ 第２の探索範囲メモリ ８２ 対象画像メモリ ８３ 加算部 ８４ 除算部 ８５ 出力選択部 ８６ 評価部 ８７ データ選択部 ９０ ベクトル生成部

Claims (10)

【特許請求の範囲】
1. 【請求項１】 動画像の符号化において、符号化の対象
   となる対象フレーム内の一の対象ブロックのフレーム間
   における動きを示す動きベクトルを求める動きベクトル
   検出方法であって、 前記一の対象ブロックと探索の対象となる探索ブロック
   とのブロックマッチングを全画素データを対象にしたブ
   ロックマッチングよりも粗く行い、算出した相関度を基
   にして、前記探索ブロックにおける，前記一の対象ブロ
   ックとの相関度が高い位置を示す選択ベクトルを複数個
   求める第１のステップと、 前記第１のステップにおいて求めた各選択ベクトルが示
   す位置の近傍を新たな探索ブロックとし、前記一の対象
   ブロックと前記新たな探索ブロックとのブロックマッチ
   ングを前記第１のステップよりも密に行い、算出した相
   関度を基にして、前記新たな探索ブロックにおける，前
   記一の対象ブロックとの相関度が最も高い位置を示すベ
   クトルを、動きベクトルとして検出する第２のステップ
   とを備えていることを特徴とする動きベクトル検出方
   法。
2. 【請求項２】 請求項１記載のベクトル検出方法におい
   て、 前記第１のステップは、 前記一の対象ブロック及び探索ブロックの画素データを
   サブサンプルした後に、ブロックマッチングを行うもの
   であることを特徴とする動きベクトル検出方法。
3. 【請求項３】 請求項１記載のベクトル検出方法におい
   て、 求める動きベクトルは、前記対象フレームと探索の対象
   となる第１の探索フレームとの間の前記一の対象ブロッ
   クの動きを示す動きベクトル、及び前記対象フレームと
   探索の対象となる第２の探索フレームとの間の前記一の
   対象ブロックの動きを示す動きベクトルであることを特
   徴とする動きベクトル検出方法。
4. 【請求項４】 動画像の符号化において、符号化の対象
   となる対象フレーム内の一の対象ブロックのフレーム間
   における動きを示す動きベクトルを求める動きベクトル
   検出方法であって、 前記一の対象ブロックと探索の対象となる第１の探索ブ
   ロックとのブロックマッチングを行い、算出した相関度
   を基にして、前記第１の探索ブロックにおける，前記一
   の対象ブロックとの相関度が高い位置を示す少なくとも
   １つの選択ベクトルからなる第１の選択ベクトル群を求
   める第１のステップと、 前記一の対象ブロックと探索の対象となる第２の探索ブ
   ロックとのブロックマッチングを行い、算出した相関度
   を基にして、前記第２の探索ブロックにおける，前記一
   の対象ブロックとの相関度が高い位置を示す少なくとも
   １つの選択ベクトルからなる第２の選択ベクトル群を求
   める第２のステップと、 前記第１の選択ベクトル群に属する一の選択ベクトルと
   前記第２の選択ベクトル群に属する一の選択ベクトルと
   からなる組を複数個つくり、各組について、前記第１の
   選択ベクトル群に属する一の選択ベクトルが示す位置の
   近傍である候補ブロックと前記第２の選択ベクトル群に
   属する一の選択ベクトルが示す位置の近傍である候補ブ
   ロックとを合せて補間ブロックを生成し、前記一の対象
   ブロックと前記各補間ブロックとの相関度を算出し、算
   出した相関度を基にして、一の対象ブロックとの相関度
   が最も高い一の補間ブロックを特定する第３のステップ
   とを備え、 前記第３のステップにおいて特定した一の補間ブロック
   の生成の基になる候補ブロックに対応する，前記第１の
   選択ベクトル群に属する一の選択ベクトル及び前記第２
   の選択ベクトル群に属する一の選択ベクトルを、動きベ
   クトルとして検出することを特徴とする動きベクトル検
   出方法。
5. 【請求項５】 請求項４記載の動きベクトル検出方法に
   おいて、 前記第１のステップは、 前記一の対象ブロック及び第１の探索ブロックの画素デ
   ータをサブサンプルした後に、ブロックマッチングを行
   うものであり、 前記第２のステップは、 前記一の対象ブロック及び第２の探索ブロックの画素デ
   ータをサブサンプルした後に、ブロックマッチングを行
   うものであることを特徴とする動きベクトル検出方法。
6. 【請求項６】 動画像の符号化において、符号化の対象
   となる対象フレーム内の対象ブロックのフレーム間にお
   ける動きを示す動きベクトルを求める動きベクトル検出
   装置であって、 探索の対象となる探索ブロックにおける候補ブロックを
   示す探索範囲情報を出力すると共に、この候補ブロック
   に対応する候補ベクトルを生成出力するベクトル生成部
   と、 前記探索ブロック及び対象ブロックの画素データを記憶
   しており、前記ベクトル生成部から出力された探索範囲
   情報を入力とし、この探索範囲情報により示された候補
   ブロックと前記対象ブロックとの相関度を表す評価値
   を、記憶している探索ブロック及び対象ブロックの画素
   データに基づいて算出する相関度検出部と、 前記ベクトル生成部から生成出力された候補ベクトル及
   び前記相関度検出部により算出された，前記候補ベクト
   ルに対応する候補ブロックと前記対象ブロックとの相関
   度を表す評価値を順次入力し、入力した複数の候補ベク
   トルの中から、評価値に基づいて１つ又は複数の候補ベ
   クトルを選択するベクトル選択部とを備えており、 第１のステップにおいて、前記ベクトル選択部は、入力
   した複数の候補ベクトルの中から複数の候補ベクトルを
   選択ベクトル群として前記ベクトル生成部に選択入力
   し、 第２のステップにおいて、前記ベクトル生成部は、第１
   のステップにおいて前記ベクトル選択部から入力された
   選択ベクトル群を基にして探索範囲情報を生成し、前記
   ベクトル選択部は、入力した複数の候補ベクトルの中か
   ら１つの候補ベクトルを動きベクトルとして選択出力す
   ることを特徴とする動きベクトル検出装置。
7. 【請求項７】 請求項６記載の動きベクトル検出装置に
   おいて、 前記相関度検出部は、 探索ブロックの画素データを格納する探索範囲メモリ
   と、 対象ブロックの画素データを格納する対象画像メモリ
   と、 前記探索範囲メモリから読み出された画素データ及び前
   記対象画像メモリから読み出された画素データを基にし
   て、前記探索ブロックにおける候補ブロックと前記対象
   ブロックとの相関度を表す評価値を算出する評価部とを
   備えていることを特徴とする動きベクトル検出装置。
8. 【請求項８】 動画像の符号化において、符号化の対象
   となる対象フレーム内の対象ブロックのフレーム間にお
   ける動きを示す動きベクトルを求める動きベクトル検出
   装置であって、 探索の対象となる第１の探索ブロックにおける候補ブロ
   ックを示す第１の探索範囲情報及び探索の対象となる第
   ２の探索ブロックにおける候補ブロックを示す第２の探
   索範囲情報の一方または両方を出力すると共に、出力す
   る探索範囲情報が示す候補ブロックに対応する候補ベク
   トルを生成出力するベクトル生成部と、 前記第１及び第２の探索ブロック及び対象ブロックの画
   素データを記憶しており、前記ベクトル生成部から出力
   された探索範囲情報を入力とし、前記第１及び第２の探
   索範囲情報のいずれか一方が入力されたときはこの一方
   の探索範囲情報により示された候補ブロックと前記対象
   ブロックとの相関度を表す評価値を、前記第１及び第２
   の探索範囲情報の両方が入力されたときは前記第１の探
   索範囲情報により示された候補ブロックと前記第２の探
   索範囲情報により示された候補ブロックとを合せて生成
   した補間ブロックと前記対象ブロックとの相関度を表す
   評価値を、記憶している第１及び第２の探索ブロック及
   び対象ブロックの画素データに基づいて算出する相関度
   検出部と、 前記ベクトル生成部から生成出力された候補ベクトル及
   び前記相関度検出部により算出された，前記候補ベクト
   ルに対応する候補ブロック又は補間ブロックと前記対象
   ブロックとの相関度を表す評価値を順次入力し、入力さ
   れた複数の候補ベクトルの中から、評価値に基づいて１
   つ又は複数の候補ベクトルを選択するベクトル選択手段
   とを備えており、 第１のステップにおいて、前記ベクトル生成部は、前記
   第１の探索範囲情報及びこの第１の探索範囲情報が示す
   候補ブロックに対応する候補ベクトルを生成出力し、前
   記ベクトル選択手段は、入力した複数の候補ベクトルの
   中から、相関度検出部から入力された評価値に基づい
   て、複数の候補ベクトルを第１の選択ベクトル群として
   前記ベクトル生成部に選択入力し、 第２のステップにおいて、前記ベクトル生成部は、前記
   第２の探索範囲情報及びこの第２の探索範囲情報が示す
   候補ブロックに対応する候補ベクトルを生成出力し、前
   記ベクトル選択手段は、入力した複数の候補ベクトルの
   中から、相関度検出部から入力された評価値に基づい
   て、複数の候補ベクトルを第２の選択ベクトル群として
   前記ベクトル生成部に選択入力し、 第３のステップにおいて、前記ベクトル生成部は、前記
   第１の選択ベクトル群を基にして特定した第１の探索ブ
   ロックにおける候補ブロックを示す第１の探索範囲情
   報、及び前記第２の選択ベクトル群を基にして特定した
   第２の探索ブロックにおける候補ブロックを示す第２の
   探索範囲情報を生成出力すると共に、前記第１及び第２
   の探索範囲情報が示す候補ブロックに各々対応する候補
   ベクトルの組を生成出力し、前記ベクトル選択手段は、
   入力した複数組の候補ベクトルの中から、相関度検出部
   から入力された評価値に基づいて、１組の候補ベクトル
   を動きベクトルとして選択出力することを特徴とする動
   きベクトル検出装置。
9. 【請求項９】 請求項８記載の動きベクトル検出装置に
   おいて、 前記相関度検出部は、 第１の探索ブロックの画素データを格納する第１の探索
   範囲メモリと、 第２の探索ブロックの画素データを格納する第２の探索
   範囲メモリと、 対象ブロックの画素データを格納する対象画像メモリ
   と、 前記第１の探索範囲メモリから読み出された画素データ
   と前記第２の探索範囲メモリから読み出された画素デー
   タとを加算する加算部と、 前記加算部の加算結果データを２で除する除算部と、 前記第１の探索範囲メモリから読み出された画素デー
   タ、前記第２の探索範囲メモリから読み出された画素デ
   ータ、又は前記除算部の除算結果データのいずれかを選
   択出力する出力選択部と、 前記出力選択部から出力されたデータ及び前記対象画像
   メモリから読み出された画素データを基にして、前記探
   索ブロックにおける候補ブロックと前記対象ブロックと
   の相関度を表す評価値を算出する評価部とを備えている
   ことを特徴とする動きベクトル検出装置。
10. 【請求項１０】 請求項９記載の動きベクトル検出装置
    において、 前記相関度検出部は、 前記第１及び第２の探索範囲メモリの少なくとも一方の
    データ入力側に、複数の入力データから１つの入力デー
    タを当該探索範囲メモリに選択入力するデータ選択部を
    備えていることを特徴とする動きベクトル検出装置。