JPH09121356A

JPH09121356A - 動きベクトル検出装置

Info

Publication number: JPH09121356A
Application number: JP27795595A
Authority: JP
Inventors: Toshifumi Kanamaru; 利文金丸
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 1995-10-25
Filing date: 1995-10-25
Publication date: 1997-05-06

Abstract

(57)【要約】【課題】動きベクトルを画素単位に求め、動きベクト
ルの精度を向上する。【解決手段】動きベクトル推定部１１は、前フレーム
画像Ａ及び現フレーム画像Ｂから各ブロック毎又は各画
素毎の動きベクトルＳ１１を推定する。動きベクトルＳ
１１は、各ブロック毎又は各画素毎に動きベクトル蓄積
部１２に蓄積される。領域分割部１４は、現フレーム画
像Ｂの或る着目画素の濃度値と該着目画素の近傍画素の
濃度値との差分を所定の閾値と比較することにより現フ
レーム画像Ｂを複数の領域に分割し、該各画素が含まれ
る領域を表す領域分割情報Ｓ１４を生成する。アフィン
パラメータ計算部１３は、動きベクトルＳ１１及び領域
分割情報Ｓ１４に基づき前記各領域内の各画素毎にアフ
ィン変換を行うためのアフィンパラメータＳ１３を計算
する。動きベクトル計算部１５は、アフィンパラメータ
Ｓ１３を用いて前記各領域の各画素毎の動きベクトルＳ
１５を計算する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像の低ビット
レートの高能率符号化復号装置、画像伝送装置、及び画
像処理装置等に用いられる動画像の動きベクトル検出装
置に関するものである。

【０００２】

【従来の技術】従来、このような分野の技術としては、
例えば、次のような文献に記載されるものがあった。文献；吹抜敬彦著、ＴＶ画像の多次元信号処理、(Nov.1
988)、日刊工業新聞社発行、P.201-207 前記文献には、時間的に連続する画像の２つのフレーム
からブロック毎の動きベクトルを検出する各種の方法が
記載されている。以下、従来技術として前記文献に記載
されている「パタンマッチング法」を説明する。図２
は、前記文献に記載された従来の動きベクトル検出装置
の一例を示す構成ブロック図である。この動きベクトル
検出装置では、前フレーム画像信号Ａ及び現フレーム画
像信号Ｂが動きベクトル推定部（ＭＥ）１に入力され、
検出動きベクトルが出力信号Ｓ１として出力される。こ
の従来の動きベクトル検出装置では、前フレーム画像信
号Ａをｇ０（ｘ，ｙ）とし、現フレーム画像信号Ｂをｇ
１（ｘ，ｙ）とすると、ブロックサイズがＮ×Ｎ（Ｎ≧
１である任意の正の整数）画素であるブロックに対し、
次の式（１）によりマッチング誤差ｅ（ξ，η）を求め
る。

【０００３】

【数１】但し、ｘ；横方向の座標ｙ；縦方向の座標そして、例えば８×８画素程度のブロックに分け、この
ブロックで式（１）を計算してマッチング誤差ｅ（ξ，
η）が最小になる（ξ，η）を、そのブロックの動きベ
クトルとする。図３は、従来の動きベクトル探索方法を
説明する図である。この図を用いて従来の動きベクトル
探索方法を説明する。第１回目の探索で、点300 を中心
とする９点について式（１）を用いて計算し、最小とな
る（ξ，η）を求める。この例では、ベクトルv301が第
１回の探索で求められた動きベクトルである。第２回目
の探索では、中心を点301 に移し、その点を中心として
８点を探索し、同様にベクトルv302が求められる。第３
回目の探索では、点302 を中心として更に８点を探索
し、ベクトルv303が求められる。最終的に、元の中心点
300 と点303 とを結ぶベクトルv310が検出動きベクトル
となり、このベクトルv310が図２中の検出動きベクトル
である出力信号Ｓ１となる。

【０００４】

【発明が解決しようとする課題】しかしながら、図２の
動きベクトル検出装置では、次のような課題があった。（１）図２の動きベクトル検出装置では、ブロック単
位で動きベクトルを求め、かつ該ブロックのサイズが固
定されている。そのため、低ビットレート動画像符号化
等の動き補償後のブロック歪による画像品質の低化が著
しい。（２）図２の動きベクトル検出装置は、ブロック単位
で動きベクトルの検出を行うので、実際には同じ動画像
領域上に動きが不連続な点が生じる。

【０００５】

【課題を解決するための手段】第１の発明は、前記課題
を解決するために、画像の前フレーム画像と現フレーム
画像との間の動きベクトルを検出する動きベクトル検出
装置において、次のような手段を設けている。即ち、前
記前フレーム画像及び前記現フレーム画像に基づいて画
像の各ブロック毎又は該各ブロック中の各画素毎の動き
ベクトルを推定する動きベクトル推定部と、前記推定さ
れた動きベクトルを前記各ブロック毎又は該各ブロック
中の各画素毎に蓄積する動きベクトル蓄積部と、前記現
フレーム画像の或る着目画素の濃度値と該着目画素の近
傍画素の濃度値との差分を所定の閾値と比較することに
より該現フレーム画像を複数の領域に分割し、該各画素
が含まれる領域を表す領域分割情報を生成する領域分割
部と、前記動きベクトル蓄積部に蓄積された動きベクト
ル及び前記領域分割情報に基づき前記各領域中の各画素
毎にアフィン変換を行うためのアフィンパラメータを計
算するアフィンパラメータ計算部と、前記アフィンパラ
メータを用いて前記各領域中の各画素毎の動きベクトル
を計算する動きベクトル計算部とを、設けている。

【０００６】この第１の発明によれば、以上のように動
きベクトル検出装置を構成したので、前フレーム画像及
び現フレーム画像が動きベクトル推定部に入力され、画
像の各ブロック毎又は各画素毎の動きベクトルが推定さ
れる。推定された動きベクトルは、動きベクトル蓄積部
に各ブロック毎又は該各ブロック中の各画素毎に蓄積さ
れる。一方、領域分割部において、前記現フレーム画像
の或る着目画素の濃度値と該着目画素の近傍画素の濃度
値との差分が所定の閾値と比較されて該現フレーム画像
が複数の領域に分割され、該各画素が含まれる領域を表
す領域分割情報が生成される。そして、アフィンパラメ
ータ計算部において、前記推定された動きベクトル及び
前記領域分割情報に基づき前記各領域内の各画素毎にア
フィン変換を行うためのアフィンパラメータが計算され
る。更に、動きベクトル計算部において、前記アフィン
パラメータを用いて前記各領域中の各画素毎の動きベク
トルが計算される。ここで、前記領域分割部において、
現フレームを領域分割して該各領域中の動きベクトルは
同じアフィンパラメータで表現できると仮定して動きの
修正を行なうと、同一領域内では同一の動きベクトルと
するので、部分的に誤った動きベクトルが存在しても修
正される。更に、ブロック毎に動きベクトルを検出して
も、最終的に画素毎の動きベクトルが得られ、動きベク
トルの精度が向上する。

【０００７】第２の発明では、第１の発明の動きベクト
ル検出装置に、第１の発明の動きベクトル蓄積部に蓄積
された前記推定された動きベクトルと前記動きベクトル
計算部で計算された動きベクトルとを比較して前記動き
ベクトル計算部で計算された動きベクトルを補正するた
めの補正演算処理の反復条件又は収束条件を判定する収
束判定部と、前記計算された動きベクトルと前記推定さ
れた動きベクトルとの前記各画素毎の残差の中央値を求
めることにより前記アフィンパラメータの補正項を計算
する補正項計算部と、前記アフィンパラメータに前記補
正項を加算して前記動きベクトル計算部へ送出する加算
部とを、設けている。この第２の発明によれば、前記動
きベクトル蓄積部に蓄積された前記推定された動きベク
トルと前記動きベクトル計算部で計算された動きベクト
ルとが収束判定部で比較され、前記補正演算処理の反復
条件又は収束条件が判定される。補正項計算部におい
て、前記計算された動きベクトルと前記推定された動き
ベクトルとの前記各画素毎の残差の中央値に基づいて、
アフィンパラメータの補正項が計算される。加算部にお
いて、前記アフィンパラメータに前記補正項が加算され
て動きベクトル計算部へ送出される。そのため、システ
ムの演算能力に余裕のある場合には、第１の発明と比較
して、動きベクトルの修正が更に精度良く行われる。

【０００８】第８の発明では、第１の発明の動きベクト
ル推定部は、複数の階層に分割された帯域分割信号で構
成された前フレーム画像及び現フレーム画像に基づいて
各帯域毎に動きベクトルを推定する階層的動きベクトル
推定部で構成している。この第８の発明によれば、帯域
分割信号で構成された前フレーム信号及び現フレーム信
号が階層的動きベクトル推定部に入力され、該帯域分割
信号から階層を生成しながら動きベクトルの推定が行な
われる。又、前記帯域分割信号で構成された現フレーム
信号が領域分割に使用され、階層を復元しながら原画像
が復元される。そのため、別途領域分割用画像の生成部
を設ける必要がなく、装置が簡単になる。従って、前記
課題を解決できるのである。

【０００９】

【発明の実施の形態】第１の実施形態図１は、本発明の第１の実施形態を示す動きベクトル検
出装置の構成ブロック図である。この動きベクトル検出
装置は、前フレーム画像信号Ａ及び現フレーム画像信号
Ｂを入力して動きベクトルＳ１１を推定する動きベクト
ル推定部（ＭＥ）１１を有している。動きベクトル推定
部（ＭＥ）１１の出力側は、動きベクトルＳ１１を蓄積
する動きベクトル蓄積部（ＭＶＭ）１２の入力側に接続
されている。動きベクトル蓄積部（ＭＶＭ）１２の出力
側は、アフィンパラメータ計算部（ＣＡ）１３の第１の
入力端子に接続されている。又、この動きベクトル検出
装置は、現フレーム画像信号Ｂを領域分割して領域情報
Ｓ１４を出力する領域分割部（ＲＧ）１４を有してい
る。領域分割部（ＲＧ）１４の出力側は、アフィンパラ
メータ計算部（ＣＡ）１３の第２の入力端子に接続され
ている。アフィンパラメータ計算部（ＣＡ）１３は、動
きベクトルＳ１１と領域分割情報Ｓ１４とから領域内の
アフィンパラメータＳ１３を計算する機能を有してい
る。アフィンパラメータ計算部（ＣＡ）１３の出力側
は、動きベクトル計算部（ＣＭＶ）１５の入力側に接続
されている。動きベクトル計算部（ＣＭＶ）１５は、ア
フィンパラメータＳ１３により画素毎の動きベクトルＳ
１５を計算する機能を有している。

【００１０】次に、図１の動作を説明する。前フレーム
画像信号Ａ及び現フレーム画像信号Ｂが動きベクトル推
定部（ＭＥ）１１に入力し、動きベクトルの推定が行な
われる。ここでは，一例として従来の「パタンマッチン
グ法」を用いて動きベクトルを推定する。動きベクトル
蓄積部（ＭＶＭ）１２において、動きベクトル推定部
（ＭＥ）１１で求められた動きベクトルＳ１１が全て蓄
積される。例えば、動きベクトルの推定に「パタンマッ
チング法」を用いる場合には、ブロック単位に１本の動
きベクトルが求められるので、１画面中のブロックの数
と同じ数の動きベクトルが蓄積される。又、動きベクト
ル推定部（ＭＥ）１１に画素単位での動きベクトル検出
法を用いた場合には、動きベクトル蓄積部（ＭＶＭ）１
２に、１画面中の画素数と同じ数の動きベクトルが蓄積
される。一方、領域分割部（ＲＧ）１４において、現フ
レーム画像信号Ｂを入力し、或る中心画素の近傍画素を
見て、例えば濃度値の差が閾値Ｔｈｒ以内の画素を領域
統合していく方法により領域分割を行なう。即ち、現フ
レーム画像信号Ｂの座標（ｘ，ｙ）の画素の濃度値を、
ｆｃｕｒ（ｘ，ｙ）但し、ｘ；横方向の座標ｙ；縦方向の座標とする。

【００１１】次に、次式（２）を用いて領域を統合す
る。｜ｆｃｕｒ（ｘ，ｙ）−ｆｃｕｒ（ｘ＋ｉ，ｙ＋ｊ）｜≦Ｔｈｒのとき、統合する。｜ｆｃｕｒ（ｘ，ｙ）−ｆｃｕｒ（ｘ＋ｉ，ｙ＋ｊ）｜＞Ｔｈｒのとき、統合しない。・・・（２）但し、（ｉ，ｊ）＝（０，−１），（−１，０），（０，＋
１），（＋１，０）である。最初は、１画素１領域とし、左上の画素を着目
画素として始める。最初の点に関し、式（２）を用いて
統合するか否かを判断し、統合した場合は、統合された
画素に移動し、式（２）により４近傍点を調べる。これ
らの４近傍点において、統合する画素がない場合には、
その画素を統合した画素に戻り、他の近傍点を調べる。

【００１２】図４は、領域分割方法を説明する図であ
る。この図を用いて領域分割方法を説明する。図４で
は、中心画素を画素400 とし、該画素400 を領域Ｓの画
素とする。先ず、画素400 の４つの近傍画素のうち、該
画素400 と異なる領域の画素について、式（２）を用い
て、統合するか否かの判断を行う。ここでは、式（２）
を用いて画素401 は統合しないと判断し、画素402 を統
合すると判断した。次に、中心画素を画素402 に移して
再び４近傍点を調べる。ここでは、画素403 は統合せ
ず、画素404 及び画素405 を統合する。次に、中心画素
を画素404 に移動して４近傍点を調べる。すると、画素
406 ，407 ，408 の全てを統合しないと判断されるの
で、中心画素である画素404 を統合した元の画素402 に
戻り、中心画素を残りの近傍点である画素405 に移動し
て画素409 を統合するか否かを判断する。このようにし
て、領域内の全ての画素について調べ、統合すべき画素
がなくなった場合に、次の領域に移る。以上の手順を全
ての画素について行ない、領域分割を終了する。

【００１３】領域分割情報としては、領域に番号（ｋ＝
１，２，・・・，ｌ）を付け、各画素がどの番号の領域
に属するかを記録する。次に、アフィンパラメータ計算
部（ＣＡ）１３において、領域分割部（ＲＧ）１４の出
力信号である領域分割情報Ｓ１４及び動きベクトル情報
Ｓ１２を用いてアフィンパラメータＳ１３が計算され
る。即ち、領域番号１番から、順次当該領域内に含まれ
る画素がもつ動きベクトルを用いてアフィンパラメータ
Ｓ１３を計算する。そして、動きベクトル推定部（Ｍ
Ｅ）１１において、ブロック単位に動きベクトルを検出
した場合には、そのブロック内の画素全てに、検出され
た同じ動きベクトルを与える。本実施形態では、検出さ
れた動きベクトルを次の式（３）のようにモデル化して
いる。

【００１４】

【数２】但し、ｖ´_ｘ；ｘ方向の動きベクトル成分ｖ´_ｙ；ｙ方向の動きベクトル成分（ｘ，ｙ）；座標ａ〜ｆ；アフィンパラメータここで、同じ領域内に属する画素は、式（３）に示すア
フィンパラメータを持ち、同じ動きを持つと仮定してい
る。即ち、同じアフィンパラメータで動きベクトルを表
現できると仮定する。そして、アフィンパラメータ計算
部（ＣＡ）１３において最小２乗法を用いてアフィンパ
ラメータを計算する。

【００１５】例えば、ｘ方向について説明する。アフィ
ンモデルは、式（３）から、次の式（４）で示される。ｖ´_ｘ＝ａｘ＋ｂｙ＋ｅ・・・（４）実際の動きベクトルをｖ_ｘとすると、誤差ｒ（ｘ，ｙ）
は、次の式（５）で示される。ｒ（ｘ，ｙ）＝ｖ´_ｘ−ｖ_ｘ＝ａｘ＋ｂｙ＋ｅ−ｖ_ｘ・・・（５）領域Ｄ（領域分割された或る一つの領域）に対し、誤差
ｒ（ｘ，ｙ）の２乗和ｓを最小にするために、次の式
（６）を用いる。ｓ＝ｍｉｎΣｒ（ｘ，ｙ）^２・・・（６）誤差ｒを領域Ｄに対し行列表現すると、次の式（７）で
示される。ｒ＝Ａｘ−ｙ・・・（７）但し、

【数３】但し、（ｘ_ｉ，ｙ_ｉ）；領域内の画素の座標（ｉ＝１，・・
・，ｍ）ｒ_ｉ；座標（ｘ_ｉ，ｙ_ｉ）の画素に対する誤差ｖ_ｉ；座標（ｘ_ｉ，ｙ_ｉ）の画素に対する動きベクトル
のｘ成分式（６）に式（７）を代入し、最小２乗法で解くと、Ａ^ＴＡｘ＝Ａ^Ｔｙ・・・（９）但し、Ｔ；転置各項を具体的に計算すると、次の式（１０），（１
１），（１２）のようになる。

【００１６】

【数４】アフィンパラメータは式（９）から、次の式（１３）の
ように計算される。ｘ＝（Ａ^ＴＡ）^-1・Ａ^Ｔｙ・・・（１３）Ａ^ＴＡが特異な行列である場合、特異値分解法を用いて
妥協解を求める。即ち、Ａ^ＴＡは、例えば１画素のみの
領域（統合する画素がない場合）である場合や２画素の
領域でｘ方向或いはｙ方向に連なる場合に特異になる。

【００１７】先ず、Ａ^ＴＡを次の特異値分解式（１４）
を用いて表現する。Ａ^ＴＡ＝Ｕ・Ｗ・Ｖ^Ｔ・・・（１４）但し、Ｕ；列直交行列Ｗ；対角行列Ｖ；直交行列式（１４）より、ｘ＝Ｖ・Ｗ^-1・Ｕ^Ｔ・Ａ^Ｔｙ＝Ｖ・［ｄｉａｇ（１／ｗ_ｊ）］・Ｕ^Ｔ・Ａ^Ｔｙ・・・（１５）但し、ｗ_ｊ；Ｗの対角成分［ｄｉａｇ（ｐ_ｊ）］；ｐ_ｊをｊ番目の対角成分とした
対角行列Ａ^ＴＡが特異であると、ｗ_ｊは０になるので、その場合
の１／ｗ_ｊを０と置く。そして、式（１５）を解くと、
ｘの妥協解が求められる。ここで求められるｘは式
（９）の厳密な解ではないが、全ての可能なｘの中で最
小２乗法の意味で最良となる。

【００１８】又、ｗ_ｊが非常に小さい場合には、丸め誤
差に埋もれて正確な値が分からない。従って、この場合
にも閾値Ｔｈｒ₂を用いて次の式（１６）に示すよう
に、ｗ_ｊが閾値Ｔｈｒ₂より小さい場合には１／ｗ_ｊを
０にする。ｗ_ｊ＜Ｔｈｒ₂のとき、１／ｗ_ｊを０にする。ｗ_ｊ≧Ｔｈｒ₂のとき、そのまま・・・（１６）動きベクトル計算部（ＣＭＶ）１５において、アフィン
パラメータ計算部（ＣＡ）１３で求められたアフィンパ
ラメータＳ１３を式（３）に代入して各領域毎に各画素
毎の動きベクトルが計算される。そして、動きベクトル
推定部（ＭＥ）１１で求めた動きベクトルに置き換えて
出力信号Ｓ１５として出力される。

【００１９】以上のように、この第１の実施形態では、
動きベクトル推定部（ＭＥ）１１に、現フレームを領域
分割し、その中の動きベクトルは同じアフィンパラメー
タで表現できると仮定して動きの修正を行なう領域分割
部（ＲＧ）１４、動きベクトル蓄積部（ＭＶＭ）１２、
アフィンパラメータ計算部（ＣＡ）１３、及び動きベク
トル計算部（ＣＭＶ）１５を加えたので、以下の利点が
ある。（ａ）同じ領域内では同じ動きベクトルとするので、
部分的に誤った動きベクトルが存在しても、それを修正
できる。（ｂ）仮にブロック毎に動きベクトルを検出しても、
本実施形態により、画素毎の動きベクトルを得ることが
できる。（ｃ）同じ領域上では、動きに不連続な点が生じな
い。（ｄ）領域に分割しているので、画像の構造と動きの
関係を把握しやすい。第２の実施形態図５は、本発明の第２の実施形態を示す動きベクトル検
出装置の構成ブロック図であり、図１中の要素と共通の
要素には共通の符号が付されている。

【００２０】この動きベクトル検出装置は、図１の動き
ベクトル検出装置と同様に、動きベクトル推定部（Ｍ
Ｅ）１１、動きベクトル蓄積部（ＭＶＭ）１２、アフィ
ンパラメータ計算部（ＣＡ）１３、及び領域分割部（Ｒ
Ｇ）１４を有している。アフィンパラメータ計算部（Ｃ
Ａ）１３の出力側は、加算部（＋）１６の第１の入力端
子に接続されている。加算部１６の出力端子は、動きベ
クトル計算部（ＣＭＶ）１５の入力側に接続されてい
る。動きベクトル計算部（ＣＭＶ）１５の出力側は、当
該演算処理の反復条件または収束条件を判定する収束判
定部（ＪＣ）１７の第１の入力端子に接続されている。
収束判定部（ＪＣ）１７の第２の入力端子には、動きベ
クトル蓄積部（ＭＶＭ）１２の出力信号Ｓ１２ｂが入力
されるようになっている。収束判定部（ＪＣ）１７の第
１の出力端子からは検出ベクトルＳ１７Ａ（即ち、最終
的な動きベクトル信号）が出力されるようになってい
る。収束判定部（ＪＣ）１７の第２の出力端子は、アフ
ィンパラメータの補正項を計算する補正項計算部１８の
入力側に接続されている。補正項計算部１８の出力側
は、前記加算部（＋）１６の第１の入力端子に接続され
ると共に、収束判定部（ＪＣ）１７の第３の入力端子に
接続されている。

【００２１】図６は、図５中の収束判定部（ＪＣ）１７
の構成ブロック図である。この収束判定部（ＪＣ）１７
では、動きベクトル蓄積部（ＭＶＭ）１２の出力信号Ｓ
１２ｂは、誤差計算部（ＶＶ）１７ａ及び動きベクトル
差分部（ＤＶ）１７ｂに入力されてようになっている。
いる。動きベクトル計算部（ＣＭＶ）１５の出力信号Ｓ
１５も、同様に動きベクトル差分部（ＤＶ）１７ｂに入
力されてようになっている。補正項計算部１８の出力信
号Ｓ１８は、最大値判定部（ＪＭ）１７ｃに入力されて
ようになっている。誤差計算部（ＶＶ）１７ａの出力信
号Ｓ１７ａ及び最大値判定部（ＪＭ）１７ｃの出力信号
Ｓ１７ｃは、動きベクトル差分部（ＤＶ）１７ｂに送ら
れ、出力信号Ｓ１７Ａ，Ｓ１７Ｂが出力されるようにな
っている。図７は、図５中の補正項計算部１８の構成ブ
ロック図である。この補正項計算部１８は、収束判定部
（ＪＣ）１７の出力信号Ｓ１７Ｂを入力する平均見積り
部（ＣＳ）１８ａを有している。平均見積り部（ＣＳ）
１８ａの出力側は、重み計算部（ＣＷ）１８ｂの入力側
に接続されている。重み計算部（ＣＷ）１８ｂの出力側
は重み付けデータ作成部（ＭＤ）１８ｃの第１の入力端
子に接続されている。又、重み付けデータ作成部（Ｍ
Ｄ）１８ｃの第２の入力端子には、出力信号Ｓ１７Ｂが
入力されるようになっている。重み付けデータ作成部
（ＭＤ）１８ｃの出力端子は、パラメータ補正項計算部
（ＣＤＡ）１８ｄの入力側に接続されている。パラメー
タ補正項計算部（ＣＤＡ）１８ｄの出力側からは補正項
として出力信号Ｓ１８が出力されるようになっている。

【００２２】次に、図６及び図７を参照しつつ、図５の
動作を説明する。アフィンパラメータ計算部（ＣＡ）１
３までは図１と同様の動作を行う。収束判定部（ＪＣ）
１７において、反復演算処理が初回の時は、出力信号Ｓ
１２ｂ及び出力信号Ｓ１５により、該出力信号Ｓ１５を
そのまま出力信号Ｓ１７Ａとして出力して動きベクトル
検出を終了するか、或いは出力信号Ｓ１５と出力信号Ｓ
１２ｂとの残差ｚ（ｘ，ｙ）をとり、出力信号Ｓ１７Ｂ
として出力するかを決定する。ここで、全ての領域につ
いて反復演算を行うと効率が悪いので、上記手段により
反復演算をするか否かを決定する。２回目以降は出力信
号Ｓ１８に基づき、収束しているか否かを判定し、収束
していればその時点の計算された動きベクトルＳ１５を
出力信号Ｓ１７Ａとして出力し、動きベクトルの修正を
終了する。収束していなければ、前記残差ｚ（ｘ，ｙ）
をとり、出力信号Ｓ１７Ｂとして出力する。

【００２３】図６において、誤差計算部（ＶＶ）１７ａ
において、推定された動きベクトル信号Ｓ１２ｂと計算
された動きベクトル信号Ｓ１５の平均２乗誤差が領域毎
に次の式（１７），（１８），（１９）のように調べら
れる。

【００２４】

【数５】但し、（ｖ_{ｘ，ｄｅｃ}，ｖ_{ｙ，ｄｅｃ}）；検出された動きベク
トル（ｖ_{ｘ，ｃａｌ}，ｖ_{ｙ，ｃａｌ}）；動きベクトル計算部
（ＣＭＶ）１５で計算された動きベクトル動きベクトル差分部（ＤＶ）１７ｂにおいて、反復演算
処理が初回の時は次の式（２０）のように、誤差計算部
（ＶＶ）１７ａから送られてきた平均２乗誤差が閾値以
下であれば、計算された動きベクトル信号Ｓ１５を出力
信号Ｓ１７Ａとして出力する。平均２乗誤差が前記閾値
より大きければ、推定された動きベクトル信号Ｓ１２ｂ
と計算された動きベクトル信号Ｓ１５との残差ｚ（ｘ，
ｙ）を出力信号Ｓ１７Ｂとして出力する。

【００２５】

【数６】但し、残差ｚ（ｘ，ｙ）は次の式（２１）で示される。

【００２６】

【数７】領域内の動きベクトルの平均２乗誤差が前記閾値より小
さい場合は、領域内の動きベクトルにばらつきが少ない
ので、領域内で検出された動きベクトルには検出誤りが
ないとみなして、反復演算処理は必要ないと判断する。
一方、領域内の動きベクトルの平均２乗誤差が前記閾値
より大きければ、領域内の動きベクトルにばらつきがあ
り、領域内に検出誤りを起こした画素が存在するとみな
して、反復演算処理を必要とすると判断する。

【００２７】２回目以降では、最大値判定部（ＪＭ）１
７ｃからの出力信号Ｓ１７ｃが収束を示していれば、そ
の時の計算された動きベクトル信号Ｓ１５を出力信号Ｓ
１７Ａとして出力する。出力信号Ｓ１７ｃが収束を示し
ていなければ、再び残差ｚ（ｘ，ｙ）を計算し、出力信
号Ｓ１７Ｂとして出力し、反復演算処理を続ける。即
ち、最大値判定部（ＪＭ）１７ｃにおいて、計算された
アフィンパラメータが収束しているか否かの判定を行な
う。判定方法は、次の式（２２）に示すように、補正項
のうち、絶対値の最大のものと閾値Ｔｈｍとを比ベ、該
閾値以下であればこれ以上改善されないとし、該閾値よ
り大きければ更に改善できるとしてそれらの識別信号を
Ｓ１７ｃとして出力する。ｍａｘ｜Δａ，・・・，Δｆ｜≦Ｔｈｍ：収束しているｍａｘ｜Δａ，・・・，Δｆ｜＞Ｔｈｍ：収束していない・・・（２２）補正項計算部（ＲＥ）１８において、アフィンパラメー
タの補正項が計算される。

【００２８】図７において、入力信号Ｓ１７ｂ（即ち、
残差ｚ（ｘ，ｙ））が平均見積り部（ＣＳ）１８ａに入
力され、次の式（２３）に示すように残差｜ｚ（ｘ，
ｙ）｜の平均的な大きさｓを中央値を用いて見積もる。ｓ≡ｍｅｄｉａｎ｜ｚ（ｘ，ｙ）｜，（ｘ，ｙ）∈Ｄ・・・（２３）そして、ｓを出力信号Ｓ１８ａとして出力する。重み計
算部（ＣＷ）１８ｂにおいて、以下のように各残差ｚ
（ｘ，ｙ）に対応して、Ｂｉｗｅｉｇｈｔ推定法を用い
て有効重みＳ１８ｂ（即ち、ｗ（ｘ，ｙ））を計算す
る。

【００２９】

【数８】重み付けデータ作成部（ＭＤ）１８ｃにおいて、有効重
みＳ１８ｂ及び残差信号Ｓ１７Ｂを掛け合わせて、次の
式（２５）に示すように、領域Ｄ内の重み付けデータＳ
１８ｃ（即ち、ｗｄ（ｘ，ｙ））を作成する。ｗｄ（ｘ，ｙ）＝ｗ（ｘ，ｙ）・ｚ（ｘ，ｙ），（ｘ，ｙ）∈Ｄ・・・（２５）パラメータ補正項計算部（ＣＤＡ）１８ｄにおいて、ア
フィンパラメータの補正項が最小２乗法を用いて計算さ
れる。

【００３０】具体的には、ｘ方向に関しては、ｙ´＝（ｗｄ_１、ｗｄ_２，・・・，ｗｄ_ｍ）^Ｔ及びｘ´＝（Δａ，Δｂ，Δｅ）^Ｔとして、式（９）のｙ及びｘと置き換えて、補正項ｘ´
を求める。ｙ方向に関しても同様である。但し、ｗｄ_ｉ
（ｉ＝１，２，・・・，ｍ）は、ｗｄ（ｘ，ｙ）を１列
に並べたものである。そして、計算された補正項が出力
信号Ｓ１８となる。加算部（＋）１６において、蓄積
されていた元の６個のアフィンパラメータａ〜ｆと補正
項計算部（ＲＥ）１８において計算されたアフィンパラ
メータの補正項Δａ〜Δｆ（即ち、出力信号Ｓ１８）が
次の式（２６）及び式（２７）によって、加え合わさ
れ、再び蓄積される。

【００３１】

【数９】以上の手法はロバスト推定法という方法であり、一部に
検出誤りを起こした動きベクトルを含んでいても修正で
きる。

【００３２】他の部分については、第１の実施形態と同
じである。以上のように、この第２の実施例によれば、
最小２乗法は、一般的にデータ中に外れ値がある場合
に、パラメータをうまく推定できないという欠点があ
り、動きベクトルの修正を行なう場合にも、一部に検出
誤りが存在する時にアフィンパラメータをうまく推定で
きないことがあるが、本実施形態では、第１の実施形態
に、ロバスト推定法を用いた反復的な動きベクトル修正
を行なう収束判定部（ＪＣ）１７及び補正項計算部（Ｒ
Ｅ）１８を加えたので、第１の実施形態の利点に加え
て、システムの演算能力に余裕のある場合には、動きベ
クトルの修正を更に高精度で行なうことができる。

【００３３】第３の実施形態図８は、本発明の第３の実施形態を示す動きベクトル検
出装置の構成ブロック図である。この動きベクトル検出
装置は、図１中の動きベクトル推定部（ＭＥ）１１を階
層的動きベクトル推定部（ＨＭＥ）２１に置き換えたも
のであり、それに伴い、入力信号Ａ，Ｂは階層的動きベ
クトル推定部（ＨＭＥ）２１に入力され、該階層的動き
ベクトル推定部（ＨＭＥ）２１の出力信号Ｓ２１ａは動
きベクトル蓄積部（ＭＶＭ）１２に入力されるようにな
っている。又、階層的動きベクトル推定部（ＨＭＥ）２
１の出力信号Ｓ２１ｂは、領域分割部（ＲＧ）１４に入
力されるようになっている。他は、図１と同様である。
図９は、図８中の階層的動きベクトル推定部（ＨＭＥ）
２１の一例を示す構成ブロック図である。この階層的動
きベクトル推定部（ＨＭＥ）２１では、前フレーム信号
入力信号Ａ及び現フレーム信号Ｂは、それぞれ（ｎ＋
１）段（ｎ；１以上の正の整数）の帯域信号からなって
いる。前フレーム信号Ａの０階層目の帯域信号Ａ−０
は、１段目の階層画像復元部（ＭＨＲ）２１ｂ−１及び
０段目の動きベクトル推定部（ＭＥ）２１ａ−０に入力
されるようになっている。現フレーム信号Ｂの０階層目
の帯域信号Ｂ−０は、１段目の階層画像復元部（ＭＨ
Ｒ）２１ｃ−１及び０段目の動きベクトル推定部（Ｍ
Ｅ）２１ａ−０に入力されるようになっている。

【００３４】前フレーム信号Ａの１階層目の帯域信号Ａ
−１は、１段目の階層画像復元部（ＭＨＲ）２１ｂ−１
に入力され、その出力信号Ｓ２１ｂ−１は１段目の動き
ベクトル推定部（ＭＥ）２１ａ−１及び図示しない２段
目の階層画像復元部（ＭＨＲ）２１ｂ−２に入力される
ようになっている。現フレーム信号Ｂの１階層目の帯域
信号Ｂ−１は１段目の階層画像復元部（ＭＨＲ）２１ｃ
−１に入力され、その出力信号Ｓ２１ｃ−１は１段目の
動きベクトル推定部（ＭＥ）２１ａ−１及び図示しない
２段目の階層画像復元部（ＭＨＲ）２１ｃ−２に入力さ
れるようになっている。同様に、ｉ（１≦ｉ≦ｎ）段目
の前フレーム信号Ａの階層画像復元部（ＭＨＲ）２１ｂ
−ｉは、前段の階層画像復元部の出力信号及びｉ階層目
の帯域信号Ａ−ｉを入力とし、その出力信号Ｓ２１ｂ−
ｉはｉ段目の動きベクトル推定部（ＭＥ）２１ａ−ｉに
入力されるようになっている。又、ｉ（１≦ｉ≦ｎ）段
目の現フレーム信号の階層画像復元部（ＭＨＲ）２１ｃ
−ｉは、前段の階層画像復元部の出力及びｉ階層目の帯
域信号Ｂ−ｉを入力とし、その出力信号Ｓ２１ｃ−ｉは
ｉ段目の動きベクトル推定部（ＭＥ）２１ａ−ｉに入力
されるようになっている。又、０段目の動きベクトル推
定部（ＭＥ）２１ａ−０の出力信号Ｓ２１ａ−０は１段
目の動きベクトル推定部（ＭＥ）２１ａ−１に入力さ
れ、該動きベクトル推定部（ＭＥ）２１ａ−１の出力信
号Ｓ２１ａ−１は、図示しない２段目の動きベクトル推
定部２１ａ−２に送出されるようになっている。

【００３５】更に、ｉ段目の動きベクトル推定部（Ｍ
Ｅ）２１ａ−ｉは（ｉ−１）段目の動きベクトル推定部
からの出力信号及び出力信号Ｓ２１ｂ−ｉと出力信号Ｓ
２１ｃ−ｉとを入力とし、その出力信号Ｓ２１ａ−ｉは
（ｉ＋１）段目の動きベクトル推定部（ＭＥ）に送出さ
れるようになっている。但し、０段目の動きベクトル推
定部（ＭＥ）２１ａ−０においては、入力動きベクトル
信号をゼロであるとして扱うと、各階層の動きベクトル
推定部（ＭＥ）が同一構成となる。そして、ｎ段目の動
きベクトル推定部（ＭＥ）２１ａ−ｎの出力信号Ｓ２１
ａ−ｎが最終的な検出動きベクトル信号となる。又、現
フレーム画像Ｂのｎ段目の階層画像復元部（ＭＨＲ）か
らの出力信号Ｓ２１ｃ−ｎも外部に接続される。次に、
図９の動作を説明する。各段の前フレーム画像の階層画
像復元部（ＭＨＲ）２１ｂ−ｉ（０≦ｉ≦ｎ）におい
て、前フレーム画像の帯域分割信号、及び前段の階層画
像復元部からの出力信号を用いてｉ段目の前フレーム画
像の階層画像が復元される。

【００３６】同様に、各段の現フレーム画像Ｂの階層画
像復元部（ＭＨＲ）２１ｃ−ｉ（０≦ｉ≦ｎ）におい
て、現フレーム画像の帯域分割信号及び、前段の階層画
像復元部からの出力を用いてｉ段目の現フレーム画像の
階層画像が復元される。更に、各段の動きベクトル推定
部（ＭＥ）２１ａ−ｉ（０≦ｉ≦ｎ）において、前フレ
ーム画像Ａ及び現フレーム画像Ｂの階層画像信号を用い
て動きベクトルの推定を行なう。例えば、前段の動きベ
クトル推定部（ＭＥ）から入力された動きベクトル信号
は、前段で用いられた階層画像の解像度が半分であるた
め、２倍される。そしてこの動きベクトルを初期変位と
して、周囲ｑ×ｑ（ｑ≧１の整数）画素を探索する。更
に、マッチング誤差を式（１）を用いて計算し、最小に
なる時の動きベクトルを当該階層における検出された動
きベクトルとする。図１０は、図９中の階層画像復元部
（ＭＨＲ）の一例を示す構成ブロック図である。この図
１０では、帯域信号が例えばウェーブレット信号である
場合の構成が示されている。

【００３７】この階層画像復元部（ＭＨＲ）では、入力
信号Ａ−ｉは、例えば３つの信号Ａ−ｉ−１，Ａ−ｉ−
２，Ａ−ｉ−３から成り、それぞれアップサンプリング
部（ＵＰ）２１ｂ−ａ，２１ｂ−ｂ，２１ｂ−ｃに入力
されるようになっている。又、入力信号Ａ−０も同様に
アップサンプリング部（ＵＰ）２１ｂ−ｄに入力される
ようになっている。アップサンプリング部（ＵＰ）２１
ｂ−ａ，２１ｂ−ｃの出力側は、それぞれフィルタ部
（Ｇ）２１ｂ−ｅ，２１ｂ−ｆの入力側に接続されてい
る。又、アップサンプリング部（ＵＰ）２１ｂ−ｂ，２
１ｂ−ｄの出力側は、それぞれフィルタ部（Ｈ）２１ｂ
−ｇ，２１ｂ−ｈの入力側に接続されている。フィルタ
部（Ｇ）２１ｂ−ｅの出力側及びフィルタ部（Ｈ）２１
ｂ−ｇの出力側は、加算部（＋）２１ｂ−ｊの各入力端
子に接続されている。同様に、フィルタ部（Ｇ）２１ｂ
−ｆの出力側及びフィルタ部（Ｈ）２１ｂ−ｈの出力側
は、加算部（＋）２１ｂ−ｋの各入力端子に接続されて
いる。加算部（＋）２１ｂ−ｊ，２１ｂ−ｋの出力側
は、アップサンプリング部（ＵＰ）２１ｂ−ｌ，２１ｂ
−ｍの入力側にそれぞれ接続されている。アップサンプ
リング部（ＵＰ）２１ｂ−ｌ，２１ｂ−ｍの出力側は、
フィルタ部（Ｇ）２１ｂ−ｎ，（Ｈ）２１ｂ−ｏにそれ
ぞれ接続されている。これらのフィルタ２１ｂ−ｅ，２
１ｂ−ｆ，２１ｂ−ｇ，２１ｂ−ｈ，２１ｂ−ｎ，２１
ｂ−ｏは、画像信号を帯域分割するのに用いられたウェ
ーブレットフィルタに対応するもの（即ち、該ウェーブ
レットフィルタの逆特性のもの）を用いる。フィルタ部
（Ｇ）２１ｂ−ｎの出力側及びフィルタ部（Ｈ）２１ｂ
−ｏの出力側は、加算部（＋）２１ｂ−ｐの各入力端子
に接続されている。加算部（＋）２１ｂ−ｐの出力側は
乗算器（×４）２１ｂ−ｑの入力側に接続され、該乗算
器（×４）２１ｂ−ｑの出力側から階層画像信号Ｓ２１
ｂ−ｉが出力されるようになっている。

【００３８】次に、図１０の動作を説明する。図１０で
は、入力信号Ａ−ｉ−１は、行方向及び列方向共に高域
通過型フィルタを掛けた信号を、行方向及び列方向にダ
ウンサンプリングしたウェーブレット変換画像信号であ
る。入力信号Ａ−ｉ−２は行方向に高域通過型フィル
タ、及び列方向に低域通過型フィルタが掛けた信号を、
行方向及び列方向にダウンサンプリングしたウェーブレ
ット変換画像信号である。又、入力信号Ａ−ｉ−３は行
方向に低域通過型フィルタ、及び列方向に高域通過型フ
ィルタが掛けた信号を、行方向及び列方向にダウンサン
プリングしたウェーブレット変換画像信号である。入力
信号Ａ−０は、行方向及び列方向共に低域通過型フィル
タが掛けた信号を、行方向及び列方向にダウンサンプリ
ングしたウェーブレット変換画像信号である。アップサ
ンプリング部（ＵＰ）２１ｂ−ａ，２１ｂ−ｂ，２１ｂ
−ｃ，２１ｂ−ｄにおいて、入力信号Ａ−ｉ−１，Ａ−
ｉ−２，Ａ−ｉ−３，Ａ−０は、行方向に対してそれぞ
れアップサンプリングが行なわれる。更に、アップサン
プリング部（ＵＰ）２１ｂ−ａの出力信号Ｓ２１ｂ−ａ
は、フィルタ部（Ｇ）２１ｂ−ｅで、行方向に高域通過
型フィルタが掛けられる。又、アップサンプリング部
（ＵＰ）２１ｂ−ｂの出力信号Ｓ２１ｂ−ｂは、フィル
タ部（Ｈ）２１ｂ−ｇで、行方向に低域通過型フィルタ
が掛けられる。同様に、アップサンプリング部（ＵＰ）
２１ｂ−ｃの出力信号Ｓ２１ｂ−ｃは、フィルタ部
（Ｇ）２１ｂ−ｆで、行方向に高域通過型フィルタが掛
けられる。アップサンプリング部（ＵＰ）２１ｂ−ｄの
出力信号Ｓ２１ｂ−ｄは、フィルタ部（Ｈ）２１ｂ−ｈ
で、行方向に低域通過型フィルタが掛けられる。

【００３９】フィルタ部（Ｇ）２１ｂ−ｅの出力信号Ｓ
２１ｂ−ｅとフィルタ部（Ｈ）２１ｂ−ｇの出力信号Ｓ
２１ｂ−ｇとが加算部（＋）２１ｂ−ｊで加算される。
同様に、フィルタ部（Ｇ）２１ｂ−ｆの出力信号Ｓ２１
ｂ−ｆとフィルタ部（Ｈ）２１ｂ−ｈの出力信号Ｓ２１
ｂ−ｈとが加算部（＋）２１ｂ−ｋで加算される。加算
部（＋）２１ｂ−ｊの出力信号Ｓ２１ｂ−ｊは、アップ
サンプリング部（ＵＰ）２１ｂ−ｌで列方向に対してア
ップサンプリングが行なわれる。同様に、加算部（＋）
２１ｂ−ｋの出力信号Ｓ２１ｂ−ｋは、アップサンプリ
ング部（ＵＰ）２１ｂ−ｍで列方向に対してアップサン
プリングが行なわれる。アップサンプリング部（ＵＰ）
２１ｂ−ｌの出力信号Ｓ２１ｂ−ｌは、フィルタ部
（Ｇ）２１ｂ−ｎで、列方向に高域通過型フィルタが掛
けられる。アップサンプリング部（ＵＰ）２１ｂ−ｍの
出力信号Ｓ２１ｂ−ｍは、フィルタ部（Ｈ）２１ｂ−ｏ
で、列方向に低域通過型フィルタが掛けられる。フィル
タ部（Ｇ）２１ｂ−ｎの出力信号Ｓ２１ｂ−ｎとフィル
タ部（Ｈ）２１ｂ−ｏの出力信号Ｓ２１ｂ−ｏとが加算
部（＋）２１ｂ−ｐで加算される。加算部（＋）２１ｂ
−ｐの出力信号Ｓ２１ｂ−ｐは、乗算部（×４）２１ｂ
−ｑで４倍され、最終的な出力信号Ｓ２１ｂ−ｉとな
る。次に、図８の動作を説明する。

【００４０】階層的動き推定部（ＨＭＥ）２１は、帯域
分割信号Ａ，Ｂから階層を復元しながら上位階層から順
次動き推定を行なう。そして、検出結果を信号２１ａと
して出力する。又、階層的動き推定部（ＨＭＥ）２１
は、領域分割部（ＲＧ）において領域分割する際に、帯
域分割信号Ａ，Ｂでは領域分割できないので、階層的動
き推定部（ＨＭＥ）２１で生成される原画像と同じ解像
度の階層画像をＳ２１ｂとして出力する。以下、第１の
実施形態と同様の動作を行う。以上のように、この第３
の実施形態では、帯域分割信号で構成された前フレーム
信号Ａ及び現フレーム信号Ｂが入力された場合、該帯域
分割信号から階層を生成しながら動きベクトルの推定を
行なう階層的動きベクトル推定部２１を設け、帯域分割
信号Ａ，Ｂを領域分割に使うようにしたので、階層を復
元しながら原画像が復元される。そのため、別途領域分
割用画像の生成部を必要とせず、装置が簡単になる。

【００４１】第４の実施形態図１１は、本発明の第４の実施形態を示す動きベクトル
検出装置の構成ブロック図であり、図５及び図８中の要
素と共通の要素には共通の符号が付されている。この動
きベクトル検出装置は、図５中の動きベクトル推定部
（ＭＥ）１１を階層的動きベクトル推定部（ＨＭＥ）２
１に置き換えたものであり、それに伴い、入力信号Ａ，
Ｂは階層的動きベクトル推定部（ＨＭＥ）２１に入力さ
れ、該階層的動きベクトル推定部（ＨＭＥ）２１の出力
信号Ｓ２１ａは動きベクトル蓄積部（ＭＶＭ）１２に入
力されるようになっている。又、階層的動きベクトル推
定部（ＨＭＥ）２１の出力信号Ｓ２１ｂは、領域分割部
（ＲＧ）１４に入力されるようになっている。他は、図
５と同様である。階層的動き推定部（ＨＭＥ）２１の動
作は、第３の実施形態と同様であり、他は第２の実施形
態と同様である。

【００４２】以上のように、この第４の実施形態では、
第３の実施形態と同様の階層的動きベクトル推定部２１
を設け、帯域分割信号Ａ，Ｂを領域分割に使うようにし
たので、階層を復元しながら原画像が復元される。その
ため、第２の実施形態の利点に加えて、別途領域分割用
画像の生成部を必要とせず、装置が簡単になる。尚、本
発明は上記実施形態に限定されず、種々の変形が可能で
ある。その変形例としては、例えば次のようなものがあ
る。（ａ）動きベクトルの推定方法は「パタンマッチング
法」の他、例えば、勾配法等がある。（ｂ）図１０は、帯域分割信号にウェーブレット信号
を用いた場合のウェーブレット逆変換の１例であり、ウ
ェーブレット逆変換法を限定するものではない。

【００４３】

【発明の効果】以上詳細に説明したように、第１の発明
によれば、従来の動きベクトル推定部に、現フレームを
領域分割して該各領域中の動きベクトルは同じアフィン
パラメータで表現できると仮定して動きの修正を行なう
領域分割部、動きベクトル蓄積部、アフィンパラメータ
計算部、及び動きベクトル計算部を設けたので、以下の
効果がある。（ｉ）同じ領域内では同じ動きベクトルとするので、
部分的に誤った動きベクトルが存在しても、それを修正
できる。（ii）ブロック毎に動きベクトルを検出しても、最終
的に画素毎の動きベクトルが得られ、動きベクトルの精
度を向上できる。 (iii）同じ領域上では、動きに不連続な点が生じな
い。（iv）領域に分割しているので、画像の構造と動きの
関係を把握しやすい。第２の発明によれば、動きベクトルの修正を必要に応じ
て反復して行なう収束判定部及び補正項計算部を設けた
ので、第１の発明の効果に加えて、システムの演算能力
に余裕のある場合には、動きベクトルの修正を更に精度
良く行なうことができる。第８の発明によれば、帯域分
割信号で構成された前フレーム信号及び現フレーム信号
が入力された場合に、該帯域分割信号から階層を生成し
ながら動きベクトルの推定を行なう階層的動きベクトル
推定部を設け、該帯域分割信号を領域分割に使用するよ
うにしたので、階層を復元しながら原画像が復元され
る。そのため、別途領域分割用画像の生成部を必要とせ
ず、装置を簡単にできる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態を示す動きベクトル検
出装置の構成ブロック図である。

【図２】従来の動きベクトル検出装置の構成ブロック図
である。

【図３】従来の動きベクトル探索方法を説明する図であ
る。

【図４】領域分割方法を説明する図である。

【図５】本発明の第２の実施形態を示す動きベクトル検
出装置の構成ブロック図である。

【図６】図５中の収束判定部の構成ブロック図である。

【図７】図５中の補正項計算部の構成ブロック図であ
る。

【図８】本発明の第３の実施形態を示す動きベクトル検
出装置の構成ブロック図である。

【図９】図８中の階層的動きベクトル推定部の構成ブロ
ック図である。

【図１０】図９中の階層画像復元部の構成ブロック図で
ある。

【図１１】本発明の第４の実施形態を示す動きベクトル
検出装置の構成ブロック図である。

【符号の説明】

１１動きベ
クトル推定部１２動きベ
クトル蓄積部１３アフィ
ンパラメータ計算部１４領域分
割部１５動きベ
クトル計算部１６加算部１７収束判
定部１７ａ誤差計
算部１７ｂ動きベ
クトル差分部１７ｃ最大値
判定部１８補正項
計算部１８ａ平均見
積り部１８ｂ重み計
算部１８ｃ重み付
けデータ計算部１８ｄパラメ
ータ補正項計算部２１階層的
動きベクトル推定部２１ａ−ｉ（ｉ；０〜ｎ）動きベ
クトル推定部２１ｂ−ｉ（ｉ；１〜ｎ）第１の
階層画像復元部２１ｃ−ｉ（ｉ；１〜ｎ）第２の
階層画像復元部

Claims

【特許請求の範囲】

【請求項１】前フレーム画像と現フレーム画像との間
の動きベクトルを検出する動きベクトル検出装置におい
て、前記前フレーム画像及び前記現フレーム画像に基づいて
画像の各ブロック毎又は該各ブロック中の各画素毎の動
きベクトルを推定する動きベクトル推定部と、前記推定された動きベクトルを前記各ブロック毎又は該
各ブロック中の各画素毎に蓄積する動きベクトル蓄積部
と、前記現フレーム画像の或る着目画素の濃度値と該着目画
素の近傍画素の濃度値との差分を所定の閾値と比較する
ことにより該現フレーム画像を複数の領域に分割し、該
各画素が含まれる領域を表す領域分割情報を生成する領
域分割部と、前記動きベクトル蓄積部に蓄積された動きベクトル及び
前記領域分割情報に基づき前記各領域中の各画素毎にア
フィン変換を行うためのアフィンパラメータを計算する
アフィンパラメータ計算部と、前記アフィンパラメータを用いて前記各領域中の各画素
毎の動きベクトルを計算する動きベクトル計算部とを、備えたことを特徴とする動きベクトル検出装置。
【請求項２】前記動きベクトル蓄積部に蓄積された前
記推定された動きベクトルと前記動きベクトル計算部で
計算された動きベクトルとを比較して前記動きベクトル
計算部で計算された動きベクトルを補正するための補正
演算処理の反復条件又は収束条件を判定する収束判定部
と、前記計算された動きベクトルと前記推定された動きベク
トルとの前記各画素毎の残差の中央値に基づいた重みを
前記残差に掛けることにより前記アフィンパラメータの
補正項を計算する補正項計算部と、前記アフィンパラメータに前記補正項を加算して前記動
きベクトル計算部へ送出する加算部とを、設けたことを特徴とする請求項１記載の動きベクトル検
出装置。
【請求項３】前記収束判定部は、前記推定された動きベクトルと前記計算された動きベク
トルとの平均２乗誤差を計算する誤差計算部と、当該領域内の前記平均２乗誤差が前記閾値より小さい場
合に前記計算された動きベクトルをそのまま出力し、前
記平均２乗誤差が前記閾値より大きい場合に前記計算さ
れた動きベクトルと前記推定された動きベクトルとの残
差を出力する動きベクトル差分部と、前記補正項のうちの絶対値の最大のものと所定の閾値と
比較することにより、該補正項が収束しているか否かを
判定する最大値判定部とを、備えたことを特徴とする請求項２記載の動きベクトル検
出装置。
【請求項４】前記動きベクトル差分部は、前記補正演
算処理が初回の場合、前記誤差計算部の出力信号である
前記検出された動きベクトルと前記計算された動きベク
トルとの平均２乗誤差が所定の閾値より小さければ、前
記計算された動きベクトルをそのまま出力し、前記平均
２乗誤差が前記閾値より大きければ、前記計算された動
きベクトルと前記検出された動きベクトルとの残差を出
力し、前記補正演算処理が２回目以降の場合、前記最大
値判定部から収束したという信号を受けとれば前記計算
された動きベクトルを出力し、前記最大値判定部から収
束していないという信号を受けとれば再び前記計算され
た動きベクトルと前記検出された動きベクトルとの残差
を出力する構成としたことを特徴とする請求項２又は３
記載の動きベクトル検出装置。
【請求項５】前記最大値判定部は、入力されたアフィンパラメータの複数の補正項の絶対値
の最大値が所定の閾値以上であれば収束していないと判
定し、該最大値が該閾値より小さければ収束したと判定
し、該判定結果に対応した識別信号を出力する構成とし
たことを特徴とする請求項２、３又は４記載の動きベク
トル検出装置。
【請求項６】前記補正項計算部は、前記推定された動きベクトルと前記計算された動きベク
トルとの前記各画素毎の残差の中央値を求める平均見積
り部と、前記各画素毎の残差に対する重みをそれぞれ計算する重
み計算部と、前記各残差に前記残差に対する重みを掛けることによ
り、各重み付けデータを作成する重み付けデータ計算部
と、前記重み付けデータから最小２乗法を用いて前記アフィ
ンパラメータの補正項を計算するパラメータ補正項計算
部とを、備えたことを特徴とする請求項２、３、４又は５記載の
動きベクトル検出装置。
【請求項７】前記重み計算部は、Ｂｉｗｅｉｇｈｔ推定法を用いて前記推定された動きベ
クトルと前記計算された動きベクトルとの前記各画素毎
の残差に対する重みを計算することを特徴とする請求項
２、３、４、５又は６記載の動きベクトル検出装置。
【請求項８】前記動きベクトル推定部は、複数の階層に分割された帯域分割信号で構成された前フ
レーム画像及び現フレーム画像に基づいて各帯域毎に動
きベクトルを推定する階層的動きベクトル推定部で構成
したことを特徴とする請求項１、２、３、４、５、６又
は７記載の動きベクトル検出装置。
【請求項９】前記階層的動きベクトル推定部は、ｎ（ｎ；１以上の整数）段の階層に分割された第１の帯
域分割信号で構成された前フレーム画像を再構成するｎ
個の第１の階層画像復元部と、ｎ段の階層に分割された第２の帯域分割信号で構成され
た現フレーム画像を再構成するｎ個の第２の階層画像復
元部と、前記各第１の階層画像復元部の出力信号及び前記各第２
の階層画像復元部の出力信号から各動きベクトルをそれ
ぞれ推定する（ｎ＋１）個の動きベクトル推定部とを、備えたことを特徴とする請求項１、２、３、４、５、
６、７又は８記載の動きベクトル検出装置。