JPH07154801A

JPH07154801A - 階層型動きベクトル検出方法

Info

Publication number: JPH07154801A
Application number: JP29855193A
Authority: JP
Inventors: Masaaki Ishikawa; 雅朗石川
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1993-11-29
Filing date: 1993-11-29
Publication date: 1995-06-16

Abstract

(57)【要約】【目的】各階層画像におけるマッチング評価関数値の
極小値をとる点を、複数の検出動きベクトル候補とする
ことによって、動きベクトル誤検出の可能性を回避す
る。【構成】階層レベル０動きベクトル検出器１１は、参
照探索領域画像１０と、動き検出対象ブロック画像７に
ついて評価関数を計算し、評価関数値が極小値をとる全
ての点を検出して、検出動きベクトル候補１４を出力す
る。検出動きベクトル候補１４は２倍にスケーリング１
５され、その候補の全てが次階層の初期探索位置リスト
１６となって、階層レベル１の動きベクトル検出器１２
に入力される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像の動き補償フレ
ーム間予測符号化方式における動きベクトルの検出方法
に関する。

【０００２】

【従来の技術】動画像の符号化方式として、従来から動
き補償フレーム間予測と呼ばれる予測符号化方式が用い
られている。そして、予測効率を向上させるために画像
中の動領域の検出が必要となる。

【０００３】従来、動き補償フレーム間予測符号化方式
における動きベクトルの検出手法として、ブロックマッ
チング法がよく利用されている。このブロックマッチン
グ法は、動き検出対象ブロック（Ｎ×Ｎ画素領域）を参
照画像中の限られた探索範囲内の画像と画素単位で全て
の位置毎にマッチングをとり、マッチング評価関数を計
算し、最もマッチングのとれた位置を検出動きベクトル
とする手法である。マッチング評価関数としては、例え
ばブロック内の全画素について、画素毎の画素値の誤差
の絶対値の和をとったもの（絶対値誤差和）が使われ
る。

【０００４】ブロックマッチング法がよく使用されてい
る理由は、ある程度頑強な性能をもつためであるが、フ
ルサーチ（全探索）の場合、計算量が膨大になるという
問題がある。このため、３ステップサーチ法（例えば
「会議テレビ信号の動き補償フレーム間符号化」（信学
技報ＩＥ８１−５４１９８１−７）を参照）や階層化
サーチ法（例えば、「階層画素情報を用いた動画像にお
ける動き量検出方式」電子情報通信学会論文誌Ｄ−ＩＩ
Ｖol．Ｊ７２−Ｄ−ＩＩＮo．３ pp．３９５−４０３
１９８９年３月を参照）などの簡略化手法が種々提案
されている。

【０００５】３ステップサーチ法は、図１８に示すよう
に、全画素位置探索の代わりに、まず第１段として、粗
い探索点の間隔で３×３の９点のサーチを行い、最もマ
ッチングのとれた位置を中心に、探索点の間隔を、第１
段のときの半分にして第２段の探索を行う。同様の処理
を複数段繰り返して、粗から密へ探索点の間隔を絞って
いき動きベクトルを検出する方法である。±７画素の探
索範囲の場合、３段で終了し、探索点数は９＋８＋８＝
２５点ですむ。フルサーチの場合、１５×１５＝２５５
点の探索が必要であるから、１／９の処理量に削減され
る。

【０００６】ただし、線画部分などの高解像度部分で
は、最初の方の段階での粗い探索位置とマッチングすべ
き位置がたまたま合っている場合を除いて、探索初期段
階で誤った動きベクトルを検出する場合があり、実際の
動き補償予測画像における予測誤差を大きくしてしまう
という問題がある。

【０００７】これに対して、階層化サーチ法は、低域通
過型フィルタおよびサブサンプリングによって、水平・
垂直方向について、各々１／２ずつ解像度を落した複数
解像度の多階層画像を生成し、低解像度階層画像から動
きベクトルを検出し、順次１つ上の階層での検出動きベ
クトルを参照しながら次階層の動きベクトル検出を行う
方法で、各階層の動きベクトル検出はブロックマッチン
グ法を用いる。

【０００８】なお、以下の説明では、低解像度画像を上
位の階層画像とし、高解像度画像を下位の階層画像と定
義する。

【０００９】各階層での探索範囲の大きさは通常固定さ
れていて、例えば水平・垂直±２画素の５×５探索位置
とする。各階層の探索範囲の中心位置（初期位置）は、
１つ上の階層での検出動きベクトルをスケーリング（２
倍）した位置が使われる。図１９は、従来の階層化サー
チ法における探索初期位置の設定を説明する図である。
上位階層０において、探索範囲５２で検出動きベクトル
５１が検出されたとする（ただし、検出動きベクトル５
１の始点は（０，０）にある）。下位層１では、検出動
きベクトル５１を２倍した位置５３を探索初期位置とし
て、探索範囲５２で検出動きベクトルを検出する。

【００１０】図２０は、従来の階層サーチ法における処
理フローチャートであり、図２１は、従来の処理ブロッ
ク構成図である。以下、図２０、図２１を参照して従来
の階層サーチ法を説明する。

【００１１】動き検出対象フレーム画像１は、複数ブロ
ックからなる現フレーム画像であり、参照フレーム画像
３は、前フレーム画像である。該複数ブロックから動き
検出対象ブロック画像２を切りだす。また、動き検出対
象ブロック画像２と同位置にある参照フレーム画像３の
ブロックを中心として、参照画像探索領域画像４を切り
出す（ステップ４０１）。図２１において、５、８は、
それぞれ切り出された動き検出対象ブロック画像、参照
画像探索領域画像である。

【００１２】次いで、動き検出対象ブロック画像５およ
び参照画像探索領域画像８について、３階層の階層画像
を生成する（ステップ４０２）。すなわち、図２１にお
いて、５は、ブロックサイズが１６画素×１６画素であ
る階層レベル２（最下位層）の動き検出対象ブロック画
像（高解像度画像）である。６は、動き検出対象ブロッ
ク画像５を低域通過型フィルタ処理およびサブサンプル
した、８画素×８画素サイズに縮小された階層レベル１
の動き検出対象ブロック画像である。

【００１３】ここで、低域通過型フィルタは、簡単には
２×２画素の平均値をとるフィルタであり、サブサンプ
ルは、２：１の間引き処理である。また、７は、動き検
出対象ブロック画像６を、同様に低域通過型フィルタ処
理およびサブサンプルした、４画素×４画素サイズに縮
小された階層レベル０（最上位層）の動き検出対象ブロ
ック画像（低解像度画像）である。

【００１４】参照画像探索領域画像８についても、同様
の処理によって３階層の階層画像（８、９、１０）を生
成する。探索領域画像８は、３２画素×３２画素サイズ
である階層レベル２（最下位層）のブロックであり、画
像１０は、８画素×８画素サイズに縮小された階層レベ
ル０（最上位層）のブロックである。

【００１５】そして、最上位層から最下位層へと、各階
層毎に動きベクトルを検出する。図２１において、１１
ａは階層レベル０（最上位層）の動きベクトル検出器、
１２ａは階層レベル１の動きベクトル検出器、１３ａは
階層レベル２（最下位層）の動きベクトル検出器であ
る。

【００１６】図２２は、従来の階層サーチ法における各
階層の動きベクトル検出器のブロック構成図である。図
２２において、初期探索位置を中心として、探索範囲設
定部３１ａには探索範囲が設定され、ブロックマッチン
グ評価計算部３２ａは、各階層における参照探索領域画
像と、動き検出対象ブロック画像について評価関数を計
算する。マッチング評価関数としては、評価関数値が最
小となるところが最もマッチした位置となるような評価
関数、例えばブロック内の全画素について、画素毎の画
素値の誤差の絶対値の和をとったもの（絶対値誤差和）
を用いるものとする。計算された評価関数値がテーブル
メモリ３３ａに書き込まれ、最小点検出部３４ａは、メ
モリ３３ａ中から最小点を検出して、検出動きベクトル
を出力する。

【００１７】上記したようにして、階層レベル０の検出
器１１ａから出力された検出動きベクトル１４ａは、検
出動きベクトルスケーリング１５ａによって２倍され
る。スケーリングされた検出動きベクトルが初期探索位
置１６ａとなって、階層レベル１の動きベクトル検出器
１２ａに入力される。つまり、階層レベル０の検出結果
を２倍して、解像度を階層レベル１の解像度に合わせ
て、これを初期探索位置として設定している。階層レベ
ル２の初期探索位置１９ａの設定についても、同様に、
階層レベル１の検出器１２ａから出力された検出動きベ
クトル１７ａを、検出動きベクトルスケーリング１８ａ
で２倍した位置を初期探索位置として設定する。

【００１８】図２０に戻り、階層レベル（Ｌ）をＬ＝０
に設定する（ステップ４０３）。階層レベル０の検出器
１１ａに、初期探索位置Ｖstart(Ｌ）を設定する（ステ
ップ４０４）。Ｖstart(Ｌ）＝Ｖout(Ｌ−１）×２
（Ｖout(Ｌ−１）は、１つ上位の階層の検出動きベクト
ルである。ただし、Ｖout(−１）＝（０，０））。

【００１９】階層レベル０の検出器１１ａの探索範囲設
定部３１ａに、探索範囲□（Ｌ）を設定する（ステップ
４０５）。ここで、□（Ｌ）＝Ｖstart(Ｌ）±（２，
２）である。つまり、Ｖstart(Ｌ）を中心に５×５の範
囲を設定する。次いで、階層レベルＬの階層画像で探索
範囲□（Ｌ）について、ブロックマッチング評価関数計
算部３２ａは、評価関数計算ｆ（Ｖ）を算出する（ステ
ップ４０６）。ただし、Ｖ∈□（Ｌ）である。

【００２０】最小点検出部３４ａは、評価計算値３３ａ
から最小点を検出することにより、階層レベルＬの検出
動きベクトルＶout(Ｌ）を決定する（ステップ４０
７）。

【００２１】ｆ（Ｖout(Ｌ））＝Ｍｉｎ（ｆ（Ｖ））、
ただし、Ｖ∈□（Ｌ）である。階層レベルＬをインクリ
メント（Ｌ＝Ｌ＋１）する（ステップ４０８）。

【００２２】次いで、最終レベルが終了したか否か（Ｌ
＞２）を判定し（ステップ４０９）、最終レベルが終了
していなければ、ステップ４０４に戻って、以下、前述
した処理を繰返し、最終レベルが終了していれば、最終
処理ブロックの処理が終了したか否かを判定し（ステッ
プ４１０）、最終処理ブロックの処理が終了していなけ
れば、ステップ４０１に戻り、次の動き検出対象ブロッ
クと、それに対応する参照領域を切りだして、前述した
処理を繰返し、最終処理ブロックの処理が終了していれ
ば処理を終了する。図２３は、従来法における、各階層
ので動き検出対象ブロックサイズ、探索領域サイズ、探
索範囲、探索点数を示した図である。

【００２３】なお、階層化サーチ法には、各階層での動
き検出対象ブロックの大きさを、階層によらず一定の画
素数とする方法（従って低解像度階層ほど実際の画像上
でのブロックサイズは大きくなる）と、各階層のサブサ
ンプル比率に応じて、動き検出対象ブロックの大きさを
変え、実際上の画像において同じ領域の動きベクトル検
出を行う方法とがある。

【００２４】このような階層化サーチ法では、低域通過
型フィルタおよびサブサンプリングによって多階層画像
を生成して各階層の動き検出を行うため、３ステップ法
で動きベクトルを誤検出するような高解像度の部分に対
しても、動きベクトルの誤検出を回避することができ、
誤検出の場合の、実際の動き補償予測画像における予測
誤差も３ステップ法に比べて大きくない。

【００２５】

【発明が解決しようとする課題】しかし、上記した従来
の階層化サーチ法においても、フルサーチブロックマッ
チング法で検出可能な動きベクトルを正しく検出するこ
とができない場合がある。すなわち、これは高解像度の
部分で、マッチングに必要な情報がわずかに高周波成分
に含まれていて、低解像度階層の低域通過型フィルタを
通してサブサンプルされ、その高周波成分が減衰された
画像においては、正しいマッチングが行えない。

【００２６】図２４は、従来の階層化サーチ法によって
動きベクトルが正しく検出できない場合の例を示す図で
ある。すなわち、図２４は、ｎ−１番目のフレームにお
けるブロックと、ｎ番目のフレームにおけるブロック間
の動きベクトル検出の場合の例である。画像間の動きを
決定する特徴は、小さな＊で示された部分のみである
が、低解像度ではこの特徴が減衰され、正しいマッチン
グに寄与できなくなる場合がある。図のような場合、低
解像度階層での検出動きベクトルは、垂直方向に検出誤
りを発生しやすくなる。

【００２７】このような場合には、低解像度階層でのマ
ッチング評価関数の最小値をとる点が、高解像度層での
マッチング評価関数の最小値をとる点に最も近い探索点
と必ずしも一致しない。従って、低解像度階層でのマッ
チング評価関数の最小値をとる点を、この階層での動き
ベクトルとして、次の階層での探索初期位置に使用する
従来の方法では、以降の階層の探索を続けても、高解像
度層でのマッチング評価関数の最小値をとる点を検出す
ることができない場合がある。

【００２８】図２５は、上位階層での動きベクトル検出
の誤りのため、次階層で正しい動きベクトルを検出でき
ない例を示す。例えば、図２５の場合に上位階層（階層
０）で検出されるべき動きベクトル↑を↓と誤検出して
しまうと、次の階層（階層１）の探索範囲は、誤った探
索初期位置６１を中心とした探索範囲６２になり、次階
層でも正しい動きベクトルが検出できない。

【００２９】本発明の目的は、各階層画像におけるマッ
チング評価関数値の極小値をとる点を、複数の検出動き
ベクトル候補とすることによって、動きベクトル誤検出
の可能性を回避するようにした階層型動きベクトル検出
方法を提供することにある。

【００３０】

【課題を解決するための手段】前記目的を達成するため
に、請求項１記載の発明では、低域通過型フィルタおよ
びサブサンプリングによって、複数解像度の多階層画像
Ｌ（ｎ）を生成し、低解像度の階層画像Ｌ（１）から動
きベクトル検出を開始し、順次、階層画像Ｌ（ｋ）での
検出動きベクトルを参照しながら次階層画像Ｌ（ｋ＋
１）の動きベクトル検出を行うブロックマッチング法を
用いた階層型動きベクトル検出方法において、前記各階
層画像におけるブロックマッチングの評価関数値が極小
値となる点を全て検出し、該検出点を複数の動きベクト
ル候補とし、次階層画像における探索初期位置に用いる
ことを特徴としている。

【００３１】請求項２記載の発明では、前記極小点か否
かの判定は、注目位置の評価関数値が該位置を中心とし
た隣接する位置の全ての評価関数値より小さいとき、該
注目位置を極小点と判定することを特徴としている。

【００３２】請求項３記載の発明では、前記評価関数値
が最小となる点からＮ番目に小さい値となる点までのＮ
個（Ｎ≧２）の点を、複数の動きベクトル候補とするこ
とを特徴としている。

【００３３】請求項４記載の発明では、前記評価関数値
が最小となる点からＮ番目に小さい値となる点までのＮ
個（Ｎ≧２）の点の内、極小値となる点を、複数の動き
ベクトル候補とすることを特徴としている。

【００３４】

【作用】実施例１では、低解像度階層においてマッチン
グ評価関数の最小値をとる点以外に、評価関数値が極小
値をとる点を全て検出し、検出動きベクトル候補とす
る。これら全てを次階層の動きベクトル検出の初期位置
として使用する。極小値をとる点が互いに近接していれ
ば、それらを中心とする探索範囲にも重複を生じるが、
もちろん重複部分は２回探索する必要はない。検出動き
ベクトル候補の全てを探索初期位置とする探索範囲の和
の範囲を全探索範囲とする。

【００３５】従来の階層化サーチ法では動きベクトルが
正しく求められなかった高解像度層でのマッチング評価
関数の最小値をとる点に最も近い低解像度階層での探索
点が、低解像度階層でのマッチング評価関数の最小値を
とる点と一致しない場合にも、その他の極小値をとる点
になっている可能性が高い。したがって、このようにマ
ッチング評価関数の最小値をとる点のみでなく、その他
の極小値をとる点も検出動きベクトル候補として、次階
層の探索範囲を拡げることにより、効果的に次階層での
動きベクトルの誤検出を回避することができる。

【００３６】また、本発明による方法では、極小点が最
小値をとる点以外に存在しなければ、検出動きベクトル
候補は従来と同様に１つしかなく、次階層での探索範囲
も従来法と変わらない。

【００３７】実施例２では、低解像度階層での評価関数
値の値が最小となる点から２、３、．．Ｎ番目に小さい
値となる点までのＮ個の点を、検出動きベクトル候補と
する。これにより、極小点検出の代わりに評価関数値の
小さい方からＮ番目までの値をとる点を検出するだけで
よいので、検出動きベクトル候補の選択は簡単になる
が、常にＮ個の検出動きベクトル候補を用いるので、実
施例１に比べて探索処理が多くなる。

【００３８】実施例３では、低解像度階層での評価関数
値の値が最小となる点から２、３、．．Ｎ番目に小さい
値となる点までのＮ個の点の内、極小値をとる点のみ
を、検出動きベクトル候補とする。これにより、検出動
きベクトル候補が上記した第１、第２の実施例の論理積
となるので、第１の実施例では、極小値であればその評
価関数値の大きさによらず全て検出動きベクトル候補と
しているが、この実施例では評価関数値の小さい方から
Ｎ番目以下のものに限定できるので、第１の実施例より
さらに効果的に検出動きベクトル候補を設定することが
でき、探索処理が第１の実施例に比べて少なくすること
ができる。検出動きベクトル候補の選択は、極小点検出
に加えて、評価関数値の小さい方からＮ番目までの値を
とる点を検出するので、やや処理量が多くなる。

【００３９】

【実施例】以下、本発明の一実施例を図面を用いて具体
的に説明する。ここでは、３階層の階層サーチで、各階
層のサブサンプル比率に応じて、動き検出対象ブロック
の大きさを変えて、実際上の画像において同じ領域の動
きベクトル検出を行う方法の場合を例にして実施例を説
明する。本発明はこのような例に限定されるものではな
く、各階層での動き検出対象ブロックの大きさを、階層
によらず一定の画素数とする方法においても同様に実施
可能であり、また階層数についても一般にＮ階層に適用
できる。

【００４０】また、各階層における低域通過型フィルタ
（ＬＰＦ）およびサブサンプリング処理として、２×２
画素の平均値をとって１画素にする方法で、縮小された
階層を２階層作成する。階層数は、縮小前のもとの階層
と合わせて３階層とする。以上の処理については、従来
の方法も本発明の方法も共通である。また、各階層にお
ける動き検出対象ブロックサイズ、探索領域サイズは、
本発明においても従来のものと同一のサイズが用いられ
る。

【００４１】〈実施例１〉図１は、本発明の実施例１の
ブロック構成図であり、図２及び図３は、第１の実施例
の処理フローチャートである。まず、図１の構成から説
明すると、前述した従来例と同様に、動き検出対象フレ
ーム画像１は、複数ブロック（図の場合、例えば５×５
ブロック）からなる現フレーム画像である。また、参照
フレーム画像３は、複数ブロックからなる前フレーム画
像である。

【００４２】動き検出対象フレーム画像１を構成する複
数ブロックから動き検出対象ブロック画像２を切りだ
す。該動き検出対象ブロック画像２と同位置にある参照
フレーム画像３のブロックを中心として、参照画像探索
領域画像４を切り出す。５は、切り出されたブロックサ
イズが１６画素×１６画素である階層レベル２（最下位
層）の動き検出対象ブロック画像である。８は、切り出
されたブロックサイズが３２画素×３２画素である階層
レベル２（最下位層）の参照画像探索領域画像である。

【００４３】６は、動き検出対象ブロック画像５を低域
通過型フィルタ処理およびサブサンプルし、８画素×８
画素サイズに縮小した階層レベル１の動き検出対象ブロ
ック画像であり、７は、動き検出対象ブロック画像６
を、同様に低域通過型フィルタ処理およびサブサンプル
した、４画素×４画素サイズに縮小された階層レベル０
（最上位層）の動き検出対象ブロック画像である。

【００４４】参照画像探索領域画像８についても同様に
して、階層レベル１の階層画像９（１６画素×１６画素
サイズ）と階層レベル０の階層画像１０（８画素×８画
素サイズ）を生成する。

【００４５】１１は階層レベル０（最上位層）の動きベ
クトル検出器、１２は階層レベル１の動きベクトル検出
器、１３は階層レベル２（最下位層）の動きベクトル検
出器であり、最上位層から最下位層へと、各階層毎に動
きベクトルを検出する。

【００４６】図４は、本発明に係る、階層レベル０の動
きベクトル検出器のブロック構成図である。図４におい
て、初期探索位置を中心として、探索範囲設定部３１に
は探索範囲が設定され、ブロックマッチング評価計算部
３２は、階層レベル０における参照探索領域画像１０
と、動き検出対象ブロック画像７について評価関数を計
算する。マッチング評価関数としては、従来例と同様
に、評価関数値が最小となるところが最もマッチした位
置となるような評価関数、例えばブロック内の全画素に
ついて、画素毎の画素値の誤差の絶対値の和をとったも
の（絶対値誤差和）を用いるものとする。評価関数とし
てはこれに限定されず、例えば誤差の２乗などを用いて
もよい。計算された評価関数値がテーブルメモリ３３に
書き込まれ、極小点検出部３４はメモリ３３中から評価
関数値が極小値をとる全ての点を検出して、検出動きベ
クトル候補を出力する。

【００４７】階層レベル０の検出器１１から出力された
検出動きベクトル候補１４は、検出動きベクトルスケー
リング１５によって２倍される。スケーリングされた検
出動きベクトル候補の全てが次階層の初期探索位置リス
ト１６となって、階層レベル１の動きベクトル検出器１
２に入力される。階層レベル２の初期探索位置１９の設
定についても、同様に、階層レベル１の検出器１２から
出力された検出動きベクトル候補１７を、検出動きベク
トルスケーリング１８で２倍した全ての位置を初期探索
位置リストとして設定する。

【００４８】図５は、本発明に係る、階層レベル１の動
きベクトル検出器のブロック構成図である。図４と異な
る点は、検出動きベクトル候補の全てを探索初期位置と
して探索範囲設定部３１に入力する点であり、他の構成
要素は図４のものと同様である。

【００４９】図６は、本発明に係る、階層レベル２の動
きベクトル検出器のブロック構成図である。図５と異な
ることろは、図５の極小点検出部３４を最小点検出部３
５に置き換えた点である。最小点検出部３５で評価関数
値の最小点を検出して、最終の検出動きベクトルを出力
する。

【００５０】なお、極小値をとる点が互いに近接してい
れば、それらを中心とする探索範囲にも重複を生じる。
図７は、複数の探索範囲が重複する例を示す図で、４
１、４２は、それぞれ検出された第１、第２の位置であ
り、４３は、探索初期位置４１を中心とした探索範囲で
あり、４４は、探索初期位置４２を中心とした探索範囲
であり、４５は、探索範囲４３と４４が重複した探索範
囲を示す。このような重複部分４５については、２回探
索する必要はない。従って、検出動きベクトル候補の全
てを探索初期位置とする探索範囲の和の範囲を全探索範
囲とする。

【００５１】また、極小点検出は、以下のようにして行
う。極小点検出部３４における極小点の判定は、図８に
示すように、注目位置の評価関数値Ｘと、該位置を中心
とした８個の隣接する位置の評価関数値Ａ〜Ｈから判定
する。すなわち、Ｘ＜Ａ、かつＸ＜Ｂ、かつＸ＜Ｃ、か
つＸ＜Ｄ、かつＸ＜Ｅ、かつＸ＜Ｆ、かつＸ＜Ｇ、かつ
Ｘ＜Ｈなら注目位置を極小点と判定する。ただし、探索
範囲の境界部分で８隣接位置が探索範囲から外れる部分
を除いて極小点の判定を行う。

【００５２】以下、図２及び図３の処理フローチャート
を参照して実施例１の動作を説明する。動き検出対象フ
レーム画像１を構成する複数ブロックから動き検出対象
ブロック画像２を切りだし、参照フレーム画像３を構成
する複数ブロックから参照画像探索領域画像４を切り出
す（ステップ１０１）。動き検出対象ブロック画像２お
よび参照画像探索領域画像４について、それぞれ３階層
の階層画像（５、６、７）と（８、９、１０）を生成す
る（ステップ１０２）。

【００５３】階層レベル（Ｌ）をＬ＝０に設定する（ス
テップ１０３）。階層レベル（Ｌ）の動きベクトル候補
数（Ｍmax(Ｌ））を設定する。Ｍmax(−１）＝１（ステ
ップ１０４）。次いで、初期探索位置Ｖstart(Ｌ，Ｍ）
を設定する（ステップ１０５）。Ｖstart(Ｌ，Ｍ）＝Ｖ
out(Ｌ−１，Ｍ）×２つまり、Ｖstart(Ｌ，Ｍ）
は、検出動きベクトル候補リストＶout(Ｌ−１，Ｍ）
を、スケーリング（１５、１８）で２倍したものであ
る。（Ｖout(Ｌ−１，Ｍ）は、１つ上位の階層の検出動
きベクトル候補リストのＭ番目（１≦Ｍ≦Ｍmax(Ｌ−
１））である。ただし、Ｖout(−１，１）＝（０，
０））。いま、Ｌ＝０であるから、図４の探索範囲設定
部３１には、初期探索位置Ｖstart(Ｌ，Ｍ）として、Ｖ
start(０，０）が入力される。

【００５４】探索範囲設定部３１に探索範囲□（Ｌ）を
設定する（ステップ１０６）。ここで、□（Ｌ）＝∪
（Ｖstart(Ｌ，Ｍ）±（２，２））である。∪はＭ（１
≦Ｍ≦Ｍmax(Ｌ−１））についての和集合である。Ｌ＝
０の場合、Ｖstart(０，０）を中心に５×５の探索範囲
となる。

【００５５】次いで、階層レベルＬの階層画像で探索範
囲□（Ｌ）について、ブロックマッチング評価関数計算
部３２は、評価関数計算ｆ（Ｖ）を算出する（ステップ
１０７）。ただし、Ｖ∈□（Ｌ）である。

【００５６】Ｌ＝２か否かを判定する（ステップ１０
８）。Ｌ＝２のときは、ステップ１１３に進み、図６の
最小点検出部３５は、評価関数値から最小点を検出し、
これを最終の検出動きベクトルとして出力する。

【００５７】Ｌ＝２でないときは、ステップ１０９に進
み、極小点検出部３４は、評価計算値３３から極小点を
検出することにより、階層レベルＬの検出動きベクトル
候補Ｖout(Ｌ，Ｍ）を決定する（ステップ１０９）。ｆ
（Ｖout(Ｌ，Ｍ））＝Ｍin（ｆ（Ｖ））、ただし、Ｖ∈
Ｖout(Ｌ，Ｍ）±（１，１）かつＶout(Ｌ，Ｍ）∈□
（Ｌ）である。上記条件を満たす検出動きベクトル候補
数をＭmax(Ｌ）とする。よって、１≦Ｍ≦Ｍmax(Ｌ）と
なる。検出動きベクトル候補Ｖout(Ｌ，Ｍ）は、Ｖout
(Ｌ，Ｍ）の位置を中心に、Ｖout(Ｌ，Ｍ）±（１，
１）、つまり図８で説明したように、８隣接位置の評価
関数値から判定する。

【００５８】階層レベルＬをインクリメント（Ｌ＝Ｌ＋
１）する（ステップ１１０）。次いで、最終レベルが終
了したか否か（Ｌ＞２）を判定し（ステップ１１１）、
最終レベルが終了してなければ、ステップ１０５に戻っ
て、以下、前述した処理を繰返し、最終レベルが終了し
ていれば、最終処理ブロックの処理が終了したか否かを
判定し（ステップ１１２）、最終処理ブロックの処理が
終了してなければ、ステップ１０１に戻り、次の動き検
出対象ブロックと、それに対応する参照領域を切りだし
て、前述した処理を繰返し、最終処理ブロックの処理が
終了していれば処理を終了する。

【００５９】図９は、実施例１について、各階層での動
き検出対象ブロックサイズ、探索領域サイズ、探索範
囲、探索点数を示す。この内、各階層の動き検出対象ブ
ロックサイズ、探索領域サイズは従来のものと同一であ
る。

【００６０】〈実施例２〉図１０、図１１は、実施例２
の処理フローチャートである。実施例２の処理構成図
は、実施例１と同一のものであるので省略する。図１２
は、実施例２に係る、階層レベル１の動きベクトル検出
器のブロック構成図である。図１２において、図５と異
なる部分は、図５の極小点検出部３４を、評価関数値の
値が最小となる点から小さい順にＮ点を検出する検出部
３６に置き換えた点である。

【００６１】なお、階層レベル０の動きベクトル検出器
については、図４の極小点検出部３４を検出部３６に置
き換えて構成され、階層レベル２の動きベクトル検出器
については、図６と同一の構成である。

【００６２】図１０、図１１を参照して実施例２の動作
を説明すると、ステップ２０１からステップ２０８まで
は、前述した実施例１のステップ１０１からステップ１
０８と同様であるので、説明を省略する。

【００６３】Ｎ点検出部３６は、評価関数値の値が最小
となる点から小さい順にＮ個の点を検出して、階層レベ
ルＬの検出動きベクトル候補Ｖout(Ｌ，Ｍ）を決定する
（ステップ２０９）。ｆ（Ｖout(Ｌ，１））＝Ｍin（ｆ
（Ｖ））、ただし、Ｖ∈□（Ｌ）である。以下、評価関
数値の小さい順にＮ番目までの動きベクトルをＶout
(Ｌ，２）．．Ｖout(Ｌ，Ｎ）とする。検出動きベクト
ル候補数Ｍmax(Ｌ）は、Ｍmax(Ｌ）＝Ｎである。ステッ
プ２１０以下は、実施例１と同様の処理であるので、説
明を省略する。

【００６４】図１３は、実施例２について、各階層での
動き検出対象ブロックサイズ、探索領域サイズ、探索範
囲、探索点数を示す。この内、各階層の動き検出対象ブ
ロックサイズ、探索領域サイズは従来のものと同一であ
る。

【００６５】〈実施例３〉図１４、図１５は、実施例３
の処理フローチャートである。本実施例３の処理構成図
は、実施例１と同一のものであるので省略する。また、
図１６は、実施例３に係る、階層レベル１の動きベクト
ル検出器のブロック構成図である。図１６に示す動きベ
クトル検出器においては、図４、図５の極小点検出部３
４と、図１２の小さい順にＮ点を検出する検出部３６と
を組み合わせて（論理積）構成している。つまり、評価
関数値の値が最小となる点からＮ番目に小さい値となる
点までのＮ個の点の内、極小値をとる点のみを、検出動
きベクトル候補としている。

【００６６】なお、階層レベル０の動きベクトル検出器
については、図４の極小点検出部３４とテーブルメモリ
３３との間に検出部３６を挿入して構成され、階層レベ
ル２の動きベクトル検出器については、図６と同一の構
成である。

【００６７】本実施例３も、ステップ３０１からステッ
プ３０８までは、実施例１、２と同様の処理であるの
で、説明を省略する。Ｎ点検出部３６は、評価関数値の
値が最小となる点から小さい順にＮ個の点を検出して、
階層レベルＬの検出動きベクトル仮候補Ｖtmp(Ｌ，Ｍ）
を決定する。ｆ（Ｖtmp(Ｌ，１））＝Ｍin（ｆ
（Ｖ））、ただし、Ｖ∈□（Ｌ）である。以下、評価関
数値の小さい順にＮ番目までの動きベクトルをＶtmp
(Ｌ，２）．．．Ｖtmp(Ｌ，Ｎ）とする（ステップ３０
９）。

【００６８】極小点検出部３４は、階層レベルＬの検出
動きベクトル候補Ｖout(Ｌ，Ｍ）を決定する。ｆ（Ｖou
t(Ｌ，Ｍ））＝Ｍｉｎ（ｆ（Ｖ））、ただし、Ｖ∈Ｖou
t(Ｌ，Ｍ）±（１，１）かつＶout(Ｌ，Ｍ）∈｛Ｖtmp
(Ｌ，１），．．．，Ｖtmp(Ｌ，Ｎ）｝である。上記条
件を満たす検出動きベクトル候補数をＭmax(Ｌ）とす
る。よって、１≦Ｍ≦Ｍmax(Ｌ）となる（ステップ３１
０）。

【００６９】ステップ３１１以下の処理も実施例１、２
と同様であるので、説明を省略する。図１７は、実施例
３について、各階層での動き検出対象ブロックサイズ、
探索領域サイズ、探索範囲、探索点数を示す。この内、
各階層の動き検出対象ブロックサイズ、探索領域サイズ
は従来のものと同一である。

【００７０】

【発明の効果】以上、説明したように、請求項１、２記
載の発明によれば、フルサーチブロックマッチング法で
は検出可能であるが、従来の階層化サーチ法において
は、動きベクトルが正しく求められない場合、すなわち
高解像度の部分で、マッチングに必要な情報が僅かに高
周波成分に含まれていて、低解像度階層の低域通過型フ
ィルタを通してサブサンプルされ、高周波成分が減衰さ
れた画像においては正しいマッチングができない場合で
も、本発明では、各階層画像におけるブロックマッチン
グの評価関数値が極小値となる点を全て検出し、該検出
点を複数の動きベクトル候補とし、次階層画像における
探索初期位置に使用しているので、探索範囲の拡大が効
果的に行われ、動きベクトルの誤検出を回避することが
できる。従って、動画像の動き補償フレーム間予測符号
化において、より高精度な動きベクトルの検出が可能に
なり、より予測誤差の少ない動き補償予測画像が生成さ
れ、符号化画像の画質の改善を図ることができる。

【００７１】請求項３記載の発明によれば、評価関数値
が最小となる点からＮ番目に小さい値となる点までのＮ
個の点を複数の動きベクトル候補としているので、検出
動きベクトル候補の選択が簡単になる。

【００７２】請求項４記載の発明によれば、評価関数値
が最小となる点からＮ番目に小さい値となる点までのＮ
個の点の内、極小値となる点を複数の動きベクトル候補
としているので、評価関数値の小さい方からＮ番目以下
のものに限定され、請求項１の発明よりさらに効果的に
検出動きベクトル候補を設定することができ、探索処理
も請求項１の発明に比べて少なくすることができる。

【図面の簡単な説明】

【図１】本発明の実施例１のブロック構成図である。

【図２】実施例１の処理フローチャートである。

【図３】実施例１の続きの処理フローチャートである。

【図４】実施例１に係る階層レベル０の動きベクトル検
出器のブロック構成図である。

【図５】実施例１に係る階層レベル１の動きベクトル検
出器のブロック構成図である。

【図６】実施例１に係る階層レベル２の動きベクトル検
出器のブロック構成図である。

【図７】複数の探索範囲が重複する例を示す図である。

【図８】極小点の判定を説明する図である。

【図９】実施例１について、各階層での動き検出対象ブ
ロックサイズ、探索領域サイズ、探索範囲、探索点数を
示す図である。

【図１０】実施例２の処理フローチャートである。

【図１１】実施例２の続きの処理フローチャートであ
る。

【図１２】実施例２に係る階層レベル１の動きベクトル
検出器のブロック構成図である。

【図１３】実施例２について、各階層での動き検出対象
ブロックサイズ、探索領域サイズ、探索範囲、探索点数
を示す図である。

【図１４】実施例３の処理フローチャートである。

【図１５】実施例３の続きの処理フローチャートであ
る。

【図１６】実施例３に係る階層レベル１の動きベクトル
検出器のブロック構成図である。

【図１７】実施例３について、各階層での動き検出対象
ブロックサイズ、探索領域サイズ、探索範囲、探索点数
を示す図である。

【図１８】従来の３ステップサーチ法を説明する図であ
る。

【図１９】従来の階層化サーチ法における探索初期位置
の設定を説明する図である

【図２０】従来の階層サーチ法における処理フローチャ
ートである。

【図２１】従来の処理ブロック構成図である。

【図２２】従来の階層サーチ法における各階層の動きベ
クトル検出器のブロック構成図である。

【図２３】従来の階層サーチ法における、各階層ので動
き検出対象ブロックサイズ、探索領域サイズ、探索範
囲、探索点数を示した図である。

【図２４】従来の階層化サーチ法によって動きベクトル
が正しく検出できない場合の例を示す図である。

【図２５】上位階層での動きベクトル検出の誤りのた
め、次階層で正しい動きベクトルを検出できない例を示
す。

【符号の説明】

１動き検出対象フレーム画像２動き検出対象ブロック画像３参照フレーム画像４参照画像探索領域画像５切り出された階層レベル２の動き検出対象ブロック
画像６階層レベル１の動き検出対象ブロック画像７階層レベル０の動き検出対象ブロック画像８切り出された階層レベル２の参照画像探索領域画像９階層レベル１の参照画像探索領域画像１０階層レベル０の参照画像探索領域画像１１階層レベル０動きベクトル検出器１２階層レベル１動きベクトル検出器１３階層レベル２動きベクトル検出器１４、１７検出動きベクトル候補１５、１８検出動きベクトルスケーリング１６、１９初期探索位置リスト２０最終検出動きベクトル

Claims

【特許請求の範囲】

【請求項１】低域通過型フィルタおよびサブサンプリ
ングによって、複数解像度の多階層画像Ｌ（ｎ）を生成
し、低解像度の階層画像Ｌ（１）から動きベクトル検出
を開始し、順次、階層画像Ｌ（ｋ）での検出動きベクト
ルを参照しながら次階層画像Ｌ（ｋ＋１）の動きベクト
ル検出を行うブロックマッチング法を用いた階層型動き
ベクトル検出方法において、前記各階層画像におけるブ
ロックマッチングの評価関数値が極小値となる点を全て
検出し、該検出点を複数の動きベクトル候補とし、次階
層画像における探索初期位置に用いることを特徴とする
階層型動きベクトル検出方法。
【請求項２】前記極小点か否かの判定は、注目位置の
評価関数値が該位置を中心とした隣接する位置の全ての
評価関数値より小さいとき、該注目位置を極小点と判定
することを特徴とする請求項１記載の階層型動きベクト
ル検出方法。
【請求項３】前記評価関数値が最小となる点からＮ番
目に小さい値となる点までのＮ個（Ｎ≧２）の点を、複
数の動きベクトル候補とすることを特徴とする請求項１
記載の階層型動きベクトル検出方法。
【請求項４】前記評価関数値が最小となる点からＮ番
目に小さい値となる点までのＮ個（Ｎ≧２）の点の内、
極小値となる点を、複数の動きベクトル候補とすること
を特徴とする請求項１記載の階層型動きベクトル検出方
法。