JPH089379A - 動きベクトル検出方法 - Google Patents

Abstract

(57)【要約】 【目的】 動きベクトルの検索範囲の大きさを可変し、
ピクチャの内の動きの小さな領域では、検索範囲を小さ
くする。 【構成】 既に検出した動きベクトルを動きベクトルバ
ッファ(12)に格納する。動きベクトルを検出するブロッ
クを含む領域の全体的な動きを、前記バッファ(12)から
求める。この求めた動き量(ベクトル代表値)に応じて、
このブロックの検索範囲を設定する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動きベクトル検出方法
に関する。特に、この動きベクトルの検索範囲を限定す
る動きベクトル検出方法に関する。

【０００２】

【従来の技術】動画像をデジタル化し、そのデータを圧
縮符号化する方法において、ピクチャを垂直方向にM画
素、水平方向にN画素のブロックに切り出して、各ブロ
ック毎に動き補償及び離散コサイン変換(以下DCT)等の
直交変換、量子化、可変長符号化を行なう方法が、多く
用いられている。

【０００３】例えば、国際的な標準規格となる「ISO標準
11172(通称MPEG)」では、上記の手法が採用されている。
ここで、高画質な圧縮符号化のためには、精度良く動き
補償することが重要である。そして、そのためには、動
きベクトルを検出しなくては、ならない。

【０００４】動きベクトル検出方法は、従来より種々の
提案が為されている。例えば、特開平4-109376号公報(G
06F15/70)、特開平2-189087号公報(H04N7/137)、特開平3-
127579号公報(H04N7/137)、特開平3-129984号公報(H04N7
/137)にも示されている。一般的な動きベクトル検出方
法を、図５を参照しつつ説明する。

【０００５】この図５は、処理ピクチャ(360画素×240
画素)の処理ブロックＡ、Ｂ(16画素×16画素)の動きベ
クトル検出を説明するものである。処理ピクチャ内の処
理ブロックAに対しては、参照ピクチャ内の処理ブロッ
クAと同位置を中心にした一定範囲(ＳＡ)内で動きベク
トルを検出する。つまり、この処理ブロックAのベクト
ル検索範囲(ＳＡ)内の幾つかのブロックと処理ブロック
Aとの予測誤差を順次計算する。そして、この検索範囲
(ＳＡ)内で、最も誤差が小さくなるブロックを検出す
る。このブロックの位置を示す情報が動きベクトルであ
る。また、この最も誤差が小さくなるブロックを参照ブ
ロックと称する。

【０００６】ベクトル検索範囲内の全てのブロックにつ
いて予測誤差を計算し、参照ブロックを決定する方法が
フルサーチ(全検索法)と呼ばれるもので、最も精度良く
参照ブロックを検出することができる。このように、動
きベクトルの検索は、所定の大きさの検索範囲内を検索
するが、絵柄の動きのほとんどない領域のブロックで
は、実際得られるベクトルに対して必要以上に大きな範
囲を検索することになる。

【０００７】図５の例では、連続する画面のなかで自動
車部分は動きが大きく、背景部分は動きが小さい。しか
し、背景部分にある処理ブロックAも自動車部分にある
処理ブロックBも、同じ大きさのベクトル検索範囲(Ｓ
Ａ、ＳＢ)から動きベクトルを検索することになる。つ
まり、ブロックAでは、検索範囲が実際の動きベクトル
の大きさに対して大き過ぎる。

【０００８】ところが、前述の公報にも示される様に、
フルサーチは、計算量が膨大となるためにリアルタイム
エンコード(符号化)が困難であるという問題がある。つ
まり、フルサーチ法は精度良く参照ブロックを検出でき
るが、計算量が非常に多く、リアルタイムなエンコード
を実現することは困難である。そこで、前述の公報に示
される様に、この計算量を低減する手法が、種々提案さ
れている。

【０００９】例えば、１フレーム前の同じ位置のブロッ
クの動きベクトルを参考にして、動きベクトル検索範囲
を限定する手法が良く知られている。つまり、画像には
相関性がある。従って、あるブロックの動きベクトル
は、１フレーム前の同じ位置のブロックの動きベクトル
の値と同様な値となる可能性が高い。従って、検索範囲
は、この１フレーム前の同位置の動きベクトルを参照に
限定される。

【００１０】

【発明が解決しようとする課題】しかし、このような場
合、全く同じ位置のブロックの動きベクトルのみで、検
索範囲を設定(限定)すると、誤動作する恐れがある。本
発明は、動きベクトル検索範囲を設定する他の手法を提
案することを目的とする。

【００１１】

【課題を解決するための手段】本発明では、ブロックの
動きベクトルを検出する動きベクトル検出方法におい
て、この動きベクトルを検出するブロックの近傍領域
(サブ領域)の動きに応じて、動きベクトル検索の範囲を
設定することを特徴とする。又、本発明では、ブロック
の動きベクトルを検出する動きベクトル検出方法におい
て、この動きベクトルを検出するブロックの近傍領域
(サブ領域)の動きに応じて、動きベクトル検索の範囲を
設定すると共に、前記近傍領域の動きは、この領域内の
ブロックの動きベクトルから得ることを特徴とする。

【００１２】又、本発明は、前記近傍領域の動きは、こ
の領域内のブロックの動きベクトルの平均値から得るこ
とを特徴とする。又、本発明は、前記近傍領域の動き
は、既に動きベクトル検出済みのピクチャの同位置の領
域内のブロックの動きベクトルから得ることを特徴とす
る。又、本発明は、前記きベクトル検出済みのピクチャ
とは、１フレーム前のピクチャであることを特徴とす
る。

【００１３】又、本発明は、前記近傍領域の動きは、こ
の近傍領域内の既に動きベクトルを検出したブロックの
動きベクトルから求めることを特徴とする。又、本発明
では、ピクチャを幾つかの領域(サブ領域)に分割し、こ
のサブ領域毎にその絵柄の動きの大きさに合わせた動き
ベクトル検索範囲を決定して、この範囲内から動きベク
トルを検索する。

【００１４】また、本発明では、このサブ領域毎の絵柄
の動きの大きさを判断する基準として、サブ領域内のブ
ロックが取る動きベクトルの平均的な値(ベクトル代表
値)を用いる。又、本発明では、直前に処理されたピク
チャ、または、処理済みで絵柄が似ているピクチャのサ
ブ領域の動きベクトルの平均的な値を、処理ピクチャの
サブ領域のベクトル代表値とする。

【００１５】又、本発明では、近傍領域の動きは、既に
動きベクトル検出済みのピクチャの同位置の領域内のブ
ロックの動きベクトルと、現ピクチャの近傍領域内の既
に動きベクトルを検出したブロックの動きベクトルの両
方から求めることを特徴とする。又、本発明では、近傍
領域の動きは、この近傍領域内の既に動きベクトルを検
出したブロックの動きベクトルと、既に動きベクトル検
出済みのピクチャの同位置の領域内のブロックの動きベ
クトルとから得ることを特徴とする。

【００１６】又、本発明は、ピクチャ内のブロックの動
きベクトルを検出する動きベクトル検出方法において、
前記ピクチャと関連性のあるピクチャ内の各ブロックの
動きベクトルを求め、この各ブロックの動きベクトルに
より、前記ピクチャの各領域での動きを求め、この求め
た動きに応じて、この領域内に位置する前記ブロックの
動きベクトル検索範囲の大きさを設定することを特徴と
する。

【００１７】又、本発明での前記動きは、前記各領域内
に位置するブロックの動きベクトルの絶対値の平均であ
ることを特徴とする。又、本発明では、ピクチャ内のブ
ロックの動きベクトルを検出する動きベクトル検出方法
において、前記ピクチャと関連するピクチャ内の前記ブ
ロックと同位置のブロックの動きベクトルを求め、この
動きベクトルの絶対値を求め、この求めた値に応じて、
このブロックでの動きベクトル検索範囲の大きさを設定
する。

【００１８】又、本発明では、前記ピクチャと関連する
ピクチャとは、前記ピクチャの前後数フレーム間のピク
チャであることを特徴とする。

【００１９】

【作用】本発明では、動きが大きいと判断される領域
(サブ領域)内のブロックの動きベクトルを検出する場合
は、大きいベクトル検索範囲が割り当てられる。また、
逆に動きが小さい領域には狭い検索範囲が設定される。
また、領域(サブ領域)の動きの大きさは、このサブ領域
内のブロックの動きベクトルから求める。

【００２０】また、領域(サブ領域)の動きの大きさは、
このサブ領域内のブロックの動きベクトルの平均値から
求める。そして、この値に対応したベクトル検索範囲を
設定するため、動きの大きなサブ領域には大きな検索範
囲を、動きの小さなサブ領域には小さな検索範囲を設定
される。

【００２１】又、発明では、既に処理済みで絵柄の似て
いるピクチャの動きベクトルを用いてサブ領域のベクト
ル代表値を決定する。本発明では、動きベクトルの絶対
値の大きさにより、ベクトル検索範囲の大きさが設定さ
れる。また、逆に動きが小さい領域には狭い検索範囲が
設定される。また、領域(サブ領域)の動きの大きさは、
このサブ領域内のブロックの動きベクトルから求める。

【００２２】また、領域(サブ領域)の動きの大きさは、
このサブ領域内のブロックの動きベクトルの平均値から
求める。そして、この値に対応したベクトル検索範囲を
設定するため、動きの大きなサブ領域には大きな検索範
囲を、動きの小さなサブ領域には小さな検索範囲を設定
される。

【００２３】又、発明では、既に処理済みで絵柄の似て
いるピクチャの動きベクトルを用いてサブ領域のベクト
ル代表値を決定する。

【００２４】

【実施例】図１〜図４を参照しつつ、本発明の１実施例
を説明する。図１は、ピクチャの領域分割を説明する図
である。図２は、概略ブロック図を示す図である。図３
は、動作を説明するための図である。

【００２５】図４は、検索範囲の段階を説明するための
図である。図１に示すように、ピクチャは、縦2分割・
横4分割の8分割された８つのサブ領域に分割される。各
サブ領域をサブ領域0からサブ領域7とする。そして、本
願では、このサブ領域毎に、動きの度合いを検出し、こ
の動きの度合いに対応する動きベクトル検索範囲を設定
している。

【００２６】図２の(10)は、処理ピクチャと参照ピクチ
ャとにより、動きベクトルを検出する動きベクトル検出
回路である。(12)は、検出したブロック毎の動きベクト
ルを記憶する動きベクトル用バッファである。(14)は、
動きベクトル用バッファ内の１フレーム前の動きベクト
ルを参照に、サブ領域毎の動きベクトル検索範囲を設定
する動きベクトル検索範囲制御部である。

【００２７】図３は、動作を説明するための画である。
ここでは、連続するピクチャ(ピクチャA、ピクチャA＋
1、ピクチャA＋2)を処理する。図４は、検索範囲を説明
している。つまり、本実施例でのベクトル検索範囲は図
４に示すように±10，±20，±30，±40(画素)の4種類
を用意している。つまり、この図４の様に、ベクトル検
索範囲をベクトル代表値に応じて、代えている。

【００２８】このベクトル代表値について説明する。動
画像の場合、時間的に連続するピクチャでは、絵柄が似
ており、絵柄の動きの大きい領域や小さい領域もおおよ
そ同じような位置にあると考えられる。そこで、動きベ
クトル検出回路(10)で検出したピクチャの動きベクトル
を動きベクトルバッファ(12)に格納する。

【００２９】そして、動きベクトル検索範囲制御部(14)
は、動きベクトルバッファ(12)に格納された各ブロック
の動きベクトルを参照して、各サブ領域内のブロックの
ベクトルの絶対値の平均を求める。この値が、このサブ
領域のベクトル代表値となる。そして、動きベクトル検
索範囲制御部(14)は、この求めたベクトル代表値に基づ
いて、図３の如く、ベクトル検索範囲をサブ領域毎に設
定する。

【００３０】ベクトル検出回路(10)は、このベクトル検
索範囲内において、動きベクトルの検索を行う。図３を
参照しつつ、再度、説明する。処理ピクチャAのサブ領
域0からサブ領域7のベクトル代表値を、上記のように各
サブ領域でベクトルの絶対値の平均値を用いて求めた結
果が代表値Aで示す値となる。

【００３１】この場合、代表値Aの値と図４のベクトル
代表値とベクトル検索範囲の表より、求められるベクト
ル検索範囲は検索範囲Aのようになる。ここで求められ
たベクトル検索範囲Aは、処理ピクチャA＋1を処理する
際に参照されるベクトル検索範囲となる。そこで、処理
ピクチャA＋1内の動きの小さなサブ領域0、1、4、5では
ベクトル検索範囲が±10と、全検索する場合の1／9の大
きさになり、動きが中程度のサブ領域2、3、では検索範
囲が±20と4／9に大きさになり、動きの大きなサブ領域
6、7では全検索することになる。

【００３２】同様にして処理ピクチャA＋1を処理して得
られたベクトル検索範囲A＋1は処理ピクチャA＋2を処理
する際に使用される。このように、本実施例によれば、
背景部分の動きの小さなサブ領域では、ベクトルの検索
範囲が大幅に縮小される。尚、本実施例では、ベクトル
代表値を平均により求めた。しかし、これでは、直前に
処理したピクチャのサブ領域の中に局所的に動きの大き
な動きベクトルがあるが、他は小さなベクトルの場合、
ベクトル代表値を上記のように平均値で求めたのでは、
求められるベクトル代表値は小さな値をとり、動きの大
きなベクトルを正確に検出できない可能性がある。

【００３３】そこで、ベクトル代表値を決める際には、
このサブ領域内の動きベクトルの最大値を選択する方法
も考えられる。又、最大値と平均値の両方を考慮するこ
とも考えられる。あるいは、直前に処理したピクチャで
は、そのサブ領域内に大きな動きベクトルが見られない
ために、ベクトル代表値が小さな値となるが、処理ピク
チャの同位置のサブ領域には動きの大きな部分が移動し
てきている可能性があるので、隣接するサブ領域のベク
トル代表値を考慮する方法も考えられる。

【００３４】又、本実施例では、サブ領域の分割を８分
割としたが、本発明の分割数は８個に限定されるもので
はない。これは、他の数でもよいし、また、固定数でな
くてもよい。また、動きベクトルを検出するブロックを
中心に、左右Ｎ個、前後Ｍ個のブロックからなる領域を
サブ領域とし、このサブ領域の範囲で、ベクトル代表値
を求めて、検索範囲を設定するようにしてもよい。この
場合、ブロック毎に検索範囲が設定されることになる。

【００３５】また、この場合、１フレーム前に検出した
動きベクトルのみを参考に代表ベクトル値を設定するの
ではなく、このサブ領域内で既に動きベクトルを検出済
みのブロックは、これも参考に代表ベクトル値を検出す
るようにしてもよい。また、本実施例では、１フレーム
前に検出した動きベクトルを参考に代表ベクトル値を設
定したが、これは、１フレーム前に限定されるものでは
なく、数フレーム前、１フレーム後、数フレーム後でも
よい。

【００３６】また、本実施例の動きベクトル検索範囲の
限定方法を、従来から提案されている他の検索範囲限定
方法と組み合わせてもよい。要は、絵柄が似ている処理
済みのピクチャの動きベクトルからベクトル代表値を算
出すればよい。また、本実施例の動きベクトル検索範囲
の限定方法を、従来から提案されている他の動きベクト
ル検出演算簡素化方法と組み合わせてもよい。

【００３７】また、本実施例では，近傍領域（サブ領
域）の動きにより、動きベクトル検索範囲の大きさを設
定したが、これは、このブロックの動きベクトルの大き
さにより、動きベクトル検索範囲の大きさを設定しても
よい。つまり、ピクチャ内のブロックの動きベクトルを
検出する動きベクトル検出方法において、前記ピクチャ
と関連するピクチャ内の前記ブロックと同位置のブロッ
クの動きベクトルを求め、この動きベクトルの絶対値を
求め、この求めた値に応じて、このブロックでの動きベ
クトル検索範囲の大きさを設定しても良い。また、前記
ピクチャと関連するピクチャとは、このピクチャ自身ま
たはこのピクチャと数フレーム離れたピクチャである。
つまり、前記ピクチャの前後数フレーム間のピクチャで
あり、また、これは、１つのピクチャに限定されるもの
ではない。

【００３８】

【発明の効果】本発明によれば、ブロック毎では無く、
このブロックを含むサブ領域毎に、動きの大きさを検出
し、この大きさに応じて、このブロックのベクトル検索
範囲を設定している。従って、動きの大きいと考えられ
るサブ領域には大きなベクトル検索範囲を、動きが小さ
いと考えられるサブ領域には小さいベクトル検索範囲を
割り当てることができ、動きベクトル検索範囲を良好に
設定できる。

【００３９】また、このベクトル検索範囲は、動きの大
きさに応じて設定される。そして、この動きの大きさ
は、既に検出された動きベクトルにより、算出される。
このため、新たにベクトル代表値を求めるための複雑な
処理は必要なく、従来の方法からの変更が少なくて済
む。本発明の請求項１では、ブロックの動きベクトルを
検出する動きベクトル検出方法において、この動きベク
トルを検出するブロックの近傍領域(このブロックが位
置するサブ領域)の動きに応じて、動きベクトル検索の
範囲を設定している。このため、動きベクトルの検索範
囲を１つのブロックの動きのみにより、決定するのでは
なく、領域の動きに応じて決定するので、誤動作する恐
れが少ない。

【００４０】本発明の請求項２では、請求項１の近傍領
域の動きは、この近傍領域内のブロックの動きベクトル
から得ている。つまり、近傍領域の動きを、得ることが
可能となる。本発明の請求項３では、請求項２の近傍領
域の動きは、この近傍領域内のブロックの動きベクトル
の平均値から得ている。つまり、近傍領域の動きの平均
的な値を得られるので、検出した動きの精度が向上す
る。

【００４１】本発明の請求項４，５では、請求項２又は
請求項３の近傍領域の動きは、既に動きベクトル検出済
みのピクチャ(１フレ−ム前等)の同位置の領域内のブロ
ックの動きベクトルから得ることを特徴とする。つま
り、近傍領域の動きは、１フレーム前のピクチャの各ブ
ロックの動きベクトルから検出することができる。本発
明の請求項６では、請求項２又は請求項３の近傍領域の
動きは、この近傍領域内の既に動きベクトルを検出した
ブロックの動きベクトルから求めることを特徴とする。
つまり、近傍領域の動きは、現フレームのピクチャの近
傍領域の動きベクトルから検出しているので、時間差の
無い正確な動きが検出できる。

【００４２】本発明の請求項７，８では、請求項２又は
請求項３の近傍領域の動きは、既に動きベクトル検出済
みのピクチャの同位置の領域内のブロックの動きベクト
ルと、現ピクチャの近傍領域内の既に検出したブロック
の動きベクトルとから求める。つまり、前記請求項４と
６の両方のピクチャ(１フレーム前等のピクチャと現ピ
クチャ)の近傍領域内の動きベクトルから前記動きを検
出するので、この動きの精度が向上する。

【００４３】本発明の請求項９では、ピクチャ内のブロ
ックの動きベクトルを検出する動きベクトル検出方法に
おいて、前記ピクチャと関連性のあるピクチャの各ブロ
ックの動きベクトルを求め、この各ブロックの動きベク
トルにより、前記ブロックの近傍領域での動きを求め、
この求めた動きに応じて、前記ブロックの動きベクトル
検索範囲の大きさを設定している。従って、動きベクト
ルの検索範囲の大きさを、近傍領域の動きに応じて決定
するので、動きベクトルの検索範囲の大きさを適当なも
のにできる。

【００４４】本発明の請求項１０では、請求項９の近傍
領域の動きは、この近傍領域内のブロックの動きベクト
ルの絶対値の平均値から得ている。つまり、近傍領域の
動きの平均的な値を得られるので、検出した動きの精度
が向上する。本発明の請求項１１では、ピクチャ内のブ
ロックの動きベクトルを検出する動きベクトル検出方法
において、前記ピクチャと関連するピクチャ内の前記ブ
ロックと同位置のブロックの動きベクトルを求め、この
動きベクトルの絶対値を求め、この求めた値に応じて、
このブロックでの動きベクトル検索範囲の大きさを設定
する。従って、動きベクトルの検索範囲の大きさを、こ
のブロックの動きの大きさに応じて決定するので、動き
ベクトルの検索範囲の大きさを適当なものにできる。

【図面の簡単な説明】

【図１】本発明の１実施例のサブ領域の分割例を示す図
である。

【図２】この１実施例のブロック図である。

【図３】この１実施例のサブ領域毎のベクトル検索範囲
例を示す図である。

【図４】本発明のベクトル代表値とベクトル検索範囲の
関係を示す図である。

【図５】従来の動きベクトル検索範囲の例を示す図であ
る。

【符号の説明】

(10)・・・・動きベクトル検出回路、 (12)・・・・動きベクトルバッファ、 (14)・・・・動きベクトル検索範囲制御部。

Claims (12)

【特許請求の範囲】
1. 【請求項１】 ブロックの動きベクトルを検出する動き
   ベクトル検出方法において、 この動きベクトルを検出するブロックの近傍領域の動き
   に応じて、動きベクトル検索の範囲を設定する動きベク
   トル検出方法。
2. 【請求項２】 前記近傍領域の動きは、この領域内のブ
   ロックの動きベクトルから得ることを特徴とする請求項
   １の動きベクトル検出方法。
3. 【請求項３】 前記近傍領域の動きは、この領域内のブ
   ロックの動きベクトルの平均値から得ることを特徴とす
   る請求項２の動きベクトル検出方法。
4. 【請求項４】 前記近傍領域の動きは、既に動きベクト
   ル検出済みのピクチャの同位置の領域内のブロックの動
   きベクトルから得ることを特徴とする請求項２又は請求
   項３に記載の動きベクトル検出方法。
5. 【請求項５】 前記動きベクトル検出済みのピクチャと
   は、１フレーム前のピクチャであることを特徴とする請
   求項４の動きベクトル検出方法。
6. 【請求項６】 前記近傍領域の動きは、この近傍領域内
   の既に動きベクトルを検出したブロックの動きベクトル
   から求めることを特徴とする請求項２、または、請求項
   ３に記載の動きベクトル検出方法。
7. 【請求項７】 前記近傍領域の動きは、既に動きベクト
   ル検出済みのピクチャの同位置の領域内のブロックの動
   きベクトルと、現ピクチャの近傍領域内の既に検出した
   ブロックの動きベクトルとから求めることを特徴とする
   請求項２、または、請求項３に記載の動きベクトル検出
   方法。
8. 【請求項８】 前記近傍領域の動きは、この近傍領域内
   の既に動きベクトルを検出したブロックの動きベクトル
   と、既に動きベクトル検出済みのピクチャの同位置の領
   域内のブロックの動きベクトルとから得ることを特徴と
   する請求項２または、請求項３に記載の動きベクトル検
   出方法。
9. 【請求項９】 ピクチャ内のブロックの動きベクトルを
   検出する動きベクトル検出方法において、 前記ピクチャと関連性のあるピクチャの各ブロックの動
   きベクトルを求め、 この各ブロックの動きベクトルにより、前記ブロックの
   近傍領域での動きを求め、 この求めた動きに応じて、前記ブロックの動きベクトル
   検索範囲の大きさを設定する動きベクトル検出方法。
10. 【請求項１０】 前記動きは、前記各領域内に位置する
    ブロックの動きベクトルの絶対値の平均であることを特
    徴とする請求項９の動きベクトル検出方法。
11. 【請求項１１】 ピクチャ内のブロックの動きベクトル
    を検出する動きベクトル検出方法において、 前記ピクチャと関連するピクチャ内の前記ブロックと同
    位置のブロックの動きベクトルを求め、 この動きベクトルの絶対値を求め、 この求めた値に応じて、このブロックでの動きベクトル
    検索範囲の大きさを設定する動きベクトル検出方法。
12. 【請求項１２】 前記ピクチャと関連するピクチャと
    は、前記ピクチャの前後数フレーム間のピクチャである
    ことを特徴とする請求項１１の動きベクトル検出方法。