JPH1013838A

JPH1013838A - 動きベクトル検出方法および動きベクトル検出装置

Info

Publication number: JPH1013838A
Application number: JP17993896A
Authority: JP
Inventors: Takeshi Dousaka; 毅道坂
Original assignee: Nippon Columbia Co Ltd
Current assignee: Nippon Columbia Co Ltd
Priority date: 1996-06-20
Filing date: 1996-06-20
Publication date: 1998-01-16

Abstract

(57)【要約】【課題】フェードインまたはフェードアウトのように
輝度が徐々に変化する画面であっても、より正確な動き
ベクトル検出を行なう。【解決手段】現画面内の画素ブロックａと参照画面内
に設定された探索範囲内の各画素ブロックｂとをブロッ
ク単位に比較し、現画面内の画素ブロックａと最大の相
関を与える探索範囲内の画素ブロックを予測ブロックと
して検出し、探索範囲内の基準となる画素ブロックに対
する予測ブロックの変位を動きベクトルとして検出する
際、参照画面の輝度情報に対する現画面の輝度情報の輝
度変化率αを算出し、該輝度変化率αに基づいて現画面
内の画素値を補正し、補正後の現画面内の画素値を用い
て最大の相関を与える画素ブロックを予測ブロックとし
て検出し、探索範囲内の基準となる画素ブロックに対す
る予測ブロックの変位を動きベクトルとして検出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像圧縮符号化
技術における動き補償フレーム間予測符号化装置などに
用いられる動きベクトル検出方法および動きベクトル検
出装置に関する。

【０００２】

【従来の技術】動きベクトル検出方法は、テレビジョン
等の画面(現画面)を複数の画素ブロックに分割し、現画
面内の１つの画素ブロックに着目するとき、この画素ブ
ロックに対応した(この画素ブロックと同じ位置にあっ
た)前の画面(参照画面)中の画素ブロックを中心に、所
定の大きさの探索範囲を設定し、その探索範囲内で現画
面の画素ブロックを順次に走査し、現画面の上記画素ブ
ロックの輝度値に最もよく似た探索範囲内の画素ブロッ
クを予測ブロックとして検出し、探索範囲中心の画素ブ
ロック(中心画素ブロック)からの予測ブロックの変位
(変位画素数(ｘ，ｙ))を動きベクトルとして検出するも
のである。

【０００３】図３は動きベクトル検出の具体例を示す図
である。図３において、符号ａは現画面内の１つの画素
ブロック(この例では、４×４画素)の例を示しており、
符号ｆは前の画面(参照画面)内の探索範囲(この例で
は、１０×１０画素)の例を示している。探索範囲ｆ内
で現画面内の１つの画素ブロックａを順次に走査して、
現画面の画素ブロックａと探索範囲ｆ内の各ブロックｂ
(４×４画素)との相関を順次にとるとき、図３の例で
は、最大の相関を与えるものとして(最も類似したもの
として)、符号ｂ₁の画素ブロック(４×４画素)が検出さ
れる。すなわち、符号ｂ₁の画素ブロックが予測ブロッ
クｃ(４×４画素)として検出される。

【０００４】この場合、画素ブロックｂ₁は、前の画面
(参照画面)内の探索範囲ｆの中心画素ブロックｂ₀から
ｘ方向に＋３画素分、ｙ方向に＋２画素分、変位した位
置にあるので、動きベクトルＶは、(＋３，＋２)として
検出される。すなわち、１画面経過時に画素ブロックａ
の画像が動きベクトルＶ＝(ｘ，ｙ)＝(＋３，＋２)だけ
動いたことが検出される。

【０００５】なお、このような動きベクトル検出におい
て、相関を算出するのに、次の２つの式のいずれか，す
なわち数１あるいは数２のいずれかによって表わされる
評価パラメータＳが一般に用いられる。

【０００６】

【数１】

【０００７】

【数２】

【０００８】数１，数２において、ｍは画素ブロックの
大きさ(ｍ×ｍ画素)(図３の例では、ｍ＝４)、ｉ，ｊは
画素ブロック内の画素位置(図３の例では、０≦ｉ＜４,
０≦j＜４)、ａ(ｉ，ｊ)は現画面内の１つの画素ブロッ
クを表わし、ｂ(ｉ＋ｘ，ｊ＋ｙ)は探索範囲内において
探索範囲の中心から(ｘ，ｙ)の位置にある画素ブロック
を表わしている。

【０００９】このような評価パラメータＳを用いる場
合、評価パラメータＳの最小値を与えるｘ，ｙが動きベ
クトルとして検出される。すなわち、評価パラメータＳ
の最小値を与える(ｘ，ｙ)が例えば(＋３，＋２)である
とき、この位置(＋３，＋２)にある画素ブロックｂ₁＝
ｂ(ｉ＋３，ｊ＋２)が予測ブロックｃとして検出され、
この予測ブロックｃの中心画素ブロックｂ₀＝ｂ(ｉ，
ｊ)からの変位(＋３，＋２)が動きベクトルとして検出
される。

【００１０】動き補償フレーム間予測符号化装置では、
このように検出された動きベクトルを符号化するととも
に、さらに、動きベクトル検出によって検出された予測
ブロックｃ(上記例では、画素ブロックｂ₁)と現画面の
画素ブロックａとの差分を計算し、その差分を量子化し
た値(差分量子化値)を符号化するようになっている。な
お、図３の例では、現画面の画素ブロックａと予測ブロ
ックｃとの差分は０となる。

【００１１】一方、復号装置では、差分量子化値の符号
化データと動きベクトルの符号化データとを復号し、復
号した動きベクトルを使って参照画像から予測画像を作
成し、また、復号した差分量子化値を逆量子化し、この
予測画像と逆量子化値をブロックごとに加算することに
よって、圧縮前の画像を再生することができる。このと
きの再生画像は逆量子化によって、量子化誤差を含んで
いるため、量子化ステップサイズが大きいほど再生画像
の品質は劣化する。通信などの転送レートが制限されて
いる媒体では、量子化ステップサイズを変化させること
によって転送レートを制御している。

【００１２】このように動き補償フレーム間予測符号化
装置では、予測画像との差分を符号化するので、動きベ
クトル検出によって正確な動きベクトルを得ることがで
きれば、大変効率の良い動画像圧縮装置を構成すること
ができる。

【００１３】

【発明が解決しようとする課題】ところで、映画などの
動画像では、ある時点で画像が急に変化したり(以下、
シーンチェンジと呼ぶ)、あるいは、図４(ａ)に示すよ
うに画像が徐々に明るくなったり(以下、フェードイン
と呼ぶ)、あるいは、図４(ｂ)に示すように画像が徐々
に暗くなったり(以下、フェードアウトと呼ぶ)すること
が多い。

【００１４】図５には、現画面が参照画面に対し３倍の
輝度値となるフェードインの場合の例が示されている。
図５の例では、参照画面内の探索範囲ｆ(１０×１０画
素)の中心画素ブロックｂ₀(４×４画素)と現画面の画素
ブロックａ(４×４画素)とを比べると、現画面の画素ブ
ロックａの輝度値は、探索範囲ｆの中心画素ブロックｂ
₀の輝度値の３倍となっている。すなわち、図５の例で
は、画像の動きはなく、参照画面から現画面の間に輝度
値の和が３倍(輝度変化率α)となるフェードイン画像で
ある。

【００１５】図５の例では、現画面の画素ブロックａの
画素値は一様であり、本来ならば中心画素ブロックｂ₀
が予測ブロックｃとして検出されるべきであるにもかか
わらず、従来の動きベクトル検出方法では、数１または
数２により算出される評価パラメータＳの最小値を与え
る画素ブロック，すなわち予測ブロックｃは画素ブロッ
クｂ₁となってしまう。すなわち、図６に示すように、
現画面の画素ブロックａと探索範囲ｆ内の中心画素ブロ
ックｂ₀との差分ブロックｄ０と、現画面の画素ブロッ
クａと画素ブロックｂ₁との差分ブロックｄｃとを比べ
るとき、差分ブロックｄｃ内の各画素値の例えば総和
は、差分ブロックｄ０内の各画素値の例えば総和よりも
小さくなり、画素ブロックｂ₁が予測ブロックｃとして
検出されてしまう。

【００１６】この結果、現画面の画素ブロックａは、こ
れと同じ位置にあった前の参照画面の画素ブロックｂ₀
が画素ブロックｂ₁の位置に移動したという誤った動き
ベクトルを検出したことになる。仮に、この画素ブロッ
クｂ₁を予測ブロックｃとして符号化を行なった場合、
量子化ステップサイズが十分に小さいときには、再生画
質の品質は差程劣化しないが、通信などの転送レートが
制限されている媒体では、概して量子化ステップサイズ
が大きくなり、量子化ステップサイズが４より大きいと
きには、図５，図６の例では、差分ｄ０、差分ｄｃとも
に、零となる。従って、画素ブロックａに対して、誤ま
った動きベクトル検出された予測ブロックｃ(すなわち
画素ブロックｂ₁)がそのまま再生画像に現れる。

【００１７】図７には、画素ブロックｂ₁を予測ブロッ
クｃとし量子化ステップサイズを５としたときの、再生
画像が示されている。図７からわかるように、フェード
インの場合、量子化ステップサイズが大きいときには、
動きベクトルの誤検出により、実像の周りに虚像が現
れ、再生画像の品質が劣化してしまう。

【００１８】このような動きベクトルの誤検出は、従来
の動きベクトル検出方法では、フェードアウトの場合に
も同様に生じる。

【００１９】なお、シーンチェンジの場合、画像の相関
がほとんどないことからフレーム内符号化処理されるた
め、つまり、動きベクトルは使われないので、動きベク
トルの誤検出は問題とならない。

【００２０】本発明は、フェードインまたはフェードア
ウトのように輝度が徐々に変化する画面であっても、よ
り正確な動きベクトル検出を行なうことの可能な動きベ
クトル検出方法および動きベクトル検出装置を提供する
ことを目的としている。

【００２１】

【課題を解決するための手段】上記目的を達成するため
に、本発明では、現画面内の画素ブロックと参照画面内
に設定された探索範囲内の各画素ブロックとをブロック
単位に比較し、現画面内の画素ブロックと最大の相関を
与える探索範囲内の画素ブロックを予測ブロックとして
検出し、探索範囲内の基準となる画素ブロックに対する
前記予測ブロックの変位を動きベクトルとして検出する
際、参照画面の輝度情報に対する現画面の輝度情報の輝
度変化率を算出し、該輝度変化率に基づいて現画面内の
画素値または探索範囲内の画素値を補正し、補正後の現
画面内の画素値または補正後の探索範囲内の画素値を用
いて最大の相関を与える画素ブロックを予測ブロックと
して検出し、探索範囲内の基準となる画素ブロックに対
する前記予測ブロックの変位を動きベクトルとして検出
するので、フェードイン，フェードアウトなどの画像で
あっても、より正確な動きベクトルを検出することが可
能になる。

【００２２】

【発明の実施の形態】以下、本発明の実施形態を図面に
基づいて説明する。図１は本発明に係る動きベクトル検
出装置の構成例を示す図である。図１を参照すると、こ
の動きベクトル検出装置は、現画面の画素データが記憶
される現フレームメモリ１と、参照画面(例えば前画面)
の画素データが記憶される参照フレームメモリ２と、動
きベクトル検出部３と、輝度値の和を計算する演算部
４，５と、除算部６と、乗算部７とを有している。

【００２３】この場合、現フレームメモリ１は、現画面
の画素ブロックのデータ(輝度値)ａ、現画面の全画素デ
ータ(輝度値)Ｄ₁を順次出力することが可能となってい
る。また、参照フレームメモリ２は、参照画面の探索範
囲ｆ内の画素ブロックのデータ(輝度値)ｂ、参照画面の
全画素データ(輝度値)Ｄ₂を順次出力することが可能と
なっている。

【００２４】また、演算部４は、現フレームメモリ１か
らの全画素データＤ₁の和を計算し、輝度値の和ＡＤ₁を
出力するようになっている。また、演算部５は、参照フ
レームメモリ２からの全画素データＤ₂の和を計算し、
輝度値の和ＡＤ₂を出力するようになっている。

【００２５】また、除算部６は、現画面の輝度値の和Ａ
Ｄ₁を参照画面の輝度値の和ＡＤ₂で除算して、次式のよ
うに輝度変化率αを算出するようになっている。

【００２６】

【数３】α＝ＡＤ₁／ＡＤ₂

【００２７】また、乗算部７は、除算部６で算出された
輝度変化率αを探索範囲内の画素ブロックデータ(輝度
値)ｂに乗算することで、参照画面(前画面)と現画面と
の間にフェードインまたはフェードアウトのような輝度
変化がある場合にも、これによる影響を補正するように
なっている。すなわち、参照画面の各画素の輝度値を現
画面の輝度値に整合させるよう補正するようになってい
る。

【００２８】また、動きベクトル検出部３は、現画面の
輝度値に合わせるように補正された参照画面(前画面)の
探索範囲内で、現画面の画素ブロックを順次に走査し、
現画面の画素ブロックと最大の相関を与える画素ブロッ
クを予測ブロックとして検出するようになっている。こ
こで、現画面の画素ブロックを例えば、探索範囲の左上
から右下に順次に走査して、探索を行なうことができ
る。また、相関を算出するのに、例えば、次式の評価パ
ラメータＳの算出式を用い、この評価パラメータＳの最
小値を与える探索範囲内の画素ブロックを予測ブロック
として検出し、探索範囲内の基準となる画素ブロック
(例えば探索範囲内の中心画素ブロック)から予測ブロッ
クまでの変位ベクトル(ｘ，ｙ)を動きベクトルＶとして
検出するようになっている。

【００２９】

【数４】

【００３０】なお、この際、探索範囲内の各画素ブロッ
クのうち、評価パラメータＳの最小値を与える(同値と
なる)画素ブロックが探索範囲の基準となる画素ブロッ
ク(中心画素ブロック)を含めて複数ある場合は、基準と
なる画素ブロック(中心画素ブロック)を優先的に予測ブ
ロックとして採用する。また、評価パラメータＳの最小
値を与える(同値となる)画素ブロックが探索範囲の基準
となる画素ブロック(中心画素ブロック)を含まずに複数
個ある場合には、探索順序の速いものを採用する。

【００３１】次に、このような構成の動きベクトル検出
装置の動作を説明する。先ず、現フレームメモリ１に現
画面の各画素の輝度値が記憶されると、演算部４では、
現フレームメモリ１に記憶されている現画面の全各画素
の輝度値Ｄ₁の和ＡＤ₁を計算する。また、このとき、参
照フレームメモリ２には、前画面(参照画面)の各画素の
輝度値が記憶されており、演算部５では、参照フレーム
メモリ２に記憶されている前画面(参照画面)の全画素の
輝度値Ｄ₂の和ＡＤ₂を計算する。演算部４からの輝度値
の和ＡＤ₁と演算部５からの輝度値の和ＡＤ₂とは、除算
部６に送られ、除算部６では、数３の除算を行ない、前
画面に対する現画面の輝度変化率αを算出する。

【００３２】また、現フレームメモリ１からは、現画面
を複数の画素ブロックに分割したときの各画素ブロック
のデータａが出力され、また、参照フレームメモリ２か
らは、現画面のそれぞれの画素ブロックについて、前画
面(参照画面)中の現画面の画素ブロックａと同じ画素位
置を中心とした所定の大きさの範囲内の画素データｂ，
すなわち探索範囲ｆ内の各画素データが出力される。

【００３３】そして、乗算部７では、参照フレームメモ
リ２からの探索範囲ｆ内のデータ(輝度値)ｂに、除算部
６で算出された輝度変化率αを乗算し、探索範囲ｆ内の
画素データ(輝度値)ｂを現画面の画素ブロックａの輝度
値に合わせるよう補正する。そして、動きベクトル検出
部３には、そのままの画素ブロックデータａと、上記の
ように輝度変化率αで補正された探索範囲画素データｂ
・αとが入力する。

【００３４】動きベクトル検出部３では、現画面の輝度
値に合わせるように補正された参照画面の探索範囲ｆ内
で、現画面の画素ブロックａを順次に走査し、探索範囲
ｆ内において、現画面の画素ブロックａと最大の相関を
与える画素ブロックｂ₁を予測ブロックｃとして検出す
る。すなわち、数４によって算出される評価パラメータ
Ｓの最小値を与える画素ブロックｂ₁を最大の相関を与
える画素ブロック，すなわち予測ブロックｃとして検出
する。そして、探索範囲ｆ内の基準となる画素ブロック
(中心画素ブロック)ｂ₀から予測ブロックｃまでの移動
量(ｘ，ｙ)を画素ブロックａの動きベクトルとして検出
する。

【００３５】次に、本発明の具体例について説明する。
前述した図５の例において、現画面の画素ブロックａに
対する予測ブロックｃとして本来ならば中心画素ブロッ
クｂ₀が検出されるべきであるにもかかわらず、従来の
動きベクトル検出方法では、予測ブロックｃ(４×４画
素)として、符号ｂ₁で示す画素ブロックが誤検出されて
しまう。

【００３６】これに対し、本発明では、図５の探索範囲
ｆ内の各画素の画素値は、乗算部７によって３倍(輝度
変化率α倍)されて、図２に示すような探索範囲ｆ’に
補正され、現画面の画素ブロックａを図２のように補正
された探索範囲ｆ’内の各ブロックｂと順次に相関演算
を行ない、最大の相関を与える画素ブロックを予測ブロ
ックｃとして検出する。このとき、最大の相関を与える
ブロックとして(すなわち、図２の例では、全ての画素
輝度値が“６”のブロックとして)、中心画素ブロック
ｂ₀のみならず、例えば左上隅のブロックなども検出さ
れるが、探索範囲内において、中心画素ブロックｂ₀が
最も優先順位が高く設定されているので、この優先順序
から同じ相関値を与える複数の画素ブロックのうち、中
心画素ブロックｂ₀が予測ベクトルｃとして検出され
る。そして、この場合、動きベクトルＶは(０，０)とし
て検出され、正確な動きベクトルが検出される。

【００３７】このように、図１の動きベクトル検出装置
では、現画面と参照画面の輝度変化率を算出し、その変
化率に基づき現画面、または参照画面の画素値を補正し
て画面を符号化するため、前述の図４(ａ)または図４
(ｂ)に示すようにフェードインまたはフェードアウトの
画面の輝度が徐々に変化する場合であっても、図４(ａ)
または図４(ｂ)に示すような画素値の補正がなされるこ
とにより、より正確な動きベクトルを検出することがで
き、再生画像の画質劣化を減少させることができる。

【００３８】なお、上述の例では、演算部４，５では、
現画面，参照画面の全画素の輝度値の和ＡＤ₁，ＡＤ₂を
それぞれ求めたが、参照画面と現画面との輝度変化率α
を適確に割り出すことができるものであれば、上記例に
限らず、任意の輝度情報を用いることができる。

【００３９】また、上述の例では、輝度変化率αを算出
したとき、この輝度変化率αを参照画面内の各画素の輝
度値に乗算して、参照画面内の画素値を補正したが、こ
れのかわりに、例えば、現画面内の各画素の輝度値を輝
度変化率αで除算して現画面内の画素値を補正するよう
にしても良い(すなわち、現画面内の各画素の輝度値を
参照画面の輝度値に合わせるように補正するようにして
も良い)。

【００４０】

【発明の効果】以上に説明したように、本発明では、現
画面内の画素ブロックと参照画面内に設定された探索範
囲内の各画素ブロックとをブロック単位に比較し、現画
面内の画素ブロックと最大の相関を与える探索範囲内の
画素ブロックを予測ブロックとして検出し、探索範囲内
の基準となる画素ブロックに対する前記予測ブロックの
変位を動きベクトルとして検出する際、参照画面の輝度
情報に対する現画面の輝度情報の輝度変化率を算出し、
該輝度変化率に基づいて現画面内の画素値または探索範
囲内の画素値を補正し、補正後の現画面内の画素値また
は補正後の探索範囲内の画素値を用いて最大の相関を与
える画素ブロックを予測ブロックとして検出し、探索範
囲内の基準となる画素ブロックに対する前記予測ブロッ
クの変位を動きベクトルとして検出するので、フェード
イン，フェードアウトなどの画像であっても、より正確
な動きベクトルを検出することが可能になる。

【図面の簡単な説明】

【図１】本発明に係る動きベクトル検出装置の構成例を
示す図である。

【図２】本発明による動きベクトル検出方法を説明する
ための図である。

【図３】動きベクトル検出方法を説明するための図であ
る。

【図４】フェードイン，フェードアウトを説明するため
の図である。

【図５】従来の動きベクトル検出方法を説明するための
図である。

【図６】図５において算出される差分ブロックを示す図
である。

【図７】動きベクトルが誤検出されたときの再生画像の
一例を示す図である。

【符号の説明】

１現フレームメモリ２参照フレームメモリ３動きベクトル検出部４，５演算部６除算部７乗算部

Claims

【特許請求の範囲】

【請求項１】現画面内の画素ブロックと参照画面内に
設定された探索範囲内の各画素ブロックとをブロック単
位に比較し、現画面内の画素ブロックと最大の相関を与
える探索範囲内の画素ブロックを予測ブロックとして検
出し、探索範囲内の基準となる画素ブロックに対する前
記予測ブロックの変位を動きベクトルとして検出する動
きベクトル検出方法において、参照画面の輝度情報に対
する現画面の輝度情報の輝度変化率を算出し、該輝度変
化率に基づいて現画面内の画素値または探索範囲内の画
素値を補正し、補正後の現画面内の画素値または補正後
の探索範囲内の画素値を用いて最大の相関を与える画素
ブロックを予測ブロックとして検出し、探索範囲内の基
準となる画素ブロックに対する前記予測ブロックの変位
を動きベクトルとして検出することを特徴とする動きベ
クトル検出方法。
【請求項２】請求項１記載の動きベクトル検出方法に
おいて、前記現画面の輝度情報，参照画面の輝度情報と
して、現画面の各要素の輝度値の和または平均，参照画
面の各画素の輝度値の和または平均を用いることを特徴
とする動きベクトル検出方法。
【請求項３】請求項１記載の動きベクトル検出方法に
おいて、探索範囲内の基準となる画素ブロックは、探索
範囲の中心画素ブロックであることを特徴とする動きベ
クトル検出方法。
【請求項４】現画面内の画素ブロックと参照画面内に
設定された探索範囲内の各画素ブロックとをブロック単
位に比較し、現画面内の画素ブロックと最大の相関を与
える探索範囲内の画素ブロックを予測ブロックとして検
出し、探索範囲内の基準となる画素ブロックに対する前
記予測ブロックの変位を動きベクトルとして検出する動
きベクトル検出装置において、参照画面内の輝度情報に
対する現画面の輝度情報の変化率を算出する輝度変化率
算出手段と、輝度変化率に基づいて現画面内の画素値ま
たは探索範囲内の画素値を補正する画素補正手段と、補
正後の現画面内の画素値または補正後の探索範囲内の画
素値を用いて最大の相関を与える画素ブロックを予測ブ
ロックとして検出し、探索範囲内の基準となるブロック
に対する前記予測ブロックの変位を動きベクトルとして
検出する動きベクトル検出手段とを備えていることを特
徴とする動きベクトル検出装置。