JPH0865684A

JPH0865684A - 動画像の動ベクトル検出方法と装置

Info

Publication number: JPH0865684A
Application number: JP21945694A
Authority: JP
Inventors: Takeshi Hanamura; 剛花村; Koichi Oyama; 公一大山; Ryozo Abe; 良三阿部
Original assignee: GRAPHICS COMMUN LAB KK
Current assignee: GRAPHICS COMMUN LAB KK
Priority date: 1994-08-22
Filing date: 1994-08-22
Publication date: 1996-03-08
Anticipated expiration: 2014-08-16
Also published as: JP2934155B2

Abstract

(57)【要約】【目的】フェードインやフェードアウトなどのフレー
ム毎に平均輝度レベルが変動する動画像に対しても誤る
ことなく動ベクトルを検出する。【構成】現画像信号１３から、平均値分離器４０にお
いて平均値を分離して平均値分離後の画像信号４１を得
て、参照画像信号１４から平均値演算器２３において平
均値信号２４を得て平均値バッファ３０を介して平均値
信号３１を得て、画像メモリ２０から参照用の画像信号
２１を得て、動ベクトル検出器３２においては平均輝度
レベルを削減した状態で動ベクトル情報３３を得て、そ
れによりブロック読出器３４は画像メモリ２０からの画
像データ２５を予測画像信号１５として出力する。【効果】フレーム毎に平均輝度レベルが変動しても精
度の良い動ベクトルを得ることができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は動画像信号の符号化にお
ける動ベクトル検出方法と装置に関する。具体的には、
動画像信号を高能率符号化して伝送する場合に、フェー
ドインやフェードアウトなどのフレーム毎に平均輝度レ
ベルが変動するシーケンスに対しても、実際の被写体の
動きに即した動ベクトルを用いて動き補償を可能とす
る、動ベクトル検出方法と装置を提供しようとするもの
である。

【０００２】

【従来の技術】動画像信号は膨大な情報量を有する。そ
のために動画像信号を高能率に符号化して少ない情報量
で効率的な画像伝送を図る各種の方法が使用されてい
る。この高能率符号化に適用されるものに、画像信号の
フレーム（またはフィールド）間の相関を利用し、時間
的に１つ前に復号されたフレーム（またはフィールド）
から現在のフレーム（またはフィールド）を予測するフ
レーム間予測符号化（またはフィールド間予測符号化）
がある。現在のフレーム（またはフィールド）の画像信
号と１つ前のフレーム（またはフィールド）の画像信号
から得られる予測値との画素毎の差分値を予測誤差デー
タとして求め、得られた予測誤差データのみを符号化し
て伝送する。これにより、符号化して伝送すべき画像の
情報量が低減される。

【０００３】しかし、画像中の静止領域ではフレーム間
予測符号化（またはフィールド間予測符号化）は有効だ
が、動領域では大きな予測誤差を生じ画質も劣化する欠
点がある。これを是正する手段として、フレーム間動き
補償予測符号化（またはフィールド間動き補償予測符号
化）が用いられている。フレーム間動き補償予測符号化
（またはフィールド間動き補償予測符号化）では、フレ
ーム間（またはフィールド間）の予測誤差値を求める前
に、現在のフレーム（またはフィールド）の符号化する
部分の１つ前の符号化されたフレーム（またはフィール
ド）との間の移動量である動ベクトルを検出する。

【０００４】動ベクトルが得られると、１つ前の復号処
理後のフレーム（またはフィールド）の中で動ベクトル
に従ってずらした位置の現在のフレーム（またはフィー
ルド）の符号化する部分との予測誤差データを求める。
得られた予測誤差データは符号化されて動ベクトルとと
もに受信側に伝送される。

【０００５】図７には、フレーム間（またはフィールド
間）動き補償予測符号化における動ベクトル検出の動作
原理を示している。図７において、１５０は現在のフレ
ーム（またはフィールド）画像であり、フレーム（また
はフィールド）画像の構成を、たとえば１６×１６画素
毎のブロックに分割する。そこで、ブロック１５３を動
ベクトルを検出する対象ブロックとすると、このブロッ
ク１５３と１つ前のフレーム（またはフィールド）画像
１５１内のブロック１５３と同位置のブロック１５３Ｂ
よりも水平方向および垂直方向のそれぞれの、たとえば
−方向に１６画素、＋方向に１５画素大きいブロック、
すなわちブロック１５３Ｂの水平方向の１６画素の前後
に１６画素および１５画素を加えた４７画素、同じく垂
直方向の４７画素からなるブロック１５３Ｂを中心に含
む４７×４７画素の探索領域１５４を、ブロック１５３
と最も相関度の高いブロックを探索する領域とする。

【０００６】この探索領域１５４内において、ブロック
１５３を水平方向および垂直方向に、たとえば１画素ず
つ順次ずらして対応する各画素毎の差分を求め、得られ
た差分値からブロック１５３との相関度を判定するため
の評価値を算出する。評価値としては、たとえば、差分
値の絶対値の和、あるいは差分値の自乗の和を用い、こ
れらの値が小さいほど相関度が大きいとする。評価値算
出の結果、探索領域１５４内において、たとえばブロッ
ク１５２において評価値が最小になるとすると、ブロッ
ク１５３Ｂの中心からブロック１５２の中心に向かうベ
クトル１５９を、ブロック１５３についての動ベクトル
とする。

【０００７】評価値算出には、たとえば式（１）を利用
し、探索領域１５４内の各点において評価値Ｓ（ｖ_x，
ｖ_y）を算出し、その評価値が最少となる動ベクトルＶ
＝（ｖ_x，ｖ_y）を選び出している。

【０００８】ｆ_r＝ｆ_r（ｘ＋ｖ_x，ｙ＋ｖ_y）ｆ_c＝ｆ_c（ｘ，ｙ）とおくと、Ｓ（ｖ_x，ｖ_y）＝ΣΣＦ［ｆ_r−ｆ_c］（１）

【０００９】ここで、最初のΣはｙ座標についてのｙの
開始点であるｙ_bからｙの終点であるｙ_eまでの累計
を、次のΣはｘ座標についての開始点であるｘ_bからｘ
の終点であるｘ_eまでの累計を表わす。Ｆは画素値ｆの
関数であり、Ｆ［ｆ］＝｜ｆ｜やＦ［ｆ］＝｜ｆ｜²な
どである。また、座標（ｙ_b，ｘ_b），（ｙ_e，ｘ_e）
は着目している予測対象ブロックの各々左上，右下の座
標を示し、画素値ｆ_r（ｘ，ｙ）, ｆ_c（ｘ，ｙ）はそ
れぞれ参照フレーム（またはフィールド）および現在の
検出対象フレーム（またはフィールド）の座標（ｘ，
ｙ）における画素値を示している。

【００１０】したがって、式（１）のＳは、参照フレー
ム（またはフィールド）および現在の検出対象フレーム
（またはフィールド）の画素値の差ｆ_r（ｘ＋ｖ_x，ｙ
＋ｖ_y）−ｆ_c（ｘ，ｙ）の絶対値Ｆ［・］＝｜・｜や
絶対値の２乗Ｆ［・］＝｜・｜²などの所定の関数Ｆの
予測対象ブロック内の全画素についての累和を示してい
る。

【００１１】このようにして得られた動ベクトルを用い
て補正したフレーム間（またはフィールド間）の予測誤
差データを符号化して伝送するならば、伝送符号量は動
き補償なしのフレーム間符号化（またはフィールド間符
号化）の場合に比べて低減される。

【００１２】図８には従来の動き補償予測符号化のため
の予測信号出力回路の構成図の一例を示す。１１は現信
号入力端子であり、画像符号化の目的となる現在の画像
である符号化フレームの現画像信号１３がデジタル符号
で入力される。１２は予測する際に参照する画像信号が
デジタル符号で参照画像信号１４として入力される参照
信号入力端子である。

【００１３】参照信号入力端子１２に入力された既に復
号された参照画像信号１４は、画像メモリ２０に一時的
に格納される。この画像メモリ２０に格納された画像信
号は参照信号として使用される。

【００１４】図９には、画像メモリ２０内の内容である
画像１９０が示されている。動ベクトル検出器３２Ｃで
の動ベクトル探索時には画像メモリ２０から必要な領域
内にある画像信号を画像信号２１として読み出して参照
画像信号として利用する。同図中で１９４は予測誤差デ
ータが最小となるブロックを探索するあらかじめ定めら
れた領域を示す探索領域を示している（図７の１５４に
対応）。ブロック１９３の中心からブロック１９２の中
心に向かっている矢印１９９は動ベクトルである（図７
の１５９に対応）。

【００１５】動き補償予測用の動ベクトル検出器３２Ｃ
は、探索領域１９４の画像信号を画像信号２１として読
み出し、現画像信号１３を受けて前述の動ベクトル探索
技術で動ベクトル１９９を検出し、動ベクトル情報３３
を出力する。動ベクトル検出器３２Ｃから出力される動
ベクトル情報３３を受けたブロック読出器３４では、こ
の動ベクトル情報３３に従い、画像メモリ２０の動き補
償されたブロック１９２（図９）の画像データ２５を読
出し、予測画像信号１５を出力する。この予測画像信号
１５は動き補償予測符号化の際の予測信号として利用さ
れる。

【００１６】以上説明した動作によって動ベクトルを用
いた動き補償予測が行われる。

【００１７】

【発明が解決しようとする課題】動ベクトル探索の際に
従来用いられている評価値の算出方法では、式（１）に
示すように、検出対象のブロック内での全体の誤差値の
合計を算出しており、フェードインやフェードアウトな
どフレーム毎に画面全体の平均輝度が変動するシーケン
スにおいては、その誤差評価値が最少となる条件で得ら
れる動ベクトルが、実際の画面中の被写体の動きに対応
しないものとなり、多くの動ベクトルが誤って検出され
る、という解決すべき課題が残されていた。

【００１８】

【課題を解決するための手段】参照画像で探索の可能性
がある全てのブロック位置において、あらかじめ平均値
を直流成分として算出し、それらを保存しておく直流成
分用の平均値バッファを用意し、評価値の算出において
画素の各点の画素値から平均値をＤＣ成分として差し引
いた値を用いて動ベクトル検出を行う。

【００１９】また、処理の増大を防ぐために平均値バッ
ファの値を計算する際にブロック内のすべての画素に対
して、合計値を計算するのではなく、ブロックをずらし
ながらブロックのずれた差の部分の画素だけを減算およ
び加算するブロック差処理を行うように構成した。

【００２０】

【作用】平均値バッファを用意し、あらかじめ参照画像
の全てのブロック位置での直流成分を計算し、誤差評価
値計算の際に各ブロック位置で画素毎にその平均値を差
し引くようにしたから、フェードインやフェードアウト
など画面全体の平均輝度がフレーム間で変動するような
シーケンスにおいても大きく誤ることなく動ベクトルを
検出できる。また、ブロック差処理により動ベクトル検
出のための相関度に必要となる演算回数の増加量を少な
く押さえることができる。

【００２１】

【実施例】図１に第１の実施例が示されている。図８に
示した従来例の構成要素に対応するものには同じ記号を
付している。参照画像で探索の可能性がある全てのブロ
ック位置において、あらかじめ平均値を直流成分（ＤＣ
成分）として算出し、それらを平均値バッファに保存し
ておき誤差評価の際にその値を用いて交流成分（ＡＣ成
分）による誤差評価を行っている。

【００２２】まず、図１の平均値演算器２３の動作を説
明する。平均値演算器２３では、動ベクトル検出処理の
前に、参照信号入力端子１２からの参照画像信号１４を
入力するか、または参照画像用の画像バッファから図示
されてはいない手段で参照画像を読み込み、参照画像内
において所定の精度においてずらし得る全てのブロック
位置でのブロック内の平均値を求め、その値を平均値バ
ッファ３０へ平均値信号２４として出力する。

【００２３】平均値演算器２３における各ブロックでの
平均値の計算処理について説明する。ブロックの水平方
向の合計値を求める際に、ブロック毎で独立して行うの
ではなく各ブロック１ライン分に相当する合計値を加算
と減算により順次求めていく。

【００２４】図２には平均値演算器２３の水平方向の加
算を説明するための概念図が示されている。同図（ａ）
には参照画像信号１１０があり、着目しているライン１
１１が示されている。同図（ｂ）にはライン１１１中の
ウィンドウ１１２と、それをずらす前のウィンドウ１１
５の拡大図が示されている。ここでウィンドウ１１２と
ずらす前のウィンドウ１１５とはｙ座標方向にも若干ず
らして表示されているが、これは表示の都合上であり、
両ウィンドウ１１２と１１５のｙ座標方向のずれは無
い。ブロックの水平方向の加算の際には、まず同図
（ｃ）のライン・バッファ１２０を準備する。画面中の
着目しているライン１１１のｙ座標上の位置である着目
ライン位置ｙ_cにおいて、検出ブロックと同じ水平方向
サイズをもち、垂直方向に１ラインの幅を持つウィンド
ウ１１２を考え、このウィンドウ１１２を矢印１１９の
方向へずらしながら演算を行う。

【００２５】a1. ウィンドウ１１２の位置が画面の最も
左にある場合には、ウィンドウ１１２中の画素値ｆ_rを
全て加算する。

【００２６】a2. その加算結果である合計値をＳ_nとす
る。

【００２７】a3. ウィンドウ１１２を右方へ１画素づつ
ずらし、ずらしたことによってウィンドウ１１２から外
れるずらす前のウィンドウ１１５の左端の位置の消滅画
素１１６のｘ座標をｘ_old，新しくウィンドウ１１２に
入る画素位置の新出画素１１４のｘ座標をｘ_new，ウィ
ンドウ１１２の最も左にある着目画素１１３のｘ座標を
ｘ_cとする。

【００２８】a4. 合計値Ｓ_nからウィンドウ１１５中の
消滅画素１１６の画素値ｆ_r（ｘ_ol _d，ｙ_c）の値を減
算する。

【００２９】a5. 合計値Ｓ_nにウィンドウ１１２中の新
出画素１１４の画素値ｆ_r（ｘ_new，ｙ_c）の値を加算
する。

【００３０】a6. 合計値Ｓ_nを着目しているライン１１
１のｙ座標上の位置である着目ライン位置ｙ_c用のライ
ン・バッファ１２０の着目画素１１３のｘ座標ｘ_cに保
存する。

【００３１】a7. 前述のa3〜a6の手順を繰り返しウィン
ドウ１１２がライン１１１の右端に到達したら終了す
る。

【００３２】図３には、ライン１１１上におけるウィン
ドウ１１２中の画素値の水平方向の加算が終了した上記
手順a1〜a7を利用しながら、垂直方向の加算と各ブロッ
クの平均値を算出するライン図が示されている。同図
（ａ）には参照画像信号２００において、探索ブロック
とＹサイズが同じで水平方向は画面のそれと同じ右下り
斜線で示したスライス・ウィンドウ２０１を準備し、そ
れをたとえば矢印２０９の方向に右上り斜線で示したス
ライス・ウィンドウ２０７のように下方にずらしながら
演算を行う。

【００３３】ここで同図（ａ）では、スライス・ウィン
ドウ２０２と２０７はｘ座標方向にもずれているように
表示されているが、これは表示の都合上であり、ｘ座標
方向にはずれておらず、ｙ軸方向にのみ１ライン分ずれ
ている様子を示している。すなわち、右下り斜線で示し
たスライス・ウィンドウ２０１のうち、１ライン分矢印
２０９の方向にずれたことにより消滅ライン２０２が消
滅し、右上り斜線で示したスライス・ウィンドウ２０５
の最上部の着目ライン２０６が１ライン分矢印２０９の
方向にずれ、１ライン分の新出ライン２０７が発生して
いることを示している。

【００３４】図３（ｂ）および（ｃ）には平均値演算器
２３に含まれたスライス・バッファ２１０の動作の様子
が示されている。（ｂ）ではスライス・ウィンドウ２０
１の最上部の消滅ライン２０２に対応するラインのスラ
イス・トップ・ライン２１１の各画素値が一時的に保存
される。そこには各画素のうちの１つの画素２１２が示
されている。（ａ）のスライス・ウィンドウ２０５が矢
印２０９の方向にシフトされるにつれて、スライス・バ
ッファ２１０に保存されている右下り斜線部の各画素は
（ｃ）のように移動し、スライス・ボトム・ライン２２
９には新たに加わるスライス・ウィンドウ２０５の新出
ライン２０７の１ライン分の画素値が一時的に保存され
る。スライス・ボトム・ライン２２９上の１つの画素２
２２が例示されている。

【００３５】図３（ｄ）には平均値演算器２３に含まれ
た各ブロックの画素値の総合計を保存する総計バッファ
２３０（バッファ・サイズは画面横幅）の動作の様子が
示されている。図３（ｅ）には平均値バッファ３０（図
１）の内容が示され、総計バッファ２３０の１ライン分
の総計は平均値バッファ３０の着目ライン２４１の各点
での平均値を計算するために格納される。１つの画素２
３２の位置に対応する平均値バッファ３０上の１つの画
素２４２が示されている。平均値演算器２３には１スラ
イス分の幅を有するライン・バッファ（バッファ・サイ
ズはブロックの縦長×画面横幅）を含んでいる。

【００３６】総計バッファ２３０の保存している各ブロ
ックの画素値の総合計をＳ_t、スライス・バッファ２１
０中に蓄えている座標（ｘ，ｙ）における画素値の合計
をＳ_l（ｘ，ｙ）とし以下の手順により平均値Ｍ_fを計
算する。

【００３７】b1. 図３（ａ）においてスライス・ウィン
ドウが最も画面の上部にある場合、すなわち、スライス
・ウィンドウ２０５がスライス・ウィンドウ２０１に重
なっている場合、スライス・ウィンドウ２０５中の各ラ
イン毎に、前述した手順a1〜a7により水平方向の加算を
行い、その結果をライン毎に対応するスライス・バッフ
ァ２１０に蓄える。

【００３８】b2. スライス・バッファ２１０の値を用い
て、全ての画素位置のｘ座標ｘに対し、総計バッファ２
３０の保有している各ブロックの画素値の総合計Ｓ
_t（ｘ）の初期値Ｓ_t0（ｘ）を次のようにして計算す
る。Ｓ_l＝Ｓ_l（ｘ，ｙ）とし、Ｓ_t0（ｘ）＝ΣＳ_l ここでΣはスライス・バッファ２１０中のスライス・ト
ップ・ライン２１１からスライス・ボトム・ライン２２
９までｙを変化させた累計を表わす。

【００３９】b3. 全ての画素位置のｘ座標ｘに対して初
期値Ｓ_t0（ｘ）の値から平均値Ｍ_fを計算し、画面最上
ラインに相当するｙ座標ｙ_fの位置の平均値バッファ３
０の値Ｍ_f （ｘ，ｙ_f）とする。ここで、（ブロックの横幅）×（ブロックの縦長）＝ブロックの
面積とおくと、Ｍ_f （ｘ，ｙ_f）＝Ｓ_t0（ｘ）／（ブロックの面積）

【００４０】b4. 画素２１２を左から右へ移動して各ｘ
座標において総計バッファ２３０の保存している各ブロ
ックの画素値の総合計Ｓ_t（ｘ）（初期値はＳ
_t0（ｘ））からスライス・トップ・ライン２１１の対応
するｘ座標における水平方向合計値Ｓ_lの値を減算す
る。

【００４１】b5. スライス・バッファ２１０中のデータ
を上方向にシフトする。

【００４２】b6. スライス・ウィンドウ２０５を画面の
下方、つまり矢印２０９の方向へ１ライン分だけ移動す
る。スライス・ウィンドウ２０５に新しく現れる新出ラ
イン２０７について前述した手順a1〜a7によって、水平
方向の加算を行い、その結果をスライス・バッファ２１
０の最終ラインであるスライス・ボトム・ライン２２９
に入れる。

【００４３】b7. スライス・バッファ２１０に新たに加
わった新出ライン２０７のデータを利用し、画素２２２
を左から右に移動して各ｘ座標において、総計バッファ
２３０の保有している各ブロックの画素値の総合計Ｓ_t
（ｘ）に、スライス・ボトム・ライン２２９の１ライン
分のライン・バッファの各ｘにおける水平方向合計値Ｓ
_l（ｙ_slb）の値を加算する。

【００４４】b8. 全てのｘに対して総計バッファ２３０
の保有している各ブロックの画素値の総合計Ｓ_t（ｘ）
の値から平均値Ｍ_f （ｘ，ｙ_c）を計算し、着目ライン
２０６のｙ座標値ｙ_cに相当する位置の平均値バッファ
３０の値Ｍ_f （ｘ，ｙ_c）とする。ここで、（ブロックの横幅）×（ブロックの縦長）＝ブロックの
面積とおくと、Ｍ_f （ｘ，ｙ_c）＝Ｓ_t（ｘ）／（ブロックの面積）

【００４５】b9. スライス・ウィンドウ２０５が参照画
像信号２００の画面の下に到達していたら終了し、それ
以外は矢印２０９の方向にスライス・ウィンドウ２０５
を１ライン分ずらした後手順b4〜b8を繰り返す。

【００４６】各ブロック位置での平均値Ｍ_ft-1（ｘ，
ｙ）が得られたら、各々のブロック位置に対応するあら
かじめ定められた平均値バッファ３０の対応する位置
に、そのブロックでの平均値Ｍ_ft-1（ｘ，ｙ）を入力す
る。以上の方法により最終的に各点での平均値Ｍ
_ft-1（ｘ，ｙ）を計算し、結果が平均値バッファ３０に
蓄えられる。

【００４７】図４には平均値バッファ３０の内部構成が
示されている。平均値バッファ３０は２次元の構造をも
っている。参照画像信号２００中で、たとえば座標（ｘ
_b，ｙ_b）を左上の点とする検出ブロック１０３におい
て、上述した方法や各ブロック毎に独立に平均値を算出
する方法を用いて平均値（ＤＣ成分）Ｍ_ft-1（ｘ，ｙ）
を求め、平均値バッファ中のブロックの平均値を保存す
る位置１０２（座標：位置ｘ_b，ｙ_b）に書込む。

【００４８】図４中でブロック１０３は検出対象ブロッ
クの位置に対応するブロックであり、そのブロック１０
３に対する平均値を保存しておく場所は、そのブロック
１０３の左上位置に対応するブロックの平均値を保存す
る位置１０２である。また、探索領域１９４内（図９）
でブロック１９３をずらした場合にブロック１０３のブ
ロック平均値を保存する位置１０２が移動する可能性が
ある範囲を探索対象領域１０４とする。

【００４９】ここで、平均値バッファ３０中で対象ブロ
ック１０３の平均値を格納する位置は、対象ブロック１
０３の左上の座標以外にもブロックの中心あるいは右下
など、対象ブロック１０３の位置から特定できる位置な
らば、どこに定めてもよい。

【００５０】図５には平均値バッファ３０として準備す
べきバッファ・サイズについて説明している。（ｂ）の
平均値バッファ３０のサイズは画像バッファ中にある検
出のための（ａ）の参照画像１３０の中でブロックをず
らし得る全ての範囲でその時の探索ブロック１３１の左
上の画素１３３が移動する範囲全てを網羅するように準
備した場合に最も大きくなり、その大きさは参照画像１
３０中で画面の外を指す動ベクトルによって探索ブロッ
ク１３１をずらすことができない部分、すなわち、斜線
を施した探索不可部分１３５を除いた大きさ、つまり、
（ｂ）の平均値バッファ３０のサイズは、（ａ）の探索
ブロック１３１の縦および横幅からそれぞれ１少ない値
だけ参照画像１３０の横のサイズおよび縦のサイズを小
さくしたサイズとなる。

【００５１】図５（ｂ）の平均値バッファ３０内の画素
１４３は同図（ａ）の探索ブロック１３１の左上の画素
１３３の位置に対応している。この平均値バッファ３０
の上限値は、具体的には、たとえば画像サイズが７２０
×４８０で探索ブロック１３１のサイズが１６×１６で
探索ブロック１３１をずらす精度を画素単位の精度でず
らすときには、平均値バッファ３０のサイズは、｛720−（16−1）｝×｛480−（16−1）｝＝705×465＝
327825 となる。

【００５２】また、探索ブロック１３１を画素単位以下
の精度でずらす場合には、それに比例して平均値バッフ
ァ３０のサイズは更に大きくなるし、また、参照画像１
３０のサイズに比例して大きくなる。探索ブロック１３
１のサイズを大きくすると、平均値バッファ３０のサイ
ズは逆に小さくなる。

【００５３】また、平均値バッファ３０はこれを上限と
して逆に小さくすることも可能である。このときの最小
のサイズは、１つの探索ブロック１３１に対する探索範
囲で探索ブロック１３１の左上の画素１３３の位置をず
らし得る範囲だけの大きさがあればよい。これは、図４
に示した探索対象領域１０４に対応している。具体的に
は、探索対象領域１０４の範囲が探索ブロック１３１を
中心にした４７×４７で、探索ブロック１３１のサイズ
が１６×１６である場合には、平均値バッファ３０のサ
イズは、（47−（16−1）×（47−（16−1）＝32×32＝1089 となり、これが平均値バッファ３０のサイズの下限にな
る。

【００５４】探索ブロック１３１を画素単位以下の精度
でずらす場合には、それに比例して平均値バッファ３０
のサイズは更に大きくなるし、また、探索対象領域１０
４（図４）の大きさに比例して大きくなる。探索ブロッ
ク１３１のサイズを大きくすると平均値バッファ３０の
サイズは逆に小さくなる。

【００５５】平均値バッファ３０のサイズはこの上限と
下限の間であれば、その大きさを自由に選択することが
可能である。たとえば、縦の長さが下限値の47ー(16-1)=
32で横の長さが上限値の720-(16-1)=705となるような構
成にすることも可能である。

【００５６】図１の平均値分離器４０における動作を説
明する。平均値分離器４０では現画像信号１３として検
出対象となる探索ブロック（図７の１５３に対応）を入
力し、その検出対象となるブロックでの画像値の平均値
を一般的な方法で算出した後、その平均値を検出対象と
なる探索ブロックの各画素値から減算し、各画素毎に得
られた値を用いて構成する平均値分離後のブロックを、
新たな検出対象となる探索ブロックとして平均値分離後
の画像信号４１として出力し、動ベクトル検出器３２に
渡す。

【００５７】図１の動ベクトル検出器３２での動作を説
明する。動ベクトル検出器３２では、探索領域１９４
（図９）の画像信号を画像メモリ２０から画像信号２１
として読み出し、また平均値バッファ３０中での検出対
象となる探索ブロック１３１（図５）の左上の画素１３
３が移動する探索対象領域１０４（図４）の中にある画
素値の平均値Ｍ_ft-1（ｘ，ｙ_c）を平均値信号３１とし
て読み出し、さらに検出対象となる探索ブロックの平均
値分離後の画像信号４１を入力として動ベクトル検出を
する。このとき、動ベクトル検出には従来方法の式
（１）を後出の式（２）のように改めて評価式とし、こ
の評価式が最も小となる（ｖ_x，ｖ_y）をそのブロック
での動ベクトルとし、動ベクトル情報３３としてブロッ
ク読出器３４に送出する。

【００５８】ここに、着目している予測対象となる探索
ブロック１３１（図５）の左上の画素１３３の座標を
（ｘ_b，ｙ_b）、同じく右下の図示されてはいない画素
の座標を（ｘ_e，ｙ_e）、ｆ_r（ｘ，ｙ）は画像メモリ
２０から画像信号２１として与えられる参照画像フレー
ム（またはフィールド）１３０の座標（ｘ，ｙ）におけ
る画素値、ｆ_c′（ｘ，ｙ）は平均値分離後の画像信号
４１によって与えられる検出対象となる探索ブロック毎
に平均値分離された検出対象フレーム（またはフィール
ド）の画素値、Ｍ_fr（ｘ，ｙ）は平均値バッファ３０か
ら平均値信号３１として与えられる平均値である。

【００５９】ｆ_r＝ｆ_r（ｘ＋ｖ_x，ｙ＋ｖ_y）Ｍ_fr＝Ｍ_fr（ｘ_b＋ｖ_x，ｙ_b＋ｖ_y）ｆ_c′＝ｆ_c′（ｘ，ｙ）とおくと、Ｓ（ｖ_x，ｖ_y）＝ΣΣＦ［ｆ_r−Ｍ_fr−ｆ_c′］（２）式（２）において、最初のΣはｙ＝ｙ_bからｙ_eまで変
えたときの累和を表わし、次のΣはｘ＝ｘ_bからｘ_eま
での累和を表わしている。関数Ｆは、Ｆ［・］＝｜・｜
または、Ｆ［・］＝｜・｜²などである。

【００６０】式（２）を用いた本方式での動ベクトル検
出において、あらかじめ対象とする画像から検出対象と
なる探索ブロックおよび参照ブロックともに平均輝度Ｍ
_frを削減した後のブロックを用いて相関度を計算するた
め、画面の平均輝度が変動することにより発生する動ベ
クトルの誤検出を削減することが可能である。また、平
均輝度が変動しない場合は、検出ブロックおよび参照ブ
ロックでの平均値が同じとなり、式（２）での平均値減
算部分Ｍ_frとｆ_c′ を求めるときに用いた検出ブロック
の平均値とが打ち消されて、従来技術の式（１）と等価
となり、通常の動画像シーケンスに対しては悪影響を及
ぼすことなく動ベクトル検出が可能である。

【００６１】動ベクトル検出器３２から出力される動ベ
クトル情報３３を受けたブロック読出器３４では、従来
技術と同様の方法により動ベクトル情報３３に従い、画
像メモリ２０の動き補償されたブロック１９２（図９）
の画像データ２５を読出し、動き補償予測符号化の際の
予測画像信号１５を出力する。

【００６２】図６には本発明の他の実施例が示されてい
る。図１と異なる点は、現入力信号端子１１からの現画
像信号１３に対しても参照画像信号１４の場合と同様に
平均値バッファ６０とそこへ格納する平均値信号５４を
算出するための平均値演算器５３を追加したことと、動
ベクトル検出器３２Ｂでの動作、さらに、平均値バッフ
ァ３０Ｂと画像メモリ２０Ｂにおいての動作が変更され
たことである。また、ブロック読出器３４を削除してい
る。

【００６３】また、この図６で示される実施例において
は、現画像信号１３および参照画像信号１４はともに符
号化処理が施されていない画像に限定される。それは、
現画像信号１３を画像メモリ２０Ｂに蓄積し参照画像と
して利用したり、平均値信号３１として現画像信号１３
から得た平均値を平均値信号６２により平均値バッファ
３０Ｂに一時的に保存することもあるから、現画像信号
１３と参照画像信号１４の一方が符号化処理されていた
のであれば両信号を同じように扱うことができないから
である。そして最終的に得られる動ベクトル３３を用
い、別手段により動き補償予測を行う。

【００６４】平均値演算器５３では入力として現画像信
号１３を用いる。平均値演算器５３は検出対象となる探
索ブロックと同じ大きさのブロックを画面中でずらし得
る全てのブロック位置毎での画素値の平均値を求め、そ
の値を平均値バッファ６０へ平均値信号５４として送出
する。平均値演算器５３での平均値の算出は図１〜図５
を用いて説明した平均値演算器２３での動作と全く同じ
である。

【００６５】また、一旦入力された現画像信号１３は後
段の動き検出の参照画像とするべく、画像メモリ２０Ｂ
中に蓄えられる。このとき、現画像信号１３として入力
された信号は、画像メモリ２０Ｂ中で、参照画像として
使われない領域に区別されて格納される。すなわち、画
像メモリ２０Ｂにおいては、参照画像のみでなく、現画
像も区別して格納される。

【００６６】図６の動ベクトル検出器３２Ｂでは、動ベ
クトルの探索領域１９４の画像信号を画像メモリ２０Ｂ
から画像信号２１として読み出し、また平均値バッファ
３０Ｂ中の検出対象となる探索ブロック１３１（図５）
の左上の画素１３３が移動する探索対象領域１０４（図
４）に含まれる画素値の平均値を平均値信号３１として
読み出す。

【００６７】また、検出対象となるブロック１５３の画
像データを現画像信号１３として入力し、平均値バッフ
ァ６０中の検出対象となるブロックの左上の画素位置に
あたる平均値を平均値信号６１，６２として読み出す。
そして、動ベクトル検出には、従来技術の式（１）を後
出の式（３）のように改めて平均値Ｓ（ｖ_x，ｖ_y）を
求める評価式とし、この評価式が最も小となる（ｖ_x，
ｖ_y）をそのブロックでの動ベクトルとし、動ベクトル
情報３３として出力し、図示していないが動き補償予測
に利用される。

【００６８】ここに、着目している予測対象となる探索
ブロック１３１（図５）の左上の画素１３３の座標を
（ｘ_b，ｙ_b）、同じく右下の図示されてはいない画素
の座標を（ｘ_e，ｙ_e）、ｆ_r（ｘ，ｙ）は画像メモリ
２０Ｂから画像信号２１として与えられる参照画像１３
０（フレームまたはフィールド）の座標（ｘ，ｙ）にお
ける画素値、ｆ_c（ｘ，ｙ）は検出対象となる現画像フ
レーム（またはフィールド）の画素値、Ｍ_fr（ｘ，ｙ）
は平均値バッファ３０Ｂから平均値信号３１として与え
られる平均値である。Ｍ_fc（ｘ，ｙ）は平均値バッファ
６０中の（ｘ，ｙ）における値を示す。

【００６９】ｆ_r＝ｆ_r（ｘ＋ｖ_x，ｙ＋ｖ_y）Ｍ_fr＝Ｍ_fr（ｘ_b＋ｖ_x，ｙ_b＋ｖ_y）ｆ_c ＝ｆ_c（ｘ，ｙ）Ｍ_fc＝Ｍ_fc（ｘ_b，ｙ_b）とおくと、Ｓ（ｖ_x，ｖ_y）＝ΣΣＦ［（ｆ_r−Ｍ_fr）−（ｆ_c−Ｍ_fc）］（３）式（３）において、最初のΣはｙ＝ｙ_bからｙ_eまで変
えたときの累和を表わし、次のΣはｘ＝ｘ_bからｘ_eま
で変えたときの累和を表わしている。関数Ｆは、Ｆ
［・］＝｜・｜または、Ｆ［・］＝｜・｜²などであ
る。

【００７０】動ベクトル検出器３２Ｂでの検出が終了し
た後、現信号を後段の動ベクトル検出において参照画像
として利用するために、平均値バッファ６０の内容を平
均値信号６２によって平均値バッファ３０Ｂのすでに存
在するデータを一旦消去して格納するか、または、平均
値バッファ３０Ｂ中に上書きすることによって格納す
る。また、画像メモリ２０Ｂ中においても参照画像を切
替えるために、上述したように、それまでに参照画像と
して利用されない領域に確保されていた現画像データを
参照画像として格納する領域に上書きしながら移動させ
る。

【００７１】そして新たに平均値バッファ３０Ｂに平均
値信号６２による平均値が格納された場合は、平均値演
算器２３での平均値算出を行わず、その平均値バッファ
３０Ｂへコピーされた値を参照画像での平均値として利
用し、動ベクトル検出器３２Ｂでの動ベクトル検出を行
い最終的に動ベクトル情報３３が得られる。そして、図
示してはいない動き補償予測に利用される。

【００７２】この図６で示される実施例は、動画像シー
ケンスを連続して動ベクトル検出する場合には現画像信
号１３が後段における参照画像として使用できるから、
参照画像信号１４から平均値演算器２３において画素値
の平均値を求める処理を必要としないために、処理速度
が図１の場合よりも速く、処理の無駄を省く効果があ
る。

【００７３】

【発明の効果】以上の説明から明らかなように、本発明
による動ベクトル検出の方法と装置を用いると、従来の
技術による場合に比べて、画面全体の平均輝度が変動す
るシーケンスにおいても大きく誤ることなく動ベクトル
検出ができ、また、通常シーケンスにおいても悪影響を
及ぼすことなく、安定した動ベクトルを検出可能であ
る。したがって本発明の効果は極めて大きい。

【図面の簡単な説明】

【図１】本発明の一実施例を示す回路構成図である。

【図２】図１および図６の構成要素である平均値演算器
での水平方向の加算に関する概念図である。

【図３】図１および図６の構成要素である平均値演算器
での垂直方向の加算に関する概念図である。

【図４】図１および図６の構成要素である平均値バッフ
ァの内容を示す内部構成図である。

【図５】図１および図６の構成要素である平均値バッフ
ァの大きさを説明するバッファ・サイズ図である。

【図６】本発明の他の実施例を示す回路構成図である。

【図７】従来の動ベクトル検出の動作原理を説明するた
めの原理図である。

【図８】従来例を説明するための回路構成図である。

【図９】図１，図６，図８の構成要素である画像メモリ
の内容を示す内部構成図である。

【符号の説明】

１１現信号入力端子１２参照信号入力端子１３現画像信号１４参照画像信号１５予測画像信号２０，２０Ｂ画像メモリ２１画像信号２３平均値演算器２４平均値信号２５画像データ３０，３０Ｂ平均値バッファ３１平均値信号３２，３２Ｂ，３２Ｃ動ベクトル検出器３３動ベクトル情報３４ブロック読出器４０平均値分離器４１平均値分離後の画像信号５３平均値演算器５４平均値信号６０平均値バッファ６１，６２平均値信号１０２ブロックの平均値を保存する位置１０３ブロック１０４探索対象領域１１０参照画像信号１１１ライン１１２ウィンドウ１１３着目画素１１４新出画素１１５ずらす前のウィンドウ１１６消滅画素１１９矢印１２０ライン・バッファ１３０参照画像１３１探索ブロック１３３左上の画素１４３画素１５０，１５１画像１５２，１５３，１５３Ｂブロック１５４探索領域１９０画像１９２，１９３ブロック１９４探索領域１９９動ベクトル２００参照画像信号２０１スライス・ウィンドウ２０２消滅ライン２０５スライス・ウィンドウ２０６着目ライン２０７新出ライン２１０スライス・バッファ２１１スライス・トップ・ライン２１２，２２２画素２２９スライス・ボトム・ライン２３０総計バッファ２３２画素２４１着目ライン２４２画素

フロントページの続き (72)発明者阿部良三東京都渋谷区代々木４丁目36番19号株式会社グラフィックス・コミュニケーション・ラボラトリーズ内

Claims

【特許請求の範囲】

【請求項１】参照画像（１４）中の各ブロックに含ま
れた画素値の平均値（２４）を得るための平均値演算処
理をし（２３）、前記画素値の平均値（２４）を蓄積して蓄積された平均
値（３１）を得るための平均値蓄積処理をし（３０）、現画像（１３）の探索の対象となるブロックに含まれた
画素値の平均値を分離した平均値分離後の画像（４１）
を得るための平均値分離処理をし（４０）、前記参照画像（１４）中の必要なブロックの画像（２
１）を必要とする時点において得るための画像メモリ処
理をし（２０）、前記参照画像（１４）中の前記必要なブロックの画像
（２１）の各画素値から前記蓄積された平均値（３１）
を減じた減算後の画素値からなる減算後の参照ブロック
画像と前記平均値分離後の画像（４１）との誤差値を最
小とする動ベクトル（３３）を検出するための動ベクト
ル検出処理をする（３２）動画像の動ベクトル検出方
法。
【請求項２】前記平均値演算処理（２３）において、前記参照画像（１４）中の各ブロックに含まれた画素値
の平均値（２４）を得る場合に、１つのブロックの画素値の平均値を得たら、隣接した次
のブロックに含まれた画素値の平均値を求めるために、
前記１つのブロックが前記次のブロックからはみ出した
部分の画素値を前記１つのブロックに含まれた画素値の
総計から減算し、この減算により得た値に前記次のブロ
ックが前記１つのブロックからはみ出した部分の画素値
を加算して得た値をもとにして前記次のブロックに含ま
れた画素値の平均値を求めるようにした請求項１の動画
像の動ベクトル検出方法。
【請求項３】現画像（１３）の探索対象となる各ブロ
ックに含まれた現画像の画素値の平均値（５４）を得る
ための現画像平均値演算処理をし（５３）、前記現画像の画素値の平均値（５４）を蓄積して蓄積さ
れた現画像の平均値（６１，６２）を得るための現画像
平均値蓄積処理をし（６０）、参照画像（１４）中の各ブロックに含まれた参照画像の
画素値の平均値（２４）を得るための参照画像平均値演
算処理をし（２３）、前記参照画像の画素値の平均値（２４）および前記現画
像の平均値（６２）を蓄積して蓄積された参照画像の平
均値（３１）として出力するための参照画像平均値蓄積
処理をし（３０Ｂ）、前記参照画像（１４）および前記現画像の平均値（６
２）を得た前記現画像（１３）中の必要なブロックの画
像（２１）を必要とする時点において得るための画像メ
モリ処理をし（２０Ｂ）、前記必要なブロックの画像（２１）の各画素値から前記
蓄積された参照画像の平均値（３１）を減じた減算後の
画素値からなる減算後の参照ブロック画像を得、前記現
画像（１３）の探索の対象となるブロックの画像値から
前記蓄積された現画像の平均値（６１）を減じた減算後
の画素値からなる減算後の現ブロック画像を得て、前記
減算後の参照ブロック画像と前記減算後の現ブロック画
像との誤差値を最小とする動ベクトル（３３）を検出す
るための動ベクトル検出処理をする（３２Ｂ）動画像の
動ベクトル検出方法。
【請求項４】前記参照画像平均値演算処理（２３）に
おいて、前記参照画像（１４）中の各ブロックに含まれた画素値
の平均値（２４）を得る場合に、１つのブロックの画素値の平均値を得たら、隣接した次
のブロックに含まれた画素値の平均値を求めるために、
前記１つのブロックが前記次のブロックからはみ出した
部分の画素値を前記１つのブロックに含まれた画素値の
総計から減算し、この減算により得た値に前記次のブロ
ックが前記１つのブロックからはみ出した部分の画素値
を加算して得た値をもとにして前記次のブロックに含ま
れた画素値の平均値を求め、前記現画像平均値演算処理（５３）において、現画像（１３）の探索対象となる各ブロックに含まれた
現画像の画素値の平均値（５４）を得る場合に、１つの現画像のブロックの画素値の平均値を得たら、隣
接した次の現画像のブロックに含まれた画素値の平均値
を求めるために、前記１つの現画像のブロックが前記次
の現画像のブロックからはみ出した部分の画素値を前記
１つの現画像のブロックに含まれた画素値の総計から減
算し、この減算により得た値に前記次の現画像のブロッ
クが前記１つの現画像のブロックからはみ出した部分の
画素値を加算して得た値をもとにして前記次の現画像の
ブロックに含まれた画素値の平均値を求めるようにした
請求項３の動画像の動ベクトル検出方法。
【請求項５】参照画像（１４）中の各ブロックに含ま
れた画素値の平均値（２４）を得るための平均値演算手
段（２３）と、前記画素値の平均値（２４）を蓄積して蓄積された平均
値（３１）を得るための平均値蓄積手段（３０）と、現画像（１３）の探索の対象となるブロックに含まれた
画素値の平均値を分離した平均値分離後の画像（４１）
を得るための平均値分離手段（４０）と、前記参照画像（１４）中の必要なブロックの画像（２
１）を必要とする時点において得るための画像メモリ手
段（２０）と、前記参照画像（１４）中の前記必要なブロックの画像
（２１）の各画素値から前記蓄積された平均値（３１）
を減じた減算後の画素値からなる減算後の参照ブロック
画像と前記平均値分離後の画像（４１）との誤差値を最
小とする動ベクトル（３３）を検出するための動ベクト
ル検出手段（３２）とを含む動画像の動ベクトル検出装
置。
【請求項６】前記平均値演算手段（２３）が、前記参照画像（１４）中の各ブロックに含まれた画素値
の平均値（２４）を得る場合に、１つのブロックの画素値の平均値を得たら、隣接した次
のブロックに含まれた画素値の平均値を求めるために、
前記１つのブロックが前記次のブロックからはみ出した
部分の画素値を前記１つのブロックに含まれた画素値の
総計から減算し、この減算により得た値に前記次のブロ
ックが前記１つのブロックからはみ出した部分の画素値
を加算して得た値をもとにして前記次のブロックに含ま
れた画素値の平均値を求めるように動作する請求項５の
動画像の動ベクトル検出装置。
【請求項７】現画像（１３）の探索対象となる各ブロ
ックに含まれた現画像の画素値の平均値（５４）を得る
ための現画像平均値演算手段（５３）と、前記現画像の画素値の平均値（５４）を蓄積して蓄積さ
れた現画像の平均値（６１，６２）を得るための現画像
平均値蓄積手段（６０）と、参照画像（１４）中の各ブロックに含まれた参照画像の
画素値の平均値（２４）を得るための参照画像平均値演
算手段（２３）と、前記参照画像の画素値の平均値（２４）および前記現画
像の平均値（６２）を蓄積して蓄積された参照画像の平
均値（３１）として出力するための参照画像平均値蓄積
手段（３０Ｂ）と、前記参照画像（１４）および前記現画像の平均値（６
２）を得た前記現画像（１３）中の必要なブロックの画
像（２１）を必要とする時点において得るための画像メ
モリ手段（２０Ｂ）と、前記必要なブロックの画像（２１）の各画素値から前記
蓄積された参照画像の平均値（３１）を減じた減算後の
画素値からなる減算後の参照ブロック画像を得、前記現
画像（１３）の探索の対象となるブロックの画像値から
前記蓄積された現画像の平均値（６１）を減じた減算後
の画素値からなる減算後の現ブロック画像を得て、前記
減算後の参照ブロック画像と前記減算後の現ブロック画
像との誤差値を最小とする動ベクトル（３３）を検出す
るための動ベクトル検出手段（３２Ｂ）とを含む動画像
の動ベクトル検出装置。
【請求項８】前記参照画像平均値演算手段（２３）
が、前記参照画像（１４）中の各ブロックに含まれた画素値
の平均値（２４）を得る場合に、１つのブロックの画素値の平均値を得たら、隣接した次
のブロックに含まれた画素値の平均値を求めるために、
前記１つのブロックが前記次のブロックからはみ出した
部分の画素値を前記１つのブロックに含まれた画素値の
総計から減算し、この減算により得た値に前記次のブロ
ックが前記１つのブロックからはみ出した部分の画素値
を加算して得た値をもとにして前記次のブロックに含ま
れた画素値の平均値を求めるように動作し、前記現画像平均値演算手段（５３）が、現画像（１３）の探索対象となる各ブロックに含まれた
現画像の画素値の平均値（５４）を得る場合に、１つの現画像のブロックの画素値の平均値を得たら、隣
接した次の現画像のブロックに含まれた画素値の平均値
を求めるために、前記１つの現画像のブロックが前記次
の現画像のブロックからはみ出した部分の画素値を前記
１つの現画像のブロックに含まれた画素値の総計から減
算し、この減算により得た値に前記次の現画像のブロッ
クが前記１つの現画像のブロックからはみ出した部分の
画素値を加算して得た値をもとにして前記次の現画像の
ブロックに含まれた画素値の平均値を求めるように動作
する請求項７の動画像の動ベクトル検出装置。