JPH03191688A - 画像の動きパラメータ推定方法及び装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （発明の属する技術分野） 本発明は画像の高能率符号化を行なうための画像の拡大
・縮小と平行移動パラメータの推定方法に関する。

（従来の技術） 従来、２つの画像フレームに対してブロックマツチング
法などを適用して得られたブロック単位の動きベクトル
を用いて、拡大あるいは縮小のパラメータ（ズームパラ
メータ）と水平および垂直方向への平行移動パラメータ
（パンパラメータ）を推定する手法として、収束計算が
用いられていた。

即ち、画像の中心を座標の原点とし、画像中の任意のブ
ロックにおける動きベクトルｖ１１、を水平および垂直
方向の成分に分解すると次式で表わされる。ただし、ブ
ロックの中心の座標を（ｉ、ｊ）とする。

Ｖｌ、Ｊ＝（Ｖｌｌ　ＶＪ）Ｔ（Ｔ　：行列の転置）−
（１）水平および垂直方向のパンを表すパラメータをそ
れぞれｐ、、ｐ、とする、また、ズームを表すパラメー
タを２とする。理想的には ｖｔ＝ｉｚ＋Ｐ１．　　・・・・・・・・・・（２）ｖ
、＝ｊｚ＋Ｐｖ　・・・・・・・・・・（３）となる１
画像の動き補償予測法の代表的手法であるブロックマツ
チング法により得られた、ブロック（ＩＴＪ）の動きベ
クトルをＷｌ、１とする。

Ｗ　＋　、　ｓ　＝　（Ｗ　ｌｔ　Ｗ　Ｊ）　’　　・
・・・・・・・（４）このように従来は、画面内の各ブ
ロックにおいてＷｌ、Ｊとｖｌｌの誤差を最小にするよ
うに収束計算が行われていた。

（発明が解決しようとするＩＩＭ） 上述したように収束計算による方法であると、計算の反
復回数に依存して処理時間がかかるばかりでなく、推定
結果の信頼性も確実でないという問題点があった。

（発明の目的） 本発明は上記問題点を解決し、収束計算なしにパン、ズ
ームパラメータを同時に推定し、収束計算に起因する誤
差をなくすとともに、処理のための演算量を削減するこ
とを目的とするものである。

ＣＩＩＡＭを解決するための手段） 本発明は上記目的を達成するため、２つのデジタル画像
フレームに対してブロックマツチング法あるいは反復勾
配法等などを適用して得られたブロック単位の局所的な
動きベクトルから、画像全体の拡大あるいは縮小と、水
平および垂直方向への平行移動を表現するこれらの３個
の動きパラメータを最小２乗推定を用いて行なうことを
特徴とする。

（作　用） 本発明は画像の変化を表すパン、ズームパラメータの線
形モデル化と、最小２乗推定を行ない、積和演算のみで
パラメータが得られ、従来に比べて演算量が少なくて、
効率のよい画像の予測符号化を行なうことができる。

次に本発明による推定方法を説明すると、まず、平均２
乗誤差規範に基づく推定評価関数を設定し、この評価関
数を最小化するｚｔ　Ｐｂｎ　Ｐｖの組を求める。まず
、前記式（２）、　（３）を行列形式に書くとＶ　ｌ　
、　Ｊ　”　Ｍ　ｌ　、　Ｊ　Ｐ　　・・・・・・・・
・・（５）Ｐ＝　［ｚ　Ｐｙ　Ｐ、　３’　　・・・・
（７）となる、ブロックサイズをｂｘｂ、画面内のブロ
ックの個数を（２ｇ＋１）ｘ（２ｈ＋１）とすれば評価
関数Ｊは、 となる１式（８）を展開して、Ｐで偏微分すればとなる
０画面内に配置されたブロックが水平、垂直方向で原点
に関して対称であるから、次式が成り立つ。

ここに、 ｅ雪−厘ｆ拳−ｈ Ｂ　＝（２ｇ＋１）（２ｈ＋１）　　・・・・・・・・
・・・・・（１２）Ｃ＝（２ｇ＋ｌＸ２ｈ＋１）　　・
・・・・・・・・・・・・（１３）式（１０）より逆行
列は容易に求められ、式（９）より。

Ｐの推定値は となる。したがって１行列内の要素であるスカシの積和
演算だけでパラメータを推定することができる。

以下に上記推定方法の実施例を図面を用いて説明する。

（実施例） 第１図はブロック単位の動きベクトルの一例図を示し、
ブロック個数ｇ＝２．ｈ＝１の場合である。また、第２
図は本発明の一実施例に係る推定パラメータ作成回路で
ある。

第２図において、１は水平方向ブロックアドレスデータ
（ｅ）、２は垂直方向ブロックアドレスデータ（ｆ）、
３は行列Ｍ計算回路、４は動きベクトル指定回路、５は
動きベクトルメモリ、６は全ブロックの動きベクトル、
７は指定ブロックの行列Ｍの′要素、８は指定ブロック
の動きベクトル、９は積和演算回路とレジスタ、１０は
該積和演算回路からの加算結果、１１は逆行列要素メモ
リ、１２は該メモリからの逆行列の対角要素、１３は積
和演算回路、１４は推定パラメータ出力である。

次に動作を説明すると、水平方向ブロックアドレスデー
タ（ｅ）１、垂直方向ブロックアドレスデータ（ｆ）２
の値は行列Ｍ計算回路３に入力され。

式（６）の行列Ｍの要素が計算される。この回路からは
指定ブロックの行列Ｍの要素７が出力される。

これと同時に、水平方向ブロックアドレスデータ（ｅ）
１．垂直方向ブロックアドレスデータ（ｆ）２の値は動
きベクトル指定回路４に入力される。

この動きベクトル指定回路４では、動きベクトルメモリ
５から供給される全ブロックの動きベクトル６のうち、
指定ブロックの動きベクトル８のみが出力される。

指定ブロックの行列Ｍの要８７と指定ブロックの動きベ
クトル８は、積和演算回路とレジスタ９に入力され、指
定されたブロックアドレスに対する積和演算結果（式（
９）右辺）がストアされる。ブロックアドレスが更新さ
れるにつれて次々と積和結果が加算されてレジスタにス
トアされる。一画面全体について処理が終われば、加算
結果ｌＯが出力される。

一方、逆行列要素メモリ１１には式（１０）の逆行列の
演算結果を事前に蓄えておく、ここで逆行列の要素はブ
ロック分割形式に依存し、動きベクトルに依存しないの
で、オフラインで求めておくことができる０本実施例の
ブロック分割では対角要素のみが存在するので、逆行列
要素メモリ１１からは逆行列の対角要素１２が出力され
る。

式（９）右辺の加算結果ｌＯと逆行列の対角要素１２は
積和演算回路１３に入力され１行列演算が実行される。

その結果、推定パラメータ１４が出力される。

以上の実施例では一画面分の動きベクトルをパン、ズー
ムパラメータで表現する際に、単純な平均２乗誤差を規
範とした。これは水平方向の動きベクトルのずれと垂直
方向の動きベクトルのずれを画素単位に等しく評価した
ことに相当する。このデジタル化された画像は、単位長
さあたりの水平、垂直の画素数比は１：１とは限らない
、したがって式（８）に重みをかけて評価するために式
（６）の行列を と変化させることもできる。ここで、ｒは画素数比に依
存する重みである。

またここでは全画面がカメラのパン、ズームにより一様
に変化している場合を述べたが、画像の一部にパン、ズ
ーム以外の動きがある場合にも、セグメンテーションに
より特別な動きをするブロックを分離して、残りのブロ
ックについて本方法を適用すればよい、また、ブロック
分割は原点を含むブロックが存在するように設定したが
、ブロック境界が原点を通るような分割を行なっても全
く問題がないことは明かである。

（発明の効果） 以上説明したように本発明は１画像の変化を表すパン、
ズームパラメータの線形モデル化と最小２乗推定を行な
い、積和演算のみでパラメータが得られるため、従来技
術に比べて少ない演算量でブロック単位の動きベクトル
から、パン、ズームパラメータを推定することができる
。つまり、パン、ズームパラメータが得られれば、片方
の画像を変形することにより、他方の画像の予測画像を
生成することができ、効率のよい画像の予測符号化を行
なうことができる。

【図面の簡単な説明】

第１図は本発明の詳細な説明するためのブロック単位の
動きベクトルの一例を示す図、第２図は本発明の一実施
例に係る推定パラメータ作成回路である。 １・・・水平方向ブロックアドレス（ｅ）、　２・・・
垂直方向ブロックアドレス（ｆ）、　３・・・行列Ｍ計
算回路、　４・・・動きベクトル指定回路、　　５・・
・動きベクトルメモリ、　　６・・・全ブロックの動き
ベクトル、　７・・・指定ブロックの行列Ｍの要素、　
８・・・指定ブロックの動きベクトル、　９・・・積和
演算回路とレジスタ、　　１０・・・加算結果、　１１
川逆行列要素メモリ、　　１２・・・逆行列要素、　１
３・・・積和演算回路、１４・・・推定パラメータ。

Claims (1)

【特許請求の範囲】
1. ２つのデジタル画像フレームに対してブロックマッチン
   グ法あるいは反復勾配法等などを適用して得られたブロ
   ック単位の局所的な動きベクトルから、画像全体の拡大
   あるいは縮小と、水平および垂直方向への平行移動を表
   現するこれらの３個の動きパラメータを最小２乗推定を
   用いて行なうことを特徴とする画像の拡大・縮小と平行
   移動パラメータの推定方法。