JPH03127579A - 動き補償予測符号化装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明番ヨ　　動画像符号化の際に動きベクトル量検出
による動き補償を用いた動き補償予測符号化装置に関す
るものである。

従来の技術 第４図に動きベクトル量検出を用いた動き補償予測符号
化装置の概要を示す。以下に　動き検出を用いた動画像
符号化の説明を行う。第４図において４０１は現在処理
対象となっているフレーム（以下現フレームという）、
　４０２は現フレーム中の注目するパターン、４０３は
１単位時間前のフレーム（以下前フレームという）、４
０４は前フレーム中の探索対象類Ｊｔ　４０５は探索対
象領域４０４の中で注目するバタニン４０２とのパター
ンマツチングを行っているパターン、　４０６はパター
ンマツチング装置　４０７は符号化器であも　各フレー
ムは　半導体メモリで構成されている。

動き検出を用いた予測は　まず注目するパターン４０２
に対し前フレーム４０３のどの領域と最も類似している
かパターンマツチング装置４０６で探す。普通この探索
は注目するパターン４０２に対応する位置の周辺のパタ
ーン４０４が対象となる。次に　最も類似している領域
が決定された後、符号化器４０７でこの領域４０４と注
目するパターン４０２との各画素の差分を計算し　この
各差分データに対して直交変換等を行って符号化する。

注目パターンに最も類似したパターンの探索即ち動きベ
クトル検出は例えば以下のようにして行う。第５図にパ
ターンマツチングにおけるの探索方法の例として木探索
法の概念図を示す。この木探索法（上　１階層目で（よ
　探索領域５０１の中で大まかに代表値（その代表値の
中心群を５０２とする）のみを評価し　その評価結果が
一番よいパターン５０３を得も　２階層目では　上で得
られたパターン５０３の中心５０４の１階層目よりも狭
い範囲の周辺の代表値を１階層目と同様に評価していき
、一番よいパターン５０５　（中心５０６）を得も　３
階層目でζよ　同様に一番よいパターン５０７　（中心
５０８）を得も　上記のように階層的に探索を行うこと
で探索領域内金てのパターンを評価しなくても済むよう
になっていも次にパターンマツチングにおける評価方法
を示す。パターンを画素数分の成分を持つベクトルと考
え　パターン同志の相関を２個のベクトルの相関と考え
る。これら２個のベクトルの相関の程度を測るのに以下
の（１）式のような尺度Ｓを用（Ｘ、Ｓ値が最も小さい
パターンを最も類似している領域と判定すも Ｓ＝Σｌ　Ｘ＋−Ｙ＋　Ｉ　　　　−（１）式（＋）式
でＸｉは対象のパターンに相当するベクトルのｉ番目の
成分を表ＬＹｉは前フレームのあるパターンに相当する
ベクトルのｉ番目の成分を表す。

Ｓを計算するのに従来では絶対値をｉ毎に計算していも
　その従来例として第６図に示すベクトル相関検出回路
を用いた方法を説明すも　第６図において６０１と６０
２は２個のＮ次元ベクトルデータＸ　（Ｘｉ、　　Ｘ２
．　−ｉ　　ＸＮ）　トＹ　（Ｙｌ、　　Ｙ２．　−。

ＹＮ）の対応する成分データＸｉとＹｉ、６０３は減算
器　６０４は絶対値ｉ　　６０７は加算器６０５とレジ
スタ６０６からなる累算器であも　第６図の方法（よ　
まず２個のＮ次元ベクトルデータ（Ｘｌ、Ｘ２．　　・
・−、ＸＮ）と（Ｙｌ、’ｌ　・・、　　ＹＮ）の対応
する成分データＸｉとＹｉに対して減算器６０３でＸｌ
−Ｙｉの計算を行（Ｘ、絶対値器６０４でｌＸ１−Ｙｉ
ｌの計算を行う。これを累算器６０７によりｉか増加す
るに従い順次に累算する。

発明が解決しようとする課題 しかしながら上記のような構成で（よ　この符号化器を
用いて画像伝送装置または画像記録装置などを構築する
とき、ある伝送レート内にデータ量を圧縮しなければ戒
らない制限があるので、従来の方法では精度的には非常
によい力丈　演算時間がかなりかかることになり、　１
フレームの符号化時間が大きくなん　つまり、駒落しや
サブサンプリングの割合が大きくないと、ある決まった
伝送レートには乗せられなくなる。動きベクトル検出は
必ずしも最適解を検出する必要はなく、できるだけ速く
伝送レートを満足する解を得られればよいのである。

本発明はかかる点に鑑へ　高性能な画像伝送装置または
画像記録装置などを構築するときに用いる場合、演算時
間を少なくすることで、動画像の符号化速度を上げるこ
とが可能な動き補償予測符号化装置を提供することを目
的とする。

課題を解決するための手段 本発明（＋）Ｕ　　１単位時間前のフレーム内のパター
ンの動きベクトル量を記憶しておく記憶装置と、現ｌＩ
９間のパターンに対応する動きベクトル量を前記記憶装
置より参照した動きベクトル座標を中心にして前記探索
範囲を縮小してパターンマツチングを行１．％　　その
結果を現時間のパターンの動きベクトル量として用いる
パターンマツチング装置と、前記パターンマツチング装
置の評価結果で得られた動きベクトル量を用いて予測符
号化した場合と閤記記憶装置より参照してそのまま現時
間の動きベクトル量とする動き補償無しで予測符号化し
た場合とでどちらが圧縮効率がよいかを評価を行う選択
器とをｌ１ｒｉ丸　　評価結果のよい方を前記選択器か
らの符号化出力とし　前者が選択された場合、その動き
ベクトル量が変化していればその動きベクトル量を前記
記憶装置に記憶して１単位時刻後の参照する動きベクト
ル量とし　後者が選択された場合、　１単位時刻後は前
記記憶装置を参照せずに０ｉ１記探索範囲にパターンマ
ツチングを行い動きベクトル量を求めるという制御を行
なう動き補償予測符号化装置である。

まｔヘ　　本発明（２）は　　現在処理対象のフレーム
の１つのパターンと１単位時間前のフレームの探索対象
領域内のパターン群のなかの各々のパターンとの類似度
の評価手段として、前者のパターンの要素の総和を求め
る加算装置の出力と、後者のパターンの総和を求める加
算装置の出力との比較を差分装置で行（Ｘ、その差分結
果が最小となる探索対象領域内のパターンを求める装置
で構成されるパターンマツチング装置を備えた動き補償
予測符号化装置であ瓜 作用 本発明によると、前記した構成（１）により、　ｌ単位
時間前での動きベクトル量を参照することによりパター
ンマツチングの探索回数を減少させることができ、動き
ベクトル量の計算量が縮小され計算時間が短縮される。

前記構成（２）により、計算時間を短縮でき、かつハー
ドウェア量を削減できも 実施例 第１図に本発明の一実施例における動き補償予測符号化
装置のブロック図を示も　第１図において、　１０１は
現フレー４　１０３は現フレーム中の注目するパターン
、　１０２は前フレーＡ　　１０４は前フレーム中の探
索対象類Ｊｉ　　１０７は探索対象領域１０４の中で注
目するパターン１０３とのパターンマツチングを行って
いるパターンである。尚各フレーム（戴　半導体メモリ
で構成されている。　１０６はパターンマツチング装置
で、　１０５は１単位時間前の動きベクトル量を記憶し
ておく記憶装置である。　１０８はパターンマツチング
装置＋０６によって得られた動きベクトル量で参照され
る対象領域のパターンと注目しているパターン１０３と
の差分パターンを符号化する符号化器であ７ｂ　　１０
９は注目しているパターン１０３を上記のような動き補
償無しで符号化する符号化器であ４　１１０は符号化器
１０８と符号化器１０９の出力結果のデータ量を評価し
　評価結果のよい方を選択する選択器であも 第１図に基づき本実施例についてさらに詳細な説明をす
も　１時間単位が小さい場合、物体の動きがほぼ直線状
になっていると考えられ探索効率があがる期待が太きへ
　つまり物体が直線状に動いている場合４表　前と同じ
動きベクトルとなるたム　多少直線的でない動きをして
いても１単位時間が小さけれ４Ｌ　　前の動きベクトル
量で参照する探索対象領域の・周辺に類似度の高いパタ
ーンがあるはずであａ　そのた吹　現パターンに対応す
る１時間単位前の動きベクトル量を記憶装置１０５より
参照してそのまま現時間の動きベクトル量として用いる
力＼　参照した動きベクトル座標を中心にして探索範囲
を縮小してパターンマツチングを行う。よって上記のよ
うな方式をとることで、探索領域すべてを探索せずに済
む。木探索方式による探索方式の場合でも範囲を縮小で
きるか転　探索時間は総合的にみるとかなりの改善がで
きもまたパターンマツチング装置の評価結果で得られた
動きベクトル量を用いて予測符号化した場合と、動き補
償無しで予測符号化した場合と弘　どちらが圧縮効率が
よいかを評価を行う選択器１１Ｏを備えているのハミス
マッチが起こった場合の補償を行うためであも　大抵の
場合：上　前の動きベクトル量を参照した場合の方がデ
ータ量は少なくなも 次に本発明のポイントである１単位時間前の動きベクト
ル量を記憶しておく記憶装置１０５の制御を説明すも　
選択器１１０におけム　パターンマツチング装置の評価
結果で得られた動きベクトル量を用いて予測符号化した
場合と、動き補償無しで予測符号化した場合との評価で
、前者が選択された場合はその動きベクトル量が変化し
ていればその動きベクトル量を前記記憶装置１０５に記
憶して、また変化していなければ書き込みは行わないか
または同じものを上書きするかすることで、次時刻の参
照する動きベクトル量とすも　後者が選択された場合、
次時刻は記憶装置にある動きベクトル量を参照せずに前
記探索範囲をすべてにパターンマツチングを行うように
制御を行ｔ、ｋ　　新たに動きベクトル量を求め次時刻
の為に記憶装置１０５に格納する。

第２図に本発明の一実施例におけるパターンマツチング
装置のベクトル相関器のブロック図を示′？１％ｍ２図
において２０１及び２０２は多入力加算装置　２０３は
差分装置である。多入力加算器２０１、２０２の構成（
上　例えばｌｌ’ＡＬＬＥｃＥ−ＴＲＥＥ方式による多
入力加算器で実現すも　多入力加算装置２０１．７１　
　現フレームの注目しているパターン（Ｘベクトル）の
各要素を入力としている。−言争人力加算装置２０２は
前フレームにおける探索対象領域内のあるパターン（Ｙ
ベクトル）の各要素を人力としている。これら２つの多
入力加算装置の出力の差分を差分装置２０３は計算し出
力すも　つまり、このベクトル相関器３０１はこれら２
個のベクトルの相関の程度を測るのに以下の（２）式の
ような尺度Ｓ２を用いることになもないので、人力され
る各ベクトルの精度をある程度−様に落としてもよす〜
　こうすることによってより高速にベクトル相関が計算
できも 上記のような構成でベクトル相関器を実現すると、従来
の方法では加算装置と絶対値装置と累算器が必要であっ
た力（本発明によると多入力加算装置２個と差分装置の
みで実現できるのでハードウェア量の大幅な削減となる
。それのみならず、演算装置におけるキャリーの伝搬と
クロック数を考えると、従来の方式では　パイプライン
的な構成となっていることか板　対象パターンが多けれ
ば多いほど時間がかかることになも　しかし　本発明の
方式のベクトル相関器は従来の方式より累算器がいらな
いので、時間がかからないことにな第３図に本発明にお
けるパターンマツチング装置の構成国を示す。　３０１
は第２図に示した上記の構成のベクトル相関１ｉ３０２
はベクトル相関器３０１の出力を順次格納するレジス久
　３０３はレジスタに格納されている差分データの最小
値を検出して、その最小値に対応する探索対象領域のパ
ターンの識別子（例えば中心座標値）を出力する動きベ
クトル量検出装置である。

このパターンマツチング装置（よ　以下のような振舞い
をすも　ベクトル相関器３０１の一方の入力にＸベクト
ルを入力しておき、他方の入力に探索領域のパターン（
Ｙベクトル群）を順次入力する。ベクトル相関器は３０
１１　人力に従い順次差分データを出力してくるので、
その出力をレジスタ３０２に順次格納す瓜　レジスタに
格納されている差分データの最小値を検出して、その最
小値に対応する探索対象領域のパターンの識別子を出力
することで動きベクトル量検出が実現できも殊　本実施
例で（よ　第３図において各探索対象領域のパターンが
並列に与えることが出来れ（′Ｌベクトル相関器３０１
を並列して全ての差分データ同時に生成した後、動きベ
クトル量検出器３０３に入力してもよりも また本実施例（友　上記説明してきた装置を汎用のマイ
コンやＤＳＰなどを用いてエミュレートすることで実現
も可能である。

発明の効果 以上述べたように本発明（１）によれ１．ｃ　　１単位
時間＋’ｌｉｊでの動きベクトル量を参照することによ
りパターンマツチングの探索回数を減少させることがで
き、動きベクトル量の計算量が縮小され計算時間が短縮
される。また本発明（２）によれ（凰　計算時間を短縮
でき、かつハードウェア量を削減できもそのた碌　本発
明の実用的効果は犬きへ

【図面の簡単な説明】

Claims (2)

【特許請求の範囲】
1. （１）ある探索範囲でのパターンマッチングによる動き
   ベクトル検出を用いた動き補償を行う動画像予測符号化
   装置において、１単位時間前のフレーム内のパターンの
   動きベクトル量を記憶しておく記憶装置と、現時間のパ
   ターンに対応する動きベクトル量を前記記憶装置より参
   照した動きベクトル座標を中心にして前記探索範囲を縮
   小してパターンマッチングを行い、その結果を現時間の
   パターンの動きベクトル量として用いるパターンマッチ
   ング装置と、前記パターンマッチング装置の評価結果で
   得られた動きベクトル量を用いて予測符号化した場合と
   前記記憶装置より参照してそのまま現時間の動きベクト
   ル量とする動き補償無しで予測符号化した場合とでどち
   らが圧縮効率がよいかを評価を行う選択器とを備え、評
   価結果のよい方を前記選択器からの符号化出力とし、前
   者が選択された場合、その動きベクトル量が変化してい
   ればその動きベクトル量を前記記憶装置に記憶して１単
   位時刻後の参照する動きベクトル量とし、後者が選択さ
   れた場合、１単位時刻後は前記記憶装置を参照せずに前
   記探索範囲にパターンマッチングを行い動きベクトル量
   を求めるという制御を行なうことを特徴とした動き補償
   予測符号化装置。
2. （２）パターンマッチング方式による動きベクトル検出
   で動き補償予測を行う動画像符号化装置において、現在
   処理対象のフレームの１つのパターンと１単位時間前の
   フレームの探索対象領域内のパターン群のなかの各々の
   パターンとの類似度の評価手段として、前者のパターン
   の要素の総和を求める加算装置の出力と、後者のパター
   ンの総和を求める加算装置の出力との比較を差分装置で
   行い、その差分結果が最小となる探索対象領域内のパタ
   ーンを求める装置で構成されるパターンマッチング装置
   を備えることを特徴とした動き補償予測符号化装置。