JPH0276493A - 画像符号化装置および復号化装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は画像信号の符号化・復号化技術に関するもので
ある。

（従来の技術） 従来、動き補償フレーム間予測符号化方式においては、
供給された画像を定められた大きさの小ブロックに分割
し、各小ブロックについて求めた動ベクトルをそれぞれ
の小ブロックについてすべて伝送する方法が普通に用い
られていた。

（発明が解決しようとする問題点） しかしながら供給された画像の各小ブロックについて求
めた動ベクトルをそれぞれの小ブロックについてずべて
伝送する従来の方法では、伝送すべき動ベクトル情報量
が小ブロックの分割数にしたがって多くなり、符号化効
率を悪化させるという問題点があった。

（問題点を解決するための手段） 本発明では、動き補償フレーム間予測を用いる画像符号
化装置において、入力画像の動ベクトルを画像の小ブロ
ックごとに検出する手段と、検出された動ベクトルから
画像全体の動ベクトル場を計算する手段と、計算された
動ベクトル場から小ブロックごとの動ベクトルを展開す
る手段とを持ち、動き補償フレーム間予測には展開され
た動ベクトルを用い、動ベクトル情報として動ベクトル
場を伝送する。このようにして、動ベクトル情報を減少
させ、効率の良い符号化を実現する。

またこの画像符号化装置において人力画像の動ベクトル
場を計算する際、入力画像を小ブロックに分割し、その
小ブロックごとに動ベクトルを検出し、検出された動ベ
クトルを周波数的に分解し、その低周波成分を動ベクト
ル場として出力する。

さらに本発明によれば、この画像符号化装置において入
力画像の動ベクトル場を計算する際に、入力画像にかか
わるカメラ・編集機器の操作情報を用いて動ベクトル場
を計算する。

また本発明においては、復号器では前記画像符号化装置
より伝送された信号のうち動ベクトル場情報から小ブロ
ックごとの動ベクトルを展開する手段を持ち、展開され
た動ベクトルを動き補償フレーム間予測の動ベクトルと
して用いて復号化を行う。

また本発明の別の構成では、動き補償フレーム間予測を
用いる画像符号化装置において、入力画像の動ベクトル
を画像の小ブロックごとに検出する手段と、検出された
動ベクトルから画像全体の動ベクトル場を計算する手段
と、計算された動ベクトル場から小ブロックごとの動ベ
クトルを展開する手段と、展開された動ベクトルと小ブ
ロックごとに検出した動ベクトルとの差分を計算する手
段とを持ち、動き補償フレーム間予測には小ブロックご
とに検出された動ベクトルを用い、動ベクトル情報とし
て動ベクトル場と差分動ベクトルを伝送する。

また復号器においては、この画像符号化装置より伝送さ
れた信号のうち動ベクトル場情報から小ブロックごとの
動ベクトルを展開する手段と、伝送された差分動ベクト
ルと展開された動ベクトルとを加算する手段とを持ち、
その出力動ベクトルを動き補償フレーム間予測の動ベク
トルとして用いて復号化を行う。

（作用） 本発明の原理を第２図を用いて説明する。供給された画
像を小ブロックに分割して動ベクトルを検出する際、例
えばカメラが横方向にパンニングを行っているような画
像、あるいは編集装置で横方向に移動させているような
画像では、発生する動ベクトルは同図（ａ）に示すよう
な一定の方向を示す。また、カメラがズーミングを行っ
ている場合や編集装置で拡大を行っている場合には、同
図（ｂ）に示すような放射状の動ベクトルを発生する。

このように画像内で検出される動ベクトルには、カメラ
ワークや編集操作などにしたがった特徴がみられる。画
像内に動物体がある場合でも、背景に相当する部分では
、前述したような特徴がみられ、さらに動物体部分にお
いても、となりあった小ブロックの動ベクトルには高い
相関がみられる。

したがって、全画面の動ベクトルを動ベクトル場という
形で関数等を用いて表現することは十分可能である。こ
れは、例えば第３図に示すように検出された動ベクトル
を周波数分解し、その低周波成分の係数を用いて動ベク
トル場を表現することによって実現可能である。また第
４図に示すように、カメラのズーミング・パンニング・
ピント・絞りなどの操作や、編集機器による画像の移動
・拡大縮小１回転などの操作に対応したモデル化を行っ
て動ベクトル場を計算あるいは修正する方法や操作情報
そのものを伝送する方法とすることにより、動ベクトル
場をより正確に表現することが可能である。

また、カメラ操作、編集機器により生成される動ベクト
ル場に限らず通常の自然動画でも本発明の考え方を適用
することができる。たとえば、自然動画の動きは、平行
移動、拡大・縮小、回転の３つの動ベクトルの場で合成
することができる。

したがって、これらの３つの動ベクトル場を記述するパ
ラメータ平行移動速度、拡大・縮小の中心点、拡大・縮
小の速度、回転中心座標、回転角速度などを伝送するこ
とにより、１画面分の動きベクトルを再構成することが
可能である。

以上のように画像の動ベクトルを動ベクトル場という形
で表現・伝送し、復号器において小ブロックごとの動ベ
クトルに展開して用いることとすれば、動ベクトルを効
率よく伝送することが可能となる。

さらに、動ベクトル場から展開される小ブロックごとの
動ベクトルと最初に検出した動ベクトルとの差分動ベク
トルを動ベクトル場の情報とともに伝送する方式とすれ
ば、画面上で背景とは異なった動きをする動物体などの
動ベク′トルをより正確に表現することが可能となり、
動ベクトルの情報量を減少させながらも動ベクトルの精
度は従来と同様とすることができる。この情報を受信し
た復号器では動ベクトル場から展開した小ブロックごと
の動ベクトルと差分動ベクトルとを加算することによっ
て動き補償フレーム間予測に用いる小ブロックごとの動
ベクトルを生成することができる。

（実施例） 以下、本発明の実施例を第１図、第３図、第４図、第５
図、第６図、及び第７図を参照して詳細に説明する。

符号化装置の実施例を第１図に示す。同図において、供
給された画像信号は線１０１を介して動ベクトル検出回
路１と差分器４に供給される。

動ベクトル検出回路１においては、線１０１から供給さ
れる現フレーム画像と線８０２を介してメモリ８から供
給される前フレーム画像から画像の小ブロックごとに動
ベクトルを検出し、線１０２を介して動ベクトル場計算
回路２に供給する。

動ベクトル場計算回路２においては、供給された小ブロ
ックごとの動ベクトルから動ベクトル場を表現するパラ
メータを計算し、線２０１を介して動ベトクル展開回路
３に供給するとともに復号器へ伝送する。

動ベクトル場のパラメータを計算する方法としては、例
えば第３図に示すような方法を用いればよい。同図にお
いて、線１０２から供給された検出動ベクトルは水平方
向に関して周波数分解回路２１において周波数的に分解
され、その係数を線２１１を介してパラメータ化回路２
３に供給する。同様に検出動ベクトルは垂直方向に関し
て周波数分解回路２２において周波数的に分解され線２
２１を介して動ベクトル場パラメータ化回路２３に供給
される。周波数分解の方式としてはＤＦＴ、ＤＣＴなど
を用いればよい。

動ベクトル場パラメータ化回路２３においては、供給さ
れた動ベクトルの周波数成分の係数を例えば低周波数側
から定められた個数だけ取り出し、動ベクトル場情報と
して線２０１を介して出力する。

また第４図（ａ）に示すような方法も可能である。カメ
ラのズーミング・パンニング・ピント絞りなどの操作や
、編集機器による画像の移動・拡大縮小・回転などの操
作によって発生する動ベクトル場をあらかじめモデル化
しておき、実際に行われる操作情報をモデル化パラメー
タ計算回路１７に供給する。モデル化パラメータ計算回
路１７においては、入力された操作情報をモデル上のパ
ラメータ化し、動ベクトル場情報として伝送するととも
にモデル化動ベクトル展開回路１８に供給する。モデル
化動ベクトル展開回路１８においては、供給されたモデ
ル上のパラメータにしたがって小ブロックごとの動ベク
トルを展開し、動き補償フレーム間予測に用いる動ベク
トルとする。

さらに同図（ｂ）に示すように、モデル化パラメータ計
算回路１７によって出力されるモデル化された動ベクト
ル場情報を、モデル化動ベクトル展開回路１８ニよって
小ブロックごとの動ベクトルに展開し、動ベクトル検出
回路１において小ブロックごとに検出された動ベクトル
をこのモデル化された動ベクトルを用いて補正したうえ
で、例えば第３図に示したような周波数分解を行い動ベ
クトル場を計算するという方法も考えられる。このよう
にすることによって動ベクトル場をより正確に表すこと
が可能となる。

再び第１図にもどって説明する。動ベクトル展開回路３
においては、動ベクトル場計算の方法に対応した方法で
、供給された動ベクトル場のパラメータから画像の小ブ
ロックごとの動ベクトルを展開し、線３０１を介して可
変遅延器９に供給する。動ベクトルの展開は、例えば動
ベクトル場の計算が周波数分解によってなされた場合は
、その逆変換によって行うことができる。また、入力画
像のカメラ・編集機器の操作情報を動ベクトル場情報と
した場合には動ベクトル場発生モデルと操作情報にした
かって小ブロックごとの動ベクトルを計算すればよい。

差分器４においては、線１０１より供給される画像信号
と線９０１より供給される前フレームの画像との差分を
計算し、線４０１を介して符号化回路５に供給する。

符号化回路５においては、供給されたフレーム間差分符
号化信号を定められた方法により符号化し、線５０１を
介して復号化回路６に供給するとともに復号器に伝送す
る。

復号化回路６においては、供給された符号を定められた
方法により復号化し、線６０１を介して加算器７に供給
する。

加算器７においては、線６０１によって供給される復号
化信号と線９０１から供給される前フレーム画像を加算
して局部復号画像を得て、メモリ８に線７０１を介して
供給する。

メモリ８においては、供給された局部復号画像を線８０
１を介して可変遅延器９に供給するとともに、線８０２
を介して動ベクトル検出回路１に供給する。

可変遅延器９においては、線８０１によって供給された
画像信号を線３０１より供給される動ベクトルにしたが
って遅延させて線９０１を介して出力する。

第１図に対応する復号化装置の実施例を第５図に示す。

同図において、符号化装置より伝送された動ベクトル場
情報は線１００１を介して動ベクトル展開回路１０に供
給され、符号化情報は線１１０１を介して復号化回路１
１に供給される。

動ベクトル展開回路１０においては供給された動ベクト
ル場のパラメータから符号化装置と同様の方法によって
画像の小ブロックごとの動ベクトルを展開し、線１００
２を介して可変遅延器１４に供給する。

復号化回路１１においては供給された符号を定められた
方法により復号化し、線１１０２を介して加算器１２に
供給する。

加算器１２は供給された復号信号と線１４０１を介して
供給される前フレーム画像を加算し、線１２０１を介し
て復号画像信号として出力するとともにメモリ１３に供
給する。

メモリ１３は供給された復号画像信号を記憶し、線１３
０１を介して可変遅延器１４に出力する。

可変遅延器１４は供給される画像信号を線１００２を介
して供給される動ベクトルにしたがって遅延させ、線１
４０１を介して出力する。

また、検出動ベクトルと動ベクトル場から展開された動
ベクトルとの差分動ベクトルも伝送する場合の実施例を
第６図に示す。

同図において、動ベクトル検出回路１によって出力され
る検出動ベクトルは線１０２を介して動ベクトル場計算
回路２、可変遅延器９、および差分器１５に供給される
。

動ベクトル場計算回路２においては、動ベクトル場を計
算し、線２０１を介して動ベクトル展開回路３に供給す
るとともに、復号化装置に伝送する。

動ベクトル展開回路３においては、供給された動ベクト
ル場の情報から小ブロックごとの動ベクトルを展開し、
差分器１５に供給する。

差分器１５においては、線１０２より供給された検出動
ベクトルと線３０１より供給された展開動ベクトルとの
差分を計算し、線１５０１を介して復号化装置に伝送す
る。

以上にのべた以外の部分の動作は第１図の場合と同様で
ある。このようにすることによって、動ベクトルの情報
量を減少させながらも、動ベクトルの精度は従来と同様
の精度を得ることが可能となる。

第６図に対応する復号化装置の実施例を第７図に示す。

同図において、符号化装置より伝送された動ベクトル場
情報は線１００１を介して動ベクトル展開回路１０に供
給され、差分動ベクトル情報は線１６０１を介して加算
器１６に供給される。

動ベクトル展開回路１０においては供給された動ベクト
ル場のパラメータから画像の小ブロックごとの動ベクト
ルを展開し、線１００２を介して加算器１６に供給する
。

加算器１６においては、線１６０１より供給される差分
動ベクトルと線１００２を介して供給される動ベクトル
とを加算し、線１６０２を介して可変遅延器１４に供給
する。

（１５歳′） 以後の動作は第５図の場合と同様である。

（発明の効果） 以上述べてきたように、本発明によれば、供給された画
像信号を符号化して伝送する符号化装置および復号化装
置において、伝送すべき動ベクトル情報量の大幅な減少
が実現可能となる。

【図面の簡単な説明】

第１図、第３図、第４図（ａ）、（ｂ）、第５図、第６
図、および第７図は本発明の詳細な説明するための図、
第２図（ａ）、（ｂ）は本発明の詳細な説明するための
図である。 図において、 １・・・動ベクトル検出回路、２・・・動ベクトル場計
算回路、３，１０・・・動ベクトル展開回路、４，１５
・・・差分器、５・・・符号化回路、６，１１・・・復
号化回路、７，１２．１６・・・加算器、８，１３・・
・メモリ、９，１４・・・可変遅延器、１７・・・モデ
ル化パラメータ計算回路、１８・・・モデル化動ベクト
ル展開回路、２１．２２・・・周波数分解回路、２３・
・・動ベクトル場パラメータ化回路である。

Claims (6)

【特許請求の範囲】
1. （１）動き補償フレーム間予測を用いる画像符号化装置
   において、入力画像の動ベクトルを画像の小ブロックご
   とに検出する手段と、検出された動ベクトルから画像全
   体の動ベクトル場を計算する手段と、計算された動ベク
   トル場から小ブロックごとの動ベクトルを展開する手段
   とを持ち、動き補償フレーム間予測には展開された動ベ
   クトルを用い、動ベクトル情報として動ベクトル場を伝
   送することを特徴とする画像符号化装置。
2. （２）入力画像の動ベクトル場を計算する手段は、入力
   画像の小ブロックごとに検出された動ベクトルを周波数
   分解する手段と、その低周波成分を動ベクトル場として
   出力する手段とからなることを特徴とする請求項（１）
   記載の画像符号化装置。
3. （３）入力画像の動ベクトル場を計算する手段は、入力
   画像にかかわるカメラ編集機器の操作情報を用いて動ベ
   クトル場を計算する手段であることを特徴とする請求項
   （１）記載の画像符号化装置。
4. （４）請求項（１）記載の画像符号化装置より伝送され
   た信号のうち動ベクトル場情報から小ブロックごとの動
   ベクトルを展開する手段と、展開された動ベクトルを動
   き補償フレーム間予測の動ベクトルとして用いて復号化
   を行う手段とを備えた画像復号化装置。
5. （５）動き補償フレーム間予測を用いる画像符号化装置
   において、入力画像の動ベクトルを画像の小ブロックご
   とに検出する手段と、検出された動ベクトルから画像全
   体の動ベクトル場を計算する手段と、計算された動ベク
   トル場から小ブロックごとの動ベクトルを展開する手段
   と、展開された動ベクトルと小ブロックごとに検出した
   動ベクトルとの差分を計算する手段とを持ち、小ブロッ
   クごとに検出された動ベクトルを用いて、動き補償フレ
   ーム間予測を実行する手段と、動ベクトル情報として動
   ベクトル場と差分動ベクトルを伝送する手段を備えたこ
   とを特徴とする画像符号化装置。
6. （６）請求項（５）記載の符号化装置より伝送された信
   号のうち動ベクトル場情報から小ブロックごとの動ボク
   トルを展開する手段と、伝送された差分動ベクトルと展
   開された動ベクトルとを加算する手段と、その出力動ベ
   クトルを動き補償フレーム間予測の動ベクトルとして用
   いて復号化を行う手段とを備えたことを特徴とする画像
   復号化装置。