JP2768059B2 - 画像符号化装置および復号化装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動き補償予測誤差信号
から誤差の大きな領域を抽出し、抽出した任意形状の領
域に対し直交変換を施して符号化する画像符号化／復号
化装置に関するものである。

【０００２】

【従来の技術】シグナル・プロセッシング：イメージ・
コミュニケーション誌（ＳｉｇｎａｌＰｒｏｃｅｓｓｉ
ｎｇ：Ｉｍａｇｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ），ｖ
ｏｌ．１，Ｎｏ．２，ｐｐ．１５３−１８０，（１９８
９年）に記載の論文［文献１］には、動き補償予測誤差
信号から誤差の大きな領域を抽出し、抽出した任意形状
の領域に直交変換を施す画像符号化が示されている。こ
の符号化では、画像の内容とは無関係に画面を格子状ブ
ロックで分割し、ブロックマッチングによって動ベクト
ルを求め、動ベクトルにより前フレーム画像に対し動き
補償を行って、現フレームの予測画像を作っている。符
号化ではさらに、予測画像と現フレーム画像の差分を求
め、差分の大きい領域を抽出し、抽出領域の形状に応じ
て直交変換の基底関数を計算して変換を行い、変換係数
を求めている。領域形状については、符号化のために輪
郭を抽出し、最終的には、動ベクトル，輪郭画素位置，
変換係数を記録または伝送する。

【０００３】

【発明が解決しようとする課題】前記従来技術では、格
子状ブロックごとに動き補償を行っているため、動ベク
トルが異なるブロックの境界では予測信号の波形が不連
続になる。その結果、復号画像でも、動き補償ブロック
の境界部に画像内容とは無関係な格子状のひずみが現
れ、雑音として目立つことがある。

【０００４】本発明の目的は、上記従来の方法の問題点
を解決して、ひずみの目立たない、より自然な再生画を
得ることのできる画像符号化装置および画像復号化装置
を提供することにある。

【０００５】

【課題を解決するための手段】本発明による画像符号化
装置の第一の構成では、前フレームと現フレームの変化
領域を検出する手段と、各変化領域ごとに当該領域の変
移を表すマッピングパラメータを計算する手段と、前記
マッピングパラメータを用いて前フレーム画像に動き補
償を施す手段と、前記動き補償した前フレーム画像では
表現できない領域を現フレーム画像より抽出する手段
と、前記抽出領域を画像の内容にしたがって領域分割す
る手段と、前記分割領域に対し領域形状に適合した直交
変換基底を計算し、直交変換を施して変換係数を算出す
る手段と、前記変化領域、前記分割領域の輪郭を抽出す
る手段と、前記マッピングパラメータ、前記輪郭の画素
位置、前記変換係数を符号化する手段とからなることを
特徴とする。

【０００６】本発明による画像符号化装置の第二の構成
では、前記画像符号化装置の第一の構成の、動き補償し
た前フレーム画像では表現できない現フレーム画像上の
領域を、画像の内容にしたがって領域分割する手段にお
いて、微小な領域は隣接する大きな領域に統合すること
を特徴とする。

【０００７】本発明による画像符号化装置の第三の構成
では、前記画像符号化装置の第一の構成の、動き補償し
た前フレーム画像では表現できない現フレーム画像上の
領域を、画像の内容にしたがって領域分割する手段にお
いて、許容符号量に応じて領域数を制限することを特徴
とする。

【０００８】本発明による画像復号化装置では、マッピ
ングパラメータ、輪郭画素位置、変換係数を受信し、前
記輪郭画素位置からフレーム間の変化領域と直交変換で
符号化された各分割領域を求める手段と、前記変化領域
について前記マッピングパラメータを用いて前フレーム
画像に動き補償を施す手段と、前記分割領域について領
域形状に適合した直交変換基底を計算し、前記変換係数
をかけて逆変換信号を計算する手段と、前記動き補償画
像と前記逆変換信号を合成し復号画像を得る手段とから
なることを特徴とする。

【０００９】

【作用】本発明では、格子状のブロック分割を行わずに
動物体領域を抽出して、抽出領域ごとにマッピングパラ
メータに基いて動き補償を行い、さらに補償が合わない
部分は、その領域形状に応じて直交変換を施して符号化
している。このため、格子状のブロックひずみは生じ
ず、符号化により領域の境界で波形の不連続が生じたと
しても、そのような領域境界部のひずみは人間の視覚特
性上目立たず、より自然で主観的に良好な再生画像を得
ることができる。

【００１０】

【実施例】図１は、本発明の画像符号化装置の一実施例
を説明するための構成図である。図１において、変化領
域抽出器１０１は、現フレーム画像とフレームバッファ
出力画像の差分にしきい値処理を施して変化領域を抽出
する。

【００１１】次に動き検出器１０２において、変化領域
抽出器１０１で抽出した各変化領域に対して、現フレー
ム画像とフレームバッファ出力画像の輝度勾配とフレー
ム差分から、マッピングパラメータを求める。マッピン
グパラメータは、画面上の画素の変移を表し、ＩＥＥＥ
・トランザクションズ・オン・アコースティックス・ス
ピーチ・アンド・シグナル・プロセッシング誌（ＩＥＥ
Ｅ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ａｃｏｕｓｔｉ
ｃｓ，Ｓｐｅｅｃｈ，ａｎｄ Ｓｉｇｎａｌｐｒｏｃｅ
ｓｓｉｎｇ），ｖｏｌ．ＡＳＳＰ−２９，Ｎｏ．６，ｐ
ｐ．１１４７−１１５２（１９８１年）に記載の論文
［文献２］に示されているように、３次元空間内で運動
する平面剛体を２次元の画像平面上に中心投影すると
き、運動による変移をアフィン変換で表現できると仮定
すると、２次元平面上の各画素の変移は８つのマッピン
グパラメータで表現できる。マッピングパラメータの求
め方は、例えば、シグナル・プロセッシング誌（Ｓｉｇ
ｎａｌ Ｐｒｏｃｅｓｓｉｎｇ），ｖｏｌ．１５，Ｎ
ｏ．３，ｐｐ．３１５−３３４，（１９８８年）に記載
の論文［文献３］の手法を用いることができ、２次元平
面上の信号値を２次式で近似したとき、フレーム差分と
フレーム内の輝度勾配から計算できる。

【００１２】動き補償器１０３では、動き検出器１０２
で求めたマッピングパラメータに基いてフレームバッフ
ァ出力画像に動き補償を行い、現フレーム画像に対する
予測画像をつくる。

【００１３】差分検出器１０４において、動き補償器１
０３で計算した予測画像と現フレーム画像との差分にし
きい値処理を施して、予測画像で予測できなかった領域
を現フレーム画像から抽出する。

【００１４】領域分割器１０５では、差分検出器１０４
で抽出された領域を現フレーム画像の内容にしたがって
領域分割する。領域分割の一例としては、領域成長法を
用いることができ、抽出領域内の画素について、信号値
の近いものを統合していき、信号値の近い画素の集まり
で抽出領域を分割する。領域分割の結果、微小な領域が
生じた場合は、大きな領域に統合した方が、主観的画質
が良く符号量も少なくてすむ。微小領域除去の方法とし
ては、例えば、領域の画素数を計数し、ある画素数以下
の領域は隣接する領域のうちで画素数最大の領域に統合
する。また別な方法としては、領域を画素数の多い順に
順番をつけ、ある順位以上の画素数の少ない領域に対し
前記同様な統合処理をしていき、所望の領域数になるま
で繰り返す。最終的な符号量は領域数にほぼ比例するの
で、領域数を制御することで符号量を制御することがで
きる。

【００１５】直交変換器１０６では、領域分割器１０５
で分割されたおのおのの領域に対し、領域形状に応じて
変換基底を計算し、変換係数を求める。変換基底の計算
方法は、例えば、シグナル・プロセッシング：イメージ
・コミュニケーション誌（Ｓｉｇｎａｌ Ｐｒｏｃｅｓ
ｓｉｎｇ：Ｉｍａｇｅ Ｃｏｍｍｕｎｉｃａｔｉｏ
ｎ），ｖｏｌ．１，Ｎｏ．２，ｐｐ．１５３−１８０，
（１９８９年）に記載の論文［文献１］の手法を適用で
き、１，ｘ，ｙ，ｘ² ，ｘｙ，ｙ² , …，ｘⁱ ｙ^j ，…
のような線形独立な関数列を選び、それを領域形状に応
じて直交化する。

【００１６】逆変換器１０７では、領域分割器１０５で
分割した領域形状から変換基底を求め、直交変換器１０
６で求めた変換係数をかけて、領域内の信号値を復号す
る。

【００１７】合成器１０８では、逆変換器１０７の出力
画像と動き補償器１０３が出力する予測画像とを合成
し、再生画像を出力する。

【００１８】輪郭抽出器１０９は、変化領域抽出器１０
１で抽出した動き補償領域の輪郭を抽出する。

【００１９】輪郭抽出器１１０は、領域分割器１０５で
分割された直交変換領域の輪郭を抽出する。

【００２０】フレームバッファ１１１は、合成器１０８
の出力する復号画像を記録し、前フレームの復号画像を
出力する。

【００２１】本実施例の画像符号化装置において得られ
たマッピングパラメータ，動き補償領域輪郭，直交変換
領域輪郭，変換係数を符号化結果として出力する。

【００２２】図２は、復号化装置の一実施例を説明する
ための構成図である。復号化装置は、マッピングパラメ
ータ，動き補償領域輪郭情報，直交変換領域輪郭情報，
変換係数を受信する。

【００２３】領域復号器２０１は、受信した動き補償領
域輪郭情報から動き補償を行う領域の位置と形状の情報
を復号する。

【００２４】領域復号器２０２は、受信した直交変換領
域形状情報から直交変換を行う領域の位置と形状の情報
を復号する。

【００２５】動き補償器２０３では、動き補償領域につ
いて受信したマッピングパラメータに基いてフレームバ
ッファ出力画像に動き補償を行い予測画像を作る。

【００２６】逆変換器２０４においては、直交変換領域
の形状より変換基底を求め、受信した変換係数をかけ
て、分割領域内の信号を復号する。

【００２７】合成器２０５は、動き補償器２０３が出力
する予測画像と逆変換器２０４の出力画像を合成し、復
号画像を得る。

【００２８】フレームバッファ２０６は、合成器２０５
の出力する復号画像を記録し、前フレームの復号画像を
出力する。

【００２９】

【発明の効果】以上のように、本発明では、格子状ブロ
ック分割を用いず、動物体領域を抽出し、その動物体領
域に対して動き補償を行うため、格子状のブロックひず
みが生じない。また復号画像では、動物体領域の境界で
信号の不連続変化が生じても、人間の視覚特性からひず
みが目立たず、より自然な再生画像が得られる。さら
に、変換は画像内容にしたがって分割された領域に対し
て行われるので、領域内の信号値の均質性から、高効率
な変換符号化が実現できる。また、符号量は変換対象領
域数に依存しているため、変換対象の領域数を制御する
ことで符号量を制御することができる。

【図面の簡単な説明】

【図１】本発明における符号化装置の一実施例の説明図
である。

【図２】本発明における復号化装置の一実施例の説明図
である。

【符号の説明】

１０１ 変化領域抽出器 １０２ 動き検出器 １０３，２０３ 動き補償器 １０４ 差分検出器 １０５ 領域分割器 １０６ 直交変換器 １０７，２０４ 逆変換器 １０８，２０５ 合成器 １０９，１１０ 輪郭抽出器 １１１，２０６ フレームバッファ ２０１，２０２ 領域復号器

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】前フレームと現フレームの変化領域を検出
   する手段と、 各変化領域ごとに当該領域の変移を表すマッピングパラ
   メータを計算する手段と、 前記マッピングパラメータを用いて前フレーム画像に動
   き補償を施す手段と、 前記動き補償した前フレーム画像では表現できない領域
   を現フレーム画像より抽出する手段と、 前記抽出領域を画像の内容にしたがって領域分割する手
   段と、 前記分割領域に対し領域形状に適合した直交変換基底を
   計算し、直交変換を施して変換係数を算出する手段と、 前記変化領域，前記分割領域の輪郭を抽出する手段と、 前記マッピングパラメータ，前記輪郭の画素位置，前記
   変換係数を符号化する手段とからなることを特徴とする
   画像符号化装置。
2. 【請求項２】動き補償した前フレーム画像では表現でき
   ない現フレームの画像上の領域を、画像の内容にしたが
   って領域分割する手段において、微小な領域は隣接する
   大きな領域に統合することを特徴とする請求項１記載の
   画像符号化装置。
3. 【請求項３】動き補償した前フレーム画像では表現でき
   ない現フレーム画像上の領域を、画像の内容にしたがっ
   て領域分割する手段において、許容符号量に応じて領域
   数を制限することを特徴とする請求項１の画像符号化装
   置。
4. 【請求項４】マッピングパラメータ，輪郭画素位置，変
   換係数を受信し、前記輪郭画素位置からフレーム間の変
   化領域と直交変換で符号化された各分割領域を求める手
   段と、 前記変換領域について前記マッピングパラメータを用い
   て前フレーム画像に動き補償を施す手段と、 前記分割領域について領域形状に適合した直交変換基底
   を計算し、前記変換係数をかけて逆変換信号を計算する
   手段と、 前記動き補償画像と前記逆変換信号を合成し復号画像を
   得る手段とからなることを特徴とする画像復号化装置。