JPH1155675A - 画像信号符号化復号装置および方法 - Google Patents

Abstract

(57)【要約】 【課題】 従来の画像符号化方式と同程度に符号化効率
を改善でき、既存の画像符号化復号装置を無変更で使用
できる符号化復号化装置及び方法を提供する。 【解決手段】 入力画像信号Ｉを平均画像生成器２０２
でブロック毎の平均値を計算し、平均値を量子化・逆量
子化器２０３で量子化する。この処理は、画像符号化器
２０８内の直流信号量子化器と等価にしておく。次に、
平滑化画像生成器２０４でブロック内の平均値を保存し
たまま平均値画像Ｄを平滑化する。ここで平均値が保存
されているために、復号後画像のブロック内平均値も不
変に保たれる。減算器２０５にてこの平滑化画像Ｓと入
力画像Ｉとの差を生成し、さらに加算器２０６にて平均
値画像Ｄを加算する。これをクリッピング器２０７にて
画像信号の取り得る正当な値に修正する。こうして得ら
れた信号を一般の画像符号化器２０８で符号化し、出力
端子２０９に符号を出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ブロックに基づく
画像信号符号化復号装置および方法に関する。

【０００２】

【従来の技術】画像をブロックに分割し、冗長性を除く
ために例えば直交変換を適用するという従来の画像信号
符号化方法においては、直交変換基底長（ブロックの大
きさ）が画像サイズに比べて小さいために、ブロック間
において変換後の係数間に相関が残存する（相関（イ）
とする）。

【０００３】また直交変換として、係数間相関を除去す
るという意味で論理上最適なカルーネン・レーヴ変換
（ＫＬＴ）以外の変換（例えば画像符号化に広く使われ
ている離散コサイン変換（ＤＣＴ）等）を使うと、ブロ
ック内において変換後の係数間に必ず相関が残る（相関
（ロ）とする）。

【０００４】符号化すべき信号に相関が残存している場
合に、それらを独立に符号化した場合の符号量は、符号
化すべき信号から相関を除去した場合にそれらを独立に
符号化した場合の符号量よりも多くなる。つまり画像の
冗長さが残ったまま符号化を行うよりは、除ける情報を
予め除いておいた方が、さらなる効率の改善が期待され
る。

【０００５】この考えに則った、変換係数の画像ブロッ
ク内・ブロック間に残存する相関を除く方法としては、
標準化作業中のＭＰＥＧ−４（ＩＳＯ／ＩＥＣＪＴＣ１
／ＳＣ２９／ＷＧ１１）の評価モデル（ＶＭ，ＭＰＥＧ
９７／Ｎ１６４２）の交流・直流予測や、加藤の「画像
符号化方式」（特開昭６３−３１１８７０号（特願昭６
２−１４６９９２号））がある。

【０００６】ＭＰＥＧ−４の交流・直流予測は、直交変
換画像信号符号化において隣接ブロックの直流係数（ブ
ロック内平均値に相当する）間あるいは交流係数間の差
を符号化するもので、相関（イ）の一部を除去すること
ができ、符号化効率の改善に貢献している。しかし直流
係数と交流係数は別個に扱われるため、両者の間の相関
は残されたままである。

【０００７】加藤の符号化方式は、各ブロックをその平
均値で置換した画像を使い、着目ブロックおよびその周
囲ブロックの平均値を用いて着目ブロック内を平滑化す
ることにより、直交変換における交流成分に相当する情
報を生成するものである。２次元信号としての画像の自
己相関は一般に大きいので画像を平滑化した場合、原画
像に近付くことが期待でき、この処理により画像から交
流成分の一部、即ち相関（ロ）の一部を削減することが
でき、符号化効率の改善に貢献する。

【０００８】従来手法である加藤の符号化方式の実施の
形態について、図３を参照して説明する。

【０００９】符号化器は、入力端子１０１と、平均値計
算器１０２と、平滑化画像生成器１０３と、平均値符号
化器１０４と、減算器１０５と、残差分符号化器１０６
と、信号多重化器１０７と、出力端子１０８で構成され
ている。加藤の符号化方式では「平滑化」の代わりに
「補間」という言葉が使われているが、ブロック境界で
の輝度の連続性を仮定しなくてもよい「平滑化」という
言葉をここでは用いることにする。実際、加藤が用いた
２次曲面による方法においては、ブロック境界では輝度
の連続性は保証されないが良好な符号化性能を有してい
る。

【００１０】入力画像Ｉは入力端子１０１に入力され、
平均値計算器１０２でブロック単位で平均値が計算され
る。各ブロックの平均値Ｄは、平均値符号化器１０４に
より符号化され、信号多重化器１０７に送られる。ま
た、各ブロックの平均値Ｄは平滑化画像生成器１０３に
送られる。平滑化画像生成部１０３は、複数のブロック
の平均値Ｄを用いてブロック毎の平均値が保存されてい
る平滑化画像Ｓを生成する。平滑化画像Ｓは減算器１０
５に送られ、減算器１０５で入力画像Ｉから減算（Ｉ−
Ｓ）されて残差分符号化器１０６へ送られ、残差分符号
化器１０６で符号化されて信号多重化器１０７に送られ
る。信号多重化器１０７は、両信号（Ｉ−Ｓ，Ｄ）を多
重化処理して出力端子１０８へ出力する。

【００１１】

【発明が解決しようとする課題】上記従来の技術で述べ
た通り、加藤の画像符号化方式では、平均値から作成し
た平滑化画像を原画像から差し引いた差分画像信号を符
号化する（負の値の信号を含むので通常の画像の符号化
装置はそのまま符号化に適用できない）と同時に、平滑
化画像を作成するのに必要な平均値も別途符号化を行う
ため、両符号の多重化処理が必要となる。この方法を既
存の画像符号装置に実装する場合、装置の大幅な変更が
必要であった。

【００１２】本発明の課題は、符号化において加藤の画
像符号化方式と同程度に相関（ロ）の一部を除去でき、
つまり同程度に符号化効率を改善でき、さらにＭＰＥＧ
／ＪＰＥＧ等の既存の画像符号化・復号装置を無変更で
使用できる、画像信号符号化復号装置および方法を提供
することである。

【００１３】

【課題を解決するための手段】上記の課題を解決するた
め、本発明の画像信号符号化装置は、画像信号をブロッ
クに分割することに基づき符号化する画像信号符号化装
置において、画像符号化に先立ち、画像信号の各ブロッ
クの平均値から予測のできる信号を、原画像信号から削
減した処理画像を生成する手段と、前記処理画像に対し
てブロックに基づく既存画像信号符号化装置により通常
の画像と全く同様の符号化を行う手段と、を有すること
を特徴とする。

【００１４】また、上記画像信号符号化装置に対応する
本発明の画像信号復号装置は、ブロックに基づく既存画
像信号復号装置により、通常の画像復号と全く同様に符
号化データを復号して画像信号を得る手段と、前記復号
した画像信号のみから求まるブロック平均値信号から原
画像信号に元々含まれている信号を予測し重畳する手段
と、を有することを特徴とする。

【００１５】一方、上記の課題を解決するため、本発明
の画像信号符号化方法は、画像信号をブロックに分割す
ることに基づき符号化する画像信号符号化方法におい
て、画像符号化に先立ち、画像信号の各ブロックの平均
値から予測のできる信号を、原画像信号から削減した処
理画像を生成し、その処理画像に対してブロックに基づ
く既存画像信号符号化方法により通常の画像と全く同様
の符号化を行うことを特徴とする。

【００１６】また、上記画像信号符号化方法に対応する
本発明の画像信号復号方法は、ブロックに基づく既存画
像信号復号方法により、通常の画像復号と全く同様に符
号化データを復号して画像信号を得、その復号した画像
信号のみから求まるブロック平均値信号から原画像信号
に元々含まれていた信号を予測し重畳することを特徴と
する。

【００１７】本発明の画像信号符号化装置および方法で
は、原画像Ｉおよび、原画像Ｉの各ブロックを平均値等
で置換した画像Ｄ、画像Ｄを平滑化した画像Ｓから、画
像（Ｉ−Ｓ＋Ｄ）を生成する。ブロック内平均値を保存
した平滑化手段としては、例えば加藤が用いた２次曲面
によるもの等を用いる。

【００１８】画像信号の高い自己相関性から、殆どの画
像において信号は滑らかに変化しているため、平滑化画
像Ｓは画像Ｄよりも原画像Ｉに近い。画像Ｄを平滑化す
ることにより、新たに生じた交流成分（Ｓ−Ｄ）は予測
可能な情報であるため、原画像Ｉから差し引いておく。

【００１９】前処理画像の計算（Ｉ−Ｓ＋Ｄ）の意味
は、Ｉ−Ｓのままでは正と負の信号が混在するため、画
像Ｄを加算して通常の画像信号と同様な正値信号にシフ
トしたものと考えることもできる。

【００２０】こうして得られた画像信号（Ｉ−Ｓ＋Ｄ）
は、既存のＪＰＥＧ，ＭＰＥＧ等の画像ブロック符号化
装置で符号化・復号できるものである。ここで用いる符
号化装置は、必ずしも相関（イ）の除去を考慮したもの
である必要はないが、従来の技術で述べた交流・直流予
測を含んでいてもよい。その場合、符号化効率は更に改
善される。原画像Ｉに比べて画像（Ｉ−Ｓ＋Ｄ）の交流
電力は減少しているため、平均値以外の情報（直交変換
後の交流係数にあたる）へ割り当てる符号量は減り、結
果として符号量総計が減ることが期待される。

【００２１】一方、本発明の画像信号復号装置および方
法においては、符号化された画像信号（Ｉ−Ｓ＋Ｄ）を
入力して既存復号装置により得られた復号画像Ｉ’か
ら、各ブロックを平均値で置換した画像Ｄ’を生成し、
さらにこれを符号化側と同様に平滑化し画像Ｓ’を得
る。最終的な出力画像は（Ｉ’＋Ｓ’−Ｄ’）となる。
これは画像Ｉ’には含まれず、かつ画像Ｄ’からは予測
の可能な原画像の交流成分（Ｓ’−Ｄ’）を画像Ｉ’に
重畳する処理である。平滑化前後でブロック内平均値は
不変であるという性質があるために、中間に挟まれる既
存の符号化復号装置と同等の量子化・逆量子化をＤに対
して施しておけば符号化側、復号側でＤとＤ’が一致
し、従ってＳとＳ’も一致する。従って、上記最終的な
出力画像は、Ｉ’＋Ｓ’−Ｄ’＝（Ｉ−Ｓ＋Ｄ）＋Ｓ’
−Ｄ’＝Ｉとなる。

【００２２】

【発明の実施の形態】以下、本発明の実施の形態につい
て図を用いて詳細に説明する。

【００２３】始めに、本発明による画像信号符号化装置
および方法の実施の形態について、図１を参照して説明
する。

【００２４】本実施形態例の画像信号符号化装置は、入
力端子２０１と、前処理装置２１０と、画像符号化器２
０８と、出力端子２０９で構成されている。前処理装置
２１０は、平均値画像生成器２０２と、量子化・逆量子
化器２０３と、平滑化画像生成器２０４と、減算器２０
５と、加算器２０６と、クリッピング器２０７から構成
されている。

【００２５】上記実施形態例に本発明の画像信号符号化
方法の実施形態例を適用した動作例では、まず、入力端
子２０１にて入力された画像信号（原画像）Ｉを平均画
像生成器２０２でブロック毎の平均値を計算する。次い
で、平均値を量子化・逆量子化器２０３で量子化する。
この処理は、画像符号化器２０８内の直流信号量子化器
と等価にしておく。これは、復号側でも符号化側と同一
の平均値画像を持つために必要である。次に、平滑化画
像生成器２０４でブロック内の平均値を保存したまま平
均値画像Ｄを平滑化する。ここで平均値が保存されてい
るために、復号後画像のブロック内平均値も不変に保た
れる。減算器２０５にてこの平滑化画像Ｓと入力画像Ｉ
との差を生成し、さらに加算器２０６にて平均値画像Ｄ
を加算する。これをクリッピング器２０７にて画像信号
の取り得る正当な値（８ビット画像なら０から２５５）
に修正する。こうして得られた信号を一般の画像符号化
器２０８で符号化し、出力端子２０９に符号を出力す
る。

【００２６】続いて、本発明による画像信号復号装置お
よび方法の実施の形態について、図２を参照して説明す
る。

【００２７】本実施形態例の画像信号復号装置は、入力
端子３０１と、画像復号器３０２と、後処理装置３０９
と、出力端子３０８で構成されている。後処理装置３０
９は、平均値画像生成器３０３と、平滑化画像生成器３
０４と、減算器３０５と、加算器３０６と、クリッピン
グ器３０７で構成されている。

【００２８】上記実施形態例に本発明の画像信号符号化
方法の実施形態例を適用した動作例では、まず、入力端
子３０１にて入力された符号を一般の画像復号器３０２
で復号する。この復号画像信号Ｉ’を平均画像生成器３
０３においてブロック内を平均値で置き換えた画像Ｄ’
を生成する。これを平滑化画像生成器３０４においてブ
ロック内の平均値を保存したまま平滑化する。これは符
号化側の平滑化画像生成器２０４と同一アルゴリズムで
行う。一方、画像復号器３０２からの出力Ｉ’は減算器
３０５において平均値画像Ｄ’と差分を計算し、加算器
３０６においてさらに平滑化画像信号Ｓ’を加算し、ク
リッピング器３０７で画像信号の取り得る適性な値（８
ビット画像なら０から２５５）に修正する。この画像信
号（Ｉ’＋Ｓ’−Ｄ’）が出力端子３０８から出力され
る。

【００２９】なお、画像信号をブロックに分割する場
合、通常は８×８ブロック等に分割するが、本発明で
は、ブロックの分割の仕方は特に限定されることはな
く、例えば大小ブロックに分割する場合にも適用可能で
ある。

【００３０】

【発明の効果】以上説明したように、本発明によれば、
ブロック内平均値から予測できる交流成分については既
存の画像符号化装置で符号量が削減できる分、従来の加
藤の画像符号化方式と同程度に、符号量を減少させるこ
とができる。また、動画像符号化の場合、動画像を構成
するフレーム列の一部は、静止画像と同様に他フレーム
とは独立に符号化・復号される。これをイントラフレー
ムと呼ぶが、本発明の効果によりイントラフレームの画
像品質が向上すれば、それから予測される画像の品質も
向上する。従って動画像の符号化効率の改善にも貢献す
る。

【００３１】また、本発明は、既存の画像符号化装置に
対する前処理装置の追加、および既存の画像復号装置に
対する後処理装置の追加という形態で実装可能であるた
め、画像符号化性能を保ったままで簡易に画像符号化効
率を改善することができる。また、用いる既存装置が従
来の技術で述べたＭＰＥＧ−４の交流・直流予測を行う
ようなものであれば、本発明はその除去しきれなかった
相関を除くことができるため、さらに高い画像符号化効
率が期待できる。

【図面の簡単な説明】

【図１】本発明による画像符号化装置の一実施形態例を
示すブロック図である。

【図２】本発明による画像復号装置の一実施形態例を示
すブロック図である。

【図３】従来例の画像符号化方式の実施形態を示すブロ
ック図である。

【符号の説明】

２０１…入力端子 ２０２…平均値画像生成器 ２０３…量子化・逆量子化器 ２０４…平滑化画像生成器 ２０５…減算器 ２０６…加算器 ２０７…クリッピング器 ２０８…画像符号化器 ２０９…出力端子 ２１０…前処理装置 ３０１…入力端子 ３０２…画像復号器 ３０３…平均値画像生成器 ３０４…平滑化画像生成器 ３０５…減算器 ３０６…加算器 ３０７…クリッピング器 ３０８…出力端子 ３０９…後処理装置

───────────────────────────────────────────────────── フロントページの続き (72)発明者 渡辺 裕 東京都新宿区西新宿３丁目19番２号 日本 電信電話株式会社内

Claims (4)

【特許請求の範囲】
1. 【請求項１】 画像信号をブロックに分割することに基
   づき符号化する画像信号符号化装置において、 画像符号化に先立ち、画像信号の各ブロックの平均値か
   ら予測のできる信号を、原画像信号から削減した処理画
   像を生成する手段と、 前記処理画像に対してブロックに基づく既存画像信号符
   号化装置により通常の画像と全く同様の符号化を行う手
   段と、 を有することを特徴とする画像信号符号化装置。
2. 【請求項２】 請求項１に記載の画像信号符号化装置に
   対応する復号装置であって、 ブロックに基づく既存画像信号復号装置により、通常の
   画像復号と全く同様に符号化データを復号して画像信号
   を得る手段と、 前記復号した画像信号のみから求まるブロック平均値信
   号から原画像信号に元々含まれている信号を予測し重畳
   する手段と、 を有することを特徴とする画像信号復号装置。
3. 【請求項３】 画像信号をブロックに分割することに基
   づき符号化する画像信号符号化方法において、 画像符号化に先立ち、画像信号の各ブロックの平均値か
   ら予測のできる信号を、原画像信号から削減した処理画
   像を生成し、 その処理画像に対してブロックに基づく既存画像信号符
   号化方法により通常の画像と全く同様の符号化を行う、 ことを特徴とする画像信号符号化方法。
4. 【請求項４】 請求項３に記載の画像信号符号化方法に
   対応する復号方法であって、 ブロックに基づく既存画像信号復号方法により、通常の
   画像復号と全く同様に符号化データを復号して画像信号
   を得、 その復号した画像信号のみから求まるブロック平均値信
   号から原画像信号に元々含まれていた信号を予測し重畳
   する、 ことを特徴とする画像信号復号方法。