JP3020505B2

JP3020505B2 - 画像符号化装置、画像復号化装置および画像伝送装置

Info

Publication number: JP3020505B2
Application number: JP18628588A
Authority: JP
Inventors: 比呂志 ▲シュウ▼
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1988-07-26
Filing date: 1988-07-26
Publication date: 2000-03-15
Anticipated expiration: 2015-03-15
Also published as: JPH0235884A

Description

【発明の詳細な説明】［発明の目的］（産業上の利用分野）本発明は、画像符号化装置、画像復号化装置および画
像伝送装置に係り、特に予測符号化方式や変換符号化方
式のように空間相関を利用して高能率の符号化を行う画
像符号化装置と、この画像符号化装置の符号化結果を復
号化する画像復号化装置およびこれらの画像符号化装置
と画像復号化装置を用いて画像伝送を行う画像伝送装置
に関する。

（従来の技術）従来より、画像を高能率かつ高品質に伝送する方式と
して、DPCMに代表される予測符号化方式や離散的コサイ
ン変換に代表される変換符号化方式が知られている。こ
れらの符号化方式は、いずれも画像の空間相関が高いこ
とを利用し、その冗長性を除去することにより、高能率
な符号化を行なうものである。

一般に画像の２次元相間は、水平方向をｘ、垂直方向
をｙ、α、βをそれぞれ水平方向、垂直方向の相関係数
とすると、 φ（x,y）＝φ（0,0） exp（−α|x|−β|y|） …（１）で表すことができる。ここで、α、βは、0.9〜0.99程
度の値をとることが統計的に知られている。しかし、こ
の相関は、多くの画像の統計データから得られたもので
あり、ある特定な画像に限定した場合、或は画像の各所
におて定常的に、この相関を満たす訳ではない。例え
ば、エッジのように輝度が急激に変化する部分、つまり
過渡部分では極めて低い相関しか得られない。

このように、画像の非定常性は、符号化効率或は画像
品質を劣化させる最大の要因となっている。例えば、DP
CMではエッジ部分において大きな量子化歪みが発生し、
量子化ビット数が少ないと、この部分での歪みは明らか
に画質の劣化につながる。また、離散的コサイン変換等
の変換符号化方式においては、変換された値が低次の項
に集中することを利用して、復号画像全体の二乗誤差が
最小となるようにエネルギーの大きい低次項を優先して
符号化する。しかし、エッジなどの過渡部分では、変換
された値は高次の項まで分布するため、やはりエッジ部
分に劣化をきたす。このような劣化を回避するには、符
号化割当てを高次項まで与えるようにすることが考えら
れるが、この場合には伝送効率が著しく低下するという
問題があった。

（発明が解決しようとする課題）このように、従来の空間相関を利用した画像符号化復
号化方式では、画像に局部的に存在している空間相関性
の低い非定常部分で画質の劣化をきたすという問題があ
った。

本発明は、量子化ビット数を大幅に増やすことなく、
画像中に局部的に存在する空間相関の低い非定常部分の
影響を排除して、高能率で、より高い画像品質を得るこ
とができる画像符号化装置と、この画像符号化装置の符
号化結果を復号化する画像復号化装置およびこれらの画
像符号化装置と画像復号化装置を用いて画像伝送を行う
画像伝送装置を提供することを目的とする。

（課題を解決するための手段）本発明に係る画像符号化装置は、入力画像信号を複数
種類の単位波形の組み合わせで近似して近似画像信号と
し、この近似画像信号を構成する各単位波形を特定する
第１の情報を符号化して第１の符号化出力を得る第１の
符号化手段と、前記入力画像信号と前記近似画像信号と
の誤差に関する第２の情報を符号化して第２の符号化出
力を得る第２の符号化手段と、前記第１および第２の符
号化出力を多重化する多重化手段とを具備したことを特
徴とする。

本発明に係る画像復号化装置は、入力画像信号を複数
種類の単位波形の組み合わせで近似して近似画像信号と
し、この近似画像信号を構成する各単位波形を特定する
第１の情報を符号化した第１の符号化出力と、前記入力
画像信号と前記近似画像信号との誤差に関する第２の情
報を符号化した第２の符号化出力とを多重化した信号か
ら前記第１および第２の符号化出力を分離する分離手段
と、この分離手段により分離された第１および第２の符
号化出力を復号化して前記第１の情報および第２の情報
を生成する第１および第２の復号化手段と、前記第１お
よび第２の復号化手段により生成された第１および第２
の情報を合成して復号画像信号を得る合成手段とを具備
したことを特徴とする。

本発明に係る画像伝送装置は、入力画像信号を複数種
類の単位波形の組み合わせで近似して近似画像信号と
し、この近似画像信号を構成する各単位波形を特定する
第１の情報を符号化して第１の符号化出力を得る第１の
符号化手段と、前記入力画像信号と前記近似画像信号と
の誤差に関する第２の情報を符号化して第２の符号化出
力を得る第２の符号化手段と、前記第１および第２の符
号化出力を多重化する多重化手段と、前記多重化手段の
出力信号から前記第１および第２の符号化出力を分離す
る分離手段と、この分離手段により分離された第１およ
び第２の符号化出力を復号化して前記第１の情報および
第２の情報を生成する第１および第２の復号化手段と、
前記第１および第２の復号化手段により生成された第１
および第２の情報を合成して復号画像信号を得る合成手
段とを具備したことを特徴とする。

また、前記複数種類の単位波形は、少なくとも孤立
波、矩形波および三角波を含むことを特徴とする。

（作用）本発明によれば、入力画像信号を複数種類の単位波
形、例えば少なくとも孤立波、矩形波および三角波を含
む単位波形の組み合わせで近似して近似画像信号とし、
この近似画像信号を構成する各単位波形を特定する情報
を符号化して第１の符号化出力を得るとともに、入力画
像信号から上記近似画像信号を除去した残り、つまり誤
差部分を符号化して第２の符号化出力を得、これら２つ
の符号化出力を伝送するようにしている。従って、例え
ばエッジ部分のように空間相関の低い部分は、上記近似
画像信号にその情報が担われ、相関性の高い部分のみが
誤差信号として残る。近似画像信号は、孤立波、矩形波
および三角波といった既知の単純な単位波形の組み合わ
せによって、少ないビット数でそれを特定することがで
き、また誤差信号も空間相関が高いため割当てビット数
を少なくできる。従って、この発明によれば、全体的に
少ないビット数で、エッジ部分の再現性も向上する。よ
って、高能率で、より高画質の符号化復号化を実現でき
る。

（実施例）以下、図面を参照しながら本発明の実施例について説
明する。

第１図は本発明の一実施例に係る画像伝送装置である
画像符号化復号化システムの構成を示す図である。この
システムは、画像符号化装置により構成される送信部
１、画像復号化装置により構成される受信部２及びこれ
らを接続する伝送路３により構成される。送信部１は、
入力端子11を介して入力される入力画像信号を孤立波、
矩形波、三角波等の複数の既知の単位波形の組み合わせ
で近似して近似画像信号とし、この近似画像信号を構成
する各単位波形を特定する情報（パラメータ）を符号化
する曲線近似画像符号化器12と、この曲線近似画像符号
化器12で符号化されたパラメータを復号して曲線近似画
像信号を生成する曲線近似画像復号化器13と、入力画像
信号から上記復号化器13の出力を減算して誤差信号を出
力する減算器14と、この減算器14から出力される誤差信
号を符号化する誤差信号符号化器15と、両符号化器12,1
5から符号化出力をそれぞれ第１及び第２の符号化出力
として出力端子17を介して伝送路３に送信する符号送信
器16とにより構成されている。また、受信部２は、伝送
路３を介して伝送され入力端子21を介して入力された第
１及び第２の符号化信号を受信するとともに、これらを
分離する符号分離器22と、第１の符号化出力を復号化し
て曲線近似画像信号を生成する曲線近似画像復号化器23
と、第２の符号化出力を復号化して誤差信号を生成する
誤差画像復号化器24と、これら２つの復号化器23,24か
らの出力を加算して最終復号画像を出力端子26に出力す
る加算器25とにより構成されている。

次に、以上のように構成された本システムの動作につ
いて説明する。いま、入力端子11から入力される入力画
像信号が、第２図（ａ）に示すような信号であるとする
と、曲線近似画像符号化器12は、上記信号の例えば水平
方向の輝度変化を孤立波、矩形波、三角波等の簡単な単
位波形の組み合わせで近似し、同図（ｂ）に示すような
曲線近似画像信号を生成する。孤立波、矩形波は定数で
表わせ、三角波は一次関数として表すことができる。こ
れらは極めて少ないパラメータで特定できる。必要なら
更に放物線を表す２次関数等、ｎ次関数まで用いるもの
が良いが、近似に要する処理が次第に複雑になるので、
最低１次関数までで近似を止どめておくのが実用的であ
る。曲線近似画像符号化器12は、この曲線近似画像信号
が再生できるように立上がり、立下がりの位置、その波
高値、傾き等を示すコード情報を第１の符号化出力とし
て出力する。この第１の符号化出力は、曲線近似画像復
号器13において復号化され同図（ｂ）と同様の曲線近似
画像信号が生成される。ここでは受信部２の復号化器23
と同じ復号化処理が行われるので、曲線近似画像信号は
受信部２と同じ条件で得られることになる。一方、減算
器14では、入力端子11を介して入力された入力画像信号
から前記曲線近似画像信号が減算されて、第２図（ｃ）
に示すような誤差画像信号が出力される。曲線近似画像
信号は入力画像信号の粗い構造を表しており、局部的に
は非定常部分、例えばエッジ等を含んでいる。減算器14
の出力である誤差画像信号は、これらの非定常部分が除
去された画像の微細な構造を示している。この誤差画像
信号の相関性は高い。したがって、この誤差画像信号に
対し誤差画像符号化器15は、例えばDPCMや離散的コサイ
ン変換等の従来から用いられている符号化手法を適用す
れば、能率良く、高品質に第２の符号化出力を得ること
ができる。このようにして求められた第１及び第２の符
号化出力は、符号化送信器16によって、多重化され、或
は別々に送信される。

伝送された画像情報は、符号分離器２にて分離され、
第１の符号化出力は、曲線近似画像復号化器23に、第２
の符号化出力は誤差画像復号化器24にそれぞれ与えられ
る。曲線近似画像復号化器23は、前述した曲線近似画像
復号化器13と同様の復号化処理を行なって第２図（ｂ）
で示すような曲線近似画像信号を生成出力する。誤差画
像符号化器24は、誤差画像符号化器15と対応した復号化
処理によって第２図（ｃ）に示すような誤差画像信号を
生成出力する。これら復号化器23,24の出力は加算器25
によって加算されることにより、第２図（ａ）に示すよ
うな入力画像信号が復元されることになる。

次に、曲線近似画像符号化器12の内容について詳細に
説明する。曲線画像符号化器12は、例えば第３図に示す
ように、前処理回路31と符号化回路32とにより構成され
る。前処理回路31は、更に第４図に示すように、低域濾
波器（LPF）41、減算器42、非線形変換器43及び加算器4
4にて構成されている。

いま、入力画像信号が第５図（ａ）に示すような信号
であるとすると、LPF41は、この信号の小振幅の変化を
平滑化する。この処理の目的は、入力画像信号の幾何曲
線への近似をより容易に行なわせるためである。LPFの
出力は、同図（ｂ）に示すような出力となる。また、減
算器42では、入力画像信号から上記LPF出力を減算する
ことにより、等価高域濾波器として機能し、同図（ｃ）
に示すように、エッジ等の非定常部分を示すインパルス
を含んだ高域成分を出力する。この減算器出力は、非線
形変換器43に与えられる。非線形変換器43は、第６図に
示すような入出力特性を持っており、一定の振幅値±TH
以下は振幅を０に抑制するものとなっている。したがっ
て、第５図（ｃ）の減算器出力を非線形変換器43に通す
と、同図（ｄ）に示すように振幅の大きなインパルス成
分のみ抽出される。ここでTHは、誤差画像の量子化のダ
イナミックレンジ付近に設定し、ダイナミックレンジで
求められない程大きな変化を抽出するようにする。例え
ば画像が８ビット、256階調であれば、32〜64程度の値
が好適である。この信号はLPF41の出力と加算器44にお
いて加算される。したがって、加算器44の出力には最終
的に第５図（ｅ）で示すような信号が得られる。この信
号は、小振幅部分は平滑化され、大振幅部分は保存され
た信号なので、幾何曲線付近の前処理として非常に有効
である。

このような前処理によって処理し易い形態に変換され
た信号は、第３図の符号化回路32に入力される。この符
号化回路32は、例えば第７図に示すように構成されてい
る。この回路は、インパルスの分離、微分、非線形変換
の各処理を繰返し実行しリアルタイムで近似曲線の符号
化を行なう回路であり、インパルス分離回路51、微分回
路52、非線形変換器53、インパルス分離回路54、微分回
路55、非線形変換器56、インパルス分離回路57をこの順
に接続するとともに、各インパルス分離回路51,54,57で
分離されたインパルスに関する情報を量子化する量子化
器58を備えて構成されている。

前処理後の第８図（ａ）に示すような信号（前処理済
信号）は、インパルス分離回路51に与えられ、まず、そ
れに含まれる同図中Ａに示すようなインパルス成分が分
離される。インパルスの検出は、パルス幅判定等により
容易に行なうことができ、インパルスの抽出は、例えば
その振幅と位置とを符号化することにより行われる。続
いて、インパルスの除去された信号は微分回路52におい
て微分され、非線形変換器53にて第６図と同様、小振幅
除去処理される。これにより、第８図（ａ）の立上がり
部分及び立ち下がり部分がインパルスで示された第８図
（ｂ）のような信号が得られる。この信号についても、
上記と同様インパルスが除去される。この時点では、原
信号中のインパルス成分と矩形波成分は全て抽出され
る。更に、インパルス分離回路54の出力に対しても微分
回路55、非線形変換器56にて同様の処理を施すと、第８
図（ｃ）に示すように、同図（ａ）の三角波の部分の起
点と終点とを示すインパルスを含んだ信号が得られる。
ここまでの過程で、１次関数で近似したものは全て符号
化される。更に２次関数まで用いる場合には、再度同様
の処理を繰返せばよい。量子化器58では、微分回路に対
応させてインパルスの位置、振幅をコード化することに
より、第１の符号化出力を生成することができる。

このように入力画像信号を幾何曲線で近似すること
は、微分操作によって極めて多くのゼロ、即ち信号の変
化しない場所を生起させ得るということであるから、第
１の符号化出力の符号化効率は極めて高いということが
できる。例えば、インパルスの位置だけ、或は大きさだ
けを集め、それらの間の相関性を利用して符号化した
り、正負のインパルスについては絶対値とその符号とを
分け、絶対値についてはその相関性を利用して符号化す
る等の方法を用いることにより、極めて高能率の符号化
が可能である。

一方、第２の符号化出力、即ち誤差成分は入力画像信
号から大振幅成分を除去した残りであるから、振幅変化
は小さく、画像の相関モデルに極めて近いことが期待で
きる。従って、例えば、誤差画像符号化器15をDPCMで構
成すれば、過負荷雑音の可能性は殆ど無いので、低ビッ
トで量子化しても、良好な復号信号を得ることができ
る。このとき、問題となるのは、量子化による粒状雑音
だけであるから、これに見合った量子化幅を用意すれば
良い。また、誤差画像符号化器15として離散的コサイン
変換を用いた場合でも、誤差画像信号は相関モデルとし
て示した（１）式に極めて近く、非定常部分は殆ど含ま
れないので、低次項へのエネルギーの集中が起こり、符
号化効率の向上が大いに期待できる。このように、誤差
画像信号符号化器15には、従来から用いられている方法
がそのまま適用でき、更により良好な符号化効率と復元
性とを保持できる。

なお、上記実施例では、曲線近似画像の符号化を、微
分とインパルス除去の組合わせによりリアルタイムで行
なうようにしたが、例えば、第９図に示すように、CPU6
1における演算処理によって近似曲線を求めるようにし
ても良い。即ち、前処理済信号は、一旦、波形記憶回路
62に格納される。一方、第４図における非線形変換器43
の出力は、画像信号の変化点を表す信号であるから、こ
の信号を用いて画像信号の区間情報とする。この情報は
第９図の区間記憶回路63に格納される。CPU61は、区間
記憶回路63内のデータに基づいて、各区間ごとに波形記
憶回路62からその区間の波形を読出し、最小二乗法によ
ってその区間の近似関数を解いていく。この方法は、リ
アルタイムでの処理は困難であるが、例えば静止画の伝
送等においては有効な方法である。

また、上記実施例では、一次元方向に走査したときの
幾何曲線近似による符号化例を述べたが、幾何曲線近似
画像は、二次元に展開しても良いことは言うまでもな
い。簡単な例としては一次元方向に走査して得た幾何曲
線近似後、幾何曲線近似信号について例えば垂直或は水
平方向のもうひとつの次元の相関をとった後、上記の符
号化を行なうことで、更に符号化効率は高まる。何故な
ら、幾何曲線近似画像は粗い画像の構造を表すので、そ
れ自身二次元的に高い相関を取り得るからである。

また、このことは誤差画像信号についても同様であ
り、誤差画像信号についてフレーム間の相関を利用して
符号化するようにしても良い。

なお、本発明は、上記のような通常の画像伝送に加
え、例えばペイテレビジョンにおいて、近似信号のみ受
信可能にし、誤差画像信号についてはキーにより受信可
能にしておくことにより、正当なキーを保有するものだ
けが明確な画像を見ることができ、その他のものは、粗
い画像しか見ることができないようにするというシステ
ムへの応用が可能である。

［発明の効果］以上述べたように、本発明によれば、画像中に含まれ
る非定常部分は複数種類の単位波形の組み合わせで近似
された近似画像信号にその情報が担われ、それを効率良
く伝送することができ、誤差信号については高い空間相
関を利用した高能率の符号化が可能であるので、エッジ
などの非定常部分を含んだ画像についても高能率で高品
質の画像伝送が可能となる。

また、本発明によれば、誤差信号のSNが低下した場合
でも、近似画像信号によってSNが向上するという効果も
奏する。

【図面の簡単な説明】

第１図は本発明の一実施例に係る画像符号化復号化シス
テムのブロック図、第２図は同システムの概略的な動作
を説明するための波形図、第３図は同システムにおける
曲線近似画像符号化器の詳細ブロック図、第４図は同符
号化器における前処理回路の詳細ブロック図、第５図は
同前処理回路の動作を説明するための波形図、第６図は
同前処理回路における非線形変換器の入出力特性図、第
７図は同曲線近似画像符号化器における符号化回路の詳
細ブロック図、第８図は同符号化回路の動作を説明する
ための波形図、第９図は同曲線近似画像符号化器におけ
る符号化回路の他の構成例を示すブロック図である。１……送信部、２……受信部、３……伝送路、12……曲
線近似画像符号化器、13……曲線近似画像復号化器、14
……減算器、15……誤差画像符号化器、16……符号送信
器、22……符号分離器、23……曲線近似画像復号化器、
24……誤差画像復号化器、25……加算器。

Claims

(57)【特許請求の範囲】

【請求項１】入力画像信号を複数種類の単位波形の組み
合わせで近似して近似画像信号とし、この近似画像信号
を構成する各単位波形を特定する第１の情報を符号化し
て第１の符号化出力を得る第１の符号化手段と、前記入力画像信号と前記近似画像信号との誤差に関する
第２の情報を符号化して第２の符号化出力を得る第２の
符号化手段と、前記第１および第２の符号化出力を多重化する多重化手
段とを具備したことを特徴とする画像符号化装置。
【請求項２】入力画像信号を複数種類の単位波形の組み
合わせで近似して近似画像信号とし、この近似画像信号
を構成する各単位波形を特定する第１の情報を符号化し
た第１の符号化出力と、前記入力画像信号と前記近似画
像信号との誤差に関する第２の情報を符号化した第２の
符号化出力とを多重化した信号から前記第１および第２
の符号化出力を分離する分離手段と、この分離手段により分離された第１および第２の符号化
出力を復号化して前記第１の情報および第２の情報を生
成する第１および第２の復号化手段と、前記第１および第２の復号化手段により生成された第１
および第２の情報を合成して復号画像信号を得る合成手
段とを具備したことを特徴とする画像復号化装置。
【請求項３】入力画像信号を複数種類の単位波形の組み
合わせで近似して近似画像信号とし、この近似画像信号
を構成する各単位波形を特定する第１の情報を符号化し
て第１の符号化出力を得る第１の符号化手段と、前記入力画像信号と前記近似画像信号との誤差に関する
第２の情報を符号化して第２の符号化出力を得る第２の
符号化手段と、前記第１および第２の符号化出力を多重化する多重化手
段と、前記多重化手段の出力信号から前記第１および第２の符
号化出力を分離する分離手段と、この分離手段により分離された第１および第２の符号化
出力を復号化して前記第１の情報および第２の情報を生
成する第１および第２の復号化手段と、前記第１および第２の復号化手段により生成された第１
および第２の情報を合成して復号画像信号を得る合成手
段とを具備したことを特徴とする画像伝送装置。
【請求項４】前記複数種類の単位波形は、少なくとも孤
立波、矩形波および三角波を含むことを特徴とする請求
項１乃至３のいずれか１項に記載の装置。