JPH0235884A - 画像符号化装置、画像復号化装置および画像伝送装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［発明の目的］ （産業上の利用分野） 本発明は、画像を送信側で符号化して伝送し、受信側で
復号化する画像符号化復号化方式に関し、特に予測符号
化方式や変換符号化方式のように、空間相関を利用して
高能率の符号化復号化を行なう画像符号化復号化方式に
関する。

（従来の技術） 従来より、画像を高能率かつ高品質に伝送する方式とし
て、ＤＰＣＭに代表される予測符号化方式や離散的コサ
イン変換に代表される変換符号化方式が知られている。

これらの符号化方式は、いずれも画像の空間相関が高い
ことを利用し、その冗長性を除去することにより、高能
率な符号化を行なうものである。

一般に画像の２次元相関は、水平方向をＸ１垂直方向を
ｙ、α、βをそれぞれ水平方向、垂直方向の相関係数と
すると、 φ（ｘ、ｙ） 一φ（０，Ｏ）　　ｅｘｐ（−ａ　ｌ　ｘ　ｌ−β１ｙ
１）・・・（１） で表すことができる。ここで、α、βは、０．９〜０．
９９程度の値をとることが統計的に知られている。

しかし、この相関は、多くの画像の統計データから得ら
れたものであり、ある特定な画像に限定した場合、或は
画像の各所において定常的に、この相関を満たす訳では
ない。例えば、エツジのように輝度が急激に変化する部
分、つまり過渡部分では極めて低い相関しか得られない
。

このように、画像の非定常性は、符号化効率或は画像品
質を劣化させる最大の要因となっている。

例えば、ＤＰＣＭではエツジ部分において大きな量子化
歪みか発生し、量子化ビット数が少ないと、この部分で
の歪みは明らかに画質の劣化につながる。また、離散的
コサイン変換等の変換符号化方式においては、変換され
た値が低次の項に集中することを利用して、復号画像全
体の二乗誤差が最小となるようにエネルギーの大きい低
次項を優先して符号化する。しかし、エツジなどの過渡
部分では、変換された値は高次の項まで分布するため、
やはりエツジ部分に劣化をきたす。このような劣化を回
避するには、符号化割当てを高次項まで与えるようにす
ることが考えられるが、この場合には伝送効率が著しく
低下するという問題があった。

（発明が解決しようとする課題） このように、従来の空間相関を利用した画像符号化復号
化方式では、画像に局部的に存在している空間相関性の
低い非定常部分で画質の劣化をきたすという問題があっ
た。

本発明は、量子化ビット数を大幅に増すことなく、画像
中に局部的に存在する空間相関の低い非定常部分の影響
を排除して、高能率で、より高い画像品質を得ることが
できる画像符号化復号化方式を提供することを目的とす
る。

（課題を解決するための手段） 本発明は、入力画像信号を１又は複数の既知の関数で近
似するとともに、それら関数を特定する情報を符号化し
て第１の符号化出力を得る第１の符号化手段と、この第
１の符号化手段からの第１の符号化出力を復号化して前
記入力画像信号に対する近似信号を出力する第１の復号
化手段と、この第１の復号化手段から出力される近似信
号と前記人力画像信号との差を誤差信号として算出し出
力する減算手段と、この減算手段から出力される前記誤
差信号を符号化して第２の符号化出力を得る第２の符号
化手段と、前記第１及び第２の符号化手段から出力され
る第１及び第２の符号化出力を送信する送信手段と、こ
の送信手段により送信された第１の符号化出力を復号化
して前記人力画像信号に対する近似信号を生成する第２
の復号化手段と、前記第２の符号化出力を復号化して前
記誤差信号を生成する第３の復号化手段と、これら第２
及び第３の復号化手段の復号化出力を加算して前記入力
画像信号を復元する加算手段とを具備シたことを特徴と
している。

（作用） 本発明によれば、入力画像信号を既知の関数で近似し、
その関数を特定する情報を符号化して第１の符号化出力
を得るとともに、入力画像信号から上記の近似関数を除
去した残り、つまり誤差部分を符号化して第２の符号化
出力を得、これら２つの符号化出力を伝送するようにし
ている。従って、例えばエツジ部分のように空間相関の
低い部分は、上記近似関数にその情報が担われ、相関性
の高い部分のみが誤差信号として残る。近似関数は、既
知の単純な幾何曲線であれば少ないビット数でそれを特
定することができ、また誤差信号も空間相関が高いため
割当てビット数を少なくできる。従って、この発明によ
れば、全体的に少ないビット数で、エツジ部分の再現性
も向上する。

よって、高能率で、より高画質の符号化復号化を実現で
きる。

（実施例） 以下、図面を参照しながら本発明の実施例について説明
する。

第１図は本発明の一実施例に係る画像符号化復号化シス
テムの構成を示す図である。このシステムは、送信部１
、受信部２及びこれらを接続する伝送路３により構成さ
れる。送信部１は、入力端子１１を介して入力される入
力画像信号を孤立波、矩形波、三角波等の複数の既知の
関数で近似し、それらの近似関数を特定するパラメータ
を符号化する曲線近似画像符号化器１２と、この曲線近
似画像信号η号化器１２で符号化された近似曲線を復号
化する曲線近似画像復号化器１３と、入力画像信号から
上記復号化器１３の出力を減算して誤差信号を出力する
減算器１４と、この減算器１４から出力される誤差信号
を符号化する誤差信号符号化器１５と、両符号化層１２
．１５からの符号化出力をそれぞれ第１及び第２の符号
化出力として出力端子１７を介して伝送路３に送信する
符号送信器１６とにより構成されている。また、受信部
２は、伝送路３を介して伝送され入力端子２１を介して
入力された第１及び第２の符号化信号を受信するととも
に、これらを分離する符号分離器２２と、第１の符号化
出力を復号化して近似曲線を生成する曲線近似画像復号
化器２３と、第２の符号化出力を復号化して誤差信号を
生成する誤差画像復号化器２４と、これら２つの復号化
器２３２４からの出力を加算して最終復号画像を出力端
子２６に出力する加算器２５とにより構成されている。

次に、以上のように構成された本システムの動作につい
て説明する。いま、入力端子１１から入力される入力画
像信号が、第２図（ａ）に示すような信号であるとする
と、曲線近似画像符号化器１２は、上記信号の例えば水
平方向の輝度変化を孤立波、矩形波、三角波等の簡単な
幾何曲線で近似し、同図（ｂ）に示すような曲線近似画
像信号を生成する。孤立波、矩形波は定数で表わせ、三
角波は一次関数として表すことができる。これらは極め
て少ないパラメータで特定できる。必要なら更に放物線
を表す２次関数等、ｎ次関数まで用いるのも良いが、近
似に要する処理が次第に慢雑になるので、最低１次関数
までで近似を止どめておくのが実用的である。曲線近似
画像符号化器１２は、この曲線近似画像信号が再生でき
るように立上がり、立下がりの位置、その波高値、傾き
等を示すコード情報を第１の符号化出力として出力する
。この第１の符号化出力は、曲線近似画像復号器１３に
おいて復号化され同図（ｂ）と同様の曲線近似画像信号
が生成される。ここでは受信部２の復号化器２３と同じ
復号化処理が行われるので、曲線近似画像信号は受信部
２と同じ条件で得られることになる。一方、減算器１４
では、入力端子１１を介して人力された入力画像信号か
ら前記曲線近似画像信号が減算されて、第２図（ｃ）に
示すような誤差画像信号が出力される。曲線近似画像信
号は入力画像信号の粗い構造を表しており、局部的には
非定常部分、例えばエツジ等を含んでいる。減算器１４
の出力である誤差画像信号は、これらの非定常部分が除
去された画像の微細な構造を示している。この誤差画像
信号の相関性は高い。したがって、この誤差画像信号に
対し誤差画像符号化器１５は、例えばＤＰＣＭや離散的
コサイン変換等の従来から用いられている符号化手法を
適用すれば、能率良く、高品質に第２の符号化出力を得
ることができる。このようにして求められた第１及び第
２の符号化出力は、符号化送信器１６によって、多重化
され、或は別々に送信される。

伝送された画像情報は、符号分離器２にて分離され、第
１の符号化出力は、曲線近似画像復号化器２３に、第２
の符号化出力は誤差画像復号化器２４にそれぞれ与えら
れる。曲線近似画像復号化器２３は、前述した曲線近似
画像復号化器１３と同様の復号化処理を行なって第２図
（ｂ）で示すような曲線近似画像信号を生成出力する。

誤差画像符号化器２４は、誤差画像符号化器１５と対応
した復号化処理によって第２図（ｃ）に示すような誤差
画像信号を生成出力する。これら復号化器２３．２４の
出力は加算器２５によって加算されることにより、第２
図（ａ）に示すような入力画像信号が復元されることに
なる。

次に、曲線近似画像符号化器１２の内容について詳細に
説明する。曲線画像符号化器１２は、例えば第３図に示
すように、前処理回路３１と符号化回路３２とにより構
成される。前処理回路３１は、更に第４図に示すように
、低域濾波器（ＬＰＦ）４．１、減算器４２、非線形変
換器４３及び加算器４４にて構成されている。

いま、入力画像信号が第５図（ａ）に示すような信号で
あるとすると、ＬＰＦ４１は、この信号の小振幅の変化
を平滑化する。この処理の目的は、人力画像信号の幾何
曲線への近似をより容易に行なわせるためである。ＬＰ
Ｆの出力は、同図（ｂ）に示すような出力となる。また
、減算器４２では、人力画像信号から上記ＬＰＦ出力を
減算することにより、等価高域濾波器として機能し、同
図（ｃ）に示すように、エツジ等の非定常部分を示すイ
ンパルスを含んだ高域成分を出力する。この減算器出力
は、非線形変換器４３に与えられる。非線形変換器４３
は、第６図に示すような入出力特性を持っており、一定
の振幅値±ＴＨ以下は振幅を０に抑制するものとなって
いる。したがって、第５図（ｃ）の減算器出力を非線形
変換器４３に通すと、同図（ｄ）に示すように振幅の大
きなインパルス成分のみ抽出される。ここでＴＨは、誤
差画像の量子化のダイナミックレンジ付近に設定し、ダ
イナミックレンジで求められない程大きな変化を抽出す
るようにする。例えば画像が８ビツト、２５６階調であ
れば、３２〜６４程度の値が好適である。この信号はＬ
ＰＦ４１の出力と加算器４４において加算される。した
がって、加算器４４の出力には最終的に第５図（ｅ）で
示すような信号が得られる。この信号は、小振幅部分は
平滑化され、大振幅部分は保存された信号なので、幾何
曲線近似の前処理として非常に有効である。

このような前処理によって処理し易い形態に変換された
信号は、第３図の符号化回路３２に入力される。この符
号化回路３２は、例えば第７図に示すように構成されて
いる。この回路は、インパルスの分離、微分、非線形変
換の各処理を繰返し実行しリアルタイムで近似曲線の符
号化を行なう回路であり、インパルス分離回路５１、微
分回路５２、非線形変換器５３、インパルス分離回路５
４、微分回路５５、非線形変換器５６、インパルス分離
回路５７をこの順に接続するとともに、各インパルス分
離回路５１，５４．５７で分離されたインパルスに関す
る情報を量子化する量子化器５８を備えて構成されてい
る。

前処理後の第８図（ａ）に示すような信号（前処理済信
号）は、インパルス分離回路５１に与えられ、まず、そ
れに含まれる同図中Ａに示すようなインパルス成分が分
離される。インパルスの検出は、パルス幅判定等により
容易に行なうことができ、インパルスの抽出は、例えば
その振幅と位置とを符号化することにより行われる。続
いて、インパルスの除去された信号は微分回路５２にお
いて微分され、非線形変換器５３にて第６図と同様、小
振幅除去処理される。これにより、第８図（ａ）の立上
がり部分及び立ち下がり部分がインパルスで示された第
８図（ｂ）のような信号が得られる。この信号について
も、上記と同様インパルスが除去される。この時点では
、原信号中のインパルス成分と矩形波成分は全て抽出さ
れる。更に、インパルス分離回路５４の出力に対しても
微分回路５５、非線形変換器５６にて同様の処理を施す
と、第８図（ｃ）に示すように、同図（ａ）の三角波の
部分の起点と終点とを示すインパルスを含んだ信号が得
られる。ここまでの過程で、１次関数で近似したものは
全て符号化される。更に２次関数まで用いる場合には、
再度同様の処理を繰返せばよい。量子化器５８では、微
分回数に対応させてインパルスの位置、振幅をコード化
スることにより、第１の符号化出力を生成することがで
きる。

このように入力画像信号を幾何曲線で近似することは、
微分操作によって極めて多くのゼロ、即ち信号の変化し
ない場所を生起させ得るということであるから、第１の
符号化出力の符号化効率は極めて高いということができ
る。例えば、インパルスの位置だけ、或は大きさだけを
集め、それらの間の相関性を利用して符号化したり、正
負のインパルスについては絶対値とその符号とを分け、
絶対値についてはその相関性を利用して符号化する等の
方法を用いることにより、極めて高能率の符号化が可能
である。

一方、第２の符号化出力、即ち誤差成分は人力画像信号
から大振幅成分を除去した残りであるから、振幅変化は
小さく、画像の相関モデルに極めて近いことが期待でき
る。従って、例えば、誤差画像符号化器１５をＤＰＣＭ
で構成すれば、過負荷雑音の可能性は殆ど無いので、低
ビットで量子化しても、良好な復号信号を得ることがで
きる。

このとき、問題となるのは、量子化による粒状雑音だけ
であるから、これに見合った量子化幅を用意すれば良い
。また、誤差画像符号化器１５として離散的コサイン変
換を用いた場合でも、誤差画（象信号は相関モデルとし
て示した（１）式に極めて近く、非定常部分は殆ど含ま
れないので、低次項へのエネルギーの集中が起こり、符
号化効率の向上が大いに期待できる。このように、誤差
画像信号符号化器１５には、従来から用いられている方
法がそのまま適用でき、更により良好な符号化効率と復
元性とを保持できる。

なお、上記実施例では、曲線近似画像の符号化を、微分
とインパルス除去の組合わせによりリアルタイムで行な
うようにしたが、例えば、第９図に示すように、ＣＰＵ
６１における演算処理によって近似曲線を求めるように
しても良い。即ち、前処理済信号は、−旦、波形記憶回
路６２に格納される。一方、第４図における非線形変換
器４３の出力は、画像信号の変化点を表す信号であるか
ら、この信号を用いて画像信号の区間情報とする。

この情報は第９図の区間記憶回路６３に格納される。Ｃ
ＰＵ６１は、区間記憶回路６３内のデータに基づいて、
各区間ごとに波形記憶回路６２からその区間の波形を読
出し、最小二乗法によってその区間の近似関数を解いて
いく。この方法は、リアルタイムでの処理は困難である
が、例えば静止画の伝送等においては有効な方法である
。

また、上記実施例では、−次元方向に走査したときの幾
何曲線近似による符号化例を述べたが、幾何曲線近似画
像は、二次元に展開しても良いことは言うまでもない。

簡単な例としては一次元方向に走査して得た幾何曲線近
似後、幾何曲線近似信号について例えば垂直或は水平方
向のもうひとつの次元の相関をとった後、上記の符号化
を行なうことて、更に符号化効率は高まる。何故なら、
幾何曲線近似画像は粗い画像の構造を表すので、それ自
身二次元的に高い相関を取り得るからである。

また、このことは誤差画像信号についても同様であり、
誤差画像信号についてフレーム間の相関を利用して符号
化するようにしても良い。

なお、本発明は、上記のような通常の画像伝送に加え、
例えばペイテレビジョンにおいて、近似信号のみ受信可
能にし、誤差画像信号についてはキーにより受信可能に
しておくことにより、正当なキーを保有するものだけが
明確な画像を見ることができ、その他のものは、粗い画
像しか見ることができないようにするというシステムへ
の応用が可能である。

［発明の効果コ 以上述べたように、本発明によれば、画像中に含まれる
非定常部分は近似信号にその情報が担われ、それを効率
良く伝送することができ、誤差信号については高い空間
相関を利用した高能率の符号化が可能であるので、エツ
ジなどの非定常部分を含んだ画像についても高能率で高
品質の画像伝送が可能となる。

また、本発明によれば、誤差信号のＳＮが低下した場合
でも、近似信号によってＳＮが向上するという効果も奏
する。

【図面の簡単な説明】

第１図は本発明の一実施例に係る画像符号化復号化シス
テムのブロック図、第２図は同システムの概略的な動作
を説明するための波形図、第３図は同システムにおける
曲線近似画像符号化器の詳細ブロック図、第４図は同符
号化器における前処理回路の詳細ブロック図、第５図は
同前処理回路の動作を説明するための波形図、第６図は
同前処理回路における非線形変換器の入出力特性図、第
７図は同曲線近似画像符号化器における符号化回路の詳
細ブロック図、第８図は同符号化回路の動作を説明する
ための波形図、第９図は同曲線近似画像符号化器におけ
る符号化回路の他の構成例を示すブロック図である。 １・・・送信部、２・・・受信部、３・・・伝送路、１
２・・・曲線近似画像符号化器、１３・・・曲線近似画
像復号化器、１４・・・減算器、１５・・・誤差画像符
号化器、１６・・・符号送信器、２２・・・符号分離器
、２３・・・曲線近似画像復号化器、２４・・・誤差画
像復号化器、２５・・・加算器。 出願人代理人　弁理士　鈴江武彦 （ａ） 入力釦１イ言号 （ｃ） Ｔ％羞ｈ４暑と４１号 第 図 第 図 、ＨＬＩｌ舊ＩＦ

Claims (1)

【特許請求の範囲】
1. 入力画像信号を１又は複数の既知の関数で近似するとと
   もに、それら関数を特定する情報を符号化して第１の符
   号化出力を得る第１の符号化手段と、この第１の符号化
   手段からの第１の符号化出力を復号化して前記入力画像
   信号に対する近似信号を出力する第１の復号化手段と、
   この第１の復号化手段から出力される近似信号と前記入
   力画像信号との差を誤差信号として算出し出力する減算
   手段と、この減算手段から出力される前記誤差信号を符
   号化して第２の符号化出力を得る第２の符号化手段と、
   前記第１及び第２の符号化手段から出力される第１及び
   第２の符号化出力を送信する送信手段と、この送信手段
   により送信された第１の符号化出力を復号化して前記入
   力画像信号に対する近似信号を生成する第２の復号化手
   段と、前記第２の符号化出力を復号化して前記誤差信号
   を生成する第３の復号化手段と、これら第２及び第３の
   復号化手段の復号化出力を加算して前記入力画像信号を
   復元する加算手段とを具備したことを特徴とする画像符
   号化復号化方式。