JPH0389792A

JPH0389792A - 画像符号化装置

Info

Publication number: JPH0389792A
Application number: JP1224423A
Authority: JP
Inventors: Junichi Kimura; 淳一木村; Masaaki Takizawa; 正明滝沢
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1989-09-01
Filing date: 1989-09-01
Publication date: 1991-04-15
Anticipated expiration: 2014-06-07
Also published as: JP2901656B2

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明はテレビ信号の高能率符号化に係わり、特に「直
交変換器」を用いるＴＶ信号高能率符号化装置において
、画像内に急峻なエツジがある場合、画質が不自然に劣
化するのを防止する方式に関する。

〔従来の技術〕

ＴＶ信号は広い周波数帯域を有するので、これをデジタ
ル信号に変換してそのまま伝送すると、例えば１フレー
ム３Ｍｂｉｔ程度の情報量になり、動画像（１秒３０フ
レーム）の場合には１００Ｍｂ　／　ｓの伝送速度が必
要となる。この速度を低減するためにＴＶ信号の冗長性
を圧縮するＴＶ信号高能率符号化装置（以降ＴＶ　　Ｃ
ｏｄｅｃ）が開発されてきた。

高能率符号化方式には、様々な手法が知られているが、
現在主に用いられているものは離散コサイン変換（以下
ＤＣＴと略する）等の直交変換である。なお、直交変換
についてはｒＴＶ画像の多次元信号処理」　（吹抜敬彦
著１日刊工業新聞、１９８８年）第２４５頁から第２６
０頁に詳しく述べられである。本発明の説明を容易とす
るために、まず、第２図、第３図を用いて簡単に説明す
る。

送信側の動作は、以下の通りである。

（１）テレビカメラ１から読み込まれたＴＶ信号は、ア
ナログ／ディジタル変換回路２によりディジタル化され
る。この信号を画素と呼ぶ。

（２）各画素はブロック化回路３により例えば水平／垂
直方向の８Ｘ８個の画素をまとめて１ブロツクとする。

（３）各ブロックは直交変換回路５により直交変換され
、その結果である変換係数に変換される。

（４）変換係数は量子化器６により量子化される。

（５）量子化された変換係数はブロック内で予め定めら
れた順番に従って読みだされ、符号器８で符号語を割り
当てられ伝送路９へ送出される。なお、量子化の情報も
同時に符号化され伝送される。

受信機は第３図に示すように、これの逆の動作により、
元の画像を復元する。即ち、（１）復号合２１は、伝送された符号語を解読して、量
子化の情報と量子化された変換係数を得る。

（２）量子化された係数は逆量子化器２２によりそれぞ
れの代表値に変換され、変換係数を得る。

（３）逆直交変換器２３により、変換係数を逆直交変換
し１画像信号を得る。

（４）上記の画像信号は、逆ブロツク化回路２５により
通常のＴＶ信号の走査線信号に変換された後にデジタル
／アナログ変換回路２６によりアナログ信号に復元され
、出力装置２７に表示される。

上記の直交変換を採用した符号化方式では、以下の問題
が生じることが知られる。即ち、ブロック内に急峻なエ
ツジがあった場合、画質の劣化が生じやすい。

急峻なエツジは直交変換により多くの有効変換係数（非
零の係数）が生じる。これをすべて忠実に対送すれば、
受信側でほぼ原画に近い画像を再生できるが、情報量が
膨大になる。逆に、粗く量子化して伝送すると、情報量
はそれほど多くならないが、再生した画像には以下のよ
うな劣化が生じる。即ち、エツジがぼやけ、エツジに隣
接した平坦部のノイズ（モスキードノイズ）や、隣接し
たブロックとの境界が見えるブロック歪などの劣化であ
る。

この問題を解決する従来の手段として、例えば特開昭５
５−１０９０８５号公報にあるように「ブロックを２つ
の領域に分割し、その領域の形状を表す信号と、それぞ
れの領域内の階調成分を伝送する手法Ｊが知られている
。この方式の概略を例を用いて説明する。第１表の入力
信号のようなブロック（この場合４×４）が入力された
時、適当なスレッショルド値（以下Ｔｈ）を定めること
により、第１表の領域信号の様な２つの領域に分割する
（この場合Ｔｈ＝６とした）。分割した２つの領域につ
いて階調成分としてそれぞれの平均輝度（領域１では３
．領域２では８）を採用する。この結果、２つの階調成
分（３及び８）と第１表の領域情報を伝送することによ
って、受信側では第１表の再生信号のような画像を得る
ことができる。なお、前記の文献において階調成分の伝
送方法を改良することによって伝送する情報量を減らし
ている。

第１表ブロックの分割・再生また、この方式とは独立に、エツジ部の劣化のうち特に
不自然に見えるモスキードノイズとブロック歪を除去す
るために、再生画像に線形あるいは非線形のフィルタ（
ローパスフィルタ等）をかけることもよく行われる。

〔発明が解決しようとする課題〕

上記のブロックを分割する方式は、情報の圧縮率が直交
変換等の方式に比べてはるかに劣ったり、入力画像を完
全に再生できなかったりするという問題があった。

直交変換を用いた方式は再生画像のエツジ部がぼけたり
、エツジ近辺に不自然な画質劣化が生じる問題点があっ
た。

また、直交変換の再生画像にフィルタをかける方式には
エツジのぼけを増加させる問題があった。

本発明は高い圧縮率を持ち、しかも画像のぼけや不自然
な劣化がきわめて少ない画像符号化方式を提案する事を
目的とする。

〔課題を解決するための手段〕

上記問題は、分割した各領域の信号に直交変換等の高能
率ブロック符号方式を施すことと、領域を表す信号に２
次元予測符号化等の２値画像高能率符号を施すことによ
って解決される。

〔作用〕

上記の手段により、直交変換等の高能率符号化とほぼ同
等の圧縮率で、エツジ部の劣化がきわめて少ない画像を
伝送・再生することができる。

〔実施例〕

以下、第１図を用いて本発明の詳細な説明する。図に於
て５点線に囲まれた範囲１０が本発明に関わり、他の部
分は第２図で説明した従来から知られるＴＶ信号の高能
率符号化装置のブロック構成である。第１．２図におい
て、同一の番号を有するものは、同一の機能を持つ。

点線の外側の部分は第２図を用いて既に説明し。

たので、ここでは１点線の内側のみを詳しく説明する。

領域分割器４の詳細を第５図に示す。また、領域分割器
のタイミングチャートを第６図に示す。

ブロック化された画素信号５１はブロック画素メモリ１
１（以下画素メモリ）に格納されると同時に、領域分割
判定回路１２に入力される６領域判定回路１２では入力
されたブロックを分割するが否かを判定すると同時に分
割するときのスレッショルド値（Ｔｈ）を設定する。判
定は例えばブロック内の信号の最大値と最小値との差が
一定１１ａ以上の時に分割し、それ以下の時は分割しな
いと判断することにより実現できる。また、Ｔｈは最大
値と最小値の中間の値をとることによって設定できる。

分割するか否かの判定信号（分割判定信ｑ−５４）は制
御回路１３に入力される。この後の処理は分割判定信号
によって変わる。また５分割判定信号５４は符号化器７
に入力され符号化される。

ブロックを分割しないと判定したときは第６図Ａのよう
に出力選択信号をハイレベル（Ｈ）にし、切り替えスイ
ッチ１７を画素メモリ１工に直結する側にする。そして
画素メモリ１１より読み出された信号を直交変換入力信
号５２として出力する。

ブロックを分割すると判定したときは第６図Ｂのように
Ｔｈを用いて画素メモリ１１から読みだした信号を２値
化し分割形状メモリ１４（以下形状メモリ）に格納する
。次に形状メモリ１４の信号と１画素メモリ１１から読
みだした信号を用いて画素選択回路１５においてそれぞ
れの領域を読み出す。具体的には画素選択信号５５がロ
ーレベル（Ｌ）の場合は、形状メモリ１４の信号がＬの
時のみ画素メモリ１１の信号を通過させる。形状メモリ
１４の信号がＨの時には領域外であることが分かる信号
を出力する。画素選択信号５５がＨの時は逆に形状メモ
リの信号がＨの時通過させ、Ｌの時領域外を示す信号を
出力する。画素補填回路１６は画素選択信号工５におい
て領域外とされた画素を補填し、直交変換入力信号５２
として出力する。このとき、第６図Ｂのように出力選択
１″４ｇ号をハイレベル（Ｌ）にし、切り替えスイッチ
１７を画素補填回路側にする。

画素補填回路１６では領域内の信号から予測することに
より領域外の信号を生成・補填する。詳細を第７図に示
す。画素選択回路の出力信号５７は画素補填回路１６に
入力され、領域内ならばそのままメモリ６１に格納する
。入力信号が領域外でかつ予測回路で６３で予測に使わ
れる信号がすべて領域内の信号ならば、予測信号をこの
画素の値としメモリ６１．に格納する。予測の方法とし
、パ−は隣接する左の画素と上の画素の値の平均を用い
る方法などが考えられる。この予測された画素は以降領
域内の画素として扱う９以上の何れの条件にも合致しな
い場合は領域外の信号のままとしてメモリ６１に格納す
る（第１回目補填）。なお、メモリ６１に格納される信
号は予測回路６３にも入力され以後の画素の予測に用い
る。

次に、メモリ６エに格納された信号は入力された順と逆
順に読みだされ、回路６２．６３と同じ手順により第１
回目で補填できなかった画素をすべて補填する（第２回
目補填）。第２表は上記の補填を示したものである。こ
こで、Ａは領域内の画素、Ｘは領域外の画素、Ｂは第１
回目に補填された画素、Ｃは第２回目に補填された画素
である。

第２表　画素の補填（４Ｘ４画素／ブロックの例）これ
らの補填された信号は通常の信号と同様に直交変換、量
子化、符号化された伝送される。

分割したか否かを表す信号は分割判定信号５４として符
号器７に入力され、符号化され伝送される。分割判定信
号５４は１ブロツク（６４画素）にｌビットの信号であ
るため、そのまま伝送しても符号化効率にさほど影響は
でない。

一方分割形状を表す信号は分割信号５３として符号器７
に入力され符号化、伝送されるが、１画素あたり１ビツ
トの信号なので高能率符号化は必須である。この符号化
の方法としては、ファクシミリ（ＦＡＸ）の符号化で用
いられるモディファイド・ハフマン符号（ＭＨ）などが
適用できる。

即ち、２つの領域をそれぞれ０とｌで表し、０の連続す
る数、１の連続する数を可変長符号化し、順次伝送する
方法などが考えられる。この時、ブロックの左上の領域
をＯと定義することにより、さらに冗長度の圧縮が図れ
る。また、このようにしておくと、領域の直流成分など
を隣接したブロックから予測する方法なども容易に適用
できる。

第４図は本発明を用いた画像符号装置の受信側の構成図
である。動作の説明は先に説明した送信側と逆の動作を
行うため省略する。

尚、以下の変形も本発明の思想に含まれることは、明ら
かである。

（１）本発明はいかなるブロック符号化にも適用可能で
ある。実施例においてはブロック符号化として直交変換
を用いたが、これにはＤＣＴ、アダマール変換、カルー
ネンレーブ変換。

離散サイン変換、離散フーリエ変換、ルジャンドル変換
などが含まれる。この他にもベクトル量子化（ＶＱ）、
ブロック内画素の工次元または２次元予測符号化などに
適用しても、実施例と同等以上の効果があることは明ら
かである。

（２）実施例では分割形状情報の符号化方法としてＦＡ
ＸのＭＨ符号化を用いたが、これのかわりにいかなる２
値画像の符号化方法でも適用可能である。例えばＦＡＸ
２次元逐次符号化（ＭＲ符号）などを用いればさらに圧
縮率を向上できる。また、ベクトル量子化法（ＶＱ）な
ども適用が可能である。

（３）実施例では、補填法に線形予測を用いた。

この他にも領域内の画素の平均値を用いる方法や、すで
に伝送・再生されている隣接ブロック内の画素値を利用
した内挿なとも適用できる。

なお、画素補填後にローパスフィルタをかけることによ
って領域内の画素と補填した画素の不連続性を緩和し、
引き続き行われる直交変換などの効率を高めることもで
きる。

（４）実施例では、分割法にＴｈによる方法を用いた。

このほかにエツジを検出し、そのエツジによって領域を
分割する方法や、いくつかの方法を用いて分割・符号化
を事前に行い最も効率のよい方法を選択することも可能
である。

なお、実施例では分割する領域は２つまでとしたが、こ
の数は幾つにでも拡張可能である。しかし、この場合分
割形状情報の符号化にＦＡＸの符号化そのまま用いるこ
とはできない、そこで例えば、まず領域識別子を伝送し
１次にその領域の連続する数を可変長符号で伝送する方
法などが考えられる。

また、分割領域は忠実に伝送しているが、ある程度誤差
を含んで伝送しても構わない。

例えば、領域の境界を直線で近似し、その開始点と終端
点の座標を伝送することによって分割形状情報の情報量
を太き（削減することができる。

実施例では、分割は領域間で重なりはないとしていたが
、オバーラップした領域に分割しても構わない、但しこ
の時は各領域形状情報は多値情報となり、これらを重ね
合わせると全ての画素で利得１あるいは１に近い値にし
なければならない。分割形状情報の符号化も、例えば、
領域は２値画像として伝送し、さらに、領域境界の形状
（境界における面領域の割合）を予め数通り定めておき
、原画像の形状によってこの境界の形状を選択するよう
にする方法などがある。

境界形状の例を第３表に示す。境界形状情報は各領域に
つき１つ選択伝送すればよい２領域分離時には領域内部
の画素はそのままの値、境界部の画素は補填した値とす
る。受信側では、選択した境界形状によって隣接領域の
画素との加算比率を変え、再生画像を得る。

第３表　領域境界形状の分類ここで、他方の境界形状は１から上記の値を引いたイ直
である。

（５）実施例はフレーム内符号化を仮定して説明したが
、フレーム間符号化にも容易に適用できる。例えば、フ
レーム間差信号に大きなエツジ部を検出しだブロックに
対し領域分割を行えばよい。

また、伝送した分割形状情報を送信側お上び受信側で記
憶しておき、記憶しておいた情報を利用して新しい分割
形状情報を符号化することも可能である。

（６）本発明は静止画像の階層的符号化にも適用可能で
ある。動作の原理はフレーム間符号化と同じなので省略
する。なお、分割形状情報を初めは粗くそして最後は忠
実に伝送して行くことも考えられる。

〔発明の効果〕

本発明に従えば、急峻なエツジはその急峻さを損なうこ
となく、さらにエツジ近辺のノイズもほとんどなく再生
される。そのため、再生画像は自然感が増し、直交変換
のみによる符号化時の不自然な画質劣化はなくなる。

圧縮効率に関しては直交変換のみによる符号化方法より
同Ｓ／Ｎにおいては数％から十数％程度悪くなるが、こ
の時の画質の主観評価は本発明の方式による方法がはる
かに高い。

圧縮効率がさほど悪くならない理由は次の通りである。

即ち、急峻なエツジを含むブロックをそのまま直交変換
すると多くの高鍔成分が生じるため符号量は多くなる。

一方は２つの領域に分割すると、それぞれほぼ平地なブ
ロックになるため直交変換等の符号化効率が飛躍的に高
くなる。多くの場合１両領域の直流成分のみになる。

一方、領域形状情報は形状が単純な場合はニブロックあ
たり十数ビットで符号化できる。これは高周波な変換係
数を１つ伝送するビット数とほぼ等しい。形状が複雑に
なると１ブロツクあたり３０〜４０ビツト必要になる。

しかしこの時、原画をそのまま直交変換してもさらに多
くのビット数が必要となるため、かえって領域分割を行
った時の方が圧縮率が高くなることがある。

またこれに要する回路は、やや複雑であるが、高速のデ
ジタルシグナルプロセッサ（ＤＳＰ）等を用いれば容易
に実現できる。また、主な符号化部分である直交変換部
は何も変更の必要が無いため現在市販されている専用Ｌ
ＳＩなどをそのまま利用できる。

【図面の簡単な説明】

第１図は本発明を用いた画像符号化装置の送信側のブロ
ック図、第２図はＴＶ信号の高能率符号化方式を説明す
るための従来装置のブロック図、第３図は従来装置の受
信側のブロック図、第４図は本発明を用いた画像符号化
装置の受信側のブロック図、第５図は本発明の中心部で
ある領域分割器の詳細ブロック図、第６図は第５図の領
域分割器のタイミングチャート、第７図は第５図中の画
素補填回路の詳細ブロック図である。符号の説明１・・・ＴＶカメラ、２・・・Ａ／Ｄ変換器、３・・・
ブロック化回路、４・・・領域分割器、５・・・直交変
換器、６・・・量子化器、７・・・符号化器、９・・・
伝送路、１２・・・領域分割判定回路、１５・・・画素
選択回路、１６・・・画素補填回路、２１・・・復号化
器、２３・・・逆直交変換器、２４・・・領域合成器、
２５・・・逆ブロツク化器、５３・・・分割形状信号、
５４・・・分割判定信号、５５・・・領域選択信号、６
３・・・予測回路、６２・・・領域外検出回路。

Claims

【特許請求の範囲】

１、デジタル化されたテレビジョン信号（以下ＴＶ信号
と略する）内の隣接するいくつかの画素をまとめてブロ
ック化し、このブロック毎に符号化処理を行う画像符号
化装置において、該ブロックをｎ個（ｎは２以上）の部
分に分割し、分割したそれぞれの部分に対し画素の補填
を行いｎ個のブロックを生成し、生成したブロックに対
し符号化処理を行うことを特徴とする画像符号化装置。