JP2901656B2

JP2901656B2 - 画像符号化装置

Info

Publication number: JP2901656B2
Application number: JP22442389A
Authority: JP
Inventors: 淳一木村; 正明滝沢
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1989-09-01
Filing date: 1989-09-01
Publication date: 1999-06-07
Anticipated expiration: 2014-06-07
Also published as: JPH0389792A

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明はテレビ信号の高能率符号化に係わり、特に
「直交変換器」を用いるTV信号高能率符号化装置におい
て、画像内に急峻なエッジがある場合、画質が不自然に
劣化するのを防止する方式に関する。

〔従来の技術〕

TV信号は広い周波数帯域を有するので、これをデジタ
ル信号に変換してそのまま伝送すると、例えば１フレー
ム3Mbit程度の情報量になり、動画像（１秒30フレー
ム）の場合には100Mb/sの伝送速度が必要となる。この
速度を低減するためにTV信号の冗長性を圧縮するTV信号
高能率符号化装置（以降TV Codec）が開発されてきた。

高能率符号化方式には、様々な手法が知られている
が、現在主に用いられているものは離散コサイン変換
（以下DCTと略する）等の直交変換である。なお、直交
変換については「TV画像の多次元信号処理」（吹抜敬彦
著、日刊工業新聞、1988年）第245頁から第260頁に詳し
く述べられてある。本発明の説明を容易とするために、
まず、第２図，第３図を用いて簡単に説明する。

送信側の動作は、以下の通りである。

（１）テレビカメラ１から読み込まれたTV信号は、アナ
ログ／ディジタル変換回路２によりディジタル化され
る。この信号を画素と呼ぶ。

（２）各画素はブロック化回路３により例えば水平／垂
直方向の８×８個の画素をまとめて１ブロックとする。

（３）各ブロックは直交変換回路５により直交変換さ
れ、その結果である変換係数に変換される。

（４）変換係数は量子化器６により量子化される。

（５）量子化された変換係数はブロック内で予め定めら
れた順番に従って読みだされ、符号器８で符号語を割り
当てられ伝送路９へ送出される。なお、量子化の情報も
同時に符号化され伝送される。

受信機は第３図に示すように、これの逆の動作によ
り、元の画像を復元する。即ち、（１）復号化器21は、伝送された符号語を解読して、量
子化の情報と量子化された変換係数を得る。

（２）量子化された係数は逆量子化器22によりそれぞれ
の代表値に変換され、変換係数を得る。

（３）逆直交変換器23により、変換係数を逆直交変換
し、画像信号を得る。

（４）上記の画像信号は、逆ブロック化回路25により通
常のTV信号の走査線信号に変換された後にデジタル／ア
ナログ変換回路26によりアナログ信号に復元され、出力
装置27に表示される。

上記の直交変換を採用した符号化方式では、以下の問
題が生じることが知られる。即ち、ブロック内に急峻な
エッジがあった場合、画質の劣化が生じやすい。

急峻なエッジは直交変換により多くの有効変換係数
（非零の係数）が生じる。これをすべて忠実に対送すれ
ば、受信側でほぼ原画に近い画像を再生できるが、情報
量が膨大になる。逆に、粗く量子化して伝送すると、情
報量はそれほど多くならないが、再生した画像には以下
のような劣化が生じる。即ち、エッジがぼやけ、エッジ
に隣接した平坦部のノイズ（モスキートノイズ）や、隣
接したブロックとの境界が見えるブロック歪などの劣化
である。

この問題を解決する従来の手段として、例えば特開昭
55-109085号公報にあるように「ブロックを２つの領域
に分割し、その領域の形状を表す信号と、それぞれの領
域内の階調成分を伝送する手法」が知られている。この
方式の概略を例を用いて説明する。第１表の入力信号の
ようなブロック（この場合４×４）が入力された時、適
当なスレッショルド値（以下Th）を定めることにより、
第１表の領域信号の様な２つの領域に分割する（この場
合Th＝６とした）。分割した２つの領域について階調成
分としてそれぞれの平均輝度（領域１では３、領域２で
は８）を採用する。この結果、２つの階調成分（３及び
８）と第１表の領域情報を伝送することによって、受信
側では第１表の再生信号のような画像を得ることができ
る。なお、前記の文献において階調成分の伝送方法を改
良することによって伝送する情報量を減らしている。

また、この方式とは独立に、エッジ部の劣化のうち特
に不自然に見えるモスキートノイズとブロック歪を除去
するために、再生画像に線形あるいは非線形のフィルタ
（ローパスフィルタ等）をかけることもよく行われる。

〔発明が解決しようとする課題〕

上記のブロックを分割する方式は、情報の圧縮率が直
交変換等の方式に比べてはるかに劣ったり、入力画像を
完全に再生できなかったりするという問題があった。

直交変換を用いた方式は再生画像のエッジ部がぼけた
り、エッジ近辺に不自然な画質劣化が生じる問題点があ
った。

また、直交変換の再生画像にフィルタをかける方式に
はエッジのぼけを増加させる問題があった。

本発明は高い圧縮率を持ち、しかも画像のぼけや不自
然な劣化がきわめて少ない画像符号化方式を提案する事
を目的とする。

〔課題を解決するための手段〕

上記問題は、分割した各領域の信号に直交変換等の高
能率ブロック符号方式を施すことと、領域を表す信号に
２次元予測符号化等の２値画像高能率符号を施すことに
よって解決される。

〔作用〕

上記の手段により、直交変換等の高能率符号化とほぼ
同等の圧縮率で、エッジ部の劣化がきわめて少ない画像
を伝送・再生することができる。

〔実施例〕

以下、第１図を用いて本発明の実施例を説明する。図
に於て、点線に囲まれた範囲10が本発明に関わり、他の
部分は第２図で説明した従来から知られるTV信号の高能
率符号化装置のブロック構成である。第1,2図におい
て、同一の番号を有するものは、同一の機能を持つ。

点線の外側の部分は第２図を用いて既に説明したの
で、ここでは、点線の内側のみを詳しく説明する。

領域分割器４の詳細を第５図に示す。また、領域分割
器のタイミングチャートを第６図に示す。ブロック化さ
れた画素信号51はブロック画素メモリ11（以下画素メモ
リ）に格納されると同時に、領域分割判定回路12に入力
される。領域判定回路12では入力されたブロックを分割
するか否かを判定すると同時に分割するときのスレッシ
ョルド値（Th）を設定する。判定は例えばブロック内の
信号の最大値と最小値との差が一定値以上の時に分割
し、それ以下の時は分割しないと判断することにより実
現できる。また、Thは最大値と最小値の中間の値をとる
ことによって設定できる。分割するか否かの判定信号
（分割判定信号54）は制御回路13に入力される。この後
の処理は分割判定信号によって変わる。また、分割判定
信号54は符号化器７に入力され符号化される。

ブロックを分割しないと判定したときは第６図Ａのよ
うに出力選択信号をハイレベル（Ｈ）にし、切り替えス
イッチ17を画素メモリ11に直結する側にする。そして画
素メモリ11より読み出された信号を直交変換入力信号52
として出力する。

ブロックを分割すると判定したときは第６図Ｂのよう
にThを用いて画素メモリ11から読みだした信号を２値化
し分割形状メモリ14（以下形状メモリ）に格納する。次
に形状メモリ14の信号と、画素メモリ11から読みだした
信号を用いて画素選択回路15においてそれぞれの領域を
読み出す。具体的には画素選択信号55がローレベル
（Ｌ）の場合は、形状メモリ14の信号がＬの時のみ画素
メモリ11の信号を通過させる。形状メモリ14の信号がＨ
の時には領域外であることが分かる信号を出力する。画
素選択信号55がＨの時は逆に形状メモリの信号がＨの時
通過させ、Ｌの時領域外を示す信号を出力する。画素補
填回路16は画素選択回路15において領域外とされた画素
を補填し、直交変換入力信号52として出力する。このと
き、第６図Ｂのように出力選択信号をハイレベル（Ｌ）
にし、切り替えスイッチ17を画素補填回路側にする。

画素補填回路16では領域内の信号から予測することに
より領域外の信号を生成・補填する。詳細を第７図に示
す。画素選択回路の出力信号57は画素補填回路16に入力
され、領域内ならばそのままメモリ61に格納する。入力
信号が領域外でかつ予測回路で63で予測に使われる信号
がすべて領域内の信号ならば、予測信号をこの画素の値
としメモリ61に格納する。予測の方法としては隣接する
左の画素と上の画素の値の平均を用いる方法などが考え
られる。この予測された画素は以降領域内の画素として
扱う。以上の何れの条件にも合致しない場合は領域外の
信号のままとしてメモリ61に格納する（第１回目補
填）。なお、メモリ61に格納される信号は予測回路63に
も入力され以後の画素の予測に用いる次に、メモリ61に格納された信号は入力された順と逆
順に読みだされ、回路62,63と同じ手順により第１回目
で補填できなかった画素をすべて補填する（第２回目補
填）。第２表は上記の補填を示したものである。ここ
で、Ａは領域内の画素、ｘは領域外の画素、Ｂは第１回
目に補填された画素、Ｃは第２回目に補填された画素で
ある。

これらの補填された信号は通常の信号と同様に直交変
換，量子化，符号化されて伝送される。

分割したか否かを表す信号は分割判定信号54として符
号器７に入力され、符号化され伝送される。分割判定信
号54は１ブロック（64画素）に１ビットの信号であるた
め、そのまま伝送しても符号化効率にさほど影響はでな
い。

一方分割形状を表す信号は分割信号53として符号器７
に入力され符号化、伝送されるが、１画素あたり１ビッ
トの信号なので高能率符号化は必須である。この符号化
の方法としては、ファクシミリ（FAX）の符号化で用い
られるモディファイド・ハフマン符号（MH）などが適用
できる。即ち、２つの領域をそれぞれ０と１で表し、０
の連続する数、１の連続する数を可変長符号化し、順次
伝送する方法などが考えられる。この時、ブロックの左
上の領域を０と定義することにより、さらに冗長度の圧
縮が図れる。また、このようにしておくと、領域の直流
成分などを隣接したブロックから予測する方法なども容
易に適用できる。

第４図は本発明を用いた画像符号装置の受信側の構成
図である。動作の説明は先に説明した送信側と逆の動作
を行うため省略する。

尚、以下の変形も本発明の思想に含まれることは、明
らかである。

（１）本発明はいかなるブロック符号化にも適用可能で
ある。実施例においてはブロック符号化として直交変換
を用いたが、これにはDCT,アダマール変換，カルーネン
レーブ変換，離散サイン変換，離散フーリエ変換，ルジ
ャンドル変換などが含まれる。この他にもベクトル量子
化（VQ）、ブロック内画素の１次元または２次元予測符
号化などに適用しても、実施例と同等以上の効果がある
ことは明らかである。

（２）実施例では分割形状情報の符号化方法としてFAX
のMH符号化を用いたが、これのかわりにいかなる２値画
素の符号化方法でも適用可能である。例えばFAX2次元逐
次符号化（MR符号）などを用いればさらに圧縮率を向上
できる。また、ベクトル量子化法（VQ）なども適用が可
能である。

（３）実施例では、補填法に線形予測を用いた。この他
にも領域内の画素の平均値を用いる方法や、すでに伝送
・再生されている隣接ブロック内の画素値を利用した内
挿なども適用できる。

なお、画素補填後にローパスフィルタをかけることに
よって領域内の画素と補填した画素の不連続性を緩和
し、引き続き行われる直交変換などの効率を高めること
もできる。

（４）実施例では、分割法にThによる方法を用いた。こ
のほかにエッジを検出し、そのエッジによって領域を分
割する方法や、いくつかの方法を用いて分割・符号化を
事前に行い最も効率のよい方法を選択することも可能で
ある。

なお、実施例では分割する領域は２つまでとしたが、
この数は幾つにでも拡張可能である。しかし、この場合
分割形状情報の符号化にFAXの符号化そのまま用いるこ
とはできない。そこで例えば、まず領域識別子を伝送
し、次にその領域の連続する数を可変長符号で伝送する
方法などが考えられる。

また、分割領域は忠実に伝送しているが、ある程度誤
差を含んで伝送しても構わない。例えば、領域の境界を
直線で近似し、その開始点と終端点の座標を伝送するこ
とによって分割形状情報の情報量を大きく削減すること
ができる。

実施例では、分割は領域間で重なりはないとしていた
が、オバーラップした領域に分割しても構わない。但し
この時は各領域形状情報は多値情報となり、これらを重
ね合わせると全ての画素で利得１あるいは１に近い値に
しなければならない。分割形状情報の符号化も、例え
ば、領域は２値画像として伝送し、さらに、領域境界の
形状（境界における両領域の割合）を予め数通り定めて
おき、原画像の形状によってこの境界の形状を選択する
ようにする方法などがある。

境界形状の例を第３表に示す。境界形状情報は各領域
につき１つ選択伝送すればよい。領域分離時には領域内
部の画素はそのままの値、境界部の画素は補填した値と
する。受信側では、選択した境界形状によって隣接領域
の画素との加算比率を変え、再生画像を得る。

ここで、他方の境界形状は１から上記の値を引いた値
である。

（５）実施例はフレーム内符号化を仮定して説明した
が、フレーム間符号化にも容易に適用できる。例えば、
フレーム間差信号に大きなエッジ部を検出したブロック
に対し領域分割を行えばよい。

また、伝送した分割形状情報を送信側および受信側で
記憶しておき、記憶しておいた情報を利用して新しい分
割形状情報を符号化することも可能である。

（６）本発明は静止画像の階層的符号化にも適用可能で
ある。動作の原理はフレーム間符号化と同じなので省略
する。なお、分割形状情報を初めは粗くそして最後は忠
実に伝送して行くことも考えられる。

〔発明の効果〕

本発明に従えば、急峻なエッジはその急峻さを損なう
ことなく、さらにエッジ近辺のノイズもほとんどなく再
生される。そのため、再生画像は自然感が増し、直交変
換のみによる符号化時の不自然な画質劣化はなくなる。

圧縮効率に関しては直交変換のみによる符号化方法よ
り同S/Nにおいては数％から十数％程度悪くなるが、こ
の時の画質の主観評価は本発明の方式による方法がはる
かに高い。

圧縮効率がさほど悪くならない理由は次の通りであ
る。即ち、急峻なエッジを含むブロックをそのまま直交
変換すると多くの高調成分が生じるため符号量は多くな
る。一方は２つの領域に分割すると、それぞれほぼ平坦
なブロックになるため直交変換等の符号化効率が飛躍的
に高くなる。多くの場合、両領域の直流成分のみにな
る。

一方、領域形状情報は形状が単純な場合は１ブロック
あたり十数ビットで符号化できる。これは高周波な変換
係数を１つ伝送するビット数とほぼ等しい。形状が複雑
になると１ブロックあたり30〜40ビット必要になる。し
かしこの時、原画をそのまま直交変換してもさらに多く
のビット数が必要となるため、かえって領域分割を行っ
た時の方が圧縮率が高くなることがある。

またこれに要する回路は、やや複雑であるが、高速の
デジタルシグナルプロセッサ（DSP）等を用いれば容易
に実現できる。また、主な符号化部分である直交変換部
は何も変更の必要が無いため現在市販されている専用LS
Iなどをそのまま利用できる。

【図面の簡単な説明】

第１図は本発明を用いた画像符号化装置の送信側のブロ
ック図、第２図はTV信号の高能率符号化方式を説明する
ための従来装置のブロック図、第３図は従来装置の受信
側のブロック図、第４図は本発明を用いた画像符号化装
置の受信側のブロック図、第５図は本発明の中心部であ
る領域分割器の詳細ブロック図、第６図は第５図の領域
分割器のタイミングチャート、第７図は第５図中の画素
補填回路の詳細ブロック図である。符号の説明１……TVカメラ、２……A/D変換器、３……ブロック化
回路、４……領域分割器、５……直交変換器、６……量
子化器、７……符号化器、９……伝送路、12……領域分
割判定回路、15……画素選択回路、16……画素補填回
路、21……復号化器、23……逆直交変換器、24……領域
合成器、25……逆ブロック化器、53……分割形状信号、
54……分割判定信号、55……領域選択信号、63……予測
回路、62……領域外検出回路。

Claims

(57)【特許請求の範囲】

【請求項１】符号化対象の画像を複数のｎ×ｍ画素（n,
mは整数）からなるブロックに分割するブロック化手段
と、上記複数のブロックのうち少なくとも１つのブロックに
ついて、ブロック内を複数の領域に分割し、１つの領域
内の画素信号を用いて他の全ての領域内の画素信号を生
成・補填する領域分割手段と、上記各ブロック毎に、直交変換を施して符号化する符号
化手段とを有することを特徴とする画像符号化装置。