JP2891251B2 - 画像符号化装置及び画像復号化装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はテレビ信号の高能率
符号化に係わり、特に「直交変換器」を用いるＴＶ信号
高能率符号化装置において、画像内に急峻なエッジがあ
る場合、画質が不自然に劣化するのを防止する方式に関
する。

【０００２】

【従来の技術】ＴＶ信号は広い周波数帯域を有するの
で、これをデジタル信号に変換してそのまま伝送する
と、例えば１フレーム３Ｍｂｉｔ程度の情報量になり、
動画像（１秒３０フレーム）の場合には１００Ｍｂ／ｓ
の伝送速度が必要となる。この速度を低域するためにＴ
Ｖ信号の冗長性を圧縮するＴＶ信号高能率符号化装置
（以降ＴＶ Ｃｏｄｅｃ）が開発されてきた。

【０００３】高能率符号化方式には、様々な手法が知ら
れているが、現在主に用いられているものは離散コサイ
ン変換（以下ＤＣＴと略する）等の直交変換である。な
お、直交変換については、「ＴＶ画像の多次元信号処
理」（吹抜敬彦著、日刊工業新聞、１９８８年）第２４
５頁から第２６０頁に詳しく述べられてある。本発明の
説明を容易とするために、まず、図２，図３を用いて簡
単に説明する。

【０００４】送信側の動作は、以下の通りである。

【０００５】（１）テレビカメラ１から読み込まれたＴ
Ｖ信号は、アナログ／ディジタル変換回路２によりディ
ジタル化される。この信号を画素と呼ぶ。

【０００６】（２）各画素はブロック化回路３により例
えば水平／垂直方向の８×８個の画素をまとめて１ブロ
ックとする。

【０００７】（３）各ブロックは直交変換回路５により
直交変換され、その結果である変換係数に変換される。

【０００８】（４）変換係数は量子化器６により量子化
される。

【０００９】（５）量子化された変換係数はブロック内
で予め定められた順番に従って読みだされ、符号器８で
符号語を割り当てられ伝送路９へ送出される。なお、量
子化の情報も同時に符号化され伝送され伝送される。

【００１０】受信機は図３に示すように、これの逆の動
作により、元の画像を復元する。即ち、 （１）複号器２１は、伝送された符号語を解読して、量
子化の情報と量子化された変換係数を得る。

【００１１】（２）量子化された係数は逆量子化器２２
によりそれぞれの代表値に変換され、変換係数を得る。

【００１２】（３）逆直交変換器２３により、変換係数
を逆直交変換し、画像信号を得る。

【００１３】（４）上記の画像信号は、逆ブロック化回
路２５により通常のＴＶ信号の操作線信号に変換された
後にデジタル／アナログ変換回路２６によりアナログ信
号に復元され、出力装置２７に表示される。

【００１４】上記の直交変換を採用した符号化方式で
は、以下の問題が生じることが知られる。即ち、ブロッ
ク内に急峻なエッジがあった場合、画質の劣化が生じや
すい。

【００１５】急峻なエッジは直交変換により多くの有効
変換係数（非零の係数）が生じる。これをすべて忠実に
対送すれば、受信側でほぼ原画に近い画像を再生できる
が、情報量が膨大になる。逆に、粗く量子化して伝送す
ると、情報量はそれほど多くならないが、再生した画像
には以下のような劣化が生じる。即ち、エッジがぼや
け、エッジに隣接した平坦部のノイズ（モスキートノイ
ズ）や、隣接したブロックとの境界が見えるブロック歪
などの劣化である。

【００１６】この問題を解決する従来の手段として、例
えば特開昭５５−１０９０８５号公報にあるように「ブ
ロックを２つの領域に分割し、その領域の形状を表す信
号と、それぞれの領域内の階調成分を伝送する手法」が
知られている。この方式の概略を例を用いて説明する。
表１の入力信号のようなブロック（この場合４×４）が
入力された時、適当なスレッショルド値（以下Ｔｈ）を
定めることにより、表１の領域信号の様な２つの領域に
分割する（この場合Ｔｈ＝６とした）。分割した２つの
領域について階調成分としてそれぞれの平均輝度（領域
１では３、領域２では８）を採用する。この結果、２つ
の階調成分（３及び８）と表１の領域情報を伝送するこ
とによって、受信側では表１の再生信号のような画像を
得ることができる。なお、前期の文献において階調成分
の伝送方法を改良することによって伝送する情報量を減
らしている。

【００１７】

【表１】

【００１８】また、この方式とは独立に、エッジ部の劣
化のうち特に不自然に見えるモスキートノイズとブロッ
ク歪を除去するために、再生画像に線形あるいは非線形
のフィルタ（ローバスフィルタ等）をかけることもよく
行われる。

【００１９】

【発明が解決しようとする課題】上記のブロックを分割
する方式は、情報の圧縮率が直交変換等の方式に比べて
はるかに劣ったり、入力画像を完全に再生できなかった
りするという問題があった。

【００２０】直交変換を用いた方式は再生画像のエッジ
部がぼけたり、エッジ近辺に不自然な画質劣化が生じる
問題点があった。

【００２１】また、直交変換の再生画像にフィルタをか
ける方式にはエッジのぼけを増加させる問題があった。

【００２２】本発明は高い圧縮率を持ち、しかも画像の
ぼけや不自然な劣化がきわめて少ない画像符号化方式を
提案する事を目的とする。

【００２３】

【課題を解決するための手段】上記問題は、分割した各
領域の信号に直交変換等の高能率ブロック符号方式を施
すことと、領域を表す信号に２次元予測符号等の２値画
像高能率符号を施すことによって解決される。

【００２４】上記の手段により、直交変換等の高能率符
号化とほぼ同等の圧縮率で、エッジ部の劣化がきわめて
少ない画像を伝送・再生することができる。

【００２５】

【発明の実施の形態】以下、図１を用いて本発明の実施
例を説明する。図に於て、点線に囲まれた範囲１０が本
発明に関わり、他の部分は図２で説明した従来から知ら
れるＴＶ信号の高能率符号化装置のブロック構成であ
る。図１，２において、同一の番号を有するものは、同
一の機能を持つ。

【００２６】点線の外側の部分は図２を用いて既に説明
したので、ここでは、点線の内側のみを詳しく説明す
る。

【００２７】領域分割器４の詳細を図５に示す。また、
領域分割器のタイミングチャートを図６に示す。

【００２８】ブロック化された画素信号５１はブロック
画素メモリ１１（以下画素メモリ）に格納されると同時
に、領域分割判定回路１２に入力される。領域判定回路
１２では入力されたブロックを分割するか否かを判定す
ると同時に分割するときのスレッショルド値（Ｔｈ）を
設定する。判定は例えばブロック内の信号の最大値と最
小値との差が一定値以上の時に分割し、それ以下の時は
分割しないと判断することにより実現できる。また、Ｔ
ｈは最大値と最小値の中間の値をとることによって設定
できる。分割するか否かの判定信号（分割判定信号５
４）は制御回路１３に入力される。この後の処理は分割
判定信号によって変わる。また、分割判定信号５４は符
号化器７に入力され符号化される。

【００２９】ブロックを分割しないと判定したときは図
６Ａのように出力選択信号をハイレベル（Ｈ）にし、切
り替えスイッチ１７を画素メモリ１１に直結する側にす
る。そして画素メモリ１１より読み出された信号を直交
変換入力信号５２として出力する。

【００３０】ブロックを分割すると判定したときは図６
ＢのようにＴｈを用いて画素メモリ１１から読みだした
信号を２値化し分割形状メモリ１４（以下形状メモリ）
に格納する。次に形状メモリ１４の信号と、画素メモリ
１１から読みだした信号を用いて画素選択回路１５にお
いてそれぞれの領域を読み出す。具体的には画素選択信
号５５がローレベル（Ｌ）の場合は、形状メモリ１４の
信号がＬの時のみ画素メモリ１１の信号を通過させる。
形状メモリ１４の信号がＨの時には領域外であることが
分かる信号を出力する。画素選択信号５５がＨの時は逆
に形状メモリの信号がＨの時通過させ、Ｌの時領域外を
示す信号を出力する。画素補填回路１６は画素選択回路
１５において領域外とされた画素を補填し、直交変換入
力信号５２として出力する。このとき、図６Ｂのように
出力選択信号をハイレベル（Ｌ）にし、切り替えスイッ
チ１７を画素補填回路側にする。

【００３１】画素補填回路１６では領域内の信号から予
測することにより領域外の信号を生成・補填する。詳細
を図７に示す。画素選択回路の出力信号５７は画素補填
回路１６に入力され、領域内ならばそのままメモリ６１
に格納する。入力信号が領域外でかつ予測回路で６３で
予測に使われる信号がすべて領域内の信号ならば、予測
信号をこの画素の値としメモリ６１に格納する。予測の
方法としては隣接する左の画素と上の画素の値の平均を
用いる方法などが考えられる。この予測された画素は以
降領域内の画素として扱う。以上の何れの条件にも合致
しない場合は領域外の信号のままとしてメモリ６１に格
納する（第１回目補填）。なお、メモリ６１に格納され
る信号は予測回路６３にも入力され以後の画素の予測に
用いる。

【００３２】次に、メモリ６１に格納された信号は入力
された順と逆順に読みだされ、回路６２，６３と同じ手
順により第１回目で補填できなかった画素をすべて補填
する（第２回目補填）。表２は上記の補填を示したもの
である。ここで、Ａは領域内の画素、ｘは領域外の画
素、Ｂは第１回目に補填された画素、Ｃは第２回目に補
填された画素である。

【００３３】

【表２】

【００３４】これらの補填された信号は通常の信号と同
様に直交変換，量子化，符号化されて伝送される。

【００３５】分割したか否かを表す信号は分割判定信号
５４として符号器７に入力され、符号化され伝送され
る。分割判定信号５４は１ブロック（６４画素）に１ビ
ットの信号であるため、そのまま伝送しても符号化効率
にさほど影響はでない。

【００３６】一方分割形状を表す信号は分割信号５３と
して符号器７に入力され符号化、伝送されるが、１画素
あたり１ビットの信号なので高能率符号化は必須であ
る。この符号化の方法としては、ファクシミリ（ＦＡ
Ｘ）の符号化で用いられるモディファイド・ハフマン符
号（ＭＨ）などが適用できる。即ち、２つの領域をそれ
ぞれ０と１で表し、０の連続する数、１の連続する数を
可変長符号化し、順次伝送する方法などが考えられる。
この時、ブロックの左上の領域を０と定義することによ
り、さらに冗長度の圧縮が図れる。また、このようにし
ておくと、領域の直流成分などを隣接したブロックから
予測する方法なども容易に適用できる。

【００３７】図４は本発明を用いた画像符号装置の受信
側の構成図である。動作の説明は先に説明した送信側と
逆の動作を行うため省略する。

【００３８】尚、以下の変形も本発明の思想に含まれる
ことは、明らかである。

【００３９】（１）本発明はいかなるブロック符号化に
も適用可能である。実施例においてはブロック符号化と
して直交変換を用いたが、これにはＤＣＴ，アダマール
変換，カルーネンレーブ変換，離散サイン変換，離散フ
ーリエ変換，ルジャンドル変換などが含まれる。この他
にもベクトル量子化（ＶＱ）、ブロック内画素の１次元
または２次元予測符号化などに適用しても、実施例と同
等以上の効果があることは明らかである。

【００４０】（２）実施例では分割形状情報の符号化方
法としてＦＡＸのＭＨ符号化を用いたが、これのかわり
にいかなる２値画像の符号化方法でも適用可能である。
例えばＦＡＸ２次元逐次符号化（ＭＲ符号）などを用い
ればさらに圧縮率を向上できる。また、ベクトル量子化
法（ＶＱ）なども適用が可能である。

【００４１】（３）実施例では、補填法に線形予測を用
いた。この他にも領域内の画素の平均値を用いる方法
や、すでに伝送・再生されている隣接ブロック内の画素
値を利用した内挿なども適用できる。

【００４２】なお、画素補填後にローパスフィルタをか
けることによって領域内の画素と補填した画素の不連続
性を緩和し、引き続き行われる直交変換などの効率を高
めることもできる。

【００４３】（４）実施例では、分割法にＴｈによる方
法を用いた。このほかにエッジを検出し、そのエッジに
よって領域を分割する方法や、いくつかの方法を用いて
分割・符号化を事前に行い最も効率のよい方法を選択す
ることも可能である。

【００４４】なお、実施例では分割する領域は２つまで
としたが、この数は幾つにでも拡張可能である。しか
し、この場合分割形状情報の符号化にＦＡＸの符号化そ
のまま用いることはできない。そこで例えば、まず領域
識別子を伝送し、次にその領域の連続する数を可変長符
号で伝送する方法などが考えられる。

【００４５】また、分割領域は忠実に伝送しているが、
ある程度誤差を含んで伝送しても構わない、例えば、領
域の境界を直線で近似し、その開始点と終端点の座標を
伝送することによって分割形状情報の情報量を大きく削
減することができる。

【００４６】実施例では、分割は領域間で重なりはない
としていたが、オバーラップした領域に分割しても構わ
ない。但しこの時は各領域形状情報は多値情報となり、
これらを重ね合わせると全ての画素で利得１あるいは１
に近い値にしなければならない。分割形状情報の符号化
も、例えば、領域は２値画素として伝送し、さらに、領
域境界の形状（境界における両領域の割合）を予め数通
り定めておき、原画像の形状によってこの境界の形状を
選択するようにする方法などがある。

【００４７】境界形状の例を表３に示す。境界形状情報
は各領域につき１つ選択伝送すればよい。領域分離時に
は領域内部の画素はそのままの値、境界部の画素は補填
した値とする。受信側では、選択した境界形状によって
隣接領域の画素との加算比率を変え、再生画像を得る。

【００４８】

【表３】

【００４９】ここで、他方の境界形状は１から上記の値
を引いた値である。

【００５０】（５）実施例はフレーム内符号化を仮定し
て説明したが、フレーム間符号化にも容易に適用でき
る。例えば、フレーム間差信号に大きなエッジ部を検出
したブロックに対し領域分割を行えばよい。

【００５１】また、伝送した分割形状情報を送信側およ
び受信側で記憶しておき、記憶しておいた情報を利用し
て新しい分割形状情報を符号化することも可能である。

【００５２】（６）本発明は静止画像の階層的符号化に
も適用可能である。動作の原理はフレーム間符号化と同
じなので省略する。なお、分割形状情報を初めは粗くそ
して最後は忠実に伝送して行くことも考えられる。

【００５３】

【発明の効果】本発明に従えば、急峻なエッジはその急
峻さを損なうことなく、さらにエッジ近辺のノイズもほ
とんどなく再生される。そのため、再生画像は自然感が
増し、直交変換のみによる符号時の不自然な画質劣化は
なくなる。

【００５４】圧縮効率に関しては直交変換のみによる符
号化方法より同Ｓ／Ｎにおいては数％から十数％程度悪
くなるが、この時の画質の主観評価は本発明の方式によ
る方法がはるかに高い。

【００５５】圧縮効率がさほど悪くならない理由は次の
通りである。即ち、急峻なエッジを含むブロックをその
まま直交変換すると多くの高調成分が生じるため符号量
は多くなる。一方は２つの領域に分割すると、それぞれ
ほぼ平坦なブロックになるため直交変換等の符号化効率
が飛躍的に高くなる。多くの場合、両領域の直流成分の
みになる。

【００５６】一方、領域形状情報は形状が単純な場合は
１ブロックあたり十数ビットで符号化できる。これは高
周波な変換係数を１つ伝送するビット数とほぼ等しい。
形状が複雑になると１ブロックあたり３０〜４０ビット
必要になる。しかしこの時、原画をそのまま直交変換し
てもさらに多くのビット数が必要となるため、かえって
領域分割を行った時の方が圧縮率が高くなることがあ
る。

【００５７】またこれに要する回路は、やや複雑である
が、高速のデジタルシグナルプロセッサ（ＤＳＰ）等を
用いれば容易に実現できる。また、主な符号化部分であ
る直交変換部は何も変更の必要が無いため現在市販され
ている専用ＬＳＩなどをそのまま利用できる。

【図面の簡単な説明】

【図１】本発明を用いた画像符号化装置の送信側のブロ
ック図。

【図２】ＴＶ信号の高能率符号化方式を説明するための
従来装置のブロック図。

【図３】従来装置の受信側のブロック図。

【図４】本発明を用いた画像符号化装置の受信側のブロ
ック図。

【図５】本発明の中心部である領域分割器の詳細ブロッ
ク図。

【図６】図５中の領域分割器のタイミングチャート。

【図７】図５中の画素補填回路の詳細ブロック図。

【符号の説明】 １…ＴＶカメラ、２…Ａ／Ｄ変換器、３…ブロック化回
路、４…領域分割器、５…直交変換器、６…量子化器、
７…符号化器、９…伝送路、１２…領域分割判定回路、
１５…画素選択回路、１６…画素補填回路、２１…復号
化器、２３…逆直交変換器、２４…領域合成器、２５…
逆ブロック化器、５３…分割形状信号、５４…分割判定
信号、５５…領域選択信号、６３…予測回路、６２…領
域外検出回路。

Claims (5)

(57)【特許請求の範囲】
1. 【請求項１】複数の画素信号を含む対象領域の形状に関
   する形状情報を格納する形状記憶手段と、 上記形状情報と上記対象領域に含まれる画素信号から、
   対象領域外の画素信号を上記対象領域に含まれる画素信
   号の平均値として生成する画素補填手段と、 ブロック化した上記対象領域の画素信号と補填された上
   記対象領域外の画素信号とを直交変換する直交変換手段
   と、 上記直交変換手段の出力と上記形状情報とを符号化する
   符号化手段をとを有することを特徴とする画像符号化装
   置。
2. 【請求項２】請求項１に記載の画像符号化装置におい
   て、 ブロック化した上記対象領域の画素信号と補填された上
   記対象領域外の画素信号とをフィルタリングし、上記直
   交変換手段に出力するローパスフィルタとを有すること
   を特徴とする画像符号化装置。
3. 【請求項３】請求項１に記載の画像符号化装置におい
   て、 上記符号化手段は、上記形状記憶手段に格納されたすで
   に符号化されたフレームに係る形状情報を利用して、新
   しいフレームに係る形状情報を符号化することを特徴と
   する符号化装置。
4. 【請求項４】受信したブロック化画素信号と上記ブロッ
   ク化画素信号の対象領域の形状に関する形状情報とを復
   号化する手段と、 上記形状情報を格納する形状記憶手段と、 上記形状情報と上記ブロック化画素信号とから対象領域
   に含まれる画素信号と非対象領域に含まれる画素信号と
   を求める手段と、 上記対象領域と非対称領域を合成する領域合成手段とを
   有し、 上記形状情報は、対象領域境界部の画素信号について、
   上記対象領域と上記非対称領域に含まれる画素信号の加
   算比率を含み、上記領域合成手段は、上記加算比率に基
   づいて上記領域境界部の画素信号を求めて領域合成を行
   うことを特徴とする画像復号化装置。
5. 【請求項５】受信したブロック化画素信号と上記ブロッ
   ク化画素信号の対象領域の形状に関する形状情報とを復
   号化する手段と、 上記形状情報を格納する形状記憶手段と、 上記形状情報と上記ブロック化画素信号とから対象領域
   に含まれる画素信号と非対象領域に含まれる画素信号と
   を求める手段と、 上記対象領域と非対称領域を合成する領域合成手段とを
   有し、 上記復号化する手段は、上記形状記憶手段に格納された
   すでに領域合成されたフレームに係る形状情報を利用し
   て、新しいフレームに係る分割形状情報を復号化するこ
   とを特徴とする画像復号化装置。