JPH02154572A - 画像信号の復号化方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は画像信号の伝送時間を短縮する、あるいは蓄積
記憶容量を削減するための符号化が施された信号から画
像信号を再生する画像信号復号化方式に関する。

（従来の技術） 多値画像（例えば１画素８　ｂｉｔ、　２５６レベル）
に対するデータ圧縮方式には、情報保存型の符号化と情
報非保存型の符号化がある。情報保存型の符号化とは、
符号化の過程に量子化を含まないものを指し、符号化、
復号化の処理によって原画像と全く同一の画像を再生す
ることが可能であるが、高い圧縮率は得られない。一方
情報非保存型の符号化とは、符号化の過程でなんらかの
量子化処理を含むものを指し、符号化・復号化の処理に
よって再生画像は量子化雑音を含み画品質の劣化を伴う
が、高い圧縮率が得られる。

情報非保存型の符号化の場合には一般に量子化歪（Ｓ／
Ｎ比）とデータ圧縮率（情報量）との関係で評価される
が、良好なＳ／Ｎ比対情報量の関係を実現する方式とし
て、直交変換後の変換係数を量子化して可変長符号化す
る方式や、ベクトル符号化方式などが知られている。

これらの方式においては、画像をまず複数の画素からな
る正方形のブロックに分割し、このブロックを単位とし
て符号化を行う。これらの符号化においては、まずブロ
ック内画像の直流成分（ブロック内画素の平均値）を分
離し、直流成分を分離した残りの交流成分（ブロック内
画素の値と平均値との差分）と直流成分とを別々に符号
化する場合が多い。

この方式においては画像を単純にブロック化しているの
で、ブロック周辺部の画素の交流成分電力がブロック中
央部の画素の交流成分電力よりも大きくなってしまう。

この影響でブロック周辺部に大きな符号化雑音（ブロッ
ク歪）が発生する。

これらを解決するために、直流成分を分間１する際に単
純にブロック内画素の値と平均値との差分を交流成分と
して用いる代わりに、まず直流成分から補間画像を生成
し、この補間画像と入力画像との差分を交流成分として
用いる方式がある。この方式の詳細は、参考文献１：「
平均値分離形ブロック符号化方式の符号化効率改善」、
加藤洋−著、電子情報通信学会創立７０周年記念総合全
国大会論文誌、１１５８、ｐ、　５−５４、昭和６２年
に詳しく述べられている。

（発明が解決しようとする問題点） ブロックの平均値を用いて生成した補間画像を用いて直
流成分の分離を行う場合、生成した補間画像の各ブロッ
クにおける平均値と入力画像の平均値とが一致するよう
に補間画像を生成する。このような補間画像を用いるこ
とにより、直流が分離された交流成分の符号化が容易と
なる。しかし、平均値を一致させるために補間画像の滑
らかさが犠牲となり、生成された補間画像にブロック歪
が残ってしまうという問題点がある。

特に、高い圧縮率を実現しなければならない場合には、
ブロックの平均値のみを符号化し、平均値から生成した
補間画像を復号画像として用いる。このような場合に、
補間画像に残っているブロック歪は視覚的に大きな障害
となってしまう。

また、単純な線形補間により補間画像を生成することも
できる。この場合のブロック歪は比較的小さい。

しかし、一般に単純な線形補間を行った場合、補間画像
の直流成分（ブロック内画素の平均値）は入力画像の平
均値とは一致しない。従って、補間画像と入力画像との
差分画像を符号化する場合に、差分画像の各ブロック直
流成分はゼロにならない。このため、差分画像を符号化
する際にその直流成分も符号化しなければならず、符号
化効率が悪化してしまうという問題点がある。

また、画像の復号化時に補間画像の直流成分が入力画像
の平均値と一致するように補間画像を補正する方法もあ
る。しかし、補間画像を補正するために処理量が増加し
てしまうという問題点がある。

なお、これらの方法の詳細は、参考文献２：［低ビツト
レートにおける静止画符号化の画質改善方法の検討」、
根本啓次、大町隆夫著、画像符号化シンポジウム、第３
回シンポジウム資料、２１−２２頁、昭和６３年９月、
に詳細に記載されている。

本発明は、受信側での直流成分の処理により、少ない処
理量で画像を復号化でき、しかも符号量を増加させずに
、ブロック歪の無い画像を復号化することのできる、画
像信号の復号化方式を提供することを目的とする。

（問題点を解決するための手段） 本発明は、複数の画素からなるブロック単位に画像信号
を分割し、上記ブロック毎に上記画像信号の平均値を求
め、上記平均値を用いて補間画像を生成し、上記画像信
号から上記補間画像を減算して差分画像を生成し、変換
係数のうち１つが直流成分となる直交変換を上記差分画
像の上記プロツり単位に施して複数の変換係数を求め、
上記平均値と」１記直流成分を除く上記の複数の変換係
数とを符号化することにより生成された符号を、復号し
て画像信号を再生する画像信号の復号化方式であって、
上記符号を入力して復号平均値と直流成分を除く複数の
復号変換係数とを生成し、上記復号平均値を用いて復号
補間画像を生成し、上記復号平均値から上記差分画像の
上記直流成分に相当する復号直流成分を求め、上記復号
直流成分と上記の複数の復号変換係数とを逆直交変換し
て上記ブロックの復号差分画像を生成し、上記の復号補
間画像と復号差分画像とを加算して復号画像信号をブロ
ック単位に出力することを特徴とする。

（作用） まず本発明と対向される画像信号の符号化方式すなわち
送信側について説明する。

送信側では、まず複数の画素からなるブロック単位で画
像信号を読み出す。このブロックとしては、ｎＸｎ画素
からなる正方形のブロックを用いる場合が多い。

次に、このブロック単位に画像信号の平均値を求める。

この平均値を用いた補間処理により補間画像を生成する
。

そして、最初に入力された画像信号から補間画像を減算
して、差分画像を生成する。こうして生成された差分画
像に、直交変換を施して複数の変換係数を求める。ただ
し、この直交変換としては変換係数のうちの１つが直流
成分、すなわち差分画像のブロックの平均値となる直交
変換を用いる。

このような直交変換としては、２次元の離散コザイン変
換やアダマール変換などがある。もしｎＸｎ画素からな
る正方形のブロックを用いた場合、この複数の変換係数
も１ブロック当りｎＸｎ個となる。

これらのｎＸｎ個の変換係数のうち、直流成分を除＜　
（ｎＸｎ−１）個の変換係数と、入力された画像信号の
平均値とを符号化して、符号を生成する。この符号化の
際に、量子化処理を行なって符号量を減少させることも
できる。

そして、本発明すなわち受信側ではこの符号を入力して
復号平均値と（ｒｌＸｎ−１）個の復号変換係数とを生
成する。もし符号化の際に量子化処理を行なった場合に
は、これらの復号平均値と復号変換係数とは量子化誤差
を含んでおり、送信側の平均値や変換係数と完全に一致
するとは限らないが、量子化誤差が小さければほぼ同一
の値となる。

この復号平均値を用いて送信側と同様の補間処理を行い
、復号補間画像を生成する。

同時にこの復号平均値を用いて送信側の差分画像の直流
成分に相当する復号直流成分を求める。

この送信側の差分画像の直流成分は、入力された画像信
号の各ブロック単位の平均値と、補間画像の各ブロック
単位の平均値との差に等しい値である。ここで、補間画
像は入力画像信号の平均値から生成されるので、補間画
像のブロック単位の平均値も入力画像信号のブロック単
位の平均値から求めることができることになる。従って
、送信側の差分画像の直流成分は、入力画像信号のブロ
ック単位の平均値から求めることができる。

そこで、受信側で送信側の差分画像の直流成分に相当す
る復号直流成分を求めるに当り、まず、復号補間画像の
各ブロック単位の平均値を求める。ただし、復号補間画
像は復号平均値から生成されるので、生成された復号補
間画像から平均値を求めるのではなく、復号平均値から
簡単な計算により復号補間画像の各ブロック単位の平均
値を求めることができる。こうすることにより、生成さ
れた復号補間画像からその平均値を求めるのに比べて、
はるかに少ない処理量で復号補間画像の平均値を求める
ことができる。

そして、求められた復号補間画像の平均値を対応する復
号平均値から減算する。ここで、送信側における差分画
像の直流成分は補間画像の平均値と入力された画像信号
の平均値との差なので、結局この減算結果が差分画像の
直流成分に相当する復号直流成分となる。

なお、復号補間画像の平均値は復号平均値から計算され
るので、まず復号補間画像の平均値を復号平均値から求
めた後にこれを復号平均値から減算する代わりに、復号
平均値から直接の計算により復号直流成分を求めること
もできる。

ただし、もし符号化の際に量子化処理を行なった場合に
は、復号平均値は量子化誤差を含んでいるので、求めら
れた復号直流成分は送信側の差分画像の直流成分と完全
に一致するとは限らないが、量子化誤差が小さければほ
ぼ同一の値となる。

こうして求められた復号直流成分と、複数の復号変換係
数とを逆直交変換して、復号差分画像を生成する。そし
て、この復号差分画像と復号補間画像を加算して復号画
像信号を生成し、これをブロック単位に出力する。

（実施例） 以下、図面により本発明の一実施例を説明する。

第１図は本発明と対向させる画像信号の符号化方式と本
発明の復号化方式とを接続させた一例を示すブロック図
である。なお、以下の説明では直交変換として２次元の
離散コサイン変換を用いているが、変換係数のうちの１
つが直流成分となる直交変換であれば、任意の直交変換
を用いることができる。

第１図に示すように、ブロック読み出し手段１はＤＣＴ
変換を行なうブロック単位に画像信号を読み出す。例え
ば、１画素当たり８ｂｉｔの画像信号を縦８画素、横８
画素の計６４画素を１ブロツクとして読み出す。そして
、平均値算出手段２は、読み出された１ブロツク分の画
像信号１０１の平均値を計算して、各ブロックの平均値
１０２を出力する。

第２図は補間処理方法を示す説明図である。なお、以下
の説明では補間方法として線形補間を用いているが、２
次曲面による補間方法や自由曲面による補間方法を用い
ることも可能である。

第２図に示すように、補間処理においては各ブロックの
中心において補間画像の値が平均値１０２に等しくなる
ものとする。そして、補間処理により補間画像の各画素
の値を生成する場合には、その画素の周囲の４つの平均
値１０２を用いて線形補間により画素の値を生成する。

例えば、第２図に示す中央のブロック６４画素のうち左
上の１６画素の値は、代表値Ａ、　Ｂ、　Ｃ，Ｄを線形
に補間して生成する。同様に、右上、右下、左下の１６
画素の値は、それぞれ代表値Ａ、　Ｄ、　Ｅ、　Ｆ、代
表値Ａ、　Ｆ、　Ｇ、　Ｈ１代表値Ａ、　Ｈ１工、Ｂを
用いて生成する。

このような補間処理方法に基づき、補間画像生成手段３
では各ブロックの平均値１０２から補間画像１０３を生
成する。そして、差分画像生成手段４は画像信号１０１
から補間画像１０３を減算して、差分画像１０４を生成
する。

次に、ＤＣＴ変換手段５は生成された差分画像１０４０
２次元離散コサイン変換を行ない、直流成分を除＜（８
Ｘ８−１）個の変換係数１０５を計算する。

こうして計算された変換係数１０５とブロックの平均値
１０２とを符号化手段６で符号化して、符号１０６を出
力する。この符号化の際には、可変長符号化など任意の
符号化方法を取ることができる。また、量子化処理を行
って符号量を減少させることもできる。以上が本発明と
対向される送信側の説明である。

そして受信側の復号化手段１６は、符号１０６を入力し
て復号平均値１１２と（８Ｘ８−１）個の復号変換係数
１１５とを生成する。もし符号化の際に量子化処理を行
なった場合には、これらの復号平均値１１２と復号変換
係数１１５とは量子化誤差を含んでおり、送信側の平均
値１０２や変換係数１０５と完全に一致するとは限らな
いが、量子化誤差が小さければほぼ同一の値となる。

次に、復号補間画像生成手段１３は復号平均値１１２か
ら補間画像生成手段３と同様の方法により復号補間画像
１１３を生成する。同時に、復号直流成分算出手段１７
は、復号平均値１１２から送信側の差分画像１０４の直
流成分に相当する復号直流成分１１７を算出する。

ここで、送信側の差分画像１０４の直流成分とは、画像
信号１０１の各ブロック単位の平均値１０２と、補間画
像１０３の各ブロック単位の平均値との差に等しい値で
ある。ここで、補間画像１０３は平均値１０２から生成
されるので、補間画像１０３のブロック単位の平均値も
入力画像信号のブロック単位の平均値から求めることが
できる。従って、送信側の差分画像１０４の直流成分は
、平均値１０２から求めることができ、受信側では復号
平均値１１２から求めれば良いことになる。

ところで、第２図に示すように各ブロックの復号補間画
像１１３は、そのブロックの復号平均値１１２および周
囲のブロックの平均値１１２から生成される。

例えば、第２図に示す中央のブロックの復号補間画像１
１３は、平均値Ａ、　Ｂ、　Ｃ，Ｄ、　Ｅ、　Ｆ、　Ｇ
、　Ｈ１■から生成される。従って、これらの９個の復
号平均値１１２から復号補間画像１１３のブロック単位
の平均値を算出できる。

この算出処理においては、復号補間画像１１３を生成し
てから各ブロックにおける平均値を算出するのではなく
、９個の復号平均値Ａ、　Ｂ、　Ｃ，Ｄ、　Ｅ、Ｆ、　
Ｇ、　Ｈ１■から、 ａＡ＋ｂＢ十ｃｃ＋ｄＤ＋ｅＥ＋ｆＦ　＋ｇＧ＋ｈＨ＋
１Ｉ（ａ＋　ｂｌ　ｃ＋　ｄｌ　ｅｌ　ｆｌ　ｇ＋　ｈ
＋　’は定数）といった式で示される直接の計算により
、復号補間画像１１３のブロック単位の平均値を算出す
ることができる。

こうして算出した各ブロックの復号補間画像１１３の平
均値を対応するブロックの復号平均値Ａから減算するこ
とにより、送信側の差分画像１０４の直流成分に相当す
る復号直流成分１１７を算出できる。

なお、このように復号補間画像１１３の平均値を求めて
からこれを復号平均値Ａから減算する代わりに、復号補
間画像１１３の平均値を求める式を直接復号平均値Ａか
ら減算して、 （１−ａ）Ａ−ｂＢ−ｃｃ−ｄＤ−ｅＥ−ｆＦ−ｇＧ−
ｈＨ−ｉ丁（ａ、ｂ、ｃ、ｄ、ｅ、ｆ２ｇ、ｈ、ｉは定
数）という式により９個の復号平均値Ａ、　Ｂ、　Ｃ，
Ｄ、Ｅ、　Ｆ、　Ｇ、　Ｈ１■から直接計算して復号直
流成分１１７を算出しても良い。

ただし、もし符号化の際に量子化処理を行なった場合に
は、復号平均値１１２は量子化誤差を含んでいるので、
求められた復号直流成分１１７は送信側の差分画像１０
４の直流成分と完全に一致するとは限らないが、量子化
誤差が小さければほぼ同一の値となる。

こうして算出された復号直流成分１１７と、復号化手段
１６で復号化された復号変換係数１１５とを受けて、逆
ＤＣＴ変換手段１５はブロック単位で逆ＤＣＴ変換を行
ない、復号差分画像１１４を出力する。そして、復号画
像生成手段１４は復号差分画像１１４と復号補間画像１
１３とを加算して、復号画像信号１１１を生成する。最
後にブロック書き込み手段１１は、この復号画像信号１
１１をブロック単位に出力する。

この符号化復号化方式において、送信側の差分画像１０
４の直流成分は符号化されずに、受信側で復号平均値１
１２から算出される。従って、補間画像１０３の平均値
が入力された画像信号１０１の平均値１０２と異なって
いて差分画像１０４に直流成分が生じても、符号１０６
の符号量の増加を招くことはない。しかも、補間方法と
して線形補間を用いているので、生成される補間画像１
０３もしくは復号補間画像１１３に発生するブロック歪
は非常に小さくて済む。

また、受信側で差分画像１０４の直流成分を復号直流成
分１１７として算出してこれを復号化に用いているので
、これを符号化しなかったことにより復号画像信号１１
１の画質が劣化することはない。

さらに、復号直流成分１１７は復号平均値１１２から簡
単な計算により求められるので、必要な処理量は少ない
。

なお、以上の説明においてはブロックサイズを８×８と
して説いしたが、別のサイズや形状を用いても差し支え
無い。

また、以上の説明においては画像信号として特に規定は
していないが、多値の白黒画像、ＲＧＢの各カラー成分
画像、Ｙ・（Ｒ−Ｙ）・（Ｂ−Ｙ）等の輝度・色差信号
は、すべてこの画像信号の中に含まれる。同様に、テレ
ビジョン信号等の動画像におけるフレーム間差分信号に
おいても適用でき、十分な効果を得ることができる。こ
のフレーム間差分信号については、参考文献３：［テレ
ビジョンバンドウィドスコンブレッショントランスミッ
ションバイモーションコンペンセイティドインターフレ
ーム　　コ　　−　　デ　　ィ　　ン　　グ　（Ｔｅｌ
ｅｖｉｓｉｏｎ　ＢａｎｄｗｉｄｔｈＣｏｍｐｒｅｓｓ
ｉｏｎ、　ｔｒａｎｓｍｉｓｓｉｏｎ　ｂｙ　Ｍｏｔｉ
ｏｎ−ｃｏｍｐｅｎｓａｔｅｄＩｎｔｅｒｆｒａｍｅ　
Ｃｏｄｉｎｇ）　Ｊアイ・イー・イー・イーコミュニケ
ーションマガジン（ＩＥＥＥ　Ｃｏｍｍｕｎｉｃａｔｉ
ｏｎＭａｇａｚｉｎｅ）誌、１９８２年１１月号、２４
−３０頁に詳細に述べられている。

（発明の効果） 以上述べたように本発明の画像信号の復号化方式を用い
ることにより、補間画像に発生するブロック歪を大幅に
低減でき、しかも高い符号化効率が得られ、必要な処理
量も少なくできる。

【図面の簡単な説明】

第１図は本発明と対向させる画像信号の符号化方式と本
発明の復号化方式とを接続させた一例を示すブロック図
、第２図は補間方法の説明図である。 図において、 １・・・ブロック読み出し手段、２・・・平均値算出手
段、３１９．補間画像生成手段、４・・・差分画像生成
手段、５−ＤＣＴ変換手段、６１１．符号化手段、１１
．・・ブロック書き込み手段、１３・・・復号補間画像
生成手段、１４・・・復号画像生成手段、１５・・・逆
ＤＣＴ変換手段、１６・・・復号化手段、１７・・・復
号直流成分算出手段。

Claims (1)

【特許請求の範囲】
1. 複数の画素からなるブロック単位に画像信号を分割し、
   上記ブロック毎に上記画像信号の平均値を求め、上記平
   均値を用いて補間画像を生成し、上記画像信号から上記
   補間画像を減算して差分画像を生成し、変換係数のうち
   １つが直流成分となる直交変換を上記差分画像の上記ブ
   ロック単位に施して複数の変換係数を求め、上記平均値
   と上記直流成分を除く上記の複数の変換係数とを符号化
   することにより生成された符号を復号して画像信号を再
   生する画像信号の復号化方式であって、上記符号を入力
   して復号平均値と直流成分を除く複数の復号変換係数と
   を生成し、上記復号平均値を用いて復号補間画像を生成
   し、上記復号平均値から上記差分画像の上記直流成分に
   相当する復号直流成分を求め、上記復号直流成分と上記
   の複数の復号変換係数とを逆直交変換して上記ブロック
   の復号差分画像を生成し、上記の復号補間画像と復号差
   分画像とを加算して復号画像信号をブロック単位に出力
   する画像信号の復号化方式。