JPH01231489A - 画像信号の符号化方式とその装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は画像信号の伝送時間を短縮する、あるいは蓄積
記憶容量を削減するための画像信号符号化装置、および
その方法に関する。

（従来の技術） 多値画像（例えば１画素８ｂｉｔ、　２５６レベル）に
対するデータ圧縮方式には、情報保存型の符号化と情報
非保存型の符号化がある。情報保存型の符号化とは、符
号化の過程に量子化を含まないものを指し、符号化・復
号化の処理によって原画像と全く同一の画像を再生する
ことが可能であるが、高い圧縮率は得られない。一方情
報非保存型の符号化とは、符号化の過程でなんらかの量
子化処理を含むものを指し、符号化・復号化の処理によ
って再生画像は量子化雑音を含み画品質の劣化を伴うが
、高い圧縮率が得られる。

情報非保存型の符号化の場合には一般に量子化歪（Ｓ／
Ｎ比）とデータ圧縮率（情報量）との関係で評価される
が、良好なＳ／Ｎ比対情報量の関係を実現する方式とし
て、直交変換後の変換係数を量子化して可変長符号化す
る方式や、ベクトル符号化方式などが知られている。

これらの方式においては、画像をまず複数の画素からな
る正方形のブロックに分割し、このブロックを単位とし
て符号化を行う。これらの符号化においては、まずブロ
ック内画像の直流成分（ブロック内画素の平均値）を分
離し、直流成分を分離した残りの交流成分（ブロック内
画素の値と平均値との差分）と直流成分とを別々に符号
化する場合が多い。

この方式においては画像を単純にブロック化しているの
で、ブロック周辺部の画素の交流成分電力がブロック中
央部の画素の交流成分電力よりも大きくなってしまう。

この影響で、ブロック周辺部に大きな符号化雑音（ブロ
ック歪）が発生する。

これらを解決するために、直流成分を分離する際に単純
にブロック内画素の値と平均値との差分を交流成分とし
て用いる代わりに、まず直流成分から補間画像を生成し
、この補間画像と入力画像との差分な交流成分として用
いる方式がある。この方式の詳細は、参考文献１：［平
均値分離形ブロック符号化方式の符号化効率改善」、加
藤洋−著、電子情報通信学会創立７０周年記念総合全国
大会論文誌、１１５８、ｐ、５−５４、昭和６２年に詳
しく述べられている。

また、まずサブサンプルにより縮小画像を生成して符号
化し、これを復号化した画像を補間して補間画像を生成
し、この補間画像と入力画像との差分を符号化する方式
もある。この方式では、縮小画像と差分画像とを符号化
する。

（発明が解決しようとする問題点） ブロックの平均値を用いて生成した補間画像を用いて直
流成分の分離を行う場合、生成した補間画像の各ブロッ
クにおける平均値と入力画像の平均値とが一致するよう
に補間画像を生成する。このような補間画像を用いるこ
とにより、直流が分離された交流成分の符号化が容易と
なる。しかし、生成された補間画像に大きなブロック歪
が発生してしまうという問題点がある。

特に、高い圧縮率が実現しなければならない場合には、
ブロックの平均値のみを符号化し、平均値から生成した
補間画像を復号画像として用いる。このような場合に、
補間画像に発生しているブロック歪は視覚的に大きな障
害となってしまう。

また縮小画像を用いて符号化する場合には、単純な線形
補間を用いる場合が多い。このような補間方法を用いた
場合のブロック歪は比較的小さい。従って、高い圧縮率
を実現するためにこの補間画像を復号画像として用いて
も問題は無い。

しかし、一般に単純な線形補間を行った場合、補間画像
の直流成分（ブロック内画素の平均値）は入力画像の平
均値とは一致しない。従って、補間画像と入力画像との
差分画像を符号化する場合に、各ブロックが直流成分を
持っているので、符号化効率が悪化してしまうという問
題点がある。

（問題点を解決するための手段） 本発明の画像信号の符号化方式は、複数の画素からなる
ブロック単位で画像信号を読み出し、上記ブロック毎の
上記画像信号の平均値と代表値とを求め、各ブロックの
上記代表値を用いた補間処理により生成される補間画像
の上記ブロック毎の平均値を求め、上記の各ブロック毎
に上記画像信号の平均値と上記補間画像の平均値との誤
差を求め、全ブロックの上記誤差の統計量を算出し、上
記統計量があらかじめ設定された範囲を越えている場合
に、上記の各ブロックの誤差に基づき上記補間画像の平
均値が上記画像信号の平均値に近づくよう上記代表値を
変更し、上記統計量が上記範囲内になるまで上記補間画
像の平均値を求める処理から上記代表値の変更処理まで
を繰り返し、上記統計量が上記範囲内となった場合の上
記代表値を用いて補間画像を生成し、上記画像信号から
上記補間画像を減算して差分画像を生成し、上記の代表
値と差分画像との符号化する手段で構成される。

また、本発明の画像信号の符号化装置は、複数の画素か
らなるブロック単位で画像信号を読み出すブロック読み
出し部と、上記ブロック毎に上記画像信号の平均値を求
めて記憶する画像平均値算出記憶部と、上記ブロック毎
に上記画像信号の代表値を求めて記憶する代表値算出記
憶部と、各ブロックの上記代表値を用いた補間処理によ
り生成される補間画像の上記ブロック毎の平均値を上記
代表値算出記憶部に記憶された上記代表値から求める補
間画像平均値算出部と、上記の各ブロック毎に上記画像
平均値算出記憶部に記憶された上記画像信号の平均値と
上記補間画像平均値算出部で求められた上記補間画像の
平均値との誤差を求めて記憶する誤差算出記憶部と、全
ブロックの上記誤差の統計量を算出する統計量算出部と
、上記統計量とあらかじめ設定された範囲とを比較する
統計量比較部と、上記統計量比較部の比較結果に基づき
上記統計量があらかじめ設定された範囲を越えている場
合に上記誤差算出記憶部に記憶された上記の各ブロック
の誤差に基づき上記補間画像の平均値が上記画像信号の
平均値に近づくよう上記代表値算出記憶部に記憶された
上記代表値を変更する代表値変更部と、上記統計量比較
部の比較結果に基づき上記統計量が上記範囲内になるま
で上記の補間画像平均値算出部と誤差算出記憶部と統計
量算出部と統計量比較部と代表値変更部との処理を繰り
返す制御を行う制御部と、上記統計量が上記範囲内とな
って上記制御部の繰り返し制御が終了した場合に上記代
表値算出記憶部に記憶された上記代表値を用いて補間画
像を生成する補間画像生成部と、上記画像信号から上記
補間画像を減算して差分画像を生成する差分画像生成部
と、上記の代表値と差分画像とを符号化する符号化部と
で構成される。

（作用） 本発明の画像信号の符号化方式について説明する。

まず、複数の画素からなるブロック単位で画像信号を読
み出す。このブロックとしては、ｎＸｎ画素からなる正
方形のブロックを用いる場合が多い。

次に、このブロック単位に画像信号の平均値と代表値と
を求める。この代表値としては、例えば各ブロックの平
均値をそのまま用いることができる。また、画像信号に
フィルタを施して１ブロツクに１画素の割合でサブサン
プルした値を、代表値として用いることもできる。

そして、この代表値を用いた補間処理により生成される
補間画像の各ブロック単位の平均値を求める。この場合
、実際に補間画像を生成すれば容易に平均値を求めるこ
ともできるが、補間処理方法が決まっているので補間画
像を生成しないで直接代表値から補間画像の平均値を求
めることも可能である。

この補間画像の平均値と画像信号の平均値との誤差を各
ブロック毎に求め、さらに全ブロックに対するこの誤差
の統計量を算出する。この統計量としては、誤差の絶対
値の最大値や、２乗平均値などを用いることができる。

こうして求めた統計量があらかじめ設定された範囲を越
えている場合には、各ブロックの誤差に−基づいて各ブ
ロックの代表値を変更する。すなわち、補間画像の平均
値の方が画像信号の平均値よりも大きい場合には、代表
値を減少させる。また、補間画像の平均値の方が画像信
号の平均値よりも小さい場合には、代表値を増加させる
。こうすることにより、補間画像の平均値を画像信号の
平均値に近づけることができる。

こうして各ブロックの平均値を変更した後に、再度各ブ
ロックの補間画像の平均値を求める処理から後の処理を
繰り返す。そして、誤差の統計量があらかじめ設定され
た範囲内になるまでこの繰り返しを続ける。

最後に誤差の統計量があらかじめ設定された範囲内にな
ったならば、そのときの代表値から補間画像を生成する
。この場合、誤差の統計量があらかじめ設定された範囲
内となっているので、補間画像の平均値は画像信号の平
均値にほぼ等しい値となっている。また、この範囲の設
定を変えることにより、補間画像の平均値と画像信号の
平均値との誤差の精度を任意に変化させることができる
。

こうして生成された補間画像を最初に入力された画像信
号から減算して、差分画像を生成する。

そして、代表値と差分画像とを符号化する。復号化時に
おいては、代表値から補間画像を生成してこれに差分画
像を加算すれば復号画像が得られる。

（実施例） 以下、図面により本発明の一実施例を説明する。

第１図は本発明の画像信号の符号化方式を実現する符号
化装置の一例を示すブロック図である。第１図に示すよ
うに、ブロック読み出し部１はブロック単位に画像信号
を読み出す。例えば、１画素当たり８ｂｉｔの画像信号
を縦８画素、横８画素の計６４画素を１ブロツクとして
読み出す。そして、画像平均値算出記憶部２は読み出さ
れた１ブロツク分の画像信号１０１の平均値を計算して
、各ブロックの平均値１０２を記憶する。

同時に、代表値算出記憶部３は画像信号１０１から各ブ
ロックの代表値１０３を算出して記憶する。この代表値
１０３としては、ここでは各ブロックの平均値１０２と
同一の値を用いることとして説明する。ただし、このよ
うな各ブロックの平均値１０２を用いる代わりに、まず
画像信号１０１にフィルタを施し、サブサンプルにより
各ブロックの１つの画素の値を代表値１０３として用い
ることもできる。

第２図は補間処理方法を示す説明図である。なお、以下
の説明では補間方法として線形補間を用いているが、２
次曲面による補間方法や自由曲面による補間方法を用い
ることも可能である。

第２図に示すように、補間処理においては各ブロックの
中心において補間画像の値が代表値１０３に等しくなる
ものとする。そして、補間処理により補間画像の各画素
の値を生成する場合には、その画素の周囲の４つの代表
値１０３を用いて線形補間により画素の値を生成する。

例えば、第２図に示す中央のブロックの６４画素のうち
左上の１６画素の値は、代表値Ａ、Ｂ、Ｃ，Ｄを線形に
補間して生成する。同様に、右上、右下、左下の１６画
素の値は、それそれ代表値Ａ、Ｄ、Ｅ、Ｆ、代表値Ａ、
Ｆ、Ｇ、Ｈ１代表値Ａ、Ｈ，Ｉ、Ｂを用いて生成する。

このような補間処理方法に基づき、補間画像平均値算出
部４では各ブロックの代表値１０３から補間画像の各ブ
ロックにおける平均値１０４を算出する。

すなわち、第２図に示すように各ブロックの補間画像は
そのブロックの代表値１０３および周囲のブロックの代
表値１０３から生成される。例えば、第２図に示す中央
のブロックの補間画像は、代表値Ａ、Ｂ、Ｃ，Ｄ、Ｅ、
Ｆ、Ｇ、Ｈ，Ｉから生成される。従って、これらの９個
の代表値１０３から補間画像の平均値１０４を算出でき
る。

この算出処理においては、補間画像を生成してから各ブ
ロックにおける平均値１０４を算出するのではなく、９
個の代表値１０３から、 ａ−Ａ　＋　ｂ−Ｂ　＋　ｃ−Ｃ＋　ｄ−Ｄ　＋　ｅ−
Ｅ　＋ｆ−Ｆ　＋　ｇ−Ｇ　＋　ｈ−Ｈ＋　１−Ｉ（ａ
、ｂ、ｃ、ｄ、ｅ、ｆ、ｇ、ｈ、ｉは定数）といった式
で示される直接の計算により、補間画像の平均値１０４
を算出することができる。

こうして算出された各ブロックの補間画像の平均値１０
４を受けて、誤差算出記憶部５は画像信号１０１の平均
値１０２を画像平均値算出記憶部２から読み出して、各
ブロックにおける平均値１０２から補間画像の平均値１
０４を減算することにより誤差１０５を算出して記憶す
る。

こうして算出された各ブロックの誤差１０５を受けて、
統計量算出部６は誤差１０５の全ブロックに対する統計
量１０６として、誤差１０５の絶対値の最大値を算出す
る。なお、ここでは統計量１０６として誤差１０５の絶
対値の最大値を算出しているが、この他に誤差１０５の
絶対値平均や２乗平均など、様々な統計量を用いること
もできる。

こうして算出された統計量１０６を受けた統計量比較部
７はあらかじめ設定された範囲と統計量１０６とを比較
して、統計量１０６がこの範囲内に入っているかこの範
囲を越えているかを示す比較結果１０７を出力する。

この比較結果１０７により統計量１０６が範囲を越えて
いることが示されている場合に、代表値変更部８は各ブ
ロックの代表値１０３を代表値算出記憶部３から読み出
し、各ブロックの誤差１０５を誤差算出記憶部５から読
み出す。そして、各ブロックの代表値１０３に誤差１０
５を加算して、新たな代表値１０３として代表値算出記
憶部３に記憶させる。

この誤差１０５は、平均値１０２から補間画像の平均値
１０４を減算したものである。従って、補間画像の平均
値１０４の方が小さい場合には正の値となっているので
、これを加算することで代表値１０３は増加される。ま
た、補間画像の平均値１０４の方が大きい場合にはこの
誤差１０５は負の値となっているので、これを加算する
ことで代表値１０３は減少される。従って、このように
代表値１０３を変更することにより補間画像の平均値１
０４を平均値１０２に近づけることができる。

なお、このように誤差１０５を加算する代わりに、誤差
１０５の正負により一定の値を加減算してもよい。

また、比較結果１０７により統計量１０６があらかじめ
設定された範囲を越えていることが示されている場合に
、制御部９は代表値変更部８における代表値１０３の変
更処理を実行させるための制御を行う。

さらに、制御部９は補間画像平均値算出部４と誤差算出
記憶部５と統計量算出部６と統計量比較部７とにおける
処理の繰り返しの制御を行う。また、比較結果１０７に
より統計量１０６があらかじめ設定された範囲内となっ
たことが示されると、制御部９は繰り返しを終了する。

そして、統計量１０６があらかじめ設定された範囲内に
なった後に、補間画像生成部１０は代表値算出記憶部３
に記憶された代表値１０３を用いて補間画像１１０を生
成する。この補間画像の生成方法は、前述の通りである
。こうして生成された補間画像１１０の各ブロックの平
均値は、入力された画像信号１０１の各ブロックの平均
値１０２との誤差１０５があらかじめ設定された範囲内
となっているので、平均値１０２とほぼ等しい値となっ
ている。また、あらかじめ設定された範囲の値を変える
ことにより、補間画像１１０の平均値と平均値１０２と
の精度を任意に変更できる。すなわち、この範囲の値を
小さくすれば補間両像１１０の平均値は平均値１０２に
近づき、大きくすれば両者の誤差が大きくなる。

そして、差分画像生成部１１は画像信号１０１から補間
面ｆｉｌｌｏを減算して、差分画像１１１を生成する。

最後に代表値算出記憶部３に記憶された代表値１０３と
差分画像生成部１１で生成された差分画像１１１とを符
号化部１２で符号化して、符号１１２を出力する。これ
らの符号化方法としては、予測符号化や変換符号化など
任意の画像の符号化方法を取ることができる。

この差分画像１１１の符号化において、補間画像１１０
の各ブロックの平均値が入力された画像信号１０１の各
ブロックの平均値１０２にほぼ等しいので、高い符号化
効率が得られる。しかも、補間方法として線形補間を用
いるので、生成される補間画像１１０に発生するブロッ
ク歪は非常に小さくて済む。

なお、以上の説明においてはブロックサイズを８×８と
、して説明したが、別のサイズや形状を用いても差し支
え無い。

また、以上の説明においては画像信号として特に規定は
していないが、多値の白黒画像、ＲＧＢの各カラー成分
画像、Ｙ・（Ｒ−Ｙ）・（Ｂ−Ｙ）等の輝度・色差信号
は、すべてこの画像信号の中に含まれる。同様に、テレ
ビジョン信号等の動画像におけるフレーム間差分信号に
おいても適用でき、十分な効果を得ることができる。こ
のフレーム間差分信号については、参考文献２：［テレ
ビジョンバンドウィドスコンブレッショントランスミッ
ションバイモーションモンペンセイティドインターフレ
ームコーデ　　ィ　　ン　　グ（Ｔｅｌｅｖｉｓｉｏｎ
　Ｂａｎｄｗｉｄｔｈ　Ｃｏｍｐｒｅｓｓｉｏｎｔｒａ
ｎｓｍｉｓｓｉｏｎ　ｂｙ　Ｍｏｔｉｏｎ−ｃｏｍｐｅ
ｎｓａｔｅｄ　ＩｎｔｅｒｆｒａｍｅＣｏｄｉｎｇ月ア
イ・イー・イー・イーコミュニケーションマガジン（Ｉ
ＥＥＥ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ　Ｍａｇａｚｉｎ
ｅ）誌、１９８２年１１月号、２４−３０頁に詳細に述
べられている。

（発明の効果） 以上述べたように本発明の画像信号の符号化方式および
その装置を用いることにより、補間画像に発生するブロ
ック歪を大幅に低減でき、しかも高い符号化効率が得ら
れる。

【図面の簡単な説明】

第１図は本発明の画像信号の符号化方式を実現する符号
化装置の一例を示すブロック図、第２図は補間方法の説
明図である。 図において、 ｌ・・・ブロック読み出し部、２・・・画像平均値算出
記憶部、３・・・代表値算出記憶部、４．・・補間画像
平均値算出部、５・・・誤差算出記憶部、６・・・統計
量算出部、７・・・統計量比較部、８・・・代表値変更
部、９・・・制御部、１０・・・補間画像生成部、１１
・・・差分画像生成部、１２・・・符号化部。

Claims (2)

【特許請求の範囲】
1. （１）複数の画素からなるブロック単位で画像信号を読
   み出し、上記ブロック毎の上記画像信号の平均値と代表
   値とを求め、各ブロックの上記代表値を用いた補間処理
   により生成される補間画像の上記ブロック毎の平均値を
   求め、上記の各ブロック毎に上記画像信号の平均値と上
   記補間画像の平均値との誤差を求め、全ブロックの上記
   誤差の統計量を算出し、上記統計量があらかじめ設定さ
   れた範囲を越えている場合に、上記の各ブロックの誤差
   に基づき上記補間画像の平均値が上記画像信号の平均値
   に近づくよう上記代表値を変更し、上記統計量が上記範
   囲内になるまで上記補間画像の平均値を求める処理から
   上記代表値の変更処理まで繰り返し、上記統計量が上記
   範囲内となった場合の上記代表値を用いて補間画像を生
   成し、上記画像信号から上記補間画像を減算して差分画
   像を生成し、上記代表値と差分画像との符号化する画像
   信号の符号化方式。
2. （２）複数の画素からなるブロック単位で画像信号を読
   み出すブロック読み出し部と、上記ブロック毎に上記画
   像信号の平均値を求めて記憶する画像平均値算出記憶部
   と、上記ブロック毎に上記画像信号の代表値を求めて記
   憶する代表値算出記憶部と、各ブロックの上記代表値を
   用いた補間処理により生成される補間画像の上記ブロッ
   ク毎の平均値を上記代表値算出記憶部に記憶された上記
   代表値から求める補間画像平均値算出部と、上記の各ブ
   ロック毎に上記画像平均値算出記憶部に記憶された上記
   画像信号の平均値と上記補間画像平均値算出部で求めら
   れた上記補間画像の平均値との誤差を求めて記憶する誤
   差算出記憶部と、全ブロックの上記誤差の統計量を算出
   する統計量算出部と、上記統計量とあらかじめ設定され
   た範囲とを比較する統計量比較部と、上記統計量比較部
   の比較結果に基づき上記統計量があらかじめ設定された
   範囲を越えている場合に上記誤差算出記憶部に記憶され
   た上記の各ブロックの誤差に基づき上記補間画像の平均
   値が上記画像信号の平均値に近づくよう上記代表値算出
   記憶部に記憶された上記代表値を変更する代表値変更部
   と、上記統計量比較部の比較結果に基づき上記統計量が
   上記範囲内になるまで上記の補間画像平均値算出部と誤
   差算出記憶部と統計量算出部と統計量比較部と代表値変
   更部との処理を繰り返す制御を行う制御部と、上記統計
   量が上記範囲内となって上記制御部の繰り返し制御が終
   了した場合に上記代表値算出記憶部に記憶された上記代
   表値を用いて補間画像を生成する補間画像生成部と、上
   記画像信号から上記補間画像を減算して差分画像を生成
   する差分画像生成部と、上記の代表値と差分画像とを符
   号化する符号化部とで構成される画像信号の符号化装置
   。