JP3027605B2 - 画像処理装置 - Google Patents

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、ラスタ走査して得た画像信号を所定の矩形
領域からなるブロックに分割し、そのブロック単位に画
像信号を符号化圧縮する画像処理装置に関する。

［従来の技術］ 例えば、自然画符号化方式のように、二次元的な画像
領域を単位として符号化圧縮する符号化方式が実用され
ている。

例えば、Ｎ×Ｎの画素からなる画像領域（以下、ブロ
ックという）を単位とし、そのブロック内の画像信号に
対しDCT（離散コサイン変換）などの直交変換を適用し
て、元の空間領域の信号を周波数領域の信号に変換し、
それによって得られるＮ×ＮのDCT係数を符号化圧縮す
る符号化方式が実用されている。

［発明が解決しようとする課題］ しかしながら、このような符号化方式には、次のよう
な不都合を生じていた。

すなわち、このような符号化方式では、一般に、符号
化対象とする画像領域を、重なりのないブロック（以
下、正則ブロックという）に分割している。

しかしながら、このブロック分割方法では、ブロック
が規則的に配置された状態になっているため、復号化さ
れた画像におけるブロックの境目で「画像歪み」が生じ
やすく、画像の品質が低下するという不都合を生じるこ
とがある。

このような再生画像の画質劣化を防止するために、互
いに重なり合う態様にブロック（以下、重畳ブロックと
いう）に分割する方法がとられることもある。

この方法では、隣接するブロックが重なり合う部分を
もつため、上述した「画像歪み」の原因となる符号化誤
差が複数のブロックに分散され、それにより、再生画像
の画質劣化を抑制することができる。

しかし、この分割方法では、符号化処理するブロック
数が多くなるため、符号化効率が悪いという不都合を生
じる。

本発明は、このような事情に鑑みてなされたものであ
り、効率宜く画像を符号化できる画像処理装置を提供す
ることを目的としている。

［課題を解決するための手段］ 本発明は、おのおののブロックの画像信号に基づいて
そのブロックの空間周波数を算出する空間周波数演算手
段と、この空間周波数演算手段の少なくとも１つのブロ
ックについての演算結果に基づいて、次に符号化するブ
ロックを、互いに重なり合わない態様の正則ブロックあ
るいは互いに重なる領域をもつ態様の重畳ブロックのい
ずれかにに設定するブロック選択手段を備えたものであ
る。また、ブロック選択手段は、空間周波数の演算結果
が所定の閾値よりも小さい場合に、次に符号化するブロ
ックを重畳ブロックに設定するようにしている。また、
ブロック選択手段は、空間周波数の演算結果が所定の閾
値以上の小さい場合に、次に符号化するブロックを正則
ブロックに設定するようにしている。

［作用］ したがって、周囲のブロックの空間周波数の大小に応
じて、すなわち、濃度変動の傾向に応じて、符号化圧縮
単位となるブロックを正則ブロックまたは重畳ブロック
に切り換えているので、符号化圧縮効率が良好になると
ともに、再生画像の画質が劣化することを抑制できる。

［実施例］ 以下、添付図面を参照しながら、本発明の実施例を詳
細に説明する。

まず、本発明の原理について説明する。本発明は、例
えば、自然画像符号化方式のように、二次元的な画像領
域を単位として符号化圧縮する符号化方式に適用する。

例えば、画像信号を８×８のブロックに分割すると
き、第１図に示すように、互いに重なる領域のない正則
ブロックにブロックを切り出すと、従来技術の説明の欄
で述べたように、復号化された画像におけるブロックの
境目で「画像歪み」が生じやすく、画像の品質が低下す
るという不都合を生じやすい。

また、第２図に示すように、互いに重なり合う重畳ブ
ロックに分割すると、隣接するブロックが重なり合う部
分をもつため、上述した「画像歪み」の原因となる符号
化誤差が複数のブロックに分散され、それにより、再生
画像の画質劣化を抑制することができる。

しかしながら、この分割方法では、符号化処理するブ
ロック数が多くなるため、符号化効率が悪いという不都
合を生じる。

そこで、本実施例では、それぞれのブロック単位に空
間周波数を計算し、その空間周波数を同一ラインに並ぶ
複数のブロック（以下、ブロックラインという）につい
て平均し、その平均値に基づいて、次のブロックライン
のブロック選択態様を正則ブロックにするか重畳ブロッ
クにするか選択する。

例えば、空間周波数の平均値が所定の閾値よりも小さ
い場合、すなわち、空間周波数の低周波数成分が大きい
場合には、その周囲では画像の濃度変動が緩やかで濃度
変動が目立ちやすいので、次のブロックラインを第２図
のような重畳ブロックラインLBD1,LBD2,…に設定し、空
間周波数の平均値が所定の閾値以上の場合、すなわち、
空間周波数の高周波数成分が大きい場合には、その周囲
では画像の濃度変動が細かく濃度変動が目立ちにくいた
め、次のブロックラインを第１図のような正則ブロック
ラインLBL1,LBL2,…に設定する。

また、２つのブロックラインに含まれる領域について
は、例えば、おのおののブロックを復号化して得られた
２つの信号の平均値を算出することで、そのブロックの
信号値を得ることができる。

さて、一般に、空間周波数は、直交変換により求める
ことができ、離散コサイン変換を用いて空間周波数を算
出すると、次式（Ｉ）のようになる。

このようにして得られた８×８の変換係数を用いて、
そのブロックにおける空間周波数を評価するための空間
周波数係数εは、次式（II）により得ることができる。

ε＝（Σ（低周波数領域係数））×ａ） ／（Σ（高周波数領域係数））×ｂ …（II） ここで、a,bは、所定の定数である。また、変換係数
Ｆ（u,v）のうち、Ｆ（0,0）は直流成分をあらわす。低
周波数領域係数は、変換係数Ｆ（u,v）のうち、Ｆ（0,
1）,F（0,2）,F（0,3）,F（0,4）,F（1,0）,F（1,1）,F
（1,2）,F（1,3）,F（2,0）,F（2,1）,F（2,2）,F（2,
3）,F（3,0）,F（3,1）,F（3,2）,F（3,3）,F（4,0）で
ある。また、高周波数領域係数は、それ以外の変換係数
である。

この空間周波数係数εの値は、ブロックにおける濃度
変動が緩やかで、空間周波数の低周波数成分の割合が大
きい場合に大きくなり、ブロックにおける濃度変動が比
較的細かく、空間周波数の高周波数成分領域の割合が大
きい場合に小さくなる。

したがって、１つのブロックラインの各ブロックにつ
いて算出した空間周波数係数εの平均値が所定の閾値よ
りも大きい場合、次のブロックラインを重畳ブロックラ
インに設定し、空間周波数係数εの平均値が所定の閾値
以下の場合、次のブロックラインを正則ブロックライン
に設定することで、符号化誤差を拡散することができ
る。

また、この評価方法としては、これ以外に、例えば、
１つのブロックラインの各ブロックについて算出した空
間周波数係数εの最大値を選択し、その最大値を所定の
閾値と比較するようにすることもできる。その場合、そ
の最大値が閾値以上になる場合に次のブロックラインを
重畳ブロックラインに設定する。

これとは逆に、１つのブロックラインの各ブロックに
ついて算出した空間周波数係数εの最小値を選択し、そ
の最小値を所定の閾値と比較するようにすることもでき
る。その場合、その最小値が閾値以下になる場合に次の
ブロックラインを正則ブロックラインに設定する。

また、それ以外にも、各ブロックで得られた空間周波
数係数εに適宜な重み付け係数を設定することで、任意
の判定態様を用いることができる。また、多数の判定方
法を、画像内容に応じて切り換えるようにすることも可
能である。

このようにして、本実施例では、画質劣化があまり大
きくない領域を正則ブロックに、また、画質劣化の影響
が大きくあらわれる領域を重畳ブロックに設定している
ので、再生画像の画質劣化を抑制でき、かつ、データ圧
縮率の低下を極力抑えることができる。

ここで、上述したような画像のブロック単位に空間周
波数を計算して、画像データを符号化する符号化方式と
しては、JPEG（Joint photographic Experts Grou
p）方式が知られている。例えば、論文「カラー静止画
符号化国際標準化」（画像電子学会誌 第18巻 第６号
（1989年））では、「5.Baseline（基本方式）の概要」
（404ページ左欄下から第23行〜406ページ左欄下から第
３行を参照）において、入力画像のサンプリング、A/D
変換、カラー変換、DCT変換、量子化およびDC予測、可
変長符号化、同期確立符号、パラメータフィールドにつ
いて、具体的な内容が記載されている。

第３図は、本発明の一実施例にかかる符号化装置の一
例を示している。

同図において、バッファメモリ１は、符号化対象とな
る画像信号IDiを蓄積するものであり、空間周波数演算
部２は、バッファメモリ１に蓄積されている画像信号ID
iに基づいて、上述した空間周波数係数εを各ブロック
について算出するとともに、１つのブロックラインにつ
いて、各ブロックについて算出した空間周波数係数εの
平均値を算出し、その平均値が所定の閾値よりも大きい
場合に次のブロックラインを重畳ブロックラインに設定
し、空間周波数係数εの平均値が所定の閾値以下の場
合、次のブロックラインを正則ブロックラインに設定す
るものであり、その設定結果を、ブロック種別信号S1と
してブロック分割部３に通知する。

ブロック分割部３は、空間周波数演算部２より加えら
れるブロック種別信号S1に基づいて、それぞれのブロッ
クラインのブロック分割態様を判定し、その判定結果に
基づいて、バッファメモリ１に蓄積されている画像信号
IDiを順次取り出して、符号化部４に通知するものであ
る。また、そのときに取り出しているブロックラインの
ブロック種別をあらわすブロック種別信号S2を符号化部
４に出力する。

符号化部４は、ブロック分割部３より入力した画像信
号IDiに基づいて、所定の符号化処理を実行し、それぞ
れのブロックについて符号データを形成するとともに、
ブロック分割部３より通知されるブロック種別信号２に
対応したブロック種別情報をその符号データに付加した
状態で、符号データCDoとして次段装置に出力する。

したがって、画像信号IDiが順次バッファメモリ１に
蓄積し、１ブロックライン分のデータが蓄積されると、
空間周波数演算部２は、そのバッファメモリ１に蓄積さ
れている画像信号IDiに基づいて、空間周波数係数εを
算出し、その算出結果に基づいて、ブロック種別信号S1
を形成し、ブロック分割部３に出力する。

これにより、ブロック分割部３は、このブロック種別
信号S1に基づいて次のブロックラインのブロック分割態
様を判定し、次のブロックラインの画像信号IDiがバッ
ファメモリ１に蓄積されると、そのブロックラインのブ
ロック分割態様をあらわすブロック種別信号S2を符号化
部４に出力した後に、そのブロックラインの画像信号ID
iをバッファメモリ１より順次取り出して、符号化部４
に出力する。なお、最初のブロックラインについては、
正則ブロックをあらわすブロック種別信号S2を符号化部
４に出力する。

これによって、符号化部４は、それぞれのブロックラ
インについて、おのおののブロックを符号化圧縮し、そ
れによって得た符号データCDoを次段装置に出力する。
また、各ブロックラインの最初のブロックの符号データ
CDoには、そのブロックラインのブロック分割態様をあ
らわす情報が付加される。

第４図は、本発明の一実施例にかかる符号化装置を示
している。

同図において、バッファメモリ11は、符号データCDi
を蓄積するものであり、復号化部12は、バッファメモリ
11に蓄積されている符号データCDiを取り出して、ブロ
ック単位に復号化処理するものであり、それによって得
られた画像信号は画像復元部13に加えられる。また、復
号化部12は、各ブロックラインの先頭に付加されている
ブロック分割態様をあらわす情報を、ブロック種別信号
S3として画像復元部13に出力する。

画像復元部13は、復号化部12から入力した画像信号を
一旦バッファメモリ14に蓄積するとともに、復号化部12
から入力したブロック種別信号S3に基づいて、重畳する
ブロック領域を判別し、その重畳する部分の画像信号に
ついては、バッファメモリ14から取り出した２つの信号
値の平均値を画像信号の値に設定し、また、重畳しない
ブロック領域についてはバッファメモリ14から取り出し
たそのままの信号値を画像信号の値に設定し、その結果
得られた信号を、画像信号データIDoとして次段装置に
出力する。

以上の構成で、符号データCDiがバッファメモリ11に
順次入力されて、１つのブロックライン分蓄積される
と、符号化部12は、最初のブロックに付加されているブ
ロック分割態様をあらわす情報に対応した値のブロック
種別信号S3を画像復元部13に出力し、その後、バッファ
メモリ11より順次符号データCDiを取り出して、所定の
復号化処理を行ない、それによって得た画像信号を画像
復元部13に出力する。

画像復元部13は、復号化部12から入力した画像信号を
ブロック単位にバッファメモリ14に蓄積するとともに、
おのおののブロックラインについて、ブロック種別信号
S3に基づき、そのブロック分割態様を判別して、重畳し
ている領域を判定する。

そして、重畳している領域については、２つの信号値
を平均してその領域の画像信号を形成して画像信号IDo
として出力するとともに、それ以外の領域については、
そのままの信号を画像信号IDoとして出力する。

このようにして、符号化装置で形成された符号データ
が、復号化装置により適切に復号化され、画像信号が再
構成される。

ところで、上述した実施例では、空間周波数を演算す
るときに離散コサイン変換を用いているが、それ以外の
直交変換、例えば、アダマール変換等を用いることもで
きる。

また、上述した実施例では、符号化対象となるブロッ
クのサイズをＮ×Ｎの領域に設定しているが、このブロ
ックサイズをＮ×Ｍの領域に設定することもできる。ま
た、Ｎの値を８以外にも、任意の値をとることができ
る。

［発明の効果］ 以上説明したように、本発明によれば、周囲のブロッ
クの空間周波数の大小に応じて、すなわち、濃度変動の
傾向に応じて、符号化圧縮単位となるブロックを正則ブ
ロックまたは重畳ブロックに切り換えているので、符号
化圧縮効率が良好になるとともに、再生画像の画質が劣
化することを抑制できるという効果を得る。

【図面の簡単な説明】

第１図は正則ブロックラインの一例を示す概略図、第２
図は重畳ブロックラインの一例を示す概略図、第３図は
本発明の一実施例にかかる符号化装置を示すブロック
図、第４図は本発明の一実施例にかかる復号化装置を示
すブロック図である。 1,11,14……バッファメモリ、２……空間周波数演算
部、３……ブロック分割部、４……符号化部、12……復
号化部、13……画像復元部。

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】ラスタ走査して得た画像信号を所定の矩形
   領域からなるブロックに分割し、そのブロック単位に画
   像信号を符号化圧縮する画像処理装置において、 おのおののブロックの画像信号に基づいてそのブロック
   の空間周波数を演算するとともに、上記ブロックを主走
   査方向に配列してなるブロックラインの少なくとも１つ
   についての演算結果に基づいて、次に符号化するブロッ
   クラインを、互いに重なり合わない態様の正則ブロック
   あるいは互いに重なる領域をもつ重畳ブロックのいずれ
   かに判定する空間周波数演算手段と、 この空間周波数演算手段の判定出力に基づいて、次に符
   号化するブロックラインを正則ブロックあるいは重畳ブ
   ロックのいずれかに設定するブロック選択手段を備えた
   ことを特徴とする画像処理装置。
2. 【請求項２】前記空間周波数演算手段は、空間周波数の
   演算結果が所定の閾値よりも小さい場合に、次に符号化
   するブロックラインを重畳ブロックに判定することを特
   徴とする請求項１記載の画像処理装置。
3. 【請求項３】前記空間周波数演算手段は、空間周波数の
   演算結果が所定の閾値よりも大きい場合に、次に符号化
   するブロックラインを正則ブロックに判定することを特
   徴とする請求項１記載の画像処理装置。