JPH04970A - 画像信号復号再生装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 皮血豆１ 本発明は画像信号復号再生装置に関し、特に、圧縮符号
化された画像データのブロクク歪を減少させて復号再生
する画像信号復号再生装置に関する。

背」ｕＬ術 電子スチルカメラにより撮影された画像データのような
ディジタル画像データをメモリに記憶する場合、または
伝送する場合には、データ量を減らすため、各種の圧縮
符号化が行われている。特に２次元直交変換符号化は、
大きな圧縮率で符号化を行うことができ、かつ符号化に
伴う画像歪も抑圧できることから、広く用いられている
。

このような２次元直交変換符号化においては、画像デー
タは所定の数のブロックに分割され、それぞれのブロッ
ク内の画像データが２次元直交変換される。直交変換さ
れた画像データ、すなわち変換係数は、所定の閾値と比
較され、閾値以下の部分の切り捨て（係数切り捨て）が
行われる。係数切り捨てが行われた変換係数は、所定の
量子化ステップ値、すなわち正規化係数により除算され
、ステップ幅による量子化、すなわち正規化が行われる
。その後、正規化された変換係数はハフマン符号化され
、圧縮画像データが得られる。

このような圧縮画像データを復号する場合には、ハフマ
ン復号した後、逆正規化および直交逆変換を行い、元の
画像データを得る。しかしながら、画像データは圧縮符
号化においてブロック化され、直交変換、符号化されて
いるため、復号された画像データにはブロック間に歪が
発生する。

特に変化の少ないなだらかな画像の部分には、ブロック
の境界（エツジ）が目立ち、画像が劣化するという問題
があった。

そこでこのような歪を少なくするため、ブロックの境界
部にローパスフィルタを使用してブロックの境界に現れ
るエツジ、すなわちブロックの輪郭を和らげることが考
えられる。

しかし、再生画像にはシャープネスの劣化が見られ、上
記のようにローパスフィルタを使用した場合には、ロー
パスフィルタによって高周波数成分がカットされるため
、再生画像のシャープネスがさらに劣化するという問題
があった。

目　　的 本発明はこのような従来技術の問題点を解消し、圧縮符
号化された画像データのブロック間歪を減少させ、かつ
シャープネスの劣化のない適切な再生画像データを得る
ことのできる画像信号復号再生装置を提供することを目
的とする。

λ匪■！ｊ 本発明によれば、複数のブロックに分割され、各ブロッ
クの画像データについて２次元直交変換符号化を行われ
たディジタル画像データを復号再生する画像信号復号再
生装置は、デジタル画像データを逆正規化する逆正規化
手段と、逆正規化手段により逆正規化されたデータを２
次元直交逆変換する直交逆変換手段と、２次元直交変換
符号化されたディジタル画像データの分割されたブロッ
クごとのアクティビティを算出するアクティビティ算出
手段と、ブロックの境界部分の画素と置換する予測画素
データを算出する予測値算出手段と、予測値算出手段に
より算出された予測画素データを用いて、ブロック間歪
の補正処理を行うブロック間歪補正手段とを有し、ブロ
ック間歪補正手段は、ブロックごとのアクティビティに
基づいて予測画素データを用いたブロック間歪の補正処
理を行うものである。

１１五り暑ｊ 次に添付図面を参照して本発明による画像信号復号再生
装置の実施例を詳細に説明する。

第１図には本発明による画像信号復号再生装置の一実施
例が示されている。

本装置には、圧縮符号化された画像データが入力され復
号再生される。本装置により復号再生される画像データ
は第２図に示すような圧縮符号化装置によって圧縮符号
化された画像データである。第２図に示す装置において
は、入力端子４０から人力された画像データがプロ・ン
ク分割部４２において８ｘ８の画素からなる複数のブロ
ックに分割され、２次元直交変換部４４において２次元
直交変換される。さらに、正規化部４６において正規化
係数によって除算されることにより正規化される。正規
化されたデータは、ハフマン符号化部４８においてハフ
マン符号化される。

ハフマン符号化部４８には、正規化されたデータが第４
図に示すようにジグザグ状にスキャンされて入力される
。正規化された変換係数においては零が連続することが
多いため、零の値のデータの連続する量すなわち零〇ラ
ン長を検出し、零のラン長および非零の振幅を求め、こ
れを２次元ハフマン符号化する。２次元ハフマン符号化
された画像データか出力端子５０から出力される。

このように圧縮符号化された画像データが、第１図の装
置に入力され、復号される。第１図の復号再生装置はハ
フマン復号部１２を有する。ハフマン復号部１２には圧
縮符号化された画像データが入力端子ｌＯから入力され
、ハフマン復号される。ハフマン復号された画像データ
は逆正規化部１４に送られ、逆正規化される。すなわち
、第２図の装置において正規化に使用された正規化係数
を乗算する。逆正規化部１４で逆正規化された画像デー
タは２次元直交逆変換部１６に送られ、２次元直交逆変
換が行われる。２次元直交逆変換部１６で直交逆変換さ
れた画像データはブロック合成部１８に送られ、複数の
ブロックが合成され、元の画像データが得られる。

ブロック合成部１８でブロックが合成された画像データ
はブロック間歪補正部２０に送られる。ブロック間歪補
正部２０は、後述のようにブロックのアクティビティが
一定値以下の場合に、ブロック境界付近の画素データに
対してＤＣ相関値を用いて補正を行い、ブロック間歪の
補正、すなわちブロックの境界に現れる輪郭の除去処理
を行う。

２次元直交逆変換部１６において、２次元直交逆変換さ
れた画像データはブロックアクティビティ算出部３６へ
送られる。ブロックアクティビティ算出部３６は２次元
直交逆変換されたブロックごとの画像データからブロッ
クごとのアクテビティ、すなわちそのブロックに高域周
波数成分の画像データが含まれている程度を算出する。

ブロックアクティビティ算出部３６からの出力はアクテ
ィビティ判定部３８へ送られる。

なお、ブロックアクティビティ算出部３６においてブロ
ックのアクティビティを算出することに代えて、入力端
子１０から入力される圧縮符号化された画像データの符
号化データ量をカウントすることによってブロックのア
クティビティの高低を判断してもよい。符号化データ量
は、アクティビティの高いプロ・ンク、すなわち高周波
数成分が多いブロックにおいては多くなり、アクティビ
ティの低いブロック、すなわち低周波数成分が多いブロ
ックにおいては少なくなる。このように符号化データ量
をカウントする場合には、入力端子ｌＯに接続される符
号化データ量カウンタを設け、符号化データ量をカウン
トし、その出力をアクティビティ判定部３８へ送るよう
にすればよい。アクティビティ判定部３８は、ブロック
アクティビティ算出部３６において算出されたブロック
のアクティビティを所定の閾値Ｔｈと比較し、アクティ
ビティの高低を判定する。アクティビティ判定部３８か
らの出力は、ＤＣ相関値算出部３２へ送られる。

ＤＣ相関値算出部３２には、ブロック合成部１８からの
画像データも入力される。ＤＣ相関値算出部３２はブロ
ックアクティビティ判定部３８からの入力によってブロ
ックのアクティビティが所定の値よりも低いと判断した
場合には、ブロック合成部１８から送られる画像データ
のブロックの境界の部分の画素データの値を補正するた
め、これらの画素データに対するＤＣ相関値を算出する
６次にＤＣ相関値の算出について説明する。

第３図に示すように、横方向にブロックＮ−１，Ｎ。

Ｎ＋１が隣接している。これらのブロックＮ−１，Ｎ。

Ｎ＋１はいずれも８ｘ８の画素により構成されるブロッ
クであり、横方向に８個の画素データが並んでいる。ブ
ロックＮとブロックＮ＋１の境界の部分に位置するブロ
ックＮの画素ＸｆＮ、７１　とブロックＮ＋１の画素Ｘ
　ｆＮ＋１．ｏｌ　とは、同図に示すように大きなレベ
ル差がついている。このようなブロックの境界における
レベル差によってブロック歪、すなわち再生画像にブロ
ックの輪郭が現れる。

本装置においては、このようなブロックの境界！：　Ｊ
　ケ６画素ＸｆＮ、７１　と画素Ｘ　ｆＮ＋１．０１　
と（７）Ｌ／ベル差を小さくするため、ＤＣ相関値算出
部３２においてＤＣ相関値を算出する。ＤＣ相関値は、
画素ＸｆＮ、７）ｉ５ヨび画素Ｘ　ｆＮ＋１．０）　ニ
ラいテ＋　ｈ　−Ｆ　ｈＤＣＤＣ相関値（Ｎ、７１　ｉ
５よびｅ　ｆＮ＋１．０１が次のように算出される。

ｅ　ｆＮ、７１　＝　（３ｘ　ＤＣｆＮ＋１１　＋５　
ｘ　ＤＣｆＮ）　）　／８ｅ　ｆＮ＋１．０）　＝　（
５ｘ　ＤＣｆＮ＋ｌｌ　＋３　ｘ　ＤＣｆＮｌ　）　／
８ここでＤＣｆＮ＋　ｌ　＋　はブロックＮｉ１の直流
（ＤＣ）成分値、すなわちブロックＮ＋１の画素データ
のレベルの平均値である。同様に、ＤＣ［Ｎ）はブロッ
クＮの直Ａ（Ｄ（：ｌ成分値、すなわちブロックＮの画
素データのレベルの平均値である。したがって、ブロッ
クＮの直流ｆＤｃｊ成分値ＤＣ（Ｎｉ　とブロックＮ＋
１の直流＋ＤＣ＋成分値ＤＣｆＮ＋１＋を基にして、こ
れらの直流成分値ＤＣ（Ｎｌ　および直流成分値ＤＣｆ
Ｎ＋ｌｌがそれぞれのブロックＮおよびＮ＋１の中央に
位置すると仮定する。画素Ｘ　ｉＮ、７）は、これらの
ＤＣ（Ｎｌ　およびＤＣ（ＮｉＩ）の位置から画素単位
で３８よび５の距離にあるから、ＤＣ相関値ｅｆＮ、７
）を上記のような式によって求めることによって、ＤＣ
ｆＮｌおよびＤＣｆＮｌ　ｌ　ｌの値を結ぶ直線上の点
としてＤＣ相関値ｅ　（Ｎ、７１　を予測する。同様に
、画素Ｘ　ｆＮｌ１．０）は、これらのＤＣ（Ｎｌおよ
びＤＣ（Ｍａｉｌの位置から５８よび３の距離にあるか
ら、ＤＣｉＮｌおよびＤ（ｌＮ＋ｌ＋の値を結ぶ直線上
の点としてＤＣ相関値ｅ　（Ｎ＋１．Ｏｌ　を予測する
。

ＤＣ相関値算出部３２において算出されたこれらのＤＣ
相関（ａ　ｅ　ｆＮ、７）　ｂよびｅ　ｆＮｌ１．０）
はブＯｙ７り間歪補正部２０へ送られる９ブロック間歪
補正部２０は、画素Ｘ　ｆＮ、月オヨび画素Ｘ　（Ｎ＋
１．０１　をＤＣ相関値ｅ　ｆＮ、７１　およびｅ　ｆ
Ｎｌ１．０１　によって置き換えることにより、ブロッ
ク間歪の補正を行う。すなわち、ブロックの境界に現れ
る輪郭を除去する。

ＤＣ相関値算出部３２において算出されたこれらのＤＣ
相関値ｅ　（Ｎ、７１　およびｅ　ｆＮｌ１．０）は、
平均予測値算出部３４にも送られる。平均予測値算出部
３４には、アクティビティ判定部３８からの出力が人力
される。平均予測値算出部３４は、アクティビティ判定
部３８からの人力により、ブロックのアクティビティが
低（、かつその低い程度が小さい場合、すなわち上記の
ＤＣ相関値ｅ（Ｎ、１）およびｅ　（Ｎ＋１．０１を使
用して補正するほど低くはない場合には、次の式による
平均予測値Ｘ’ｆＮ、７）およびＸ’　　（Ｎ＋１．０
）を算出する。

Ｘ’　（Ｎ、７１　＝　（Ｘ　（Ｎ、７１　＋ｅ　（Ｎ
、７１１　／２Ｘ　　’　　　（Ｎ＋１．０１　　　＝
　　（Ｘ　　（Ｎ＋１．０）　　＋　　ｅ　　（Ｎｉ１
．υ））／２すなわち、画素データＸ　ｉＮ、７１　と
ＤＣ相関値ｅｆＮ、７）　との平均により、平均予測値
Ｘ’ｆＮ、７）を求める９同様に、画素データＸ　ｆＮ
ｌ１．０１　とＤＣ相関値ｅ　（Ｎ＋１．０）との平均
により、平均予測値Ｘ’　　ｆＮｌ１．０１　を求める
。

平均予測値算出部３４において算出されたこれらの平均
予測値Ｘ’　ｆＮ、７）およヒＸ’　（Ｎ＋１．０＋　
ハプロ・ツク間歪補正部２０へ送られる。ブロック間歪
補正部２０ハ、画素ＸｆＮ、７）ｇＪ：び画素Ｘ　（Ｎ
＋１．旧を平均予測値ＸＩＮ、７］およびＸ’　（Ｎ＋
１．０）によって置き換えることにより、ブロック間歪
の補正を行う。

ブロック間歪補正部２０は、アクティビティ判定部から
の入力により、ブロックのアクティビティが高い場合に
は、上記のＤＣ相関値または平均予測値によるブロック
間歪の補正を行わない。すなわち、ブロック合成部１８
から入力された画素データＸ　ｆＮ、７）おヨＵ　Ｘ　
ｆＮｌ１．０＋　ヲ、ソノママ出カスる。ブロック間歪
補正部２０からの出力は出力端子２４に出力される。

第５図に本装置によるブロック間歪補正の動作のフロー
を示す。

上述のように、特定のブロックに注目しく１０２＋　、
アクティビティを算出する＋１０４＋。算出されたアク
ティビティを閾値Ｔｈと比較し、閾値Ｔｈより小さいか
否かを判断する（１０６１　　アクティビティが閾値Ｔ
ｈより小さい場合には、近傍ブロックの直流１Ｄｅｌ成
分を算出しＴ１０８１　、注目ブロックの直流ｆＤｃｌ
成分値と近傍プロ・ンクの直流＋ＤＣ＋成分値からブロ
ック境界の近１力画素を補正する（１１旧　すなわち前
述のように、ＤＣ相関値ｅ　（Ｎ、１）　、　ｅ　ｆＮ
ｌ１．０）　または平均予測値Ｘ　’　　（Ｎ、７＋　
、　Ｘ　’　　（Ｎ＋１．０）　ｉ、１ｍよッテ、ブロ
ック境界の近傍画素を置き換え、ブロック境界部のレベ
ル差を緩和し、ブロック間歪を除去する。処理したブロ
ックが最終ブロックが否かを判断し＋１１２１　、最終
ブロックの場合には処理を終了する。最終ブロックでな
い場合には、次のブロックへ進み（１１，４＋　、同様
の処理を行う。ステップ１０６においてアクティビティ
が閾値Ｔｈより小さくない場合には、ブロック間歪の処
理を行わずにステップ１１２へ進む。

本装置によれば、上記のようにアクティビティが非常に
低い場合にＤＣ相関値ｅ　（Ｎ、７１　およびｅ　（Ｎ
＋１．０）を用い、ある程度低い場合に平均予測値Ｘ’
ｆＮ、７１およびＸ’　ｆＮ＋１．０１を用いて、それ
ぞれブロック間歪の補正を行う。アクティビティが高い
場合にはブロック間歪の補正を行わない。

したがって、ブロックのアクティビティが低く、ブロッ
クの輪郭の歪が目立つ画像の場合にこれを補正し、アク
ティビティが高く、ブロックの輪郭の歪が目立たない画
像の場合には補正を行わない。このため、アクティビテ
ィが高い画像においては、ブロックの輪郭の歪の処理に
よるシャープネスの劣化の問題が生じない。

また、アクティビティが低い画像においては、その程度
に応じて、ＤＣ相関値または平均予測値を用いてブロッ
ク間歪の補正を行う。したがって、アクティビティが非
常に低い画像においては、ＤＣ相関値によってブロック
間歪の除去を十分に行うとともに、アクティビティの低
い程度が少ない画像においては、平均予測値を用いた補
正を行うことにより、シャープネスの劣化を生しない程
度に適切な補正を行うことができる。

なお、上記の実施例においては、アクティビティが低い
ブロックについてのみ、ＤＣ相関値または平均予測値を
用いてブロック間歪の補正を行うようにしているが、隣
接するブロックのアクティビティをも考慮するようにし
てもよい。たとえば、特定のブロックのアクティビティ
が高い場合であっても、隣接するブロックのアクティビ
ティが低い場合には、これによってそのブロックについ
て上記の補正をある程度行うようにしてもよい。このよ
うにすれば、隣接するブロックの一方のみについて上記
補正を行われることによりブロックの境界部がやや不連
続となるのを防ぐことができる。

また、上記の例ではブロックアクティビティ算出部３６
において各ブロックのアクティビティを算出しているが
、隣接するブロックとのアクティビティの差を算出し、
この値に基づいてＤＣ相関値または平均予測値によるブ
ロック間歪の補正を行うようにしてもよい。

隣接するブロック間において、低周波数成分や高周波数
成分の含まれている程度の差が小さいときにはブロック
の境界にあられれる歪が目立つから、ＤＣ相関値または
平均予測値によるブロック間歪の処理を行い、差が大き
いときにはブロックの境界にあられれる歪が目立たない
から、ブロック間歪の処理を行わない。

なお、ブロック間歪補正部２０によるブロック間歪の補
正の後、エッチ強調フィルタを用いてエッチ強調処理を
行ってもよい。エッヂ強調フィルタは、高域周波数成分
を通過させるバイパスフィルタである。これにより、各
ブロック内のデータのエッチを強調し、前記ブロック間
歪補正によるシャープネスの劣化を除去することができ
る。

洟−１ 本発明によれば、ブロックごとに算出したアクティビテ
ィに基づいて、隣接するブロックの直流成分値を基にし
た予測値によって、ブロックの境界部分の画素データを
置換する。したがって、アクティビティが低く、ブロッ
ク間の歪が目立つ画像については、ブロック間歪を確実
に除去し、方、アクティビティが高く、ブロック間の歪
が目立たない画像については、予測値による置換を行わ
ないことによりシャープネスの劣化を防ぐことができる
。

【図面の簡単な説明】

第１図は、本発明による画像信号復号再生装置の一実施
例を示すブロック図、 第２図は、画像信号圧縮符号化装置の一例を示すブロッ
ク図、 第３図は、隣接するブロックの画素データのレベルの一
例を示す図、 第４図は、ハフマン符号化の順序を示す図、第５図は、
ブロック間歪の補正動作を示す図である。 主　部　の７″の説明 １２０．　　ハフマン復号部 １４３．　　逆正規化部 １６、　、　、２次元直交逆変換部 ｌ８ ブロック合成部 ２０゜ ブロック間歪補正部 ブロックアクティビティ算出部 アクティビティ判定部

Claims (1)

1. 【特許請求の範囲】 １、複数のブロックに分割され、各ブロックの画像デー
   タについて２次元直交変換符号化を行われたディジタル
   画像データを復号再生する画像信号復号再生装置におい
   て、該装置は、 前記デジタル画像データを逆正規化する逆正規化手段と
   、 該逆正規化手段により逆正規化されたデータを２次元直
   交逆変換する直交逆変換手段と、前記２次元直交変換符
   号化されたディジタル画像データの分割されたブロック
   ごとのアクティビティを算出するアクティビティ算出手
   段と、前記ブロックの境界部分の画素と置換する予測画
   素データを算出する予測値算出手段と、 該予測値算出手段により算出された前記予測画素データ
   を用いて、ブロック間歪の補正処理を行うブロック間歪
   補正手段とを有し、 前記ブロック間歪補正手段は、前記ブロックごとのアク
   ティビティに基づいて前記予測画素データを用いたブロ
   ック間歪の補正処理を行うことを特徴とする画像信号復
   号再生装置。 ２、請求項１に記載の装置において、 前記ブロック間歪補正手段は、前記ブロックごとのアク
   ティビティを所定の閾値と比較し、前記アクティビティ
   が小さいブロックについてのみ、前記ブロック間歪の補
   正処理を行うことを特徴とする画像信号復号再生装置。