JP3176270B2 - 画像復号化処理方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、離散コサイン変換
（ＤＣＴ）等により変換符号化された画像信号を復号化
したときに生じるブロック歪みを持つ復号化画像に対し
て、ブロック歪の影響を受けずに画像信号中のエッジを
抽出し、エッジがぼけることなく、ブロック歪みを除去
する画像復号化処理方法に関する。

【０００２】

【従来の技術】ＤＣＴ等の直交変換を利用した画像信号
の変換符号化では、画像信号を複数のブロックに分割し
て、各ブロックに対して直交変換を行い、その変換係数
を量子化及び符号化している。この符号化された信号を
復号するときは、上記符号化の操作を逆に辿って逆符号
化、逆量子化、逆変換を行うが、これらの操作もまた各
ブロック単位で行われるので、符号化時の量子化にとも
なう符号化情報の欠落により生じる復号化時の歪みが各
ブロックの境界上で顕著に現れる。このような歪みをブ
ロック歪みという。

【０００３】従来、ブロック歪みを除去するために、 １．画像信号の復号化後にブロック境界近傍の画素に対
して平滑フィルタをかけることによりブロック間を滑ら
かにつなぎあわせる方法（特開平２ー５７０６７） ２．各ブロック間の画素がオーバーラップするようにブ
ロックの領域を設定して符号化を行ったり、歪み補正の
ための付加情報を符号化側で作成し、その情報を基に復
号を行う方法 が提案されている。

【０００４】

【発明が解決しようとする課題】しかし、上記の様な方
法には以下の問題点がある。

【０００５】１．の方法の場合、ブロック境界近傍の画
素に対してフィルタリングすることにより、ブロック境
界近傍にある画素信号中のエッジも同時に平滑化してし
まうので、その結果画像のぼけを招き、かえって画質が
劣化することがある。

【０００６】２．の方法の場合、符号化側からの送出情
報量の増大を招き、画像信号の圧縮率が減少する。

【０００７】本発明の目的は、かかる問題点を解決し、
画像劣化を生ぜずに画像の復号化処理を行う方法を提供
することにある。

【０００８】

【課題を解決するための手段】上記問題点を解決するた
めに、本発明は画像をブロック分割してそのブロック毎
に符号化した符号化画像信号を復号化する画像復号化処
理方法において、復号化画像信号に対して注目画素とそ
の周辺画素との差分をとるときに、ブロック境界を挟ん
で注目画素と同じ側にある周辺画素との差分値と、ブロ
ック境界を挟んで注目画素と反対側にある周辺画素との
差分値との間に異なる重み付けをして加算を行うことに
より画像信号中のエッジ信号を抽出するエッジ抽出手段
と、抽出された前記エッジ信号をブロック境界近傍で滑
らかに連結させるようにエッジ信号の空間的な位置を変
更するエッジ整形手段と、抽出及び整形されたエッジ信
号を基にして画像中のエッジ信号を保存したままブロッ
ク境界上の画素に対して平滑処理を行う画像平滑処理手
段とを設けて復号化画像信号の処理を行うようにした。

【０００９】すなわち、画像信号の復号化後にブロック
歪みのある復号化画像信号のエッジを抽出し、ブロック
境界上でエッジが滑らかに連続するように整形を行い、
その後にエッジ保存平滑フィルタをブロック境界近傍に
かけるようにした。

【００１０】本発明を適用することにより、画像信号中
のエッジをぼかすことなくブロック歪みを除去すること
ができる。

【００１１】

【発明の実施の形態】図１に本発明の実施の形態を示す
ブロック歪み除去方式のシステム構成図を示す。

【００１２】符号化器（図示せず）で離散コサイン変換
等の直交変換を利用した公知の符号化方式により符号化
された符号化画像信号が図１のシステムに入力される。
符号化画像信号は、まず復号化器１により符号化方式と
逆の手順にしたがって復号化画像信号に変換される。符
号化器では画像信号を８×８や１６×１６等の小ブロッ
クに分割して量子化及び符号化等の処理を行うため、前
述したブロック歪みが現れる。ブロック歪みにはブロッ
ク境界上で画素の濃度値が階段状に不連続に変化した
り、エッジの形状が歪むといった現象がある。図２にブ
ロック歪みについての説明図を示す。図２の（Ａ）は、
ブロックＡとブロックＢのＡ−Ａ’でみたときに輝度レ
ベルが異なるために、ブロックＡとブロックＢの境界上
で画素の濃度が変化している。図２の（Ｂ）はブロック
ＡとブロックＢの境界にエッジ形状が歪んでおり、
（Ａ）（Ｂ）いずれもブロック歪みを示している。

【００１３】この２つのブロック歪みの補正を行うにあ
たり、まず図２（Ａ）のエッジの不連続の補正を行う。
復号化器１から出力されたブロック歪みを持つ復号化画
像信号は図４に具体的構成を示すエッジ抽出手段２でエ
ッジ抽出処理が行われる。ここでエッジ抽出処理は、エ
ッジ抽出用の差分オペレータを復号化画像信号に畳み込
むことにより行われる。差分オペレータについてはは種
々のものが提案されているが、本実施例では一例として
図３に示す十字型ラプラシアンオペレータを使った場合
について図３及び図４を使って説明する。一般的な十字
型ラプラシアンオペレータは図３のようなウインドウを
持ち、注目画素とその隣接４方向の各画素との差分をと
り、それらの総和を出力するもので、その出力値がその
注目画素のエッジ強度となり、エッジ成分が大きいほど
このエッジ強度の絶対値も大きくなる。

【００１４】しかし、このオペレータをそのまま復号化
画像信号に畳み込むと、ブロック境界上でブロック歪み
により生じる画素の濃度値の階段状の変化のために、本
来画像信号中でエッジがなかった場所もエッジと判定し
てしまう。そのため、ブロック境界に差分オペレータの
ウインドウがまたがるような場合には、注目画素からみ
てブロック外に属する画素の影響が少なくなるようにエ
ッジ抽出処理を行うことが望ましい。そこで図４に示し
たような構成の回路によりエッジ抽出処理を行う。以後
その動作について説明する。

【００１５】まず、オペレータのウインドウが復号化画
像信号上をラスタ状にスキャンされていくと、そのウイ
ンドウにマスクされた部分の画像信号が入力部３からエ
ッジ抽出回路４に入力され、注目画素ｐ（ｘ，ｙ）とそ
の隣接４画素ｐ（ｘ−ｉ，ｙ−ｊ）との差分がとられ
る。そして、それらの差分値は係数ｃ（ｉ，ｊ）により
乗算されて、加算器５によりそれらの総和がとられ、そ
の値が注目画素のエッジ強度となる。ここで係数ｃ
（ｉ，ｊ）が全て１のときは通常の十字型ラプラシアン
オペレータになる。また、係数ｃ（ｉ，ｊ）は以下の動
作にしたがって変化する。まずオペレータのウインドウ
がスキャンされるにしたがって、水平及び垂直カウンタ
６、７が逐次カウントされていくと、そのカウント値は
注目画素ｐ（ｘ，ｙ）の２次元的な座標を表す。ここ
で、ブロックの大きさが８画素×８画素でスキャンの始
点を（０、０）とすると、垂直カウンタ７の値を８で割
ったときの剰余が０のときはオペレータのウインドウが
ブロック境界に対して図５の位置にあるから、注目画素
ｐ（ｘ，ｙ）と同じブロックに属さない画素ｐ（ｘ，ｙ
−１）についての差分項に対する係数ｃ（０，１）の値
を０＜ｃ（０，１）＜１に設定する。このように係数ｃ
（０，１）を設定することにより、ブロック歪みによる
ブロック境界上でのエッジ抽出処理の妨害を緩和でき
る。また同様に、 垂直カウンタ７の値の８の剰余が７のとき０＜ｃ（０，
−１）＜１ 水平カウンタ６の値の８の剰余が０のとき０＜ｃ（１，
０）＜１ 水平カウンタ６の値の８の剰余が７のとき０＜ｃ（ー
１，０）＜１ 垂直、水平カウンタ６の８の剰余が上記以外のとき、ｃ
（ｉ，ｊ）＝１ となるように全ての係数を係数設定部８で設定する。こ
うしてエッジ強度が求められると、その絶対値が所定の
しきい値と比較され、そのしきい値より大きい場合は注
目画素はエッジであると判断され、そのエッジ強度が出
力される。またエッジ強度がしきい値より小さい場合
は、０が出力される。

【００１６】次に、エッジ抽出手段２により得られたエ
ッジ信号をエッジ整形手段９により整形を行う。エッジ
整形は隣接ブロック間のエッジが滑らかに連続するよう
に修正される。エッジ整形には、ブロック境界近傍のエ
ッジについて、エッジの曲率の滑らかさなどを拘束条件
とした状態推定による方法も考えられるが、それは一般
的に複雑なアルゴリズムとなるので本実施例ではより簡
潔なエッジ整形手法を用いる。

【００１７】以下に、その方法を説明し、図６にその処
理の流れを示す。まず境界近傍の画素を走査していきエ
ッジ信号を探索する（ステップ１）。エッジ信号を見つ
けたら（ステップ２）そのエッジ信号を中心にして所定
の大きさのウインドウをかけて、そのウインドウ内で注
目するエッジ信号とエッジ強度が近いエッジ信号を抽出
する。その抽出されたエッジ信号の空間的な位置につい
ての重心を求めて（ステップ３）、注目するエッジ信号
の位置をその方向に移動させる（ステップ４）。このと
き、その重心位置の座標（ｐｘ，ｐｙ）は、 ｐｘ＝Σａ（ｉ，ｊ）ｘ（ｉ，ｊ），ｐｙ＝Σｂ（ｉ，
ｊ）ｙ（ｉ，ｊ） で計算する。ここで、ｘ（ｉ，ｊ），ｙ（ｉ，ｊ）はウ
インドウ内のエッジ信号のｘ座標及びｙ座標、ａ（ｉ，
ｊ），ｂ（ｉ，ｊ）は窓内のエッジ信号の位置により決
まる荷重係数である。この荷重係数は注目画素近傍の画
素には大きくつけたり、またブロック境界外のエッジの
連結性を重視する場合にはブロック境界外の画素に大き
い重みをつけるようにする。

【００１８】このようにして求めた重心位置に従って注
目画素に隣接するエッジ信号との連続性を保つという条
件を満たす重心位置に最も近い位置を新たにその注目画
素の位置とする。例えば、現在の注目画素の位置と重心
位置を直線で結び、重心位置から順次その直線上を注目
画素の方向へ移動位置を移動していき、最初に隣接エッ
ジ信号との連結性が保たれる点を注目画素の移動位置と
するような処理を行う。図７では、ウインドウの大きさ
を５×５とした場合の位置の移動の様子を表している。
差分オペレータによりエッジ信号を抽出した結果が図７
（ａ）であるとする。この図の中で＊のある点にエッジ
信号があるとする。このエッジ信号から重心の位置を求
めた結果、その座標が＋の位置（ｐｘ，ｐｙ）＝（−
０．２，−１．２）となったとする。このとき、移動位
置は（ｐｘ，ｐｙ）から最も近い整数値の座標上である
（ー０、ー１）となる（図７（ｂ）参照）。

【００１９】また、エッジ信号の位置の変化により、エ
ッジ信号により分けられていた画素レベルの異なる領域
の形や大きさに変化が生じるので、エッジ信号の位置の
変化により元の領域から別の領域へ変化した画素に対し
てその変化を表す符号をつけておく。図７（ｂ）の中で
は＃で示してある。

【００２０】本実施例のような方法では、画像中の絵が
らの細かい部分のようにエッジ信号が複雑に交錯してい
るところでは、正しいエッジ同士を連結するとは限らな
くなるので、エッジ整形の効果が少なくなってくる。し
かし、本来画像の細部ではブロック歪みは目立ち難いの
でエッジ整形は行う必要はない。よって画像の細かさを
検出してある程度以上画像が細かいブロック間ではエッ
ジ整形を行わないように方法を工夫することもできる。

【００２１】最後に、エッジ整形部９で整形されたエッ
ジを保存するエッジ保存型平滑フィルタ１０をブロック
境界近傍の画素にかける。このフィルタ１０は平滑を行
う注目画素とその周辺画素を用いて平滑を行うが、この
ときエッジ抽出部２で抽出し、エッジ整形部９で整形さ
れたエッジ信号を挟んで注目画素の反対側にある画素と
エッジ整形部で領域が変化した画素は平滑のために参照
しないこととする。例えば３×３の領域の画素を使って
図８のような状態の場所にフィルタリングを行うとき、
フィルタリングに使われる画素は図中の斜線部の画素と
なる。このようなフィルタ１０をかけることによりエッ
ジを画像信号中のエッジは保存したままブロック境界上
の歪みを低減することが出来る。

【００２２】

【発明の効果】以上のような構成により、ブロック分割
を行う符号化で生じるブロック歪みに対して、画像信号
中のエッジの連続性を滑らかに整形することができ、ブ
ロック境界上で生じる画素レベルの階段状の変化をエッ
ジをぼかすことなく平滑化することができる。

【図面の簡単な説明】

【図１】ブロック歪み除去方式の構成を示すシステム説
明図である。

【図２】ブロック歪みについての説明図。

【図３】十字型ラプラシアンオペレータを示す図。

【図４】エッジ抽出部の構成を示すブロック図。

【図５】窓とブロック境界の位置を示す図。

【図６】エッジ整形処理の流れを示すフローチャート
図。

【図７】エッジ整形処理の状態を示す図。

【図８】フィルタリングに使用する画素を示す図。

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】画像をブロック分割してそのブロック毎に
   符号化した符号化画像信号を復号化する画像復号化処理
   方法において、復号化画像信号に対して注目画素とその
   周辺画素との差分をとるときに、ブロック境界を挟んで
   注目画素と同じ側にある周辺画素との差分値と、ブロッ
   ク境界を挟んで注目画素と反対側にある周辺画素との差
   分値との間に異なる重み付けをして加算を行うことによ
   り画像信号中のエッジ信号を抽出するエッジ抽出手段
   と、抽出された前記エッジ信号をブロック境界近傍で滑
   らかに連結させるようにエッジ信号の空間的な位置を変
   更するエッジ整形手段と、抽出及び整形されたエッジ信
   号を基にして画像中のエッジ信号を保存したままブロッ
   ク境界上の画素に対して平滑処理を行う画像平滑処理手
   段とを設けて復号化画像信号の処理を行うようにしたこ
   とを特徴とする画像復号化処理方法。