JP3365572B2 - 画像信号処理方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【目次】以下の順序で本発明を説明する。 産業上の利用分野 従来の技術（図１６〜図２０） 発明が解決しようとする課題 課題を解決するための手段（図１〜図３） 作用（図１〜図３） 実施例（図１〜図１５） （１）第１実施例（図１、図４〜図１１） （２）第２実施例（図２、図１２及び図１３） （３）第３実施例（図３、図１４及び図１５） （４）実施例の効果 （５）他の実施例 発明の効果

【０００２】

【産業上の利用分野】本発明は、画像信号処理方法に関
し、例えば限られた伝送容量を持つ伝送媒体を用いる遠
隔地への映像伝送や、ビデオテープレコーダやビデオデ
イスクレコーダへの映像のデイジタル記録及び再生を行
うものに適用して好適なものである。

【０００３】

【従来の技術】従来、例えばテレビ会議システム等のよ
うに画像信号を遠隔地に伝送するいわゆる画像信号伝送
システムや、画像信号をデイジタル化してビデオテープ
レコーダやビデオデイスクレコーダに記録し再生する装
置においては、伝送路や記録媒体を効率良く利用するた
め、デイジタル化した画像信号の相関を利用して有意情
報を効率的に符号化することにより伝送情報量や記録情
報量を削減し、伝送効率や記録効率を高めるようになさ
れている。

【０００４】この符号化方式としては、例えば離散コサ
イン変換（ＤＣＴ（discrete cosine transform)）等の
ブロツク直交変換符号化方式が多くの装置で用いられて
いる。図１６及び図１７に、ＤＣＴ等のブロツク直交変
換符号化方式を用いる画像符号化装置と画像復号装置を
示す。図１６に示す画像符号化装置において、走査信号
である入力画像信号Ｓ１４０は、まずブロツク化回路１
４０に入力され、ここで変換単位である例えば８画素×
８画素にブロツク化された画像信号Ｓ１４１とされる。

【０００５】ブロツク化された画像信号Ｓ１４１は、直
交変換回路１４１に入力されて変換され、符号化ブロツ
ク毎の係数Ｓ１４２として出力される。次いで係数Ｓ１
４２は量子化回路１４２に入力され、各係数の符号化ブ
ロツク内の位置に応じた精度で量子化され、量子化係数
Ｓ１４３として出力される。ここでは、一般に人間の視
覚特性等が考慮され、画像を構成する上で重要度の高い
低域の成分を多く含む低次側の係数は高精度に量子化さ
れ、重要度の低い高域の成分を多く含む高次側の係数は
低精度に量子化される。

【０００６】量子化係数Ｓ１４３は、可変長符号化回路
１４３に入力され、ここで発生頻度が高い量子化係数値
には短い符号が割り当てられ、発生頻度が低い量子化係
数値には長い符号が割り当てられて伝送される符号長の
総和、即ち伝送又は記録される情報量が削減された符号
化データＳ１４４となる。

【０００７】符号化データＳ１４４は、発生情報量平滑
化用のバツフアメモリ１４４を経て、画像符号化装置の
出力信号Ｓ１４５となる。ここで、バツフアメモリ１４
４の蓄積量は量子化精度情報Ｓ１４６として出力信号Ｓ
１４５と共に画像符号化装置から出力される一方で、量
子化回路１４２に常時フイードバツクされて量子化精度
の変更制御に用いられ、出力信号Ｓ１４５が一定の速度
となるようになされる。

【０００８】一方、図１７に示す画像復号装置において
は、まず伝送媒体より符号化データＳ１５０と量子化精
度情報Ｓ１５６が入力される。符号化データＳ１５０
は、バツフアメモリ１５０を経て可変長復号回路１５１
に入力され、ここで量子化係数Ｓ１５１とされ、逆量子
化回路１５２に入力される。逆量子化回路１５２では、
量子化精度情報Ｓ１５６を参照して量子化係数Ｓ１５１
を逆量子化して逆量子化係数Ｓ１５２とする。

【０００９】逆量子化係数Ｓ１５２は、逆直交変換回路
１５３に入力され、符号化ブロツク毎に出力されるブロ
ツク化画像信号Ｓ１５３に復元される。ブロツク化画像
信号Ｓ１５３は、走査信号化回路１５４に入力され、走
査信号化されて、画像復号装置の出力画像信号Ｓ１５４
となる。

【００１０】上述したようなＤＣＴ等のブロツク直交変
換を用いる符号化方式は、高い圧縮率で比較的容易に高
画質な復元画像が得られるため多く用いられているが、
量子化精度を粗くすることによつて符号化データ量を削
減して圧縮率を高めた場合に、変換係数の量子化精度不
足が原因となつてブロツク状の観測されやすい歪、すな
わちブロツク歪みが生じやすいという難点がある。

【００１１】このブロツク歪みを除去するためには、量
子化精度を向上させれば良いが、量子化精度を向上させ
ると圧縮率が低下して、本来の目的である容量が限られ
た媒体の有効利用が果たせなくなる。このため、圧縮率
の低下を招かない復元画像の処理によつて、ブロツク歪
みを軽減し主観的に画質の向上を図る後処理方式が望ま
れることになる。

【００１２】このような要求に対し、従来は例えば図１
８に示すようなブロツク歪平滑化装置による画像信号処
理方式が用いられる。ここでは、まずＤＣＴを用いたこ
とによつてブロツク歪みが生じている例えば図１７に示
すような画像復号装置の出力映像信号Ｓ１６０に対し
て、ブロツク化回路１６０において符号化ブロツクが８
画素×８画素であれば、図１９に示すように24画素×24
画素のブロツク化画像信号Ｓ１６１を構成する。ブロツ
ク化画像信号Ｓ１６１は、24画素×24画素の２次元ＤＣ
Ｔ回路１６１で変換され24係数×24係数のブロツク化係
数Ｓ１６２となり、高次係数処理回路１６２に入力され
る。

【００１３】高次係数処理回路１６２では、ブロツク境
界の不連続線として観測される歪みが高次側係数の値に
変換されやすいことを利用して、図２０に示すように変
換係数の高次側を零としたり、その値を圧縮する処理を
施する。処理された係数Ｓ１６３は、24画素×24画素の
２次元逆ＤＣＴ回路１６３で逆変換されて、ブロツク歪
みが軽減された処理済のブロツク化画像信号Ｓ１６４と
なる。処理済のブロツク化画像信号Ｓ１６４は、走査信
号化回路１６４で、入力信号Ｓ１６０と形態が等しい画
像信号Ｓ１６５とされブロツク歪平滑化装置から出力さ
れる。

【００１４】

【発明が解決しようとする課題】ところが上述するよう
な従来のブロツク歪平滑化方法においては、まず大きな
ブロツクでＤＣＴ及び逆ＤＣＴを行なう必要があるた
め、その計算量が極めて膨大なものとなり、動画に対す
る適用が装置の実現上困難である。これに加えて静止画
に対する適用で汎用のデイジタルシグナルプロセツサ
（ＤＳＰ）等を用いて処理する場合にも、処理時間が長
くなる問題があつた。

【００１５】また高次の係数値を圧縮するため、ブロツ
ク歪みのほかに本来の画像に含まれていた高域の成分を
も圧縮することになり、解像度の劣化を生じて主観的な
画質を低下しやすいという欠点がある。解像度の劣化を
最小限に抑えるためには、ブロツク歪みが観測されやす
い部分とされにくい部分とで、処理の種類を変更する等
工夫することが考えられるが、従来の方法では変換係数
を参照して、処理の種類の変更の基準を導くことも必ず
しも容易ではなく、従つて効果的に処理の変更制御を行
なう適応的な処理ができなかつた。

【００１６】本発明は以上の点を考慮してなされたもの
で、計算量が少なく、装置実現が容易で、かつ適応的な
処理が可能で解像度の劣化を最小限にしてブロツク歪み
を軽減し得る画像信号処理方法を提案しようとするもの
である。

【００１７】

【課題を解決するための手段】かかる課題を解決するた
め本発明においては、画像信号を２次元直交変換で符号
化して得られる符号化データについて、２次元逆直交変
換で復号して得られる歪みを有する復元画像Ｓ１０に対
し、互いに隣接する４符号化ブロツクの画素を等しく含
む歪みを有する修正用ブロツクＳ１１を構成し、その修
正用ブロツクＳ１１単位でＨａａｒ関数を用いて２次元
直交変換（１１）し、直流係数を除く低次側の係数にの
み零以外の値を持つ場合に限り、その３係数Ｓ１３の値
に応じて高次側の係数値に修正値Ｓ１４を加え、修正用
ブロツクＳ１２単位でＨａａｒ関数を用いて２次元逆直
交変換し、符号化ブロツクの境界の段差状の歪みを平滑
化した画像Ｓ１７を得るようにした。

【００１８】また本発明においては、画像信号を２次元
直交変換で符号化して得られる符号化データについて、
２次元逆直交変換で復号して得られる歪みを有する復元
画像Ｓ１０に対し、互いに隣接する４符号化ブロツクの
画素を等しく含む歪みを有する修正用ブロツクＳ１１を
構成し、その修正用ブロツクＳ１１単位でＨａａｒ関数
を用いて２次元直交変換（１１）し、直流係数を除く低
次側の３係数の値の電力和又は絶対値和と、直流係数と
低次側の３係数を除く係数の値の電力和又は絶対値和の
比を計算し、直流係数と低次側の３係数を除く係数の値
を零とした後に、低次側の３係数の値に応じて高次側の
係数値に修正値を加え、修正用ブロツクＳ１１単位でＨ
ａａｒ関数を用いて２次元逆直交変換して、符号化ブロ
ツクの境界の段差状の歪みを平滑化した画像Ｓ１５を生
成し、歪みを有する復元画像Ｓ１１′と、符号化ブロツ
クの境界の段差状の歪みを平滑化した画像Ｓ１５の２種
類の画像を、電力和又は絶対値和の比Ｓ１４に応じて混
合し、符号化ブロツクの境界の歪みを軽減した画像を得
るようにした。

【００１９】

【作用】２次元直交変換で符号化し、２次元逆直交変換
で復号して得られる歪みを有する復元画像Ｓ１０に対
し、互いに隣接する４符号化ブロツクの画素を等しく含
む歪みを有する修正用ブロツクＳ１１を構成し、その修
正用ブロツクＳ１１単位でＨａａｒ関数を用いる２次元
直交変換を行えば、４符号化ブロツクの量子化係数が直
流係数のみに値を持ち、他の係数が全て零に量子化され
ることによつて、観測されやすいブロツク状の歪みが生
じている場合、修正用ブロツクを変換して得られる係数
の直流係数を除く低次側の３係数にのみ零以外の値が現
れる。

【００２０】従つてその場合に限り、低次側の３係数の
値に応じて、修正用ブロツクＳ１２内の信号値の段差を
平滑化するように、零である高次側の係数に修正値を加
え、その修正用ブロツク単位でＨａａｒ関数を用いる２
次元逆直交変換を行う処理を画面全体に対して適用する
ことにより、観測されやすい符号化ブロツクの境界の段
差状の歪みのみを選択的に平滑化し得る。

【００２１】また２次元直交変換で符号化し、２次元逆
直交変換で復号して得られる歪みを有する復元画像Ｓ１
０に対し、互いに隣接する４符号化ブロツクの画素を等
しく含む歪みを有する修正用ブロツクＳ１１を構成し、
その修正用ブロツクＳ１１単位でＨａａｒ関数を用いる
２次元直交変換を行い、直流係数を除く低次側の３係数
の値の電力和又は絶対値和Ｓ２４と、直流係数と低次側
の３係数を除く係数の値の電力和又は絶対値和の比を計
算すれば、上述の処理の適用の妥当性を修正用ブロツク
単位で推定することができる。

【００２２】従つて、直流係数と低次側の３係数を除く
係数の値を強制的に零とした後に、低次側の３係数の値
に応じて高次側の係数値に修正値を加え、その修正用ブ
ロツクＳ１１単位でＨａａｒ関数を用いる２次元逆直交
変換を行う処理を画面全体に対して適用して符号化ブロ
ツクの境界の段差状の歪みが平滑化された画像Ｓ１５を
生成し、その画像Ｓ１５と、ブロツク歪みを含み得る無
処理の復号画像Ｓ１１′とを電力和又は絶対値和Ｓ２４
の比に応じて重み付けして混合する処理を画面全体に対
して適用することにより、処理の適用範囲を拡大し、符
号化ブロツクの境界の段差状の歪みを、処理の適用の妥
当性に応じて段階的に平滑化し得る。

【００２３】

【実施例】以下図面について、本発明の一実施例を詳述
する。

【００２４】（１）第１実施例 図１〜図３は、それぞれ図１８について上述した従来の
ブロツク歪平滑化装置に対応する本発明によるブロツク
歪み平滑化処理装置の実施例である。図１に示す第１実
施例においては、画像復号装置の出力でブロツク歪みを
有する画像信号Ｓ１０が、ブロツク化回路１０に入力さ
れる。ここで符号化ブロツクの大きさが８画素×８画素
であれば、図４に示すような互いに隣接する４符号化ブ
ロツクの画像を16画素ずつ等しく含む８画素×８画素の
処理用のブロツク化画像信号Ｓ１１とされる。ブロツク
化画像信号Ｓ１１は、Ｈａａｒ関数を用いる２次元直交
変換回路１１に入力され、またタイミング調整用の遅延
回路１２を経てデータセレクタ１６に供給される。

【００２５】図５及び図６にＨａａｒ関数を用いる２次
元直交変換回路１１の構成を示す。これはＨａａｒ関数
を用いる２次元ウエーブレツト変換回路であり、この回
路によれば64個の画素値は、水平及び垂直両方向に交互
に低次側が再帰的に２分割されて、最終的に図７に示す
ような１０チヤンネルに成分分割された64個の係数Ｓ１
２に変換される。係数Ｓ１２は、修正係数計算回路１３
及び高次係数検査回路１４に供給される。

【００２６】図８は修正係数計算回路１３の構成であ
り、ここでまず係数Ｓ１２は３個のレジスタ７０ａ、７
０ｂ、７０ｃに供給される。レジスタ７０ａ、７０ｂ、
７０ｃは、それぞれ図７に示す低次３チヤンネルの係数
を蓄積し、１ブロツクの処理が行われる間、その３係数
の値をＲＯＭ７１ａ、７１ｂ、７１ｃの入力Ｓ７０ａ、
Ｓ７０ｂ、Ｓ７０ｃとして保持する。ＲＯＭ７１ａ、７
１ｂ、７１ｃは、３係数の値Ｓ７０ａ、Ｓ７０ｂ、Ｓ７
０ｃとアドレス生成回路７２から供給されるブロツク内
の係数アドレスＳ７２に応じて、係数毎の修正値Ｓ７１
ａ、Ｓ７１ｂ、Ｓ７１ｃを出力する。

【００２７】図９には、ブロツクの境界部分の画素の値
を変動させずに、ブロツクの中央部の段差状の不連続線
を平滑化するように計算された係数毎の修正値を示す。
加算回路７３は、低次３チヤンネルの係数値に対応する
修正値Ｓ７１ａ、Ｓ７１ｂ、Ｓ７１ｃを加算して、ブロ
ツク毎の修正係数Ｓ１３を得る。高次係数検査回路１４
では、供給される64個の係数の内、直流係数と低次側の
３係数を除く60個の高次側の係数が全て零であるか否か
を検査し、その結果をデータセレクタ１６の切り替え信
号Ｓ１４として出力する。次いで修正係数Ｓ１３はＨａ
ａｒ関数を用いる２次元逆直交変換回路１５に供給され
る。

【００２８】図１０及び図１１には、図５及び図６に示
すＨａａｒ関数を用いる２次元直交変換回路１１に対応
して、Ｈａａｒ関数を用いる２次元逆直交変換回路１５
の構成を示す。この回路はＨａａｒ関数を用いる２次元
ウエーブレツト逆変換回路であり、この回路によれば64
個の係数は、水平及び垂直両方向に交互に低次側の係数
から順次再構成されて最終的に64個の画素からなるブロ
ツク化された画像信号Ｓ１５に逆変換され、データセレ
クタ１６の入力となる。

【００２９】データセレクタ１６は、切り替え信号Ｓ１
４に従つて、上述した60個の高次側の係数が全て零であ
る場合にのみブロツク歪みを平滑化するための処理を行
つた２次元逆直交変換回路１５の出力である画像信号Ｓ
１５を選択する。またそれ以外の場合に遅延回路１２で
逆変換回路１５の出力Ｓ１５に同期させられた無処理の
復号画像信号Ｓ１１′を選択する。この結果としてデー
タセレクタ１６は、観測されやすい符号化ブロツクの境
界の段差状の歪みを選択的に平滑化したブロツク化画像
信号Ｓ１６を出力する。ブロツク化画像信号Ｓ１６は、
走査信号化回路１７に入力され、本装置の入力画像信号
と同一の形態となるように走査信号化され、処理済の画
像信号Ｓ１７としてブロツク歪平滑化処理装置から出力
される。

【００３０】以上の構成によれば、観測されやすい符号
化ブロツクの境界の段差状の歪みを選択的に平滑化した
画像を得ることのできるブロツク歪平滑化処理装置を実
現できる。

【００３１】（２）第２実施例 図２においては本発明の第２実施例を示し、図１につい
て上述したブロツク歪平滑化処理装置の実施例と比較し
て、高次係数検査回路１４が電力比又は絶対値比計算回
路２４へ、データセレクタ１６が重み付け和計算回路２
６へ、切り替え信号Ｓ１４が重み付け信号Ｓ２４へと置
き換えられている。図１２に係数Ｓ１２が低次側から順
次入力される場合の電力比又は絶対値比計算回路２４の
構成を示す。ここでは、入力される係数Ｓ１２は、まず
ＲＯＭ等で構成される自乗値（又は絶対値）を計算する
回路１００で、係数毎の自乗値又は絶対値Ｓ１００とさ
れ、加算回路１０１の入力となる。

【００３２】加算回路１０１では、自乗値又は絶対値Ｓ
１００と、１サンプル遅延回路１０２の出力Ｓ１０２を
加算する。加算結果Ｓ１０１は、論理積回路１０３と累
積加算結果を蓄積するためのレジスタ１０４に供給され
る。論理積回路１０３は、累積加算結果をリセツトする
ためのもので、64個の係数の自乗値又は絶対値Ｓ１００
より、直流係数を除く低次側の３係数分と、高次側の60
係数分についての累積加算結果が得られ、レジスタ１０
４に蓄積されるようにリセツトを行ないながら加算途中
結果Ｓ１０３を出力する。

【００３３】レジスタ１０４は、加算結果Ｓ１０１が、
低次側３係数の自乗値又は絶対値の加算結果となる時に
それをレジスタ１０４ａに蓄積し、高次側60係数の自乗
値又は絶対値の加算結果となるときにそれをレジスタ１
０４ｂに蓄積する。除算器等でなる比率計算回路１０５
は、レジスタ１０４より出力される低次側３係数の自乗
値又は絶対値の加算結果Ｓ１０４ａと、高次側60係数の
自乗値又は絶対値の加算結果Ｓ１０４ｂの比を計算し、
その結果Ｓ１０５をＲＯＭ等でなるクラス分け回路１０
６に出力する。クラス分け回路１０６は、供給された比
率Ｓ１０５を、例えば４段階に分類し４種類の重み付け
信号Ｓ２４として出力する。

【００３４】図１３には重み付け和計算回路２７を示
す。重み付け和計算回路２７は、重み付け信号Ｓ２４に
従つて、無処理の画像信号Ｓ１１′と、ブロツク歪みを
平滑化するための処理を行つた画像信号Ｓ１５の加重和
を計算し、結果として、観測されやすい符号化ブロツク
の境界の段差状の歪みが段階的に平滑化されたブロツク
化画像信号Ｓ２６を出力する。

【００３５】以上の構成によれば、図１の実施例に比べ
て処理の適用範囲を拡大し、符号化ブロツクの境界の段
差状の歪みを、段階的に平滑化した画像を得ることので
きるブロツク歪平滑化処理装置を実現できる。

【００３６】（３）第３実施例 図３においては本発明の第３実施例を示し、図２につい
て上述したブロツク歪平滑化処理装置の実施例と比較し
て、電力比又は絶対値比計算回路２４が４種類の重み付
け信号Ｓ３４ａ、Ｓ３４ｂ、Ｓ３４ｃ、Ｓ３４ｄを出力
する形態の回路３４へ置き換えられ、その後段に重み付
け信号切り替え用のデータセレクタ３４′が追加されて
いる。図１４に電力比又は絶対値比計算回路３４を示
す。この構成では、図１２に示した第２実施例における
同種の回路構成と比べて、係数の転送順序を変更するた
めのメモリ１２０及び４個の出力レジスタ１２７ａ、１
２７ｂ、１２７ｃ、１２７ｄが追加されている。

【００３７】図１５は、Ｈａａｒ関数を用いた２次元直
交変換を行なうことを前提として、64画素のブロツク画
像信号を４分割した場合の、各領域の再構成に必要な係
数の組を示すものであるが、この回路ではこの各領域毎
に重み付け信号を求める。即ち、係数Ｓ１２は順序変更
用メモリ１２０に入力され、ここでまず低次側の３係
数、次いで高次側の係数を図１５に示す領域毎に15係数
ずつ順次出力されるように並べかえられた係数Ｓ１２′
となる。

【００３８】自乗値又は絶対値の計算及び加算は図１２
の例と同様に行われるが、論理積回路１０３における累
積加算のリセツトは低次３係数と４領域の高次側の係数
の組毎に行われる。レジスタ１０４ａには、図１２の例
と同様に低次３係数の自乗値又は絶対値の累積和が蓄積
されるが、レジスタ１０４ｂには４領域の高次側の係数
の組毎の自乗値又は絶対値の累積和が順次蓄積される。

【００３９】比率計算回路１０５は、レジスタ１０４か
ら出力される低次３係数の自乗値又は絶対値の累積和Ｓ
１０４ａと、４領域の高次側の係数の組毎の自乗値又は
絶対値の累積和Ｓ１２４ｂの４種類の比Ｓ１２５を順次
計算する。計算された４種類の比Ｓ１２５は、順次クラ
ス分け回路１０６に入力されて４種類の重み付け信号Ｓ
１２６となり、それぞれ４個の出力レジスタ１２７ａ、
１２７ｂ、１２７ｃ、１２７ｄを経て、４種類の重み付
け信号Ｓ３４ａ、Ｓ３４ｂ、Ｓ３４ｃ、Ｓ３４ｄとして
出力される。

【００４０】重み付け信号切り替え用のデータセレクタ
回路３４′では、重み付け和計算回路２６に入力される
画像信号Ｓ１１′と、画像信号Ｓ１５に同期させて、図
１５に示す画素領域毎に、４種類の重み付け信号Ｓ３４
ａ、Ｓ３４ｂ、Ｓ３４ｃ、Ｓ３４ｄから１種類の重み付
け信号Ｓ３４′を選択して出力する。重み付け和計算回
路２６は、重み付け信号Ｓ３４′に従つて、処理を行つ
ていない画像信号Ｓ１１′と、ブロツク歪みを平滑化す
るための処理を行つた画像信号Ｓ１５の加重和を計算
し、結果として観測されやすい符号化ブロツクの境界の
段差状の歪みが段階的かつ部分的に平滑化されたブロツ
ク化画像信号Ｓ３６を出力する。

【００４１】以上の構成によれば、図２の実施例に比べ
て処理の適用範囲をさらに拡大し、符号化ブロツクの境
界の段差状の歪みが、より小さな面積単位毎に段階的に
平滑化された画像を得ることのできるブロツク歪平滑化
処理装置を実現できる。

【００４２】（４）実施例の効果 以上の構成によれば、画像信号を２次元直交変換符号化
して伝送又は記録再生した後に復号して得られる復元画
像信号に含まれるブロツク状の歪みを軽減する際に、処
理の単位であるブロツクサイズを従来と比較して画素数
で９分の１に減少させることができ、さらに従来のＤＣ
Ｔに替えて計算量が極めて少ないＨａａｒ関数を用いる
直交変換を適用することができるため、必要な計算量及
び処理装置規模が大幅に削減され、従来は極めて困難で
あつた動画への適用も容易となる。また上記と同様の理
由により、汎用のＤＳＰを用いた静止画の処理に適用す
る場合も、処理に要する計算量が大幅に削減されるた
め、処理速度の大幅な高速化によつて装置の使用勝手を
向上させることができる。

【００４３】また上述の構成によれば、必要に応じて処
理を行なつたり、処理の強度を調節する適応的な制御を
容易に実現できるため、処理に伴う解像度の劣化等の障
害を抑制しつつ、観測されやすいブロツク状の歪みを軽
減して、主観的な画質を向上させることができる。また
適応的な制御を、処理ブロツクサイズより小さな面積単
位で行なうことが容易に実現できるため、精細な部分と
平坦な部分が複雑に混在するような画像に適用した場合
も、処理に伴う精細な部分の解像度の劣化等の障害を抑
制しつつ、観測されやすい平坦な部分のブロツク状の歪
みをきめ細かく軽減して、主観的に画質を向上させるこ
とができる。

【００４４】また上述の構成を適用すれば、量子化制御
が適切でないために生じるブロツク状の歪みが軽減され
るため、従来は高画質化のために複雑化する傾向があつ
た符号化装置に含まれる量子化制御回路を簡素化し、主
観的な画質を維持したまま符号化装置の規模を軽減でき
る。また同等の主観画質を得るために必要な伝送情報量
を削減することもでき、容量が限られた媒体の有効利用
が、従来に比べて促進されることとなり、例えば容量が
限られたデイスクへの画像の記録時間を増加させること
ができる。

【００４５】（５）他の実施例 なお上述の実施例においては、装置をハードウエア上で
実現する場合を例にとつて説明したが、これに限らず、
同様の処理を汎用のＤＳＰ等を用いてソフトウエアで実
現して同等の効果を得ることも可能である。

【００４６】また上述の実施例においては、処理用の２
次元直交変換と２次元逆直交変換として、Ｈａａｒ関数
を用いる10チヤンネル分割の２次元ウエーブレツト変換
と２次元ウエーブレツト逆変換を使用しているが、これ
に代えて16チヤンネル分割の２次元Ｈａａｒ変換と２次
元Ｈａａｒ逆変換等チヤンネル数の異なるものを使用し
ても良い。

【００４７】

【発明の効果】上述のように本発明によれば、２次元直
交変換で符号化し、２次元逆直交変換で復号して得られ
る歪みを有する復元画像に対し、互いに隣接する４符号
化ブロツクの画素を等しく含む歪みを有する修正用ブロ
ツクを構成し、その修正用ブロツク単位でＨａａｒ関数
を用いる２次元直交変換を行えば、４符号化ブロツクの
量子化係数が直流係数のみに値を持ち、他の係数が全て
零に量子化されることによつて、観測されやすいブロツ
ク状の歪みが生じている場合、修正用ブロツクを変換し
て得られる係数の直流係数を除く低次側の３係数にのみ
零以外の値が現れる。

【００４８】従つてその場合に限り、低次側の３係数の
値に応じて、修正用ブロツク内の信号値の段差を平滑化
するように、零である高次側の係数に修正値を加え、そ
の修正用ブロツク単位でＨａａｒ関数を用いる２次元逆
直交変換を行う処理を画面全体に対して適用することに
より、観測されやすい符号化ブロツクの境界の段差状の
歪みのみを選択的に平滑化し得る画像信号処理方法を実
現できる。

【００４９】また２次元直交変換で符号化し、２次元逆
直交変換で復号して得られる歪みを有する復元画像に対
し、互いに隣接する４符号化ブロツクの画素を等しく含
む歪みを有する修正用ブロツクを構成し、その修正用ブ
ロツク単位でＨａａｒ関数を用いる２次元直交変換を行
い、直流係数を除く低次側の３係数の値の電力和又は絶
対値和と、直流係数と低次側の３係数を除く係数の値の
電力和又は絶対値和の比を計算すれば、上述の処理の適
用の妥当性を修正用ブロツク単位で推定することができ
る。

【００５０】従つて、直流係数と低次側の３係数を除く
係数の値を強制的に零とした後に、低次側の３係数の値
に応じて高次側の係数値に修正値を加え、その修正用ブ
ロツク単位でＨａａｒ関数を用いる２次元逆直交変換を
行う処理を画面全体に対して適用して符号化ブロツクの
境界の段差状の歪みが平滑化された画像を生成し、その
画像と、ブロツク歪みを含み得る無処理の復号画像とを
電力和又は絶対値和の比に応じて重み付けして混合する
処理を画面全体に対して適用することにより、処理の適
用範囲を拡大し、符号化ブロツクの境界の段差状の歪み
を、処理の適用の妥当性に応じて段階的に平滑化し得る
画像信号処理方法を実現できる。

【図面の簡単な説明】

【図１】本発明による画像信号処理方法を適用したブロ
ツク歪平滑化処理装置の第１実施例を示すブロツク図で
ある。

【図２】本発明による画像信号処理方法を適用したブロ
ツク歪平滑化処理装置の第２実施例を示すブロツク図で
ある。

【図３】本発明による画像信号処理方法を適用したブロ
ツク歪平滑化処理装置の第３実施例を示すブロツク図で
ある。

【図４】符号化ブロツクと処理ブロツクの関係の説明に
供する略線図である。

【図５】Ｈａａｒ関数を用いる２次元直交変換回路を示
す接続図である。

【図６】図５と共にＨａａｒ関数を用いる２次元直交変
換回路を示す接続図である。

【図７】10チヤンネルに分割された64個の係数の説明に
供する略線図である。

【図８】修正係数計算回路の構成を示すブロツク図であ
る。

【図９】修正係数計算回路で算出された係数の修正値の
説明に供する略線図である。

【図１０】Ｈａａｒ関数を用いる２次元逆直交変換回路
を示す接続図である。

【図１１】図１０と共にＨａａｒ関数を用いる２次元逆
直交変換回路を示す接続図である。

【図１２】電力比又は絶対値比計算回路の構成を示すブ
ロツク図である。

【図１３】重み付け和計算回路の構成を示すブロツク図
である。

【図１４】電力比又は絶対値比計算回路の構成を示すブ
ロツク図である。

【図１５】ブロツク画像信号の４領域の再構成に必要な
高次側の係数の説明に供する略線図である。

【図１６】画像符号化装置の構成を示すブロツク図であ
る。

【図１７】画像復号装置の構成を示すブロツク図であ
る。

【図１８】ブロツク歪平滑化装置の構成を示すブロツク
図である。

【図１９】符号化ブロツクと処理ブロツクの関係の説明
に供する略線図である。

【図２０】高次係数の処理の説明に供する略線図であ
る。

【符号の説明】

１０……ブロツク化回路、１１……２次元直交変換回
路、１２……遅延回路、１３……修正係数計算回路、１
４……高次係数検査回路、１５……２次元逆直交変換回
路、１５、３４′……データセレクタ、１７……走査信
号化回路、２４、３４……電力比又は絶対値比計算回
路、２６……２次元逆直交変換回路。

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】画像信号を２次元直交変換で符号化して得
   られる符号化データについて、２次元逆直交変換で復号
   して得られる歪みを有する復元画像に対し、 互いに隣接する４符号化ブロツクの画素を等しく含む歪
   みを有する修正用ブロツクを構成し、当該修正用ブロツ
   ク単位でＨａａｒ関数を用いて２次元直交変換し、 直流係数を除く低次側の３係数にのみ零以外の値を持つ
   場合に限り、その３係数の値に応じて高次側の係数値に
   修正値を加え、 上記修正用ブロツク単位でＨａａｒ関数を用いて２次元
   逆直交変換し、上記符号化ブロツクの境界の段差状の歪
   みを平滑化した画像を得るようにしたことを特徴とする
   画像信号処理方法。
2. 【請求項２】画像信号を２次元直交変換で符号化して得
   られる符号化データについて、２次元逆直交変換で復号
   して得られる歪みを有する復元画像に対し、 互いに隣接する４符号化ブロツクの画素を等しく含む歪
   みを有する修正用ブロツクを構成し、当該修正用ブロツ
   ク単位でＨａａｒ関数を用いて２次元直交変換し、 直流係数を除く低次側の３係数の値の電力和又は絶対値
   和と、上記直流係数と上記低次側の３係数を除く係数の
   値の電力和又は絶対値和の比を計算し、 上記直流係数と上記低次側の３係数を除く係数の値を零
   とした後に、上記低次側の３係数の値に応じて高次側の
   係数値に修正値を加え、 上記修正用ブロツク単位でＨａａｒ関数を用いて２次元
   逆直交変換して、符号化ブロツクの境界の段差状の歪み
   を平滑化した画像を生成し、 上記歪みを有する復元画像と、上記符号化ブロツクの境
   界の段差状の歪みを平滑化した画像の２種類の画像を、
   上記電力和又は絶対値和の比に応じて混合し、符号化ブ
   ロツクの境界の歪みを軽減した画像を得るようにしたこ
   とを特徴とする画像信号処理方法。
3. 【請求項３】直流係数と低次側の３係数を除く係数値の
   電力和又は絶対値和を計算する際に、 修正用ブロツクに含まれる画像を各符号化ブロツクの画
   像毎に４分割した場合の４領域の画像の再構成に必要な
   直流係数と、低次側の３係数を除く係数の電力和又は絶
   対値和を各領域毎に計算し、 当該計算結果と低次側の３係数の電力和又は絶対値和の
   比とを計算し、 各領域毎に上記比に応じて、歪みを有する復元画像と、
   上記符号化ブロツクの境界の段差状の歪みを平滑化した
   画像の２種類の画像を混合して、符号化ブロツクの境界
   の歪みを軽減した画像を得るようにしたことを特徴とす
   る請求項２に記載の画像信号処理方法。