JPH10191326A

JPH10191326A - 画像処理装置および方法

Info

Publication number: JPH10191326A
Application number: JP30512197A
Authority: JP
Inventors: Mackin Andrew; マッキンアンドリュー; Masami Ogata; 昌美緒形
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1996-11-08
Filing date: 1997-11-07
Publication date: 1998-07-21

Abstract

(57)【要約】【課題】画像のエッジを劣化させることなく、リンギ
ングノイズを抑制する。【解決手段】水平エッジ検出器２２１および垂直エッ
ジ検出器２２２は、供給された画像信号に対して畳み込
み演算を行い、その結果の絶対値を、水平エッジ信号ｈ
または垂直エッジ信号ｖとして出力する。エッジ判定器
２２４は、信号ｈ，ｖのいずれかの値がしきい値より大
きい場合、エッジに対応する値をエッジマップメモリ２
２６に記憶させる。遅延器２２３は、供給された画像信
号を遅延させた後、水平平滑化器２２５に出力する。次
に、注目画素がエッジに含まれていない場合だけ、水平
平滑化器２２５は、エッジマップメモリ２２６のエッジ
情報に対応して水平方向の平滑化値の算出を行い、その
値を垂直平滑化用メモリ２２７に記憶させ、垂直平滑化
器２２８は、エッジ情報を参照しながら、垂直方向の平
滑化値を算出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置およ
び方法に関し、特に、復号画像に対して、画像のエッジ
を劣化させることなく、ノイズを抑制する画像処理装置
および方法に関する。

【０００２】

【従来の技術】ディジタルデータの圧縮を目的に行われ
る量子化処理では、通常、入力されたデータｃに対して
次式の処理が施される。ｃ’＝ｉｎｔ（ｃ／Ｑ＋０．５）（１）

【０００３】ここで、Ｑは量子化のためのステップサイ
ズであり、ｉｎｔ（）は切り捨て処理を行う関数を示
す。これに対して、データを復元する逆量子化処理で
は、式（２）に示す処理が施される。Ｃ”＝Ｃ’×Ｑ（２）

【０００４】これらは、線形量子化（線形逆量子化）と
呼ばれるものであり、復元されたデータの値ｎ×Ｑ（ｎ
は整数）は、図１６に示すように、量子化ステップで刻
まれた範囲の中央の値となり、次式で規定される範囲の
すべての入力データを代表することになる。ｎ×Ｑ−Ｑ／２≦ｃ＜ｎ×Ｑ＋Ｑ／２（３）

【０００５】また、図１７に示すように、分布に偏りが
大きいデータに対しては、全体の量子化誤差を小さくす
るために、図１８に示すように、分布度数が大きいレベ
ルほど小さな量子化ステップで量子化を行う、非線形量
子化法も提案されている。

【０００６】図１９は、従来の動画像符号化装置の構成
例を表している。この動画像符号化装置１においては、
フレームメモリ１２に符号化されるべき動画像データが
供給され、記憶されるようになされている。

【０００７】動きベクトル検出器１１は、フレームメモ
リ１２に保存された入力画像から、動きベクトルｖを検
出する。動きベクトルの検出のために、通常、１６画素
×１６画素の重ならない小領域としてのマクロブロック
単位（以下、マクロブロックと呼ぶ）のブロックマッチ
ングが行われる。また、より高い精度を実現するため
に、半画素単位のマッチングが行われる場合もある。

【０００８】動き補償器２０は、フレームメモリ２１を
内蔵し、フレームメモリ２１に保存されている、既に符
号化および局部的な復号化が施された画像から、現在、
符号化すべき画像の各位置の画素値を予測する。時刻ｔ
に入力された画像上の位置（ｉ，ｊ）における画素値Ｉ
［ｉ，ｊ，ｔ］の予測値Ｉ’［ｉ，ｊ，ｔ］は、この位
置に対応する動きベクトルｖ（＝（ｖｘ（ｉ，ｊ，
ｔ），ｖｙ（ｉ，ｊ，ｔ）））を用いて、次式のように
決定される。Ｉ’［ｉ，ｊ，ｔ］＝（Ｉ［ｉ’，ｊ’ ，ｔ−Ｔ］＋Ｉ［ｉ’＋１，ｊ’ ，ｔ−Ｔ］＋Ｉ［ｉ’，ｊ’＋１，ｔ−Ｔ］＋Ｉ［ｉ’＋１，ｊ’＋１，ｔ−Ｔ］）／４（４）

【０００９】なお、ｉ’およびｊ’は、次式でそれぞれ
表される。ｉ’＝ｉｎｔ（ｉ＋ｖｘ（ｉ，ｊ，ｔ）×Ｔ）ｊ’＝ｉｎｔ（ｊ＋ｖｙ（ｉ，ｊ，ｔ）×Ｔ）

【００１０】ここで、Ｔは、現在予測を行っている画像
Ｉが入力された時刻と、フレームメモリ上の画像が入力
された時刻の差であり、式（４）の右辺のI[i',j',t-
T]、I[i'+1,j',t-T]、I[i',j'+1,t-T]、I[i'+1,j'+1,t-
T]は、フレームメモリ２１上の画素値を表す。また、ｉ
ｎｔ（ｘ）は、ｘを超えない最大の整数値を表してい
る。

【００１１】差分画像生成器１３は、現在符号化すべき
画素の値と、動き補償器２０によって得られた予測値と
の差分を計算し、マクロブロック毎にその絶対値の総和
ｓを次のように算出する。

【数１】

【００１２】ここで、ＭＢｐｑは、ｐｑで指定されたマ
クロブロックを表す。式（５）の値が予め設定されたし
きい値Ｔ１よりも小さい場合には、そのマクロブロック
に対応する各差分値が出力される。これに対し、式
（５）の値がしきい値Ｔ１よりも大きい場合には、差分
値ではなく、現在符号化すべき画素の値がそのまま出力
される。なお、差分画像生成器１３において、画素値そ
のものが出力されたマクロブロックを、イントラマクロ
ブロックと呼ぶ。また、イントラマクロブロック以外の
マクロブロックを、つまり、差分値が出力されたマクロ
ブロックをインターマクロブロックと呼ぶ。

【００１３】イントラマクロブロックであるか否かを表
すフラグｆは、差分画像生成器１３から可変長符号化器
／多重化器１６に送られて、ビットストリームに多重化
されるとともに、画像加算器１９に送られる。

【００１４】ＤＣＴ（Discrete Cosine Transform）器
１４は、８画素×８画素のブロックに対して２次元ＤＣ
Ｔを施す。量子化器（Ｑ）１５は、ＤＣＴ器１４によっ
て得られたＤＣＴ係数ｃに対して、適当な量子化ステッ
プサイズＱを用いて次式のような量子化処理を行う。ｃ’＝ｉｎｔ（ｃ／Ｑ）（６）

【００１５】量子化の施されたＤＣＴ係数ｃ’は、可変
長符号化器／多重化器１６、および逆量子化器（Ｑ^-1）
１７に供給される。

【００１６】逆量子化器１７では、量子化器１５で用い
られたものと同じステップサイズにより、次のように逆
量子化処理が行われる。ｃ”＝ｃ’×Ｑ（７）

【００１７】そして、ＩＤＣＴ器１８によって、逆量子
化の施されたデータの、８画素×８画素のブロックに対
して逆ＤＣＴが行われる。

【００１８】画像加算器１９は、差分画像生成器１３か
ら送られてくるフラグｆに応じて、ＩＤＣＴ器１８から
出力されたデータ、および、動き補償器２０から出力さ
れた予測値から画素値を復元する。ここで、フラグｆが
イントラマクロブロックを示している場合、画像加算器
１９は、ＩＤＣＴ器１８からのデータそのものが画素値
を表しているために、何も行わない。これに対し、フラ
グｆがインターマクロブロックであることを示している
場合、画像加算器１９は、ＩＤＣＴ器１８からのデータ
に、動き補償器２０から出力された予測値を加算して、
画素値を復元する。復元された画素値は、動き補償器２
０に送られ、フレームメモリ２１に保存される。

【００１９】可変長符号化器／多重化器１６は、量子化
器１５によって得られた量子化されたＤＣＴ係数、動き
ベクトル検出器１１によって得られた動きベクトルｖ、
差分画像生成器１３によって得られたフラグｆに対して
可変長符号化、および多重化を施してビットストリーム
として、所定の伝送路に伝送したり、記録媒体に記録す
る。

【００２０】図２０は、図１９の動画像符号化装置１よ
り出力されたビットストリームの供給を受け、これを復
号化する動画像復号化装置の構成例を表している。この
動画像復号化装置３１においては、まず、逆多重化器／
可変長復号化器４１によって動画像符号化装置１におけ
る可変長符号化器／多重化器１６の逆処理が施され、ビ
ットストリームから、量子化の施されたＤＣＴ係数、動
きベクトルｖ、およびフラグｆを復元する。得られたＤ
ＣＴ係数は逆量子化器４２に、動きベクトルｖは動き補
償器４５に、フラグｆは画像加算器４４に、それぞれ供
給される。

【００２１】逆量子化器４２、およびＩＤＣＴ器４３は
動画像符号化装置１における逆量子化器１７およびＩＤ
ＣＴ器１８と同様のものであり、式（７）の逆量子化処
理、および、ＩＤＣＴを実行する。

【００２２】画像加算器４４は、動画像符号化装置１の
画像加算器１９と同様のものであり、逆多重化器／可変
長復号化器４１から送られてくるフラグｆがイントラマ
クロブロックを示している場合には、ＩＤＣＴ器４３か
らのデータそのものを、またフラグｆがインターマクロ
ブロックであることを示している場合には、ＩＤＣＴ器
４３からのデータに、動き補償器４５によってすでに生
成されている予測値を加算した値を、復元画像の画素値
として出力する。これらの画素値は、予測画像を生成す
るために、動き補償器４５のフレームメモリ４６に保存
される。

【００２３】動き補償器４５は、動画像符号化装置１の
動き補償器４５と同様のものであり、可変長復号化器４
１によって得られた動きベクトルｖ、および、内蔵する
フレームメモリ４６に保存されている画像を用いて、現
在復号化すべき画像の各画素値の予測を行う。

【００２４】図２１と図２２に、ウェーブレット変換を
用いた動画像符号化装置と動画像復号化装置の構成例を
示す。これは、図１９と図２０におけるＤＣＴ器１４、
ＩＤＣＴ器１８，４３を、ウェーブレット変換器５１、
逆ウェーブレット変換器５２，６１に置き換えたもので
あり、その他の動きベクトル検出器１１、量子化器１
５、逆量子化器１７，４２、動き補償器２０，４５など
の基本的構成および動作は、図１９または図２０のもの
と同様である。従って、図１９と図２０におけるＤＣＴ
変換を用いた動画像符号化装置と動画像復号化装置と異
なる構成および動作についてのみ説明する。

【００２５】動画像符号化装置において、差分画像生成
器１３は、図１９のものと同様に、イントラマクロブロ
ックの判定を行うが、ここでイントラマクロブロックと
判定した場合、そのマクロブロック内の画素値の平均値
ａｖｅを次のように計算する。

【数２】

【００２６】ここで、Ｎ_MBpqは、マクロブロック内の画
素数（１６画素×１６画素）を表わしている。

【００２７】マクロブロック内の各画素値からその平均
値ａｖｅを引いた値が、差分値として、ウェーブレット
変換器５１に送られる。一方、イントラマクロブロック
の平均値ａｖｅは、可変長符号化器／多重化器１６に送
られるとともに、画像加算器１９に送られ、画像の復号
に用いられる。

【００２８】画像加算器１９では、イントラマクロブロ
ックに対しては、逆ウェーブレット変換の施されたデー
タに対して、差分画像生成器１３から送られてくるマク
ロブロック平均値ａｖｅを加算して画素値を復元する。

【００２９】これに対して、インターマクロブロックの
場合、ＤＣＴの場合と同様に、差分画像生成器１３は、
入力された画素値と動き補償器２０からの予測値との差
を出力する。そして、その出力がウェーブレット変換器
５１でウェーブレット変換される。画像加算器１９は、
逆ウェーブレット変換器５２により、逆ウェーブレット
変換の施されたデータに、動き補償器２０によってすで
に生成されている予測画像の予測値を加算して、画素値
を復元する。

【００３０】なお、ウェーブレット変換器５１は、差分
画像生成器１３からの１フレームのデータに対してウェ
ーブレット変換し、フレーム単位でウェーブレット変換
が施されたデータが出力される。

【００３１】可変長符号化器／多重化器１６は、量子化
器１５によって得られた量子化されたウェーブレット係
数、動きベクトル検出器１１によって得られた動きベク
トルｖ、差分画像生成器１３によって得られたフラグｆ
およびマクロブロック平均値ａｖｅに対して可変長符号
化、および多重化を施してビットストリームとして、所
定の伝送路に伝送したり、記録媒体に記録する。

【００３２】図２２の動画像復号化装置３１において、
逆ウェーブレット変換器６１、画像加算器４４、動き補
償器４５においても、上述した場合と同様の復号化処理
が実行される。

【００３３】まず、逆多重化器／可変長復号化器４１に
よって動画像符号化装置１における可変長符号化器／多
重化器１６の逆処理が施され、ビットストリームから、
量子化されたウェーブレット係数、動きベクトルｖ、フ
ラグｆおよびマクロブロック平均値ａｖｅを復元する。
得られたウェーブレット係数は逆量子化器４２に、動き
ベクトルｖは動き補償器４５に、フラグｆおよびマクロ
ブロック平均値ａｖｅは画像加算器４４に、それぞれ供
給される。

【００３４】そして、逆量子化器４２および逆ウェーブ
レット変換器６１において、量子化されたウェーブレッ
ト係数に対して、動画像符号化装置３１の逆量子化器４
２および逆ウェーブレット変換器６１と同様の逆処理を
実行し、動き補償器４５において、動画像符号化装置３
１の動き補償器４５と同様の処理を行うことにより、現
在復号化すべき画像の各画素値の予測を行う。

【００３５】そして、画像加算器４４において、動画像
符号化装置３１の画像加算器４４と同様に、フラグｆに
基づいて、イントラマクロブロックに対しては、逆ウェ
ーブレット変換の施されたデータに対して、逆多重化器
／可変長復号化器４１から送られてくるマクロブロック
平均値ａｖｅを加算して画素値を復元する。

【００３６】これに対して、インターブロックの場合
は、動画像符号化装置３１において、入力された画素値
と動き補償器２０からの予測値との差が差分画像生成器
１３から出力されているため、逆ウェーブレット変換の
施されたデータに対して、動き補償器２０によってすで
に生成されている予測画像を予測値を加算して、画素値
を復元する。

【００３７】図２３に、ウェーブレット変換器５１の構
成例を示す。

【００３８】差分画像生成器１３より入力された画像デ
ータＩ［ｉ，ｊ］は、画像上における水平方向に対する
周波数帯域分割処理を施すために、解析用水平ローパス
フィルタ７１および解析用水平ハイパスフィルタ１０１
に供給される。これらのウェーブレット解析フィルタと
しては、例えば図２４（Ａ）（解析用水平ローパスフィ
ルタ７１）または図２４（Ｂ）（解析用水平ハイパスフ
ィルタ１０１）に示すような係数を持つ線形フィルタを
用いることができる。

【００３９】なお、ウェーブレット分割で用いる図２３
の解析用フィルタ、およびウェーブレット合成で用いる
後述する図２５のウェーブレット合成フィルタは、次式
の関係が完全に、または近似的に満足されるように構成
されている。Ｈ０（−ｚ）Ｆ０（ｚ）＋Ｈ１（−ｚ）Ｆ１（ｚ）＝０（９）Ｈ０（ｚ）Ｆ０（ｚ）＋Ｈ１（ｚ）Ｆ１（ｚ）＝２ｚ^-L （１０）

【００４０】Ｈ０（ｚ）、Ｈ１（ｚ）、Ｆ０（ｚ）、お
よび、Ｆ１（ｚ）は、それぞれ解析用ローパスフィルタ
７１，７４，７７，８０，８７，１０４、解析用ハイパ
スフィルタ７５，８２，８４，８９，１０１，１０６、
合成用ローパスフィルタ１２３，１２９，１４３，１５
２，１５８，１６２、合成用ハイパスフィルタ１２７，
１４７，１４９，１５６，１６６，１６８の伝達関数で
あり、Ｌは任意の整数である。この拘束条件によって、
合成された信号が、帯域分割前の入力信号と完全に、あ
るいは近似的に一致することが保証される。これらウェ
ーブレット合成フィルタとして、図２５に示した合成用
ローパスフィルタとハイパスフィルタの係数の例を図２
６（Ａ）と図２６（Ｂ）に示す。

【００４１】図２３において、解析用水平ローパスフィ
ルタ７１は、入力された画像データＩ［ｉ，ｊ］から水
平方向の低周波成分である水平低周波数帯域信号Ｌ
［ｉ，ｊ］を抽出し、水平サブサンプリング器７２に出
力する。水平サブサンプリング器７２は、次式に従っ
て、１サンプル毎の間引き処理を実行し、生成された信
号Ｌ［ｉ’，ｊ］をメモリ７３に出力する。Ｘ［ｉ’，ｊ］＝Ｘ［ｉ，ｊ］，ｉ’＝ｉ／２（１１）

【００４２】ただし、この場合、ＸはＬである。

【００４３】メモリ７３は、解析用垂直ローパスフィル
タ７４または解析用垂直ハイパスフィルタ７５において
必要となるデータを確保する複数のラインメモリで構成
される記憶回路であり、垂直方向のフィルタリング処理
に用いられるフィルタのタップの数だけのラインメモリ
を備えている。例えば、図２４に示す係数のフィルタを
用いる場合、解析用垂直ローパスフィルタ７４または解
析用垂直ハイパスフィルタ７５には、タップ数の多いロ
ーパスフィルタに合わせて９本のラインメモリが設けら
れる。

【００４４】解析用垂直ローパスフィルタ７４および解
析用垂直ハイパスフィルタ７５では、垂直方向への周波
数帯域分割を行うために、メモリ７３に保存されたデー
タＬ［ｉ’，ｊ］に対して、画像上における垂直方向へ
のローパスフィルタリング処理およびハイパスフィルタ
リング処理が行われる。ここで用いるフィルタとして、
水平方向へのフィルタリング処理で用いるもの（解析用
水平ローパスフィルタ７１または解析用水平ハイパスフ
ィルタ１０１）と同じものを使用してもよい。

【００４５】解析用垂直ローパスフィルタ７４により生
成された信号ＬＬ［ｉ’，ｊ］と、解析用垂直ハイパス
フィルタ７５により生成された信号ＬＨ［ｉ’，ｊ］
は、それぞれ垂直サブサンプリング器７６，９１に供給
され、垂直サブサンプリング器７６，９１は、画像上に
おける垂直方向のサブサンプリング処理、すなわち、１
ライン毎の間引き処理を式（１２）に従ってそれぞれ行
う。Ｘ［ｉ’，ｊ’］＝Ｘ［ｉ’，ｊ］，ｊ’＝ｊ／２（１２）

【００４６】ただし、この場合、Ｘは、ＬＬまたはＬＨ
である。

【００４７】一方、解析用水平ハイパスフィルタ１０１
は、画像データＩ［ｉ，ｊ］から水平高周波数帯域信号
Ｈ［ｉ，ｊ］を分離し、水平サブサンプリング器１０２
は、上記した式（１１）に従って、間引き処理を施し
（ただし、この場合、ＸはＨ）、メモリ１０３に記憶さ
せる。

【００４８】解析用垂直ローパスフィルタ１０４と解析
用垂直ハイパスフィルタ１０６は、解析用垂直ローパス
フィルタ７４と解析用垂直ハイパスフィルタ７５と同様
に、画像上における垂直方向へのローパスフィルタリン
グ処理とハイパスフィルタリング処理を行う。

【００４９】解析用垂直ローパスフィルタ１０４により
生成された信号ＨＬ［ｉ’，ｊ］と解析用垂直ハイパス
フィルタ１０６により生成された信号ＨＨ［ｉ’，ｊ］
は、それぞれ垂直サブサンプリング器１０５，１０７に
供給され、垂直サブサンプリング器１０５，１０７は、
画像上における垂直方向のサブサンプリング処理、すな
わち、１ライン毎の間引き処理を式（１２）に従って行
う。ただし、このときの式（１２）のＸは、ＨＬまたは
ＨＨである。

【００５０】そして、垂直サブサンプリング器９１，１
０５，１０７で垂直サブサンプリング処理の施された、
各周波数帯域信号ＬＨ［ｉ’，ｊ’］，ＨＬ［ｉ’，
ｊ’］，ＨＨ［ｉ’，ｊ’］は、そのまま、ウェーブレ
ット変換器５１から量子化器１５に出力される。

【００５１】一方、垂直サブサンプリング器７６より出
力される、水平方向および垂直方向ともにローパスフィ
ルタの施された信号ＬＬ［ｉ’，ｊ’］は、２段目の解
析用水平ローパスフィルタ７７および解析用水平ハイパ
スフィルタ８４に供給される。

【００５２】以下、上述した解析用水平ローパスフィル
タ７１、水平サブサンプリング器７２、メモリ７３、解
析用垂直ローパスフィルタ７４、解析用垂直ハイパスフ
ィルタ７５、垂直サブサンプリング器７６，９１におけ
る場合と同様の処理が、解析用水平ローパスフィルタ７
７、水平サブサンプリング器７８、メモリ７９、解析用
垂直ローパスフィルタ８０、解析用垂直ハイパスフィル
タ８２、垂直サブサンプリング器８１，８３において行
われる。

【００５３】また、上述した解析用水平ハイパスフィル
タ１０１、水平サブサンプリング器１０２、メモリ１０
３、解析用垂直ローパスフィルタ１０４、解析用垂直ハ
イパスフィルタ１０６、垂直サブサンプリング器１０
５，１０７における場合と同様の処理が、解析用水平ハ
イパスフィルタ８４、水平サブサンプリング器８５、メ
モリ８６、解析用垂直ローパスフィルタ８７、解析用垂
直ハイパスフィルタ８９、垂直サブサンプリング器８
８，９０において行われる。

【００５４】このようにして、帯域分割された信号LLLL
[i",j"]，LHLL[i",j"]，HLLL[i",j"]，HHLL[i",j"]が、
信号ＬＬ［ｉ’，ｊ’］から生成される。

【００５５】以上のようにして生成された、ウェーブレ
ット変換器５１の出力信号LLLL[i",j"]、LHLL[i",j"]、
HLLL[i",j"]、HHLL[i",j"]、および、ＬＨ［ｉ’，
ｊ’］、ＨＬ［ｉ’，ｊ’］、ＨＨ［ｉ’，ｊ’］が、
各周波数帯域に対応するウェーブレット係数となる。

【００５６】一方、図２５に示した逆ウェーブレット変
換器５２（逆ウェーブレット変換器６１も同様に構成さ
れている）では、図２３に示したウェーブレット変換器
５１によって得られた各周波数帯域信号、すなわちウェ
ーブレット係数LLLL[i",j"]、LHLL[i",j"]、HLLL[i",
j"]、HHLL[i",j"]、および、ＬＨ［ｉ’，ｊ’］、ＨＬ
［ｉ’，ｊ’］、ＨＨ［ｉ’，ｊ’］が順次合成され、
画像Ｉ［ｉ，ｊ］の復元が行われる。

【００５７】すなわち、はじめに、入力された周波数帯
域信号の中で、２段階の帯域分割処理が施されているLL
LL[i",j"]、LHLL[i",j"]、HLLL[i",j"]、HHLL[i",j"]の
合成が行われる。これらの信号は、複数のラインメモリ
からなるメモリ１２１，１２５，１４１，１４５に一旦
保存され、後に続く合成用垂直ローパスフィルタ１２
３、合成用垂直ハイパスフィルタ１２７、合成用垂直ロ
ーパスフィルタ１４３、または合成用垂直ハイパスフィ
ルタ１４７で必要とされるライン数のデータが確保され
る。

【００５８】なお、ここで必要なライン数は、垂直フィ
ルタのタップ数が奇数の場合には、（タップ数＋１）／
２本、タップ数が偶数の場合には、タップ数／２本とな
る。例えば、ローパスフィルタとして、図２６（Ａ）に
示すものを用いる場合、２本のラインメモリが合成用垂
直ローパスフィルタ１２３の前に設置される。ここで、
図２５のメモリ１２１，１２５，１４１，１４５，１５
０，１５４，１６０，１６４において必要となるライン
メモリの数が、図２３のメモリ７３，７９，８６，１０
３のものと異なるのは、後述するように、図２５におい
ては、メモリとフィルタリング処理の間で垂直方向のア
ップサンプリング処理が行われるためである。

【００５９】垂直アップサンプリング器１２２，１２
６，１４２，１４６は、式（１３）に示すように、入力
される各ライン間に、すべてがゼロである１ライン分の
データを挿入する処理を行う。

【数３】

【００６０】垂直アップサンプリング器１２２，１２
６，１４２，１４６で垂直アップサンプリング処理の施
された各周波数帯域信号LLLL[i",j']、LHLL[i",j']、HL
LL[i",j']、および、HHLL[i",j']は、合成用垂直ローパ
スフィルタ１２３、合成用垂直ハイパスフィルタ１２
７、合成用垂直ローパスフィルタ１４３、または合成用
垂直ハイパスフィルタ１４７によって、それぞれ垂直方
向の補間処理を施され、加算器１２４または１４４に送
られる。

【００６１】ここで、上述したように、これらの合成用
フィルタ１２３，１２７，１４３，１４７は、対応する
解析用フィルタ８０，８２，８７，８９とともに、式
（９）と式（１０）の関係を満たす必要があるので、解
析用フィルタとして図２４に示す係数のものを用いた場
合には、図２６に示す係数のフィルタが合成用フィルタ
として使用される。

【００６２】補間処理の施された周波数帯域信号LLLL
[i",j']とLHLL[i",j']、および、HLLL[i",j']とHHLL
[i",j']は、加算器１２４または加算器１４４によって
それぞれ加算される。そして、それらの加算の結果が水
平アップサンプリング器１２８または１４８にそれぞれ
供給され、式（１４）に従って水平方向のアップサンプ
リング処理が施される。

【数４】

【００６３】合成用水平ローパスフィルタ１２９と合成
用水平ハイパスフィルタ１４９は、水平アップサンプリ
ング器１２８または１４８で水平アップサンプリング処
理の施された各信号に対して水平方向のフィルタリング
処理を施し、補間処理を行う。補間処理の施された２つ
の信号は加算器１４０によって加算され、低周波数帯域
信号ＬＬ［ｉ’，ｊ’］が復元される。

【００６４】次に、メモリ１５０乃至合成用水平ハイパ
スフィルタ１６８において、この復元された信号ＬＬ
［ｉ’，ｊ’］と、入力された周波数帯域信号ＬＨ
［ｉ’，ｊ’］、ＨＬ［ｉ’，ｊ’］、および、ＨＨ
［ｉ’，ｊ’］に対して、上述したメモリ１２１乃至合
成用水平ハイパスフィルタ１４９における処理と同様の
処理が行われて、画像信号Ｉ［ｉ，ｊ］が再構成され
る。

【００６５】上述のＤＣＴと動き補償を利用した画像符
号化方法は、国際標準である、ＭＰＥＧ（Moving Pictu
re Experts Group）１方式、ＭＰＥＧ２方式、Ｈ．２６
３方式などに採用されており、現在広く利用されてい
る。

【００６６】

【発明が解決しようとする課題】しかしながら、上述の
ＤＣＴと動き補償を利用した画像符号化方法で符号化が
行われる場合、画像信号がブロック単位で処理されるた
め、ビットレートが低い場合には多くのブロックノイズ
が発生するので、その符号化された画像を復号してその
まま再生すると、画像が劣化するという問題を有してい
る。

【００６７】一方、ウェーブレット変換を利用した画像
符号化方法で符号化が行われる場合、画像信号の処理が
フレーム単位であるので、ブロックノイズの発生を回避
することができるが、エッジ周辺の平坦な領域において
ウェーブレット符号化に特有のリンギングノイズが発生
するので、その符号化された画像を復号してそのまま再
生すると、画像が劣化するという問題を有している。

【００６８】本発明は、このような状況に鑑みてなされ
たもので、画像信号の画素値の空間的な変化に対応し
て、所定の画素に対するエッジの情報を検出し、そのエ
ッジの情報に対応して選択された画素に対して平滑化処
理を行うようにして、画像のエッジを劣化させることな
く、ノイズを抑制することができるようにするものであ
る。

【００６９】

【課題を解決するための手段】請求項１に記載の画像処
理装置は、画像信号の画素値の空間的な変化に応じて、
所定の画素に対するエッジの情報を検出する検出手段
と、エッジの情報に応じて画像信号に対して平滑化処理
を実行する平滑化手段とを備えることを特徴とする。

【００７０】請求項２３に記載の画像処理方法は、画像
信号の画素値の空間的な変化に応じて、所定の画素に対
するエッジの情報を検出するステップと、エッジの情報
に応じて画像信号に対して平滑化処理を実行するステッ
プとを備えることを特徴とする。

【００７１】請求項１に記載の画像処理装置および請求
項２３に記載の画像処理方法においては、画像信号の画
素値の空間的な変化に応じて、所定の画素に対するエッ
ジの情報が検出され、そのエッジの情報に応じて平滑化
処理が実行される。

【００７２】

【発明の実施の形態】以下に本発明の実施の形態を説明
するが、特許請求の範囲に記載の発明の各手段と以下の
実施の形態との対応関係を明らかにするために、各手段
の後の括弧内に、対応する実施の形態（但し一例）を付
加して本発明の特徴を記述すると、次のようになる。但
し勿論この記載は、各手段を記載したものに限定するこ
とを意味するものではない。

【００７３】請求項１に記載の画像処理装置は、画像信
号の画素値の空間的な変化に応じて、所定の画素に対す
るエッジの情報を検出する検出手段（例えば図２の水平
エッジ検出器２２１、垂直エッジ検出器２２２）と、エ
ッジの情報に応じて画像信号に対して平滑化処理を実行
する平滑化手段（例えば図２の水平平滑化器２２５、垂
直平滑化器２２８）とを備えることを特徴とする。

【００７４】請求項４に記載の画像処理装置は、符号化
された画像信号を受信する受信手段（例えば図１の逆多
重化器／可変長復号化器４１）と、符号化された画像信
号を復号し、復号された画像信号を発生する発生手段
（例えば図１の逆多重化器／可変長復号化器４１）とを
さらに備え、符号化された画像信号は、少なくとも周波
数変換処理および量子化処理により符号化されているこ
とを特徴とする。

【００７５】請求項６に記載の画像処理装置は、符号化
された画像信号を復号する復号手段（例えば図１の逆量
子化器４２）をさらに備え、符号化された画像信号は、
少なくとも量子化処理により符号化された画像信号であ
り、復号手段は、符号化信号を所定の量子化ステップに
従って逆量子化し、検出手段は、量子化ステップの値に
応じて、しきい値を設定することを特徴とする。

【００７６】請求項１０に記載の画像処理装置は、符号
化された画像信号を受信する受信手段（例えば図１の逆
多重化器／可変長復号化器４１）と、符号化された画像
信号を復号し、復号された画像信号を発生する発生手段
（例えば図１の逆多重化器／可変長復号化器４１）とを
さらに備え、符号化された画像信号は、少なくとも周波
数変換処理および量子化処理により符号化されているこ
とを特徴とする。

【００７７】請求項１２に記載の画像処理装置は、符号
化された画像信号を復号する復号手段（例えば図１の逆
量子化器４２）をさらに備え、符号化された画像信号
は、少なくとも量子化処理により符号化された画像信号
であり、復号手段は、符号化信号を所定の量子化ステッ
プに従って逆量子化し、検出手段は、量子化ステップの
値に応じて、エッジ係数を決定することを特徴とする。

【００７８】請求項１９に記載の画像処理装置は、符号
化された画像信号を復号する復号手段（例えば図１の逆
量子化器４２）をさらに備え、復号された画像信号は、
少なくとも量子化処理により符号化された画像信号であ
り、復号手段は、符号化信号を所定の量子化ステップに
従って逆量子化し、平滑化手段は、量子化ステップの値
に応じて、平滑化の度合いを設定することを特徴とす
る。

【００７９】請求項２１に記載の画像処理装置は、符号
化された画像信号を受信する受信手段（例えば図１の逆
多重化器／可変長復号化器４１）と、符号化された画像
信号を復号し、復号された画像信号を発生する発生手段
（例えば図１の逆多重化器／可変長復号化器４１）とを
さらに備え、符号化された画像信号は、少なくとも周波
数変換処理および量子化処理により符号化されているこ
とを特徴とする。

【００８０】図１は、本発明の画像処理装置の第１の実
施の形態である画像復号化装置３２の構成例を示してい
る。この画像復号化装置３２は、ウェーブレット変換を
利用して符号化された画像信号を復号する。

【００８１】なお、本発明の画像符号化装置３２の構成
および動作において、図２２の画像復号化装置の構成お
よび動作と同一のものについては同一符号を付すが、本
発明として以下に説明する。

【００８２】まず、逆多重化器／可変長復号化器４１
は、例えば、図２１の動画像符号化装置によって生成さ
れたビットストリームから、１フレーム単位で量子化さ
れたウェーブレット係数、動きベクトルｖ、フラグｆお
よびマクロブロック平均値ａｖｅを復元する。得られた
ウェーブレット係数は、１フレーム単位で逆量子化器４
２に、動きベクトルｖは、マクロブロック毎に動き補償
器４５に、フラグｆおよびマクロブロック平均値ａｖｅ
は、マクロブロック毎に画像加算器４４に、それぞれ供
給される。

【００８３】そして、逆量子化器４２は、１フレーム単
位で量子化されたウェーブレット係数を量子化処理に対
応する逆量子化処理を実行し、１フレーム単位でウェー
ブレット係数を出力する。

【００８４】逆ウェーブレット変換器６１は、１フレー
ム単位でウェーブレット係数を、ウェーブレット変換処
理に対応する逆ウェーブレット変換処理を実行し、マク
ロブロック単位で逆変換されたデータを画像加算器４４
に供給する。また、動き補償器４５は、フレームメモリ
４６を内蔵し、フレームメモリ４６に保存されているす
でに復号された画像、および、逆多重化器／可変長復号
化器４１によって得られた動きベクトルｖを用いて、現
在復号化すべき画像の各画素値の予測を行う。

【００８５】画像加算器４４は、逆多重化器／可変長復
号化器４１によって得られたフラグｆに基づいて、イン
トラマクロブロックに対しては、逆ウェーブレット変換
の施されたデータに対して、逆多重化器／可変長復号化
器４１から送られてくるマクロブロック平均値ａｖｅを
加算して画素値を復元する。これに対して、インターブ
ロックの場合は、逆ウェーブレット変換の施されたデー
タに対して、動き補償器２０によってすでに生成されて
いる予測画像を予測値を加算して、画素値を復元する。
この復元された画像がリンギング補正器２０１に供給さ
れるとともに、動き予測画像を生成するために動き補償
器４５のフレームメモリ４６に供給される。

【００８６】リンギングノイズ補正器２０１は、画像加
算器４４によって復元された画像に対して、エッジ検出
処理、および平滑化処理を行い、復元された画像として
最終的に出力する。

【００８７】図２は、リンギングノイズ補正器２０１の
構成例を示している。

【００８８】水平エッジ検出器２２１は、例えば図３
（Ａ）に示すような２次元の１次微分フィルタ（水平エ
ッジ検出用フィルタ）を用いた畳み込み演算を行い、そ
の出力値の絶対値を水平エッジ信号ｈとしてエッジ判定
器２２４に出力するようになされている。

【００８９】垂直エッジ検出器２２２は、図３（Ｂ）に
示すような２次元１次微分フィルタ（垂直エッジ検出用
フィルタ）による畳み込み演算を行い、その出力値の絶
対値を垂直エッジ信号ｖとしてエッジ判定器２２４に出
力するようになされている。

【００９０】エッジ判定器２２４は、水平エッジ信号ｈ
および垂直エッジ信号ｖに対して、予め設定されたしき
い値Ｔを利用して、しきい値処理を行うようになされて
いる。即ち、水平エッジ信号ｈおよび垂直エッジ信号ｖ
のいずれか一方の値が、しきい値Ｔよりも大きい場合、
エッジ判定器２２４は、エッジ情報として、エッジであ
ることを示す値（例えば１）を出力し、その出力信号を
エッジマップメモリ２２６に記憶させる。また、いずれ
のエッジ信号もしきい値以下である場合には、エッジ判
定器２２４は、エッジ情報としてエッジでないことを示
す値（例えば０）を出力し、その出力信号をエッジマッ
プメモリ２２６に記憶させる。

【００９１】図４は、エッジマップメモリ２２６のメモ
リの構成の一例を示している。エッジマップメモリ２２
６は、図４に示すように複数のラインメモリで構成され
ており、後述する垂直平滑化器２２８で利用される近傍
領域の大きさ数（２Ｎ＋１）と同じ数のラインメモリを
有している。

【００９２】このラインメモリは、画像の水平方向の画
素数と同じ数のセルを有し、１ライン分の画素に対応す
る所定の値を記憶する。さらに、ラインメモリの各セル
は、本実施の形態においては、１ビットメモリで構成さ
れ、対応する画素がエッジに含まれているか否かを表
す、１または０の値を記憶する。

【００９３】また、エッジマップメモリ２２６は、（２
Ｎ＋１）ライン分の水平平滑化処理、および、それらの
データに対応する垂直平滑化処理が終了したとき、各ラ
インの記憶内容を、図４に示すように１ラインずつシフ
トさせ、空になったラインメモリに、エッジ判定器２２
４からの、画像上の次のラインのエッジ情報を記憶す
る。

【００９４】遅延器２２３は、後述する水平平滑化器２
２５で利用される近傍領域の大きさ（２Ｎ＋１）と同じ
数のデータに対するエッジ情報がエッジマップメモリ２
２６に記憶されるまでの時間だけ、入力された画素デー
タ（復元された画像信号）を遅延させるようになされて
いる。

【００９５】水平平滑化器２２５は、エッジマップメモ
リ２２６に記憶されているエッジ情報に対応して、遅延
器２２３より順次供給されるデータ列に対して平滑化処
理を施し、平滑化処理の施されたデータを、垂直平滑化
用メモリ２２７に順次記憶させるようになされている。

【００９６】垂直平滑化用メモリ２２７は、図４に示す
エッジマップメモリ２２６と同様、複数のラインメモリ
で構成されており、後述する垂直平滑化器２２８で利用
される近傍領域の大きさ（２Ｎ＋１）と同じ数のライン
メモリを有している。

【００９７】垂直平滑化用メモリ２２７は、１ライン分
の垂直平滑化処理が終了した時点で、エッジマップ２２
６と同様な方法で、各ラインのデータを１ライン分シフ
トさせ、空になったラインメモリに、水平平滑化器２２
５からの、画像上の次のラインに対応するデータを記憶
する。

【００９８】ただし、エッジマップメモリ２２６の各セ
ルが１ビットメモリで構成されているのに対して、垂直
平滑化用メモリ２２７の各セルは、水平平滑化処理後の
画素データを十分な精度で保存するのに必要なビット数
のメモリで構成されている。

【００９９】垂直平滑化器２２８は、垂直方向の平滑化
に必要とされるライン分のデータが垂直平滑化用メモリ
２２７に記憶されると、エッジマップメモリ２２６のエ
ッジ情報を参照しながら、垂直平滑化用メモリ２２７に
保存されたデータのうちの垂直方向に配列されているデ
ータ列ごとに、水平平滑化器２２５と同様の処理を施す
ようになされている。

【０１００】次に、図１の画像復号化装置のリンギング
ノイズ補正器２０１の動作について図５のフローチャー
トを用いて説明する。

【０１０１】最初に、ステップＳ１において、画像加算
器４４からの画像信号が、水平エッジ検出器２２１、垂
直エッジ検出器２２２、および、遅延器２２３に供給さ
れる。

【０１０２】そして、ステップＳ２に進み、ステップＳ
２において、水平エッジ検出器２２１は、例えば図３
（Ａ）に示すような２次元の１次微分フィルタを用いた
畳み込み演算を行い、その出力値の絶対値を水平エッジ
信号ｈとしてエッジ判定器２２４に出力し、垂直エッジ
検出器２２２は、図３（Ｂ）に示すような２次元１次微
分フィルタによる畳み込み演算を行い、その出力値の絶
対値を垂直エッジ信号ｖとしてエッジ判定器２２４に出
力する。

【０１０３】そして、ステップＳ３に進み、ステップＳ
３において、エッジ判定器２２４は、水平エッジ信号ｈ
および垂直エッジ信号ｖの少なくともいずれか一方の値
が、しきい値Ｔより大きいか否かを判断し、水平エッジ
信号ｈおよび垂直エッジ信号ｖのいずれか一方の値がし
きい値Ｔより大きい場合、エッジ情報として、エッジで
あることを示す値（例えば１）を出力し、エッジマップ
メモリ２２６は、その出力信号を記憶する。また、いず
れのエッジ信号もしきい値以下である場合には、エッジ
でないことを示す値（例えば０）を出力し、エッジマッ
プメモリ２２６は、その出力信号を記憶する。

【０１０４】一方、遅延器２２３は、水平平滑化処理に
必要となるエッジ情報がエッジマップメモリ２２６に記
憶されるまでの時間だけ、入力された画素データを遅延
させた後、データを水平平滑化器２２５に出力する。

【０１０５】次に、ステップＳ４に進み、ステップＳ４
において、水平平滑化器２２５は、注目画素がエッジに
含まれていない場合だけ、その画素に対して、近傍の画
素のうちのエッジに含まれている画素の検出、各画素に
対応する重み係数の生成、および、平滑化値の算出の各
処理を行う。ここで、水平平滑化器２２５の処理動作に
ついて、図６のフローチャートを用いて説明する。

【０１０６】最初に、ステップＳ５１において、注目画
素ｉがエッジに含まれているかどうかを判定する。注目
画素ｉがエッジに含まれている場合はステップＳ５６に
進み、注目画素ｉの値をそのまま垂直平滑化用メモリ２
２７に記憶する。一方、注目画素ｉがエッジに含まれて
いない場合は、ステップＳ５２に進む。ステップＳ５２
において、近傍の画素のうちのエッジに含まれている画
素の検出の処理において、水平平滑化器２２５は、注目
画素ｉの左右の各Ｎ画素の領域（近傍領域）に、エッジ
に含まれている画素（エッジ画素）があるか否かを、エ
ッジマップメモリ２２６を参照して調べる。

【０１０７】そして、ステップＳ５３に進み、ステップ
Ｓ５３において、図７に示すように、注目画素ｉの左側
の近傍領域に存在するエッジ画素の中で注目画素iに最
も近い画素（隣接エッジ画素）をｊ、右側の隣接エッジ
画素をｋとする。ただし、図８（Ａ）に示すように、各
近傍領域内にエッジ画素が存在しない場合には、その近
傍領域のうち、注目画素から最も離れた画素をｊまたは
ｋとする。また、図８（Ｂ）に示すように、近傍領域
が、画枠（画像が存在する領域）の外側を含み、かつ、
注目画素ｉと画枠の間にエッジ画素が存在しない場合に
は、画枠境界の画素を隣接エッジ画素とする。なお、図
７および図８においては、一例として近傍領域の大きさ
Ｎは４に設定されている。

【０１０８】次に、ステップＳ５４に進み、ステップＳ
５４において、画素の重み係数の生成を行う場合、水平
平滑化器２２５は、隣接エッジ画素ｊと隣接エッジ画素
ｋに挟まれた各画素に対応する重み係数を生成する。こ
こで、水平平滑化器２２５における重み係数の生成動作
について、図９のフローチャートを用いて説明する。

【０１０９】まず、ステップＳ７１において、水平平滑
化器２２５は、隣接エッジ画素ｊから注目画素ｉまでの
距離と、隣接エッジ画素ｋから注目画素ｉまでの距離を
算出する。そして、ステップＳ７２に進み、ステップＳ
７２において、距離が大きい方の隣接エッジ画素を画素
ｐ、距離が小さい方のものを画素ｑとする。

【０１１０】図７の例においては、隣接エッジ画素ｊか
ら注目画素ｉまでの距離が２であり、隣接エッジ画素ｋ
から注目画素ｉまでの距離が３であるので、隣接エッジ
画素ｋが、画素ｐとなり、隣接エッジ画素ｊが画素ｑと
なる。

【０１１１】そして、ステップＳ７３に進み、ステップ
Ｓ７３において、水平平滑化器２２５は、画素ｐに対応
する重み係数を１に設定し、画素ｐの隣りの画素から注
目画素ｉまでの各画素に、隣りの画素の重み係数との差
がＤとなり、かつ、値が順次大きくなるように重み係数
を順次割り当てていく。なお、Ｄの値は平滑化の度合い
を調整するパラメータであり、図７の例では、Ｄの値は
７に設定されている。

【０１１２】さらに、ステップＳ７４に進み、ステップ
Ｓ７４において、水平平滑化器２２５は、注目画素ｉか
ら画素ｑに向けて、隣りの画素の重み係数との差が上述
のＤとなり、かつ、値が順次小さくなるように重み係数
を割り当てていく。

【０１１３】このようにして、画素ｐから画素ｑまで
（即ち、隣接エッジ画素ｊからｋまで）の各画素に対す
る重み係数が設定される。そして、重み係数が設定され
た後、図６のフローチャートに戻る。

【０１１４】次に、ステップＳ５５に進み、ステップＳ
５５において、注目画素ｉの平滑化値の算出が行われ
る。水平平滑化器２２５は、次の式（１５）に従って、
隣接エッジ画素ｊと隣接エッジ画素ｋに挟まれた画素に
対応する上述の重み係数を用いて、重み付き平均値を計
算し、その計算結果を、注目画素ｉに対する平滑化値と
して出力する。

【数５】

【０１１５】ここで、ｘ’（ｉ）は注目画素ｉにおける
平滑化後の値を表し、Ｒは、注目画素ｉとその左右の近
傍領域に含まれる画素の集合を表している。ｘ（ｍ）
は、集合Ｒの元である画素ｍの平滑化前の値を表し、ｗ
（ｍ）は画素ｍに対する重み係数を表している。

【０１１６】このようにして、算出された平滑化値は、
ステップＳ５６において、垂直平滑化用メモリ２２７に
一旦、記憶される。そして、ステップＳ５７に進み、ス
テップＳ５７において、次の垂直平滑化処理に必要とな
る２Ｎ＋１ライン分の水平平滑化データが垂直平滑化用
メモリ２２７に用意されたか否かが判定され、もし用意
されていないなら、ステップＳ５１に戻り、同一の処理
が繰り返される。一方、用意が完了したならば、図５の
フローチャートに戻る。

【０１１７】次に、ステップＳ５に進み、ステップＳ５
において、垂直平滑化器２２８は、平滑化の処理に必要
とされるライン数のデータが垂直平滑化用メモリ２２７
に記憶されると、エッジマップメモリ２２６のエッジ情
報を参照しながら、垂直平滑化用メモリ２２７に保存さ
れたデータのうちの垂直方向に配列されているデータ列
ごとに、平滑化値を算出する。

【０１１８】即ち、垂直平滑化器２２８は、画素がエッ
ジに含まれていない場合、その画素に対して、近傍の画
素のうちのエッジに含まれている画素の検出、各画素に
対応する重み係数の生成、および、平滑化値の算出の各
処理を行う。ここで、垂直平滑化器２２８の処理動作に
ついて、図１０のフローチャートを用いて説明する。

【０１１９】最初に、ステップＳ９１において、注目画
素ｉがエッジに含まれているかどうかを判定する。もし
注目画素ｉがエッジに含まれている場合は、処理を終了
し、図５のフローチャートに戻る。一方、注目画素ｉが
エッジに含まれていない場合は、ステップＳ９２に進
む。そして、ステップＳ９２において、近傍の画素のう
ちのエッジに含まれている画素の検出の処理において、
垂直平滑化器２２８は、注目する画素ｉの、上下の各Ｎ
画素の領域に、エッジに含まれている画素（エッジ画
素）があるか否かを、エッジマップメモリ２２６を参照
して調べる。

【０１２０】そして、ステップＳ９３に進み、ステップ
Ｓ９３において、注目画素ｉの上側の近傍領域に存在す
るエッジ画素の中で注目画素ｉに最も近い画素（隣接エ
ッジ画素）をｊ、下側の隣接エッジ画素をｋとする。た
だし、各近傍領域内にエッジ画素が存在しない場合に
は、その近傍領域のうち、注目画素から最も離れた画素
をｊまたはｋとする。また、近傍領域が画枠の外側を含
み、かつ、注目画素ｉと画枠の間にエッジ画素が存在し
ない場合には、画枠境界の画素を隣接エッジ画素とす
る。

【０１２１】次に、ステップＳ９４に進み、ステップＳ
９４において、画素の重み係数の生成を行う場合、垂直
平滑化器２２８は、隣接エッジ画素ｊから注目画素ｉま
での距離と、隣接エッジ画素ｋから注目画素ｉまでの距
離を算出し、距離が大きい方を隣接エッジ画素を画素
ｐ、距離が小さい方のものを画素ｑとして、隣接エッジ
画素ｊと隣接エッジ画素ｋに挟まれた各画素に対応する
重み係数を、図９のフローチャートに基づいて、水平平
滑化器２２５と同様に算出する。

【０１２２】そして、ステップＳ９５に進み、ステップ
Ｓ９５において、垂直平滑化器２２８は、上述の式（１
５）に従って、隣接エッジ画素ｊと隣接エッジ画素ｋに
挟まれた画素に対応する上述の重み係数を用いて、重み
付き平均値を計算し、その計算結果を、注目画素ｉに対
する平滑化値として出力し、図５のフローチャートに戻
る。

【０１２３】そして、ステップＳ６において、平滑化さ
れた復号画素が出力される。

【０１２４】以上のようにして、リンギングノイズ補正
器２２８は、エッジ以外の部分だけを平滑化するので、
エッジを劣化させることなく、リンギングノイズなどの
ノイズを抑制することができる。

【０１２５】なお、上記実施の形態においては、水平平
滑化器２２５と、垂直平滑化器２２８が、同じ式（式
（１５））で平滑化値を算出しているが、異なる式を利
用するようにしてもよい。

【０１２６】また、上記第１の実施の形態では、エッジ
検出を行うためのフィルタとして、図３に示したものを
用いたが、他のフィルタを用いるようにしてもよい。

【０１２７】さらに、上述の動作の説明においては、輝
度信号と色差信号を区別していないが、実際は、同様な
処理が両方の信号に対して行われる。また、エッジ検出
は輝度信号のみに行い、そのエッジ情報を用いて、輝度
情報および色差信号に対する平滑化処理を行うようにし
てもよい。さらに、輝度信号と色差信号に対して、平滑
化の度合いを決める隣接画素間の重み係数の差Ｄ、およ
び、近傍領域の大きさＮに、異なる値を設定してもよ
い。

【０１２８】次に、本発明の画像処理装置の第２の実施
の形態である画像復号化装置について説明する。

【０１２９】第２の実施の形態の構成は、第１の実施の
形態（図１）と同様であり、リンギングノイズ補正器２
０１のエッジマップメモリ２２６の内部のメモリ構成、
並びに、水平エッジ検出器２２１、垂直エッジ検出器２
２２、エッジ判定器２２４、水平平滑化器２２５および
垂直平滑化器２２８の動作が異なる。

【０１３０】第２の実施の形態の水平エッジ検出器２２
１および垂直エッジ検出器２２２は、図３に示すような
エッジ検出フィルタによる線形フィルタリング（畳み込
み積分）を行い、エッジ検出フィルタの出力値をそのま
ま水平エッジ信号ｈまたは垂直エッジ信号ｖとして出力
する。

【０１３１】エッジ判定器２２４は、第１の実施の形態
で示したような各画素に対してエッジであるか否かの２
値的な判定ではなく、水平エッジ検出器２２１および垂
直エッジ検出器２２２によって得られた水平エッジ信号
ｈおよび垂直エッジ信号ｖから、その画素がエッジであ
る可能性の高さを示すエッジ係数ａを算出して、そのエ
ッジ係数ａがエッジマップメモリ２２６に記憶される。
エッジ係数ａは、例えば式（１６）に従って算出され
る。

【数６】

【０１３２】ここで、ａ（ｉ）は、画素ｉにおけるエッ
ジ係数であり、ｈ（ｉ）およびｖ（ｉ）は、それぞれ画
素ｉにおける水平エッジ信号の値および垂直エッジ信号
の値である。また、ｅ（ｉ）は、エッジ強度を表し、式
（１７）に示すように、２つのエッジ検出器２２１，２
２２出力の自乗和の平方根として算出される。

【数７】

【０１３３】このように、エッジ強度の値を、所定の２
つのしきい値ＴＨ１，ＴＨ２によって図１１のように正
規化したものをエッジ係数として用いる。

【０１３４】このようなエッジ係数ａを利用することに
より、補正後の画像が、視覚的により好ましい画像にな
る。

【０１３５】第２の実施の形態のエッジマップメモリ２
２６の各セルは、第１の実施の形態のものとは異なり、
連続的な値を設定されうるエッジ係数ａを十分な精度で
保存するために必要なビット数のメモリで構成されてい
る。

【０１３６】次に、第２の実施の形態におけるリンギン
グノイズ補正器２０１の動作について図１２のフローチ
ャートを用いて説明する。なお、第１の実施の形態と同
一の動作には、同一の番号を付して、その動作説明を簡
略化している。

【０１３７】最初に、ステップＳ１において、画像加算
器４４からの画像信号が、水平エッジ検出器２２１、垂
直エッジ検出器２２２、および、遅延器２２３に供給さ
れる。

【０１３８】そして、ステップＳ２に進み、ステップＳ
２において、水平エッジ検出器２２１および垂直エッジ
検出器２２２は、図３に示すようなエッジ検出フィルタ
による線形フィルタリング（畳み込み積分）を行い、エ
ッジ検出フィルタの出力値をそのまま水平エッジ信号ｈ
または垂直エッジ信号ｖとしてエッジ判定器２２４に出
力する。

【０１３９】そして、ステップＳ１３に進み、ステップ
Ｓ１３において、エッジ判定器２２４は、水平エッジ検
出器２２１および垂直エッジ検出器２２２によって得ら
れた水平エッジ信号ｈおよび垂直エッジ信号ｖから、そ
の画素がエッジである可能性の高さを示すエッジ係数ａ
を式（１６）に従って算出して、エッジマップメモリ２
２６に記憶させる。

【０１４０】一方、遅延器２２３は、水平平滑化処理に
必要となるエッジ係数がエッジマップメモリ２２６に記
憶されるまでの時間だけ、入力された画素データを遅延
させた後、データを水平平滑化器２２５に出力する。

【０１４１】次に、ステップＳ１４に進み、ステップＳ
１４において、水平平滑化器２２５は、注目画素がエッ
ジに含まれていない場合だけ、その画素に対応して、上
述の重み係数の差分値Ｄの算出、各画素に対応する重み
係数の生成、累積エッジ係数（近傍領域の各画素におけ
るエッジ係数の累積値）の算出、重み係数の修正、およ
び、平滑化値の算出の各処理を行う。なお、水平平滑化
器２２５の処理動作は、第１の実施の形態と同一である
ので、ここでは説明は省略する。但し、第２の実施の形
態の重み係数の算出方法が第１の実施の形態と異なるた
め、その算出方法について以下の図１３のフローチャー
トを用いて説明する。

【０１４２】まず、ステップＳ１１１において、水平平
滑化器２２５は、注目画素ｉに対応するエッジ係数ａ
（ｉ）を用いて、平滑化の度合を表す隣接画素間の重み
係数の差分値Ｄ（ｉ）を、式（１８）に従って算出す
る。Ｄ（ｉ）＝Ｄｍａｘ×（１−ａ（ｉ））（１８）

【０１４３】ここで、Ｄｍａｘは、予め設定された隣接
画素間の重み係数の差分値Ｄの最大値である。

【０１４４】次に、ステップＳ１１２に進み、ステップ
Ｓ１１２において、水平平滑化器２２５は、算出した重
み係数の差分値Ｄ（ｉ）を利用して、第１の実施の形態
の水平平滑化器２２５と同様に、図１４に示すように、
注目画素ｉの近傍の画素に対する重み係数ｗを算出す
る。

【０１４５】そして、ステップＳ１１３に進み、ステッ
プＳ１１３において、水平平滑化器２２５は、エッジマ
ップメモリ２２６を参照して、注目画素ｉの左右の近傍
領域のエッジ係数ａを読み出し、図１４に示すように注
目画素ｉから左方向に、あるいは、右方向にエッジ係数
ａの累積値（累積エッジ係数）ａ’を順次算出してい
く。

【０１４６】注目画素ｉの近傍領域において、画素ｉか
ら第ｎ番目の画素ｉ＋ｎに対する累積エッジ係数ａ’
（ｉ＋ｎ）は、式（１９）に従って算出される。

【数８】

【０１４７】そして、ステップＳ１１４に進み、ステッ
プＳ１１４において、累積エッジ係数の値域が、０以上
であり、かつ、１以下であるように、水平平滑化器２２
５は、式（１６）と同様に累積エッジ係数の正規化を行
う。ただし、この正規化のしきい値ＴＨ１，ＴＨ２は、
エッジ係数ａの正規化の場合のものと、特に同じ値であ
る必要はない。

【０１４８】なお、図１４には、ＴＨ１およびＴＨ２が
０と１にそれぞれ設定された場合の正規化された累積エ
ッジ係数が示されている。

【０１４９】次に、ステップＳ１１５に進み、ステップ
Ｓ１１５において、水平平滑化器２２５は、正規化され
た累積エッジ係数ａ’を用いて、注目画素の近傍領域内
の各画素ｋに対する重み係数ｗを、式（２０）に従って
修正する。ｗ’（ｋ）＝ｗ（ｋ）×（１−ａ’（ｋ）））（２０）

【０１５０】即ち、累積エッジ係数ａ’が大きい画素ほ
ど、重み係数ｗが、小さく修正される。

【０１５１】そして、ステップＳ１１６に進み、ステッ
プＳ１１６において、水平平滑化器２２５は、修正した
重み係数ｗ’を用いて、第１の実施の形態と同様に、式
（１５）に従って注目画素の平滑化値を算出する。

【０１５２】このようにして、算出された平滑化値は、
垂直平滑化用メモリ２２７に一旦、記憶される。

【０１５３】次に、図１２のフローチャートのステップ
Ｓ１５において、垂直平滑化器２２８は、平滑化の処理
に必要とされるライン数のデータが垂直平滑化用メモリ
２２７に記憶されたとき、エッジマップメモリ２２６の
エッジ情報を参照しながら、垂直平滑化用メモリ２２７
に保存されたデータのうちの垂直方向に配列されている
データ列ごとに、平滑化値を算出する。

【０１５４】垂直平滑化器２２８は、画素がエッジに含
まれていない場合、その画素に対応して、上述の重み係
数の差分値Ｄの算出、各画素に対応する重み係数の生
成、累積エッジ係数の算出、重み係数の修正、および、
平滑化値の算出の各処理を行う。なお、垂直平滑化器２
２８の処理動作は、第１の実施の形態と同一であるの
で、ここでは省略する。但し、第２の実施の形態の重み
係数の算出方法が第１の実施の形態と異なるため、その
算出方法について以下に説明する。但し、重み係数の算
出方法は、水平平滑化器の場合と近傍画素の設定の方法
が、左右方向か上下方向かの違いだけであり、それ以外
は、水平平滑化器における重み係数の算出方法と同一で
あるため、図１３のフローチャートを参照して説明す
る。

【０１５５】まず、ステップＳ１１１において、垂直平
滑化器２２８は、注目画素ｉに対応するエッジ係数ａ
（ｉ）を用いて、平滑化の度合を表す隣接画素間の重み
係数の差分値Ｄ（ｉ）を、式（１８）に従って算出す
る。

【０１５６】次に、ステップＳ１１２に進み、ステップ
Ｓ１１２において、垂直平滑化器２２８は、算出した重
み係数の差分値Ｄ（ｉ）を利用して、第１の実施の形態
の垂直平滑化器２２８と同様に、注目画素ｉの近傍の画
素に対する重み係数ｗを算出する。

【０１５７】そして、ステップＳ１１３に進み、ステッ
プＳ１１３において、垂直平滑化器２２８は、エッジマ
ップメモリ２２６を参照して、注目画素ｉの上下の近傍
領域のエッジ係数ａを読み出し、注目画素ｉから上方向
に、あるいは、下方向にエッジ係数ａの累積値（累積エ
ッジ係数）ａ’を順次算出していく。

【０１５８】注目画素ｉの近傍領域において、画素ｉか
ら第ｎ番目の画素ｉ＋ｎに対する累積エッジ係数ａ’
（ｉ＋ｎ）は、式（１９）に従って算出される。

【０１５９】そして、ステップＳ１１４に進み、ステッ
プＳ１１４において、累積エッジ係数の値域が、０以上
であり、かつ、１以下であるように、垂直平滑化器２２
８は、累積エッジ係数の正規化を行う。

【０１６０】次に、ステップＳ１１５に進み、ステップ
Ｓ１１５において、垂直平滑化器２２８は、正規化され
た累積エッジ係数を用いて、注目画素の近傍領域内の各
画素に対する重み係数ｗを、式（２０）に従って修正す
る。

【０１６１】そして、ステップＳ１１６に進み、ステッ
プＳ１１６において、垂直平滑化器２２８は、修正した
重み係数ｗ’を用いて、第１の実施の形態と同様に注目
画素の平滑化値を算出する。

【０１６２】以上のようにして、リンギングノイズ補正
器２２８は、各画素に対して、水平方向および垂直方向
の平滑化の処理を行い、リンギングノイズを低減する。
第２の実施の形態においては、エッジ強度として連続的
な値を利用するため、リンギングノイズをより低減する
ことができる。

【０１６３】なお、上記実施の形態においては、２つの
エッジ検出器２２１，２２２の出力ｈ，ｖの自乗和の平
方根（式（１７））をエッジ強度ｅ（ｉ）として利用し
ているが、エッジ強度として、水平エッジ検出器２２１
および垂直エッジ検出器２２２の出力値の自乗の和（ｈ
²＋ｖ²）、または、各出力値の絶対値の和（｜ｈ｜＋｜
ｖ｜）を使用するようにしてもよい。

【０１６４】図１５は、本発明の画像処理装置の第３の
実施の形態である画像復号化装置３２の構成例を示して
いる。

【０１６５】第３の実施の形態の構成は、第１の実施の
形態と同様であり、逆量子化器４２で利用された量子化
ステップＱがリンギングノイズ補正器２０１に供給され
る他、リンギングノイズ補正器２０１のエッジ判定器２
２４、水平平滑化器２２５および垂直平滑化器２２８の
動作が異なる。

【０１６６】リンギングノイズ補正器２０１のエッジ判
定器２２４は、逆量子化器４２より供給された量子化ス
テップＱに応じて、例えば式（２１）に従ってしきい値
Ｔを算出し、そのしきい値を利用してエッジの判定を行
うようになされている。Ｔ＝Ｑ／Ｃ１（２１）

【０１６７】ここで、Ｃ１は、予め設定された定数であ
る。

【０１６８】リンギングノイズ補正器２０１の水平平滑
化器２２５および垂直平滑化器２２８は、逆量子化器４
２から送られてくる量子化ステップＱに応じて、近傍領
域の大きさＮを、例えば式（２２）に従って算出し、そ
のＮに対応して平滑化処理を行うようになされている。Ｎ＝Ｑ／Ｃ２（２２）

【０１６９】ここで、Ｃ２は、予め設定された定数であ
る。

【０１７０】このように、量子化スケールＱに対応して
ＴおよびＮを設定することにより、再生する画像の品質
が低い場合（即ち、Ｑが大きい場合）には、平滑化処理
を優先し、再生する画像の品質が高い場合（即ち、Ｑが
小さい場合）には、エッジの保存を優先することがで
き、各品質において良好な再生画像を得ることが可能と
なる。

【０１７１】なお、しきい値Ｔおよび近傍領域の大きさ
Ｎを、量子化ステップＱからそれぞれ算出する以外の動
作は、第１の実施の形態と同様であるので、動作の説明
は、省略する。

【０１７２】なお、ウェーブレット変換を用いた符号化
において、量子化ステップＱは、シーケンス全体、フレ
ーム単位、サブバンド単位、係数ツリー（同じ位置、お
よび同じ方向性を有する係数の集まり）単位などで変更
されることがあるが、本実施の形態における復号化にお
いては、しきい値Ｔ、および、近傍領域の大きさＮはフ
レーム単位、あるいは、それよりも大きな単位で変化さ
れる。

【０１７３】また、本実施の形態においては、しきい値
Ｔ、あるいは、近傍領域の大きさＮを算出するために量
子化ステップの情報を逆量子化器４２からリンギングノ
イズ補正器２０１に供給しているが、ビットストリーム
に情報が含まれている場合、その情報を利用するように
してもよい。

【０１７４】さらに、しきい値Ｔおよび近傍領域の大き
さＮは、式（２１）および式（２２）に従ってそれぞれ
量子化ステップＱから算出されているが、他の式を利用
して、量子化ステップＱから算出されるようにしてもよ
い。

【０１７５】次に、本発明の画像処理装置の第４の実施
の形態である画像復号化装置について説明する。

【０１７６】第４の実施の形態の構成は、第３の実施の
形態（図１５）と同様であり、リンギングノイズ補正器
２０１のエッジマップメモリ２２６の内部のメモリ構
成、並びに、水平エッジ検出器２２１、垂直エッジ検出
器２２２、エッジ判定器２２４、水平平滑化器２２５お
よび垂直平滑化器２２８の動作が異なる。

【０１７７】第４の実施の形態の水平エッジ検出器２２
１および垂直エッジ検出器２２２は、第２の実施の形態
の水平エッジ検出器２２１および垂直エッジ検出器２２
２と同様に、図３に示すようなエッジ検出フィルタによ
る線形フィルタリング（畳み込み積分）を行い、エッジ
検出フィルタの出力値をそのまま水平エッジ信号ｈまた
は垂直エッジ信号ｖとして出力する。

【０１７８】エッジ判定器２２４は、水平エッジ検出器
２２１および垂直エッジ検出器２２２によって得られた
水平エッジ信号ｈおよび垂直エッジ信号ｖから、その画
素がエッジである可能性の高さを示すエッジ係数ａを式
（１６）に従って算出して、エッジマップメモリ２２６
に記憶させる。

【０１７９】なお、エッジ判定器２２４は、式（１６）
で利用される２つのしきい値ＴＨ１，ＴＨ２を、量子化
ステップＱから式（２３）および式（２４）に従って予
め算出する。ＴＨ１＝Ｑ／Ｃ３（２３）ＴＨ２＝Ｑ／Ｃ４（２４）

【０１８０】ここで、Ｃ３およびＣ４は、予め設定され
た定数である。

【０１８１】第４の実施の形態のエッジマップメモリ２
２６の各セルは、第２の実施の形態のものと同様に、連
続的な値を設定されうるエッジ係数を保存するために、
必要な精度を実現することができるビット数のメモリで
構成されている。

【０１８２】水平平滑化器２２５および垂直平滑化器２
２８は、逆量子化器４２より供給された量子化ステップ
Ｑを用いて、近傍領域の大きさＮを、第３の実施の形態
と同様に、式（２２）に従って算出し、そのＮに対応し
た平滑化処理を行う。

【０１８３】なお、ウェーブレット変換を用いた符号化
において、量子化ステップＱは、シーケンス全体、フレ
ーム単位、サブバンド単位、係数ツリー（同じ位置、お
よび同じ方向性を有する係数の集まり）単位などで変更
されることがあるが、本実施の形態における復号におい
ては、しきい値Ｔ、および、近傍領域の大きさＮはフレ
ーム単位、あるいは、それよりも大きな単位で変化され
る。

【０１８４】また、本実施の形態においては、しきい値
ＴＨ１，ＴＨ２および近傍領域の大きさＮを算出するた
めに量子化ステップの情報を逆量子化器２３からリンギ
ングノイズ補正器２０１に供給しているが、ビットスト
リームに情報が含まれている場合、その情報を利用する
ようにしてもよい。

【０１８５】さらに、正規化のためのしきい値ＴＨ１，
ＴＨ２および近傍領域の大きさＮは、式（２２）乃至式
（２４）に従って、それぞれ算出されているが、他の式
を利用して、量子化ステップＱから算出されるようにし
てもよい。

【０１８６】なお、平滑化の度合（即ち、重み係数の差
分値Ｄ）を、量子化ステップＱによって調整するように
してもよい。その場合、水平平滑化器２２５および垂直
平滑化器２２８は、隣接重み係数差分値の最大値Ｄｍａ
ｘを、量子化ステップＱの値に応じて設定する。

【０１８７】例えば、式（２５）に示すように、量子化
ステップＱが大きいほど、Ｄｍａｘの値を小さく設定す
ることにより、量子化ステップＱにより規定される画質
に対応して、平滑化の度合いを調整することができる。
即ち、再生する画像の画質が低い場合には、平滑化の度
合をより大きく設定されるようにする。Ｄｍａｘ＝Ｃ５／Ｑ（２５）

【０１８８】ここで、Ｃ５は、予め設定された定数であ
る。

【０１８９】なお、量子化ステップＱとＤｍａｘの関係
は、式（２５）に限定されるものではなく、他の関係式
を使用してもよい。

【０１９０】

【発明の効果】以上のごとく、本発明の画像処理装置お
よび画像処理方法によれば、画像信号の画素値の空間的
な変化に対応して、所定の画素に対するエッジの情報を
検出し、エッジの情報に対応して選択された画素に対し
て平滑化処理を行うようにしたので、画像のエッジを劣
化させることなく、平坦部に発生したノイズを抑制する
ことができる。

【０１９１】また、エッジ情報としてエッジである可能
性の高さを示すエッジ係数を用いることにより、リンギ
ングノイズを補正した後の画像を、視覚的により好まし
い画像にすることができる。

【０１９２】さらに、復号時の量子化スケールを利用す
ることにより、再生する画像の品質に応じたリンギング
ノイズの補正を行うことができる。

【図面の簡単な説明】

【図１】本発明の画像処理装置の第１の実施の形態であ
る画像復号化装置の構成を示すブロック図である。

【図２】リンギングノイズ補正器の構成例を示すブロッ
ク図である。

【図３】水平エッジおよび垂直エッジ検出用のフィルタ
の一例を示す図である。

【図４】エッジマップメモリのメモリ構成の一例を示す
図である。

【図５】第１の実施の形態におけるリンギングノイズ補
正器の動作を示すフローチャートである。

【図６】水平平滑化器の動作を示すフローチャートであ
る。

【図７】重み係数の算出の一例を示す図である。

【図８】隣接エッジ画素の検出における例外処理の一例
を示す図である。

【図９】第１の実施の形態における重み係数の生成動作
を示すフローチャートである。

【図１０】垂直平滑化器の動作を示すフローチャートで
ある。

【図１１】エッジ強度とエッジ係数の関係の一例を示す
図である。

【図１２】第２の実施の形態におけるリンギングノイズ
補正器の動作を示すフローチャートである。

【図１３】第２の実施の形態における重み係数の生成動
作を示すフローチャートである。

【図１４】第２の実施の形態における修正後の重み係数
の一例を示す図である。

【図１５】本発明の画像処理装置の第３の実施の形態で
ある画像復号化装置の構成を示すブロック図である。

【図１６】線形の量子化と逆量子化による入力レベルと
復元レベルの関係を説明する図である。

【図１７】データの分布を説明する図である。

【図１８】非線形の量子化と逆量子化による入力レベル
と復元レベルの他の関係を説明する図である。

【図１９】従来の動画像符号化装置の構成例を示すブロ
ック図である。

【図２０】従来の動画像復号化装置の構成例を示すブロ
ック図である。

【図２１】従来の動画像符号化装置の他の構成例を示す
ブロック図である。

【図２２】従来の動画像復号化装置の他の構成例を示す
ブロック図である。

【図２３】図２１のウェーブレット変換器の構成例を示
すブロック図である。

【図２４】図２３の解析用フィルタの係数を説明する図
である。

【図２５】図２１の逆ウェーブレット変換器の構成例を
示すブロック図である。

【図２６】図２５の合成用フィルタの係数を説明する図
である。

【符号の説明】

３２画像復号化装置，４１逆多重化器／可変長復
号化器，４２逆量子化器，４４画像加算器，
４５動き補償器，６１逆ウェーブレット変換器，
２０１リンギングノイズ補正器，２２１水平エ
ッジ検出器，２２２垂直エッジ検出器，２２３遅
延器，２２４エッジ判定器，２２５水平平滑化
器，２２６エッジマップメモリ，２２７垂直平
滑化用メモリ，２２８垂直平滑化器

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号ＦＩＨ０４Ｎ 1/41 Ｇ０６Ｆ 15/70 ３３５Ｚ 5/21 Ｈ０４Ｎ 1/40 １０１Ｃ

Claims

【特許請求の範囲】

【請求項１】画素値を有する複数の画素からなる、復
号された画像信号に対して平滑化処理を実行する画像処
理装置において、前記画像信号の画素値の空間的な変化に応じて、所定の
画素に対するエッジの情報を検出する検出手段と、前記エッジの情報に応じて前記画像信号に対して平滑化
処理を実行する平滑化手段とを備えることを特徴とする
画像処理装置。
【請求項２】前記検出手段は、画像信号に対する２次
元の１次微分フィルタを有し、前記フィルタの出力の値
と所定のしきい値との比較結果を表す前記エッジの情報
を算出し、前記平滑化手段は、前記エッジの情報に対応して、前記
所定の画素に対して平滑化処理を実行することを特徴と
する請求項１に記載の画像処理装置。
【請求項３】前記平滑化手段は、前記所定の画素に対
する複数の近傍画素を選択し、前記複数の近傍画素に対
応する重み係数のセットを算出し、前記複数の近傍画素
の画素値と前記重み係数のセットとの演算により、前記
所定の画素に対して平滑化処理を実行することを特徴と
する請求項２に記載の画像処理装置。
【請求項４】符号化された画像信号を受信する受信手
段と、前記符号化された画像信号を復号し、復号された画像信
号を発生する発生手段とをさらに備え、前記符号化された画像信号は、少なくとも周波数変換処
理および量子化処理により符号化されていることを特徴
とする請求項３に記載の画像処理装置。
【請求項５】前記周波数変換処理は、ウェーブレット
変換処理であることを特徴とする請求項４に記載の画像
処理装置。
【請求項６】符号化された画像信号を復号する復号手
段をさらに備え、前記符号化された画像信号は、少なくとも量子化処理に
より符号化された画像信号であり、前記復号手段は、前記符号化信号を所定の量子化ステッ
プに従って逆量子化し、前記検出手段は、前記量子化ステップの値に応じて、前
記しきい値を設定することを特徴とする請求項２に記載
の画像処理装置。
【請求項７】前記検出手段は、前記量子化ステップの
値が大きいほど、前記しきい値を大きく設定することを
特徴とする請求項６に記載の画像処理装置。
【請求項８】前記検出手段は、画像信号に対する２次
元の１次微分フィルタを有し、前記フィルタの出力に対
応して、前記画素がエッジに含まれる可能性の高さを表
すエッジ係数を前記エッジの情報として算出し、前記平滑化手段は、前記エッジ係数に応じて前記所定の
画素に対して平滑化処理を実行することを特徴とする請
求項１に記載の画像処理装置。
【請求項９】前記平滑化手段は、前記所定の画素に対
する複数の近傍画素を選択し、前記複数の近傍画素に対
応する重み係数のセットを算出し、前記複数の近傍画素
の画素値と前記重み係数のセットとの演算により、前記
所定の画素に対して平滑化処理を実行することを特徴と
する請求項８に記載の画像処理装置。
【請求項１０】符号化された画像信号を受信する受信
手段と、前記符号化された画像信号を復号し、復号された画像信
号を発生する発生手段とをさらに備え、前記符号化された画像信号は、少なくとも周波数変換処
理および量子化処理により符号化されていることを特徴
とする請求項９に記載の画像処理装置。
【請求項１１】前記周波数変換処理は、ウェーブレッ
ト変換処理であることを特徴とする請求項１０に記載の
画像処理装置。
【請求項１２】符号化された画像信号を復号する復号
手段をさらに備え、前記符号化された画像信号は、少なくとも量子化処理に
より符号化された画像信号であり、前記復号手段は、前記符号化信号を所定の量子化ステッ
プに従って逆量子化し、前記検出手段は、前記量子化ステップの値に応じて、前
記エッジ係数を決定することを特徴とする請求項８に記
載の画像処理装置。
【請求項１３】前記検出手段は、前記量子化ステップ
の値が大きいほど、前記しきい値を大きくするように設
定することを特徴とする請求項１２に記載の画像処理装
置。
【請求項１４】前記平滑化手段は、所定の画素に対応
する前記エッジ係数の値に対応して、平滑化の度合いを
調整することを特徴とする請求項８に記載の画像処理装
置。
【請求項１５】前記平滑化手段は、所定の画素に対応
する前記エッジ係数の値が大きいほど、平滑化の度合を
小さくするように設定することを特徴とする請求項１４
に記載の画像処理装置。
【請求項１６】前記平滑化手段は、所定の画素の平滑
化を行うとき、前記所定の画素から他の画素までの前記
エッジ係数の和に対応して、前記所定の画素の平滑化処
理に対する前記他の画素の寄与の度合を小さくするよう
に設定することを特徴とする請求項８に記載の画像処理
装置。
【請求項１７】前記平滑化手段は、前記検出手段によ
って検出されたエッジの情報で特定されるエッジの位置
から所定の画素までの範囲の画素の値から、平滑化後の
前記所定の画素の値を算出することを特徴とする請求項
１に記載の画像処理装置。
【請求項１８】前記平滑化手段は、前記検出手段によ
って検出されたエッジの情報に従って前記所定の画素に
対する複数の近傍画素を選択し、前記複数の近傍画素に
対応する重み係数のセットを算出し、前記複数の近傍画
素の画素値と前記重み係数のセットとの演算により、前
記所定の画素に対して平滑化処理を実行することを特徴
とする請求項１７に記載の画像処理装置。
【請求項１９】符号化された画像信号を復号する復号
手段をさらに備え、前記復号された画像信号は、少なく
とも量子化処理により符号化された画像信号であり、前記復号手段は、前記符号化信号を所定の量子化ステッ
プに従って逆量子化し、前記平滑化手段は、前記量子化ステップの値に応じて、
平滑化の度合いを設定することを特徴とする請求項１に
記載の画像処理装置。
【請求項２０】前記平滑化手段は、前記量子化ステッ
プの値が大きいほど、前記平滑化の度合を大きくするよ
うに設定することを特徴とする請求項１９に記載の画像
処理装置。
【請求項２１】符号化された画像信号を受信する受信
手段と、前記符号化された画像信号を復号し、復号された画像信
号を発生する発生手段とをさらに備え、前記符号化された画像信号は、少なくとも周波数変換処
理および量子化処理により符号化されていることを特徴
とする請求項１に記載の画像処理装置。
【請求項２２】前記周波数変換処理は、ウェーブレッ
ト変換処理であることを特徴とする請求項２１に記載の
画像処理装置。
【請求項２３】画素値を有する複数の画素からなる、
復号された画像信号に対して平滑化処理を実行する画像
処理方法において、前記画像信号の画素値の空間的な変化に応じて、所定の
画素に対するエッジの情報を検出するステップと、前記エッジの情報に応じて前記画像信号に対して平滑化
処理を実行するステップとを備えることを特徴とする画
像処理方法。
【請求項２４】符号化された画像信号を受信するステ
ップと、前記符号化された画像信号を復号し、復号された画像信
号を発生するステップとをさらに備え、前記符号化された画像信号は、少なくとも周波数変換処
理および量子化処理により符号化されていることを特徴
とする請求項２３に記載の画像処理方法。
【請求項２５】前記周波数変換処理は、ウェーブレッ
ト変換処理であることを特徴とする請求項２４に記載の
画像処理方法。