JPH0965330A - 画像処理装置 - Google Patents

Abstract

(57)【要約】 【目的】 ブロック符号化によってブロックノイズの発
生した画像に対し、ブロック間の階調を連続させて画質
を改善する画像処理装置を提供する。 【構成】 ブロックアドレス生成部３からのブロックア
ドレスに従い、制御点決定部２は復号画像記憶部１から
参照画素を読み出し、制御点情報を出力する。これに基
づき、境界条件決定部４はベクトル情報を決定し、補間
処理部５で双３次曲面により内挿補間し、バッファ７に
蓄積する。一方、制御点比較部６は、補間の可否を判定
して禁止情報を出力する。また、８×８画素ブロック切
り出し部９の出力する画素ブロックは、バッファ８に蓄
積されるとともに、ブロック内分散計算部１０で分散が
計算されて分散情報が出力される。バッファ切り替え決
定部１１は、禁止情報と分散情報から、バッファ７，８
のいずれかを選択し、バッファ切替部１２を切り替え、
選択された出力を復元画像記憶部１３に記憶させる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ブロック符号化によっ
て符号化した画像を復号した後の画像に対して処理を行
なう画像処理装置に関するものである。

【０００２】

【従来の技術】画像信号を符号化する場合、装置規模の
増大を避け、また、水平および垂直方向の画素間の相関
を利用するために、画像を矩形の画素領域である画素ブ
ロックに分割し、画素ブロックごとに符号化を行なうこ
とが多い。こうした符号化方式の代表的なアルゴリズム
には、変換符号化、ブロック近似符号化、ベクトル量子
化などがあり、一般にブロック符号化と呼ばれている。

【０００３】また、画像の符号化には、情報損失がなく
原画像とまったく同じ画像を復号できる可逆符号化と、
視覚上の不要な情報を削減した非可逆符号化がある。非
可逆符号化は、情報が削減されているために歪みを伴う
が、高い圧縮率を得やすいという特徴を有する。上述の
変換符号化は、非可逆のブロック符号化の一例である。

【０００４】画像信号を符号化して伝送や蓄積する場
合、通信時間の短縮や蓄積媒体を効率的に利用するため
に、少しでも高い圧縮率で符号化することが望まれる。
特に高精細な画像では、データ量が多いため、その要求
が強いと考えられる。このため、高い圧縮率が得られる
非可逆のブロック符号化が広く用いられている。

【０００５】以下、非可逆のブロック符号化の一つであ
る変換符号化についてさらに述べる。風景画や人物像な
どの自然画像と呼ばれる画像では、隣接する画素どうし
が同じような画素値をとる傾向があり、自己相関性の高
いことが知られている。このような相関性の高い信号を
周波数軸上で見ると、低い周波数成分に信号電力が集中
することになる。変換符号化方式は、この性質を利用し
て画像信号の情報量を削減する手法である。

【０００６】変換符号化においては、はじめに画像信号
を画素の矩形領域である画素ブロックに分割し、画素ブ
ロックごとに２次元の直交変換を施した後、空間周波数
の情報である変換係数を得る。つぎに、変換係数に対し
て量子化操作が施されて情報量が削減される。自然画像
を符号化する場合には、低い周波数成分の変換係数ほど
精度良く量子化し、高い周波数成分の変換係数は粗く量
子化して情報を削減するのが一般的である。これは、先
ほどの説明にもあるように、信号電力の大部分が低い変
換係数に集中することと、人間の視覚特性によって高い
周波数成分の劣化が検知されにくいという性質に基づい
ている。

【０００７】しかし、変換符号化では、圧縮率を高くす
ると、階調変化の緩やかな領域で画素ブロック境界の階
調差が目立ってくることがある。これは、直交変換後の
粗い量子化処理によってブロック内の交流成分が失わ
れ、ブロックの平均値に相当する直流成分だけが残され
るために発生する。

【０００８】こうした現象はブロックノイズと呼ばれ、
変換符号化に限らず、他の非可逆のブロック符号化方式
でも、高い圧縮率での符号化の際に発生する。ブロック
ノイズは、水平，垂直の方向性をもつ人工的なノイズで
あるため、非常に目立ちやすく、画品質の重大な劣化要
因となる。

【０００９】また、符号化による劣化の発生は、符号化
パラメータと原稿の内容に大きく依存するため、符号化
の際に劣化を予測することは困難である。したがって、
画像伝送の場合には、受信側で復号して初めて劣化が検
出されることになる。受信側で劣化が確認された場合に
は、送信側に対してより低い圧縮率での再送を依頼する
ことになり、時間、通信コストの点で問題となる。

【００１０】このため、ブロックノイズの改善手法が従
来より考えられている。例えば、特開平２−５７０６７
号公報や特開平３−１３０６４号公報等には、ブロック
ノイズの発生するブロック境界にフィルタを施す手法が
記載されている。また、特開平４−２０９０７３号公報
には、劣化の発生しているブロックの角に位置する画素
（角点）の階調値を、隣接する周辺の３ブロックの角点
から推定し、実際の角点の階調値との誤差をブロック内
で線形補間する方式が記載されている。

【００１１】しかし、これらの手法は、処理が局所的な
ものであるため、平滑化の効果も局所的になり、ブロッ
クノイズを除去する効果は、十分高いとは言えなかっ
た。

【００１２】

【発明が解決しようとする課題】本発明は、上述した事
情に鑑みてなされたもので、ブロック符号化によってブ
ロックノイズの発生した画像に対し、ブロック間の階調
を連続させて画質を改善する画像処理装置を提供するこ
とを目的とするものである。

【００１３】

【課題を解決するための手段】請求項１に記載の発明
は、画像処理装置において、ブロック符号化方式によっ
て符号化された画像をＭ×Ｎ画素の矩形領域ごとに復号
した復号ブロックを記憶する記憶手段と、前記復号ブロ
ックと所定の位置関係をもつ複数の参照画素を前記記憶
手段より読み出し前記参照画素に基づいて設定された境
界条件で前記復号ブロック内の階調を曲面補間して補間
ブロックを得る補間手段と、前記復号ブロック内の統計
量に基づいて復号ブロック内が平坦な画素分布であるか
否かを判定する第１の判定手段と、前記境界条件に基づ
いて補間の可否を判定する第２の判定手段と、前記第１
の判定手段および前記第２の判定手段の判定結果に基づ
いて前記補間ブロックと前記復号ブロックのいずれかを
選択する選択手段を備えたことを特徴とするものであ
る。

【００１４】請求項２に記載の発明は、画像処理装置に
おいて、ブロック符号化方式によって符号化された画像
をＭ×Ｎ画素の矩形領域ごとに復号した復号ブロックを
記憶する記憶手段と、前記復号ブロックと所定の位置関
係をもつ複数の参照画素を前記記憶手段より読み出し前
記参照画素に基づいて設定された境界条件で前記復号ブ
ロック内の階調を曲面補間して補間ブロックを得る補間
手段と、前記記憶手段内の前記復号ブロックよりも少な
くとも上下左右にｉ画素分大きな（Ｍ＋２ｉ）×（Ｎ＋
２ｉ）画素ブロックを読み出して平滑化処理を施し中央
部分のＭ×Ｎ画素を平滑化ブロックとして出力する平滑
化手段と、前記復号ブロック内の統計量に基づいて復号
ブロック内が平坦な画素分布であるか否かを判定する第
１の判定手段と、前記境界条件に基づいて補間の可否を
判定する第２の判定手段と、前記第１の判定手段および
前記と第２の判定手段の判定結果に基づいて前記補間ブ
ロックと前記平滑化ブロックのいずれかを選択する選択
手段を備えたことを特徴とするものである。

【００１５】請求項３に記載の発明は、請求項１または
２に記載の画像処理装置において、前記補間手段は、前
記複数の参照画素から制御点を決定する制御点決定部
と、前記制御点から前記境界条件を決定する境界条件決
定部と、前記境界条件に基づいてＭ×Ｎ画素の矩形領域
内を双３次曲面で補間して補間ブロックを生成する補間
処理部から構成されることを特徴とするものである。

【００１６】請求項４に記載の発明は、請求項３に記載
の画像処理装置において、前記制御点は、前記記憶手段
内の前記復号ブロックの境界の交点上に位置し、交点ご
とに周辺の４画素を前記複数の参照画素として読み出し
て平均化した値を設定することを特徴とするものであ
る。

【００１７】請求項５に記載の発明は、請求項３に記載
の画像処理装置において、前記境界条件は、前記記憶手
段内の前記復号ブロックの周辺の４つの制御点と、各制
御点における水平、垂直のそれぞれの方向に隣接する２
つの制御点の差分に基づいて定められる８つの接線ベク
トルからなることを特徴とするものである。

【００１８】請求項６に記載の発明は、請求項１または
２に記載の画像処理装置において、前記第１の判定手段
は、前記復号ブロック内の分散または最大値と最小値の
差分を計算し、前記分散または前記差分の少なくとも一
つを所定の閾値と比較して前記復号ブロックが平坦であ
るか否かを第１の判定結果として出力することを特徴と
するものである。

【００１９】請求項７に記載の発明は、請求項１または
２に記載の画像処理装置において、前記第２の判定手段
は、前記復号ブロックの周辺の４つの制御点から、隣接
する制御点の差分、対角位置の制御点の差分をそれぞれ
所定の閾値と比較し、閾値を越えるものがあるか否かを
第２の判定結果として出力することを特徴とするもので
ある。

【００２０】請求項８に記載の発明は、請求項１または
２に記載の画像処理装置において、前記参照画素が画像
の外部にある場合には、画像の境界部の最も近い画素の
値を前記参照画素の値として設定することを特徴とする
ものである。

【００２１】

【作用】請求項１に記載の発明によれば、記憶手段は、
ブロック符号化方式によってＭ×Ｎ画素の矩形領域ごと
に復号された複数の復号ブロックを記憶する。補間手段
は、復号ブロックと所定の位置関係をもつ複数の参照画
素を記憶手段より読み出し、参照画素に基づいて設定さ
れた境界条件で復号ブロック内の階調を曲面補間し、補
間ブロックを得る。一方、第１の判定手段では、復号ブ
ロック内の統計量に基づいて復号ブロック内が平坦な画
素分布であるか否かを判定する。また、第２の判定手段
では、前記境界条件に基づいて補間の可否が判定され
る。最後に、選択手段では、第１の判定手段と第２の判
定手段の判定結果に基づいて、補間手段で得た補間ブロ
ックと、復号ブロックのいずれかを選択する。例えば、
第１の判定手段で平坦な画素分布であると判定され、第
２の判定手段で補間可能と判定された場合には、補間ブ
ロックを選択する。補間ブロックでは境界条件によって
隣接する画素ブロックとなるべく連続するように生成さ
れているので、ブロックノイズは軽減される。また、エ
ッジ部分のように平坦でない画素分布である場合には、
復号ブロックを選択することによって、エッジ部分を保
存することができる。このようにして、画素ブロックご
とに適応的にブロックノイズの改善処理が施される。

【００２２】請求項２に記載の発明によれば、請求項１
と同様に記憶手段は複数の復号ブロックを記憶してお
り、補間手段は復号ブロック内の階調を曲面補間し、補
間ブロックを得る。この発明では、さらに、平滑化手段
において、記憶手段内の復号ブロックよりも少なくとも
上下左右にｉ画素分大きな（Ｍ＋２ｉ）×（Ｎ＋２ｉ）
画素ブロックを読み出して平滑化処理を施し、中央部分
のＭ×Ｎ画素を平滑化ブロックとして出力する。一方、
第１の判定手段では、復号ブロック内の統計量に基づい
て復号ブロック内が平坦な画素分布であるか否かを判定
し、第２の判定手段では、境界条件に基づいて補間の可
否が判定される。選択手段では、第１の判定手段と第２
の判定手段の判定結果に基づいて、補間手段で得られた
補間ブロックと、平滑化手段で得られた平滑化ブロック
のいずれかが選択される。これにより、例えば補間が不
可能の場合でも、平滑化処理が行なわれた平滑化ブロッ
クが選択されるので、ブロックノイズの改善効果を高め
ることができる。もちろん、補間ブロック、平滑化ブロ
ック、復号ブロックのいずれかを選択するように構成し
てもよい。

【００２３】補間手段は、請求項３に記載の発明のよう
に、制御点決定部において複数の参照画素から制御点を
決定し、その制御点から境界条件決定部で境界条件を決
定し、得られた境界条件に基づいて補間処理部はＭ×Ｎ
画素の矩形領域内を双３次曲面で補間して補間ブロック
を生成するように構成することができる。ここで、制御
点としては、請求項４に記載の発明のように、記憶手段
内の復号ブロックの境界の交点上に位置し、交点ごとに
周辺の４画素を前記複数の参照画素として読み出して平
均化した値を設定することができる。また、境界条件と
しては、請求項５に記載の発明のように、記憶手段内の
復号ブロックの周辺の４つの制御点と、各制御点におけ
る水平、垂直のそれぞれの方向に隣接する２つの制御点
の差分に基づいて定められる８つの接線ベクトルから構
成することができる。このような制御点および境界条件
によって、隣接する復号ブロックの境界条件が同一にな
り、補間ブロックの滑らかな接続が可能となる。

【００２４】第１の判定手段は、請求項６に記載の発明
のように、復号ブロック内の分散、または最大値と最小
値の差分を計算し、分散または差分の少なくとも一つを
所定の閾値と比較して、復号ブロックが平坦であるか否
かを第１の判定結果として出力するように構成すること
ができる。これにより、精度よくブロックノイズの発生
領域を検出することができる。

【００２５】第２の判定手段は、請求項７に記載の発明
のように、復号ブロック周辺の４つの制御点から、隣接
する制御点の差分、対角位置の制御点の差分をそれぞれ
所定の閾値と比較し、閾値を越えるものがあるか否かを
第２の判定結果として出力するように構成することがで
きる。これにより、ブロック周辺のエッジ部の補間によ
る劣化を回避することができる。

【００２６】請求項８に記載の発明によれば、複数の参
照画素が画像の外部にある場合には、画像の境界部の最
も近い画素の値を設定するように構成することができ
る。これによって、画像の周辺部の補間による劣化を回
避することができる。

【００２７】

【実施例】はじめに、本発明におけるブロックノイズ改
善の原理について説明する。ＣＡＤやＣＧの分野におい
ては、複雑な曲面形状を設計，表現する手法として、双
３次曲面が広く用いられており、代表的な方式にＣｏｏ
ｎｓの双３次曲面がある。これは、空間内の４点の位置
ベクトルと接線ベクトルを境界条件として設定し、この
条件を満たす補間曲面を生成する手法である。

【００２８】図２は、Ｃｏｏｎｓの双３次曲面の概念説
明図である。補間曲面は、ｕとｖ（０≦ｕ，ｖ≦１）の
２つのパラメータ空間中に定義される。補間曲面内の点
Ｑ（ｕ，ｖ）は、４つの位置ベクトルＱ（０，０），Ｑ
（０，１），Ｑ（１，０），Ｑ（１，１）と各位置ベク
トルにおけるｕ，ｖそれぞれの方向の８つの接線ベクト
ルＱｕ（０，０），Ｑｕ（０，１），Ｑｕ（１，０），
Ｑｕ（１，１），Ｑｖ（０，０），Ｑｖ（０，１），Ｑ
ｖ（１，０），Ｑｖ（１，１）を内挿補間して決定され
る。このようにして生成された補間曲面は、隣接する補
間曲面との境界となる曲線は共有され、かつ境界曲線を
横切る接線ベクトルも共有されるので、各補間曲面は１
次微分値まで連続に接続されることになる。

【００２９】Ｃｏｏｎｓの双３次曲面は、次式で表され
る。曲面内の点Ｑ（ｕ，ｖ）は、４つの位置ベクトルと
８つの接線ベクトルから構成される４×４の行列の両側
から、ｕ，ｖ方向の位置に対応する重みを乗ずることに
よって求められる。

【数１】 ただし、 Ｈ_0,0 （ｔ）＝２ｔ³ −３ｔ² ＋１＝（ｔ−１）² （２ｔ＋１） （２） Ｈ_0,1 （ｔ）＝−２ｔ³ ＋３ｔ² ＝ｔ² （３−２ｔ） （３） Ｈ_1,0 （ｔ）＝ｔ³ −２ｔ² ＋ｔ＝（ｔ−１）² ｔ （４） Ｈ_1,1 （ｔ）＝ｔ³ −ｔ² ＝（ｔ−１）ｔ² （５） である。Ｈ_0,0 ，Ｈ_0,1 ，Ｈ_1,0 ，Ｈ_1,1 は混ぜ合わせ
関数と呼ばれ、座標ｕ，ｖに対応する重み付けを与える
ものである。

【００３０】図３は、本発明における双３次曲面の画素
空間への適用の説明図である。図中の破線が、画素ブロ
ックの境界に相当する。図３に示すように、画素ブロッ
ク境界の交点ごとに位置ベクトルおよび接線ベクトルを
設定し、双３次曲面で補間されるブロックを連続的に生
成する。上述のように、画素ブロックの境界となる曲線
は、隣接する画素ブロックの補間曲面の境界となる曲線
共有され、かつ境界曲線を横切る接線ベクトルも共有さ
れるので、画素ブロック間の階調変化が連続的になり、
ブロックノイズを改善することができる。

【００３１】図１は、本発明の画像処理装置の第１の実
施例を示す構成図である。図中、１は復号画像記憶部、
２は制御点決定部、３はブロックアドレス生成部、４は
境界条件決定部、５は補間処理部、６は制御点比較部、
７，８はバッファ、９は８×８画素ブロック読み出し
部、１０はブロック内分散計算部、１１はバッファ切り
替え判定部、１２はバッファ切替部、１３は復元画像記
憶部である。ここでは、８×８画素を画素ブロックとし
た場合について説明する。

【００３２】復号画像記憶部１は、ブロック符号化方式
で復号された画像を記憶する。制御点決定部２は、ブロ
ックアドレス生成部３からブロックアドレスで指定され
る復号ブロック周辺の参照画素を復号画像記憶部１から
読み出し、制御点情報を出力する。ブロックアドレス生
成部３は、個々の復号ブロックに対応するブロックアド
レスを出力する。境界条件決定部４は、制御点決定部２
から出力される制御点情報に基づいて双３次曲面の生成
に必要なベクトル情報を決定する。補間処理部５は、境
界条件決定部４の出力するベクトル情報を用いて８×８
画素領域を双３次曲面によって内挿補間して８×８補間
ブロックを出力する。制御点比較部６は、複数の制御点
の大小を相互に比較して禁止情報を出力する。バッファ
７は、補間処理部５から出力される８×８補間ブロック
を一時蓄積する。バッファ８は、８×８画素ブロック切
り出し部９の出力する画素ブロックを一時蓄積する。８
×８画素ブロック読み出し部９は、ブロックアドレス生
成部３からブロックアドレスで指定される８×８画素領
域を復号画像記憶部１より読み出す。ブロック内分散計
算部１０は、入力される画素ブロック内の画素の分散を
計算して分散情報を出力する。バッファ切り替え決定部
１１は、制御点比較部６による比較結果と、ブロック内
分散計算部１０で計算した分散情報に基づいて、バッフ
ァ７とバッファ８の出力の切り替えを決定し、バッファ
切り替え部１２に指示する。バッファ切替部１２は、バ
ッファ切り替え決定部１１からの指示に基づいて、バッ
ファ７とバッファ８の出力を切り替える。復元画像記憶
部１３は、バッファ切替部１２から出力される画素ブロ
ックを、ブロックアドレス生成部３から指定されたブロ
ックアドレスに記憶する。

【００３３】以下、本発明の画像処理装置の第１の実施
例における動作の一例を、図１に基づいて説明する。こ
の第１の実施例の概略の動作は、注目される画素ブロッ
ク領域に対する補間処理と、そのブロック領域がブロッ
クノイズの発生領域であるか否かの判定と、そのブロッ
ク領域が補間禁止領域であるか否かの判定とを並列に実
行し、２つの判定結果に基づいて補間ブロックと補間さ
れていない画素ブロックのいずれを出力するかを決定す
るものである。

【００３４】復号画像記憶部１には、変換符号化方式に
よって復号された画像が記憶されている。ブロックアド
レス生成部３は、復号画像記憶部１に記憶されている復
号画像の画素ブロックのアドレスをブロックアドレスと
して順次出力する。図４は、ブロックアドレスと画素ブ
ロックの関係の説明図である。ここでは、８×８画素の
領域ごとにブロックとする。ブロックアドレス生成部３
は、例えば、図４に示すように、８×８画素の各画素ブ
ロックの最も左上の画素位置をブロックアドレスとして
生成する。このブロックアドレスで指定される８×８画
素の領域が、以後の処理の処理単位となる。

【００３５】画素ブロックの補間処理の動作について説
明する。補間処理は、上述したＣｏｏｎｓの双３次補間
アルゴリズムに基づいて、制御点の決定、ベクトルの決
定、補間の実行の３つの手順で実行される。ここでは、
ブロックアドレスで指示された補間処理の対象となる画
素ブロックを、補間対象ブロックと呼ぶ。

【００３６】まず、制御点の決定動作の一例について説
明する。図５は、補間対象ブロックと制御点の関係の説
明図である。制御点決定部２は、制御点の決定に必要な
参照画素を復号画像記憶部１から読み出す。制御点と
は、図５（Ａ）に黒丸で示すように、補間対象ブロック
の周辺に仮想的に設定される１２個の点である。図５
（Ａ）では、ハッチングを施した部分が８×８画素の補
間対象ブロックであり、図２、図３に従って、左上の座
標を（０，０）とし、左下を（１，０）、右上を（０，
１）、右下を（１，１）としている。各制御点は、ブロ
ック境界の交差点上に位置し、それぞれの座標を（ｉ，
ｊ）とする。図５（Ａ）では、それぞれの制御点の値を
位置ベクトルＱ（ｉ，ｊ）として示している。

【００３７】図５（Ｂ）は、制御点付近の拡大図であ
り、ます目が画素を示している。中央の黒丸が制御点で
あり、太線が補間対象ブロックの境界である。制御点の
値としては、例えば、ハッチングを施した制御点の周辺
の４つの参照画素の平均値を設定することができる。読
み出す４つの参照画素のアドレスは、ブロックアドレス
との水平方向、垂直方向のオフセットを予め設定してお
くことで、簡易に計算することができる。なお、画像の
外部には、画像の境界の画素値が繰り返して存在してい
るものとし、参照画素が画像の外にはみ出す場合にはこ
れらの画素値を設定するものとする。

【００３８】次に、ベクトルの決定動作の一例について
説明する。制御点決定部２から出力された制御点は、境
界条件決定部４に入力される。ここでは、前述した
（１）式の４×４行列の各要素、すなわち、双３次曲面
を生成するために必要な４つの位置ベクトルと８つの接
線ベクトルを次式のように決定する。決定された１２個
のベクトルは、補間処理部５に出力される。 位置ベクトルＱ（ｉ，ｊ）：ｉ行ｊ列の制御点の値
（ｉ，ｊ＝０，１） ｕ方向接線ベクトルＱｕ（ｉ，ｊ）＝（Ｑ（ｉ＋１，
ｊ）−Ｑ（ｉ−１，ｊ））／２ （ｉ，ｊ＝０，１） ｖ方向接線ベクトルＱｖ（ｉ，ｊ）＝（Ｑ（ｉ，ｊ＋
１）−Ｑ（ｉ，ｊ−１））／２ （ｉ，ｊ＝０，１）

【００３９】最後に補間の実行について説明する。補間
処理部５では、入力されるベクトルを（１）式の４×４
行列に設定し、ブロック内の各画素位置に対応するｕ，
ｖの値から混ぜ合わせ関数を計算して、（１）式の行列
演算を実行する。

【００４０】図６は、補間画素位置の指定の説明図であ
る。図６に示すように、８×８画素の補間対象ブロック
の左上を（０，０）、右下を（１，１）とすると、各画
素の中心のｕ座標およびｖ座標は、それぞれ、１／１
６，３／１６，５／１６，７／１６，・・・，１５／１
６といった値となる。各画素の値は、各画素位置を
（ｕ，ｖ）として設定し、このｕ，ｖから混ぜ合わせ関
数を計算して（１）式の行列演算を行なえばよい。８×
８画素について、それぞれの行列演算の結果から、８×
８画素の補間ブロックが得られる。

【００４１】以上の手順で、１つの画素ブロックについ
ての補間処理の動作が完了する。得られた補間ブロック
は、バッファ７に一時記憶される。

【００４２】一方、上述の画素ブロックの補間処理と平
行して、８×８画素ブロック読み出し部９は、ブロック
アドレス生成部３の出力するブロックアドレスに対応す
る画素ブロックを、復号画像記憶部１より読み出す。読
み出された８×８画素ブロックは、バッファ８に一時蓄
積されるとともに、ブロック内分散計算部１０に入力さ
れる。以上の動作により、補間処理によって生成された
補間ブロックと、何も処理を施していない画素ブロック
がそれぞれバッファ７，８に記憶されることになる。以
下では、バッファ７，８のどちらを最終的な出力とする
かを判定する判定処理について説明する。

【００４３】本発明においては、バッファの選択のため
に２つの判定処理を行なう。第１の判定処理は、ブロッ
ク内の統計量に基づくブロックノイズ発生領域の判定で
あり、第２の判定は、補間対象ブロック周辺の制御点の
大小関係に基づく補間の可否の判定である。

【００４４】ブロックノイズの発生領域の判定方法につ
いて説明する。ブロックノイズは、上述のように、ブロ
ック符号化で階調変化の緩やかな領域を高い圧縮率で符
号化すると、ブロック内が平均化され、周辺ブロックと
の境界に階段状の階調差が発生したものである。したが
って、復号した画素ブロックのうちで画素値が均一のブ
ロックは、ブロックノイズが発生している可能性のある
ブロックとして検出することができる。

【００４５】ブロック内分散計算部１０では、入力され
る画素ブロック内の分散が計算される。分散は、各画素
の値と平均値の差の２乗平均として求めてもよいが、計
算量を削減するため、以下の式で近似的に求めることが
できる。 ａｖｅ＝ΣＸ（ｉ，ｊ）／６４ ｖａｒ＝Σａｂｓ（Ｘ（ｉ，ｊ）−ａｖｅ） ここで、Ｘ（ｉ，ｊ）はブロック内のｉ行ｊ列の画素
値、ａｖｅはブロック内の平均画素値、ａｂｓ（）は絶
対値を求める関数で、ｖａｒはブロック内分散である。

【００４６】ブロック内分散ｖａｒを所定の閾値ＴＨ１
と比較することで、復号ブロックがブロックノイズの発
生領域であるか否かを判定する。すなわち、ｖａｒ＜Ｔ
Ｈ１となる画素ブロックは、階調変化の緩やかな領域に
属し、ブロックノイズが発生している可能性が高いブロ
ックと判定できる。ｖａｒ≧ＴＨ１となる場合には、ブ
ロック内の階調変化が大きく、例えば、エッジやテクス
チャを持つブロックが含まれる。ブロックノイズの発生
領域であるか否かの判定結果は、１ビットの分散情報と
してバッファ切り替え判定部１１に出力される。

【００４７】なお、上述の説明では、分散を用いてブロ
ック内画素分布が平坦であるか否かかを判定している
が、分散以外にもブロック内の最大値と最小値の差分を
用いて判定することも可能である。

【００４８】以上のブロックノイズ発生領域の判定方法
では、ブロック内に閉じた判定であるため、ブロック境
界と重なるエッジが存在する場合に判定を誤ることがあ
る。また、ブロック内にエッジの一部が存在する場合
も、分散が比較的小さくなるため、判定を誤りやすい。
このため、ブロックノイズの発生領域と判定されたブロ
ックに対しては、ブロック周辺の制御点を用いて補間の
可否の判定を行なう。

【００４９】以下、補間の可否の判定について説明す
る。図７は、双３次補間によるエッジのなまりの説明図
である。図７では、復号画像の階調変化を実線で、制御
点を黒丸で、制御点を用いて生成される双３次曲面の断
面を破線で示している。

【００５０】図７（Ａ）に示すように、階調変化の緩や
かな領域では、画像の階調変化が実線で示すように階段
状となり、ブロックノイズが発生する。このブロックノ
イズは、破線で示す双３次補間曲面によって滑らかな階
調変化を再現することができる。しかし、図７（Ｂ）に
示すように、エッジがブロック境界に存在する場合に
は、双３次補間曲面によって破線のように補完され、エ
ッジのなまりを引き起こすことことになる。したがっ
て、図７（Ｂ）に示すような場合には、補間を禁止した
方がよい。このような補間を禁止すべき状態は、例え
ば、制御点の位置関係から判定することが可能である。

【００５１】図８は、補間禁止領域の判定条件の一例の
説明図である。ここでは、判定条件を２種類とし、条件
１は、図８（Ａ）に示すように、対角に位置する制御点
間の差の絶対値の少なくとも１つが所定の閾値ＴＨ２よ
り大である場合に補間を禁止するものである。また、条
件２は、図８（Ｂ）に示すように、隣接する制御点間の
差の絶対値の少なくとも１つが所定の閾値ＴＨ３より大
である場合に補間を禁止することとしている。条件１，
２の両方が満たされない場合のみ、補間が可能であると
判定すればよい。もちろん、他の条件によって補間禁止
領域を判定してもよい。補間の禁止を示す１ビットの禁
止情報が、バッファ切り替え判定部１１に対して出力さ
れる。

【００５２】バッファ切り替え部１１では、入力される
分散情報と禁止情報に基づき、バッファ切り替え部１２
に対して切り替え指示を出力する。分散情報が平坦ブロ
ックであることを示す場合はブロックノイズの発生領域
であり、かつ、禁止情報が補間が可能な領域であること
を示す場合のみ補間ブロックが選択される。

【００５３】図９は、バッファの切り替え動作の一例を
示すフローチャートである。上述の制御点比較部６、ブ
ロック内分散計算部１０、バッファ切り替え判定部１１
の動作をまとめると、図９に示すようになる。Ｓ２１に
おいて、制御点比較部６でブロック内分散を計算する。
Ｓ２２において、分散が所定の閾値ＴＨ１よりも小さい
か否かを判定する。分散が所定の閾値ＴＨ１以上の場合
には、Ｓ２３において、補間処理を行なっていないバッ
ファ８内の画素ブロックが選択される。

【００５４】分散が所定の閾値ＴＨ１よりも小さい場合
には、Ｓ２４において制御点比較部６で計算した制御点
の差分から、Ｓ２５において図８に示した条件１，２を
満たすか否かを判定する。条件１または条件２を満たす
場合には、補間は禁止され、Ｓ２３において補間処理を
行なっていない画素ブロックが選択される。条件１およ
び条件２とも満たさない場合には、Ｓ２６において、バ
ッファ７に格納されている補間ブロックを選択する。

【００５５】復元画像記憶部１３では、バッファ切替え
部１２によって選択された、バッファ７，８のいずれか
に記憶された画素ブロックを、ブロックアドレス生成部
３からのブロックアドレスに対応する位置に記憶する。

【００５６】以上の動作によって、変換符号化によって
発生したブロックノイズを改善することができる。な
お、以上の説明においては、８×８画素のブロックサイ
ズについて説明してきたが、本発明はブロックサイズに
ついて規定するものではなく、任意のＭ×Ｎ画素のブロ
ックサイズを設定することができ、他の大きさの画素ブ
ロックについても同様の処理を行なうことができる。

【００５７】次に、本発明の画像処理装置の第２の実施
例について説明する。上述の第１の実施例では、補間さ
れたブロックどうしは階調変化の連続性が保証されてお
り、ブロックノイズはなくなる。また、ブロックノイズ
が比較的小さい場合には、補間されたブロックとそうで
ないブロックとの階調の不連続もそれほど問題とならな
い。しかし、ブロックノイズが大きい場合には階調の不
連続が目立ちやすくなることがある。

【００５８】このため、本発明の第２の実施例において
は、復号画像記憶部１から変換符号化の単位である８×
８画素領域を中心とした１０×１０画素ブロックを読み
出し、８×８画素ブロックの境界に位置する画素を周辺
の画素を用いて平滑化するものである。

【００５９】図１０は、本発明の画像処理装置の第２の
実施例を示す構成図である。図中、図１と同様の部分に
は、同じ番号を付して説明を省略する。１４は１０×１
０画素ブロック読み出し部、１５はフィルタ処理部であ
る。１０×１０画素ブロック読み出し部１４は、ブロッ
クアドレスで指定される８×８画素領域を中心とする１
０×１０画素領域を復号画像記憶部１より読み出し、８
×８画素ブロックをブロック内分散計算部１０へ、ま
た、１０×１０画素ブロックをフィルタ処理部１５へ、
それぞれ出力する。フィルタ処理部１５は、１０×１０
画素ブロック読み出し部１４から入力される１０×１０
画素ブロックに対してフィルタ処理を施し、中心に位置
する８×８画素領域を平滑化ブロックとして出力する。

【００６０】以下、本発明の画像処理装置の第２の実施
例における動作の一例を説明する。図１１は、１０×１
０画素領域のフィルタリングの説明図、図１２は、３×
３の窓領域内の注目画素と周辺画素の説明図である。１
０×１０画素ブロック読み出し部１４は、図１１におい
て格子状に示している８×８画素よりも、上下左右に１
画素分ずつ大きな外枠で示す１０×１０画素領域を読み
出す。フィルタ処理部１５では、図１１で太線の正方形
で示す３×３の窓領域を、その中心画素が８×８画素ブ
ロックの境界画素となるように順次設定する。そして、
次式に示すように、それぞれの境界画素の位置におい
て、図１２に示す画素Ｘの周辺の８画素ａ₀ 〜ａ₇ の平
均値を画素Ｘの値に設定する。 Ｘ＝Σａ_i ／８ これによって、ブロック境界における周辺ブロックとの
階調差を減少することができる。

【００６１】また、ブロック内分散計算部１０では、１
０×１０画素ブロック読み出し部１４の出力する８×８
画素ブロック内の分散を計算し、現在の画素ブロックが
ブロックノイズの発生領域であるか否かを判定する。そ
の他の動作は、第１の実施例と同様であるので省略す
る。

【００６２】以上述べてきたように、本発明の第２の実
施例においては、補間処理を行なわなかったブロックに
対して境界画素の平滑処理を行なうようにしたので、比
較的大きなブロックノイズに対しても、改善効果が得ら
れる。

【００６３】図１０に示した例では、補間ブロックと平
滑化ブロックのどちらかを選択する構成を示している
が、さらに、ブロック境界にエッジが存在する場合にそ
のエッジがなまらないように、復号ブロックも選択肢と
してバッファ切り替え部１２に供給し、３つのうちのい
ずれかを選択するように構成してもよい。

【００６４】また、上述の第２の実施例では、フィルタ
処理部１５は３×３画素のフィルタを用いたが、例えば
５×５画素のフィルタなど、種々の大きさのフィルタを
用いることも可能である。例えば５×５画素のフィルタ
を用いる場合には、画素ブロックの上下左右に２画素ず
つ拡大した１２×１２画素を読み込めばよい。

【００６５】さらに、上述の第２の実施例では、８×８
画素ブロックの境界画素についてのみ平滑化処理を行な
ったが、これに限らず、境界から２画素以上を平滑化処
理の対象とすることも可能である。

【００６６】なお、上述の第２の実施例においても、画
素ブロックの大きさは８×８画素に限られることはな
く、Ｍ×Ｎ画素の大きさの画素ブロックに対応すること
ができる。このとき、フィルタ処理のために、（Ｍ＋２
ｉ）×（Ｎ＋２ｉ）画素を読み込めばよい。

【００６７】

【発明の効果】以上の説明から明らかなように、本発明
によれば、画素ブロックごとにその特性に応じて適応的
にブロックノイズの改善処理を行なうので、例えば、エ
ッジ部などにおける劣化を起こさずにブロックノイズを
軽減することができる。

【００６８】このブロックノイズを改善するための補間
処理の際に、ブロック周辺の複数の参照画素から補間の
境界条件を設定し、曲面補間するので、隣接する補間ブ
ロック間では境界条件が共有されため、補間ブロックど
うしが滑らかに接続され、ブロックノイズの発生領域か
ら連続的な階調変化を再現することができる。

【００６９】また、ブロック内の平坦度の判定と、補間
の際の制御点間の差分の比較に基づいて補間処理の適用
可能なブロックを判定しているので、エッジ部を補間す
ることによるエッジのなまりが回避される。

【００７０】さらに、補間の適用されない場合には、復
号ブロックの境界の画素あるいは境界を含む数画素につ
いて、周囲の画素とともに平滑化処理を行なうようにし
たので、ブロックノイズが大きな場合に補間の適用され
たブロックと補間の適用されないブロックの間に残る階
調差を改善することができるという効果がある。

【図面の簡単な説明】

【図１】 本発明の画像処理装置の第１の実施例を示す
構成図である。

【図２】 Ｃｏｏｎｓの双３次曲面の概念説明図であ
る。

【図３】 本発明における双３次曲面の画素空間への適
用の説明図である。

【図４】 ブロックアドレスと画素ブロックの関係の説
明図である。

【図５】 補間対象ブロックと制御点の関係の説明図で
ある。

【図６】 補間画素位置の指定の説明図である。

【図７】 双３次補間によるエッジのなまりの説明図で
ある。

【図８】 補間禁止領域の判定条件の一例の説明図であ
る。

【図９】 バッファの切り替え動作の一例を示すフロー
チャートである。

【図１０】 本発明の画像処理装置の第２の実施例を示
す構成図である。

【図１１】 １０×１０画素領域のフィルタリングの説
明図、図１２は、３×３の窓領域内の注目画素と周辺画
素の説明図である。

【図１２】 ３×３の窓領域内の注目画素と周辺画素の
説明図である。

【符号の説明】

１…復号画像記憶部、２…制御点決定部、３…ブロック
アドレス生成部、４…境界条件決定部、５…補間処理
部、６…制御点比較部、７，８…バッファ、９…８×８
画素ブロック読み出し部、１０…ブロック内分散計算
部、１１…バッファ切り替え判定部、１２…バッファ切
替部、１３…復元画像記憶部、１４…１０×１０画素ブ
ロック読み出し部、１５…フィルタ処理部。

Claims (8)

【特許請求の範囲】
1. 【請求項１】 ブロック符号化方式によって符号化され
   た画像をＭ×Ｎ画素の矩形領域ごとに復号した復号ブロ
   ックを記憶する記憶手段と、前記復号ブロックと所定の
   位置関係をもつ複数の参照画素を前記記憶手段より読み
   出し前記参照画素に基づいて設定された境界条件で前記
   復号ブロック内の階調を曲面補間して補間ブロックを得
   る補間手段と、前記復号ブロック内の統計量に基づいて
   復号ブロック内が平坦な画素分布であるか否かを判定す
   る第１の判定手段と、前記境界条件に基づいて補間の可
   否を判定する第２の判定手段と、前記第１の判定手段お
   よび前記第２の判定手段の判定結果に基づいて前記補間
   ブロックと前記復号ブロックのいずれかを選択する選択
   手段を備えたことを特徴とする画像処理装置。
2. 【請求項２】 ブロック符号化方式によって符号化され
   た画像をＭ×Ｎ画素の矩形領域ごとに復号した復号ブロ
   ックを記憶する記憶手段と、前記復号ブロックと所定の
   位置関係をもつ複数の参照画素を前記記憶手段より読み
   出し前記参照画素に基づいて設定された境界条件で前記
   復号ブロック内の階調を曲面補間して補間ブロックを得
   る補間手段と、前記記憶手段内の前記復号ブロックより
   も少なくとも上下左右にｉ画素分大きな（Ｍ＋２ｉ）×
   （Ｎ＋２ｉ）画素ブロックを読み出して平滑化処理を施
   し中央部分のＭ×Ｎ画素を平滑化ブロックとして出力す
   る平滑化手段と、前記復号ブロック内の統計量に基づい
   て復号ブロック内が平坦な画素分布であるか否かを判定
   する第１の判定手段と、前記境界条件に基づいて補間の
   可否を判定する第２の判定手段と、前記第１の判定手段
   および前記と第２の判定手段の判定結果に基づいて前記
   補間ブロックと前記平滑化ブロックのいずれかを選択す
   る選択手段を備えたことを特徴とする画像処理装置。
3. 【請求項３】 前記補間手段は、前記複数の参照画素か
   ら制御点を決定する制御点決定部と、前記制御点から前
   記境界条件を決定する境界条件決定部と、前記境界条件
   に基づいてＭ×Ｎ画素の矩形領域内を双３次曲面で補間
   して補間ブロックを生成する補間処理部から構成される
   ことを特徴とする請求項１または２に記載の画像処理装
   置。
4. 【請求項４】 前記制御点は、前記記憶手段内の前記復
   号ブロックの境界の交点上に位置し、交点ごとに周辺の
   ４画素を前記複数の参照画素として読み出して平均化し
   た値を設定することを特徴とする請求項３に記載の画像
   処理装置。
5. 【請求項５】 前記境界条件は、前記記憶手段内の前記
   復号ブロックの周辺の４つの制御点と、各制御点におけ
   る水平、垂直のそれぞれの方向に隣接する２つの制御点
   の差分に基づいて定められる８つの接線ベクトルからな
   ることを特徴とする請求項３に記載の画像処理装置。
6. 【請求項６】 前記第１の判定手段は、前記復号ブロッ
   ク内の分散または最大値と最小値の差分を計算し、前記
   分散または前記差分の少なくとも一つを所定の閾値と比
   較して前記復号ブロックが平坦であるか否かを第１の判
   定結果として出力することを特徴とする請求項１または
   ２に記載の画像処理装置。
7. 【請求項７】 前記第２の判定手段は、前記復号ブロッ
   クの周辺の４つの制御点から、隣接する制御点の差分、
   対角位置の制御点の差分をそれぞれ所定の閾値と比較
   し、閾値を越えるものがあるか否かを第２の判定結果と
   して出力することを特徴とする請求項１または２に記載
   の画像処理装置。
8. 【請求項８】 前記参照画素が画像の外部にある場合に
   は、画像の境界部の最も近い画素の値を前記参照画素の
   値として設定することを特徴とする請求項１または２に
   記載の画像処理装置。