JP3945503B2 - 係数データ生成装置および方法 - Google Patents

Description

この発明は、例えばモザイク化された画像のようなブロック歪みが存在する画像を、ブロック歪みを除去した視覚的に良好な画像に変換するような係数データを生成する係数データ生成装置および方法に関する。

ディジタルビデオ信号を記録、伝送するときには、その情報量の多さ故に高能率符号化によって、ディジタルビデオ信号を圧縮するのが一般的になりつつある。高能率符号化としては、ＤＣＴ（Discrete Cosine Transform ）、ＡＤＲＣ（Adaptive Dynamic Range Coding ）などのブロック変換符号化が知られている。

例えば、ＤＣＴによる符号化方式は、１フレームのテレビジョン信号を水平方向のｎ画素×ｍ画素からなる複数個の小ブロックに分割し、各ブロックに対してＤＣＴを施し、その結果得られた直流成分の係数データと、複数個の交流成分の係数データを出現確率に応じてビット長の異なるエントロピー符号、例えばハフマンコードに変換して記録、伝送することにより情報量を圧縮しようとするものである。

記録、伝送のためのレートが、もともとの画像の持つ情報量に比べてある程度以上多い場合は、圧縮によって情報量の削減を行っても画質的にはほとんど劣化が生じない。一方、記録、伝送のためのレートが低い場合は、大幅な情報量削減が必要になり、そのため画質の劣化が生じてくる。

画質劣化の様子は高能率符号化の種類により多少異なる。例えば、ＤＣＴによる圧縮では、圧縮比が高くなると、高域の情報から削除していくため、画像のボケ感が強まり、またエッジ近傍にモスキートノイズと呼ばれる特徴的な劣化が生じる。

さらに、非常に低レートの圧縮を行った場合、画像全体にブロックの境界が目立つ、いわゆるブロック歪みが生じ、画面がモザイク状になり、視覚的に劣化が目立つ。ＤＣＴに限らずＡＤＲＣにおいて、割り当て量子化ビット数を非常に少なくした場合でも同様にブロック歪みが生じる。このように、圧縮率を高くした場合のブロック歪みの発生は、ブロック符号化共通の現象である。

これに対し、従来から行われているブロック歪み軽減法のほとんどは、ローパスフィルタや線形補間などの手法により、信号の帯域を落とし、ブロック境界を目立たなくするという手法であった。しかしながら、この手法によると、視覚的に画像のボケが増し、必ずしも満足できる復元画像を得られないという問題点があった。

したがって、この発明は、上述の問題点に鑑みてなされたものであり、ローパスフィルタや線形補間などの単純に帯域を落とす手法によらず、ブロック歪みを除去できるような係数データを生成する係数データ生成装置および方法の提供を目的とする。

上述した課題を達成するために、この発明は、入力ディジタル画像信号をブロック歪みが低減された画像信号に変換するための係数データを生成する係数データ生成装置において、供給された画像情報から所定の位置の画像データをブロック化するブロック化手段と、ブロック化がなされた画像データの各ブロック内の輝度値を各ブロックの平均値にそれぞれ置き換えることによりモザイク化してブロック歪を付加するモザイク化手段と、ブロック歪みが付加された画像データを、ブロックの順序からラスター走査の順序に変換して画像情報とするブロック分解手段と、ブロック歪が付加されたブロック分解手段からの画像情報から、ブロック化した際に隣接するブロックに含まれた画像データを含む所定の位置の画像データを切り出す画像切り出し手段と、画像切り出し手段により抽出された画像情報の階調方向のレベル分布状態を検出し、この階調方向のレベル分布状態に基づいて、その画像情報が属するクラスを決定してクラス検出情報を出力するクラス検出手段と、ブロック歪が付加されたブロック分解手段からの複数の画像情報と予測係数データとの積和による線形推定式によって、ブロック歪が付加された画像情報に対応する供給された画像情報を推定する際の予測係数データを、クラス毎に統計的に真値に近い推定ができるように生成する係数データ生成手段と、係数データをクラス毎に記憶する係数データ記憶手段と、からなることを特徴とする係数データ生成装置である。

また、この発明は、入力ディジタル画像信号をブロック歪みが低減された画像信号に変換するための係数データを生成する係数データ生成方法において、供給された画像情報から所定の位置の画像データをブロック化するブロック化工程と、ブロック化がなされた画像データの各ブロック内の輝度値を各ブロックの平均値にそれぞれ置き換えることによりモザイク化してブロック歪を付加するモザイク化工程と、ブロック歪みが付加された画像データを、ブロックの順序からラスター走査の順序に変換して画像情報とするブロック分解工程と、ブロック歪が付加されたブロック分解工程からの画像情報から、ブロック化した際に隣接するブロックに含まれた画像データを含む所定の位置の画像データを切り出す画像切り出し工程と、画像切り出し工程により抽出された画像情報の階調方向のレベル分布状態を検出し、この階調方向のレベル分布状態に基づいて、その画像情報が属するクラスを決定してクラス検出情報を出力するクラス検出工程と、ブロック歪が付加されたブロック分解工程からの複数の画像情報と予測係数データとの積和による線形推定式によって、ブロック歪が付加された画像情報に対応する供給された画像情報を推定する際の予測係数データを、クラス毎に統計的に真値に近い推定ができるように生成する係数データ生成工程と、係数データをクラス毎に記憶する係数データ記憶工程と、からなることを特徴とする係数データ生成方法である。

この発明に係る係数データ生成装置を適用したブロック歪み除去装置は、供給された画像情報にブロック歪みを付加し、ブロック歪みが付加された画像情報から所定の位置の画像データを切り出し、切り出された画像情報の階調方向のレベル分布状態を検出し、この階調方向のレベル分布状態に基づいて、その画像情報が属するクラスを決定し、ブロック歪みが付加された画像情報と該ブロック歪みが付加された画像情報に対応する画像情報とからブロック歪みを低減した画像情報へ変換するための係数データを生成し、生成された係数データを係数データ記憶手段に記憶し、該係数データ記憶手段を適用することによって、処理対象ブロックの近傍画像データのレベル分布のパターンによりクラス分類した各クラス毎に、推定演算式の係数を決定し、その係数を用いて変換するため従来よりも高性能なブロック歪みの除去が実現できる。

以下、この発明に係る係数データ生成装置をブロック歪み除去装置に適用した一実施例について図面を参照しながら詳細に説明する。図１は、この一実施例、すなわちブロック歪み除去装置の信号処理の概略的構成を示す。１で示す入力端子から、外部から供給される画像情報として、ディジタル化された画像信号が供給される。なお、ここで供給される画像信号は、モザイク状の画像信号、すなわち小ブロックに分割され、その各ブロックが同一の輝度値を持つ信号とする。ただし、この発明は、同一の輝度値に限定されず、ブロック内の輝度値の変化が非常に少ない画像も、モザイク化された画像として、処理の対象とすることができる。

入力端子１から供給された画像信号は、画素データ抽出回路２に供給される。画素データ抽出回路２は、ブロック歪みを除去する対象ブロックの近傍データのレベル分布をパターン化するために必要な画素データを抽出する働きをする。この実施例では、図３に示すようにブロック歪みを除去する対象ブロックＢ_(0,0) とその周辺の８ブロック（Ｂ_(-1,-1) 〜Ｂ_(1,1) ）からそれぞれ１画素、計９画素（ｘ₁ 〜ｘ₉ ）を抽出する。モザイクデータであり、ブロック内の輝度値は均一であるから、取り出す画素の位置は所定のブロック内であればどこでも良い。画素データ抽出回路２の出力信号は、ＡＤＲＣ回路３に供給される。

ＡＤＲＣ回路３は、供給された画素データの空間内波形を少ないビット数によりパターン化し、その波形のクラス分類を行うことを目的として、画素データ抽出回路２から供給される９画素からなる画素データを、例えば８ビットのデータから２ビットのデータに圧縮するような演算を行う。

本来、ＡＤＲＣ（Adaptive Dynamic Range Coding ）は、ディジタルＶＴＲ用の高能率符号化用に開発された適応的量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、この実施例では信号パターンのクラス分類のためのコード発生に用いている。ＡＤＲＣ回路３は、領域内のダイナミックレンジをＤＲ、ビット割当をｎ、領域内画素のデータレベルをＬ、再量子化コードをＱとして以下の式（１）により、領域内の最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビット長で均等に分割して再量子化を行う。

ＤＲ＝ＭＡＸ−ＭＩＮ＋１
Ｑ＝〔（Ｌ−ＭＩＮ＋０．５）・２ⁿ ／ＤＲ〕 （１）
ただし、〔 〕は、切り捨てを意味する。

この実施例では、画素データ抽出回路２により抽出された９画素のデータを、各２ビットに圧縮するものとする。圧縮されたデータをそれぞれｑ₁ 〜ｑ₉ とする。また、その際検出されたダイナミックレンジＤＲを予め用意した以下に示すようなしきい値により、４レベルのＤＲ-classを算出する。

ダイナミックレンジＤＲ≦８の場合 ：ＤＲ-class０
ダイナミックレンジＤＲ≦１６の場合：ＤＲ-class１
ダイナミックレンジＤＲ≦３６の場合：ＤＲ-class２
ダイナミックレンジＤＲ＞３６の場合：ＤＲ-class３
ＡＤＲＣ回路３の出力信号、すなわち各２ビットに圧縮された画素データｑ₁ 〜ｑ₉ およびＤＲ-classは、クラスコード発生回路４に供給される。

クラスコード発生回路４は、ＡＤＲＣ回路３から供給されるパターン圧縮データｑ₁ 〜ｑ₉ およびＤＲ-classに基づいて以下の式（２）の演算を行うことにより、抽出された画素データが属するクラスを検出し、そのクラスを示すクラスコードclass をＲＯＭテーブル５に供給する。このクラスコードclass は、ＲＯＭテーブル５からの読み出しアドレスを示すものとなっている。

この実施例では、ｎは９、ｐは２である。

ＲＯＭテーブル５には、モザイク化した後のデータのパターンとモザイク化する前のデータの関係を学習することにより、線形推定式を用いて、モザイク化されたデータに対応するモザイク化する前のデータを推定演算するための係数データが各クラス毎に記憶されている。この実施例においては、係数データは、ブロック内の各画素位置に対応した形で、すなわち４×４のブロックであれば１６組の係数が独立に用意されている。なお、ＲＯＭテーブル５に記憶されている係数データの作成方法については後述する。ＲＯＭテーブル５からは、クラスコードclass で示されるアドレスから、そのクラスの係数データであるｗi(class)が読み出される。この係数データは、推定演算回路７に供給される。

一方、画素データ抽出回路２で切り出された９つの画素データｘ₁ 〜ｘ₉ も、ＡＤＲＣ回路３、クラスコード発生回路４およびＲＯＭテーブル５に要する時間だけ、信号を遅延させる働きをする遅延回路６を介して推定演算回路７に供給される。推定演算回路７は、画素データ抽出回路２から供給される画素データとＲＯＭテーブル５から供給される係数データに基づいて、入力されたモザイク化された画像のモザイクを除去する（ブロック歪みを除去する）変換処理を行う。

より具体的には、推定演算回路７は、画素データ抽出回路２から供給されるデータであるｘ₁ 〜ｘ₉ と、クラスコード発生回路４により決定されたclass に対応する形でＲＯＭテーブル５より供給された係数データであるｗ₁ 〜ｗ₉ により、推定する画素の画素位置ごとに用意された係数を用いて演算を行うことにより、入力されたモザイク化された画像のブロック歪みを除去する処理を行う。ブロック歪み対象ブロックＢ_(0,0) の画素が図４に示すようにｙ₁ 〜ｙ₁₆であった場合、推定演算式は以下のようになる。

ｙ₁ ＝ｗ_1(y1) ｘ₁ ＋ｗ_2(y1) ｘ₂ ＋・・・＋ｗ_9(y1) ｘ₉
ｙ₂ ＝ｗ_1(y2) ｘ₁ ＋ｗ_2(y2) ｘ₂ ＋・・・＋ｗ_9(y2) ｘ₉
・・・
ｙ₁₆＝ｗ_1(y16)ｘ₁ ＋ｗ_2(y16)ｘ₂ ＋・・・＋ｗ_9(y16)ｘ₉ （３）
推定演算回路７の出力信号は、ブロック歪みの除去が完了した信号であり、出力端子８を介して出力され、例えばテレビジョン受像機に供給される。

このように、モザイク化された画像データに対応する、モザイク化される前の画像データを推定するための係数データを各クラス毎に予め学習により求めた上で、ＲＯＭテーブル５に記憶しておき、入力される画像データおよびＲＯＭテーブル５から読み出した係数データに基づいて演算を行う。そして、入力された画像データに対応するブロック歪みを除去した画像データ形成して出力することにより、入力される画像データを単に帯域制限処理したのとは異なり、実際のモザイク化される前の画像データにより近いデータを出力することが出来る。

上述のように、対象ブロックＢ_(0,0) 内の１６個の画素の値がブロック歪みを除去することができる。残りの８個のブロックについていは、対象ブロックＢ_(0,0) に関して得られた画素の値ｙ₁ 〜ｙ₁₆の平均値によって、８個のブロック内の画素の値が置き換えられる。すなわち、この一実施例では、（３×３）＝９個のブロック毎にブロック歪みの除去の処理がなされる。もちろん、処理が複雑となるが入力画像データに対して、（３×３）＝９個のブロックの領域をオーバーラップさせて、全てのブロックについてブロック歪みの除去を行うようにしても良い。

続いて、ＲＯＭテーブル５に格納される係数データの作成方法について図２を用いて説明する。係数データを学習によって得るためには、まず、既に知られている画像信号に対応した、モザイク画像を形成する。具体的には、図２に示すように、入力端子１１を介して供給される画像信号をブロック化回路１２により小ブロックに分割し、さらにモザイク化回路１３により、各ブロック内の輝度値をブロック毎の平均値に置き換える、すなわちモザイク化する。モザイク化された信号をデ・ブロック化回路１４により、ブロックの順序の画素データをラスター走査の順序に変換する。これらの処理により、モザイク化された画像信号は、画素データ抽出回路１５に供給される。

画素データ抽出回路１５に供給された画像信号から、クラス分類のために必要なデータ切り出しが行われる。具体的には、画素データ抽出回路１５は、先に説明した画素データ抽出回路２と同一の働きをするものである。画素データ抽出回路１５により切り出された画素データは、ＡＤＲＣ回路１６に供給される。

ＡＤＲＣ回路１６は、領域毎に供給される画素データの１次元的あるいは２次元的なレベル分布のパターンを検出するとともに、上述のように各領域の全てのデータあるいは一部のデータを、例えば８ビットのディジタル画像データから２ビットのデータに圧縮するような演算を行うことによりパターン圧縮データを形成し、このパターン圧縮データをクラスコード発生回路１７に供給する。ＡＤＲＣ回路１６は、先に説明したＡＤＲＣ回路３と同一のものである。

クラスコード発生回路１７は、先に説明したクラスコード発生回路４と同一のものであり、ＡＤＲＣ回路１６から供給されるパターン圧縮データに基づいて式（２）の演算を行うことにより、抽出された画素データが属するクラスを検出し、そのクラスを示すクラスコードを出力するものである。クラスコード発生回路１７は、クラスコードを正規方程式加算回路１９に出力する。

一方、画素データ抽出回路１５から供給されたデータは、タイミング合わせのために用意された遅延回路１８を介して、正規方程式加算回路１９に供給される。このデータは、推定演算に使用するためのものであり、この実施例では、クラス分類に使用する画素と推定演算に使用する画素が同一であるため、画素データ抽出回路１５は、クラス分類に使用する画素の抽出と、推定演算に使用する画素の抽出を兼ねるという構造になっている。

ここで、正規方程式加算回路１９の説明のために、複数個のモザイク化された画素からブロック歪みを除去した画素への変換式の学習とその予測式を用いた信号変換について述べる。以下では、説明のために画素をより一般化してｎ画素による予測を行う場合について説明する。

モザイク化された画素レベルをそれぞれ、ｘ₁ 、・・・、ｘ_n とし、変換後の画素レベルをｙとしたとき、クラス毎に係数ｗ₁ 、・・・、ｗ_n によるｎタップの線形推定式を設定する。これを式（４）に示す。学習前は、ｗ_i が未定係数である。

ｙ＝ｗ₁ ｘ₁ ＋ｗ₂ ｘ₂ ＋・・・＋ｗ_n ｘ_n （４）

学習は、クラス毎に複数の信号データに対して行う。データ数がｍの場合、式（４）に従って、以下に示す式（５）が設定される。

ｙ_k ＝ｗ₁ ｘ_k1＋ｗ₂ ｘ_k2＋・・・＋ｗ_n ｘ_kn （５）
（ｋ＝１、２、・・・ｍ）

ｍ＞ｎの場合、ｗ₁ 、・・・、ｗ_n は一意に決まらないので、誤差ベクトルｅの要素を式（６）で定義して、式（７）を最小にする係数を求める。いわゆる、最小二乗法による解法である。

ｅ_k ＝ｙ_k −｛ｗ₁ ｘ_k1＋ｗ₂ ｘ_k2＋・・・＋ｗ_n ｘ_kn｝ （６）
（ｋ＝１、２、・・・、ｍ）

ここで、式（７）のｗ_i による偏微分係数を求める。それは式（８）を０にするように、各ｗ_i を求めればよい。

以下、式（９）、式（１０）のように、Ｘ_ijＹ_i を定義すると、式（８）は、行列を用いて式（１１）に書き換えられる。

この方程式は、一般に正規方程式と呼ばれている。正規方程式加算回路１９は、クラスコード発生回路１７から供給されたクラスコードと、画素データ抽出回路１５より供給されたモザイク化された画素データｘ₁ 、・・・、ｘ_n と、入力端子１１よりタイミング合わせのために用意された遅延回路２０を介して供給されたモザイク化前の画素データとを用いて、この正規方程式の加算を行う。

すべてのトレーニングデータの入力が終了した後、正規方程式加算回路１９は、予測係数決定回路２１に正規方程式データを出力する。予測係数決定回路２１は、正規方程式を掃き出し法などの一般的な行列解法を用いて、ｗ_i について解き、予測係数を算出する。予測係数決定回路２１は、算出された予測係数をメモリ２２に書き込む。

以上のようにトレーニングを行った結果、メモリ２２には、クラス毎にモザイク化された画素データからブロック歪みを除去したデータｙを推定するための、統計的にもっとも真値に近い推定が出来る予測係数が格納される。このメモリ２２に格納されたデータテーブルが、上述した実施例の発明の係数データ生成装置を適用した係数データ生成装置において使用されるＲＯＭテーブル５である。以上の処理により、線形推定式により、モザイク化された画素データからブロック歪みを除去したデータ作成するための係数データの学習が終了する。

なお、上述の実施例の説明では、空間波形を少ないビット数でパターン化する情報圧縮手段として、ＡＤＲＣを設けることにしたが、これは一例であり、信号波形のパターンの少ないクラスで表現できるような情報圧縮手段であれば何を設けるかは自由であり、例えばＤＰＣＭ（予測符号化）やＶＱ（ベクトル量子化）などの圧縮手段を設けても良い。

さらに、上述の実施例の説明では、簡単のため、完全にモザイク化された画像データからのブロック歪みの除去を対象としたが、ＤＣＴの直流成分のみが記録／伝送されているブロックあるいはＡＤＲＣの０ビット割り当てのブロックは、これと全く同じ処理で、ブロック歪みの除去が実現できる。また、わずかに信号変化のあるブロックに関してもこの方式を応用することにより、ブロック歪みの除去が実現できる。

この発明は、上述したこの発明の一実施形態等に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

この発明に係る係数データ生成装置を適用した係数データ生成装置の一実施例のブロック図である。 この発明に係る変換のための係数テーブルを作成する一実施例を示すブロック図である。 クラス分類および推定演算に使用する画素の説明のための図である。 推定する画素の説明のための図である。

符号の説明

１２ ブロック化回路
１３ モザイク化回路
１４ デ・ブロック化回路
１５ 画素データ抽出回路
１６ ＡＤＲＣ回路
１７ クラスコード発生回路
１８、２０ 遅延回路
１９ 正規方程式加算回路
２１ 予測係数決定回路
２２ メモリ

Claims (2)

1. 入力ディジタル画像信号をブロック歪みが低減された画像信号に変換するための係数データを生成する係数データ生成装置において、
   供給された画像情報から所定の位置の画像データをブロック化するブロック化手段と、
   上記ブロック化がなされた画像データの各ブロック内の輝度値を各ブロックの平均値にそれぞれ置き換えることによりモザイク化してブロック歪を付加するモザイク化手段と、
   上記ブロック歪みが付加された画像データを、ブロックの順序からラスター走査の順序に変換して画像情報とするブロック分解手段と、
   上記ブロック歪が付加されたブロック分解手段からの画像情報から、上記ブロック化した際に隣接するブロックに含まれた画像データを含む所定の位置の画像データを切り出す画像切り出し手段と、
   上記画像切り出し手段により抽出された画像情報の階調方向のレベル分布状態を検出し、この階調方向のレベル分布状態に基づいて、その画像情報が属するクラスを決定してクラス検出情報を出力するクラス検出手段と、
   上記ブロック歪が付加されたブロック分解手段からの複数の画像情報と予測係数データとの積和による線形推定式によって、上記ブロック歪が付加された画像情報に対応する上記供給された画像情報を推定する際の上記予測係数データを、上記クラス毎に統計的に真値に近い推定ができるように生成する係数データ生成手段と、
   上記係数データを上記クラス毎に記憶する係数データ記憶手段と、
   からなることを特徴とする係数データ生成装置。
2. 入力ディジタル画像信号をブロック歪みが低減された画像信号に変換するための係数データを生成する係数データ生成方法において、
   供給された画像情報から所定の位置の画像データをブロック化するブロック化工程と、
   上記ブロック化がなされた画像データの各ブロック内の輝度値を各ブロックの平均値にそれぞれ置き換えることによりモザイク化してブロック歪を付加するモザイク化工程と、
   上記ブロック歪みが付加された画像データを、ブロックの順序からラスター走査の順序に変換して画像情報とするブロック分解工程と、
   上記ブロック歪が付加されたブロック分解工程からの画像情報から、上記ブロック化した際に隣接するブロックに含まれた画像データを含む所定の位置の画像データを切り出す画像切り出し工程と、
   上記画像切り出し工程により抽出された画像情報の階調方向のレベル分布状態を検出し、この階調方向のレベル分布状態に基づいて、その画像情報が属するクラスを決定してクラス検出情報を出力するクラス検出工程と、
   上記ブロック歪が付加されたブロック分解工程からの複数の画像情報と予測係数データとの積和による線形推定式によって、上記ブロック歪が付加された画像情報に対応する上記供給された画像情報を推定する際の上記予測係数データを、上記クラス毎に統計的に真値に近い推定ができるように生成する係数データ生成工程と、
   上記係数データを上記クラス毎に記憶する係数データ記憶工程と、
   からなることを特徴とする係数データ生成方法。

Images