JP3627291B2

JP3627291B2 - ブロック歪み除去装置および方法

Info

Publication number: JP3627291B2
Application number: JP15094495A
Authority: JP
Inventors: 真史内田; 哲二郎近藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1995-05-25
Filing date: 1995-05-25
Publication date: 2005-03-09
Anticipated expiration: 2020-03-09
Also published as: JPH08322041A

Description

【０００１】
【産業上の利用分野】
この発明は、例えばモザイク化された画像のようなブロック歪みが存在する画像を、ブロック歪みを除去した視覚的に良好な画像に変換するようなブロック歪み除去装置および方法に関する。
【０００２】
【従来の技術】
ディジタルビデオ信号を記録、伝送するときには、その情報量の多さ故に高能率符号化によって、ディジタルビデオ信号を圧縮するのが一般的になりつつある。高能率符号化としては、ＤＣＴ（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ）、ＡＤＲＣ（ＡｄａｐｔｉｖｅＤｙｎａｍｉｃＲａｎｇｅＣｏｄｉｎｇ）などのブロック変換符号化が知られている。
【０００３】
例えば、ＤＣＴによる符号化方式は、１フレームのテレビジョン信号を水平方向のｎ画素×ｍ画素からなる複数個の小ブロックに分割し、各ブロックに対してＤＣＴを施し、その結果得られた直流成分の係数データと、複数個の交流成分の係数データを出現確率に応じてビット長の異なるエントロピー符号、例えばハフマンコードに変換して記録、伝送することにより情報量を圧縮しようとするものである。
【０００４】
記録、伝送のためのレートが、もともとの画像の持つ情報量に比べてある程度以上多い場合は、圧縮によって情報量の削減を行っても画質的にはほとんど劣化が生じない。一方、記録、伝送のためのレートが低い場合は、大幅な情報量削減が必要になり、そのため画質の劣化が生じてくる。
【０００５】
画質劣化の様子は高能率符号化の種類により多少異なる。例えば、ＤＣＴによる圧縮では、圧縮比が高くなると、高域の情報から削除していくため、画像のボケ感が強まり、またエッジ近傍にモスキートノイズと呼ばれる特徴的な劣化が生じる。
【０００６】
さらに、非常に低レートの圧縮を行った場合、画像全体にブロックの境界が目立つ、いわゆるブロック歪みが生じ、画面がモザイク状になり、視覚的に劣化が目立つ。ＤＣＴに限らずＡＤＲＣにおいて、割り当て量子化ビット数を非常に少なくした場合でも同様にブロック歪みが生じる。このように、圧縮率を高くした場合のブロック歪みの発生は、ブロック符号化共通の現象である。
【０００７】
これに対し、従来から行われているブロック歪み軽減法のほとんどは、ローパスフィルタや線形補間などの手法により、信号の帯域を落とし、ブロック境界を目立たなくするという手法であった。しかしながら、この手法によると、視覚的に画像のボケが増し、必ずしも満足できる復元画像を得られないという問題点があった。
【０００８】
【発明が解決しようとする課題】
したがって、この発明は、上述の問題点に鑑みてなされたものであり、ローパスフィルタや線形補間などの単純に帯域を落とす手法によらず、ブロック歪みを除去できるようなブロック歪み除去装置および方法の提供を目的とする。
【０００９】
【課題を解決するための手段】
請求項１に記載の発明は、入力ディジタル画像信号を、ブロック歪みが低減された画像信号に変換するブロック歪み除去装置において、供給された画像情報から所定の位置の画像データを切り出す画像切り出し手段と、画像切り出し手段により抽出された画像情報の階調方向のレベルの分布状態を検出し、この階調方向のレベルの分布状態に基づいて、その画像情報が属するクラスを決定してクラス検出情報を出力するクラス検出手段と、供給された画像情報を、ブロック歪みが低減された画像情報に変換するための情報である積和演算式の係数データがクラス毎に記憶されており、クラス検出手段からのクラス検出情報に応じて係数データを出力する係数データ記憶手段と、係数データ記憶手段から供給された係数データと供給された画像情報とを用いた積和演算を行うことによって、供給された画像情報をブロック歪みが低減された画像情報に変換して出力する画像変換手段と、を有し、係数データ記憶手段に記憶されている係数データは、学習用の画像信号と、学習用の画像信号にブロック歪を加えたブロック歪付き画像信号とを用いた学習に基づいて求められることを特徴とするブロック歪み除去装置である。
【００１０】
請求項２に記載の発明は、入力ディジタル画像信号をブロック歪みが低減された画像信号に変換するブロック歪み除去方法において、供給された画像情報から所定の位置の画像データを切り出す画像切り出し工程と、画像切り出し工程により抽出された画像情報の階調方向のレベルの分布状態を検出し、この階調方向のレベルの分布状態に基づいて、その画像情報が属するクラスを決定してクラス検出情報を出力するクラス検出工程と、供給された画像情報を、ブロック歪みが低減された画像情報に変換するための情報である係数データが記憶されている係数記憶手段から係数データを読み出して、係数データを発生する係数データ発生工程と、係数データ発生工程で発生された係数データと供給された画像情報とを用いた積和演算を行うことによって、供給された画像情報をブロック歪みが低減された画像情報に変換して出力する画像変換工程と、を有し、係数記憶手段に記憶された係数データは、学習用の画像信号と、学習用の画像信号にブロック歪を加えたブロック歪付き画像信号とを用いた学習に基づいて求められるものであることを特徴とするブロック歪み除去方法である。
【００１１】
【作用】
この発明に係るブロック歪み除去装置は、入力ディジタル画像信号から、ブロック歪みを除去しようとする対象ブロックの近傍のブロックの画素データを用いて、レベル分布のパターンの検出を行い、クラス分類を行う。一方、係数データ記憶手段には外部から供給されたモザイク化された画像情報を、ブロック歪みを除去した画像情報に変換するための情報である線形推定式の係数データがクラス毎に記憶されており、この係数データは、クラス検出情報に応じて出力される。そして、推定演算手段が、係数データ記憶手段から供給された係数データに応じて、外部から供給されたモザイク化された画像情報を、ブロック歪みを除去した画像情報に変換する。
【００１２】
【実施例】
以下、この発明に係るブロック歪み除去装置の一実施例について図面を参照しながら詳細に説明する。図１は、この一実施例、すなわちブロック歪み除去装置の信号処理の概略的構成を示す。１で示す入力端子から、外部から供給される画像情報として、ディジタル化された画像信号が供給される。なお、ここで供給される画像信号は、モザイク状の画像信号、すなわち小ブロックに分割され、その各ブロックが同一の輝度値を持つ信号とする。ただし、この発明は、同一の輝度値に限定されず、ブロック内の輝度値の変化が非常に少ない画像も、モザイク化された画像として、処理の対象とすることができる。
【００１３】
入力端子１から供給された画像信号は、画素データ抽出回路２に供給される。画素データ抽出回路２は、ブロック歪みを除去する対象ブロックの近傍データのレベル分布をパターン化するために必要な画素データを抽出する働きをする。この実施例では、図３に示すようにブロック歪みを除去する対象ブロックＢ_{（０，０）}とその周辺の８ブロック（Ｂ_{（−１，−１）}〜Ｂ_{（１，１）}）からそれぞれ１画素、計９画素（ｘ_１〜ｘ_９）を抽出する。モザイクデータであり、ブロック内の輝度値は均一であるから、取り出す画素の位置は所定のブロック内であればどこでも良い。画素データ抽出回路２の出力信号は、ＡＤＲＣ回路３に供給される。
【００１４】
ＡＤＲＣ回路３は、供給された画素データの空間内波形を少ないビット数によりパターン化し、その波形のクラス分類を行うことを目的として、画素データ抽出回路２から供給される９画素からなる画素データを、例えば８ビットのデータから２ビットのデータに圧縮するような演算を行う。
【００１５】
本来、ＡＤＲＣ（ＡｄａｐｔｉｖｅＤｙｎａｍｉｃＲａｎｇｅＣｏｄｉｎｇ）は、ディジタルＶＴＲ用の高能率符号化用に開発された適応的量子化法であるが、信号レベルの局所的なパターンを短い語長で効率的に表現できるので、この実施例では信号パターンのクラス分類のためのコード発生に用いている。ＡＤＲＣ回路３は、領域内のダイナミックレンジをＤＲ、ビット割当をｎ、領域内画素のデータレベルをＬ、再量子化コードをＱとして以下の式（１）により、領域内の最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビット長で均等に分割して再量子化を行う。
【００１６】
ＤＲ＝ＭＡＸ−ＭＩＮ＋１
Ｑ＝〔（Ｌ−ＭＩＮ＋０．５）・２^ｎ／ＤＲ〕（１）
ただし、〔〕は、切り捨てを意味する。
【００１７】
この実施例では、画素データ抽出回路２により抽出された９画素のデータを、各２ビットに圧縮するものとする。圧縮されたデータをそれぞれｑ_１〜ｑ_９とする。また、その際検出されたダイナミックレンジＤＲを予め用意した以下に示すようなしきい値により、４レベルのＤＲ−ｃｌａｓｓを算出する。
【００１８】
ダイナミックレンジＤＲ≦８の場合：ＤＲ−ｃｌａｓｓ０
ダイナミックレンジＤＲ≦１６の場合：ＤＲ−ｃｌａｓｓ１
ダイナミックレンジＤＲ≦３６の場合：ＤＲ−ｃｌａｓｓ２
ダイナミックレンジＤＲ＞３６の場合：ＤＲ−ｃｌａｓｓ３
ＡＤＲＣ回路３の出力信号、すなわち各２ビットに圧縮された画素データｑ_１〜ｑ_９およびＤＲ−ｃｌａｓｓは、クラスコード発生回路４に供給される。
【００１９】
クラスコード発生回路４は、ＡＤＲＣ回路３から供給されるパターン圧縮データｑ_１〜ｑ_９およびＤＲ−ｃｌａｓｓに基づいて以下の式（２）の演算を行うことにより、抽出された画素データが属するクラスを検出し、そのクラスを示すクラスコードｃｌａｓｓをＲＯＭテーブル５に供給する。このクラスコードｃｌａｓｓは、ＲＯＭテーブル５からの読み出しアドレスを示すものとなっている。
【００２０】
【数１】

この実施例では、ｎは９、ｐは２である。
【００２１】
ＲＯＭテーブル５には、モザイク化した後のデータのパターンとモザイク化する前のデータの関係を学習することにより、線形推定式を用いて、モザイク化されたデータに対応するモザイク化する前のデータを推定演算するための係数データが各クラス毎に記憶されている。この実施例においては、係数データは、ブロック内の各画素位置に対応した形で、すなわち４×４のブロックであれば１６組の係数が独立に用意されている。なお、ＲＯＭテーブル５に記憶されている係数データの作成方法については後述する。ＲＯＭテーブル５からは、クラスコードｃｌａｓｓで示されるアドレスから、そのクラスの係数データであるｗｉ（ｃｌａｓｓ）が読み出される。この係数データは、推定演算回路７に供給される。
【００２２】
一方、画素データ抽出回路２で切り出された９つの画素データｘ_１〜ｘ_９も、ＡＤＲＣ回路３、クラスコード発生回路４およびＲＯＭテーブル５に要する時間だけ、信号を遅延させる働きをする遅延回路６を介して推定演算回路７に供給される。推定演算回路７は、画素データ抽出回路２から供給される画素データとＲＯＭテーブル５から供給される係数データに基づいて、入力されたモザイク化された画像のモザイクを除去する（ブロック歪みを除去する）変換処理を行う。
【００２３】
より具体的には、推定演算回路７は、画素データ抽出回路２から供給されるデータであるｘ_１〜ｘ_９と、クラスコード発生回路４により決定されたｃｌａｓｓに対応する形でＲＯＭテーブル５より供給された係数データであるｗ_１〜ｗ_９により、推定する画素の画素位置ごとに用意された係数を用いて演算を行うことにより、入力されたモザイク化された画像のブロック歪みを除去する処理を行う。ブロック歪み対象ブロックＢ_{（０，０）}の画素が図４に示すようにｙ_１〜ｙ_１６であった場合、推定演算式は以下のようになる。
【００２４】

推定演算回路７の出力信号は、ブロック歪みの除去が完了した信号であり、出力端子８を介して出力され、例えばテレビジョン受像機に供給される。
【００２５】
このように、モザイク化された画像データに対応する、モザイク化される前の画像データを推定するための係数データを各クラス毎に予め学習により求めた上で、ＲＯＭテーブル５に記憶しておき、入力される画像データおよびＲＯＭテーブル５から読み出した係数データに基づいて演算を行う。そして、入力された画像データに対応するブロック歪みを除去した画像データ形成して出力することにより、入力される画像データを単に帯域制限処理したのとは異なり、実際のモザイク化される前の画像データにより近いデータを出力することが出来る。
【００２６】
上述のように、対象ブロックＢ_{（０，０）}内の１６個の画素の値がブロック歪みを除去することができる。残りの８個のブロックについていは、対象ブロックＢ_{（０，０）}に関して得られた画素の値ｙ_１〜ｙ_１６の平均値によって、８個のブロック内の画素の値が置き換えられる。すなわち、この一実施例では、（３×３）＝９個のブロック毎にブロック歪みの除去の処理がなされる。もちろん、処理が複雑となるが入力画像データに対して、（３×３）＝９個のブロックの領域をオーバーラップさせて、全てのブロックについてブロック歪みの除去を行うようにしても良い。
【００２７】
続いて、ＲＯＭテーブル５に格納される係数データの作成方法について図２を用いて説明する。係数データを学習によって得るためには、まず、既に知られている画像信号に対応した、モザイク画像を形成する。具体的には、図２に示すように、入力端子１１を介して供給される画像信号をブロック化回路１２により小ブロックに分割し、さらにモザイク化回路１３により、各ブロック内の輝度値をブロック毎の平均値に置き換える、すなわちモザイク化する。モザイク化された信号をデ・ブロック化回路１４により、ブロックの順序の画素データをラスター走査の順序に変換する。これらの処理により、モザイク化された画像信号は、画素データ抽出回路１５に供給される。
【００２８】
画素データ抽出回路１５に供給された画像信号から、クラス分類のために必要なデータ切り出しが行われる。具体的には、画素データ抽出回路１５は、先に説明した画素データ抽出回路２と同一の働きをするものである。画素データ抽出回路１５により切り出された画素データは、ＡＤＲＣ回路１６に供給される。
【００２９】
ＡＤＲＣ回路１６は、領域毎に供給される画素データの１次元的あるいは２次元的なレベル分布のパターンを検出するとともに、上述のように各領域の全てのデータあるいは一部のデータを、例えば８ビットのディジタル画像データから２ビットのデータに圧縮するような演算を行うことによりパターン圧縮データを形成し、このパターン圧縮データをクラスコード発生回路１７に供給する。ＡＤＲＣ回路１６は、先に説明したＡＤＲＣ回路３と同一のものである。
【００３０】
クラスコード発生回路１７は、先に説明したクラスコード発生回路４と同一のものであり、ＡＤＲＣ回路１６から供給されるパターン圧縮データに基づいて式（２）の演算を行うことにより、抽出された画素データが属するクラスを検出し、そのクラスを示すクラスコードを出力するものである。クラスコード発生回路１７は、クラスコードを正規方程式加算回路１９に出力する。
【００３１】
一方、画素データ抽出回路１５から供給されたデータは、タイミング合わせのために用意された遅延回路１８を介して、正規方程式加算回路１９に供給される。このデータは、推定演算に使用するためのものであり、この実施例では、クラス分類に使用する画素と推定演算に使用する画素が同一であるため、画素データ抽出回路１５は、クラス分類に使用する画素の抽出と、推定演算に使用する画素の抽出を兼ねるという構造になっている。
【００３２】
ここで、正規方程式加算回路１９の説明のために、複数個のモザイク化された画素からブロック歪みを除去した画素への変換式の学習とその予測式を用いた信号変換について述べる。以下では、説明のために画素をより一般化してｎ画素による予測を行う場合について説明する。
【００３３】
モザイク化された画素レベルをそれぞれ、ｘ_１、・・・、ｘ_ｎとし、変換後の画素レベルをｙとしたとき、クラス毎に係数ｗ_１、・・・、ｗ_ｎによるｎタップの線形推定式を設定する。これを式（４）に示す。学習前は、ｗ_ｉが未定係数である。
【００３４】
ｙ＝ｗ_１ｘ_１＋ｗ_２ｘ_２＋・・・＋ｗ_ｎｘ_ｎ（４）
【００３５】
学習は、クラス毎に複数の信号データに対して行う。データ数がｍの場合、式（４）に従って、以下に示す式（５）が設定される。
【００３６】
ｙ_ｋ＝ｗ_１ｘ_ｋ１＋ｗ_２ｘ_ｋ２＋・・・＋ｗ_ｎｘ_ｋｎ（５）
（ｋ＝１、２、・・・ｍ）
【００３７】
ｍ＞ｎの場合、ｗ_１、・・・、ｗ_ｎは一意に決まらないので、誤差ベクトルｅの要素を式（６）で定義して、式（７）を最小にする係数を求める。いわゆる、最小二乗法による解法である。
【００３８】
ｅ_ｋ＝ｙ_ｋ−｛ｗ_１ｘ_ｋ１＋ｗ_２ｘ_ｋ２＋・・・＋ｗ_ｎｘ_ｋｎ｝（６）
（ｋ＝１、２、・・・、ｍ）
【００３９】
【数２】

【００４０】
ここで、式（７）のｗ_ｉによる偏微分係数を求める。それは式（８）を０にするように、各ｗ_ｉを求めればよい。
【００４１】
【数３】

【００４２】
以下、式（９）、式（１０）のように、Ｘ_ｉｊＹ_ｉを定義すると、式（８）は、行列を用いて式（１１）に書き換えられる。
【００４３】
【数４】

【００４４】
【数５】

【００４５】
【数６】

【００４６】
この方程式は、一般に正規方程式と呼ばれている。正規方程式加算回路１９は、クラスコード発生回路１７から供給されたクラスコードと、画素データ抽出回路１５より供給されたモザイク化された画素データｘ₁、・・・、ｘ_nと、入力端子１１よりタイミング合わせのために用意された遅延回路２０を介して供給されたモザイク化前の画素データとを用いて、この正規方程式の加算を行う。
【００４７】
すべてのトレーニングデータの入力が終了した後、正規方程式加算回路１９は、予測係数決定回路２１に正規方程式データを出力する。予測係数決定回路２１は、正規方程式を掃き出し法などの一般的な行列解法を用いて、ｗ_ｉについて解き、予測係数を算出する。予測係数決定回路２１は、算出された予測係数をメモリ２２に書き込む。
【００４８】
以上のようにトレーニングを行った結果、メモリ２２には、クラス毎にモザイク化された画素データからブロック歪みを除去したデータｙを推定するための、統計的にもっとも真値に近い推定が出来る予測係数が格納される。このメモリ２２に格納されたデータテーブルが、上述した実施例の発明のブロック歪み除去装置において使用されるＲＯＭテーブル５である。以上の処理により、線形推定式により、モザイク化された画素データからブロック歪みを除去したデータ作成するための係数データの学習が終了する。
【００４９】
なお、上述の実施例の説明では、空間波形を少ないビット数でパターン化する情報圧縮手段として、ＡＤＲＣを設けることにしたが、これは一例であり、信号波形のパターンの少ないクラスで表現できるような情報圧縮手段であれば何を設けるかは自由であり、例えばＤＰＣＭ（予測符号化）やＶＱ（ベクトル量子化）などの圧縮手段を設けても良い。
【００５０】
さらに、上述の実施例の説明では、簡単のため、完全にモザイク化された画像データからのブロック歪みの除去を対象としたが、ＤＣＴの直流成分のみが記録／伝送されているブロックあるいはＡＤＲＣの０ビット割り当てのブロックは、これと全く同じ処理で、ブロック歪みの除去が実現できる。また、わずかに信号変化のあるブロックに関してもこの方式を応用することにより、ブロック歪みの除去が実現できる。
【００５１】
【発明の効果】
この発明に依れば、原画像とモザイク化されたデータとの間の関係を線形一次式を用いて、処理対象ブロックの近傍画像データのレベル分布のパターンによりクラス分類した各クラス毎に、最小二乗法を用いて解き、モデル化し、推定演算式の係数を決定し、その係数を用いて変換を行う。そのため従来よりも高性能なブロック歪みの除去が実現できる。
【図面の簡単な説明】
【図１】この発明に係るブロック歪み除去装置の一実施例のブロック図である。
【図２】この発明に係る変換のための係数テーブルを作成する一実施例を示すブロック図である。
【図３】クラス分類および推定演算に使用する画素の説明のための図である。
【図４】推定する画素の説明のための図である。
【符号の説明】
１２ブロック化回路
１３モザイク化回路
１４デ・ブロック化回路
１５画素データ抽出回路
１６ＡＤＲＣ回路
１７クラスコード発生回路
１８、２０遅延回路
１９正規方程式加算回路
２１予測係数決定回路
２２メモリ

Claims

入力ディジタル画像信号をブロック歪みが低減された画像信号に変換するブロック歪み除去装置において、
供給された画像情報から所定の位置の画像データを切り出す画像切り出し手段と、
上記画像切り出し手段により抽出された画像情報の階調方向のレベルの分布状態を検出し、この階調方向のレベルの分布状態に基づいて、その画像情報が属するクラスを決定してクラス検出情報を出力するクラス検出手段と、
上記供給された画像情報を、ブロック歪みが低減された画像情報に変換するための情報である積和演算式の係数データが上記クラス毎に記憶されており、上記クラス検出手段からのクラス検出情報に応じて上記係数データを出力する係数データ記憶手段と、
上記係数データ記憶手段から供給された上記係数データと上記供給された画像情報とを用いた積和演算を行うことによって、上記供給された画像情報をブロック歪みが低減された画像情報に変換して出力する画像変換手段と、を有し、
上記係数データ記憶手段に記憶されている係数データは、学習用の画像信号と、上記学習用の画像信号にブロック歪を加えたブロック歪付き画像信号とを用いた学習に基づいて求められることを特徴とするブロック歪み除去装置。
入力ディジタル画像信号をブロック歪みが低減された画像信号に変換するブロック歪み除去方法において、
供給された画像情報から所定の位置の画像データを切り出す画像切り出し工程と、
上記画像切り出し工程により抽出された画像情報の階調方向のレベルの分布状態を検出し、この階調方向のレベルの分布状態に基づいて、その画像情報が属するクラスを決定してクラス検出情報を出力するクラス検出工程と、
上記供給された画像情報を、ブロック歪みが低減された画像情報に変換するための情報である係数データが上記クラス毎に記憶されている係数記憶手段から上記係数データを読み出して、係数データを発生する係数データ発生工程と、
上記係数データ発生工程で発生された上記係数データと上記供給された画像情報とを用いた積和演算を行うことによって、上記供給された画像情報をブロック歪みが低減された画像情報に変換して出力する画像変換工程と、を有し、
上記係数記憶手段に記憶された係数データは、学習用の画像信号と、上記学習用の画像信号にブロック歪を加えたブロック歪付き画像信号とを用いた学習に基づいて求められるものであることを特徴とするブロック歪み除去方法。