JP4552264B2

JP4552264B2 - Error correction apparatus and method

Info

Publication number: JP4552264B2
Application number: JP2000101546A
Authority: JP
Inventors: 哲二郎近藤; 泰弘藤森
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2000-04-03
Filing date: 2000-04-03
Publication date: 2010-09-29
Anticipated expiration: 2020-04-03
Also published as: JP2001285864A

Description

【０００１】
【発明の属する技術分野】
この発明は、符号化されたディジタル画像信号を復号化した後にノイズを低減するようにしたエラー修整装置および方法に関する。
【０００２】
【従来の技術】
画像信号の圧縮符号化方式のひとつとしてＭＰＥＧ２（Moving Picture Expert Group phase ２) による符号化方式が用いられている。ＭＰＥＧ２による送受信または記録再生システムでは、画像信号に対してＭＰＥＧ２による圧縮符号化処理を施して送信または記録し、また、受信または再生した画像信号に対して、ＭＰＥＧ２による圧縮符号化処理に対応する伸長復号化を施すことにより、元の画像信号を復元する。
【０００３】
ＭＰＥＧ２による符号化処理では、符号化処理に汎用性を持たせ、また、符号化による圧縮の効率を向上させるために、符号化された画像データと共に、復号化処理用の付加情報を伝送している。付加情報は、ＭＰＥＧ２のストリーム中のヘッダ中に挿入され、復号化装置に対して伝送される。
【０００４】
ＭＰＥＧに限らず、復号化によって得られる画像信号の特性は、適用される符号化復号化方式によって大きく異なる。例えば輝度信号、色差信号、三原色信号などの信号種類に応じてその物理的な特性（周波数特性等）が大きく相違する。この相違が符号化復号化処理を経た復号信号にも残ることになる。また、一般的に画像の符号化復号化処理では、時空間の間引き処理を導入することによって、符号化の対象となる画素数を低減することが多い。間引き方法によって、画像の時空間解像度の特性が大きく相違する。さらに、時空間解像度特性の相違が小さい場合においても、符号化における圧縮率（伝送レート）の条件によってＳ／Ｎ、符号化歪み量などの画質特性が大きく異なる。
【０００５】
本願出願人は、先に、クラス分類適応処理を提案している。これは、予め（オフラインで）学習処理において、実際の画像信号（教師信号および生徒信号）を使用して予測係数をクラス毎に求め、蓄積しておき、実際の画像変換処理では、入力画像信号からクラスを求め、クラスに対応する予測係数と入力画像信号の複数の画素値との予測演算によって、出力画素値を求めるものである。クラスは、作成する画素の空間的、時間的近傍の画素値の分布、波形に対応して決定される。実際の画像信号を使用して予測係数を演算し、また、クラス毎に予測係数を演算することによって、時間的および／または空間的な相関を利用してエラーの無い画素データによってエラーの画素データを修整するエラー修整処理と比較して、解像度の劣化を防止しつつエラーを修整することができる。
【０００６】
【発明が解決しようとする課題】
復号化された画像信号に対してクラス分類適応処理を適用することによって、エラーを修整する時に、対象とする画像信号が上述したような特性の相違を有している。それによって、クラス分類適応処理の予測精度が低下するため、十分なエラー修整性能を得られないという問題があった。
【０００７】
また、クラス分類適応処理において、対象画像信号の動き情報をクラスに導入することによって予測性能を向上することができる。その動き情報は、動きベクトルのような詳細な動き情報の表現形式が効果的である。しかしながら、符号化復号化処理を経た画像信号から動きベクトルを検出する場合には、復号画像信号の歪みのために動きベクトルの検出精度が低下し、また、動きベクトル検出のために、多量の演算処理が必要となるという問題があった。
【０００８】
従って、この発明の目的は、符号化復号化の処理を経たディジタル画像信号に対して付加情報を使用したクラス分類適応処理を行うことによって、エラー修整処理を良好に行うことが可能なエラー修整装置および方法を提供することにある。
【０００９】
【課題を解決するための手段】
上述した課題を解決するために、請求項１の発明は、符号化されたディジタル画像信号を復号化し、エラー訂正することによって生成される入力画像信号において、エラー訂正の結果を示すエラーフラグがエラー有りを示す画素のみに対してエラーを修整するようにしたエラー修整装置において、
復号化処理用の付加情報を抽出する付加情報抽出手段と、
入力画像信号から、所定の注目画素周辺に位置し、且つエラーフラグがエラー無しを示す複数の画素からなる領域を抽出する第１の領域切り出し手段と、
第１の領域切出し手段によって切り出される領域のレベル分布の特徴量を抽出する特徴量抽出手段と、
付加情報および特徴量からクラス情報を生成するクラス情報生成手段と、
入力ディジタル画像信号から、所定の注目画素周辺に位置し、且つエラーフラグがエラー無しを示す複数の画素からなる領域を抽出する第２の領域切り出し手段と、
クラス情報生成手段で生成されたクラス情報に対応して予め決定され、エラー修整された出力画像信号を推定するための予測係数が記憶手段に記憶されており、
クラス情報生成ステップで生成されたクラス情報に従って、記憶手段から選択される予測係数と、第２の領域切り出し手段で抽出された複数の画素との積和演算によって、注目画素に対する画素値を予測生成するための演算処理を行う演算処理手段とを有し、
予測係数と第２の領域切出し手段によって抽出される画像データとの積和演算の計算値と、出力画像信号に対応する所定の画像信号中の真の画素値との差を最小とするように、予測係数が予め定められ、
付加情報には、処理対象画像信号の種類を表す情報、処理対象画像信号の時間および／または空間解像度情報、および符号化の圧縮率の少なくとも一つが含まれることを特徴とするエラー修整装置である。
【００１０】
請求項３の発明は、符号化されたディジタル画像信号を復号化し、エラー訂正することによって生成される入力画像信号において、エラー訂正の結果を示すエラーフラグがエラー有りを示す画素のみに対してエラーを修整するようにしたエラー修整方法において、
復号化処理用の付加情報を抽出する付加情報抽出ステップと、
入力画像信号から、所定の注目画素周辺に位置し、且つエラーフラグがエラー無しを示す複数の画素からなる領域を抽出する第１の領域切り出しステップと、
第１の領域切出しステップによって切り出される領域のレベル分布の特徴量を抽出する特徴量抽出ステップと、
付加情報および特徴量からクラス情報を生成するクラス情報生成ステップと、
入力ディジタル画像信号から、所定の注目画素周辺に位置し、且つエラーフラグがエラー無しを示す複数の画素からなる領域を抽出する第２の領域切り出しステップと、
クラス情報生成ステップで生成されたクラス情報に対応して予め決定され、エラー修整された出力画像信号を推定するための予測係数が記憶手段に記憶されており、
クラス情報生成ステップで生成されたクラス情報に従って、記憶手段から選択される予測係数と、第２の領域切り出しステップで抽出された複数の画素との積和演算によって、注目画素に対する画素値を予測生成するための演算処理を行う演算処理ステップとを有し、
予測係数と第２の領域切出しステップによって抽出される画像データとの積和演算の計算値と、出力画像信号に対応する所定の画像信号中の真の画素値との差を最小とするように、予測係数が予め定められ、
付加情報には、処理対象画像信号の種類を表す情報、処理対象画像信号の時間および／または空間解像度情報、および符号化の圧縮率の少なくとも一つが含まれることを特徴とするエラー修整方法である。
【００２０】
請求項１および３の発明によれば、入力ディジタル画像信号の特徴量と共に復号化処理用の付加情報を使用したクラス分類適応処理を行うことが可能となり、クラス分類適応処理を適用したエラー修整処理における予測精度を向上することができる。
【００２１】
【発明の実施の形態】
以下、この発明の一実施形態について説明する。まず、図１を参照して、予測画像信号（すなわち、エラー修整された画像信号）の生成に係る構成について説明する。入力ビットストリームが復号器１に供給される。ここでは、入力ビットストリームは、送受信システム（または記録再生システム、以下、同様である。）において、ＭＰＥＧ２で圧縮符号化された画像データと、付加情報等のその他のデータとである。復号器１からは、復号化された画像信号と、復号化用の付加情報とが出力される。
【００２２】
付加情報は、復号化処理に必要な付随情報であり、入力ビットストリーム中のシーケンス層、ＧＯＰ層、ピクチャー層のそれぞれのヘッダ中に挿入されており、復号器１は、付加情報を使用して復号化処理を行い、また、付加情報を分離して出力する。
【００２３】
また、入力信号または復号器１で復号された画像信号に関して、エラー訂正符号を使用したエラー検出、訂正処理がエラー訂正部１０においてなされる。エラー訂正符号の訂正能力の範囲内のエラーが訂正される。しかしながら、エラー訂正符号によって訂正不可能なエラーが発生することもある。エラー訂正処理後において、復号画像信号の各画素単位で、訂正不可能なエラー画素位置情報を示すエラーフラグがエラー訂正部１０から出力される。このエラーフラグによって指示されるエラー画素に対してクラス分類適応処理が適用され、エラーが修整される。エラーフラグがエラー無しを示すものである場合には、エラー修整が不要である。したがって、エラーフラグに応じて復号データそのものと、クラス分類適応処理でエラー修整された画素値（予測値）とを選択するセレクタ１１が設けられている。セレクタ１１に対する復号画像信号を遅延させる遅延部（図示しない）が設けられ、クラス分類適応処理による遅れが補償される。
【００２４】
付加情報は、付加情報抽出部２に供給され、クラス分類適応処理に使用される付加情報が付加情報抽出部２から選択的に出力される。この抽出された付加情報が付加情報クラス生成部３に供給される。例えばクラス分類適応処理に使用される付加情報として、以下に挙げるものがある。
【００２５】
(1) 信号種類情報：コンポーネント信号の各成分（Ｙ，Ｕ，Ｖのコンポーネント、Ｙ，Ｐｒ，Ｐｂのコンポーネント、Ｒ，Ｇ，Ｂのコンポーネント等）
(2) 画像フォーマット情報：インターレース／プログレッシブの識別情報、フィールドまたはフレーム周波数（時間解像度情報）、水平画素数や垂直ライン数の画像サイズ情報（空間解像度情報）、４：３，１６：９等のアスペクトレシオ情報
(3) 画質情報：伝送ビットレート（圧縮率）情報
(4) 動きベクトル：水平と垂直の動き量情報
画像符号化の対象信号は、種々のものがあり、上述の付加情報を含む各種制御信号を伝送することによって受信側での復号を実現している。上述の付加情報で示される種々の仕様や属性によって、復号画像信号の信号特性が大きく異なる。そこで、この特性情報をクラス分類適応処理に導入することによって、予測性能の向上が図られる。
【００２６】
復号器１からの復号化画像信号とエラー訂正部１０からのエラーフラグとが領域切出し部４および予測タップデータ生成部５に供給される。領域切出し部４は、入力画像信号から複数の画素からなる領域を抽出し、抽出した領域に係る画素データを特徴量抽出部６に供給する。この場合、エラーフラグにより示されるエラーの注目画素のみならず、その時間および／または空間的に近傍のエラー画素は、クラスタップの画素としては使用されない。一方、クラスタップ内の画素数を所定数に保つために、１または複数のエラー画素が存在する時に、そのエラー画素に変えて使用される画素が予め決められている。それによって、クラスタップ内の画素数が一定数とされる。予測タップデータ生成部５においても、同様にエラー画素が予測演算に使用されず、所定の周辺の画素がエラー画素に代えて使用される。
【００２７】
特徴量抽出部６は、供給される画素データに１ビットＡＤＲＣ等の処理を施すことによってＡＤＲＣコードを生成し、生成したＡＤＲＣコードをクラスコード生成部７に供給する。領域切出し部４において抽出される複数の画素領域をクラスタップと称する。クラスタップは、注目（目標）画素の空間的および／または時間的近傍に存在する複数の画素からなる領域である。後述するように、クラスは、注目（目標）画素ごとに決定される。
【００２８】
ＡＤＲＣは、クラスタップ内の画素値の最大値および最小値を求め、最大値および最小値の差であるダイナミックレンジを求め、ダイナミックレンジに適応して各画素値を再量子化するものである。１ビットＡＤＲＣの場合では、タップ内の複数の画素値の平均値より大きいか、小さいかでその画素値が１ビットに変換される。ＡＤＲＣの処理は、画素値のレベル分布を表すクラスの数を比較的小さなものにするための処理である。したがって、ＡＤＲＣに限らず、ベクトル量子化等の画素値のビット数を圧縮する符号化を使用するようにしても良い。
【００２９】
また、特徴量抽出部６からクラスコード生成部７に対して、エラーフラグに基づくクラス情報が供給される。すなわち、クラスタップ領域内のエラー画素位置のパターンがエラークラスとしてクラスコード生成部７に供給される。クラスタップ領域内の画素数に応じた組み合わせ数のパターンが存在する。
【００３０】
クラスコード生成部７には、付加情報クラス生成部３において、付加情報に基づいて生成された付加情報クラスも供給される。クラスコード生成部７は、付加情報クラスとＡＤＲＣコードとエラークラスとに基づいて、クラス分類の結果を表すクラスコードを発生し、クラスコードを予測係数ＲＯＭ８に対してアドレスとして供給する。ＲＯＭ８は、供給されるクラスコードに対応する予測係数セットを予測演算部９に出力する。予測係数セットは、後述する学習処理によって予め決定され、クラス毎に、より具体的にはクラスコードをアドレスとする形態で予測係数ＲＯＭ８に記憶されている。予測係数は、外部から予測係数のダウンロードが可能なＲＡＭの構成のメモリに蓄積しても良い。
【００３１】
一方、予測タップデータ生成部５は、入力画像信号から複数の画素からなる所定の領域（予測タップ）を抽出し、抽出した予測タップの画素データを予測演算部９に供給する。予測タップは、クラスタップと同様に、注目（目標）画素の空間的および／または時間的近傍に存在する複数の画素からなる領域である。予測タップデータ生成部５に対して、エラーフラグが供給されており、エラーフラグによってエラー画素と指示されるものは、予測演算に使用されず、代わりの画素で置き換えられる。予測演算部９は、予測タップデータ生成部５から供給される画素データと、ＲＯＭ８から供給される予測係数セットとに基づいて以下の式（１）に従う積和演算を行うことによって、予測画素値（エラー修整後の画素値）を生成し、予測画素値を出力する。予測タップと上述したクラスタップは、同一、または別々の何れでも良い。
【００３２】
ｙ＝ｗ₁×ｘ₁＋ｗ₂×ｘ₂＋‥‥＋ｗ_n×ｘ_n （１）
ここで、ｘ₁，‥‥，ｘ_nが予測タップの各画素データであり、ｗ₁，‥‥，ｗ_nが予測係数セットである。予測演算は、この式（１）で示す１次式に限らず、２次以上の高次式でも良いし、非線形であっても良い。
【００３３】
予測画像信号は、復号器１の出力画像信号中のエラーが修整されたものである。クラス分類適応処理は、固定係数のフィルタによってエラー画素を補間するのと異なり、予め実際の画像信号を使用して求めた予測係数を使用するので、より真値に近い画素値を求めるように、エラーを修整することができる。
【００３４】
図２は、領域切出し部４によって抽出されるクラスタップの配置の一例を示す。復号化画像信号の内で注目画素とその周辺の複数画素との合計７個の画素によってクラスタップが設定される。図３は、予測タップデータ生成部５から出力される予測タップの配置の一例を示す。復号化画像信号の内で、注目画素と注目画素を中心とした周辺の複数の画素との合計１３個の画素によって予測タップが設定される。なお、図２および図３において、実線は、第１フィールドを示し、破線が第２フィールドを示す。また、図示のタップの配置は、一例であって、種々の配置を使用することができる。
【００３５】
次に、図４を参照して、クラスコード生成部７において形成されるクラスコード（予測係数ＲＯＭのアドレス）と、予測係数ＲＯＭ８に記憶されている予測係数との一例について説明する。図４に示すクラス情報の内で、信号種類クラス、フォーマットクラス、圧縮率（伝送レート）クラス、動きベクトルクラスは、付加情報クラス生成部３で生成されるクラスである。信号特徴量クラスは、特徴量抽出部６で抽出された特徴量に基づくクラス、例えばＡＤＲＣクラスである。エラークラスは、エラーフラグに基づいて特徴量抽出部６で生成されるクラスである。図４の表において、最も左側の信号種類クラスがアドレスの最上位側となり、最も右側のエラークラスが最も下位側となる。
【００３６】
信号種類クラスは、例えばＹ，Ｕ，ＶとＹ，Ｐｒ，Ｐｂとの２種類とされ、各信号種類に対応して予測係数が別々に求められ、各信号種類がクラスＫ０，Ｋ１で区別される。フォーマットクラスは、処理対象の画像の時空間解像度特性に対応したもので、例えば２種類とされ、各フォーマットクラスに対応してＦ０，Ｆ１のクラスが規定される。例えばインターレースの画像であれば、Ｆ０、プログレッシブの画像であれば、Ｆ１のクラスが割り当てられる。画像フォーマットのクラスの他の例は、フィールドまたはフレーム周波数、水平画素数または垂直ライン数である。一例として、Ｆ０，Ｆ１，Ｆ２，・・・と番号が大きくなるほど、時空間解像度が高くなる。
【００３７】
圧縮率（伝送レート）クラスは、画質情報に基づいたクラスであり、ｉ種類のクラスＲ０〜Ｒi-1 が用意されている。圧縮率が高いほど符号化歪み量が多くなる。動きベクトルクラスは、注目画素が含まれるフレーム（現フレーム）と時間的に前のフレームとの間の動きベクトルに応じたクラスであり、ｊ種類用意されている。圧縮率クラスおよび動きベクトルクラスは、個々の値でも良いが、その場合には、クラス数が多くなるので、代表的な複数の値にまとめられている。例えば適当なしきい値によって形成された複数の範囲毎に一つの代表値を設定し、その代表値に対応したクラスを設定すればよい。具体的には、水平方向および垂直方向の動きを表現した動きベクトルから静止、小さな動き、大きな動きとの３段階のクラスを形成しても良い。
【００３８】
以上の４種類のクラスが付加情報クラス生成部３において生成されるクラスである。但し、上述したクラスは、一例であり、一部のクラスのみを使用しても良い。例えば付加情報クラスのみをクラスとして使用しても良い。そして、上述した４種類のクラスの下位側に、特徴量抽出部６において生成された信号特徴量クラス（例えばＡＤＲＣコードに基づくクラス）が付加される。信号特徴量クラスとしては、ｋ種類用意されている。さらに、信号特徴量クラスの下位側にエラークラスが付加される。エラークラスとしては、ｍ種類用意されている。
【００３９】
このように、４種類の付加情報クラスと信号特徴量クラスとエラークラスで定まるクラス毎に予測係数セットがＲＯＭ８に記憶されている。上述した式（１）で示される予測演算を行う時には、ｗ₁，ｗ₂，‥‥，ｗ_nのｎ個の予測係数セットが各クラス毎に存在する。
【００４０】
図５を参照してこの発明の他の実施形態について説明する。一実施形態の構成を示す図１と対応する部分には、同一の参照符号を付して示す。他の実施形態は、復号器１からの復号画像信号の特性に基づいて、クラス分類のためのデータ抽出方法と、予測タップの構造を変更することによって、クラス分類適応処理の予測性能を向上するようにしたものである。
【００４１】
付加情報抽出部２によって抽出される付加情報によって、復号画像信号の特徴量を抽出するクラスタップ構造を変更するために、図５に示すように、付加情報によって領域切出し部４で抽出されるクラスタップのパターンが切り替えられる。特徴量抽出部６がＡＤＲＣによって特徴量としての波形、レベル分布を抽出する場合、対象画像の時間および／または空間解像度に応じてＡＤＲＣの対象とする領域の広さが変更される。また、信号の種類によって信号特性が異なるので、クラスタップ構造が変更される。さらに、画像のアスペクト比に応じてクラスタップ構造を変更することも可能である。
【００４２】
また、付加情報には、符号化復号化による画像の歪みを示す圧縮率（伝送レート情報）も含まれ、圧縮率の情報を付加情報から抽出することができる。一旦復号化された画像信号中の符号化歪み量を検出することは、難しい。異なる符号化歪み量の信号に対してクラス分類適応処理を適用した場合、予測性能の向上が困難である。そこで、この圧縮率（伝送レート情報）に対応してクラスタップの構成が変更される。さらに、動きベクトル情報に基づいてクラスタップの構成を変更することによって、時空間相関特性が高いクラスタップ構造を実現することができる。例えば静止の場合では、フレーム内でクラスタップを構成し、動きがあるときには、現在フレームに加えて前後のフレームにわたってクラスタップを構成するようになされる。
【００４３】
さらに、図５に示すように、クラスコード生成部７で形成されたクラスコードが予測タップデータ生成部５に対して制御信号として供給される。それによって、図４に示すような付加情報を加味したクラス毎に、最適な予測タップのパターンが設定されるようになされる。上述したクラスタップの構造を付加情報によって変更するのと同様に、クラス中の付加情報に応じて予測タップの構造が変更され、クラスタップの場合と同様に、予測タップを変更することによって、予測性能を向上することができる。
【００４４】
図６は、タップ（クラスタップまたは予測タップ）の領域を付加情報に応じて変更する一例を模式的に示すものである。図６は、現フレームとその前のフレームにそれぞれ属する空間的なタップによって時空間タップを設定する例を示し、破線の枠は、タップ領域を表している。また、×が付された画素は、エラー画素であることを示す。現フレーム内の二重丸の注目画素は、エラー画素であるため、クラス分類適応処理を適用したエラー修整の対象画素となる。
【００４５】
図６は、前フレームと現フレームとの間の動きベクトルによって、前フレームに設定される空間タップ（図６の例では、３×３画素の領域）の位置が変更される。この動き補正によって、相関が強い複数画素を使用してタップを構成することが可能となる。また、画像フォーマット情報例えば空間解像度情報Ｆ０，Ｆ１，Ｆ２に応じて、現フレームに設定される空間タップの領域が変更される。空間解像度情報Ｆ０，Ｆ１，Ｆ２は、注目された付加情報または付加情報クラスとしてクラスコード生成部７が生成するクラス情報中に含まれている。前述の図４の例では、Ｆ０，Ｆ１の２種類のクラスが存在している。
【００４６】
一例として、Ｆ０が空間解像度が最も低く、Ｆ１が空間解像度が中間で、Ｆ２が最も空間解像度が高い。空間解像度が高くなるにしたがってタップが含まれる領域が徐々に拡大される。空間解像度が低い場合には、相関の強い画素が存在する範囲が狭くなるために、タップの領域も狭いものとされる。それによって、クラス分類適応処理によるエラー修整処理の性能の向上を図ることができる。
【００４７】
さらに、クラスコード生成部７では、クラスタップ中で、注目画素以外のエラー画素の分布のパターンに基づくエラークラスが生成される。また、予測タップ生成部５では、注目画素以外の画素で、エラー画素が他の画素で置き換えられる。
【００４８】
次に、学習すなわちクラス毎の予測係数を求める処理について説明する。一般的には、クラス分類適応処理によって予測されるべき画像信号と同一の信号形式の画像信号（以下、教師信号と称する）と、教師信号にクラス分類適応処理の目的とされる処理（すなわち、エラー修整処理）と関連する処理を行うことによって得られる画像信号（生徒信号）とに基づく所定の演算処理によって予測係数が決定される。ＭＰＥＧ２規格等に従う画像信号の符号化／復号化を経た画像信号を対象としてなされるクラス分類適応処理においては、学習は、例えば図７に示すような構成によって行われる。図７は、図５に示す他の実施形態における予測係数データを学習するための構成である。
【００４９】
学習のために、教師信号と入力画像信号が使用される。教師信号は、エラーがない信号であり、生徒信号は、エラーがある信号である。教師信号に対して、エラーを付加することによって入力画像信号を形成しても良い。入力画像信号が符号化器２１で例えばＭＰＥＧ２によって符号化される。符号化器２１の出力信号が図１における入力信号に相当する。符号化器２１の出力信号が復号器２２に供給される。復号器２２からの復号画像信号が生徒信号として使用される。また、復号器２２で分離された復号用の付加情報が付加情報抽出部２３に供給され、付加情報が抽出される。さらに、エラー訂正部３２においてエラー訂正処理がなされ、エラー訂正不可能なエラー画素の位置を指示するエラーフラグがエラー訂正部３２から出力される。
【００５０】
抽出された付加情報は、付加情報クラス生成部２４および領域切出し部２５に供給される。付加情報は、上述したのと同様に、信号種類情報、画像フォーマット情報、画質情報、動きベクトル等である。また、エラー訂正部３２からのエラーフラグが領域切出し部２５および予測タップデータ生成部２６に供給される。
【００５１】
復号器２２からの復号画像信号、すなわち、生徒信号が領域切出し部２５および予測タップデータ生成部２６に供給される。図５の構成と同様に、領域切出し部２５が付加情報抽出部２３で抽出された付加情報によって制御され、予測タップデータ生成部２６がクラスコード生成部２８で生成されたクラスの内の付加情報クラスによって制御される。それによって、時間的および／または空間的相関の高い複数の画素によってタップを設定することが可能とされる。領域切出し部２５で抽出されたクラスタップのデータが特徴量抽出部２７に供給され、特徴量抽出部２７においてＡＤＲＣ等の処理によって、特徴量を抽出する。この特徴量がクラスコード生成部２８に供給される。クラスコード生成部２８は、付加情報クラスとＡＤＲＣコードとエラークラスとに基づいて、クラス分類の結果を表すクラスコードを発生する。クラスコードは、正規方程式加算部２９に供給される。
【００５２】
一方、予測タップデータ生成部２６により抽出された予測タップの画素データであってエラーの無い画素データが正規方程式加算部２９に供給される。正規方程式加算部２９は、予測タップデータ生成部２６の出力と、教師信号とに基づく所定の演算処理によって、クラスコード生成部２８から供給されるクラスコードに対応する予測係数セットを解とする正規方程式のデータを生成する。正規方程式加算部２９の出力は、予測係数算出部３０に供給される。
【００５３】
予測係数算出部３０は、供給されるデータに基づいて正規方程式を解くための演算処理を行う。この演算処理によって算出された予測係数セットがメモリ３１に供給され、記憶される。予測推定に係る画像変換処理を行うに先立って、図５中の予測係数ＲＯＭ８にメモリ３１の記憶内容がロードされる。
【００５４】
正規方程式について以下に説明する。上述の式（１）において、学習前は予測係数セットｗ₁，‥‥，ｗ_nが未定係数である。学習は、クラス毎に複数の教師信号を入力することによって行う。教師信号の種類数をｍと表記する場合、式（１）から、以下の式（２）が設定される。
【００５５】
ｙ_k＝ｗ₁×ｘ_k1＋ｗ₂×ｘ_k2＋‥‥＋ｗ_n×ｘ_kn （２）
（ｋ＝１，２，‥‥，ｍ）
【００５６】
ｍ＞ｎの場合、予測係数セットｗ₁，‥‥，ｗ_nは一意に決まらないので、誤差ベクトルｅの要素ｅ_kを以下の式（３）で定義して、式（４）によって定義される誤差ベクトルｅを最小とするように予測係数セットを定めるようにする。すなわち、いわゆる最小２乗法によって予測係数セットを一意に定める。
【００５７】
ｅ_k＝ｙ_k−｛ｗ₁×ｘ_k1＋ｗ₂×ｘ_k2＋‥‥＋ｗ_n×ｘ_kn｝（３）
（ｋ＝１，２，‥‥ｍ）
【００５８】
【数１】

【００５９】
式（４）のｅ²を最小とする予測係数セットを求めるための実際的な計算方法としては、ｅ²を予測係数ｗ_i(i=1,2‥‥）で偏微分し（式（５））、ｉの各値について偏微分値が０となるように各予測係数ｗ_iを定めれば良い。
【００６０】
【数２】

【００６１】
式（５）から各予測係数ｗ_iを定める具体的な手順について説明する。式（６）、（７）のようにＸ_ji，Ｙ_iを定義すると、式（５）は、式（８）の行列式の形に書くことができる。
【００６２】
【数３】

【００６３】
【数４】

【００６４】
【数５】

【００６５】
式（８）が一般に正規方程式と呼ばれるものである。予測係数算出部３０は、掃き出し法等の一般的な行列解法に従って正規方程式（８）を解くための計算処理を行って予測係数ｗ_iを算出する。
【００６６】
また、予測係数の生成は、図８に示すフローチャートで示されるようなソフトウェア処理によっても行うことができる。ステップＳ１から処理が開始され、ステップＳ２において、生徒信号を生成することによって、予測係数を生成するのに必要十分な学習データを生成する。ステップＳ３において、予測係数を生成するのに必要十分な学習データが得られたどうかを判定し、未だ必要十分な学習データが得られていないと判断された場合には、ステップＳ４に処理が移行する。
【００６７】
ステップＳ４において、生徒信号から抽出された特徴量と付加情報とエラーフラグからクラスを決定する。ステップＳ５においては、各クラス毎に正規方程式を生成し、ステップＳ２に戻って同様の処理手順を繰り返すことによって、予測係数セットを生成するのに必要十分な正規方程式を生成する。
【００６８】
ステップＳ３において、必要十分な学習データが得られたと判断されると、ステップＳ６に処理が移る。ステップＳ６では、正規方程式を掃き出し法によって解くことによって、予測係数セットｗ₁，ｗ₂，・・・・，ｗ_nを各クラス毎に生成する。そして、ステップＳ７において、生成した各クラス毎の予測係数セットｗ₁〜ｗ_nをメモリに記憶し、ステップＳ８で学習処理を終了する。
【００６９】
この発明は、上述したこの発明の一実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えばＭＰＥＧ２に限らず、ＭＰＥＧ４等の他の符号化方法を使用する場合に対して、この発明を適用することができる。
【００７０】
【発明の効果】
上述したように、この発明は、エラーを修整するために、復号化された復号信号に対してクラス分類適応処理を適用する時に、対象とする復号信号が有する属性や、特性を示す復号用付加情報を用いることによって、クラス分類適応処理の予測精度を向上することができ、エラー修整処理の性能を向上できる。この発明では、復号用付加情報を用いることによって、対象信号の属性や、特性を反映したクラス分類が可能となり、クラス分類適応処理の予測精度を向上することができ、エラー修整処理の性能を向上できる。この発明では、復号用付加情報を用いることによって、対象信号の属性や、特性を反映した適切な予測タップ構成が可能となり、クラス分類適応処理の予測精度を向上することができ、エラー修整処理の性能を向上できる。
【００７１】
また、この発明では、対象とする復号信号の動きベクトル情報を用いることによって、詳細なクラス分類、並びに適切な予測タップ構成が可能となり、クラス分類適応処理の予測精度を向上することができ、エラー修整処理の性能を向上できる。この動きベクトル情報を復号信号から検出するのではなく、付加情報として伝送される動きベクトル情報を使用するので、動きベクトル検出に必要とされる膨大な演算を回避できる。しかも、復号信号から動きベクトルを検出する場合には、符号化歪みによって、動きベクトルの精度が低下するおそれがある。この発明では、付加情報に含まれる動きベクトル情報を使用するので、高精度の動きベクトル情報を使用でき、それによってクラス分類適応処理の予測精度を向上することができ、エラー修整処理の性能を向上できる。
【図面の簡単な説明】
【図１】この発明の一実施形態の構成を示すブロック図である。
【図２】クラスタップの画素配置の一例の略線図である。
【図３】予測タップの画素配置の一例の略線図である。
【図４】付加情報および特徴量に基づくクラスの一例を示す略線図である。
【図５】この発明の他の実施形態の構成を示すブロック図である。
【図６】この発明の他の実施形態を説明するための略線図である。
【図７】クラス分類適応処理を行う場合の予測係数の学習処理に係る構成の一例を示すブロック図である。
【図８】学習処理をソフトウェアで行う時の処理を示すフローチャートである。
【符号の説明】
１，２２・・・復号器、２，２３・・・付加情報抽出部、３，２４・・・付加情報クラス生成部、４，２５・・・領域切出し部、５，２６・・・予測タップデータ生成部、６，２７・・・特徴量抽出部，７，２８・・・クラスコード生成部、８・・・予測係数ＲＯＭ、９・・・予測演算部[0001]
BACKGROUND OF THE INVENTION
The present invention provides an encoded digital image signal. Issue The present invention relates to an error correction apparatus and method for reducing noise after decoding.
[0002]
[Prior art]
As one of image signal compression encoding methods, an MPEG2 (Moving Picture Expert Group phase 2) encoding method is used. In the transmission / reception or recording / reproducing system based on MPEG2, the image signal is subjected to compression coding processing according to MPEG2 to be transmitted or recorded, and the received or reproduced image signal is expanded corresponding to the compression coding processing according to MPEG2. By decoding, the original image signal is restored.
[0003]
In the encoding process by MPEG2, in order to give the encoding process versatility and to improve the compression efficiency by encoding, additional information for decoding process is transmitted together with the encoded image data. Yes. The additional information is inserted into the header of the MPEG2 stream and transmitted to the decoding apparatus.
[0004]
The characteristics of an image signal obtained by decoding, not limited to MPEG, vary greatly depending on the encoding / decoding method applied. For example, the physical characteristics (frequency characteristics, etc.) differ greatly depending on the signal type such as a luminance signal, color difference signal, and three primary color signal. This difference also remains in the decoded signal that has undergone the encoding / decoding process. Also, in general, in image coding / decoding processing, the number of pixels to be encoded is often reduced by introducing spatiotemporal thinning processing. The spatio-temporal resolution characteristics of images differ greatly depending on the thinning method. Furthermore, even when the difference in spatio-temporal resolution characteristics is small, image quality characteristics such as S / N and coding distortion amount greatly differ depending on the compression rate (transmission rate) conditions in encoding.
[0005]
The applicant of the present application has previously proposed a classification adaptation process. This is because the prediction coefficient is obtained and stored for each class in advance (offline) in the learning process using the actual image signal (teacher signal and student signal). In the actual image conversion process, the input image signal A class is obtained from the above, and an output pixel value is obtained by a prediction calculation of a prediction coefficient corresponding to the class and a plurality of pixel values of the input image signal. The class is determined according to the distribution and waveform of pixel values in the spatial and temporal vicinity of the pixel to be created. By calculating the prediction coefficient using the actual image signal, and calculating the prediction coefficient for each class, the pixel data in error is obtained by the pixel data without error using temporal and / or spatial correlation. Compared with the error correction processing for correcting the error, the error can be corrected while preventing the resolution from deteriorating.
[0006]
[Problems to be solved by the invention]
By applying the class classification adaptive processing to the decoded image signal, when correcting the error, the target image signal has the difference in characteristics as described above. As a result, the prediction accuracy of the class classification adaptive processing decreases, and there is a problem that sufficient error correction performance cannot be obtained.
[0007]
Further, in the class classification adaptive processing, the prediction performance can be improved by introducing the motion information of the target image signal into the class. As the motion information, a detailed motion information expression format such as a motion vector is effective. However, when a motion vector is detected from an image signal that has been subjected to encoding / decoding processing, the accuracy of motion vector detection decreases due to distortion of the decoded image signal, and a large amount of computation is required for motion vector detection. There was a problem that processing was necessary.
[0008]
Therefore, an object of the present invention is to perform digital coding and decoding processing. image An object of the present invention is to provide an error correction apparatus and method that can perform error correction processing satisfactorily by performing class classification adaptive processing using additional information on a signal.
[0009]
[Means for Solving the Problems]
In order to solve the above-mentioned problems, the invention of claim 1 decodes an encoded digital image signal. Error correction In the input image signal generated by Indicates the result of error correction In the error correction device that corrects the error only for the pixels whose error flag indicates that there is an error,
Additional information extraction means for extracting additional information for decryption processing;
A first region cut-out means for extracting a region composed of a plurality of pixels located around a predetermined target pixel and having an error flag indicating no error from the input image signal;
Feature quantity extraction means for extracting the feature quantity of the level distribution of the area cut out by the first area cutout means;
Class information generating means for generating class information from the additional information and the feature quantity;
A second region cut-out means for extracting from the input digital image signal a region composed of a plurality of pixels located around a predetermined target pixel and having an error flag indicating no error;
Predictive coefficients for estimating the output image signal determined in advance and corrected for errors corresponding to the class information generated by the class information generating means are stored in the storage means,
According to the class information generated in the class information generation step, the pixel value for the target pixel is predicted and generated by the product-sum operation of the prediction coefficient selected from the storage unit and the plurality of pixels extracted by the second region cutout unit. Arithmetic processing means for performing arithmetic processing for
The difference between the calculated value of the product-sum operation of the prediction coefficient and the image data extracted by the second region extraction unit and the true pixel value in the predetermined image signal corresponding to the output image signal is minimized. The prediction coefficient is predetermined,
The error correction apparatus is characterized in that the additional information includes at least one of information indicating a type of the processing target image signal, time and / or spatial resolution information of the processing target image signal, and a compression rate of encoding. .
[0010]

Claim

3 Invention decodes encoded digital image signal Error correction In the input image signal generated by Indicates the result of error correction In the error correction method that corrects the error only for the pixels whose error flag indicates that there is an error,
An additional information extraction step of extracting additional information for decryption processing;
A first region cut-out step for extracting a region composed of a plurality of pixels located around a predetermined target pixel and indicating that there is no error from the input image signal;
A feature amount extracting step of extracting a feature amount of the level distribution of the region cut out by the first region cutting step;
A class information generation step for generating class information from the additional information and the feature amount;
A second region extraction step for extracting from the input digital image signal a region composed of a plurality of pixels located around a predetermined target pixel and having an error flag indicating no error;
A prediction coefficient for estimating the output image signal that has been determined in advance and corrected for errors in correspondence with the class information generated in the class information generation step is stored in the storage means,
According to the class information generated in the class information generation step, the pixel value for the target pixel is predicted and generated by the product-sum operation of the prediction coefficient selected from the storage means and the plurality of pixels extracted in the second region extraction step. An arithmetic processing step for performing arithmetic processing for
The difference between the calculated value of the product-sum operation of the prediction coefficient and the image data extracted by the second region extraction step and the true pixel value in the predetermined image signal corresponding to the output image signal is minimized. The prediction coefficient is predetermined,
The error correction method is characterized in that the additional information includes at least one of information indicating the type of the processing target image signal, time and / or spatial resolution information of the processing target image signal, and an encoding compression rate. .
[0020]

Claim

1 and 3 According to the invention, it is possible to perform class classification adaptive processing using additional information for decoding processing together with the feature amount of the input digital image signal, and improve prediction accuracy in error correction processing using class classification adaptive processing. can do.
[0021]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described. First, a configuration relating to generation of a predicted image signal (that is, an error-corrected image signal) will be described with reference to FIG. An input bit stream is supplied to the decoder 1. Here, the input bit stream is image data compressed and encoded by MPEG2 and other data such as additional information in a transmission / reception system (or a recording / reproduction system, hereinafter the same). The decoder 1 outputs a decoded image signal and additional information for decoding.
[0022]
The additional information is accompanying information necessary for the decoding process, and is inserted into each header of the sequence layer, the GOP layer, and the picture layer in the input bitstream. The decoder 1 uses the additional information. Decoding processing is performed, and additional information is separated and output.
[0023]
Further, the error correction unit 10 performs error detection and correction processing using an error correction code for the input signal or the image signal decoded by the decoder 1. Errors within the correction capability of the error correction code are corrected. However, an error that cannot be corrected may occur due to the error correction code. After the error correction process, an error flag indicating uncorrectable error pixel position information is output from the error correction unit 10 for each pixel of the decoded image signal. The class classification adaptive process is applied to the error pixel indicated by the error flag, and the error is corrected. If the error flag indicates no error, no error correction is required. Therefore, a selector 11 is provided for selecting the decoded data itself and the pixel value (predicted value) corrected for error by the class classification adaptive process according to the error flag. A delay unit (not shown) that delays the decoded image signal for the selector 11 is provided to compensate for a delay caused by the class classification adaptation process.
[0024]
The additional information is supplied to the additional information extraction unit 2, and the additional information used for the class classification adaptation process is selectively output from the additional information extraction unit 2. The extracted additional information is supplied to the additional information class generation unit 3. For example, the following information is used as additional information used in the classification adaptation process.
[0025]
(1) Signal type information: each component of the component signal (Y, U, V component, Y, Pr, Pb component, R, G, B component, etc.)
(2) Image format information: interlace / progressive identification information, field or frame frequency (time resolution information), image size information (spatial resolution information) such as the number of horizontal pixels and the number of vertical lines, 4: 3, 16: 9, etc. Aspect ratio information
(3) Image quality information: Transmission bit rate (compression rate) information
(4) Motion vector: Horizontal and vertical motion information
There are various image encoding target signals, and decoding on the receiving side is realized by transmitting various control signals including the above-described additional information. The signal characteristics of the decoded image signal vary greatly depending on various specifications and attributes indicated by the additional information. Therefore, the prediction performance can be improved by introducing this characteristic information into the classification adaptation process.
[0026]
The decoded image signal from the decoder 1 and the error flag from the error correction unit 10 are supplied to the region extraction unit 4 and the prediction tap data generation unit 5. The region cutout unit 4 extracts a region composed of a plurality of pixels from the input image signal, and supplies pixel data relating to the extracted region to the feature amount extraction unit 6. In this case, not only the error target pixel indicated by the error flag but also the error pixel in the vicinity in time and / or space is not used as the class tap pixel. On the other hand, in order to keep the number of pixels in the class tap at a predetermined number, when one or a plurality of error pixels exist, a pixel to be used in place of the error pixel is determined in advance. Thereby, the number of pixels in the class tap is set to a fixed number. Similarly, in the prediction tap data generation unit 5, error pixels are not used for prediction calculation, and predetermined peripheral pixels are used instead of error pixels.
[0027]
The feature amount extraction unit 6 generates an ADRC code by performing processing such as 1-bit ADRC on the supplied pixel data, and supplies the generated ADRC code to the class code generation unit 7. A plurality of pixel regions extracted by the region cutout unit 4 are referred to as class taps. The class tap is a region composed of a plurality of pixels existing in the spatial and / or temporal vicinity of the target (target) pixel. As will be described later, the class is determined for each target (target) pixel.
[0028]
In ADRC, the maximum value and the minimum value of pixel values in a class tap are obtained, a dynamic range that is a difference between the maximum value and the minimum value is obtained, and each pixel value is requantized in accordance with the dynamic range. In the case of 1-bit ADRC, the pixel value is converted to 1 bit depending on whether it is larger or smaller than the average value of a plurality of pixel values in the tap. The ADRC process is a process for making the number of classes representing the level distribution of pixel values relatively small. Therefore, not only ADRC but also encoding that compresses the number of bits of a pixel value such as vector quantization may be used.
[0029]
Also, class information based on the error flag is supplied from the feature quantity extraction unit 6 to the class code generation unit 7. That is, the error pixel position pattern in the class tap area is supplied to the class code generation unit 7 as an error class. There are combinations of patterns according to the number of pixels in the class tap region.
[0030]
The additional information class generated based on the additional information in the additional information class generating unit 3 is also supplied to the class code generating unit 7. The class code generation unit 7 generates a class code representing the result of class classification based on the additional information class, the ADRC code, and the error class, and supplies the class code to the prediction coefficient ROM 8 as an address. The ROM 8 outputs a prediction coefficient set corresponding to the supplied class code to the prediction calculation unit 9. The prediction coefficient set is determined in advance by a learning process, which will be described later, and is stored in the prediction coefficient ROM 8 for each class, more specifically, in a form using the class code as an address. The prediction coefficient may be stored in a memory having a RAM configuration in which the prediction coefficient can be downloaded from the outside.
[0031]
On the other hand, the prediction tap data generation unit 5 extracts a predetermined region (prediction tap) including a plurality of pixels from the input image signal, and supplies the extracted prediction tap pixel data to the prediction calculation unit 9. Similar to the class tap, the prediction tap is a region composed of a plurality of pixels existing in the spatial and / or temporal vicinity of the target (target) pixel. An error flag is supplied to the prediction tap data generation unit 5, and an error pixel indicated by the error flag is not used for the prediction calculation, and is replaced with a substitute pixel. The prediction calculation unit 9 performs a product-sum operation according to the following equation (1) based on the pixel data supplied from the prediction tap data generation unit 5 and the prediction coefficient set supplied from the ROM 8, thereby predicting pixel values. (Pixel value after error correction) is generated, and the predicted pixel value is output. The prediction tap and the class tap described above may be the same or different.
[0032]
y = w ₁ X ₁ + W ₂ X ₂ + ... + w _n X _n (1)
Where x ₁ , ..., x _n Is each pixel data of the prediction tap, and w ₁ , ..., w _n Is a prediction coefficient set. The prediction calculation is not limited to the linear expression shown in the expression (1), and may be a higher order expression of the second order or higher, or may be nonlinear.
[0033]
The predicted image signal is obtained by correcting an error in the output image signal of the decoder 1. Unlike the case where error pixels are interpolated by a fixed coefficient filter, the class classification adaptive processing uses a prediction coefficient obtained in advance using an actual image signal, so that a pixel value closer to the true value is obtained. The error can be corrected.
[0034]
FIG. 2 shows an example of the arrangement of class taps extracted by the area cutout unit 4. In the decoded image signal, a class tap is set by a total of seven pixels including the target pixel and a plurality of pixels around it. FIG. 3 shows an example of the arrangement of prediction taps output from the prediction tap data generation unit 5. In the decoded image signal, a prediction tap is set by a total of 13 pixels including a target pixel and a plurality of pixels around the target pixel. 2 and 3, the solid line indicates the first field, and the broken line indicates the second field. Further, the arrangement of the taps shown is an example, and various arrangements can be used.
[0035]
Next, an example of the class code (address of the prediction coefficient ROM) formed in the class code generation unit 7 and the prediction coefficient stored in the prediction coefficient ROM 8 will be described with reference to FIG. Among the class information shown in FIG. 4, a signal type class, a format class, a compression rate (transmission rate) class, and a motion vector class are classes generated by the additional information class generation unit 3. The signal feature quantity class is a class based on the feature quantity extracted by the feature quantity extraction unit 6, for example, an ADRC class. The error class is a class generated by the feature amount extraction unit 6 based on the error flag. In the table of FIG. 4, the leftmost signal type class is the most significant address side, and the rightmost error class is the least significant side.
[0036]
The signal type classes are, for example, two types of Y, U, V and Y, Pr, Pb, and prediction coefficients are obtained separately for each signal type, and each signal type is distinguished by classes K0 and K1. The The format class corresponds to the spatio-temporal resolution characteristics of the image to be processed. For example, there are two types, and F0 and F1 classes are defined corresponding to each format class. For example, an F0 class is assigned for an interlaced image, and a F1 class is assigned for a progressive image. Other examples of image format classes are field or frame frequency, number of horizontal pixels or number of vertical lines. As an example, the larger the numbers F0, F1, F2,..., The higher the spatiotemporal resolution.
[0037]
The compression rate (transmission rate) class is a class based on image quality information, and i types of classes R0 to Ri-1 are prepared. The higher the compression ratio, the larger the coding distortion amount. The motion vector class is a class corresponding to a motion vector between a frame including the pixel of interest (current frame) and a temporally previous frame, and j types are prepared. The compression rate class and the motion vector class may be individual values, but in that case, the number of classes increases, and therefore, the compression rate class and the motion vector class are grouped into a plurality of representative values. For example, one representative value may be set for each of a plurality of ranges formed by appropriate threshold values, and a class corresponding to the representative value may be set. Specifically, a three-stage class of stationary, small motion, and large motion may be formed from motion vectors representing horizontal and vertical motion.
[0038]
The above four types of classes are classes generated by the additional information class generation unit 3. However, the above-described classes are examples, and only some of the classes may be used. For example, only the additional information class may be used as the class. And the signal feature-value class (for example, class based on ADRC code) produced | generated in the feature-value extraction part 6 is added to the low-order side of four types of classes mentioned above. There are k types of signal feature classes. Furthermore, an error class is added to the lower side of the signal feature class. There are m types of error classes.
[0039]
As described above, the prediction coefficient set is stored in the ROM 8 for each class determined by the four types of additional information class, signal feature amount class, and error class. When performing the prediction calculation represented by the above formula (1), w ₁ , W ₂ , ..., w _n N prediction coefficient sets exist for each class.
[0040]
Another embodiment of the present invention will be described with reference to FIG. Portions corresponding to those in FIG. 1 showing the configuration of the embodiment are given the same reference numerals. In another embodiment, the prediction performance of the class classification adaptive process is improved by changing the data extraction method for class classification and the structure of the prediction tap based on the characteristics of the decoded image signal from the decoder 1. It is what I did.
[0041]
In order to change the class tap structure for extracting the feature amount of the decoded image signal according to the additional information extracted by the additional information extraction unit 2, as shown in FIG. 5, the class extracted by the region cutout unit 4 by the additional information Tap pattern can be switched. When the feature quantity extraction unit 6 extracts the waveform and level distribution as the feature quantity by ADRC, the size of the area targeted for ADRC is changed according to the time and / or spatial resolution of the target image. In addition, since the signal characteristics vary depending on the type of signal, the class tap structure is changed. Furthermore, the class tap structure can be changed according to the aspect ratio of the image.
[0042]
Further, the additional information includes a compression rate (transmission rate information) indicating image distortion caused by coding and decoding, and the compression rate information can be extracted from the additional information. It is difficult to detect the amount of encoding distortion in a once decoded image signal. When class classification adaptive processing is applied to signals with different coding distortion amounts, it is difficult to improve prediction performance. Therefore, the configuration of the class tap is changed corresponding to this compression rate (transmission rate information). Furthermore, a class tap structure with high spatiotemporal correlation characteristics can be realized by changing the configuration of the class tap based on the motion vector information. For example, in the case of stillness, a class tap is configured within a frame, and when there is movement, a class tap is configured over the previous and subsequent frames in addition to the current frame.
[0043]
Further, as shown in FIG. 5, the class code formed by the class code generation unit 7 is supplied to the prediction tap data generation unit 5 as a control signal. As a result, an optimum prediction tap pattern is set for each class in consideration of additional information as shown in FIG. The structure of the prediction tap is changed according to the additional information in the class in the same manner as the class tap structure is changed according to the additional information, and the prediction is performed by changing the prediction tap as in the case of the class tap. The performance can be improved.
[0044]
FIG. 6 schematically shows an example in which the area of taps (class taps or prediction taps) is changed according to additional information. FIG. 6 shows an example in which a spatiotemporal tap is set by a spatial tap belonging to each of the current frame and the previous frame, and a broken-line frame represents a tap area. A pixel marked with “x” indicates an error pixel. Since the target pixel of the double circle in the current frame is an error pixel, it becomes a target pixel for error correction to which the class classification adaptive processing is applied.
[0045]
In FIG. 6, the position of the space tap (3 × 3 pixel region in the example of FIG. 6) set in the previous frame is changed by the motion vector between the previous frame and the current frame. This motion correction makes it possible to configure a tap using a plurality of pixels having a strong correlation. Further, the area of the spatial tap set in the current frame is changed according to the image format information, for example, the spatial resolution information F0, F1, and F2. The spatial resolution information F0, F1, and F2 is included in the class information generated by the class code generation unit 7 as the additional information or additional information class that has received attention. In the example of FIG. 4 described above, there are two types of classes F0 and F1.
[0046]
As an example, F0 has the lowest spatial resolution, F1 has the middle spatial resolution, and F2 has the highest spatial resolution. As the spatial resolution increases, the area including the tap is gradually enlarged. When the spatial resolution is low, the area where pixels with strong correlation exist becomes narrow, and the tap area is also narrow. Thereby, it is possible to improve the performance of the error correction process by the class classification adaptive process.
[0047]
Further, the class code generation unit 7 generates an error class based on the distribution pattern of error pixels other than the target pixel in the class tap. Moreover, in the prediction tap production | generation part 5, an error pixel is replaced by another pixel by pixels other than a focused pixel.
[0048]
Next, learning, that is, processing for obtaining a prediction coefficient for each class will be described. In general, an image signal having the same signal format as the image signal to be predicted by the class classification adaptation process (hereinafter referred to as a teacher signal) and a process targeted for the class classification adaptation process on the teacher signal (that is, The prediction coefficient is determined by a predetermined calculation process based on the image signal (student signal) obtained by performing the process related to the error correction process. In the class classification adaptive processing that is performed on an image signal that has undergone encoding / decoding of an image signal in accordance with the MPEG2 standard or the like, learning is performed with a configuration as shown in FIG. 7, for example. FIG. 7 shows a configuration for learning prediction coefficient data in another embodiment shown in FIG.
[0049]
Teacher signals and input image signals are used for learning. The teacher signal is a signal with no error, and the student signal is a signal with an error. The input image signal may be formed by adding an error to the teacher signal. The input image signal is encoded by the encoder 21 using, for example, MPEG2. The output signal of the encoder 21 corresponds to the input signal in FIG. The output signal of the encoder 21 is supplied to the decoder 22. The decoded image signal from the decoder 22 is used as a student signal. Further, the additional information for decoding separated by the decoder 22 is supplied to the additional information extraction unit 23, and the additional information is extracted. Further, error correction processing is performed in the error correction unit 32, and an error flag indicating the position of an error pixel that cannot be corrected is output from the error correction unit 32.
[0050]
The extracted additional information is supplied to the additional information class generation unit 24 and the region extraction unit 25. The additional information is signal type information, image format information, image quality information, motion vectors, and the like, as described above. Further, the error flag from the error correction unit 32 is supplied to the region extraction unit 25 and the prediction tap data generation unit 26.
[0051]
The decoded image signal from the decoder 22, that is, the student signal is supplied to the region extraction unit 25 and the prediction tap data generation unit 26. Similar to the configuration of FIG. 5, the region extraction unit 25 is controlled by the additional information extracted by the additional information extraction unit 23, and the prediction tap data generation unit 26 adds additional information in the class generated by the class code generation unit 28. Controlled by class. Thereby, a tap can be set by a plurality of pixels having high temporal and / or spatial correlation. The class tap data extracted by the area cutout unit 25 is supplied to the feature amount extraction unit 27, and the feature amount extraction unit 27 extracts the feature amount by processing such as ADRC. This feature amount is supplied to the class code generation unit 28. The class code generation unit 28 generates a class code representing the result of class classification based on the additional information class, the ADRC code, and the error class. The class code is supplied to the normal equation adding unit 29.
[0052]
On the other hand, the pixel data of the prediction tap extracted by the prediction tap data generation unit 26 and having no error is supplied to the normal equation addition unit 29. The normal equation adding unit 29 performs normal operation with a prediction coefficient set corresponding to the class code supplied from the class code generating unit 28 as a solution by a predetermined calculation process based on the output of the prediction tap data generating unit 26 and the teacher signal. Generate equation data. The output of the normal equation adding unit 29 is supplied to the prediction coefficient calculating unit 30.
[0053]
The prediction coefficient calculation unit 30 performs a calculation process for solving a normal equation based on the supplied data. The prediction coefficient set calculated by this calculation process is supplied to the memory 31 and stored therein. Prior to performing image conversion processing related to prediction estimation, the storage contents of the memory 31 are loaded into the prediction coefficient ROM 8 in FIG.
[0054]
The normal equation will be described below. In the above equation (1), before learning, the prediction coefficient set w ₁ , ..., w _n Is an undetermined coefficient. Learning is performed by inputting a plurality of teacher signals for each class. When the number of types of teacher signals is expressed as m, the following equation (2) is set from equation (1).
[0055]
y _k = W ₁ X _k1 + W ₂ X _k2 + ... + w _n X _kn (2)
(K = 1, 2,..., M)
[0056]
If m> n, prediction coefficient set w ₁ , ..., w _n Is not uniquely determined, the element e of the error vector e _k Is defined by the following equation (3), and the prediction coefficient set is determined so as to minimize the error vector e defined by equation (4). That is, a prediction coefficient set is uniquely determined by a so-called least square method.
[0057]
e _k = Y _k -{W ₁ X _k1 + W ₂ X _k2 + ... + w _n X _kn } (3)
(K = 1, 2, ... m)
[0058]
[Expression 1]

[0059]
E in equation (4) ² As a practical calculation method for obtaining a prediction coefficient set that minimizes ² Prediction coefficient w _i (i = 1, 2...) is partially differentiated (formula (5)), and each prediction coefficient w is set so that the partial differential value becomes 0 for each value of i. _i Should be determined.
[0060]
[Expression 2]

[0061]
From equation (5), each prediction coefficient w _i A specific procedure for determining the above will be described. X as in equations (6) and (7) _ji , Y _i (5) can be written in the form of the determinant of equation (8).
[0062]
[Equation 3]

[0063]
[Expression 4]

[0064]
[Equation 5]

[0065]
Equation (8) is generally called a normal equation. The prediction coefficient calculation unit 30 performs a calculation process for solving the normal equation (8) in accordance with a general matrix solution method such as a sweep-out method, and performs the prediction coefficient w _i Is calculated.
[0066]
The generation of the prediction coefficient can also be performed by software processing as shown in the flowchart shown in FIG. The processing is started from step S1, and in step S2, learning data necessary and sufficient for generating a prediction coefficient is generated by generating a student signal. In step S3, it is determined whether or not learning data necessary and sufficient for generating a prediction coefficient has been obtained. If it is determined that necessary and sufficient learning data has not yet been obtained, the process proceeds to step S4. To do.
[0067]
In step S4, a class is determined from the feature amount extracted from the student signal, the additional information, and the error flag. In step S5, a normal equation is generated for each class, and by returning to step S2 and repeating the same processing procedure, a normal equation necessary and sufficient for generating a prediction coefficient set is generated.
[0068]
If it is determined in step S3 that necessary and sufficient learning data has been obtained, the process proceeds to step S6. In step S6, the prediction coefficient set w is solved by solving the normal equation by the sweep-out method. ₁ , W ₂ , ..., w _n Is generated for each class. In step S7, the generated prediction coefficient set w for each class ₁ ~ W _n Is stored in the memory, and the learning process is terminated in step S8.
[0069]
The present invention is not limited to the above-described embodiment of the present invention, and various modifications and applications can be made without departing from the gist of the present invention. For example, the present invention can be applied not only to MPEG2 but also to other encoding methods such as MPEG4.
[0070]
【The invention's effect】
As described above, in the present invention, when applying the class classification adaptive processing to the decoded decoded signal in order to correct the error, the attribute of the target decoded signal and the addition for decoding indicating the characteristics are provided. By using the information, it is possible to improve the prediction accuracy of the class classification adaptive processing and improve the performance of the error correction processing. In this invention, by using the decoding additional information, it is possible to perform class classification reflecting the attributes and characteristics of the target signal, the prediction accuracy of the class classification adaptive processing can be improved, and the performance of error correction processing is improved. it can. In the present invention, by using the decoding additional information, an appropriate prediction tap configuration that reflects the attributes and characteristics of the target signal can be achieved, the prediction accuracy of the class classification adaptive processing can be improved, and error correction processing can be performed. Performance can be improved.
[0071]
Further, in the present invention, by using the motion vector information of the target decoded signal, detailed class classification and an appropriate prediction tap configuration are possible, and the prediction accuracy of the class classification adaptive processing can be improved, and an error The performance of the retouching process can be improved. Since this motion vector information is not detected from the decoded signal, but motion vector information transmitted as additional information is used, it is possible to avoid an enormous amount of computation required for motion vector detection. In addition, when a motion vector is detected from the decoded signal, there is a risk that the accuracy of the motion vector is reduced due to encoding distortion. In this invention, since the motion vector information included in the additional information is used, high-precision motion vector information can be used, thereby improving the prediction accuracy of the class classification adaptive processing and improving the performance of the error correction processing. it can.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an embodiment of the present invention.
FIG. 2 is a schematic diagram illustrating an example of pixel arrangement of class taps.
FIG. 3 is a schematic diagram illustrating an example of a pixel arrangement of prediction taps.
FIG. 4 is a schematic diagram illustrating an example of a class based on additional information and feature amounts.
FIG. 5 is a block diagram showing a configuration of another embodiment of the present invention.
FIG. 6 is a schematic diagram for explaining another embodiment of the present invention.
FIG. 7 is a block diagram illustrating an example of a configuration related to a prediction coefficient learning process when performing a class classification adaptive process.
FIG. 8 is a flowchart showing processing when learning processing is performed by software.
[Explanation of symbols]
DESCRIPTION OF

SYMBOLS

1,22 ... Decoder, 2,23 ... Additional information extraction part, 3,24 ... Additional information class generation part, 4,25 ... Area extraction part, 5,26 ... Prediction tap Data generation unit, 6, 27 ... feature quantity extraction unit, 7, 28 ... class code generation unit, 8 ... prediction coefficient ROM, 9 ... prediction calculation unit

Claims

In the input image signal generated by decoding and error-correcting the encoded digital image signal, the error flag indicating the error correction result corrects the error only for the pixel indicating that there is an error. In the error correction device,
Additional information extraction means for extracting additional information for decryption processing;
A first region cutout unit that extracts a region composed of a plurality of pixels located around a predetermined target pixel and having the error flag indicating no error from the input image signal;
Feature quantity extraction means for extracting the feature quantity of the level distribution of the area cut out by the first area cutout means;
Class information generating means for generating class information from the additional information and the feature amount;
A second region segmentation means for extracting from the input digital image signal a region composed of a plurality of pixels located around the predetermined target pixel and indicating that there is no error in the error flag;
A prediction coefficient for estimating an output image signal that is determined in advance corresponding to the class information generated by the class information generation unit and corrected for errors is stored in the storage unit,
According to the class information generated in the class information generation step, the product of the prediction coefficient selected from the storage unit and a plurality of pixels extracted by the second region cutout unit is used for the target pixel. Arithmetic processing means for performing arithmetic processing for predictive generation of pixel values;
The difference between the calculated value of the product-sum operation of the prediction coefficient and the image data extracted by the second region extraction means and the true pixel value in the predetermined image signal corresponding to the output image signal is minimized. The prediction coefficient is determined in advance,
The error correction apparatus, wherein the additional information includes at least one of information indicating a type of the processing target image signal, time and / or spatial resolution information of the processing target image signal, and a coding compression rate.

In claim 1,
The above prediction coefficient is
Corresponding to the teacher signal with no error and the input image signal, it is generated in advance by the learning device using the student signal containing the error,
The learning device
First region cutout means for extracting a region composed of a plurality of pixels located around a predetermined target pixel and having the error flag indicating no error from the student signal;
Feature quantity extraction means for extracting the feature quantity of the level distribution of the area cut out by the first area cutout means;
Class information generating means for generating class information from the additional information and the feature amount;
A second region extracting means for extracting from the student signal a region consisting of a plurality of pixels located around the predetermined target pixel and the error flag indicating no error;
The difference between the calculated value of the product-sum operation between the prediction coefficient and the image data extracted by the second region extraction unit and the true pixel value in the predetermined image signal corresponding to the output image signal is minimized. As described above, and calculation means for calculating the prediction coefficient for each class information,
The error correction apparatus, wherein the additional information includes at least one of information indicating a type of the processing target image signal, time and / or spatial resolution information of the processing target image signal, and a coding compression rate.

In the input image signal generated by decoding and error-correcting the encoded digital image signal, the error flag indicating the error correction result corrects the error only for the pixel indicating that there is an error. In the error correction method,
An additional information extraction step of extracting additional information for decryption processing;
A first region cut-out step for extracting a region composed of a plurality of pixels located around a predetermined target pixel and having the error flag indicating no error from the input image signal;
A feature amount extracting step of extracting a feature amount of the level distribution of the region cut out by the first region cutting step;
A class information generating step for generating class information from the additional information and the feature amount; and a plurality of pixels located around the predetermined pixel of interest from the input digital image signal and the error flag indicating no error A second region segmentation step for extracting a region;
Predictive coefficients for estimating the output image signal that has been determined in advance and corrected for errors in correspondence with the class information generated in the class information generation step are stored in the storage means,
According to the class information generated in the class information generation step, the product of the prediction coefficient selected from the storage means and the plurality of pixels extracted in the second region cutout step is used for the target pixel. An arithmetic processing step for performing arithmetic processing for predictive generation of a pixel value,
The difference between the calculated value of the product-sum operation of the prediction coefficient and the image data extracted by the second region extraction step and the true pixel value in the predetermined image signal corresponding to the output image signal is minimized. The prediction coefficient is determined in advance,
The error correction method, wherein the additional information includes at least one of information indicating a type of a processing target image signal, time and / or spatial resolution information of the processing target image signal, and a compression rate of encoding.

In claim 3 ,
The above prediction coefficient is
Corresponding to the error-free teacher signal and the input image signal, it is generated in advance by learning using a student signal containing an error,
The above learning
A first region cut-out step for extracting from the student signal a region composed of a plurality of pixels located around a predetermined target pixel and the error flag indicating no error;
A feature amount extracting step of extracting a feature amount of the level distribution of the region cut out by the first region cutting step;
A class information generating step for generating class information from the additional information and the feature amount; and an area composed of a plurality of pixels located around the predetermined pixel of interest and having the error flag indicating no error from the student signal. A second region extraction step to extract;
The difference between the calculated value of the product-sum operation of the prediction coefficient and the image data extracted by the second region extraction step and the true pixel value in the predetermined image signal corresponding to the output image signal is minimized. As described above, the calculation step includes calculating the prediction coefficient for each class information,
The error correction method, wherein the additional information includes at least one of information indicating a type of a processing target image signal, time and / or spatial resolution information of the processing target image signal, and a compression rate of encoding.