JP4552261B2

JP4552261B2 - ディジタル情報変換装置および方法、並びに画像情報変換装置および方法

Info

Publication number: JP4552261B2
Application number: JP2000101542A
Authority: JP
Inventors: 哲二郎近藤; 泰弘藤森; 智勅使川原
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2000-04-03
Filing date: 2000-04-03
Publication date: 2010-09-29
Anticipated expiration: 2020-04-03
Also published as: JP2001285881A

Description

【０００１】
【発明の属する技術分野】
この発明は、符号化されたディジタル画像信号を復号化した後に品質を改善するようにした画像情報変換装置および方法に関する。
【０００２】
【従来の技術】
画像信号の圧縮符号化方式のひとつとしてＭＰＥＧ２（Moving Picture Expert Group phase ２) による符号化方式が用いられている。ＭＰＥＧ２による送受信または記録再生システムでは、画像信号に対してＭＰＥＧ２による圧縮符号化処理を施して送信または記録し、また、受信または再生した画像信号に対して、ＭＰＥＧ２による圧縮符号化処理に対応する伸長復号化を施すことにより、元の画像信号を復元する。
【０００３】
ＭＰＥＧ２による符号化処理では、符号化処理に汎用性を持たせ、また、符号化による圧縮の効率を向上させるために、符号化された画像データと共に、復号化処理用の付加情報を伝送している。付加情報は、ＭＰＥＧ２のストリーム中のヘッダ中に挿入され、復号化装置に対して伝送される。
【０００４】
ＭＰＥＧに限らず、復号化によって得られる画像信号の特性は、適用される符号化復号化方式によって大きく異なる。例えば輝度信号、色差信号、三原色信号などの信号種類に応じてその物理的な特性（周波数特性等）が大きく相違する。この相違が符号化復号化処理を経た復号信号にも残ることになる。また、一般的に画像の符号化復号化処理では、時空間の間引き処理を導入することによって、符号化の対象となる画素数を低減することが多い。間引き方法によって、画像の時空間解像度の特性が大きく相違する。さらに、時空間解像度特性の相違が小さい場合においても、符号化における圧縮率（伝送レート）の条件によってＳ／Ｎ、符号化歪み量などの画質特性が大きく異なる。
【０００５】
本願出願人は、先に、クラス分類適応処理を提案している。これは、予め（オフラインで）学習処理において、実際の画像信号（教師信号および生徒信号）を使用して予測係数をクラス毎に求め、蓄積しておき、実際の画像変換処理では、入力画像信号からクラスを求め、クラスに対応する予測係数と入力画像信号の複数の画素値との予測演算によって、出力画素値を求めるものである。クラスは、作成する画素の空間的、時間的近傍の画素値の分布、波形に対応して決定される。実際の画像信号を使用して予測係数を演算し、また、クラス毎に予測係数を演算することによって、単なる補間フィルタの処理と比較して、入力画像信号以上の解像度を創造することができる特徴を有する。
【０００６】
【発明が解決しようとする課題】
復号化された画像信号に対してクラス分類適応処理を適用することによって、時空間の解像度を創造する時に、対象とする画像信号が上述したような特性の相違を有している。それによって、クラス分類適応処理の予測精度が低下するため、十分な解像度創造性能を得られないという問題があった。
【０００７】
また、クラス分類適応処理において、対象画像信号の動き情報をクラスに導入することによって予測性能を向上することができる。その動き情報は、動きベクトルのような詳細な動き情報の表現形式が効果的である。しかしながら、符号化復号化処理を経た画像信号から動きベクトルを検出する場合には、復号画像信号の歪みのために動きベクトルの検出精度が低下し、また、動きベクトル検出のために、多量の演算処理が必要となるという問題があった。
【０００８】
従って、この発明の目的は、符号化復号化の処理を経たディジタル画像信号に対して付加情報を使用したクラス分類適応処理を行うことによって、時間および／または空間の解像度の向上を良好に行うことが可能な画像情報変換装置および方法を提供することにある。
【０００９】
【課題を解決するための手段】
上述した課題を解決するために、請求項１の発明は、符号化されたディジタル画像信号を復号化することによって生成される入力画像信号を、時間および／または空間においてより解像度の高い出力画像信号へ変換するようにした画像情報変換装置において、
復号化処理用の付加情報を抽出する付加情報抽出手段と、
入力画像信号から、所定の注目画素周辺の複数の画素からなる領域を抽出する第１の領域切り出し手段と、
第１の領域切出し手段によって切り出される領域のレベル分布の特徴量を抽出する特徴量抽出手段と、
付加情報および特徴量からクラス情報を生成するクラス情報生成手段と、
入力ディジタル画像信号から、所定の注目画素周辺の複数の画素からなる領域を抽出する第２の領域切り出し手段と、
クラス情報生成手段で生成されたクラス情報に対応して予め決定され、より解像度の高い出力画像信号を推定するための予測係数が記憶手段に記憶されており、
クラス情報生成ステップで生成されたクラス情報に従って、記憶手段から選択される予測係数と、第２の領域切り出し手段で抽出された複数の画素との積和演算によって、注目画素に対する画素値を予測生成するための演算処理を行う演算処理手段とを有し、
予測係数と第２の領域切出し手段によって抽出される画像データとの積和演算の計算値と、出力画像信号に対応する所定の画像信号中の真の画素値との差を最小とするように、予測係数が予め定められ、
付加情報には、処理対象画像信号の種類を表す情報、処理対象画像信号の時間および／または空間解像度情報、および符号化の圧縮率の少なくとも一つが含まれることを特徴とする画像情報変換装置である。
【００１０】
請求項３の発明は、符号化されたディジタル画像信号を復号化することによって生成される入力画像信号を、時間および／または空間においてより解像度の高い出力画像信号へ変換するようにした画像情報変換方法において、
復号化処理用の付加情報を抽出する付加情報抽出ステップと、
入力画像信号から、所定の注目画素周辺の複数の画素からなる領域を抽出する第１の領域切り出しステップと、
第１の領域切出しステップによって切り出される領域のレベル分布の特徴量を抽出する特徴量抽出ステップと、
付加情報および特徴量からクラス情報を生成するクラス情報生成ステップと、
入力ディジタル画像信号から、所定の注目画素周辺の複数の画素からなる領域を抽出する第２の領域切り出しステップと、
クラス情報生成ステップで生成されたクラス情報に対応して予め決定され、より解像度の高い出力画像信号を推定するための予測係数が記憶手段に記憶されており、
クラス情報生成ステップで生成されたクラス情報に従って、記憶手段から選択される予測係数と、第２の領域切り出しステップで抽出された複数の画素との積和演算によって、注目画素に対する画素値を予測生成するための演算処理を行う演算処理ステップとを有し、
予測係数と第２の領域切出しステップによって抽出される画像データとの積和演算の計算値と、出力画像信号に対応する所定の画像信号中の真の画素値との差を最小とするように、予測係数が予め定められ、
付加情報には、処理対象画像信号の種類を表す情報、処理対象画像信号の時間および／または空間解像度情報、および符号化の圧縮率の少なくとも一つが含まれることを特徴とする画像情報変換方法である。
【００２０】
請求項１および３の発明によれば、入力ディジタル画像信号の特徴量と共に復号化処理用の付加情報を使用することによって、クラス分類適応処理によって解像度の高い出力画像を生成する処理における予測精度を向上することができる。
【００２１】
【発明の実施の形態】
以下、この発明の一実施形態について説明する。まず、図１を参照して、予測画像信号の生成に係る構成について説明する。入力ビットストリームが復号器１に供給される。ここでは、入力ビットストリームは、送受信システム（または記録再生システム、以下、同様である。）において、ＭＰＥＧ２で圧縮符号化された画像データと、付加情報等のその他のデータとである。復号器１からは、復号化された画像信号と、復号化用の付加情報とが出力される。
【００２２】
付加情報は、復号化処理に必要な付随情報であり、入力ビットストリーム中のシーケンス層、ＧＯＰ層、ピクチャー層のそれぞれのヘッダ中に挿入されており、復号器１は、付加情報を使用して復号化処理を行い、また、付加情報を分離して出力する。
【００２３】
付加情報は、付加情報抽出部２に供給され、クラス分類適応処理に使用される付加情報が付加情報抽出部２から選択的に出力される。この抽出された付加情報が付加情報クラス生成部３に供給される。例えばクラス分類適応処理に使用される付加情報として、以下に挙げるものがある。
【００２４】
(1) 信号種類情報：コンポーネント信号の各成分（Ｙ，Ｕ，Ｖのコンポーネント、Ｙ，Ｐｒ，Ｐｂのコンポーネント、Ｒ，Ｇ，Ｂのコンポーネント等）
(2) 画像フォーマット情報：インターレース／プログレッシブの識別情報、フィールドまたはフレーム周波数（時間解像度情報）、水平画素数や垂直ライン数の画像サイズ情報（空間解像度情報）、４：３，１６：９等のアスペクトレシオ情報
(3) 画質情報：伝送ビットレート（圧縮率）情報
(4) 動きベクトル：水平と垂直の動き量情報
【００２５】
付加情報は、付加情報抽出部２に供給され、クラス分類適応処理に使用される付加情報が付加情報抽出部２から選択的に出力される。この抽出された付加情報が付加情報クラス生成部３に供給される。
【００２６】
復号器１からの復号化画像信号が領域切出し部４および予測タップデータ生成部５に供給される。領域切出し部４は、入力画像信号から複数の画素からなる領域を抽出し、抽出した領域に係る画素データを特徴量抽出部６に供給する。特徴量抽出部６は、供給される画素データに１ビットＡＤＲＣ等の処理を施すことによってＡＤＲＣコードを生成し、生成したＡＤＲＣコードをクラスコード生成部７に供給する。領域切出し部４において抽出される複数の画素領域をクラスタップと称する。クラスタップは、注目（目標）画素の空間的および／または時間的近傍に存在する複数の画素からなる領域である。後述するように、クラスは、注目（目標）画素ごとに決定される。
【００２７】
ＡＤＲＣは、クラスタップ内の画素値の最大値および最小値を求め、最大値および最小値の差であるダイナミックレンジを求め、ダイナミックレンジに適応して各画素値を再量子化するものである。１ビットＡＤＲＣの場合では、タップ内の複数の画素値の平均値より大きいか、小さいかでその画素値が１ビットに変換される。ＡＤＲＣの処理は、画素値のレベル分布を表すクラスの数を比較的小さなものにするための処理である。したがって、ＡＤＲＣに限らず、ベクトル量子化等の画素値のビット数を圧縮する符号化を使用するようにしても良い。
【００２８】
クラスコード生成部７には、付加情報クラス生成部３において、付加情報に基づいて生成された付加情報クラスも供給される。クラスコード生成部７は、付加情報クラスとＡＤＲＣコードに基づいて、クラス分類の結果を表すクラスコードを発生し、クラスコードを予測係数ＲＯＭ８に対してアドレスとして供給する。ＲＯＭ８は、供給されるクラスコードに対応する予測係数セットを予測演算部９に出力する。予測係数セットは、後述する学習処理によって予め決定され、クラス毎に、より具体的にはクラスコードをアドレスとする形態で予測係数ＲＯＭ８に記憶されている。予測係数は、外部から予測係数のダウンロードが可能なＲＡＭの構成のメモリに蓄積しても良い。
【００２９】
一方、予測タップデータ生成部５は、入力画像信号から複数の画素からなる所定の領域（予測タップ）を抽出し、抽出した予測タップの画素データを予測演算部９に供給する。予測タップは、クラスタップと同様に、注目（目標）画素の空間的および／または時間的近傍に存在する複数の画素からなる領域である。予測演算部９は、予測タップデータ生成部５から供給される画素データと、ＲＯＭ８から供給される予測係数セットとに基づいて以下の式（１）に従う積和演算を行うことによって、予測画素値を生成し、予測画素値を出力する。予測タップと上述したクラスタップは、同一、または別々の何れでも良い。
【００３０】
ｙ＝ｗ₁×ｘ₁＋ｗ₂×ｘ₂＋‥‥＋ｗ_n×ｘ_n （１）
ここで、ｘ₁，‥‥，ｘ_nが予測タップの各画素データであり、ｗ₁，‥‥，ｗ_nが予測係数セットである。予測演算は、この式（１）で示す１次式に限らず、２次以上の高次式でも良いし、非線形であっても良い。
【００３１】
予測画像信号は、復号器１の出力画像信号に対して、空間解像度がより高いものとされたものである。例えば、水平方向および垂直方向のそれぞれに関して画素数が元の画像の２倍とされた画像信号が出力される。クラス分類適応処理は、平均値等で画素を補間するものとは異なり、予め実際の画像信号を使用して求めた予測係数を使用するので、解像度を創造することができる処理である。また、この発明は、空間解像度に限らず、時間解像度を高くする処理に対しても適用できる。例えばフィールド周波数を６０Hzから１２０Hzとする処理に対しても適用することができる。さらに、時空間（空間および時間）の解像度を高くする処理を行うようにしても良い。
【００３２】
図２は、領域切出し部４によって抽出されるクラスタップの配置の一例を示す。復号化画像信号の内で注目画素とその周辺の複数画素との合計７個の画素によってクラスタップが設定される。図３は、予測タップデータ生成部５から出力される予測タップの配置の一例を示す。復号化画像信号の内で、注目画素と注目画素を中心とした周辺の複数の画素との合計１３個の画素によって予測タップが設定される。なお、図２および図３において、実線は、第１フィールドを示し、破線が第２フィールドを示す。また、図示のタップの配置は、一例であって、種々の配置を使用することができる。
【００３３】
次に、図４を参照して、クラスコード生成部７において形成されるクラスコード（予測係数ＲＯＭのアドレス）と、予測係数ＲＯＭ８に記憶されている予測係数との一例について説明する。図４に示すクラス情報の内で、信号種類クラス、フォーマットクラス、圧縮率（伝送レート）クラスおよび動きベクトルクラスは、付加情報クラス生成部３で生成されるクラスである。信号特徴量クラスは、特徴量抽出部６で抽出された特徴量に基づくクラス、例えばＡＤＲＣクラスである。図４の表において、最も左側の信号種類クラスがアドレスの最上位側となり、最も右側の信号特徴量クラスが最も下位側となる。
【００３４】
信号種類クラスは、例えばＹ，Ｕ，ＶとＹ，Ｐｒ，Ｐｂとの２種類とされ、各信号種類に対応して予測係数が別々に求められ、各信号種類がクラスＫ０，Ｋ１で区別される。フォーマットクラスは、処理対象の画像の時空間解像度特性に対応したもので、例えば２種類とされ、各フォーマットクラスに対応してＦ０，Ｆ１のクラスが規定される。例えばインターレースの画像であれば、Ｆ０、プログレッシブの画像であれば、Ｆ１のクラスが割り当てられる。画像フォーマットのクラスの他の例は、フィールドまたはフレーム周波数、水平画素数または垂直ライン数である。一例として、Ｆ０，Ｆ１，Ｆ２，・・・と番号が大きくなるほど、時空間解像度が高くなる。
【００３５】
圧縮率（伝送レート）クラスは、画質情報に基づいたクラスであり、ｉ種類のクラスＲ０〜Ｒi-1 が用意されている。圧縮率が高いほど符号化歪み量が多くなる。動きベクトルクラスは、動きベクトルに応じたクラスであり、ｊ種類用意されている。圧縮率クラスおよび動きベクトルクラスは、個々の値でも良いが、その場合には、クラス数が多くなるので、代表的な複数の値にまとめられている。例えば適当なしきい値によって形成された複数の範囲毎に一つの代表値を設定し、その代表値に対応したクラスを設定すればよい。具体的には、水平方向および垂直方向の動きを表現した動きベクトルから静止、小さな動き、大きな動きとの３段階のクラスを形成しても良い。
【００３６】
以上の４種類のクラスが付加情報クラス生成部３において生成されるクラスである。但し、上述したクラスは、一例であり、一部のクラスのみを使用しても良い。例えば付加情報クラスのみをクラスとして使用しても良い。そして、上述した４種類のクラスの下位側に、特徴量抽出部６において生成された信号特徴量クラス（例えばＡＤＲＣコードに基づくクラス）が付加される。信号特徴量クラスとしては、ｋ種類用意されている。
【００３７】
このように、４種類の付加情報クラスと１種類の信号特徴量クラスとで定まるクラス毎に予測係数セットがＲＯＭ８に記憶されている。上述した式（１）で示される予測演算を行う時には、ｗ₁，ｗ₂，‥‥，ｗ_nのｎ個の予測係数セットが各クラス毎に存在する。
【００３８】
図５を参照してこの発明の他の実施形態について説明する。一実施形態の構成を示す図１と対応する部分には、同一の参照符号を付して示す。他の実施形態は、復号器１からの復号画像信号の特性に基づいて、クラス分類のためのデータ抽出方法と、予測タップの構造を変更することによって、クラス分類適応処理の予測性能を向上するようにしたものである。
【００３９】
付加情報抽出部２によって抽出される付加情報によって、復号画像信号の特徴量を抽出するクラスタップ構造を変更するために、図５に示すように、付加情報によって領域切出し部４で抽出されるクラスタップのパターンが切り替えられる。特徴量抽出部６がＡＤＲＣによって特徴量としての波形、レベル分布を抽出する場合、対象画像の空間解像度に応じてＡＤＲＣの対象とする領域の広さが変更される。また、信号の種類によって信号特性が異なるので、クラスタップ構造が変更される。さらに、画像のアスペクト比に応じてクラスタップ構造を変更することも可能である。
【００４０】
また、付加情報には、符号化復号化による画像の歪みを示す圧縮率（伝送レート情報）も含まれ、圧縮率の情報を付加情報から抽出することができる。一旦復号化された画像信号中の符号化歪み量を検出することは、難しい。異なる符号化歪み量の信号に対してクラス分類適応処理を適用した場合、予測性能の向上が困難である。そこで、この圧縮率（伝送レート情報）に対応してクラスタップの構成が変更される。さらに、動きベクトル情報に基づいてクラスタップの構成を変更することによって、時空間相関特性が高いクラスタップ構造を実現することができる。例えば静止の場合では、フレーム内でクラスタップを構成し、動きがあるときには、現在フレームに加えて前後のフレームにわたってクラスタップを構成するようになされる。
【００４１】
さらに、図５に示すように、クラスコード生成部７で形成されたクラスコードが予測タップデータ生成部５に対して制御信号として供給される。それによって、図４に示すような付加情報を加味したクラス毎に、最適な予測タップのパターンが設定されるようになされる。上述したクラスタップの構造を付加情報によって変更するのと同様に、クラス中の付加情報に応じて予測タップの構造が変更され、クラスタップの場合と同様に、予測タップを変更することによって、予測性能を向上することができる。
【００４２】
図６は、タップ（クラスタップまたは予測タップ）の領域を付加情報に応じて変更する一例を示すものである。図６は、空間解像度と時間解像度の両者を創造する例を示している。すなわち、時間的に連続するフレーム（またはフィールド）Ｔ０，Ｔ１の中間に新たなフレームＴ’を作成し、また、元の画素数の４倍の画素数を作成する。
【００４３】
タップは、復号画像信号中に存在するフレームＴ０およびＴ１に属する画像中に構成される空間タップを合わせた時空間タップとされる。画像フォーマット情報例えば空間解像度情報Ｆ０，Ｆ１，Ｆ２に応じて、タップが含まれる範囲の領域が変更される。具体的なタップ構造は、これらの何れかの領域内に構成される。空間解像度情報Ｆ０，Ｆ１，Ｆ２は、付加情報クラスとしてクラスコード生成部７が生成するクラス情報中に含まれている。前述の図４の例では、Ｆ０，Ｆ１の２種類のクラスが存在している。
【００４４】
一例として、Ｆ０が空間解像度が最も低く、Ｆ１が空間解像度が中間で、Ｆ２が最も空間解像度が高い。空間解像度が高くなるにしたがってタップが含まれる領域が徐々に拡大される。空間解像度が低い場合には、相関の強い画素が存在する範囲が狭くなるために、タップの領域も狭いものとされる。それによって、クラス分類適応処理による解像度創造の性能の向上を図ることができる。
【００４５】
また、フレームＴ０およびＴ１間の動き量に応じてタップが含まれる領域の位置が動き補償によって変更される。クラスタップの場合では、付加情報中の動きベクトルに応じてタップが含まれる領域の位置がより相関の強い領域へ変更される。予測タップの場合では、クラス情報中の動きベクトルクラスに応じてタップが含まれる領域の位置がより相関の強い領域へ変更される。このように領域の位置を変更することによって、より高い相関を持つ領域からクラスタップの画素を切出し、または予測タップの画素を抽出することができる。それによって、クラス分類適応処理の予測精度を向上することができる。
【００４６】
次に、学習すなわちクラス毎の予測係数を求める処理について説明する。一般的には、クラス分類適応処理によって予測されるべき画像信号と同一の信号形式の画像信号（以下、教師信号と称する）と、教師信号にクラス分類適応処理の目的とされる画像情報変換に関連した処理を行うことによって得られる画像信号とに基づく所定の演算処理によって予測係数が決定される。ＭＰＥＧ２規格等に従う画像信号の符号化／復号化を経た画像信号の解像度を向上させるためになされるクラス分類適応処理においては、学習は、例えば図７に示すような構成によって行われる。図７は、図５に示す他の実施形態における予測係数データを学習するための構成である。
【００４７】
学習のために、教師信号と入力画像信号が使用される。教師信号は、入力画像信号に対して時空間解像度が高い信号である。教師信号を間引き処理することによって入力画像信号を形成しても良い。入力画像信号が符号化器２１で例えばＭＰＥＧ２によって符号化される。符号化器２１の出力信号が図１の画像情報変換装置における受信信号に相当する。符号化器２１の出力信号が復号器２２に供給される。復号器２２からの復号画像信号が生徒信号として使用される。また、復号器２２で分離された復号用の付加情報が付加情報抽出部２３に供給され、付加情報が抽出される。
【００４８】
抽出された付加情報は、付加情報クラス生成部２４および領域切出し部２５に供給される。付加情報は、上述した情報変換装置について説明したのと同様に、信号種類情報、画像フォーマット情報、画質情報、動きベクトル等である。
【００４９】
復号器２２からの復号画像信号、すなわち、生徒信号が領域切出し部２５および予測タップデータ生成部２６に供給される。図５の構成と同様に、領域切出し部２５が付加情報抽出部２３で抽出された付加情報によって制御され、予測タップデータ生成部２６がクラスコード生成部２８で生成されたクラスの内の付加情報クラスによって制御される。それによって、時間的および／または空間的相関の高い複数の画素によってタップを設定することが可能とされる。領域切出し部２５で抽出されたクラスタップのデータが特徴量抽出部２７に供給され、特徴量抽出部２７においてＡＤＲＣ等の処理によって、特徴量を抽出する。この特徴量がクラスコード生成部２８に供給される。クラスコード生成部２８は、付加情報クラスとＡＤＲＣコードに基づいて、クラス分類の結果を表すクラスコードを発生する。クラスコードは、正規方程式加算部２９に供給される。
【００５０】
一方、予測タップデータ生成部２６により抽出された予測タップの画素データが正規方程式加算部２９に供給される。正規方程式加算部２９は、予測タップデータ生成部２６の出力と、教師信号とに基づく所定の演算処理によって、クラスコード生成部２８から供給されるクラスコードに対応する予測係数セットを解とする正規方程式のデータを生成する。正規方程式加算部２９の出力は、予測係数算出部３０に供給される。
【００５１】
予測係数算出部３０は、供給されるデータに基づいて正規方程式を解くための演算処理を行う。この演算処理によって算出された予測係数セットがメモリ３１に供給され、記憶される。予測推定に係る画像変換処理を行うに先立って、図５中の予測係数ＲＯＭ８にメモリ３１の記憶内容がロードされる。
【００５２】
正規方程式について以下に説明する。上述の式（１）において、学習前は予測係数セットｗ₁，‥‥，ｗ_nが未定係数である。学習は、クラス毎に複数の教師信号を入力することによって行う。教師信号の種類数をｍと表記する場合、式（１）から、以下の式（２）が設定される。
【００５３】
ｙ_k＝ｗ₁×ｘ_k1＋ｗ₂×ｘ_k2＋‥‥＋ｗ_n×ｘ_kn （２）
（ｋ＝１，２，‥‥，ｍ）
【００５４】
ｍ＞ｎの場合、予測係数セットｗ₁，‥‥，ｗ_nは一意に決まらないので、誤差ベクトルｅの要素ｅ_kを以下の式（３）で定義して、式（４）によって定義される誤差ベクトルｅを最小とするように予測係数セットを定めるようにする。すなわち、いわゆる最小２乗法によって予測係数セットを一意に定める。
【００５５】
ｅ_k＝ｙ_k−｛ｗ₁×ｘ_k1＋ｗ₂×ｘ_k2＋‥‥＋ｗ_n×ｘ_kn｝（３）
（ｋ＝１，２，‥‥ｍ）
【００５６】
【数１】

【００５７】
式（４）のｅ²を最小とする予測係数セットを求めるための実際的な計算方法としては、ｅ²を予測係数ｗ_i(i=1,2‥‥）で偏微分し（式（５））、ｉの各値について偏微分値が０となるように各予測係数ｗ_iを定めれば良い。
【００５８】
【数２】

【００５９】
式（５）から各予測係数ｗ_iを定める具体的な手順について説明する。式（６）、（７）のようにＸ_ji，Ｙ_iを定義すると、式（５）は、式（８）の行列式の形に書くことができる。
【００６０】
【数３】

【００６１】
【数４】

【００６２】
【数５】

【００６３】
式（８）が一般に正規方程式と呼ばれるものである。予測係数算出部３０は、掃き出し法等の一般的な行列解法に従って正規方程式（８）を解くための計算処理を行って予測係数ｗ_iを算出する。
【００６４】
また、予測係数の生成は、図８に示すフローチャートで示されるようなソフトウェア処理によっても行うことができる。ステップＳ１から処理が開始され、ステップＳ２において、生徒信号を生成することによって、予測係数を生成するのに必要十分な学習データを生成する。ステップＳ３において、予測係数を生成するのに必要十分な学習データが得られたどうかを判定し、未だ必要十分な学習データが得られていないと判断された場合には、ステップＳ４に処理が移行する。
【００６５】
ステップＳ４において、生徒信号から抽出された特徴量と付加情報とからクラスを決定する。ステップＳ５においては、各クラス毎に正規方程式を生成し、ステップＳ２に戻って同様の処理手順を繰り返すことによって、予測係数セットを生成するのに必要十分な正規方程式を生成する。
【００６６】
ステップＳ３において、必要十分な学習データが得られたと判断されると、ステップＳ６に処理が移る。ステップＳ６では、正規方程式を掃き出し法によって解くことによって、予測係数セットｗ₁，ｗ₂，・・・・，ｗ_nを各クラス毎に生成する。そして、ステップＳ７において、生成した各クラス毎の予測係数セットｗ₁〜ｗ_nをメモリに記憶し、ステップＳ８で学習処理を終了する。
【００６７】
この発明は、上述したこの発明の一実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えばＭＰＥＧ２に限らず、ＭＰＥＧ４等の他の符号化方法を使用する場合に対して、この発明を適用することができる。
【００６８】
【発明の効果】
上述したように、この発明は、時間解像度および／または空間解像度を高くするために、復号化された画像信号に対してクラス分類適応処理を適用する時に、対象とする画像信号が有する特性の相違を反映したクラス分類を行うので、クラス分類適応処理の予測精度を向上させ、十分な解像度創造性能を得ることができる。
【図面の簡単な説明】
【図１】この発明の一実施形態の構成を示すブロック図である。
【図２】クラスタップの画素配置の一例の略線図である。
【図３】予測タップの画素配置の一例の略線図である。
【図４】付加情報および特徴量に基づくクラスの一例を示す略線図である。
【図５】この発明の他の実施形態の構成を示すブロック図である。
【図６】この発明の他の実施形態を説明するための略線図である。
【図７】クラス分類適応処理を行う場合の予測係数の学習処理に係る構成の一例を示すブロック図である。
【図８】学習処理をソフトウェアで行う時の処理を示すフローチャートである。
【符号の説明】
１，２２・・・復号器、２，２３・・・付加情報抽出部、３，２４・・・付加情報クラス生成部、４，２５・・・領域切出し部、５，２６・・・予測タップデータ生成部、６，２７・・・特徴量抽出部，７，２８・・・クラスコード生成部、８・・・予測係数ＲＯＭ、９・・・予測演算部

Claims

符号化されたディジタル画像信号を復号化することによって生成される入力画像信号を、時間および／または空間においてより解像度の高い出力画像信号へ変換するようにした画像情報変換装置において、
復号化処理用の付加情報を抽出する付加情報抽出手段と、
入力画像信号から、所定の注目画素周辺の複数の画素からなる領域を抽出する第１の領域切り出し手段と、
上記第１の領域切出し手段によって切り出される領域のレベル分布の特徴量を抽出する特徴量抽出手段と、
上記付加情報および上記特徴量からクラス情報を生成するクラス情報生成手段と、
上記入力ディジタル画像信号から、上記所定の注目画素周辺の複数の画素からなる領域を抽出する第２の領域切り出し手段と、
上記クラス情報生成手段で生成された上記クラス情報に対応して予め決定され、より解像度の高い出力画像信号を推定するための予測係数が記憶手段に記憶されており、
上記クラス情報生成ステップで生成された上記クラス情報に従って、上記記憶手段から選択される予測係数と、上記第２の領域切り出し手段で抽出された複数の画素との積和演算によって、上記注目画素に対する画素値を予測生成するための演算処理を行う演算処理手段とを有し、
上記予測係数と上記第２の領域切出し手段によって抽出される画像データとの積和演算の計算値と、上記出力画像信号に対応する所定の画像信号中の真の画素値との差を最小とするように、上記予測係数が予め定められ、
上記付加情報には、処理対象画像信号の種類を表す情報、処理対象画像信号の時間および／または空間解像度情報、および符号化の圧縮率の少なくとも一つが含まれることを特徴とする画像情報変換装置。
請求項１において、
上記予測係数は、
より解像度の高い画像信号に対応する教師信号と上記入力画像信号に対応し、より解像度の低い生徒信号を用いて学習装置によって予め生成され、
上記学習装置は、
上記生徒信号から、所定の注目画素周辺の複数の画素からなる領域を抽出する第１の領域切り出し手段と、
上記第１の領域切出し手段によって切り出される領域のレベル分布の特徴量を抽出する特徴量抽出手段と、
上記付加情報および上記特徴量からクラス情報を生成するクラス情報生成手段と、
上記生徒信号から、上記所定の注目画素周辺の複数の画素からなる領域を抽出する第２の領域切り出し手段と、
予測係数と上記第２の領域切出し手段によって抽出される画像データとの積和演算の計算値と、上記出力画像信号に対応する所定の画像信号中の真の画素値との差を最小とするように、上記クラス情報毎に上記予測係数を計算する演算手段とからなり、
上記付加情報には、処理対象画像信号の種類を表す情報、処理対象画像信号の時間および／または空間解像度情報、および符号化の圧縮率の少なくとも一つが含まれることを特徴とする画像情報変換装置。
符号化されたディジタル画像信号を復号化することによって生成される入力画像信号を、時間および／または空間においてより解像度の高い出力画像信号へ変換するようにした画像情報変換方法において、
復号化処理用の付加情報を抽出する付加情報抽出ステップと、
入力画像信号から、所定の注目画素周辺の複数の画素からなる領域を抽出する第１の領域切り出しステップと、
上記第１の領域切出しステップによって切り出される領域のレベル分布の特徴量を抽出する特徴量抽出ステップと、
上記付加情報および上記特徴量からクラス情報を生成するクラス情報生成ステップと、上記入力ディジタル画像信号から、上記所定の注目画素周辺の複数の画素からなる領域を抽出する第２の領域切り出しステップと、
上記クラス情報生成ステップで生成された上記クラス情報に対応して予め決定され、より解像度の高い出力画像信号を推定するための予測係数が記憶手段に記憶されており、
上記クラス情報生成ステップで生成された上記クラス情報に従って、上記記憶手段から選択される予測係数と、上記第２の領域切り出しステップで抽出された複数の画素との積和演算によって、上記注目画素に対する画素値を予測生成するための演算処理を行う演算処理ステップとを有し、
上記予測係数と上記第２の領域切出しステップによって抽出される画像データとの積和演算の計算値と、上記出力画像信号に対応する所定の画像信号中の真の画素値との差を最小とするように、上記予測係数が予め定められ、
上記付加情報には、処理対象画像信号の種類を表す情報、処理対象画像信号の時間および／または空間解像度情報、および符号化の圧縮率の少なくとも一つが含まれることを特徴とする画像情報変換方法。
請求項３において、
上記予測係数は、
より解像度の高い画像信号に対応する教師信号と上記入力画像信号に対応し、より解像度の低い生徒信号を用いて学習によって予め生成され、
上記学習は、
上記生徒信号から、所定の注目画素周辺の複数の画素からなる領域を抽出する第１の領域切り出しステップと、
上記第１の領域切出しステップによって切り出される領域のレベル分布の特徴量を抽出する特徴量抽出ステップと、
上記付加情報および上記特徴量からクラス情報を生成するクラス情報生成ステップと、上記生徒信号から、上記所定の注目画素周辺の複数の画素からなる領域を抽出する第２の領域切り出しステップと、
予測係数と上記第２の領域切出しステップによって抽出される画像データとの積和演算の計算値と、上記出力画像信号に対応する所定の画像信号中の真の画素値との差を最小とするように、上記クラス情報毎に上記予測係数を計算する演算ステップとからなり、
上記付加情報には、処理対象画像信号の種類を表す情報、処理対象画像信号の時間および／または空間解像度情報、および符号化の圧縮率の少なくとも一つが含まれることを特徴とする画像情報変換方法。