JP3844030B2 - 画像信号符号化装置および画像信号符号化方法、画像信号復号装置および画像信号復号方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像信号符号化装置および画像信号符号化方法、画像信号復号装置および画像信号復号方法に関する。特に、原画像とほぼ同一の復号画像が得られるように、画像を間引いて圧縮符号化する画像信号符号化装置および画像信号符号化方法、画像信号復号装置および画像信号復号方法に関する。
【０００２】
【従来の技術】
例えば、標準解像度または低解像度の画像（以下、適宜、ＳＤ（Standard Definition）画像という）を、高解像度の画像（以下、適宜、ＨＤ（High Definition）画像という）に変換したり、また、画像を拡大したりする場合においては、いわゆる補間フィルタなどによって、不足している画素の画素値の補間（補償）が行われるようになされている。
【０００３】
しかしながら、補間フィルタによって画素の補間を行っても、ＳＤ画像に含まれていない、ＨＤ画像の成分（高周波成分）を復元することはできないため、高解像度の画像を得ることは困難であった。
【０００４】
そこで、本件出願人は、ＳＤ画像を、そこに含まれていない高周波成分をも含むＨＤ画像に変換する画像変換装置（画像変換回路）を先に提案している。
【０００５】
この画像変換装置においては、ＳＤ画像と、所定の予測係数との線形結合により、ＨＤ画像の画素の予測値を求める適応処理を行うことで、ＳＤ画像には含まれていない高周波成分が復元されるようになされている。
【０００６】
即ち、例えば、いま、ＨＤ画像を構成する画素（以下、適宜、ＨＤ画素という）の画素値ｙの予測値Ｅ［ｙ］を、幾つかのＳＤ画素（ＳＤ画像を構成する画素）の画素値（以下、適宜、学習データという）ｘ₁，ｘ₂，・・・と、所定の予測係数ｗ₁，ｗ₂，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【０００７】

【０００８】
そこで、一般化するために、予測係数ｗの集合でなる行列Ｗ、学習データの集合でなる行列Ｘ、および予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、
【数１】

で定義すると、次のような観測方程式が成立する。
【０００９】

【００１０】
そして、この観測方程式に最小自乗法を適用して、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなるＨＤ画素の真の画素値ｙの集合でなる行列Ｙ、およびＨＤ画素の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数２】

で定義すると、式（２）から、次のような残差方程式が成立する。
【００１１】

【００１２】
この場合、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗ_iは、自乗誤差
【数３】

を最小にすることで求めることができる。
【００１３】
従って、上述の自乗誤差を予測係数ｗ_iで微分したものが０になる場合、即ち、次式を満たす予測係数ｗ_iが、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【００１４】
【数４】

【００１５】
そこで、まず、式（３）を、予測係数ｗ_iで微分することにより、次式が成立する。
【００１６】
【数５】

【００１７】
式（４）および（５）より、式（６）が得られる。
【００１８】
【数６】

【００１９】
さらに、式（３）の残差方程式における学習データｘ、予測係数ｗ、教師データｙ、および残差ｅの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【００２０】
【数７】

【００２１】
式（７）の正規方程式は、求めるべき予測係数ｗの数と同じ数だけたてることができ、従って、式（７）を解くことで（但し、式（７）を解くには、式（７）において、予測係数ｗにかかる係数で構成される行列が正則である必要がある）、最適な予測係数ｗを求めることができる。なお、式（７）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを適用することが可能である。
【００２２】
以上のようにして、最適な予測係数ｗを求め、さらに、その予測係数ｗを用い、式（１）により、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である（但し、あらかじめ予測係数ｗを求めておき、その予測係数ｗから、予測値を求めるのも、適応処理に含まれるものとする）。
【００２３】
なお、適応処理は、ＳＤ画像には含まれていない、ＨＤ画像に含まれる成分が再現される点で、補間処理とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いて、いわば学習により求められるため、ＨＤ画像に含まれる成分を再現することができる。即ち、容易に、高解像度の画像を得ることができる。このことから、適応処理は、いわば画像の創造作用がある処理ということができる。
【００２４】
図２４は、画像の特徴（クラス）に基づいて行われる、以上のような適応処理により、ＳＤ画像をＨＤ画像に変換する画像変換装置の一例の構成を示している。
【００２５】
ＳＤ画像は、クラス分類回路１０１および遅延回路１０２に供給されるようになされており、クラス分類回路１０１では、ＳＤ画像を構成するＳＤ画素が順次、注目画素とされ、その注目画素が、所定のクラスにクラス分類される。
【００２６】
即ち、クラス分類回路１０１は、まず最初に、注目画素の周辺にあるＳＤ画素を幾つか集めてブロックを構成し（以下、適宜、処理ブロックという）、その処理ブロックを構成する、例えばすべてのＳＤ画素の画素値のパターンにあらかじめ割り当てられた値を、注目画素のクラスとして、係数ＲＯＭ１０４のアドレス端子（ＡＤ）に供給する。
【００２７】
具体的には、クラス分類回路１０１は、例えば、図２５に点線の四角形で囲んで示すように、注目画素を中心とする５×５のＳＤ画素（同図において○印で示す）でなる処理ブロックを、ＳＤ画像から抽出し、これらの２５のＳＤ画素の画素値のパターンに対応する値を、注目画素のクラスとして出力する。
【００２８】
ここで、各ＳＤ画素の画素値を表すのに、例えば、８ビットなどの多くのビット数が割り当てられている場合、２５のＳＤ画素の画素値のパターン数は、（２⁸）²⁵通りという莫大な数となり、その後の処理の迅速化が困難となる。
【００２９】
そこで、クラス分類を行う前の前処理として、処理ブロックには、それを構成するＳＤ画素のビット数を低減するための処理である、例えばＡＤＲＣ（Adaptive Dynamic Range Coding）処理などが施される。
【００３０】
即ち、ＡＤＲＣ処理では、まず、処理ブロックを構成する２５のＳＤ画素から、その画素値の最大のもの（以下、適宜、最大画素という）と最小のもの（以下、適宜、最小画素という）とが検出される。そして、最大画素の画素値ＭＡＸと最小画素の画素値ＭＩＮとの差分ＤＲ（＝ＭＡＸ−ＭＩＮ）が演算され、このＤＲを処理ブロックの局所的なダイナミックレンジとする。このダイナミックレンジＤＲに基づいて、処理ブロックを構成する各画素値が、元の割当ビット数より少ないＫビットに再量子化される。つまり、処理ブロックを構成する各画素値から最小画素の画素値ＭＩＮが減算され、各減算値が、ＤＲ／２^Kで除算される。
【００３１】
その結果、処理ブロックを構成する各画素値はＫビットで表現されるようになる。従って、例えばＫ＝１とした場合、２５のＳＤ画素の画素値のパターン数は、（２¹）²⁵通りになり、ＡＤＲＣ処理を行わない場合に比較して、パターン数を非常に少ないものとすることができる。なお、画素値を、このようにＫビットにするＡＤＲＣ処理を、以下、適宜、ＫビットＡＤＲＣ処理という。
【００３２】
係数ＲＯＭ１０４は、あらかじめ学習が行われることにより求められた予測係数のセットを、クラス毎に記憶しており、クラス分類回路１０１からクラスが供給されると、そのクラスに対応するアドレスに記憶されている予測係数のセットを読み出し、予測演算回路１０５に供給する。
【００３３】
一方、遅延回路１０２では、予測演算回路１０５に対して、係数ＲＯＭ１０４から予測係数のセットが供給されるタイミングと、後述する予測タップ生成回路１０３から予測タップが供給されるタイミングとを一致させるために必要な時間だけ、ＳＤ画像が遅延され、予測タップ生成回路１０３に供給される。
【００３４】
予測タップ生成回路１０３では、そこに供給されるＳＤ画像から、予測演算回路１０５において所定のＨＤ画素の予測値を求めるのに用いるＳＤ画素が抽出され、これが予測タップとして、予測演算回路１０５に供給される。即ち、予測タップ生成回路１０３では、ＳＤ画像から、例えば、クラス分類回路１０１で抽出されたとの同一の処理ブロックが抽出され、その処理ブロックを構成するＳＤ画素が、予測タップとして、予測演算回路１０５に供給される。
【００３５】
予測演算回路１０５では、係数ＲＯＭ１０４からの予測係数ｗ ₁ ，ｗ₂，・・・と、予測タップ生成回路１０３からの予測タップｘ₁，ｘ₂，・・・とを用いて、式（１）に示した演算、即ち、適応処理が行われることにより、注目画素ｙの予測値Ｅ［ｙ］が求められ、これが、ＨＤ画素の画素値として出力される。
【００３６】
即ち、ここでは、例えば、図２５において実線の四角形で囲む、注目画素を中心とする３×３のＨＤ画素（同図において・点で示す）の予測値が、１つ（１セット）の予測タップから求められるようになされており、この場合、予測演算回路１０５では、この９個のＨＤ画素について、式（１）の演算が行われる。従って、係数ＲＯＭ１０４では、１のクラスに対応するアドレスに、９セットの予測係数のセットが記憶されている。
【００３７】
以下同様の処理が、その他のＳＤ画素を順次注目画素として行われ、これにより、ＳＤ画像がＨＤ画像に変換される。
【００３８】
次に、図２６は、図２４の係数ＲＯＭ１０４に記憶させる予測係数を算出する学習処理を行う学習装置の構成例を示している。
【００３９】
学習における教師データｙとなるべきＨＤ画像が、間引き回路１１１および遅延回路１１４に供給されるようになされており、間引き回路１１１では、ＨＤ画像が、例えば、その画素数が間引かれることにより少なくされ、これによりＳＤ画像とされる。このＳＤ画像は、クラス分類回路１１２および予測タップ生成回路１１３に供給される。
【００４０】
クラス分類回路１１２または予測タップ生成回路１１３では、図２４のクラス分類回路１０１または予測タップ生成回路１０３における場合と同様の処理が行われ、これにより注目画素のクラスまたは予測タップがそれぞれ出力される。クラス分類回路１１２が出力するクラスは、予測タップメモリ１１５および教師データメモリ１１６のアドレス端子（ＡＤ）に供給され、予測タップ生成回路１１３が出力する予測タップは、予測タップメモリ１１５に供給される。
【００４１】
予測タップメモリ１１５では、クラス分類回路１１２から供給されるクラスに対応するアドレスに、予測タップ生成回路１１３から供給される予測タップが記憶される。
【００４２】
一方、遅延回路１１４では、注目画素に対応するクラスが、クラス分類回路１１２から教師データメモリ１１６に供給される時間だけ、ＨＤ画像が遅延され、そのうちの、注目画素であるＳＤ画素の周辺にあるＨＤ画素の画素値だけが、教師データとして、教師データメモリ１１６に供給される。
【００４３】
そして、教師データメモリ１１６では、クラス分類回路１１２から供給されるクラスに対応するアドレスに、遅延回路１１４から供給される教師データが記憶される。
【００４４】
以下同様の処理が、あらかじめ学習用に用意されたすべてのＨＤ画像を構成するすべてのＨＤ画素が注目画素とされるまで繰り返される。
【００４５】
以上のようにして、予測タップメモリ１１５または教師データメモリ１１６の同一のアドレスそれぞれには、図２５において○印で示したＳＤ画素または図２５において・印で示したＨＤ画素とそれぞれ同一の位置関係にあるＳＤ画素またはＨＤ画素が、学習データｘまたは教師データｙとして記憶される。
【００４６】
なお、予測タップメモリ１１５と教師データメモリ１１６においては、同一アドレスに複数の情報を記憶することができるようになされており、これにより、同一アドレスには、同一のクラスに分類される複数の学習データｘと教師データｙを記憶することができるようになされている。
【００４７】
その後、演算回路１１７は、予測タップメモリ１１５または教師データメモリ１１６から、同一アドレスに記憶されている学習データとしての予測タップまたは教師データとしてのＨＤ画素の画素値を読み出し、それらを用いて、最小自乗法によって、予測値と教師データとの間の誤差を最小にする予測係数のセットを算出する。即ち、演算回路１１７では、クラス毎に、式（７）に示した正規方程式がたてられ、これを解くことによりクラス毎の予測係数のセットが求められる。
【００４８】
以上のようにして、演算回路１１７で求められたクラス毎の予測係数のセットが、図２４の係数ＲＯＭ１０４における、そのクラスに対応するアドレスに記憶されている。
【００４９】
なお、以上のような学習処理において、予測係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があるが、そのようなクラスについては、例えば、クラスを無視して正規方程式をたてて解くことにより得られる予測係数のセットなどが、いわばデフォルトの予測係数のセットとして用いられる。
【００５０】
ところで、図２４の画像変換装置によれば、ＨＤ画像の画素数を間引くなどして少なくすることにより得られるＳＤ画像から、上述したように、そこに含まれていない高周波成分をも含むＨＤ画像を得ることができるが、元のＨＤ画像に近づけるのには限界がある。その理由として、ＨＤ画像の画素数を間引いただけのＳＤ画像の画素（ＳＤ画素）の画素値が、元のＨＤ画像を復元するのに、最適ではないことが考えられる。
【００５１】
そこで、本件出願人は、元のＨＤ画像により近い画質の復号画像を得ることができるようにするため、適応処理を利用した画像の圧縮（符号化）について先に提案している（例えば、特願平８−２０６５５２号など）。
【００５２】
即ち、図２７は、適応処理によって、元のＨＤ画像により近い復号画像を得ることができるように、そのＨＤ画像を、最適なＳＤ画像に圧縮（符号化）する画像符号化装置の構成例を示している。
【００５３】
符号化対象のＨＤ画像は、間引き部１２１および誤差算出部１２４に供給される。
【００５４】
間引き部１２１では、ＨＤ画像が、例えば、単純に間引かれることによりＳＤ画像とされ、補正部１２２に供給される。補正部１２２は、間引き部１２１からＳＤ画像を受信すると、最初は、そのＳＤ画像を、そのままローカルデコード部１２３に出力する。ローカルデコード部１２３は、例えば、図２４に示した画像変換装置と同様に構成され、補正部１２２からのＳＤ画像を用いて、上述したような適応処理を行うことにより、ＨＤ画素の予測値を算出し、誤差算出部１２４に出力する。誤差算出部１２４は、ローカルデコード部１２３からのＨＤ画素の予測値の、元のＨＤ画素に対する予測誤差を算出し、制御部１２５に出力する。制御部１２５は、誤差算出部１２４からの予測誤差に対応して、補正部１２２を制御する。
【００５５】
即ち、これにより、補正部１２２は、間引き部１２１からのＳＤ画像の画素値を、制御部１２５からの制御に従って補正し、ローカルデコード部１２３に出力する。ローカルデコード部１２３では、補正部１２２から供給される補正後のＳＤ画像を用いて、再び、ＨＤ画像の予測値が求められる。
【００５６】
以下、例えば、誤差算出部１２４が出力する予測誤差が、所定値以下となるまで、同様の処理が繰り返される。
【００５７】
そして、誤差算出部１２４が出力する予測誤差が、所定値以下となると、制御部１２５は、補正部１２２を制御し、これにより、予測誤差が所定値以下となったときの、補正後のＳＤ画像を、ＨＤ画像の最適な符号化結果として出力させる。
【００５８】
従って、この補正後のＳＤ画像によれば、それに適応処理を施すことにより、予測誤差が所定値以下のＨＤ画像を得ることができる。
【００５９】
ここで、以上のようにして、図２７の画像符号化装置から出力されるＳＤ画像は、元のＨＤ画像により近い復号画像を得るのに、最適なものということができるから、この画像符号化装置の補正部１２２、ローカルデコード部１２３、誤差算出部１２４、および制御部１２５で構成される系が行う処理は、最適化処理ということができる。
【００６０】
【発明が解決しようとする課題】
ところで、元のＨＤ画素の画素値に、より近い予測値を得るためには、適応処理において用いる予測タップを、その予測値を求めようとするＨＤ画素に近い、多くのＳＤ画素から構成するのが望ましい。
【００６１】
しかしながら、予測タップを、多くのＳＤ画素から構成すると、予測値を求めようとするＨＤ画素から遠いＳＤ画素が予測タップに含まれるようになる。従って、この場合、予測値を求めようとするＨＤ画素が表示する物体とは異なる物体を表示するＳＤ画素が予測タップに含まれることがあり、その結果、予測値の精度が劣化し、その予測値で構成される復号画像が劣化することとなる。
【００６２】
そこで、図２７の画像符号化装置の間引き部１２１において、ＨＤ画像から間引く画素数を少なくし、これにより、予測値を求めようとするＨＤ画素から近い位置のＳＤ画素を増加させる方法があるが、これでは、符号化効率が劣化することになる。
【００６３】
本発明は、このような状況に鑑みてなされたものであり、符号化効率を劣化させることなく、原画像により近い復号画像を得ることができるようにするものである。
【００６４】
【課題を解決するための手段】
請求項１に記載の画像信号符号化装置は、原画像信号を構成する画素である原画像画素の画素数より少ない画素数の圧縮画像信号を発生する圧縮手段と、圧縮画像信号を構成する画素である圧縮画素によって囲まれた位置に、仮想の画素である仮想画素を想定し、その仮想画素の画素値を、対応する位置の近傍に存在する複数の原画像画素の画素値を平均することにより算出する仮想画素算出手段と、１つの圧縮画素に１つの仮想画素を対応付け、圧縮画素の画素値の下位ビットを、対応する仮想画素の画素値の上位ビットに置き換える置換手段と、圧縮画像信号を構成する、置換手段による置換後の圧縮画素のうちの１つを注目画素として、その注目画素を含み、その注目画素と所定の位置関係にある複数の圧縮画素および仮想画素から予測タップを形成する予測タップ形成手段と、予測タップを形成する複数の圧縮画素および仮想画素の画素値と、所定の予測係数とを用いた演算により原画像信号を予測し、その予測値を出力する予測手段と、予測値の、原画像信号に対する予測誤差を算出する予測誤差算出手段と、所定の補正値を加算または減算することにより、圧縮画像信号を構成する置換手段による置換後の圧縮画素の画素値を補正する補正手段と、圧縮画像信号１フレーム分の予測誤差の総和が所定の閾値に減少するまで、補正手段を制御して圧縮画素の画素値を補正させる制御手段と、補正手段が最終的に出力する圧縮画像信号を、原画像信号を得るのに最適な最適圧縮画像信号として、その最適圧縮画像信号を、原画像信号の符号化結果として出力する出力手段とを備えることを特徴とする。
【００６５】
請求項７に記載の画像信号符号化方法は、原画像信号を構成する画素である原画像画素の画素数より少ない画素数の圧縮画像信号を発生する圧縮ステップと、圧縮画像信号を構成する画素である圧縮画素によって囲まれた位置に、仮想の画素である仮想画素を想定し、その仮想画素の画素値を、対応する位置の近傍に存在する複数の原画像画素の画素値を平均することにより算出する仮想画素算出ステップと、１つの圧縮画素に１つの仮想画素を対応付け、圧縮画素の画素値の下位ビットを、対応する仮想画素の画素値の上位ビットに置き換える置換ステップと、圧縮画像信号を構成する、置換ステップの処理による置換後の圧縮画素のうちの１つを注目画素として、その注目画素を含み、その注目画素と所定の位置関係にある複数の圧縮画素および仮想画素から予測タップを形成する予測タップ形成ステップと、予測タップを形成する複数の圧縮画素および仮想画素の画素値と、所定の予測係数とを用いた演算により原画像信号を予測し、その予測値を出力する予測ステップと、予測値の、原画像信号に対する予測誤差を算出する予測誤差算出ステップと、所定の補正値を加算または減算することにより、圧縮画像信号を構成する置換ステップの処理による置換後の圧縮画素の画素値を補正する補正ステップと、圧縮画像信号１フレーム分の予測誤差の総和が所定の閾値に減少するまで、補正ステップの処理を制御して圧縮画素の画素値を補正させる制御ステップと、補正ステップの処理が最終的に出力する圧縮画像信号を、原画像信号を得るのに最適な最適圧縮画像信号として、その最適圧縮画像信号を、原画像信号の符号化結果として出力する出力ステップとを備えることを特徴とする。
【００６６】
請求項９に記載の画像信号復号装置は、原画像信号を構成する画素である原画像画素の画素数より少ない画素数の圧縮画像信号を発生し、圧縮画像信号を構成する画素である圧縮画素によって囲まれた位置に、仮想の画素である符号化時仮想画素を想定し、その符号化時仮想画素の画素値を、対応する位置の近傍に存在する複数の原画像画素の画素値を平均することにより算出し、１つの圧縮画素に１つの符号化時仮想画素を対応付け、圧縮画素の画素値の下位ビットを、対応する符号化時仮想画素の画素値の上位ビットに置き換え、圧縮画像信号を構成する、画素値の下位ビットが置換後の圧縮画素のうちの１つを注目画素として、その注目画素を含み、その注目画素と所定の位置関係にある複数の圧縮画素および符号化時仮想画素から予測タップを形成し、予測タップを形成する複数の圧縮画素および符号化時仮想画素の画素値と、所定の予測係数とを用いた演算により原画像信号を予測し、その予測値を出力し、予測値の、原画像信号に対する予測誤差を算出し、所定の補正値を加算または減算することにより、圧縮画像信号を構成する置換手段による置換後の圧縮画素の画素値を補正し、圧縮画像信号１フレーム分の予測誤差の総和が所定の閾値に減少するまで、補正の処理を制御して圧縮画素の画素値を補正させ、補正の処理が最終的に出力する圧縮画像信号を、原画像信号を得るのに最適な最適圧縮画像信号として、その最適圧縮画像信号を、原画像信号の符号化結果として出力することにより得られる最適圧縮画像信号を含む符号化データを復号する画像信号復号装置であって、最適圧縮画像信号を構成する画素である最適圧縮画素によって囲まれた位置に、仮想の画素である復号時仮想画素を想定し、１つの最適圧縮画素に１つの復号時仮想画素を対応付け、各復号時仮想画素の画素値を、対応する最適圧縮画素の画素値の下位ビットを用いて算出する仮想画素算出手段と、最適圧縮画像信号を構成する最適圧縮画素のうちの１つを注目画素として、その注目画素を含み、その注目画素と所定の位置関係にある複数の最適圧縮画素および復号時仮想画素から予測タップを形成する予測タップ形成手段と、予測タップを形成する複数の圧縮画素および復号時仮想画素の画素値と、所定の予測係数とを用いた演算により原画像信号を予測し、その予測値を出力する予測手段とを備えることを特徴とする。
【００６７】
請求項１６に記載の画像信号復号方法は、原画像信号を構成する画素である原画像画素の画素数より少ない画素数の圧縮画像信号を発生し、圧縮画像信号を構成する画素である圧縮画素によって囲まれた位置に、仮想の画素である符号化時仮想画素を想定し、その符号化時仮想画素の画素値を、対応する位置の近傍に存在する複数の原画像画素の画素値を平均することにより算出し、１つの圧縮画素に１つの符号化時仮想画素を対応付け、圧縮画素の画素値の下位ビットを、対応する符号化時仮想画素の画素値の上位ビットに置き換え、圧縮画像信号を構成する、画素値の下位ビットが置換後の圧縮画素のうちの１つを注目画素として、その注目画素を含み、その注目画素と所定の位置関係にある複数の圧縮画素および符号化時仮想画素から予測タップを形成し、予測タップを形成する複数の圧縮画素および符号化時仮想画素の画素値と、所定の予測係数とを用いた演算により原画像信号を予測し、その予測値を出力し、予測値の、原画像信号に対する予測誤差を算出し、所定の補正値を加算または減算することにより、圧縮画像信号を構成する置換手段による置換後の圧縮画素の画素値を補正し、圧縮画像信号１フレーム分の予測誤差の総和が所定の閾値に減少するまで、補正の処理を制御して圧縮画素の画素値を補正させ、補正の処理が最終的に出力する圧縮画像信号を、原画像信号を得るのに最適な最適圧縮画像信号として、その最適圧縮画像信号を、原画像信号の符号化結果として出力することにより得られる最適圧縮画像信号を含む符号化データを復号する画像信号復号方法であって、最適圧縮画像信号を構成する画素である最適圧縮画素によって囲まれた位置に、仮想の画素である復号時仮想画素を想定し、１つの最適圧縮画素に１つの復号時仮想画素を対応付け、各復号時仮想画素の画素値を、対応する最適圧縮画素の画素値の下位ビットを用いて算出する仮想画素算出ステップと、最適圧縮画像信号を構成する最適圧縮画素のうちの１つを注目画素として、その注目画素を含み、その注目画素と所定の位置関係にある複数の最適圧縮画素および復号時仮想画素から予測タップを形成する予測タップ形成ステップと、予測タップを形成する複数の圧縮画素および復号時仮想画素の画素値と、所定の予測係数とを用いた演算により原画像信号を予測し、その予測値を出力する予測ステップとを備えることを特徴とする。
【００６９】
本発明の画像信号符号化装置および画像信号符号化方法においては、原画像信号を構成する画素である原画像画素の画素数より少ない画素数の圧縮画像信号が発生され、圧縮画像信号を構成する画素である圧縮画素によって囲まれた位置に、仮想の画素である仮想画素が想定され、その仮想画素の画素値が、対応する位置の近傍に存在する複数の原画像画素の画素値を平均することにより算出され、１つの圧縮画素に１つの仮想画素が対応付けられ、圧縮画素の画素値の下位ビットが、対応する仮想画素の画素値の上位ビットに置き換えられる。そして、圧縮画像信号を構成する、置換後の圧縮画素のうちの１つが注目画素とされ、その注目画素を含み、その注目画素と所定の位置関係にある複数の圧縮画素および仮想画素から予測タップが形成され、予測タップを形成する複数の圧縮画素および仮想画素の画素値と、所定の予測係数とを用いた演算により原画像信号が予測されてその予測値が出力される。さらに、予測値の、原画像信号に対する予測誤差が算出され、圧縮画像信号１フレーム分の予測誤差の総和が所定の閾値に減少するまで、所定の補正値を加算または減算することにより、圧縮画像信号を構成する圧縮画素の画素値が補正される。そして、最終的に出力される圧縮画像信号を、原画像信号を得るのに最適な最適圧縮画像信号として、その最適圧縮画像信号が、原画像信号の符号化結果として出力される。
【００７０】
本発明の画像信号復号装置および画像信号復号方法においては、最適圧縮画像信号を構成する画素である最適圧縮画素によって囲まれた位置に、仮想の画素である復号時仮想画素が想定され、１つの最適圧縮画素に１つの復号時仮想画素が対応付けられ、各復号時仮想画素の画素値が、対応する最適圧縮画素の画素値の下位ビットを用いて算出される。そそて、最適圧縮画像信号を構成する最適圧縮画素のうちの１つが注目画素とされ、その注目画素を含み、その注目画素と所定の位置関係にある複数の最適圧縮画素および復号時仮想画素から予測タップが形成され、予測タップを形成する複数の圧縮画素および復号時仮想画素の画素値と、所定の予測係数とを用いた演算により原画像信号が予測されその予測値が出力される。
【００９２】
【発明の実施の形態】
図１は、本発明を適用した画像処理装置の一実施の形態の構成を示している。送信装置１には、ディジタル化されたＨＤ画像の画像データが供給されるようになされている。送信装置１は、入力された画像データを間引くこと（その画素数を少なくすること）により圧縮、符号化し、その結果得られるＳＤ画像の画像データを、ＨＤ画像の符号化データとして、例えば、光ディスクや、光磁気ディスク、磁気テープその他でなる記録媒体２に記録し、または、例えば、地上波や、衛星回線、電話回線、ＣＡＴＶ網、その他の伝送路３を介して伝送する。
【００９３】
受信装置４では、記録媒体２に記録された符号化データが再生され、または、伝送路３を介して伝送されてくる符号化データが受信され、その符号化データを伸張、復号化し、その結果得られるＨＤ画像の復号画像を、図示せぬディスプレイに供給して表示させる。
【００９４】
なお、以上のような画像処理装置は、例えば、光ディスク装置や、光磁気ディスク装置、磁気テープ装置その他の、画像の記録／再生を行う装置や、あるいはまた、例えば、テレビ電話装置や、テレビジョン放送システム、ＣＡＴＶシステムその他の、画像の伝送を行う装置などに適用される。また、後述するように、送信装置１が出力する符号化データのデータ量が少ないため、図１の画像処理装置は、伝送レートの低い、例えば、携帯電話機その他の、移動に便利な携帯端末などにも適用可能である。
【００９５】
図２は、送信装置１の構成例を示している。
【００９６】
Ｉ／Ｆ（InterFace）１１は、外部から供給されるＨＤ画像の画像データの受信処理と、送信機／記録装置１６に対しての、符号化データの送信処理を行うようになされている。ＲＯＭ（Read Only Memory）１２は、ＩＰＬ（Initial Program Loading）用のプログラムその他を記憶している。ＲＡＭ（Random Access Memory）１３は、外部記憶装置１５に記録されているシステムプログラム（ＯＳ（Operating System））やアプリケーションプログラムを記憶したり、また、ＣＰＵ（Central Processing Unit）１４の動作上必要なデータを記憶するようになされている。ＣＰＵ１４は、ＲＯＭ１２に記憶されているＩＰＬプログラムにしたがい、外部記憶装置１５からシステムプログラムおよびアプリケーションプログラムを、ＲＡＭ１３に展開し、そのシステムプログラムの制御の下、アプリケーションプログラムを実行することで、Ｉ／Ｆ１１から供給される画像データについての、後述するような符号化処理を行うようになされている。外部記憶装置１５は、例えば、磁気ディスク装置などでなり、上述したように、ＣＰＵ１４が実行するシステムプログラムやアプリケーションプログラムを記憶している他、ＣＰＵ１４の動作上必要なデータも記憶している。送信機／記録装置１６は、Ｉ／Ｆ１１から供給される符号化データを、記録媒体２に記録し、または伝送路３を介して伝送するようになされている。
【００９７】
なお、Ｉ／Ｆ１１，ＲＯＭ１２，ＲＡＭ１３，ＣＰＵ１４、および外部記憶装置１５は、相互にバスを介して接続されている。なお、図２において、送信装置１は、ＣＰＵを用いた構成であるが、ハードロジックで構成することも可能である。
【００９８】
以上のように構成される送信装置１においては、Ｉ／Ｆ１１にＨＤ画像の画像データが供給されると、その画像データは、ＣＰＵ１４に供給される。ＣＰＵ１４は、画像データを符号化し、その結果得られる符号化データとしてのＳＤ画像を、Ｉ／Ｆ１１に供給する。Ｉ／Ｆ１１は、符号化データを受信すると、それを、送信機／記録装置１６に供給する。送信機／記録装置１６では、Ｉ／Ｆ１１からの符号化データが、記録媒体２に記録され、または伝送路３を介して伝送される。
【００９９】
図３は、図２の送信装置１の、送信機／記録装置１６を除く部分の機能的なブロック図である。
【０１００】
符号化すべき画像データとしてのＨＤ画像は、前処理部２１および最適化部２２に供給されるようになされている。
【０１０１】
前処理部２１は、ＨＤ画像（原画像）を、その画素数を少なくすることにより圧縮し、その結果得られるＳＤ画像（圧縮画像）を構成するＳＤ画素の近傍に、仮想の画素である仮想画素を想定し、その仮想画素の画素値を、ＨＤ画像から求める。さらに、前処理部２１は、ＳＤ画素の画素値の一部に代えて、仮想画素の画素値の一部を配置し、最適化部２２に供給する。
【０１０２】
最適化部２２は、前処理部２１からのＳＤ画素を順次注目画素として、最適化処理を行う。即ち、最適化部２２は、注目画素の周辺のＳＤ画素および仮想画素から予測タップを形成し、その予測タップと予測係数のセットとの線形結合により、原画像の予測値を求める適応処理を行う。さらに、最適化部２２は、その予測値の、元のＨＤ画像に対する予測誤差を算出し、その予測誤差に対応して、注目画素の画素値を補正する。そして、最適化部２２は、その補正された注目画素の画素値を用いて、同様の処理を、例えば、その予測誤差が所定値以下になるまで繰り返し、元のＨＤ画像の予測値を得るのに最適な注目画素であるＳＤ画素の画素値を求める。
【０１０３】
また、最適化部２２は、前処理部２１からの、例えば、１フレーム（または１フィールド）のＳＤ画像を構成するＳＤ画素すべてを注目画素として、上述の処理を行った後、その結果得られる最適ＳＤ画像を用いて適応処理を行うことにより、予測誤差をより小さくするクラス毎の予測係数のセットを求める。即ち、最適化部２２は、最適ＳＤ画像を用いて、クラス毎の予測係数のセットを、予測誤差がより小さくなるように更新する。そして、そのクラス毎の予測係数のセットを用いて、再度、最適化処理を繰り返す。そして、例えば、１フレーム分の予測誤差の絶対値和が所定の閾値以下となるか、あるいは、クラス毎の予測係数のセットの更新を所定回数だけ行うと、そのとき得られている最適ＳＤ画像とクラス毎の予測係数のセットとを、ＨＤ画像の符号化結果である符号化データとして出力する。
【０１０４】
次に、図４は、図３の前処理部２１の構成例を示している。
【０１０５】
符号化すべきＨＤ画像は、間引き回路３１および仮想画素形成回路３２に供給されるようになされている。
【０１０６】
間引き回路３１は、ＨＤ画像の画素数を、例えば、間引くことにより少なくし、ＳＤ画像を構成して、仮想画素形成回路３２に供給するようになされている。即ち、間引き回路３１は、例えば、ＨＤ画像を、横×縦が３×３画素の９画素でなる正方形状のブロックに分割し、各ブロックの幾つかの画素（後述）の平均値を、その中心の画素の画素値として、ＳＤ画像を構成するようになされている。これにより、間引き回路３１では、例えば、図５（Ａ）に・印で示すＨＤ画素からなるＨＤ画像から、それを１／９に間引いた、同図（Ｂ）に○印で示すＳＤ画素からなるＳＤ画像が構成される。
【０１０７】
なお、間引き回路３１には、その他、例えば、上述のブロックの中心の画素だけを抽出させて、ＳＤ画像を構成させるようにすることなども可能である。
【０１０８】
仮想画素形成回路３２は、間引き回路３１からのＳＤ画像を構成するＳＤ画素の近傍に、仮想の画素である仮想画素を想定し、その画素値を、ＨＤ画像から求めるようになされている。即ち、仮想画素形成回路３２は、例えば、図６に○印で示すＳＤ画素の左上、左下、右上、および右下の位置に、図６に◎印で示す仮想画素を想定する。そして、仮想画素形成回路３２は、仮想画素の位置に対応する、例えば４つのＨＤ画素（図５（Ａ）に点線の四角形で囲んで示す）の画素値の平均値を求め、これを、その仮想画素の画素値とする。
【０１０９】
さらに、仮想画素形成回路３２は、例えば、１つのＳＤ画素に対して、１つの仮想画素を対応付け、ＳＤ画素の画素値の一部に代えて、対応付けられた仮想画素の画素値の一部を配置するようになされている。即ち、例えば、ＨＤ画素の画素値が８ビットで表されていたとすると、その平均値であるＳＤ画素および仮想画素の画素値も８ビットで表すことができる。この場合、仮想画素形成回路３２は、例えば、図７に示すように、ＳＤ画素の画素値のＬＳＢ（Least Significant Bit）側の４ビットに代えて、仮想画素の画素値のＭＳＢ（Most Significant Bit）を配置する。つまり、仮想画素形成回路３２は、ＳＤ画素または仮想画素の画素値それぞれから、ＭＳＢ側の４ビットを取り出し、ＳＤ画素から取り出した４ビットをＭＳＢ側に配置するとともに、仮想画素から取り出した４ビットをＬＳＢ側に配置して、８ビットのデータを構成し、これをＳＤ画素の画素値とする。
【０１１０】
以上のようなＳＤ画素で構成されるＳＤ画像が、最適化部２２（図３）に供給されるようになされている。
【０１１１】
次に、図８のフローチャートを参照して、前処理部２１の動作について説明する。
【０１１２】
前処理部２１に、符号化すべきＨＤ画像が入力されると、そのＨＤ画像は、間引き回路３１および仮想画素形成回路３２に供給される。間引き回路３１は、ＨＤ画像を受信すると、その画素数を間引き、ＳＤ画像を構成する。
【０１１３】
即ち、間引き回路３１では、まず最初に、ステップＳ１において、ＨＤ画像が、例えば、３×３画素のＨＤ画像のブロックに分割され、ステップＳ２に進む。
【０１１４】
ここで、本実施の形態において、ＨＤ画像は、例えば、輝度信号Ｙと、色差信号Ｕ，Ｖとから構成され、ステップＳ１では、輝度信号のブロックと色差信号のブロックとが構成されるようになされている。
【０１１５】
ステップＳ２では、いずれかのブロックが注目ブロックとされ、その注目ブロックが輝度信号のブロックであるかどうかが判定される。ステップＳ２において、注目ブロックが輝度信号のブロックであると判定された場合、ステップＳ３に進み、間引き回路３１において、例えば、その注目ブロックに含まれる中心のＨＤ画素で交差する十字形の範囲にある５個のＨＤ画素の画素値の平均値が計算され、その平均値が、注目ブロックの中心の画素（ＳＤ画素）の画素値とされ、ステップＳ５に進む。
【０１１６】
一方、ステップＳ２において、注目ブロックが輝度信号のブロックでないと判定された場合、即ち、注目ブロックが色差信号のブロックである場合、ステップＳ４に進み、間引き回路３１において、例えば、その注目ブロックを構成する３×３のＨＤ画素の画素値の平均値が計算され、その平均値が、注目ブロックの中心の画素（ＳＤ画素）の画素値とされ、ステップＳ５に進む。
【０１１７】
ステップＳ５では、ステップＳ１で構成されたブロックすべてを、注目ブロックとして処理したかどうかが判定され、まだ、すべてのブロックを、注目ブロックとして処理していないと判定された場合、ステップＳ２に戻り、まだ注目ブロックとしていないブロックを、新たに注目ブロックとして、同様の処理を繰り返す。また、ステップＳ５において、すべてのブロックを、注目ブロックとして処理したと判定された場合、即ち、ＳＤ画像が構成された場合、そのＳＤ画像が、間引き回路３１から仮想画素形成回路３２に供給される。
【０１１８】
仮想画素形成回路３２は、間引き回路３１からＳＤ画像を受信すると、ステップＳ６において、そのＳＤ画像を構成するＳＤ画素のうちの１つを注目画素とし、その注目画素が輝度信号のものかどうかを判定する。ステップＳ６において、注目画素が輝度信号のものであると判定された場合、ステップＳ７に進み、仮想画素形成回路３２は、注目画素に対応する仮想画素の画素値を、上述したようにＨＤ画素の画素値から求める。さらに、仮想画素形成回路３２は、ステップＳ８に進み、図７で説明したように、注目画素の画素値のＬＳＢ側の４ビットに代えて、対応する仮想画素の画素値のＭＳＢ側の４ビットを配置し、ステップＳ９に進む。
【０１１９】
一方、ステップＳ６において、注目画素が輝度信号のものでないと判定された場合、即ち、色差信号のものである場合、ステップＳ７およびＳ８をスキップして、ステップＳ９に進み、すべてのＳＤ画素を注目画素として処理を行ったかどうかが判定される。ステップＳ９において、まだ、すべてのＳＤ画素を注目画素としていないと判定された場合、ステップＳ６に戻り、まだ注目画素としていないＳＤ画素を新たに注目画素として、同様の処理を繰り返す。また、ステップＳ９において、すべてのＳＤ画素を注目画素として処理を行ったと判定された場合、画素値のＬＳＢ側の４ビットが、仮想画素の画素値のＭＳＢ側の４ビットに置き換えられたＳＤ画素で構成されるＳＤ画像が、仮想画素形成回路３２から最適化部２２（図３）に出力され、処理を終了する。
【０１２０】
前処理部２１では、以上の処理が、例えば、１フレーム単位で繰り返される。
【０１２１】
ここで、本実施の形態では、輝度信号についてのみ、仮想画素が構成されるようになっており、色差信号については、ＳＤ画素だけで構成される予測タップが用いられるようになされている。従って、仮想画素の画素値のＭＳＢ側の４ビットに置き換えが行われるのは、輝度信号についてのみで、色差信号については、そのような置き換えは行われない。
【０１２２】
次に、図９は、図３の最適化部２２の構成例を示している。
【０１２３】
前処理部２１（仮想画素形成回路３２）からのＳＤ画像は、クラス分類適応処理回路（予測係数生成）４１および補正回路４２に供給されるようになされており、ＨＤ画像は、クラス分類適応処理回路（予測係数生成）４１および誤差算出回路４４に供給されるようになされている。
【０１２４】
クラス分類適応処理回路（予測係数生成）４１は、ＨＤ画像を受信するとともに、前処理部２１からＳＤ画像を受信すると、そのＨＤ画像とＳＤ画像を用いて、クラス毎に適応処理を行うことにより、クラス毎の予測係数のセットｗを算出し、クラス分類適応処理回路４３および多重化回路４６に出力するようになされている。
【０１２５】
ここで、図１０は、クラス分類適応処理回路（予測係数生成）４１の構成例を示している。なお、図中、図２６の学習装置における場合と対応する部分については、同一の符号を付してある。即ち、クラス分類適応処理回路（予測係数生成）４１は、間引き回路１１１が設けられていないことを除けば、図２６の学習装置と基本的に同様に構成されている。但し、クラス分類回路１１２および予測タップ生成回路１１３には、前処理部２１または補正回路４２からのＳＤ画像が供給され、また、遅延回路１１４には、前処理部２１に供給されるＨＤ画像と同一のＨＤ画像が供給されるようになされており、クラスタップ（後述）形成および予測タップ形成に関する動作が異なる。クラス分類適応処理回路（予測係数生成）４１の動作については、後述する。
【０１２６】
図９に戻り、補正回路４２は、ＳＤ画像を構成するＳＤ画素の画素値を、制御回路４５の制御に従って補正し、その補正した画素値を、クラス分類適応処理回路（予測係数生成）４１，４３、および多重化回路４６に出力するようになされている。クラス分類適応処理回路４３は、補正回路４２から供給されるＳＤ画素と、クラス分類適応処理回路（予測係数生成）４１から供給されるクラス毎の予測係数のセットｗを用いて適応処理を行うことにより、ＨＤ画素の予測値を求め、誤差算出回路４４に供給するようになされている。
【０１２７】
ここで、図１１は、クラス分類適応処理回路４３の構成例を示している。なお、図中、図２４の画像変換装置における場合と対応する部分については、同一の符号を付してある。即ち、クラス分類適応処理回路４３は、係数ＲＯＭ１０４に替えてクラス毎の予測係数のセットの書換可能な係数ＲＡＭ１０４’が設けられている他は、図２４の画像変換装置と基本的に同様に構成されている。この係数ＲＡＭ１０４’には、図９のクラス分類適応処理回路４３からクラス毎の予測係数のセットが供給されて記憶されるようになされており、また、クラスタップ形成および予測タップ形成に関する動作が、図２４における場合とは異なる。クラス分類適応処理回路４３の動作については後述する。
【０１２８】
再び、図９に戻り、誤差算出回路４４は、クラス分類適応処理回路４３からのＨＤ画素の予測値の、真のＨＤ画素の画素値に対する予測誤差を算出し、制御回路４５に出力するようになされている。制御回路４５は、誤差算出回路４４からの予測誤差に対応して、補正回路４２におけるＳＤ画素の画素値の補正量を制御するようになされている。多重化回路４６は、クラス分類適応処理回路（予測係数生成）４１が出力する予測係数ｗと、補正回路４２が出力する、補正されたＳＤ画素の画素値とを多重化し、符号化データとして出力するようになされている。
【０１２９】
次に、図１２のフローチャートを参照して、最適化部２２の処理について説明する。
【０１３０】
クラス分類適応処理回路（予測係数生成）４１は、前処理部２１からＳＤ画像を受信すると、ステップＳ１１において、そのＳＤ画像と、ＨＤ画像とを用いて適応処理を行うことにより、クラス毎の予測係数のセットを算出する。
【０１３１】
即ち、クラス分類適応処理回路（予測係数生成）４１は、ＳＤ画像を構成するＳＤ画素を順次注目画素とし、その注目画素についてクラス分類用のタップ（以下、適宜、クラスタップという）を構成し、クラス分類を行う。
【０１３２】
ここで、本実施の形態では、注目画素について、例えば、次のようなクラスタップが構成され、クラス分類が行われるようになされている。
【０１３３】
即ち、輝度信号については、例えば、図１３（Ａ）に示すように、注目画素を中心とする、ひし形状の範囲の５個のＳＤ画素と４個の仮想画素との合計９画素によって、クラスタップが構成される。そして、この９画素の画素値のうちの最大値と最小値との差をダイナミックレンジＤＲとし、このダイナミックレンジＤＲを用いて、クラスタップのうちの、注目画素と、それに隣接する４個の仮想画素との合計５画素（図１３（Ａ）において点線で囲む５画素）が１ビットＡＤＲＣ処理される。そして、その５画素の画素値のパターンが、注目画素のクラスとされる。従って、この場合、クラスタップのうちの、注目画素を中心とする５画素を１ビットＡＤＲＣ処理して得られる画素値のパターンは５ビットで表現されるから、輝度信号は、３２（＝２⁵）クラスのうちのいずれかにクラス分類される。
【０１３４】
なお、仮想画素の画素値としては、その仮想画素が対応付けられたＳＤ画素の画素値のＬＳＢ側の４ビットを、４ビットだけ左シフト（２⁴を乗算）したものに、例えば、８（＝２³）などを加算した値が用いられる。但し、仮想画素の画素値としては、その他、ＳＤ画素の画素値のＬＳＢ側の４ビットを、４ビットだけ左シフトしたものをそのまま用いたり、また、その左シフトしたものに、８以外の０以上１６（＝２⁴）未満の値を加算したものを用いることも可能である。
【０１３５】
また、ＳＤ画素の画素値は、図７で説明したように、そのＬＳＢ側の４ビットが、対応する仮想画素の画素値のＭＳＢ側の４ビットであるが、その８ビットの値が、ＳＤ画素の画素値としてそのまま用いられる。但し、ＳＤ画素の画素値としては、例えば、そのＬＳＢ側の４ビットを、ランダムに発生させた０以上１６（＝２⁴）未満の値に置き換えたものを用いることも可能である。
【０１３６】
一方、色差信号については、例えば、図１３（Ｂ）に示すように、注目画素を中心とする、正方形状の範囲の９のＳＤ画素によって、クラスタップが構成される。そして、この９画素の画素値のうちの最大値と最小値との差をダイナミックレンジＤＲとし、このダイナミックレンジＤＲを用いて、クラスタップのうちの、注目画素を中心とするひし形状の範囲の５のＳＤ画素（図１３（Ｂ）において点線で囲む５画素）が１ビットＡＤＲＣ処理される。そして、その５画素の画素値のパターンが、注目画素のクラスとされる。従って、この場合、クラスタップのうちの、注目画素を中心とする５画素を１ビットＡＤＲＣ処理して得られる画素値のパターンは５ビットで表現されるから、色差信号も、輝度信号と同様に、３２（＝２⁵）クラスのうちのいずれかにクラス分類される。
【０１３７】
クラス分類適応処理回路（予測係数生成）４１では、以上のようにして、注目画素のクラスが決定された後、予測タップが構成される。即ち、クラス分類適応処理回路（予測係数生成）４１は、注目画素が色差信号のものである場合、例えば、図１４に示すように、その注目画素を中心とする７×５（横×縦）の３５のＳＤ画素（同図において、実線または点線の○印で示す）で予測タップを構成する。また、クラス分類適応処理回路（予測係数生成）４１は、注目画素が輝度信号のものである場合、色差信号における場合と同様に、３５の画素で予測タップを構成するが、７×５のＳＤ画素のうち、その最も左上、左下、右上、および右下のＳＤ画素（同図において、点線の○印で示す）に代えて、注目画素に隣接する仮想画素を用いて、予測タップを構成する。
【０１３８】
そして、クラス分類適応処理回路（予測係数生成）４１では、各クラス毎に、予測タップとＨＤ画像とを用いて、式（７）の正規方程式がたてられ、それを解くことにより、クラス毎の予測係数のセットｗが求められる。なお、この場合、正規方程式は、注目画素に対して、例えば、前述の図２５に実線の四角形で囲んだ範囲の位置関係にあるＨＤ画素を用いてたてられる。
【０１３９】
クラス分類適応処理回路（予測係数生成）４１で求められたクラス毎の予測係数のセットｗは、クラス分類適応処理回路４３に供給され、係数ＲＡＭ１０４’（図１１）に記憶される。
【０１４０】
クラス分類適応処理回路（予測係数生成）４１においてクラス毎の予測係数のセットが求められると、最適化部２２では、ステップＳ１２において、前処理部２１からのＳＤ画像を構成するＳＤ画素のうちの１つが注目画素とされ、その注目画素が輝度信号のものかどうかが判定される。ステップＳ１２において、注目画素が輝度信号のものであると判定された場合、ステップＳ１３に進み、補正回路４２、クラス分類適応処理回路４３、誤差算出回路４４、および制御回路４５において、注目画素の画素値のＭＳＢ側の４ビットを対象に、最適化処理が行われ、ステップＳ１４に進む。ステップＳ１４では、注目画素の画素値の残りのＬＳＢ側の４ビットを対象に、最適化処理が行われ、ステップＳ１６に進む。
【０１４１】
一方、ステップＳ１２において、注目画素が輝度信号のものでないと判定された場合、即ち、色差信号のものである場合、ステップＳ１５に進み、補正回路４２、クラス分類適応処理回路４３、誤差算出回路４４、および制御回路４５において、色差信号を対象に、最適化処理が行われ、ステップＳ１６に進む。
【０１４２】
ステップＳ１６では、前処理部２１からのＳＤ画像を構成するＳＤ画素すべてを対象に処理を行ったかどうかが判定され、まだ行っていないと判定された場合、ステップＳ１２に戻り、まだ注目画素とされていないＳＤ画素を、新たに注目画素として、同様の処理を繰り返す。
【０１４３】
また、ステップＳ１６において、ＳＤ画素をすべて注目画素として処理を行ったと判定された場合、ステップＳ１７に進み、ＳＤ画素から予測されるＨＤ画素の予測値の、１フレーム分の予測誤差の総和が所定の閾値ε以下であるかどうかが判定される。ステップＳ１７において、１フレーム分の予測誤差の総和が所定の閾値ε以下でないと判定された場合、ステップＳ１１に戻り、上述の場合と同様の処理が繰り返される。但し、この場合、クラス分類適応処理回路（予測係数生成）４１では、ステップＳ１１において、前処理部２１が出力したＳＤ画素の画素値ではなく、補正回路４２が出力する、後述する最適なＳＤ画素の画素値を用いて（クラス分類回路１１２および予測タップ生成回路１１３（図１０）に対して、補正回路４２からの最適なＳＤ画素が入力されて）、同様の処理によりクラス毎の予測係数のセットが求められる（更新される）。
【０１４４】
そして、ステップＳ１７において、１フレーム分の予測誤差の総和が所定の閾値ε以下であると判定された場合、ステップＳ１８に進み、クラス分類適応処理回路（予測係数生成）４１において、そのとき補正回路４２が出力しているＳＤ画素の画素値を用いてクラス毎の予測係数のセットが算出され、ステップＳ１９に進む。そして、ステップＳ１９では、そのＳＤ画素の画素値とクラス毎の予測係数のセットとが、多重化回路４６において多重化され、符号化データとして出力されて、処理を終了する。
【０１４５】
その後、最適化部２２では、次のフレームについてのＨＤ画像とＳＤ画像とが供給されるのを待って、同様の処理が行われる。
【０１４６】
次に、図１５のフローチャートを参照して、図１２のステップＳ１３における注目画素の画素値のＭＳＢ側の４ビットを対象とした最適化処理について詳述する。
【０１４７】
クラス分類適応処理回路（予測係数生成）４１においてクラス毎の予測係数のセットが求められ、これが、クラス分類適応処理回路４３に供給されると、前処理部２１からのＳＤ画像を構成するＳＤ画素のうちの１つが注目画素とされ、制御回路４５は、ステップＳ３１において、注目画素の画素値を補正する補正量を表す変数△を、例えば０に初期化する。また、ステップＳ３１では、補正量を変化させる変化量（以下、適宜、オフセット量という）を表す変数Ｓに、初期値としての、例えば１６がセットされる。
【０１４８】
即ち、いまの場合、注目画素の画素値のＭＳＢ側の４ビットを対象としているので、オフセット量Ｓには、そのＭＳＢ側の４ビットを変化させるための最小値である１６（＝２⁴）がセットされる。
【０１４９】
さらに、ステップＳ３１では、注目画素の補正の回数をカウントする変数ｉに、初期値としての−１がセットされ、ステップＳ３２に進む。ステップＳ３２では、回数ｉが１だけインクリメントされ、ステップＳ３３に進み、注目画素の画素値を補正量△だけ補正した補正値を用いて適応処理を行った場合に、その補正により影響を受けるＨＤ画素の予測値の予測誤差Ｅが算出される。
【０１５０】
即ち、この場合、補正回路４２は、注目画素の画素値に、例えば、補正量△を加算し、その加算値を、注目画素の画素値として、クラス分類適応処理回路４３に出力する。ここで、注目画素について、最初にステップＳ３３の処理が施される場合、即ち、回数ｉ＝０の場合、補正量△は、ステップＳ３１でセットされた初期値である０のままであるから、補正回路４２からは、注目画素の画素値がそのまま出力される。
【０１５１】
クラス分類適応処理回路４３では、クラス分類適応処理回路（予測係数生成）４１における場合と同様に、図１３に示したクラスタップが形成されるとともに、図１４に示した形の予測タップが形成される。即ち、予測タップは、注目画素を中心とする７×５のＳＤ画素のうち、注目画素から最も遠い左上、左下、右上、および右下のＳＤ画素に代えて、注目画素に隣接する４つの仮想画素を用いて構成される。
【０１５２】
さらに、そのクラスタップに対応して、注目画素がクラス分類され、その結果得られるクラスに対応する予測係数のセットが、クラス分類適応処理回路（予測係数生成）４１から供給され、係数ＲＡＭ１０４’（図１１）に記憶されている予測係数のセットの中から選択される。そして、その選択された予測係数のセットと予測タップとから、式（１）に示した線形１次式を演算することにより、ＨＤ画素の画素値の予測値が求められる。
【０１５３】
また、クラス分類適応処理回路４３では、注目画素の画素値を補正量△だけ補正した場合に、少なくとも、その補正により影響を受けるＨＤ画素についても、同様にして、予測値が求められる。
【０１５４】
即ち、例えば、いま、図１６に示すように、ＳＤ画素Ａを注目画素として補正をしたとする。本実施の形態では、予測タップは、簡単には、７×５のＳＤ画素が含まれる範囲で構成されるので、このような７×５のＳＤ画素から予測タップが構成される場合に、その予測タップにＳＤ画素Ａが含まれるケースであって、ＳＤ画素Ａから最も離れたＳＤ画素が注目画素とされるのは、ＳＤ画素Ｂ，Ｃ，Ｄ，Ｅが注目画素とされ、７×５画素の予測タップが構成されるケースである。そして、ＳＤ画素Ｂ，Ｃ，Ｄ，Ｅが注目画素とされ、７×５画素の予測タップが構成された場合、本実施の形態では、同図に実線で囲んで示す範囲ｂ，ｃ，ｄ，ｅの中の３×３のＨＤ画素の予測値がそれぞれ求められる。従って、ＳＤ画素Ａを注目画素として、その画素値を補正した場合に、その補正により影響を受けるのは、最悪のケースで、範囲ｂ，ｃ，ｄ，ｅを含む最小の長方形である、図１６において点線で示す範囲内の２１×１５のＨＤ画素の予測値ということになる。
【０１５５】
従って、本実施の形態では、クラス分類適応処理回路４３において、少なくとも、このような２１×１５のＨＤ画素の予測値が求められる。
【０１５６】
クラス分類適応処理回路４３で求められたＨＤ画素の予測値は、誤差算出回路４４に供給される。誤差算出回路４４では、クラス分類適応処理回路４３からのＨＤ画素の予測値から、対応するＨＤ画素の真の画素値が減算され、その減算値である予測誤差の、例えば自乗和が求められる。そして、この自乗和が、誤差情報Ｅとして、制御回路４５に供給される。
【０１５７】
制御回路４５は、誤差算出回路４４から誤差情報を受信すると、ステップＳ３４において、回数ｉが０であるかどうかを判定する。ステップＳ３４において、回数ｉが０であると判定された場合、即ち、制御回路４５が受信した誤差情報Ｅが、注目画素の補正を行わずに得られたものである場合、ステップＳ３５に進み、注目画素の補正を行わずに得られた誤差情報（未補正時の誤差情報）を記憶する変数Ｅ₀に、誤差情報Ｅがセットされ、また、前回得られた誤差情報を記憶する変数Ｅ’にも、誤差情報Ｅがセットされる。さらに、ステップＳ３５では、補正量△が、オフセット量Ｓだけインクリメントされ、制御回路４５は、それにより得られた補正量△だけ、注目画素の画素値を補正するように、補正回路４２を制御する。その後は、ステップＳ３２に戻り、以下、同様の処理を繰り返す。
【０１５８】
この場合、ステップＳ３２において、回数ｉは１だけインクリメントされて１となるから、ステップＳ３４では、回数ｉが０でないと判定され、ステップＳ３６に進む。ステップＳ３６では、回数ｉが１であるかどうかが判定される。この場合、回数ｉは１となっているから、ステップＳ３６では、回数ｉは１であると判定され、ステップＳ３７に進み、前回の誤差情報Ｅ’が、今回の誤差情報Ｅ以上であるかどうかが判定される。ステップＳ３７において、前回の誤差情報Ｅ’が、今回の誤差情報Ｅ以上でないと判定された場合、即ち、補正量△だけ注目画素の画素値を補正することにより、今回の誤差情報Ｅの方が、前回の誤差情報Ｅ’（ここでは、補正をしてない場合の誤差情報）より増加した場合、ステップＳ３８に進み、制御回路４５は、オフセット量Ｓに、−１を乗算したものを、新たなオフセット量Ｓとし、さらに、補正量△をオフセット量Ｓの２倍だけインクリメントし、ステップＳ３２に戻る。
【０１５９】
即ち、注目画素の画素値を、補正量△（この場合、△＝Ｓ）だけ補正することにより、補正しなかったときよりも誤差が増加した場合には、オフセット量Ｓの符号が反転される（本実施の形態では、ステップＳ３１において正の値がオフセット量Ｓにセットされているので、ステップＳ３８では、オフセット量Ｓの符号は、正から負にされる）。さらに、前回はＳであった補正量△が、−Ｓにされる。
【０１６０】
また、ステップＳ３７において、前回の誤差情報Ｅ’が、今回の誤差情報Ｅ以上であると判定された場合、即ち、補正量△だけ注目画素の画素値を補正することにより、今回の誤差情報Ｅが、前回の誤差情報Ｅ’より減少した場合（または前回の誤差情報Ｅ’と同じである場合）、ステップＳ３９に進み、制御回路４５は、補正量△をオフセット量Ｓだけインクリメントするとともに、前回の誤差情報Ｅ’に、今回の誤差情報Ｅをセットすることにより更新して、ステップＳ３２に戻る。
【０１６１】
この場合、ステップＳ３２において、回数ｉは、さらに１だけインクリメントされて２となるから、ステップＳ３４またはＳ３６では、回数ｉが０または１でないとそれぞれ判定され、その結果、ステップＳ３６からＳ４０に進む。ステップＳ４０では、回数ｉが２であるかどうかが判定される。いま、回数ｉは２となっているから、ステップＳ４０では、回数ｉは２であると判定され、ステップＳ４１に進み、未補正時の誤差情報Ｅ₀が今回の誤差情報Ｅ以下であり、かつオフセット量Ｓが負であるかどうかが判定される。
【０１６２】
ステップＳ４０において、未補正時の誤差情報Ｅ₀が今回の誤差情報Ｅ以下であり、かつオフセット量Ｓが負であると判定された場合、即ち、注目画素を＋Ｓだけ補正しても、また、−Ｓだけ補正しても、補正しないときより誤差が増加する場合、ステップＳ４２に進み、補正量△が０とされ、ステップＳ４６に進む。
【０１６３】
また、ステップＳ４０において、未補正時の誤差情報Ｅ₀が今回の誤差情報Ｅ以下でないか、またはオフセット量Ｓが負でないと判定された場合、ステップＳ４３に進み、前回の誤差情報Ｅ’が、今回の誤差情報Ｅ以上であるかどうかが判定される。ステップＳ４３において、前回の誤差情報Ｅ’が、今回の誤差情報Ｅ以上であると判定された場合、即ち、補正量△だけ注目画素の画素値を補正することにより、今回の誤差情報Ｅが、前回の誤差情報Ｅ’より減少した場合、ステップＳ４４に進み、制御回路４５は、補正量△をオフセット量Ｓだけインクリメントするとともに、前回の誤差情報Ｅ’に、今回の誤差情報Ｅをセットすることにより更新して、ステップＳ３２に戻る。
【０１６４】
この場合、ステップＳ３２において、回数ｉは、さらに１だけインクリメントされて３となるから、以下では、ステップＳ３４，Ｓ３６、またはＳ４０において、回数ｉが０，１、または２でないとそれぞれ判定され、その結果、ステップＳ４０からＳ４３に進む。従って、ステップＳ４３において、前回の誤差情報Ｅ’が、今回の誤差情報Ｅ以上でないと判定されるまで、ステップＳ３２乃至Ｓ３４、Ｓ３６，Ｓ４０，Ｓ４３，Ｓ４４のループ処理が繰り返される。
【０１６５】
そして、ステップＳ４３において、前回の誤差情報Ｅ’が、今回の誤差情報Ｅ以上でないと判定された場合、即ち、補正量△だけ注目画素の画素値を補正することにより、今回の誤差情報Ｅの方が、前回の誤差情報Ｅ’より増加した場合、ステップＳ４５に進み、制御回路４５は、補正量△をオフセット量Ｓだけデクリメントし、ステップＳ４６に進む。即ち、この場合、補正量△は、誤差が増加する前の値とされる。
【０１６６】
ステップＳ４６では、制御回路４５は、補正回路４２を制御することにより、ステップＳ４２またはＳ４５で得られた補正量△だけ注目画素の画素値を補正させ、これにより、注目画素の画素値は、適応処理により予測値を得るのに、予測誤差が最小となるような最適なものに補正される。
【０１６７】
以上のようにして、注目画素の画素値のＭＳＢ側の４ビットが、ＨＤ画像の予測値を求めるのに、最適なものに最適化された後、リターンする。
【０１６８】
次に、図１７のフローチャートを参照して、図１２のステップＳ１４における注目画素の画素値のＬＳＢ側の４ビットを対象とした最適化処理について詳述する。
【０１６９】
この場合、ステップＳ５１乃至Ｓ６６において、基本的に、図１５のステップＳ３１乃至Ｓ４６における場合とそれぞれ同様の処理が行われる。
【０１７０】
但し、ステップＳ５１では、オフセット量Ｓには、初期値として、１６ではなく１がセットされる。即ち、いまの場合、注目画素の画素値のＬＳＢ側の４ビットを対象としているので、オフセット量Ｓには、そのＬＳＢ側の４ビットを変化させるための最小値である１（＝２⁰）がセットされる。
【０１７１】
また、ステップＳ６６では、図１５のステップＳ４６における場合と同様に、注目画素の画素値が補正量△だけ補正されるが、これにより、その注目画素に対応する仮想画素の画素値も、補正量△の１６（＝２⁴）倍の量だけ補正される。これは、次のような理由による。即ち、注目画素のＬＳＢ側の４ビットは、図７で説明したように、対応する仮想画素のＭＳＢの４ビットを表しており、例えば、いま、図１８に示すように、注目画素に対して、その左斜め下に隣接する仮想画素が対応付けられているとすると、注目画素のＬＳＢ側の４ビットを補正するということは、その左下に隣接する仮想画素の画素値のＭＳＢ側の４ビットを補正することになるからである。
【０１７２】
次に、図１９のフローチャートを参照して、図１２のステップＳ１５における注目画素が色差信号のものである場合の最適化処理について詳述する。
【０１７３】
この場合も、ステップＳ７１乃至Ｓ８６において、基本的に、図１５のステップＳ３１乃至Ｓ４６における場合とそれぞれ同様の処理が行われる。
【０１７４】
但し、ステップＳ７１では、オフセット量Ｓには、初期値として、１６ではなく１がセットされる。即ち、色差信号については、８ビットの画素値を変化させるための最小値である１（＝２⁰）がセットされる。
【０１７５】
次に、図２０は、図１の受信装置４の構成例を示している。
【０１７６】
受信機／再生装置７１においては、記録媒体２に記録された符号化データが再生され、または伝送路３を介して伝送されてくる符号化データが受信され、分離部７２に供給される。分離部７２では、符号化データが、ＳＤ画像（最適ＳＤ画像）の画像データとクラス毎の予測係数のセットｗとに分離され、いずれもクラス分類適応処理回路７３に供給される。
【０１７７】
クラス分類適応処理回路７３は、図９に示した最適化部２２を構成するクラス分類適応処理回路４３と同様にして、ＨＤ画像の予測値が求められ、これが復号画像として出力される。この復号画像は、元の画像とほぼ同一の画像となる。
【０１７８】
図２１は、図２０のクラス分類適応処理回路７３の構成例を示している。
【０１７９】
クラス分類適応処理回路７３は、クラス分類回路２０１、遅延回路２０２、予測タップ生成回路２０３、係数ＲＡＭ２０４、予測演算回路２０５で構成され、これらは、図１１に示したクラス分類適応処理回路４３を構成するクラス分類回路１０１、遅延回路１０２、予測タップ生成回路１０３、係数ＲＡＭ１０４’、予測演算回路１０５とそれぞれ同様に構成されている。
【０１８０】
以上のように構成されるクラス分類適応処理回路７３では、分離部７２からクラス毎の予測係数のセットが供給されると、その予測係数のセットが、係数ＲＡＭ２０４に記憶される。そして、クラス分類適応処理回路７３では、係数ＲＡＭ２０４に記憶されたクラス毎の予測係数のセットを用いて、分離部７２から供給されるＳＤ画像に対して、クラス分類適応処理回路４３における場合と同様の処理が行われることで、ＨＤ画像の予測値が求められる。
【０１８１】
即ち、図２２のフローチャートに示すように、まず最初に、ステップＳ９１において、図１３または図１４で説明したようなクラスタップまたは予測タップが、クラス分類回路２０１または予測タップ生成回路２０３において、それぞれ形成される。さらに、クラス分類回路２０１では、クラスタップがクラス分類され、その結果得られるクラスが、アドレスとして、予測係数ＲＡＭ２０４に与えられる。予測係数ＲＡＭ２０４では、クラス分類回路２０１からのクラスに対応した予測係数が読み出され、予測演算回路２０５に供給される。
【０１８２】
そして、ステップＳ９２において、予測演算回路２０５は、係数ＲＡＭ２０４から供給される予測係数のセットと、予測タップ生成回路２０３が形成した予測タップとを用いて、ＨＤ画像の予測値を求め、処理を終了する。
【０１８３】
なお、受信側においては、図２０に示すような受信装置４でなくても、間引きされた画像を単純な補間により復号する装置により、予測係数を用いずに、通常の補間を行うことで復号画像を得ることができる。但し、この場合に得られる復号画像は、画質（解像度）の劣化したものとなる。
【０１８４】
以上のように、ＨＤ画像を圧縮することにより得られるＳＤ画像を構成するＳＤ画素の近傍に仮想画素を想定し、その画素値を、ＨＤ画像から求めるようにしたので、注目画素に近く、かつ多くの画素から予測タップを形成することができ、その結果、その予測タップを用いて復号化を行うことで、元のＨＤ画像により近い復号画像を得ることが可能となる。
【０１８５】
さらに、ＳＤ画素の画素値のＬＳＢ側の４ビットに代えて、仮想画素の画素値のＭＳＢ側の４ビットを配置するようにしたので、符号化効率が劣化することもない。
【０１８６】
以上、本発明を、ＨＤ画像を符号化／復号化する画像処理装置に適用した場合について説明したが、本発明は、その他、ＳＤ画像などの標準解像度の画像その他を符号化／復号化する場合にも適用可能である。即ち、例えば、ＮＴＳＣ方式などの標準方式のテレビジョン信号を間引いて符号化／復号化する場合にも適用可能である。但し、本発明は、データ量の多い、いわゆるハイビジョン方式のテレビジョン信号などを符号化／復号化する場合に、特に有効である。また、本発明は、オリジナルの画像から各階層の画像データを生成して符号化するいわゆる階層符号化を行う場合などにも適用可能である。
【０１８７】
なお、本実施の形態では、輝度信号についてのみ、仮想画素をも用いて予測タップを形成するようにしたが、色差信号についても同様に、仮想画素を用いて予測タップを形成することが可能である。
【０１８８】
また、本実施の形態においては、５×７画素をベースにして予測タップを形成するようにしたが、予測タップは、５×７画素に限定されるものではない。
【０１８９】
さらに、本実施の形態では、仮想画素を用いて予測タップを形成する場合に、５×７の３５画素でなるブロックをベースとして、図１４に示したような３５画素からなる予測タップを形成するようにしたが、その他、例えば図２３に示すように、注目画素から遠いＳＤ画素に代えて、その注目画素に近い仮想画素を、さらに多く用いて、予測タップを形成するようにすることも可能である。
【０１９０】
また、本実施の形態では、ＳＤ画素の画素値のＬＳＢ側の４ビットに代えて、仮想画素の画素値のＭＳＢ側の４ビットを配置するようにしたが、その他、例えば、ＳＤ画素の画素値のＬＳＢ側の３ビットや２ビットに代えて、仮想画素の画素値のＭＳＢ側の３ビットや２ビットを配置するようにすることも可能である。但し、本件発明者が行ったシミュレーションによれば、ＳＤ画素の画素値を８ビットで表す場合においては、ＳＤ画素の画素値のＬＳＢ側の４ビットに代えて、仮想画素の画素値のＭＳＢ側の４ビットを配置したものによる復号画像のＳ／Ｎが最も良くなる結果が得られた。また、ＳＤ画像の画素値を置き換えるビット数が多い方が、階調が向上する傾向があった。
【０１９１】
さらに、本実施の形態では、間引き回路３１において、ＨＤ画像を１／９に間引いてＳＤ画像を構成するようにしたが、ＳＤ画像は、その他の間引き率でＨＤ画像を間引いて構成することも可能である。
【０１９２】
また、本実施の形態では、図６に示したように、斜めに隣接するＳＤ画素どうしの間に、１の仮想画素を設けるようにしたが、その間には、２以上の仮想画素を設けるようにすることも可能である。
【０１９３】
さらに、本実施の形態では、送信装置１を構成する最適化部２２（図９）にクラス分類適応処理回路（予測係数生成）４１を設け、クラス毎の予測係数のセットを更新するようにしたが、クラス毎の予測係数のセットは更新せずに、あらかじめ求めておいたものを、そのまま使用することも可能である。即ち、前述の図２６に示したような学習装置によって、あらかじめクラス毎の予測係数のセットを学習により求めておき、それを、クラス分類適応処理回路４３において用いるようにすることが可能である。この場合、クラス分類適応回路４３は、図２４に示される画像変換装置と同様に構成することができ、学習装置によってあらかじめ求められたクラス毎の予測係数のセットを、係数ＲＯＭ１０４の中に記憶させておけばよい。この場合、クラス分類適応処理回路（予測係数生成）４１は設ける必要がなくなり、装置の簡素化を図ることが可能となる。
【０１９４】
また、このような送信装置１に対応する、受信装置４（図２０）では、あらかじめ求めたおいたクラス毎の予測係数のセットを記憶しておき、クラス分類適応処理回路７３において、その予測係数を用いて、予測値を求めるようにすれば良い。この場合、クラス分類適応処理回路７３は、図２４に示される画像変換装置と同様に構成することができる。そして、前述の図２６に示したような学習装置によって、あらかじめクラス毎の予測係数のセットを学習により求めておき、このクラス毎の予測係数のセットを、係数ＲＯＭ１０４の中に記憶させておけばよい。
【０１９５】
また、図１５においては、注目画素の画素値を、オフセット量Ｓとしての１６ずつ補正することにより、予測誤差Ｅが最初に極小となる補正量△を検出するようにしたが、その他、例えば、注目画素の画素値がとり得る値すべてについて予測誤差Ｅを求め、その最小値を検出し、その場合の補正量△によって、注目画素の画素値を補正するようにすることも可能である。この場合、処理に時間を要することとなるが、よりＳ／Ｎの高い復号画像を得ることが可能となる。
【０１９６】
さらに、このように注目画素の画素値がとり得る値すべてについて予測誤差Ｅを求める場合には、注目画素の画素値の初期値は、どのような値（但し、注目画素の画素値がとり得る範囲内の値）であっても良い。即ち、この場合、初期値がどのような値であっても、予測誤差Ｅを最小にする補正値△を求めることができる。
【０１９７】
また、以上のことは、図１７および図１９で説明した処理についても同様である。
【０１９８】
なお、本発明の主旨を逸脱しない範囲において、さまざまな変形や応用例が考えうる。従って、本発明の要旨は、上述の実施の形態に限定されるものではない。
【０１９９】
【発明の効果】
本発明の画像信号符号化装置および画像信号符号化方法によれば、符号化効率を劣化させることなく、補正後の圧縮画像から、原画像により近い復号画像を得ることが可能となる。
【０２００】
本発明の画像信号復号装置および画像信号復号方法によれば、原画像により近い復号画像を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像処理装置の一実施の形態の構成を示すブロック図である。
【図２】図１の送信装置１の構成例を示すブロック図である。
【図３】図２の送信装置１の機能的構成例を示すブロック図である。
【図４】図３の前処理部２１の構成例を示すブロック図である。
【図５】図４の間引き回路３１の処理を説明するための図である。
【図６】図４の仮想画素形成回路３２の処理を説明するための図である。
【図７】図４の仮想画素形成回路３２の処理を説明するための図である。
【図８】図４の前処理部２１の動作を説明するためのフローチャートである。
【図９】図３の最適化部２２の構成例を示すブロック図である。
【図１０】図９のクラス分類適応処理回路（予測係数生成）４１の構成例を示すブロック図である。
【図１１】図９のクラス分類適応処理回路４３の構成例を示すブロック図である。
【図１２】図９の最適化部２２の動作を説明するためのフローチャートである。
【図１３】図９のクラス分類適応処理回路（予測係数生成）４１がクラス分類を行うときに形成するクラスタップを示す図である。
【図１４】図９のクラス分類適応処理回路（予測係数生成）４１が適応処理を行うときに形成する予測タップを示す図である。
【図１５】図１２のステップＳ１３の処理のより詳細を説明するためのフローチャートである。
【図１６】図１５のステップＳ３３の処理を説明するための図である。
【図１７】図１２のステップＳ１４の処理のより詳細を説明するためのフローチャートである。
【図１８】図１７のステップＳ６６の処理を説明するための図である。
【図１９】図１２のステップＳ１５の処理のより詳細を説明するためのフローチャートである。
【図２０】図１の受信装置４の構成例を示すブロック図である。
【図２１】図２０のクラス分類適応処理回路７３の構成例を示すブロック図である。
【図２２】図２１のクラス分類適応処理回路７３の動作を説明するためのフローチャートである。
【図２３】予測タップの他の構成例を示す図である。
【図２４】本件出願人が先に提案した画像変換装置の構成例を示すブロック図である。
【図２５】図２４のクラス分類回路１０１の処理を説明するための図である。
【図２６】本件出願人が先に提案した学習装置の構成例を示すブロック図である。
【図２７】本件出願人が先に提案した画像符号化装置の構成例を示すブロック図である。
【符号の説明】
１ 送信装置， ２ 記録媒体， ３ 伝送路， ４ 受信装置， １１ Ｉ／Ｆ， １２ ＲＯＭ， １３ ＲＡＭ， １４ ＣＰＵ， １５ 外部記憶装置， １６ 送信機／記録装置， ２１ 前処理部， ２２ 最適化部， ３１間引き回路， ３２ 仮想画素形成回路， ４１ クラス分類適応処理回路（予測係数生成）， ４２ 補正回路， ４３ クラス分類適応処理回路， ４４誤差算出回路， ４５ 制御回路， ４６ 多重化回路， ７１ 受信機／再生装置， ７２ 分離部， ７３ クラス分類適応処理回路

Claims (18)

1. 画像信号を符号化する画像信号符号化装置であって、
   原画像信号を構成する画素である原画像画素の画素数より少ない画素数の圧縮画像信号を発生する圧縮手段と、
   前記圧縮画像信号を構成する画素である圧縮画素によって囲まれた位置に、仮想の画素である仮想画素を想定し、その仮想画素の画素値を、対応する位置の近傍に存在する複数の前記原画像画素の画素値を平均することにより算出する仮想画素算出手段と、
   １つの前記圧縮画素に１つの前記仮想画素を対応付け、前記圧縮画素の画素値の下位ビットを、対応する前記仮想画素の画素値の上位ビットに置き換える置換手段と、
   前記圧縮画像信号を構成する、前記置換手段による置換後の圧縮画素のうちの１つを注目画素として、その注目画素を含み、その注目画素と所定の位置関係にある複数の前記圧縮画素および仮想画素から予測タップを形成する予測タップ形成手段と、
   前記予測タップを形成する複数の前記圧縮画素および前記仮想画素の画素値と、所定の予測係数とを用いた演算により前記原画像信号を予測し、その予測値を出力する予測手段と、
   前記予測値の、前記原画像信号に対する予測誤差を算出する予測誤差算出手段と、
   所定の補正値を加算または減算することにより、前記圧縮画像信号を構成する前記置換手段による置換後の圧縮画素の画素値を補正する補正手段と、
   前記圧縮画像信号１フレーム分の前記予測誤差の総和が所定の閾値に減少するまで、前記補正手段を制御して前記圧縮画素の画素値を補正させる制御手段と、
   前記補正手段が最終的に出力する前記圧縮画像信号を、前記原画像信号を得るのに最適な最適圧縮画像信号として、その最適圧縮画像信号を、前記原画像信号の符号化結果として出力する出力手段と
   を備えることを特徴とする画像信号符号化装置。
2. 前記原画像信号を教師データ、前記圧縮手段によって発生された圧縮画像信号または前記補正手段によって補正された圧縮画像信号を学習データとする所定の正規方程式を解くことにより、前記予測係数を演算する演算手段をさらに備え、
   前記出力手段は、前記最適圧縮画像信号と前記予測係数とを、前記原画像信号の符号化結果として出力する
   ことを特徴とする請求項１に記載の画像信号符号化装置。
3. 前記予測係数は、前記予測係数を予め生成するために用意された生成用原画像信号を教師データ、その生成用原画像信号から求めた、それより画素数の少ない生成用圧縮画像信号を学習データとする所定の正規方程式を解くことにより予め生成されており、
   前記予測係数を記憶する記憶手段をさらに備える
   ことを特徴とする請求項１に記載の画像信号符号化装置。
4. 前記注目画素を、所定のクラスに分類するクラス分類手段をさらに備え、
   前記予測手段は、前記注目画素について形成された前記予測タップと、その注目画素のクラスに対応する前記予測係数とから、前記予測値を求める
   ことを特徴とする請求項１に記載の画像信号符号化装置。
5. 前記原画像信号を教師データ、前記圧縮手段によって発生された圧縮画像信号または前記補正手段によって補正された圧縮画像信号を学習データとする所定の正規方程式を解くことにより、前記クラスごとの予測係数を演算する演算手段をさらに備え、
   前記出力手段は、前記最適圧縮画像信号と前記クラスごとの予測係数とを、前記原画像信号の符号化結果として出力する
   ことを特徴とする請求項４に記載の画像信号符号化装置。
6. 各画像信号の画素値は、輝度信号または色差信号であり、
   仮想画素算出手段は、前記圧縮画像信号を構成する画素であって、輝度信号を画素値とする圧縮画素によって囲まれた位置に、仮想の画素である仮想画素を想定し、その仮想画素の輝度値を、対応する位置の近傍に存在する複数の前記原画像画素の輝度値を平均することにより算出する
   ことを特徴とする請求項１に記載の画像信号符号化装置。
7. 画像信号を符号化する画像信号符号化方法であって、
   原画像信号を構成する画素である原画像画素の画素数より少ない画素数の圧縮画像信号を発生する圧縮ステップと、
   前記圧縮画像信号を構成する画素である圧縮画素によって囲まれた位置に、仮想の画素である仮想画素を想定し、その仮想画素の画素値を、対応する位置の近傍に存在する複数の前記原画像画素の画素値を平均することにより算出する仮想画素算出ステップと、
   １つの前記圧縮画素に１つの前記仮想画素を対応付け、前記圧縮画素の画素値の下位ビットを、対応する前記仮想画素の画素値の上位ビットに置き換える置換ステップと、
   前記圧縮画像信号を構成する、前記置換ステップの処理による置換後の圧縮画素のうちの１つを注目画素として、その注目画素を含み、その注目画素と所定の位置関係にある複数の前記圧縮画素および仮想画素から予測タップを形成する予測タップ形成ステップと、
   前記予測タップを形成する複数の前記圧縮画素および前記仮想画素の画素値と、所定の予測係数とを用いた演算により前記原画像信号を予測し、その予測値を出力する予測ステップと、
   前記予測値の、前記原画像信号に対する予測誤差を算出する予測誤差算出ステップと、
   所定の補正値を加算または減算することにより、前記圧縮画像信号を構成する前記置換ステップの処理による置換後の圧縮画素の画素値を補正する補正ステップと、
   前記圧縮画像信号１フレーム分の前記予測誤差の総和が所定の閾値に減少するまで、前記補正ステップの処理を制御して前記圧縮画素の画素値を補正させる制御ステップと、
   前記補正ステップの処理が最終的に出力する前記圧縮画像信号を、前記原画像信号を得るのに最適な最適圧縮画像信号として、その最適圧縮画像信号を、前記原画像信号の符号化結果として出力する出力ステップと
   を備えることを特徴とする画像信号符号化方法。
8. 前記予測係数は、前記予測係数を予め生成するために用意された生成用原画像信号を教師データ、その生成用原画像信号から求めた、それより画素数の少ない生成用圧縮画像信号を学習データとする所定の正規方程式を解くことにより予め生成されて記憶されており、
   前記予測ステップにおいて、予め生成されて記憶されている前記予測係数を用いて、前記予測値を求める
   ことを特徴とする請求項７に記載の画像信号符号化方法。
9. 原画像信号を構成する画素である原画像画素の画素数より少ない画素数の圧縮画像信号を発生し、
   前記圧縮画像信号を構成する画素である圧縮画素によって囲まれた位置に、仮想の画素である符号化時仮想画素を想定し、その符号化時仮想画素の画素値を、対応する位置の近傍に存在する複数の前記原画像画素の画素値を平均することにより算出し、
   １つの前記圧縮画素に１つの前記符号化時仮想画素を対応付け、前記圧縮画素の画素値の下位ビットを、対応する前記符号化時仮想画素の画素値の上位ビットに置き換え、
   前記圧縮画像信号を構成する、画素値の下位ビットが置換後の圧縮画素のうちの１つを注目画素として、その注目画素を含み、その注目画素と所定の位置関係にある複数の前記圧縮画素および符号化時仮想画素から予測タップを形成し、
   前記予測タップを形成する複数の前記圧縮画素および前記符号化時仮想画素の画素値と、所定の予測係数とを用いた演算により前記原画像信号を予測し、その予測値を出力し、
   前記予測値の、前記原画像信号に対する予測誤差を算出し、
   所定の補正値を加算または減算することにより、前記圧縮画像信号を構成する前記置換手段による置換後の圧縮画素の画素値を補正し、
   前記圧縮画像信号１フレーム分の前記予測誤差の総和が所定の閾値に減少するまで、補正の処理を制御して前記圧縮画素の画素値を補正させ、
   補正の処理が最終的に出力する前記圧縮画像信号を、前記原画像信号を得るのに最適な最適圧縮画像信号として、その最適圧縮画像信号を、前記原画像信号の符号化結果として出力することにより得られる前記最適圧縮画像信号を含む符号化データを復号する画像信号復号装置であって、
   前記最適圧縮画像信号を構成する画素である最適圧縮画素によって囲まれた位置に、仮想の画素である復号時仮想画素を想定し、１つの前記最適圧縮画素に１つの前記復号時仮想画素を対応付け、各復号時仮想画素の画素値を、対応する前記最適圧縮画素の画素値の下位ビットを用いて算出する仮想画素算出手段と、
   前記最適圧縮画像信号を構成する最適圧縮画素のうちの１つを注目画素として、その注目画素を含み、その注目画素と所定の位置関係にある複数の前記最適圧縮画素および復号時仮想画素から予測タップを形成する予測タップ形成手段と、
   前記予測タップを形成する複数の前記圧縮画素および前記復号時仮想画素の画素値と、所定の予測係数とを用いた演算により前記原画像信号を予測し、その予測値を出力する予測手段と
   を備えることを特徴とする画像信号復号装置。
10. 前記予測係数は、前記符号化データに含まれている
    ことを特徴とする請求項９に記載の画像信号復号装置。
11. 前記予測係数は、前記予測係数を予め生成するために用意された生成用原画像信号を教師データ、その生成用原画像信号から求めた、それより画素数の少ない生成用圧縮画像信号を学習データとする所定の正規方程式を解くことにより予め生成されており、
    前記予測係数を記憶する記憶手段をさらに備える
    ことを特徴とする請求項９に記載の画像信号復号装置。
12. 前記最適圧縮画像信号を構成する最適圧縮画素のうち、前記注目画素としたものを、所定のクラスに分類するクラス分類手段をさらに備え、
    前記予測手段は、前記注目画素について形成された前記予測タップと、その注目画素のクラスに対応する前記予測係数とから、前記予測値を求める
    ことを特徴とする請求項９に記載の画像信号復号装置。
13. 前記クラスごとの予測係数は、前記符号化データに含まれている
    ことを特徴とする請求項１２に記載の画像信号復号装置。
14. 前記予測係数は、前記予測係数を予め生成するために用意された生成用原画像信号、その生成用原画像信号から求めた、それより画素数の少ない生成用圧縮画像信号を学習データとする所定の正規方程式を解くことにより前記クラスごとに予め生成されており、
    前記クラスごとの予測係数を記憶する記憶手段をさらに備える
    ことを特徴とする請求項１２に記載の画像信号復号装置。
15. 前記最適圧縮画像信号を構成する最適圧縮画素の画素値の下位ビットが、前記符号化時仮想画素の画素値の上位ビットに置き換えられている
    ことを特徴とする請求項９に記載の画像信号復号装置。
16. 原画像信号を構成する画素である原画像画素の画素数より少ない画素数の圧縮画像信号を発生し、
    前記圧縮画像信号を構成する画素である圧縮画素によって囲まれた位置に、仮想の画素である符号化時仮想画素を想定し、その符号化時仮想画素の画素値を、対応する位置の近傍に存在する複数の前記原画像画素の画素値を平均することにより算出し、
    １つの前記圧縮画素に１つの前記符号化時仮想画素を対応付け、前記圧縮画素の画素値の下位ビットを、対応する前記符号化時仮想画素の画素値の上位ビットに置き換え、
    前記圧縮画像信号を構成する、画素値の下位ビットが置換後の圧縮画素のうちの１つを注目画素として、その注目画素を含み、その注目画素と所定の位置関係にある複数の前記圧縮画素および符号化時仮想画素から予測タップを形成し、
    前記予測タップを形成する複数の前記圧縮画素および前記符号化時仮想画素の画素値と、所定の予測係数とを用いた演算により前記原画像信号を予測し、その予測値を出力し、
    前記予測値の、前記原画像信号に対する予測誤差を算出し、
    所定の補正値を加算または減算することにより、前記圧縮画像信号を構成する前記置換手段による置換後の圧縮画素の画素値を補正し、
    前記圧縮画像信号１フレーム分の前記予測誤差の総和が所定の閾値に減少するまで、補正の処理を制御して前記圧縮画素の画素値を補正させ、
    補正の処理が最終的に出力する前記圧縮画像信号を、前記原画像信号を得るのに最適な最適圧縮画像信号として、その最適圧縮画像信号を、前記原画像信号の符号化結果として出力することにより得られる前記最適圧縮画像信号を含む符号化データを復号する画像信号復号方法であって、
    前記最適圧縮画像信号を構成する画素である最適圧縮画素によって囲まれた位置に、仮想の画素である復号時仮想画素を想定し、１つの前記最適圧縮画素に１つの前記復号時仮想画素を対応付け、各復号時仮想画素の画素値を、対応する前記最適圧縮画素の画素値の下位ビットを用いて算出する仮想画素算出ステップと、
    前記最適圧縮画像信号を構成する最適圧縮画素のうちの１つを注目画素として、その注目画素を含み、その注目画素と所定の位置関係にある複数の前記最適圧縮画素および復号時仮想画素から予測タップを形成する予測タップ形成ステップと、
    前記予測タップを形成する複数の前記圧縮画素および前記復号時仮想画素の画素値と、所定の予測係数とを用いた演算により前記原画像信号を予測し、その予測値を出力する予測ステップと
    を備えることを特徴とする画像信号復号方法。
17. 前記予測係数は、前記予測係数を予め生成するために用意された生成用原画像信号を教師データ、その生成用原画像信号から求めた、それより画素数の少ない生成用圧縮画像信号を学習データとする所定の正規方程式を解くことにより予め生成されて記憶されており、
    前記予測ステップにおいて、予め生成されて記憶されている前記予測係数を用いて、前記予測値を求める
    ことを特徴とする請求項１６に記載の画像信号復号方法。
18. 前記予測係数は、前記予測係数を予め生成するために用意された生成用原画像信号、その生成用原画像信号から求めた、それより画素数の少ない生成用圧縮画像信号を学習データとする所定の正規方程式を解くことにより前記クラスごとに予め生成されて記憶されており、
    前記予測ステップにおいて、予め生成されて記憶されている前記クラスごとの予測係数を用いて、前記予測値を求める
    ことを特徴とする請求項１６に記載の画像信号復号方法。

Images