JP4200401B2 - 画像変換装置および方法、並びに記録媒体 - Google Patents
画像変換装置および方法、並びに記録媒体 Download PDFInfo
- Publication number
- JP4200401B2 JP4200401B2 JP08086799A JP8086799A JP4200401B2 JP 4200401 B2 JP4200401 B2 JP 4200401B2 JP 08086799 A JP08086799 A JP 08086799A JP 8086799 A JP8086799 A JP 8086799A JP 4200401 B2 JP4200401 B2 JP 4200401B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- layer image
- pixels
- upper layer
- class code
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像変換装置および方法、並びに記録媒体に関し、特に、原画像を、原画像に復元可能な画像に変換する画像変換装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
原画像を構成する画素数よりも少ない画素数から構成される上位階層画像を生成し、この上位階層画像から、原画像とほぼ同一の下位階層画像を生成する（原画像を復元する）する技術が本出願人により提案されている。
【０００３】
この提案においては、下位階層画像の画素値は、上位階層画像の着目画素を中心とする予測タップの画素値と、着目画素が分類されるクラスコードに対応する予測係数の線形１次結合を演算することにより求められる。なお、着目画素のクラスコードは、着目画素とその近傍の画素から構成されるクラスタップの画素値から決定される。
【０００４】
したがって、原画像とほぼ等しい下位階層画像を生成することが可能な上位階層画像を生成するには、画素値とクラスコード（予測係数）を同時に最適化することが理想的である。
【０００５】
【発明が解決しようとする課題】
しかしながら、画素値とクラスコード（予測係数）を同時に最適化するためには、上位階層画像の全ての画素の画素値を同時に変動させる必要があるが、そのようにするには演算量が膨大となることから、画素値とクラスコード（予測係数）を同時に最適化することは、実質的には不可能である課題があった。
【０００６】
また、画素値および予測係数を最適化するためには、それぞれの更新を交互に複数回繰り返して実行する必要があるので、その処理にかかる時間が長くなる課題があった。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、前処理の直後に、クラスコード選択処理と予測係数更新処理を実行することにより、原画像を復元可能な上位階層画像を短時間で生成できるようにするものである。
【０００８】
【課題を解決するための手段】
本発明の画像変換装置は、複数の画素からなる原画像を、前記原画像に復元するための、前記原画像より少ない画素からなり、各画素の所定のビット列から成る画素データの上位側ビット列が画素値を示し、前記画像データの前記上位側ビット列以外の下位側ビット列がクラスコードを示す上位階層画像に変換する画像変換装置において、前処理として、前記原画像を所定のサイズの画素ブロックに分割し、前記画素ブロック毎に画素値を平均化または画素を間引くことによって初期の上位階層画像の１画素分の画素値を決定して前記画素データの上位側ビット列とし、各画素の画素データの上位側ビット列だけが決定された前記初期の上位階層画像の画素を順次、着目画素とし、前記着目画素とその近傍の複数の画素から成るクラスタップを前記初期の上位階層画像から抽出し、前記クラスタップを構成する複数の画素の画素値を符号化することによって前記着目画素に対応するクラスコードを決定して前記着目画素の画素データの下位側ビット列とすることにより、前記初期の上位階層画像の前記着目画素の画素データを生成し、前記着目画素とその近傍の複数の画素から成る予測タップを前記初期の上位階層画像から抽出し、既知である前記原画像の画素値と、既知である前記予測タップを構成する複数の画素の画素値と、未知である予測係数とからなる正規方程式を、同一のクラスコードに分類される着目画素毎に解くことによって各クラスコードに対応する前記予測係数を生成し、生成した前記予測係数を前記クラスコードに対応付けて予測係数メモリに記憶させるとともに、生成した前記初期の上位階層画像を上位階層画像メモリに記憶させる前処理手段と、前記上位階層画像メモリに記憶されている前記上位階層画像の画素を順次、着目画素とし、前記着目画素とその近傍の複数の画素から成る予測タップを前記上位階層画像から抽出し、前記予測タップを構成する複数の画素の画素データの上位ビット列に記憶されている画素値と、前記予測係数メモリに記憶されている各クラスコードにそれぞれ対応する予測係数との線形１次結合により前記下位階層画像の画素値を生成し、生成した前記下位階層画像の画素値と前記原画像の対応する画素値との比較結果に応じて、前記着目画素に対する最適なクラスコードを決定し、決定したクラスコードを用いて、前記着目画素の画素データの下位側ビット列を更新するクラスコード更新手段と、前記上位階層画像メモリに記憶されている前記上位階層画像の画素を順次、着目画素とし、前記着目画素とその近傍の複数の画素から成る予測タップを前記上位階層画像から抽出し、既知である前記原画像の画素値と、既知である前記予測タップを構成する複数の画素の画素値と、更新対象の予測係数とからなる正規方程式を、同一のクラスコードに分類される着目画素毎に解くことによって各クラスコードに対応する前記予測係数を再度生成して、再度生成した前記予測係数を前記クラスコードに対応付けて予測係数メモリに記憶させる予測係数更新手段と、前記上位階層画像メモリに記憶されている前記上位階層画像の画素を順次、着目画素とし、前記着目画素とその近傍の複数の画素から成る予測タップを前記上位階層画像から抽出し、前記予測タップを構成する複数の画素の画素データの上位ビット列に記憶されている画素値と、前記着目画素の画素データの下位側ビット列に記録されているクラスコードに対応する予測係数との線形１次結合により、前記原画像と同じ画素数から成る下位階層画像の画素値を演算する演算手段と、前記原画像と前記下位階層画像と S/N の変化を検出する検出手段とを含み、前記予測係数更新手段は、前記前処理手段の動作後であって、前記演算手段および前記検出手段の動作の前に、動作を行い、前記 S/N の増加量が収束していない場合にも動作する。
【０００９】
本発明の画像変換方法は、複数の画素からなる原画像を、前記原画像に復元するための、前記原画像より少ない画素からなり、各画素の所定のビット列から成る画素データの上位側ビット列が画素値を示し、前記画像データの前記上位側ビット列以外の下位側ビット列がクラスコードを示す上位階層画像に変換する画像変換装置の画像変換方法において、前処理として、前記原画像を所定のサイズの画素ブロックに分割し、前記画素ブロック毎に画素値を平均化または画素を間引くことによって初期の上位階層画像の１画素分の画素値を決定して前記画素データの上位側ビット列とし、各画素の画素データの上位側ビット列だけが決定された前記初期の上位階層画像の画素を順次、着目画素とし、前記着目画素とその近傍の複数の画素から成るクラスタップを前記初期の上位階層画像から抽出し、前記クラスタップを構成する複数の画素の画素値を符号化することによって前記着目画素に対応するクラスコードを決定して前記着目画素の画素データの下位側ビット列とすることにより、前記初期の上位階層画像の前記着目画素の画素データを生成し、前記着目画素とその近傍の複数の画素から成る予測タップを前記初期の上位階層画像から抽出し、既知である前記原画像の画素値と、既知である前記予測タップを構成する複数の画素の画素値と、未知である予測係数とからなる正規方程式を、同一のクラスコードに分類される着目画素毎に解くことによって各クラスコードに対応する前記予測係数を生成し、生成した前記予測係数を前記クラスコードに対応付けて予測係数メモリに記憶させるとともに、生成した前記初期の上位階層画像を上位階層画像メモリに記憶させる前処理ステップと、前記上位階層画像メモリに記憶されている前記上位階層画像の画素を順次、着目画素とし、前記着目画素とその近傍の複数の画素から成る予測タップを前記上位階層画像から抽出し、前記予測タップを構成する複数の画素の画素データの上位ビット列に記憶されている画素値と、前記予測係数メモリに記憶されている各クラスコードにそれぞれ対応する予測係数との線形１次結合により前記下位階層画像の画素値を生成し、生成した前記下位階層画像の画素値と前記原画像の対応する画素値との比較結果に応じて、前記着目画素に対する最適なクラスコードを決定し、決定したクラスコードを用いて、前記着目画素の画素データの下位側ビット列を更新するクラスコード更新ステップと、前記上位階層画像メモリに記憶されている前記上位階層画像の画素を順次、着目画素とし、前記着目画素とその近傍の複数の画素から成る予測タップを前記上位階層画像から抽出し、既知である前記原画像の画素値と、既知である前記予測タップを構成する複数の画素の画素値と、更新対象の予測係数とからなる正規方程式を、同一のクラスコードに分類される着目画素毎に解くことによって各クラスコードに対応する前記予測係数を再度生成して、再度生成した前記予測係数を前記クラスコードに対応付けて予測係数メモリに記憶させる予測係数更新ステップと、前記上位階層画像メモリに記憶されている前記上位階層画像の画素を順次、着目画素とし、前記着目画素とその近傍の複数の画素から成る予測タップを前記上位階層画像から抽出し、前記予測タップを構成する複数の画素の画素データの上位ビット列に記憶されている画素値と、前記着目画素の画素データの下位側ビット列に記録されているクラスコードに対応する予測係数との線形１次結合により、前記原画像と同じ画素数から成る下位階層画像の画素値を演算する演算ステップと、前記原画像と前記下位階層画像と S/N の変化を検出する検出ステップとを含み、前記予測係数更新ステップは、前記前処理ステップの実行後であって、前記演算ステップおよび前記検出ステップの実行の前に、実行され、前記 S/N の増加量が収束していない場合にも実行される。
【００１０】
本発明の記録媒体は、複数の画素からなる原画像を、前記原画像に復元するための、前記原画像より少ない画素からなり、各画素の所定のビット列から成る画素データの上位側ビット列が画素値を示し、前記画像データの前記上位側ビット列以外の下位側ビット列がクラスコードを示す上位階層画像に変換する画像変換装置の制御用のプログラムであって、前処理として、前記原画像を所定のサイズの画素ブロックに分割し、前記画素ブロック毎に画素値を平均化または画素を間引くことによって初期の上位階層画像の１画素分の画素値を決定して前記画素データの上位側ビット列とし、各画素の画素データの上位側ビット列だけが決定された前記初期の上位階層画像の画素を順次、着目画素とし、前記着目画素とその近傍の複数の画素から成るクラスタップを前記初期の上位階層画像から抽出し、前記クラスタップを構成する複数の画素の画素値を符号化することによって前記着目画素に対応するクラスコードを決定して前記着目画素の画素データの下位側ビット列とすることにより、前記初期の上位階層画像の前記着目画素の画素データを生成し、前記着目画素とその近傍の複数の画素から成る予測タップを前記初期の上位階層画像から抽出し、既知である前記原画像の画素値と、既知である前記予測タップを構成する複数の画素の画素値と、未知である予測係数とからなる正規方程式を、同一のクラスコードに分類される着目画素毎に解くことによって各クラスコードに対応する前記予測係数を生成し、生成した前記予測係数を前記クラスコードに対応付けて予測係数メモリに記憶させるとともに、生成した前記初期の上位階層画像を上位階層画像メモリに記憶させる前処理ステップと、前記上位階層画像メモリに記憶されている前記上位階層画像の画素を順次、着目画素とし、前記着目画素とその近傍の複数の画素から成る予測タップを前記上位階層画像から抽出し、前記予測タップを構成する複数の画素の画素データの上位ビット列に記憶されている画素値と、前記予測係数メモリに記憶されている各クラスコードにそれぞれ対応する予測係数との線形１次結合により前記下位階層画像の画素値を生成し、生成した前記下位階層画像の画素値と前記原画像の対応する画素値との比較結果に応じて、前記着目画素に対する最適なクラスコードを決定し、決定したクラスコードを用いて、前記着目画素の画素データの下位側ビット列を更新するクラスコード更新ステップと、前記上位階層画像メモリに記憶されている前記上位階層画像の画素を順次、着目画素とし、前記着目画素とその近傍の複数の画素から成る予測タップを前記上位階層画像から抽出し、既知である前記原画像の画素値と、既知である前記予測タップを構成する複数の画素の画素値と、更新対象の予測係数とからなる正規方程式を、同一のクラスコードに分類される着目画素毎に解くことによって各クラスコードに対応する前記予測係数を再度生成して、再度生成した前記予測係数を前記クラスコードに対応付けて予測係数メモリに記憶させる予測係数更新ステップと、前記上位階層画像メモリに記憶されている前記上位階層画像の画素を順次、着目画素とし、前記着目画素とその近傍の複数の画素から成る予測タップを前記上位階層画像から抽出し、前記予測タップを構成する複数の画素の画素データの上位ビット列に記憶されている画素値と、前記着目画素の画素データの下位側ビット列に記録されているクラスコードに対応する予測係数との線形１次結合により、前記原画像と同じ画素数から成る下位階層画像の画素値を演算する演算ステップと、前記原画像と前記下位階層画像と S/N の変化を検出する検出ステップとを含み、前記予測係数更新ステップは、前記前処理ステップの実行後であって、前記演算ステップおよび前記検出ステップの実行の前に、実行され、前記 S/N の増加量が収束していない場合にも実行される処理を画像変換装置のコンピュータに実行させるコンピュータが読み取り可能なプログラムが記録されている。
【００１１】
本発明においては、前処理として、各画素の画素データの上位側ビット列が画素値、下位側ビット列がクラスコードをされた初期の上位階層画像が生成されて上位階層画像メモリに記憶されるとともに、予測係数が生成されてクラスコードに対応付けて予測係数メモリに記憶される。この前処理の後、上位階層画像の画素の画素データの下位側ビット列のクラスコートが更新され、さらに、予測係数メモリの予測係数が更新される。さらに、上位階層画像メモリに記憶されている上位階層画像に基づいて原画像と同じ画素数から成る下位階層画像の画素値が演算され、原画像と下位階層画像と S/N の変化が検出される。そして、 S/N の増加量が収束していない場合、再び予測係数が更新される。
【００１２】
【発明の実施の形態】
本発明を適用したエンコーダの構成例について、図１を参照して説明する。なお、このエンコーダ１に入力される原画像は、１画素当たり８ビットの画素値を有し、エンコーダ１によって生成される上位階層画像も１画素当たり８ビットの情報量（画素データ）を有するものとする。
【００１３】
また、以下において、着目画素は、画素値の更新が行われずに位置を特定するために指定される画素とし、注目画素は、位置を特定するために指定され、かつ、画素値が更新される画素とする。
【００１４】
このエンコーダ１において、原画像は、前処理回路２、画素値更新回路６、予測係数更新回路７、クラスコード選択回路８、および収束判定回路１０に供給される。前処理回路２は、供給された原画像を用い、初期上位階層画像を生成して上位階層画像メモリ３に記憶させ、初期予測係数テーブルを生成して予測係数メモリ４に記憶させる。
【００１５】
上位階層画像メモリ３は、記憶している上位階層画像をセレクタ５に出力する。また、上位階層画像メモリ３は、画素値更新回路６から入力される画素値（４ビット）を用いて、それまで記憶していた上位階層画像のMSB(Most Significant Bit)側の４ビットを更新し、クラスコード選択回路８から入力されるクラスコード（４ビット）を用いて、それまで記憶していた上位階層画像のLSB(Least Significant Bit)側の４ビットを更新する。
【００１６】
予測係数メモリ４は、記憶している予測係数テーブルを画素値更新回路６、クラスコード選択回路８、デコード回路９、および収束判定回路１０に供給する。また、予測係数メモリ４は、予測係数更新回路７から入力される予測係数を用いて、それまで記憶していた予測係数テーブルを更新する。
【００１７】
セレクタ５は、更新回数カウンタ１１から入力される制御信号に対応して、上位階層画像メモリ３から入力された上位階層画像を、デコード回路９および収束判定回路１０の他、画素値更新回路６、予測係数更新回路７、クラスコード選択回路８に順次出力する。
【００１８】
画素値更新回路６は、原画像および予測係数を用いて、セレクタ５から入力された上位階層画像の画素値（画素データのMSB側の４ビット）を更新し、上位階層画像メモリ３に出力する。予測係数更新回路７は、セレクタ５から入力された上位階層画像、および原画像を用いて予測係数を生成し、予測係数メモリ４に出力する。
【００１９】
クラスコード選択回路８は、セレクタ５から入力された上位階層画像の各画素毎に、予測係数メモリ４に記憶されている予測係数テーブル内の最適な予測係数を選択し、その予測係数に対応するクラスコード（４ビット）を上位階層画像メモリ３に出力する。
【００２０】
デコード回路９は、セレクタ５から入力された上位階層画像と予測係数メモリ４に記憶されている予測係数を用いて下位階層画像を生成し、収束判定回路１０に出力する。
【００２１】
収束判定回路１０は、デコード回路９から入力された下位階層画像と原画像のS/Nを演算し、さらにその増加量を求めて、S/Nの増加が収束していると判定した場合、セレクタ５から入力された上位階層画像および予測係数メモリ４から入力された予測係数テーブルを後段に出力する。また、収束判定回路１０は、更新カウンタ１１から制御信号が入力された場合も、セレクタ５から入力された上位階層画像および予測係数メモリ４から入力された予測係数テーブルを後段に出力する。
【００２２】
更新回数カウンタ１１は、収束判定回路１０、画素値更新回路６、予測係数更新回路７、またはクラスコード選択回路８が自己の処理を終了したことに対応して、セレクタ５に制御信号を出力するとともに、制御信号を出力した回数をカウントし、カウントした値が所定の数に達したとき、収束判定回路１０に制御信号を出力する。
【００２３】
次に、エンコーダ１の動作について、図２のフローチャートを参照して説明する。このエンコード処理は、原画像がエンコーダ１に入力されたときに開始される。ステップＳ１において、前処理回路２は、入力された原画像を用いて前処理を実行する。
【００２４】
この前処理は、図３に示すように、ステップＳ１１，Ｓ１２から成る。ステップＳ１１の初期上位階層画像生成処理について、図４のフローチャートを参照して説明する。ステップＳ２１において、前処理回路２は、入力された原画像を所定のサイズ（例えば、図５に示すように３×３画素）のブロックに分割する。
【００２５】
ステップＳ２２において、前処理回路２は、ステップＳ２１で分割したブロックに含まれる複数（いまの場合、９個）の画素の画素値を平均し、その平均値（８ビット）のMSB側の４ビットを初期上位階層画像の１個の画素の画素値として、図６に示すように、上位階層画像データ（８ビット）のMSB側の４ビットに記録する。
【００２６】
ただし、上位階層画像データのMSB側に記録された４ビットを画素値として用いる全ての回路においては、その４ビットの値を８ビット化して用いるが、MSB側の４ビットの値を単に１６倍しただけの値を用いると画像全体の輝度値が低下するので、これを抑止するために、１６倍した値に所定のオフセット値（例えば、７または８）を加算した値を画素値として用いる。
【００２７】
なお、初期上位階層画像の画素値を決定する方法は、上述したような平均化による方法ではなく、原画像を直接、間引く方法やローパスフィルタ（ガウシアンフィルタ等）を用いてから間引く方法でもかまわない。
【００２８】
図３に戻る。このようなステップＳ１１の処理の後、ステップＳ１２で初期予測係数生成処理が実行される。この処理について、図７のフローチャートを参照して説明する。ステップＳ３１において、前処理回路２は、図３のステップＳ１１で画素値（画素データ（８ビット）のうちのMSB側の４ビット）だけが決定された初期上位階層画像の画素を着目画素に決定する。
【００２９】
ステップＳ３２において、前処理回路２は、着目画素に対応するクラスタップ（例えば、着目画素とその上下左右に位置する合計５個の画素）の画素値（各４ビット）を抽出する。
【００３０】
ステップＳ３３において、前処理回路２は、ステップＳ３２で抽出した５個の画素値（MSB側の４ビット）に１ビットADRC(Adaptive Dynamic Range Coding)処理を施して、それぞれを１ビットに変換し、それらを、例えば、画素の位置に対応する所定の順序で並べることにより、５ビットのクラスコードを取得する。さらに、前処理回路２は、着目画素の画素データ（８ビット）のLSB側の４ビットに任意の値（例えば、５ビットのクラスコードのMSB側の４ビット）を、図６に示すように記録する。
【００３１】
ステップＳ３４において、前処理回路２は、着目画素を中心とする所定のサイズ（例えば、５×５画素）の予測タップの画素値を抽出する。ステップＳ３５において、前処理回路２は、既知である原画像および予測タップの画素値、並びに未知である予測係数から成る正規方程式を生成する。
【００３２】
ステップＳ３６において、前処理回路２は、初期上位階層画像の全ての画素を着目画素としたか否かを判定し、全ての画素を着目画素としたと判定するまで、ステップＳ３１乃至Ｓ３６の処理を繰り返す。ステップＳ３６において、全ての画素を着目画素としたと判定された場合、ステップＳ３７に進む。
【００３３】
ステップＳ３７において、前処理回路２は、ステップＳ３５で生成された正規方程式を、５ビット（３２種類）のクラス毎に生成し、その方程式に最小自乗法を適用して３２種類のクラスコードに対応する予測係数を取得する。ステップＳ３８において、前処理回路２は、ステップＳ３３で各クラスコードに分類された着目画素の数を示すヒストグラムを生成する。
【００３４】
ステップＳ３９において、前処理回路２は、ステップＳ３８で生成したヒストグラムを参照し、その上位側の１６個の予測係数（数の多い１６個のクラスコードの予測係数）と、４ビットで表されるクラスコード（0000乃至1111）を任意に対応付ける。
【００３５】
ステップＳ４０において、前処理回路２は、４ビット（１６種類）のクラスコードに対応付けられた予測係数を予測係数メモリ４に出力する。また、前処理回路２は、MSB側の４ビットが画素値であり、LSB側の４ビットがクラスコードである画素データから成る初期上位階層画像を上位階層画像メモリ３に出力する。
【００３６】
なお、上述した処理以外に初期予測係数を生成する方法として、４ビットで表されるクラスコード（0000乃至1111）に乱数を対応付けてもかまわない。また、クラスコードが乱数であってもよいし、予測係数が乱数であってもよいし、あるいは、クラスコードと予測係数の両方が乱数であってもよい。
【００３７】
図２に戻る。以上のようにして、ステップＳ１の前処理が行われた後、ステップＳ２において、クラスコード選択回路８は、入力された上位階層画像の各画素に対して、予測係数メモリ４に記憶されている１６種類の予測係数のうちの最適なものを選択する。なお、クラスコード選択回路８の構成例と動作については、図１４および図１５を参照して後述する。
【００３８】
ステップＳ３において、デコード処理が行われる。すなわち、上位階層画像メモリ３からセレクタ５に入力された上位階層画像は、更新回数カウンタ１１からの制御信号に対応して、デコード回路９に供給される。デコード回路９は、セレクタ５から入力された上位階層画像（いまの場合、初期上位階層画像）と、予測係数メモリ４から供給される予測係数テーブル（いまの場合、初期予測係数テーブル）を用いて下位階層画像を生成し、収束判定回路１０に出力する。なお、下位階層画像の画素としては、図５に示すように、上位階層画像の１個の着目画素に対して、対応する位置の下位階層画像の画素ｉを中心とする３×３画素（画素ａ乃至ｉ）が生成される。デコード回路９の構成と動作については、図１６および図１７を参照して後述する。
【００３９】
ステップＳ４において、収束判定回路１０は、デコード回路９から入力された下位階層画像と原画像のS/Nを演算し、さらに、その増加量を求めて、S/Nの増加量が収束しているか否かを判定する。S/Nの増加量が収束していると判定された場合、または、更新回数カウンタ１１からの制御信号が受信された場合、ステップＳ７に進む。また、S/Nの増加量が収束していないと判定され、かつ、更新回数カウンタ１１からの制御信号が受信されていない場合、ステップＳ５に進む。
【００４０】
いまの場合、１回目にデコードされた下位階層画像に対する収束判定処理であるので、S/Nの増加量は演算されず、更新回数カウンタ１１からの制御信号も受信されていないので、ステップＳ５に進む。
【００４１】
収束判定回路１０の判定処理が終了したことに対応して、更新回数カウンタ１１は、セレクタ５に制御信号を出力する。
【００４２】
ステップＳ５において、上位階層画像メモリ３からセレクタ５に入力された上位階層画像は、更新回数カウンタ１１からの制御信号に対応して、画素値更新回路６に供給される。画素値更新回路６は、入力された上位階層画像の画素値（画素データのMSB側の４ビット）を更新する。
【００４３】
この画素値更新処理について説明する前に、画素値更新回路６の第１の構成例について、図８および図９を参照して説明する。セレクタ５から入力された上位階層画像は、画素値更新回路６において、上位階層画像メモリ２１に記憶される。上位階層画像メモリ２１は、記憶している上位階層画像を最適画素値決定回路２２に供給する。また、上位階層画像メモリ２１は、最適画素値決定回路２２からの最適化された画素値（４ビット）を用いて、それまで記憶していた上位階層画像の画素値（画素データのMBS側の４ビット）を更新する。全ての画素の画素値が最適化された上位階層画像は、スイッチ２４を介して上位階層画像メモリ３に出力される。
【００４４】
最適画素値決定回路２２には、原画像、および予測係数メモリ４から予測係数テーブルも供給される。最適画素値決定回路２２は、注目画素決定回路２３から指定された注目画素の画素値を最適化して上位階層画像メモリ２１に出力する。注目画素決定回路２３は、上位階層画像の画素を順次注目画素に決定し、その情報を最適画素値決定回路２２に出力する。また、注目画素決定回路２３は、上位階層画像の全ての画素を注目画素に決定した後、スイッチ２４をオンとする制御信号を出力する。
【００４５】
図９は、最適画素値決定回路２２の詳細な構成例を示している。最適画素値決定回路２２においては、注目画素以外の画素の画素値が固定された状態で、注目画素の画素値が最適化される。
【００４６】
着目画素決定回路３１は、注目画素決定回路２３で決定された注目画素の画素値が変化されたことにより、デコードの際に影響を受ける範囲（注目画素を含む予測タップの中心の画素の集合、以下、影響範囲と記述する）を設定し、その影響範囲内に存在する上位階層画像の画素を順次、着目画素に決定して、その位置情報をクラスコード読取回路３２、および予測タップ抽出回路３３に出力する。また、着目画素決定回路３１は、影響範囲内の全ての画素を着目画素に決定した後、スイッチ３６をオンとする制御信号を出力する。
【００４７】
クラスコード読取回路３２は、着目画素のクラスコード（画素データのLSB側の４ビット）を読み出して誤差関数生成回路３４に出力する。予測タップ抽出回路３３は、着目画素を中心とする５×５画素の予測タップの画素値（画素データのMSB側の４ビット）を抽出して誤差関数生成回路３４に出力する。
【００４８】
誤差関数生成回路３４は、着目画素に対応する誤差関数（その詳細は後述する）を生成して影響誤差関数レジスタ３５に出力する。影響誤差関数レジスタ３５は、全ての着目画素に対応する誤差関数を足し合わせて影響誤差関数を生成し、スイッチ３６を介して注目画素値演算回路３７に出力する。
【００４９】
注目画素値演算回路３７は、スイッチ３６を介して入力された影響誤差関数を解くことにより、注目画素の画素値を演算する（その詳細については後述する）。
【００５０】
次に、画素値更新回路６の第１の構成例の動作について、図１０のフローチャートを参照して説明する。この画素値更新処理は、セレクタ５から入力された上位階層画像が、画素値更新回路６の上位階層画像メモリ２１に記憶されたときに開始される。
【００５１】
ステップＳ５１において、注目画素決定回路２３は、図１１(A)に示すように、上位階層画像の注目画素を決定し、その位置情報を最適画素値決定回路２２に出力する。最適画素値決定回路２２の着目画素決定回路３１は、ステップＳ５２において、注目画素の画素値が変化された際に影響を受ける範囲（影響範囲）を決定する。例えば、予測タップのサイズが５×５画素である場合、図１１(B)に示したような注目画素を中心とする５×５画素を含む範囲（この上位階層画像から生成される下位階層画像においては、図１１(C)に示すように１５×１５画素）が影響範囲とされる。
【００５２】
ステップＳ５３において、着目画素決定回路３１は、影響範囲内の１個の画素を着目画素に決定し、その位置情報をクラスコード読取回路３２、および予測タップ抽出回路３３に出力する。
【００５３】
ステップＳ５４において、クラスコード読取回路３２は、着目画素のクラスコード（画素データのLSB側の４ビット）を読み出し、誤差関数生成回路３４に出力する。予測タップ抽出回路３３は、着目画素を中心とする５×５画素の予測タップを抽出して誤差関数生成回路３４に出力する。この予測タップには、注目画素が含まれている。
【００５４】
ステップＳ５５において、誤差関数生成回路３４は、着目画素に対応する誤差関数を生成して影響誤差関数レジスタ３５に出力する。
【００５５】
ここで、誤差関数について説明する。上位階層画像の１個の着目画素（例えば、図５の上位階層画像の注目画素）に対応する、下位階層画像の３×３画素の９個の画素（例えば、図５の下位階層画像の画素ａ乃至ｉ）の画素値（予測値）ｙｉ’（ｉ＝１，２，・・・，９、ただし、図５の画素ｉのｉとは異なる）は、次式（１）に示すように、上位階層画像の画素値ｘと予測係数ｗの線形１次結合で表すことができる。
【００５６】
【数１】
【００５７】
ただし、ｗｉ１乃至ｗｉ２５は、着目画素のクラスコードに対応する予測係数であり、ｘ１乃至ｘ２５は、着目画素を中心とする予測タップに含まれる画素の画素値である。特に、画素値数ｘｋ、および予測係数ｗｉｋは、注目画素の画素値と、それに対応する予測係数である。
【００５８】
下位階層画像の画素値（予測値）ｙｉ’に対応する原画像の画素値（真値）をｙｉとすれば、着目画素に対応する下位階層画像の９画素分の自乗誤差の和Ｅｋは、次式（２）のように表すことができる。
【００５９】
【数２】
【００６０】
ところで、式（２）において、注目画素の画素値ｘｋは最適化される値、すなわち変数である。また、真値ｙｉ、予測係数ｗｉｊ，ｗｉｋ、および画素値ｘｊは定数としておく。したがって、式（２）は、次式（３）に示すように、注目画素値ｘｋの２次式として表すことが可能となる。
【００６１】
Ｅｋ＝ａｋ・ｘｋ２＋ｂｋ・ｘｋ＋ｃｋ ・・・（３）
ただし、
【００６２】
【数３】
【００６３】
である。ここで、Ｅｋを誤差関数と呼ぶことにする。
【００６４】
図１０に戻る。ステップＳ５６において、着目画素決定回路３１は、影響範囲内の全ての画素を着目画素に決定したか否かを判定し、影響範囲内の全ての画素を着目画素に決定していないと判定した場合、ステップＳ５３に戻り、それ以降の処理が繰り返される。
【００６５】
その後、ステップＳ５６において、影響範囲内の全ての画素を着目画素に決定したと判定された場合、ステップＳ５７に進む。ステップＳ５７において、着目画素決定回路３１は、スイッチ３６をオンとする制御信号を出力する。影響誤差関数レジスタ３５は、影響範囲内の全ての画素を、順次、着目画素としたときの誤差関数Ｅｋ（式（３））を足し合わせて、影響誤差関数Ｅｃｈｅｃｋ
【００６６】
【数４】
【００６７】
を生成し、スイッチ３６を介して注目画素値演算回路３７に出力する。
【００６８】
なお、影響誤差関数Ｅｃｈｅｃｋは、注目画素のの画素値ｘｋの２次式である誤差関数Ｅｋの和であるので、次式（４）に示すように、注目画素の画素値ｘｋの２次関数となる。
【００６９】
影響誤差関数Ｅｃｈｅｃｋ＝ａ’・ｘｋ２＋ｂ’・ｘｋ＋ｃ’ ・・・（４）
ただし、
【００７０】
【数５】
【００７１】
である。
【００７２】
ステップＳ５８において、注目画素値演算回路３７は、２次式である影響誤差関数Ｅｃｈｅｃｋを最小とする画素値ｘｋ＝−ｂ’／２ａ’を、注目画素の最適画素値として演算し、上位階層画像メモリ２１に出力する。上位階層画像メモリ２１は、入力された最適画素値を用い、それまで記憶していた注目画素の画素値を更新する。
【００７３】
ステップＳ５９において、注目画素決定回路２３は、上位階層画像の全ての画素を注目画素に決定したか否かを判定し、全ての画素を注目画素に決定していないと判定した場合、ステップＳ５１に戻り、それ以降の処理が繰り返される。
【００７４】
その後、ステップＳ５９において、上位階層画像の全ての画素を注目画素に決定したと判定した場合、注目画素決定回路２３は、スイッチ２４をオンとする制御信号を出力する。スイッチ２４がオンとされることにより、上位階層画像メモリ２１に記憶されている、画素値が最適化された上位階層画像が後段の上位階層画像メモリ３に出力される。画素値更新回路６の処理が終了したことに対応して、更新回数カウンタ１１はセレクタ５に制御信号を出力する。
【００７５】
図２に戻る。以上のようにして、ステップＳ５で画素値更新処理が行われた後、ステップＳ６において、上位階層画像メモリ３からセレクタ５に入力された上位階層画像は、更新回数カウンタ１１からの制御信号に対応して、予測係数更新回路７に供給される。予測係数更新回路７は、入力された上位階層画像および原画像を用い、予測係数メモリ４に記憶させる予測係数テーブルを更新する。
【００７６】
この予測係数更新処理について説明する前に、予測係数更新回路７の詳細な構成例について、図１２を参照して説明する。セレクタ５から入力された上位階層画像は、予測係数更新回路７において、予測タップ抽出回路４２およびクラスコード読取回路４３に供給される。着目画素決定回路４１は、上位階層画像の画素を順次、着目画素に決定し、その位置情報を予測タップ抽出回路４２、およびクラスコード読取回路４３に出力する。
【００７７】
予測タップ抽出回路４２は、着目画素を中心とする５×５画素の予測タップの画素値（画素データのMSB側の４ビット）を抽出して正規方程式生成回路４５に出力する。クラスコード読取回路４３は、着目画素のクラスコード（画素データのLSB側の４ビット）を読み出して正規方程式生成回路４５に出力する。
【００７８】
教師データ抽出回路４４は、原画像から教師データ（生成される下位階層画像の画素値に対応する真値）を抽出して正規方程式生成回路４５に出力する。正規方程式生成回路４５は、着目画素のクラスコード毎に、既知である教師データおよび予測タップの画素値、並びに、変数としての予測係数から成る正規方程式を生成して、予測係数演算回路４６に出力する。
【００７９】
予測係数演算回路４６は、入力された正規方程式に最小自乗法を適用して１６種類のクラスコードに対応する予測係数（予測係数テーブル）を演算し、予測係数メモリ４に出力する。
【００８０】
次に、予測係数更新回路７の動作について、図１３のフローチャートを参照して説明する。この予測係数更新処理は、セレクタ５から予測係数更新回路７に、上位階層画像が入力されたときに開始される。
【００８１】
ステップＳ６１において、着目画素決定回路４１は、上位階層画像の１個の画素を着目画素に決定し、その位置情報を予測タップ抽出回路４２とクラスコード読取回路４３に出力する。
【００８２】
ステップＳ６２において、クラスコード読取回路４３は、着目画素のクラスコード（画素データのLSB側の４ビット）を読み出して正規方程式生成回路４５に出力する。ステップＳ６３において、予測タップ抽出回路４２は、着目画素を中心とする５×５画素の予測タップの画素値（画素データのMSB側の４ビット）を抽出して正規方程式生成回路４５に出力する。
【００８３】
ステップＳ６４において、正規方程式生成回路４５は、着目画素のクラスコード毎に、既知である教師データおよび予測タップの画素値、並びに更新する予測係数を用いて正規方程式を生成して、予測係数演算回路４６に出力する。
【００８４】
ステップＳ６５において、着目画素決定回路４１は、上位階層画像の全ての画素を着目画素としたか否かを判定し、全ての画素を着目画素としていないと判定した場合、ステップＳ６１に戻り、それ以降の処理が繰り返される。ステップＳ６５において、全ての画素を着目画素としたと判定された場合、ステップＳ６６に進む。
【００８５】
ステップＳ６６において、予測係数演算回路４６は、ステップＳ６４で正規方程式生成回路４５が生成した正規方程式に最小自乗法を適用して１６種類のクラスコードに対応する予測係数を演算する。ステップＳ６７において、予測係数演算回路４６は、得られた予測係数（予測係数テーブル）を予測係数メモリ４に出力する。予測係数メモリ４は、入力された予測係数テーブルを用いて、それまで記憶していた予測係数テーブルを更新する。予測係数更新回路６の処理が終了したことに対応して、更新回数カウンタ１１はセレクタ５に制御信号を出力する。
【００８６】
図２に戻る。以上のようにして、ステップＳ６で予測係数更新処理が実行された後、ステップＳ２に戻る。ステップＳ２において、上位階層画像メモリ３からセレクタ５に入力された上位階層画像は、更新回数カウンタ１１からの制御信号に対応して、クラスコード選択回路８に供給される。クラスコード選択回路８は、入力された上位階層画像の各画素に対して、予測係数メモリ４に記憶されている１６種類の予測係数のうちの最適なものを選択する。
【００８７】
このクラスコード選択処理について説明する前に、クラスコード選択回路８の詳細な構成例について、図１４を参照して説明する。着目画素決定回路５１は、上位階層画像の画素を順次、着目画素に決定し、その情報を予測タップ抽出回路５２に出力する。予測タップ抽出回路５２は、セレクタ５より入力された上位階層画像から、着目画素を中心とする５×５画素の予測タップに含まれる画素の画素値（画素データのMSB側の４ビット）を抽出してマッピング回路５３に出力する。
【００８８】
マッピング回路５３は、クラスコードカウンタ５８より入力されるクラスコードに対応する予測係数を予測係数メモリ４から読み出して、読み出した予測係数と予測タップの各画素の画素値との線形１次結合を演算し、演算結果を下位階層画像の画素値（予測値）として誤差演算回路５４に出力する。
【００８９】
誤差演算回路５４は、マッピング回路５３から入力された予測値と、それに対応する原画像の画素値（真値）の誤差(S/N)を演算し、比較器５５、およびスイッチ５７に出力する。比較器５５は、誤差演算回路５４から入力された誤差と最小誤差レジスタ５６から入力される誤差を比較して、誤差演算回路５４から入力された誤差の方が小さい（S/Nが大きい）場合、スイッチ５７，５９をオンとする制御信号を出力する。また、比較器５５は、比較の結果に拘わらず、誤差を比較した後、クラスコードカウンタ５８のカウント値をインクリメントさせる制御信号を出力する。
【００９０】
最小誤差レジスタ５６は、記憶している誤差の値を比較器５５に供給する。また、最小誤差レジスタ５６は、スイッチ５７を介して入力される値を用いて、それまで記憶していた値を更新する。
【００９１】
クラスコードカウンタ５８は、４ビットのカウンタを有し、その値をクラスコード（0000乃至1111）としてマッピング回路およびスイッチ５９に出力する。なお、カウンタの値（クラスコード）は、比較器５５から入力される制御信号に対応して１ずつインクリメントされる。また、クラスコードカウンタ５８は、カウンタの値が1111になったとき、スイッチ６１をオンとする制御信号を出力するとともに、自己のカウンタを0000にリセットする。
【００９２】
最適クラスコードレジスタ６０は、スイッチ５９を介して入力されるクラスコードを用いて、それまで記憶していたクラスコードを更新する。したがって、最適クラスコードレジスタ６０には、誤差を最小とする予測係数に対応した、最適なクラスコードが保持される。また、最適クラスコードレジスタ６０は、着目画素の最適なクラスコードをスイッチ６１を介して、後段の上位階層画像メモリ３に出力する。
【００９３】
次に、クラスコード選択回路８に動作について、図１５のフローチャートを参照して説明する。このクラスコード選択処理は、セレクタ５からクラスコード選択回路８に上位階層画像が入力されたときに開始される。
【００９４】
ステップＳ７１において、着目画素決定回路５１は、上位階層画像の１個の画素を着目画素に決定し、その情報を予測タップ抽出回路５２に出力する。ステップＳ７２において、予測タップ抽出回路５２は、セレクタ５より入力された上位階層画像から、着目画素を中心とする５×５画素の予測タップに含まれる画素の画素値を抽出してマッピング回路５３に出力する。
【００９５】
ステップＳ７３において、クラスコードカウンタ５８は、カウンタの値0000をクラスコードとして、マッピング回路５３に出力する。ステップＳ７４において、マッピング回路５３は、クラスコードカウンタ５８より入力されたクラスコードに対応する予測係数を予測係数メモリ４から読み出して、読み出した予測係数と予測タップの各画素の画素値との線形１次結合を演算し、演算結果を下位階層画像の画素値（予測値）として誤差演算回路５４に出力する。
【００９６】
ステップＳ７５において、誤差演算回路５４は、マッピング回路５３から入力された予測値と、それに対応する原画像の画素値（真値）との誤差(S/N)を演算し、比較器５５、およびスイッチ５７に出力する。比較器５５は、誤差演算回路５４から入力された誤差と最小誤差レジスタ５６から入力される誤差を比較して、誤差演算回路５４から入力された誤差の方が小さい（S/Nが大きい）場合、スイッチ５７，５９をオンとする制御信号を出力する。これにより、クラスカウンタ５８のそのときのカウント値がスイッチ５９を介して最適クラスコードレジスタ６０に転送されて記憶される。また、誤差演算回路５４のそのときの出力が最小誤差レジスタ５６に転送されて記憶される。比較器５５はまた、クラスコードカウンタ５８に制御信号を出力する。
【００９７】
ステップＳ７６において、クラスコードカウンタ５８は、カウンタ（クラスコード）の値が1111よりも小さいか否かを判定し、カウンタの値が1111よりも小さいと判定した場合、ステップＳ７７において、カウンタの値を１だけインクリメントして、その値をクラスコードとしてマッピング回路およびスイッチ５９に出力する。
【００９８】
その後、ステップＳ７６において、カウンタの値が1111よりも小さくないと判定されるまで、ステップＳ７４乃至Ｓ７７の処理が繰り返される。ステップＳ７６において、カウンタの値が1111よりも小さくない（カウンタの値が1111である）と判定された場合、ステップＳ７８に進む。
【００９９】
ステップＳ７８において、クラスコードカウンタ５８は、スイッチ６１をオンとする制御信号を出力するとともに、自己のカウンタを0000にリセットする。この制御信号に対応してスイッチ６１はオンとされ、最適クラスコードレジスタ６０に保持されている着目画素の最適なクラスコードが、後段の上位階層画像メモリ３に出力される。上位階層画像メモリ３は、入力された最適なクラスコードを用いて、対応する画素の画素データのLSB側の４ビットを書き換える。
【０１００】
ステップＳ７９において、着目画素決定回路５１は、上位階層画像の全ての画素を着目画素としたか否かを判定し、全ての画素を着目画素としたと判定するまで、ステップＳ７１乃至Ｓ７９の処理が繰り返される。ステップＳ７９において、全ての画素を着目画素としたと判定された場合、図２のステップＳ３に戻る。
【０１０１】
ステップＳ３のデコード処理について説明する前に、デコード回路９の詳細な構成例について、図１６を参照して説明する。着目画素決定回路７１は、上位階層画像の画素を順次、着目画素に決定し、その情報をクラスコード読取回路７２および予測タップ抽出回路７３に出力する。クラスコード読取回路７２は、セレクタ５より入力された上位階層画像から、着目画素のクラスコード（画素データのLSB側の４ビット）を読み取って、マッピング回路７４に出力する。予測タップ抽出回路７３は、セレクタ５より入力された上位階層画像から、着目画素を中心とする５×５画素の予測タップに含まれる画素の画素値（画素データのMSB側の４ビット）を抽出してマッピング回路７４に出力する。
【０１０２】
マッピング回路７４は、クラスコード読取回路７２より入力されるクラスコードに対応する予測係数を予測係数メモリ４から読み出して、読み出した予測係数と、予測タップ抽出回路７３から供給される予測タップの各画素の画素値との線形１次結合を演算し、演算結果を下位階層画像の画素値として下位階層画像メモリ７５に出力する。
【０１０３】
下位階層画像メモリ７５は、マッピング回路７４から入力される下位階層画像の画素値を記憶し、記憶した画素値をフレーム単位で後段の収束判定回路１０に出力する。
【０１０４】
次に、デコード回路９のデコード処理について、図１７のフローチャートを参照して説明する。このデコード処理は、セレクタ５からデコード回路９に上位階層画像が入力されたときに開始される。
【０１０５】
ステップＳ８１において、着目画素決定回路７１は、上位階層画像の１個の画素を、着目画素に決定し、その情報をクラスコード読取回路７２および予測タップ抽出回路７３に出力する。ステップＳ８２において、クラスコード読取回路７２は、セレクタ５より入力された上位階層画像から、着目画素のクラスコード（画素データのLSB側の４ビット）を読み取って、マッピング回路７４に出力する。ステップＳ８３において、予測タップ抽出回路７３は、セレクタ５より入力された上位階層画像から、着目画素を中心とする５×５画素の予測タップに含まれる画素の画素値（画素データのMSB側の４ビット）を抽出してマッピング回路７４に出力する。
【０１０６】
ステップＳ８４において、マッピング回路７４は、クラスコード読取回路７２より入力されるクラスコードに対応する予測係数を予測係数メモリ４から読み出して、読み出した予測係数と、予測タップ抽出回路７３から供給された予測タップの各画素の画素値との線形１次結合を演算し、演算結果を下位階層画像の画素値として下位階層画像メモリ７５に出力する。
【０１０７】
ステップＳ８５において、着目画素決定回路７１は、上位階層画像の全ての画素を着目画素としたか否かを判定し、全ての画素を着目画素としていないと判定した場合、ステップＳ８１に戻り、それ以降の処理が繰り返される。ステップＳ８５において、全ての画素を着目画素としたと判定された場合、ステップＳ８６において、下位階層画像メモリ７５から下位階層画像の画素値がフレーム単位で後段の収束判定回路１０に出力される。
【０１０８】
図２に戻る。再び、ステップＳ４において、収束判定回路１０で、デコード回路９から入力された下位階層画像と原画像のS/Nとその増加量が演算されて、S/Nの増加量が収束しているか否かが判定され、S/Nの増加量が収束していると判定されるか、または、更新回数カウンタ１１からの制御信号が受信されるまで、ステップＳ２乃至Ｓ６の処理が繰り返される。
【０１０９】
その後、ステップＳ４において、S/Nの増加量が収束していると判定された場合、または、更新回数カウンタ１１からの制御信号が受信された場合、ステップＳ７に進む。ステップＳ７において、収束判定回路１０は、上位階層画像および予測係数テーブルを、図示せぬ媒体を介してデコーダ８１（図１８）に出力する。
【０１１０】
以上のように、エンコーダ１は、生成する上位階層画像の画素データ（８ビット）のMSB側の４ビットを画素値とし、LSB側の４ビットをクラスコードとしているので、一方の値を最適化するときに他方の値が変化されることがなく、それぞれを独立して最適化することが可能である。
【０１１１】
また、図２に示したエンコード処理において、第１回目のステップＳ２、すなわち、ステップＳ１の前処理の直後のクラスコード選択処理を省略してもかまわない。この場合、第１回目のステップＳ４における収束判定結果、すなわち、ステップＳ１の前処理だけを実行した上位階層画像の原画像に対するS/Nは、従来のエンコーダによる初期上位階層画像の原画像に対するS/Nよりも良好なものとなる。
【０１１２】
また、図１に示したエンコーダ１から画素値更新回路６を削除し、図２のステップＳ５の画素値更新処理を省略してもよい。すなわち、上位階層画像の画素値（画像データのMSB側の４ビット）は更新させず、予測係数更新処理とクラスコード選択処理だけを実行するようにしても、従来のエンコーダよりは良好な上位階層画像を生成することが可能である。
【０１１３】
図１８は、エンコーダ１で生成された上位階層画像から原画像を復元する（下位階層画像を生成する）デコーダの構成例を示している。このデコーダ８１において、エンコーダ１からの上位階層画像は、クラスコード読取回路８３および予測タップ抽出回路８４に供給され、予測係数テーブルは、マッピング回路８５に供給される。
【０１１４】
着目画素決定回路８２は、上位階層画像の画素を順次、着目画素に決定し、その位置情報をクラスコード読取回路８３および予測タップ抽出回路８４に出力する。クラスコード読取回路８３は、上位階層画像から着目画素のクラスコード（画素データのLSB側の４ビット）を読み取って、マッピング回路８５に出力する。予測タップ抽出回路８４は、上位階層画像から、着目画素を中心とする５×５画素の予測タップに含まれる画素の画素値（画素データのMSB側の４ビット）を抽出してマッピング回路８５に出力する。
【０１１５】
マッピング回路８５は、クラスコード読取回路８３より入力されるクラスコードに対応する予測係数を予測係数テーブルから読み出して、読み出した予測係数と、予測タップ抽出回路８４から供給される予測タップの各画素の画素値との線形１次結合を演算し、演算結果を下位階層画像の画素値として下位階層画像メモリ８６に出力する。
【０１１６】
下位階層画像メモリ８６は、マッピング回路８５から入力される下位階層画像の画素値を記憶し、記憶した画素値を、例えば図示せぬモニタに出力する。
【０１１７】
次に、デコーダ８１の動作について、図１９のフローチャートを参照して説明する。このデコード処理は、エンコーダ１からの予測係数テーブルがマッピング回路８５に供給された後、順次入力される上位階層画像に対して実行される。
【０１１８】
ステップＳ９１において、着目画素決定回路８２は、上位階層画像の１個の画素を、着目画素に決定し、その位置情報をクラスコード読取回路８３および予測タップ抽出回路８４に出力する。ステップＳ９２において、クラスコード読取回路８３は、上位階層画像から着目画素のクラスコード（画素データのLSB側の４ビット）を読み取って、マッピング回路８５に出力する。ステップＳ９３において、予測タップ抽出回路８４は、入力された上位階層画像から着目画素を中心とする５×５画素の予測タップに含まれる画素の画素値（画素データのMSB側の４ビット）を抽出してマッピング回路８５に出力する。
【０１１９】
ステップＳ９４において、マッピング回路８５は、クラスコード読取回路８３より入力されるクラスコードに対応する予測係数を予測係数テーブルから読み出して、読み出した予測係数と、予測タップ抽出回路８４から供給された予測タップの各画素の画素値との線形１次結合を演算し、演算結果を下位階層画像の画素値として下位階層画像メモリ８６に出力する。
【０１２０】
ステップＳ９５において、着目画素決定回路８２は、上位階層画像の全ての画素を着目画素としたか否かを判定し、全ての画素を着目画素としていないと判定した場合、ステップＳ９１に戻り、それ以降の処理が繰り返される。ステップＳ９５において、全ての画素を着目画素としたと判定された場合、ステップＳ９６で、下位階層画像メモリ８６から下位階層画像の画素値が、図示せぬモニタに出力される。
【０１２１】
図２０は、上述したエンコード処理（図２）とは異なる順序で実行される、エンコーダ１の動作を説明するフローチャートである。このエンコード処理は、図２に示したエンコード処理のステップＳ６として実行されていたクラスコード選択処理、および、ステップＳ５として実行されていた予測係数更新処理を、図２のステップＳ１の前処理の直後に実行するようにしたものである。すなわち、前処理が実行された後、クラスコード選択処理が実行され、その後、予測係数更新処理が実行される。
【０１２２】
なお、図２０のステップＳ１０１乃至Ｓ１０７における各処理は、図２のステップＳ１，Ｓ６，Ｓ５，Ｓ２，Ｓ３，Ｓ４，Ｓ７における各処理と同様であるので、その説明は省略する。
【０１２３】
図２０のフローチャートに示した順序で各処理を実行させるためには、セレクタ５（図１）が、更新回数カウンタ１１から入力される制御信号に対応して、上位階層画像メモリ３から入力された上位階層画像を、クラスコード選択回路８、予測係数更新回路７、デコード回路９および収束判定回路１０、画素値更新回路６、に順次出力するようにすればよい。
【０１２４】
図２１は、同一の原画像を用いて生成された複数の上位階層画像から復元された下位階層画像の原画像に対するS/Nを演算したシミュレーションの結果を表している。なお、縦軸はS/Nを表し、横軸は、一連のエンコード処理を実行した回数（更新回数）を表している。
【０１２５】
図２１の曲線Ａは、図２０に示したフローチャートに従って生成された上位階層画像から復元された下位階層画像のS/Nを示し、曲線Ｂは、図２に示したフローチャートに従って生成された上位階層画像から復元された下位階層画像のS/Nを示し、曲線Ｃは、図２に示したフローチャートから、ステップＳ４の画素値更新処理を省略して生成された上位階層画像から復元された下位階層画像のS/Nを示し、曲線Ｄは、従来の方法に従って生成された上位階層画像から復元された下位階層画像のS/Nを示している。
【０１２６】
同図の曲線Ａから明らかなように、図２０に示したフローチャートに従って生成された上位階層画像から復元された下位階層画像は、特に、更新回数が少ない段階において、他のものよりも高いS/Nを示している。これは、図２０のフローチャートに従えば、所望のS/Nを示す下位階層画像を復元可能な上位階層画像を短い処理時間で生成できることを示している。
【０１２７】
次に、画素値更新回路６の第２の構成例について、図２２を参照して説明する。この構成例は、図８に示した画素値更新回路６の第１の構成例の最適画素値決定回路２２および注目画素決定回路２３を、それぞれ領域最適化回路９１および注目領域決定回路９２に置換したものである。図８の最適画素値決定回路２２が、注目画素だけの画素値を最適化するのに対して、図２２の領域最適化回路９１は、注目領域に含まれる複数の画素の画素値を同時に最適化する。
【０１２８】
注目領域決定回路９２は、上位階層画像の所定のサイズの領域（例えば、７×７画素）を、順次、注目領域に決定し、その位置情報を領域最適化回路９１に出力する。また、注目領域決定回路９２は、上位階層画像の全ての画素を注目領域とした後、スイッチ２４をオンとする制御信号を出力する。
【０１２９】
図２３は、領域最適化回路９１の詳細な構成例を示している。着目画素決定回路１０１は、注目領域の画素を、順次、着目画素に決定し、その位置情報をクラスコード読取回路１０２、および予測タップ抽出回路１０３に出力する。また、着目画素決定回路１０１は、注目領域内の全ての画素を着目画素に決定した後、スイッチ１０６をオンとする制御信号を出力する。
【０１３０】
クラスコード読取回路１０２は、上位階層画像メモリ３から着目画素のクラスコード（画素データのLSB側の４ビット）を読み出して誤差関数生成回路１０４に出力する。予測タップ抽出回路１０３は、上位階層画像メモリ３から着目画素を中心とする５×５画素の予測タップを抽出して誤差関数生成回路１０４に出力する。
【０１３１】
誤差関数生成回路１０４は、着目画素に対応する誤差関数（その詳細は後述する）を生成して影響誤差関数マトリクスレジスタ１０５に出力する。影響誤差関数マトリクスレジスタ１０５は、注目領域内の全ての着目画素に対応する誤差関数を用いて、影響誤差関数マトリクスを生成し、スイッチ１０６を介して注目領域画素値演算回路１０７に出力する。
【０１３２】
注目領域画素値演算回路１０７は、スイッチ１０６を介して入力された影響誤差関数マトリクスを解いて注目領域内の画素の画素値を演算する（その詳細については後述する）。
【０１３３】
次に、画素値更新回路６の第２の構成例の動作について、図２４のフローチャートを参照して説明する。この画素値更新処理においては、注目領域以外の画素の画素値が固定されて、注目領域内の画素の画素値が最適化される。画素値更新処理は、セレクタ５から入力された上位階層画像が画素値更新回路６の上位階層画像メモリ２１に記憶されたときに開始される。
【０１３４】
ステップＳ１１１において、注目領域決定回路９２は、上位階層画像の７×７画素を注目領域に決定し、その位置情報を領域最適化回路９１に出力する。領域最適化回路９１の着目画素決定回路１０１は、ステップＳ１１２において、注目領域内の１個の画素を着目画素に決定し、その位置情報をクラスコード読取回路１０２、および予測タップ抽出回路１０３に出力する。
【０１３５】
ステップＳ１１３において、クラスコード読取回路１０２は、着目画素のクラスコード（画素データのLSB側の４ビット）を読み出して誤差関数生成回路１０４に出力する。予測タップ抽出回路１０３は、着目画素を中心とする５×５画素の予測タップを抽出して誤差関数生成回路１０４に出力する。
【０１３６】
ステップＳ１１４において、誤差関数生成回路１０４は、着目画素に対応する誤差関数を生成して影響誤差関数マトリクスレジスタ１０５に出力する。
【０１３７】
ステップＳ１１５において、着目画素決定回路１０１は、注目領域内の全ての画素を着目画素に決定したか否かを判定し、全ての画素が着目画素に決定されていないと判定された場合、ステップＳ１１２に戻り、それ以降の処理が繰り返される。ステップＳ１１５において、注目領域内の全ての画素が着目画素に決定されたと判定された場合、ステップＳ１１６に進む。
【０１３８】
ステップＳ１１６において、着目画素決定回路１０１は、スイッチ１０６をオンとする制御信号を出力する。影響誤差関数マトリクスレジスタ１０５は、入力された着目画素に対応する誤差関数から、影響誤差関数マトリクスを生成し、スイッチ１０６を介して注目領域画素値演算回路１０７に出力する。
【０１３９】
ここで、注目領域、予測タップ、誤差関数、および影響誤差関数マトリクスについて説明する。注目領域は、図２５(A)に示すように、７×７画素の４９個の画素から構成され、その左上角を１番目とした場合、ｊ番目の画素ｊが着目画素とされたとき、着目画素ｊに対応する予測タップ（tapsｊ）として、図２５(B)に示すように、画素ｊを中心とする５×５画素の２５個の画素が抽出される。したがって、図２５(A)においてｓ＝４９であり、図２５(B)においてｔ＝２５である。
【０１４０】
また、注目領域(area)と、着目画素ｊに対する予測タップ（tapsｊ）について、３種類の範囲（Ａ１ｊ乃至Ａ３ｊ）が設定される。ただし、範囲Ａ１ｊは、予測タップ（tapsｊ）に属し、注目領域(area)に属さない範囲とされ、範囲Ａ２ｊは、予測タップ（tapsｊ）に属さない、かつ、注目領域(area)に属する範囲とされ、範囲Ａ３ｊは、予測タップ（tapsｊ）に属し、注目領域(area)に属する範囲とされる。
【０１４１】
さて、上位階層画像の着目画素ｊに対応する、下位階層画像の画素値（予測値）ｙ’ｊは、次式（５）で表すことができる。なお、以下において、上付き文字（例えば、ｙ’ｊのｊ）は注目領域における番号を示し、下付き文字（例えば、ｗｔのｔ）は、予測タップ内における番号を示すものとする。
【０１４２】
【数６】
【０１４３】
また、ｘｐｊは、着目画素ｊの予測タップ（tapsｊ）のｐ番目の画素値であり、ｗｐｊは、着目画素ｊのクラスコードに対応した係数ベクトルの、ｘｐｊにかかる係数である。ただし、実際には、上位階層画像の１個の着目画素には、下位階層画像の９個の画素が対応するので、式（５）と同様の式が、他に８本生成される。
【０１４４】
ここで、予測値ｙ’ｊに対応する真値（原画像の画素値）をｙｊとすれば、その誤差ｅｊは、次式（６）で示される。
【０１４５】
【数７】
【０１４６】
ただし、
【数８】
である。
【０１４７】
なお、ｎ’は、注目領域(area)内における番号ｎを、予測タップ（tapsｊ）における番号に変換した値である。また、範囲Ａ１ｊに位置する画素の画素値は、更新しないので、ｙ''ｊは固定値である。したがって、着目画素に対応する自乗誤差を求めるには、式（６）と同様の式を、他に８本生成し、それぞれを２乗して足し合わせればよい。その結果を誤差関数Ｅｋとする。
【０１４８】
注目領域(area)内の全ての画素に対応する誤差関数Ｅｋを足し合わせたものを影響誤差関数Ｅａｒｅａとする。
【０１４９】
【数９】
【０１５０】
ここで、既に述べたように、Ｅｋは、（ｅｋ）２を９つ足し合わせたものであるが、簡略化するために、Ｅｋ＝（ｅｋ）２とする。
【０１５１】
次に、注目領域(area)内における番号ｎに対応する画素の画素値をｘｉとし、影響誤差関数Ｅａｒｅａの値を最小にする画素値ｘ１乃至ｘｓを最小自乗法により求める。
【０１５２】
まず、式（８）の画素値ｘｉによる偏微分係数（次式（９））を求め、その値が０となるように画素値ｘｉを決定する。
【０１５３】
【数１０】
【０１５４】
ここで、式（７）に基づいて、ＷｊｉおよびＹｉを次式（１０）のように定める。
【０１５５】
【数１１】
【０１５６】
式（９）の値を０として、次式（１１）のような行列式を得る。
【数１２】
ここで、式（１０）のＷｊｉおよびＹｉは、９画素分に対応して値があるので、それらを足し合わせた行列式（１）を影響誤差関数マトリクスとする。
【０１５７】
図２４のステップＳ１１７の説明に戻る。ステップＳ１１７において、注目領域画素値演算回路１０７は、入力された影響誤差関数マトリクスに対し、掃き出し法等の一般的な行列解法を適用して、画素値ｘ１乃至ｘｓを演算し、上位階層画像メモリ２１に出力する。上位階層画像メモリ２１は、入力された画素値ｘ１乃至ｘｓを用いて、それまで記憶していた値を更新する。
【０１５８】
ステップＳ１１８において、注目領域決定回路９２は、上位階層画像の全ての画素を注目領域に決定したか否かを判定し、全ての画素を注目領域に決定していないと判定した場合、ステップＳ１１１に戻り、それ以降の処理が繰り返される。
【０１５９】
その後、ステップＳ１１８において、上位階層画像の全ての画素が注目領域に決定されたと判定された場合、注目領域決定回路９２は、スイッチ２４をオンとする制御信号を出力する。スイッチ２４がオンとされることにより、上位階層画像メモリ２１に記憶されている、画素値が最適化された上位階層画像が後段の上位階層画像メモリ３に出力される。
【０１６０】
このように、領域単位で処理すると、より高いS/Nの画像を得ることができる。
【０１６１】
図２６は、本発明を適用したエンコーダの第２の構成例を表している。このエンコーダ１１１は、図１に示したエンコーダ１の収束判定回路１０の後段に予測係数拡張回路１１２を追加したものである。予測係数拡張回路１１２は、収束判定回路１０が出力した、４ビット（１６種類）のクラスコードに対応する予測係数テーブルを、５ビット（３２種類）の拡張クラスコードに対応するさせるものである。
【０１６２】
予測係数拡張回路１１２の詳細な構成例について、図２７を参照して説明する。収束判定回路１０から入力された上位階層画像は、予測係数拡張回路１１２において、予測タップ抽出回路１２２、クラスコード読取回路１２３、および空間クラスコード判定回路１２４に供給される。着目画素決定回路１２１は、上位階層画像の画素を順次、着目画素に決定し、その位置情報を予測タップ抽出回路１２２、クラスコード読取回路１２３、および空間クラスコード判定回路１２４に出力する。
【０１６３】
予測タップ抽出回路１２２は、着目画素を中心とする５×５画素の予測タップの画素値（画素データのMSB側の４ビット）を抽出して正規方程式生成回路１２６に出力する。クラスコード読取回路１２３は、着目画素のクラスコード（画素データのLSB側の４ビット）を読み出して空間クラスコード判定回路１２４に出力する。
【０１６４】
空間クラスコード判定回路１２４は、着目画素の空間クラスコードを判定する。すなわち、図２８に示すように、着目画素の画素値と、その近傍（例えば、左隣の画素）の画素の画素値を比較して、着目画素の画素値の方が大きい場合、空間クラスコード（１ビット）を０に決定し、近傍の画素の画素値の方が大きい場合、空間クラスコードを１に決定する。さらに、空間クラスコード判定回路１２４は、クラスコード読取回路１２３から入力された４ビットのクラスコードのMSB側に空間クラスコードを付加して拡張クラスコード（５ビット）を生成し、正規方程式生成回路１２６に出力する。
【０１６５】
なお、空間クラスコードのビット数は、１ビットに限定されるものではなく、複数ビットであってもよい。また、空間クラスコードを上述した方法によって決定するのではなく、例えば、１ビットADRC処理や微分値や差分値から決定してもよい。
【０１６６】
教師データ抽出回路１２５は、原画像から教師データ（予測タップを用いて生成される下位階層画像の画素値の真値）を抽出して正規方程式生成回路１２６に出力する。正規方程式生成回路１２６は、着目画素の拡張クラスコード毎に、既知である教師データおよび予測タップの画素値、並びに、変数としての予測係数から成る正規方程式を生成して、予測係数演算回路１２７に出力する。
【０１６７】
予測係数演算回路１２７は、入力された正規方程式に最小自乗法を適用して３２種類（５ビット）の拡張クラスコードに対応する予測係数を演算し、後段に出力する。なお、正規方程式生成回路１２６からの正規方程式が解けない場合、予測係数演算回路１２７は、予測係数メモリ４から供給される１６種類（４ビット）のクラスコードに対応した予測係数テーブルを後段に出力する。
【０１６８】
次に、予測係数拡張回路１１２の動作について、図２９のフローチャートを参照して説明する。この予測係数拡張処理は、収束判定回路１０から最適上位階層画像が入力されたときに開始される。
【０１６９】
ステップＳ１２１において、着目画素決定回路１２１は、上位階層画像の１個の画素を着目画素に決定し、その位置情報を予測タップ抽出回路１２２、クラスコード読取回路１２３、および空間クラスコード判定回路１２４に出力する。
【０１７０】
ステップＳ１２２において、クラスコード読取回路１２３は、着目画素のクラスコード（画素データのLSB側の４ビット）を読み出して空間クラスコード判定回路１２４に出力する。ステップＳ１２３において、空間クラスコード判定回路１２４は、着目画素の画素値と、その近傍の画素の画素値を比較して、着目画素の画素値の方が大きい場合、空間クラスコード（１ビット）を０に決定し、近傍の画素の画素値の方が大きい場合、空間クラスコードを１に決定する。さらに、空間クラスコード判定回路１２４は、クラスコード読取回路１２３から入力された４ビットのクラスコードのMSB側に空間クラスコードを付加して拡張クラスコード（５ビット）を生成し、正規方程式生成回路１２６に出力する。
【０１７１】
ステップＳ１２４において、予測タップ抽出回路１２２は、着目画素を中心とする５×５画素の予測タップの画素値（画素データのMSB側の４ビット）を抽出して正規方程式生成回路１２６に出力する。
【０１７２】
ステップＳ１２５において、正規方程式生成回路１２６は、着目画素のクラスコード毎に、既知である教師データおよび予測タップの画素値、並びに、変数としての予測係数から成る正規方程式を生成して、予測係数演算回路１２７に出力する。
【０１７３】
ステップＳ１２６において、着目画素決定回路１２１は、上位階層画像の全ての画素を着目画素としたか否かを判定し、全ての画素を着目画素としていないと判定した場合、ステップＳ１２１に戻り、それ以降の処理が繰り返される。ステップＳ１２６において、全ての画素を着目画素としたと判定された場合、ステップＳ１２７に進む。
【０１７４】
ステップＳ１２７において、予測係数演算回路１２７は、ステップＳ１２５で正規方程式生成回路１２６が生成した正規方程式に最小自乗法を適用し、３２種類（５ビット）の拡張クラスコードに対応する予測係数を演算し、得られた予測係数（予測係数テーブル）を後段に出力する。
【０１７５】
以上のように、予測係数拡張回路１１２では、予測係数を拡張クラスコード（５ビット）に対応させるが、着目画素の画素データのLSB側の５ビットに拡張クラスコードを書き込むわけではなく、着目画素の画素値（画素データのMSB側の４ビット）を変化させないので、この上位階層画像から生成される下位階層画像に階調欠如を発生させることはない。
【０１７６】
図３０は、図２６に示したエンコーダ１１１で生成された上位階層画像から原画像を復元する（下位階層画像を生成する）デコーダの構成例を示している。
【０１７７】
このデコーダ１３１は、図１８に示したデコーダ８１に空間クラスコード判定回路１３２を追加したものである。空間クラスコード判定回路１３２には、エンコーダ１からの上位階層画像、着目画素決定回路８２からの着目画素の位置情報、およびクラスコード読取回路８３からのクラスコード（着目画素の画素データのLSB側の４ビット）が入力される。
【０１７８】
空間クラスコード判定回路１３２は、着目画素の画素値と、その所定の近傍（いまの場合、左隣）の画素の画素値を比較して、着目画素の画素値の方が大きい場合、空間クラスコード（１ビット）を０に決定し、近傍の画素の画素値の方が大きい場合、空間クラスコードを１に決定する。さらに、空間クラスコード判定回路１３２は、クラスコード読取回路８３から入力された４ビットのクラスコードのMSB側に空間クラスコードを付加して拡張クラスコード（５ビット）を生成し、マッピング回路８５に出力する。なお、空間クラスコード判定回路１３２以外の構成回路については、図１８に示したものと同様であるので、その説明は省略する。
【０１７９】
次に、デコーダ１３１の動作について、図３１のフローチャートを参照して説明する。このデコード処理は、エンコーダ１１１が出力した予測係数テーブルが、マッピング回路８５に供給された後、順次入力されるフレーム単位の上位階層画像に対して実行される。
【０１８０】
ステップＳ１３１において、着目画素決定回路８２は、上位階層画像の１個の画素を、着目画素に決定し、その位置情報をクラスコード読取回路８３、予測タップ抽出回路８４、および空間クラスコード判定回路１３２に出力する。ステップＳ１３２において、クラスコード読取回路８３は、上位階層画像から着目画素のクラスコード（画素データのLSB側の４ビット）を読み取って、空間クラスコード判定回路１３２に出力する。
【０１８１】
ステップＳ１３３において、空間クラスコード判定回路１３２は、着目画素の画素値と、その左隣の画素の画素値を比較して、着目画素の画素値の方が大きい場合、空間クラスコード（１ビット）を０に決定し、近傍の画素の画素値の方が大きい場合、空間クラスコードを１に決定する。さらに、空間クラスコード判定回路１３２は、クラスコード読取回路８３から入力された４ビットのクラスコードのMSB側に空間クラスコードを付加して拡張クラスコード（５ビット）を生成し、マッピング回路８５に出力する。
【０１８２】
ステップＳ１３４において、予測タップ抽出回路８４は、入力された上位階層画像から着目画素を中心とする５×５画素の予測タップに含まれる画素の画素値（画素データのMSB側の４ビット）を抽出してマッピング回路８５に出力する。
【０１８３】
ステップＳ１３５において、マッピング回路８５は、空間クラスコード判定回路１３２より入力される拡張クラスコードに対応する予測係数を予測係数テーブルから読み出して、読み出した予測係数と、予測タップの各画素の画素値との線形１次結合を演算し、演算結果を下位階層画像の画素値として下位階層画像メモリ８６に出力する。
【０１８４】
ステップＳ１３６において、着目画素決定回路８２は、上位階層画像の全ての画素を着目画素としたか否かを判定し、全ての画素を着目画素としたと判定するまで、ステップＳ１３１乃至Ｓ１３６の処理が繰り返される。ステップＳ１３７において、全ての画素を着目画素としたと判定された場合、ステップＳ１３７で下位階層画像メモリ８６から下位階層画像の画素値がフレーム単位で、図示せぬモニタに出力される。
【０１８５】
図３２は、図２６に示したエンコーダ１１１で生成された上位階層画像を用い、図３０に示したデコーダ１３１が復元した下位階層画像の原画像に対するS/Nを演算したシミュレーションの結果を表している。同図から明らかなように、LSB側４ビットをクラスコードとして繰り返し更新を実行してS/Nが収束した後（更新回数２０回目まで）、更新回数２１回目において、予測係数を３２種類（５ビット）の拡張クラスコードに対応させることにより、さらにS/Nが向上する。
【０１８６】
なお、本実施の形態においては、画素データを８ビットとして、そのMSB側の４ビットを画素値、LSB側の４ビットをクラスコードとしたが、これらのビット数は変更してもかまわない。また、そのMSB側をクラスコードとし、LSB側を画素値としてもかまわない。さらに、画素値とクラスコードを分離して記憶するようにしてもかまわない。
【０１８７】
また、クラスタップ、予測タップ、および、画素値の更新を行う領域等の形状は、上述したものに限定されず、例えば、円形や不連続な形状でもよい。また、対称形状であってもよいし、非対称形状であってもよい。
【０１８８】
また、本実施の形態においては、原画像を、より少ない画素数からなる、原画像に復元可能な画像に変換したが、例えば、原画像を、原画像と同じ画素数からなる画像であって、かつ、１画素当たりの情報量（例えば、５ビット）が、原画像の１画素当たりの情報量（例えば、８ビット）よりも少ない、原画像に復元可能な画像に変換する場合にも、本発明を適用することが可能である。
【０１８９】
また、本発明の主旨を逸脱しない範囲において、様々な変形や応用例が考えられる。したがって、本発明の主旨は本実施の形態に限定されるものではない。
【０１９０】
なお、上記各処理を行うコンピュータプログラムは、磁気ディスク、CD-ROM等の情報記録媒体よりなる提供媒体のほか、インターネット、デジタル衛星などのネットワーク提供媒体を介してユーザに提供することができる。
【０１９１】
【発明の効果】
以上のように、本発明によれば、原画像を復元可能な上位階層画像を短時間で生成することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用したエンコーダ１の第１の構成例を示すブロック図である。
【図２】図１のエンコーダ１の動作を説明するフローチャートである。
【図３】図１の前処理回路２の動作を説明するフローチャートである。
【図４】図３のステップＳ１１の詳細を説明するフローチャートである。
【図５】画素の配置を説明する図である。
【図６】画素データを説明する図である。
【図７】図３のステップＳ１２の詳細を説明するフローチャートである。
【図８】図１の画素値更新回路６の第１の構成例を示すブロック図である。
【図９】図８の最適画素値決定回路２２の構成例を示すブロック図である。
【図１０】図８の画素値更新回路６の動作を説明するフローチャートである。
【図１１】画素の配置を説明する図である。
【図１２】図１の予測係数更新回路７の構成例を示すブロック図である。
【図１３】図１２の予測係数更新回路７の動作を説明するフローチャートである。
【図１４】図１のクラスコード選択回路８の構成例を示すブロック図である。
【図１５】図１４のクラスコード選択回路８の動作を説明するフローチャートである。
【図１６】図１のデコード回路９の構成例を示すブロック図である。
【図１７】図１６のデコード回路９の動作を説明するフローチャートである。
【図１８】図１に示したエンコーダ１に対応するデコータ８１の構成例を示すブロック図である。
【図１９】図１８のデコーダ８１の動作を説明するフローチャートである。
【図２０】図１のエンコーダ１の他の動作を説明するフローチャートである。
【図２１】シミュレーション結果を示す図である。
【図２２】図１の画素値更新回路６の第２の構成例を示すブロック図である。
【図２３】図２２の領域最適化回路９１の構成例を示すブロック図である。
【図２４】図２２の画素値更新回路６の動作を説明するフローチャートである。
【図２５】影響誤差関数マトリクスを説明するための図である。
【図２６】本発明を適用したエンコーダの第２の構成例を示すブロック図である。
【図２７】図２６の予測係数拡張回路１１２の構成例を示すブロック図である。
【図２８】拡張クラスコードを説明するための図である。
【図２９】図２７の予測係数拡張回路１１２の動作を説明するフローチャートである。
【図３０】図２６のエンコーダ１の対応するデコーダ１３１の構成例を示すブロック図である。
【図３１】図３０のデコーダ１３１の動作を説明するフローチャートである。
【図３２】シミュレーション結果を示す図である。
【符号の説明】
１ エンコーダ， ２ 前処理回路， ３ 上位階層画像メモリ， ４ 予測係数メモリ， ５ セレクタ， ６ 画素値更新回路， ７ 予測係数更新回路， ８ クラスコード選択回路， ９ デコード回路， １０ 収束判定回路，１１ 更新回数カウンタ， ２２ 最適画素値決定回路， ８１ デコーダ，８２ 着目画素決定回路， ８３ クラスコード読取回路， ８４ 予測タップ抽出回路， ８５ マッピング回路， ８６ 下位階層画像メモリ， ９１ 領域最適化回路， １１１ エンコーダ， １１２ 予測係数拡張回路， １２４ 空間クラスコード判定回路， １３１ デコーダ， １３２ 空間クラスコード判定回路
【発明の属する技術分野】
本発明は、画像変換装置および方法、並びに記録媒体に関し、特に、原画像を、原画像に復元可能な画像に変換する画像変換装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
原画像を構成する画素数よりも少ない画素数から構成される上位階層画像を生成し、この上位階層画像から、原画像とほぼ同一の下位階層画像を生成する（原画像を復元する）する技術が本出願人により提案されている。
【０００３】
この提案においては、下位階層画像の画素値は、上位階層画像の着目画素を中心とする予測タップの画素値と、着目画素が分類されるクラスコードに対応する予測係数の線形１次結合を演算することにより求められる。なお、着目画素のクラスコードは、着目画素とその近傍の画素から構成されるクラスタップの画素値から決定される。
【０００４】
したがって、原画像とほぼ等しい下位階層画像を生成することが可能な上位階層画像を生成するには、画素値とクラスコード（予測係数）を同時に最適化することが理想的である。
【０００５】
【発明が解決しようとする課題】
しかしながら、画素値とクラスコード（予測係数）を同時に最適化するためには、上位階層画像の全ての画素の画素値を同時に変動させる必要があるが、そのようにするには演算量が膨大となることから、画素値とクラスコード（予測係数）を同時に最適化することは、実質的には不可能である課題があった。
【０００６】
また、画素値および予測係数を最適化するためには、それぞれの更新を交互に複数回繰り返して実行する必要があるので、その処理にかかる時間が長くなる課題があった。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、前処理の直後に、クラスコード選択処理と予測係数更新処理を実行することにより、原画像を復元可能な上位階層画像を短時間で生成できるようにするものである。
【０００８】
【課題を解決するための手段】
本発明の画像変換装置は、複数の画素からなる原画像を、前記原画像に復元するための、前記原画像より少ない画素からなり、各画素の所定のビット列から成る画素データの上位側ビット列が画素値を示し、前記画像データの前記上位側ビット列以外の下位側ビット列がクラスコードを示す上位階層画像に変換する画像変換装置において、前処理として、前記原画像を所定のサイズの画素ブロックに分割し、前記画素ブロック毎に画素値を平均化または画素を間引くことによって初期の上位階層画像の１画素分の画素値を決定して前記画素データの上位側ビット列とし、各画素の画素データの上位側ビット列だけが決定された前記初期の上位階層画像の画素を順次、着目画素とし、前記着目画素とその近傍の複数の画素から成るクラスタップを前記初期の上位階層画像から抽出し、前記クラスタップを構成する複数の画素の画素値を符号化することによって前記着目画素に対応するクラスコードを決定して前記着目画素の画素データの下位側ビット列とすることにより、前記初期の上位階層画像の前記着目画素の画素データを生成し、前記着目画素とその近傍の複数の画素から成る予測タップを前記初期の上位階層画像から抽出し、既知である前記原画像の画素値と、既知である前記予測タップを構成する複数の画素の画素値と、未知である予測係数とからなる正規方程式を、同一のクラスコードに分類される着目画素毎に解くことによって各クラスコードに対応する前記予測係数を生成し、生成した前記予測係数を前記クラスコードに対応付けて予測係数メモリに記憶させるとともに、生成した前記初期の上位階層画像を上位階層画像メモリに記憶させる前処理手段と、前記上位階層画像メモリに記憶されている前記上位階層画像の画素を順次、着目画素とし、前記着目画素とその近傍の複数の画素から成る予測タップを前記上位階層画像から抽出し、前記予測タップを構成する複数の画素の画素データの上位ビット列に記憶されている画素値と、前記予測係数メモリに記憶されている各クラスコードにそれぞれ対応する予測係数との線形１次結合により前記下位階層画像の画素値を生成し、生成した前記下位階層画像の画素値と前記原画像の対応する画素値との比較結果に応じて、前記着目画素に対する最適なクラスコードを決定し、決定したクラスコードを用いて、前記着目画素の画素データの下位側ビット列を更新するクラスコード更新手段と、前記上位階層画像メモリに記憶されている前記上位階層画像の画素を順次、着目画素とし、前記着目画素とその近傍の複数の画素から成る予測タップを前記上位階層画像から抽出し、既知である前記原画像の画素値と、既知である前記予測タップを構成する複数の画素の画素値と、更新対象の予測係数とからなる正規方程式を、同一のクラスコードに分類される着目画素毎に解くことによって各クラスコードに対応する前記予測係数を再度生成して、再度生成した前記予測係数を前記クラスコードに対応付けて予測係数メモリに記憶させる予測係数更新手段と、前記上位階層画像メモリに記憶されている前記上位階層画像の画素を順次、着目画素とし、前記着目画素とその近傍の複数の画素から成る予測タップを前記上位階層画像から抽出し、前記予測タップを構成する複数の画素の画素データの上位ビット列に記憶されている画素値と、前記着目画素の画素データの下位側ビット列に記録されているクラスコードに対応する予測係数との線形１次結合により、前記原画像と同じ画素数から成る下位階層画像の画素値を演算する演算手段と、前記原画像と前記下位階層画像と S/N の変化を検出する検出手段とを含み、前記予測係数更新手段は、前記前処理手段の動作後であって、前記演算手段および前記検出手段の動作の前に、動作を行い、前記 S/N の増加量が収束していない場合にも動作する。
【０００９】
本発明の画像変換方法は、複数の画素からなる原画像を、前記原画像に復元するための、前記原画像より少ない画素からなり、各画素の所定のビット列から成る画素データの上位側ビット列が画素値を示し、前記画像データの前記上位側ビット列以外の下位側ビット列がクラスコードを示す上位階層画像に変換する画像変換装置の画像変換方法において、前処理として、前記原画像を所定のサイズの画素ブロックに分割し、前記画素ブロック毎に画素値を平均化または画素を間引くことによって初期の上位階層画像の１画素分の画素値を決定して前記画素データの上位側ビット列とし、各画素の画素データの上位側ビット列だけが決定された前記初期の上位階層画像の画素を順次、着目画素とし、前記着目画素とその近傍の複数の画素から成るクラスタップを前記初期の上位階層画像から抽出し、前記クラスタップを構成する複数の画素の画素値を符号化することによって前記着目画素に対応するクラスコードを決定して前記着目画素の画素データの下位側ビット列とすることにより、前記初期の上位階層画像の前記着目画素の画素データを生成し、前記着目画素とその近傍の複数の画素から成る予測タップを前記初期の上位階層画像から抽出し、既知である前記原画像の画素値と、既知である前記予測タップを構成する複数の画素の画素値と、未知である予測係数とからなる正規方程式を、同一のクラスコードに分類される着目画素毎に解くことによって各クラスコードに対応する前記予測係数を生成し、生成した前記予測係数を前記クラスコードに対応付けて予測係数メモリに記憶させるとともに、生成した前記初期の上位階層画像を上位階層画像メモリに記憶させる前処理ステップと、前記上位階層画像メモリに記憶されている前記上位階層画像の画素を順次、着目画素とし、前記着目画素とその近傍の複数の画素から成る予測タップを前記上位階層画像から抽出し、前記予測タップを構成する複数の画素の画素データの上位ビット列に記憶されている画素値と、前記予測係数メモリに記憶されている各クラスコードにそれぞれ対応する予測係数との線形１次結合により前記下位階層画像の画素値を生成し、生成した前記下位階層画像の画素値と前記原画像の対応する画素値との比較結果に応じて、前記着目画素に対する最適なクラスコードを決定し、決定したクラスコードを用いて、前記着目画素の画素データの下位側ビット列を更新するクラスコード更新ステップと、前記上位階層画像メモリに記憶されている前記上位階層画像の画素を順次、着目画素とし、前記着目画素とその近傍の複数の画素から成る予測タップを前記上位階層画像から抽出し、既知である前記原画像の画素値と、既知である前記予測タップを構成する複数の画素の画素値と、更新対象の予測係数とからなる正規方程式を、同一のクラスコードに分類される着目画素毎に解くことによって各クラスコードに対応する前記予測係数を再度生成して、再度生成した前記予測係数を前記クラスコードに対応付けて予測係数メモリに記憶させる予測係数更新ステップと、前記上位階層画像メモリに記憶されている前記上位階層画像の画素を順次、着目画素とし、前記着目画素とその近傍の複数の画素から成る予測タップを前記上位階層画像から抽出し、前記予測タップを構成する複数の画素の画素データの上位ビット列に記憶されている画素値と、前記着目画素の画素データの下位側ビット列に記録されているクラスコードに対応する予測係数との線形１次結合により、前記原画像と同じ画素数から成る下位階層画像の画素値を演算する演算ステップと、前記原画像と前記下位階層画像と S/N の変化を検出する検出ステップとを含み、前記予測係数更新ステップは、前記前処理ステップの実行後であって、前記演算ステップおよび前記検出ステップの実行の前に、実行され、前記 S/N の増加量が収束していない場合にも実行される。
【００１０】
本発明の記録媒体は、複数の画素からなる原画像を、前記原画像に復元するための、前記原画像より少ない画素からなり、各画素の所定のビット列から成る画素データの上位側ビット列が画素値を示し、前記画像データの前記上位側ビット列以外の下位側ビット列がクラスコードを示す上位階層画像に変換する画像変換装置の制御用のプログラムであって、前処理として、前記原画像を所定のサイズの画素ブロックに分割し、前記画素ブロック毎に画素値を平均化または画素を間引くことによって初期の上位階層画像の１画素分の画素値を決定して前記画素データの上位側ビット列とし、各画素の画素データの上位側ビット列だけが決定された前記初期の上位階層画像の画素を順次、着目画素とし、前記着目画素とその近傍の複数の画素から成るクラスタップを前記初期の上位階層画像から抽出し、前記クラスタップを構成する複数の画素の画素値を符号化することによって前記着目画素に対応するクラスコードを決定して前記着目画素の画素データの下位側ビット列とすることにより、前記初期の上位階層画像の前記着目画素の画素データを生成し、前記着目画素とその近傍の複数の画素から成る予測タップを前記初期の上位階層画像から抽出し、既知である前記原画像の画素値と、既知である前記予測タップを構成する複数の画素の画素値と、未知である予測係数とからなる正規方程式を、同一のクラスコードに分類される着目画素毎に解くことによって各クラスコードに対応する前記予測係数を生成し、生成した前記予測係数を前記クラスコードに対応付けて予測係数メモリに記憶させるとともに、生成した前記初期の上位階層画像を上位階層画像メモリに記憶させる前処理ステップと、前記上位階層画像メモリに記憶されている前記上位階層画像の画素を順次、着目画素とし、前記着目画素とその近傍の複数の画素から成る予測タップを前記上位階層画像から抽出し、前記予測タップを構成する複数の画素の画素データの上位ビット列に記憶されている画素値と、前記予測係数メモリに記憶されている各クラスコードにそれぞれ対応する予測係数との線形１次結合により前記下位階層画像の画素値を生成し、生成した前記下位階層画像の画素値と前記原画像の対応する画素値との比較結果に応じて、前記着目画素に対する最適なクラスコードを決定し、決定したクラスコードを用いて、前記着目画素の画素データの下位側ビット列を更新するクラスコード更新ステップと、前記上位階層画像メモリに記憶されている前記上位階層画像の画素を順次、着目画素とし、前記着目画素とその近傍の複数の画素から成る予測タップを前記上位階層画像から抽出し、既知である前記原画像の画素値と、既知である前記予測タップを構成する複数の画素の画素値と、更新対象の予測係数とからなる正規方程式を、同一のクラスコードに分類される着目画素毎に解くことによって各クラスコードに対応する前記予測係数を再度生成して、再度生成した前記予測係数を前記クラスコードに対応付けて予測係数メモリに記憶させる予測係数更新ステップと、前記上位階層画像メモリに記憶されている前記上位階層画像の画素を順次、着目画素とし、前記着目画素とその近傍の複数の画素から成る予測タップを前記上位階層画像から抽出し、前記予測タップを構成する複数の画素の画素データの上位ビット列に記憶されている画素値と、前記着目画素の画素データの下位側ビット列に記録されているクラスコードに対応する予測係数との線形１次結合により、前記原画像と同じ画素数から成る下位階層画像の画素値を演算する演算ステップと、前記原画像と前記下位階層画像と S/N の変化を検出する検出ステップとを含み、前記予測係数更新ステップは、前記前処理ステップの実行後であって、前記演算ステップおよび前記検出ステップの実行の前に、実行され、前記 S/N の増加量が収束していない場合にも実行される処理を画像変換装置のコンピュータに実行させるコンピュータが読み取り可能なプログラムが記録されている。
【００１１】
本発明においては、前処理として、各画素の画素データの上位側ビット列が画素値、下位側ビット列がクラスコードをされた初期の上位階層画像が生成されて上位階層画像メモリに記憶されるとともに、予測係数が生成されてクラスコードに対応付けて予測係数メモリに記憶される。この前処理の後、上位階層画像の画素の画素データの下位側ビット列のクラスコートが更新され、さらに、予測係数メモリの予測係数が更新される。さらに、上位階層画像メモリに記憶されている上位階層画像に基づいて原画像と同じ画素数から成る下位階層画像の画素値が演算され、原画像と下位階層画像と S/N の変化が検出される。そして、 S/N の増加量が収束していない場合、再び予測係数が更新される。
【００１２】
【発明の実施の形態】
本発明を適用したエンコーダの構成例について、図１を参照して説明する。なお、このエンコーダ１に入力される原画像は、１画素当たり８ビットの画素値を有し、エンコーダ１によって生成される上位階層画像も１画素当たり８ビットの情報量（画素データ）を有するものとする。
【００１３】
また、以下において、着目画素は、画素値の更新が行われずに位置を特定するために指定される画素とし、注目画素は、位置を特定するために指定され、かつ、画素値が更新される画素とする。
【００１４】
このエンコーダ１において、原画像は、前処理回路２、画素値更新回路６、予測係数更新回路７、クラスコード選択回路８、および収束判定回路１０に供給される。前処理回路２は、供給された原画像を用い、初期上位階層画像を生成して上位階層画像メモリ３に記憶させ、初期予測係数テーブルを生成して予測係数メモリ４に記憶させる。
【００１５】
上位階層画像メモリ３は、記憶している上位階層画像をセレクタ５に出力する。また、上位階層画像メモリ３は、画素値更新回路６から入力される画素値（４ビット）を用いて、それまで記憶していた上位階層画像のMSB(Most Significant Bit)側の４ビットを更新し、クラスコード選択回路８から入力されるクラスコード（４ビット）を用いて、それまで記憶していた上位階層画像のLSB(Least Significant Bit)側の４ビットを更新する。
【００１６】
予測係数メモリ４は、記憶している予測係数テーブルを画素値更新回路６、クラスコード選択回路８、デコード回路９、および収束判定回路１０に供給する。また、予測係数メモリ４は、予測係数更新回路７から入力される予測係数を用いて、それまで記憶していた予測係数テーブルを更新する。
【００１７】
セレクタ５は、更新回数カウンタ１１から入力される制御信号に対応して、上位階層画像メモリ３から入力された上位階層画像を、デコード回路９および収束判定回路１０の他、画素値更新回路６、予測係数更新回路７、クラスコード選択回路８に順次出力する。
【００１８】
画素値更新回路６は、原画像および予測係数を用いて、セレクタ５から入力された上位階層画像の画素値（画素データのMSB側の４ビット）を更新し、上位階層画像メモリ３に出力する。予測係数更新回路７は、セレクタ５から入力された上位階層画像、および原画像を用いて予測係数を生成し、予測係数メモリ４に出力する。
【００１９】
クラスコード選択回路８は、セレクタ５から入力された上位階層画像の各画素毎に、予測係数メモリ４に記憶されている予測係数テーブル内の最適な予測係数を選択し、その予測係数に対応するクラスコード（４ビット）を上位階層画像メモリ３に出力する。
【００２０】
デコード回路９は、セレクタ５から入力された上位階層画像と予測係数メモリ４に記憶されている予測係数を用いて下位階層画像を生成し、収束判定回路１０に出力する。
【００２１】
収束判定回路１０は、デコード回路９から入力された下位階層画像と原画像のS/Nを演算し、さらにその増加量を求めて、S/Nの増加が収束していると判定した場合、セレクタ５から入力された上位階層画像および予測係数メモリ４から入力された予測係数テーブルを後段に出力する。また、収束判定回路１０は、更新カウンタ１１から制御信号が入力された場合も、セレクタ５から入力された上位階層画像および予測係数メモリ４から入力された予測係数テーブルを後段に出力する。
【００２２】
更新回数カウンタ１１は、収束判定回路１０、画素値更新回路６、予測係数更新回路７、またはクラスコード選択回路８が自己の処理を終了したことに対応して、セレクタ５に制御信号を出力するとともに、制御信号を出力した回数をカウントし、カウントした値が所定の数に達したとき、収束判定回路１０に制御信号を出力する。
【００２３】
次に、エンコーダ１の動作について、図２のフローチャートを参照して説明する。このエンコード処理は、原画像がエンコーダ１に入力されたときに開始される。ステップＳ１において、前処理回路２は、入力された原画像を用いて前処理を実行する。
【００２４】
この前処理は、図３に示すように、ステップＳ１１，Ｓ１２から成る。ステップＳ１１の初期上位階層画像生成処理について、図４のフローチャートを参照して説明する。ステップＳ２１において、前処理回路２は、入力された原画像を所定のサイズ（例えば、図５に示すように３×３画素）のブロックに分割する。
【００２５】
ステップＳ２２において、前処理回路２は、ステップＳ２１で分割したブロックに含まれる複数（いまの場合、９個）の画素の画素値を平均し、その平均値（８ビット）のMSB側の４ビットを初期上位階層画像の１個の画素の画素値として、図６に示すように、上位階層画像データ（８ビット）のMSB側の４ビットに記録する。
【００２６】
ただし、上位階層画像データのMSB側に記録された４ビットを画素値として用いる全ての回路においては、その４ビットの値を８ビット化して用いるが、MSB側の４ビットの値を単に１６倍しただけの値を用いると画像全体の輝度値が低下するので、これを抑止するために、１６倍した値に所定のオフセット値（例えば、７または８）を加算した値を画素値として用いる。
【００２７】
なお、初期上位階層画像の画素値を決定する方法は、上述したような平均化による方法ではなく、原画像を直接、間引く方法やローパスフィルタ（ガウシアンフィルタ等）を用いてから間引く方法でもかまわない。
【００２８】
図３に戻る。このようなステップＳ１１の処理の後、ステップＳ１２で初期予測係数生成処理が実行される。この処理について、図７のフローチャートを参照して説明する。ステップＳ３１において、前処理回路２は、図３のステップＳ１１で画素値（画素データ（８ビット）のうちのMSB側の４ビット）だけが決定された初期上位階層画像の画素を着目画素に決定する。
【００２９】
ステップＳ３２において、前処理回路２は、着目画素に対応するクラスタップ（例えば、着目画素とその上下左右に位置する合計５個の画素）の画素値（各４ビット）を抽出する。
【００３０】
ステップＳ３３において、前処理回路２は、ステップＳ３２で抽出した５個の画素値（MSB側の４ビット）に１ビットADRC(Adaptive Dynamic Range Coding)処理を施して、それぞれを１ビットに変換し、それらを、例えば、画素の位置に対応する所定の順序で並べることにより、５ビットのクラスコードを取得する。さらに、前処理回路２は、着目画素の画素データ（８ビット）のLSB側の４ビットに任意の値（例えば、５ビットのクラスコードのMSB側の４ビット）を、図６に示すように記録する。
【００３１】
ステップＳ３４において、前処理回路２は、着目画素を中心とする所定のサイズ（例えば、５×５画素）の予測タップの画素値を抽出する。ステップＳ３５において、前処理回路２は、既知である原画像および予測タップの画素値、並びに未知である予測係数から成る正規方程式を生成する。
【００３２】
ステップＳ３６において、前処理回路２は、初期上位階層画像の全ての画素を着目画素としたか否かを判定し、全ての画素を着目画素としたと判定するまで、ステップＳ３１乃至Ｓ３６の処理を繰り返す。ステップＳ３６において、全ての画素を着目画素としたと判定された場合、ステップＳ３７に進む。
【００３３】
ステップＳ３７において、前処理回路２は、ステップＳ３５で生成された正規方程式を、５ビット（３２種類）のクラス毎に生成し、その方程式に最小自乗法を適用して３２種類のクラスコードに対応する予測係数を取得する。ステップＳ３８において、前処理回路２は、ステップＳ３３で各クラスコードに分類された着目画素の数を示すヒストグラムを生成する。
【００３４】
ステップＳ３９において、前処理回路２は、ステップＳ３８で生成したヒストグラムを参照し、その上位側の１６個の予測係数（数の多い１６個のクラスコードの予測係数）と、４ビットで表されるクラスコード（0000乃至1111）を任意に対応付ける。
【００３５】
ステップＳ４０において、前処理回路２は、４ビット（１６種類）のクラスコードに対応付けられた予測係数を予測係数メモリ４に出力する。また、前処理回路２は、MSB側の４ビットが画素値であり、LSB側の４ビットがクラスコードである画素データから成る初期上位階層画像を上位階層画像メモリ３に出力する。
【００３６】
なお、上述した処理以外に初期予測係数を生成する方法として、４ビットで表されるクラスコード（0000乃至1111）に乱数を対応付けてもかまわない。また、クラスコードが乱数であってもよいし、予測係数が乱数であってもよいし、あるいは、クラスコードと予測係数の両方が乱数であってもよい。
【００３７】
図２に戻る。以上のようにして、ステップＳ１の前処理が行われた後、ステップＳ２において、クラスコード選択回路８は、入力された上位階層画像の各画素に対して、予測係数メモリ４に記憶されている１６種類の予測係数のうちの最適なものを選択する。なお、クラスコード選択回路８の構成例と動作については、図１４および図１５を参照して後述する。
【００３８】
ステップＳ３において、デコード処理が行われる。すなわち、上位階層画像メモリ３からセレクタ５に入力された上位階層画像は、更新回数カウンタ１１からの制御信号に対応して、デコード回路９に供給される。デコード回路９は、セレクタ５から入力された上位階層画像（いまの場合、初期上位階層画像）と、予測係数メモリ４から供給される予測係数テーブル（いまの場合、初期予測係数テーブル）を用いて下位階層画像を生成し、収束判定回路１０に出力する。なお、下位階層画像の画素としては、図５に示すように、上位階層画像の１個の着目画素に対して、対応する位置の下位階層画像の画素ｉを中心とする３×３画素（画素ａ乃至ｉ）が生成される。デコード回路９の構成と動作については、図１６および図１７を参照して後述する。
【００３９】
ステップＳ４において、収束判定回路１０は、デコード回路９から入力された下位階層画像と原画像のS/Nを演算し、さらに、その増加量を求めて、S/Nの増加量が収束しているか否かを判定する。S/Nの増加量が収束していると判定された場合、または、更新回数カウンタ１１からの制御信号が受信された場合、ステップＳ７に進む。また、S/Nの増加量が収束していないと判定され、かつ、更新回数カウンタ１１からの制御信号が受信されていない場合、ステップＳ５に進む。
【００４０】
いまの場合、１回目にデコードされた下位階層画像に対する収束判定処理であるので、S/Nの増加量は演算されず、更新回数カウンタ１１からの制御信号も受信されていないので、ステップＳ５に進む。
【００４１】
収束判定回路１０の判定処理が終了したことに対応して、更新回数カウンタ１１は、セレクタ５に制御信号を出力する。
【００４２】
ステップＳ５において、上位階層画像メモリ３からセレクタ５に入力された上位階層画像は、更新回数カウンタ１１からの制御信号に対応して、画素値更新回路６に供給される。画素値更新回路６は、入力された上位階層画像の画素値（画素データのMSB側の４ビット）を更新する。
【００４３】
この画素値更新処理について説明する前に、画素値更新回路６の第１の構成例について、図８および図９を参照して説明する。セレクタ５から入力された上位階層画像は、画素値更新回路６において、上位階層画像メモリ２１に記憶される。上位階層画像メモリ２１は、記憶している上位階層画像を最適画素値決定回路２２に供給する。また、上位階層画像メモリ２１は、最適画素値決定回路２２からの最適化された画素値（４ビット）を用いて、それまで記憶していた上位階層画像の画素値（画素データのMBS側の４ビット）を更新する。全ての画素の画素値が最適化された上位階層画像は、スイッチ２４を介して上位階層画像メモリ３に出力される。
【００４４】
最適画素値決定回路２２には、原画像、および予測係数メモリ４から予測係数テーブルも供給される。最適画素値決定回路２２は、注目画素決定回路２３から指定された注目画素の画素値を最適化して上位階層画像メモリ２１に出力する。注目画素決定回路２３は、上位階層画像の画素を順次注目画素に決定し、その情報を最適画素値決定回路２２に出力する。また、注目画素決定回路２３は、上位階層画像の全ての画素を注目画素に決定した後、スイッチ２４をオンとする制御信号を出力する。
【００４５】
図９は、最適画素値決定回路２２の詳細な構成例を示している。最適画素値決定回路２２においては、注目画素以外の画素の画素値が固定された状態で、注目画素の画素値が最適化される。
【００４６】
着目画素決定回路３１は、注目画素決定回路２３で決定された注目画素の画素値が変化されたことにより、デコードの際に影響を受ける範囲（注目画素を含む予測タップの中心の画素の集合、以下、影響範囲と記述する）を設定し、その影響範囲内に存在する上位階層画像の画素を順次、着目画素に決定して、その位置情報をクラスコード読取回路３２、および予測タップ抽出回路３３に出力する。また、着目画素決定回路３１は、影響範囲内の全ての画素を着目画素に決定した後、スイッチ３６をオンとする制御信号を出力する。
【００４７】
クラスコード読取回路３２は、着目画素のクラスコード（画素データのLSB側の４ビット）を読み出して誤差関数生成回路３４に出力する。予測タップ抽出回路３３は、着目画素を中心とする５×５画素の予測タップの画素値（画素データのMSB側の４ビット）を抽出して誤差関数生成回路３４に出力する。
【００４８】
誤差関数生成回路３４は、着目画素に対応する誤差関数（その詳細は後述する）を生成して影響誤差関数レジスタ３５に出力する。影響誤差関数レジスタ３５は、全ての着目画素に対応する誤差関数を足し合わせて影響誤差関数を生成し、スイッチ３６を介して注目画素値演算回路３７に出力する。
【００４９】
注目画素値演算回路３７は、スイッチ３６を介して入力された影響誤差関数を解くことにより、注目画素の画素値を演算する（その詳細については後述する）。
【００５０】
次に、画素値更新回路６の第１の構成例の動作について、図１０のフローチャートを参照して説明する。この画素値更新処理は、セレクタ５から入力された上位階層画像が、画素値更新回路６の上位階層画像メモリ２１に記憶されたときに開始される。
【００５１】
ステップＳ５１において、注目画素決定回路２３は、図１１(A)に示すように、上位階層画像の注目画素を決定し、その位置情報を最適画素値決定回路２２に出力する。最適画素値決定回路２２の着目画素決定回路３１は、ステップＳ５２において、注目画素の画素値が変化された際に影響を受ける範囲（影響範囲）を決定する。例えば、予測タップのサイズが５×５画素である場合、図１１(B)に示したような注目画素を中心とする５×５画素を含む範囲（この上位階層画像から生成される下位階層画像においては、図１１(C)に示すように１５×１５画素）が影響範囲とされる。
【００５２】
ステップＳ５３において、着目画素決定回路３１は、影響範囲内の１個の画素を着目画素に決定し、その位置情報をクラスコード読取回路３２、および予測タップ抽出回路３３に出力する。
【００５３】
ステップＳ５４において、クラスコード読取回路３２は、着目画素のクラスコード（画素データのLSB側の４ビット）を読み出し、誤差関数生成回路３４に出力する。予測タップ抽出回路３３は、着目画素を中心とする５×５画素の予測タップを抽出して誤差関数生成回路３４に出力する。この予測タップには、注目画素が含まれている。
【００５４】
ステップＳ５５において、誤差関数生成回路３４は、着目画素に対応する誤差関数を生成して影響誤差関数レジスタ３５に出力する。
【００５５】
ここで、誤差関数について説明する。上位階層画像の１個の着目画素（例えば、図５の上位階層画像の注目画素）に対応する、下位階層画像の３×３画素の９個の画素（例えば、図５の下位階層画像の画素ａ乃至ｉ）の画素値（予測値）ｙｉ’（ｉ＝１，２，・・・，９、ただし、図５の画素ｉのｉとは異なる）は、次式（１）に示すように、上位階層画像の画素値ｘと予測係数ｗの線形１次結合で表すことができる。
【００５６】
【数１】
ただし、ｗｉ１乃至ｗｉ２５は、着目画素のクラスコードに対応する予測係数であり、ｘ１乃至ｘ２５は、着目画素を中心とする予測タップに含まれる画素の画素値である。特に、画素値数ｘｋ、および予測係数ｗｉｋは、注目画素の画素値と、それに対応する予測係数である。
【００５８】
下位階層画像の画素値（予測値）ｙｉ’に対応する原画像の画素値（真値）をｙｉとすれば、着目画素に対応する下位階層画像の９画素分の自乗誤差の和Ｅｋは、次式（２）のように表すことができる。
【００５９】
【数２】
ところで、式（２）において、注目画素の画素値ｘｋは最適化される値、すなわち変数である。また、真値ｙｉ、予測係数ｗｉｊ，ｗｉｋ、および画素値ｘｊは定数としておく。したがって、式（２）は、次式（３）に示すように、注目画素値ｘｋの２次式として表すことが可能となる。
【００６１】
Ｅｋ＝ａｋ・ｘｋ２＋ｂｋ・ｘｋ＋ｃｋ ・・・（３）
ただし、
【００６２】
【数３】
である。ここで、Ｅｋを誤差関数と呼ぶことにする。
【００６４】
図１０に戻る。ステップＳ５６において、着目画素決定回路３１は、影響範囲内の全ての画素を着目画素に決定したか否かを判定し、影響範囲内の全ての画素を着目画素に決定していないと判定した場合、ステップＳ５３に戻り、それ以降の処理が繰り返される。
【００６５】
その後、ステップＳ５６において、影響範囲内の全ての画素を着目画素に決定したと判定された場合、ステップＳ５７に進む。ステップＳ５７において、着目画素決定回路３１は、スイッチ３６をオンとする制御信号を出力する。影響誤差関数レジスタ３５は、影響範囲内の全ての画素を、順次、着目画素としたときの誤差関数Ｅｋ（式（３））を足し合わせて、影響誤差関数Ｅｃｈｅｃｋ
【００６６】
【数４】
を生成し、スイッチ３６を介して注目画素値演算回路３７に出力する。
【００６８】
なお、影響誤差関数Ｅｃｈｅｃｋは、注目画素のの画素値ｘｋの２次式である誤差関数Ｅｋの和であるので、次式（４）に示すように、注目画素の画素値ｘｋの２次関数となる。
【００６９】
影響誤差関数Ｅｃｈｅｃｋ＝ａ’・ｘｋ２＋ｂ’・ｘｋ＋ｃ’ ・・・（４）
ただし、
【００７０】
【数５】
である。
【００７２】
ステップＳ５８において、注目画素値演算回路３７は、２次式である影響誤差関数Ｅｃｈｅｃｋを最小とする画素値ｘｋ＝−ｂ’／２ａ’を、注目画素の最適画素値として演算し、上位階層画像メモリ２１に出力する。上位階層画像メモリ２１は、入力された最適画素値を用い、それまで記憶していた注目画素の画素値を更新する。
【００７３】
ステップＳ５９において、注目画素決定回路２３は、上位階層画像の全ての画素を注目画素に決定したか否かを判定し、全ての画素を注目画素に決定していないと判定した場合、ステップＳ５１に戻り、それ以降の処理が繰り返される。
【００７４】
その後、ステップＳ５９において、上位階層画像の全ての画素を注目画素に決定したと判定した場合、注目画素決定回路２３は、スイッチ２４をオンとする制御信号を出力する。スイッチ２４がオンとされることにより、上位階層画像メモリ２１に記憶されている、画素値が最適化された上位階層画像が後段の上位階層画像メモリ３に出力される。画素値更新回路６の処理が終了したことに対応して、更新回数カウンタ１１はセレクタ５に制御信号を出力する。
【００７５】
図２に戻る。以上のようにして、ステップＳ５で画素値更新処理が行われた後、ステップＳ６において、上位階層画像メモリ３からセレクタ５に入力された上位階層画像は、更新回数カウンタ１１からの制御信号に対応して、予測係数更新回路７に供給される。予測係数更新回路７は、入力された上位階層画像および原画像を用い、予測係数メモリ４に記憶させる予測係数テーブルを更新する。
【００７６】
この予測係数更新処理について説明する前に、予測係数更新回路７の詳細な構成例について、図１２を参照して説明する。セレクタ５から入力された上位階層画像は、予測係数更新回路７において、予測タップ抽出回路４２およびクラスコード読取回路４３に供給される。着目画素決定回路４１は、上位階層画像の画素を順次、着目画素に決定し、その位置情報を予測タップ抽出回路４２、およびクラスコード読取回路４３に出力する。
【００７７】
予測タップ抽出回路４２は、着目画素を中心とする５×５画素の予測タップの画素値（画素データのMSB側の４ビット）を抽出して正規方程式生成回路４５に出力する。クラスコード読取回路４３は、着目画素のクラスコード（画素データのLSB側の４ビット）を読み出して正規方程式生成回路４５に出力する。
【００７８】
教師データ抽出回路４４は、原画像から教師データ（生成される下位階層画像の画素値に対応する真値）を抽出して正規方程式生成回路４５に出力する。正規方程式生成回路４５は、着目画素のクラスコード毎に、既知である教師データおよび予測タップの画素値、並びに、変数としての予測係数から成る正規方程式を生成して、予測係数演算回路４６に出力する。
【００７９】
予測係数演算回路４６は、入力された正規方程式に最小自乗法を適用して１６種類のクラスコードに対応する予測係数（予測係数テーブル）を演算し、予測係数メモリ４に出力する。
【００８０】
次に、予測係数更新回路７の動作について、図１３のフローチャートを参照して説明する。この予測係数更新処理は、セレクタ５から予測係数更新回路７に、上位階層画像が入力されたときに開始される。
【００８１】
ステップＳ６１において、着目画素決定回路４１は、上位階層画像の１個の画素を着目画素に決定し、その位置情報を予測タップ抽出回路４２とクラスコード読取回路４３に出力する。
【００８２】
ステップＳ６２において、クラスコード読取回路４３は、着目画素のクラスコード（画素データのLSB側の４ビット）を読み出して正規方程式生成回路４５に出力する。ステップＳ６３において、予測タップ抽出回路４２は、着目画素を中心とする５×５画素の予測タップの画素値（画素データのMSB側の４ビット）を抽出して正規方程式生成回路４５に出力する。
【００８３】
ステップＳ６４において、正規方程式生成回路４５は、着目画素のクラスコード毎に、既知である教師データおよび予測タップの画素値、並びに更新する予測係数を用いて正規方程式を生成して、予測係数演算回路４６に出力する。
【００８４】
ステップＳ６５において、着目画素決定回路４１は、上位階層画像の全ての画素を着目画素としたか否かを判定し、全ての画素を着目画素としていないと判定した場合、ステップＳ６１に戻り、それ以降の処理が繰り返される。ステップＳ６５において、全ての画素を着目画素としたと判定された場合、ステップＳ６６に進む。
【００８５】
ステップＳ６６において、予測係数演算回路４６は、ステップＳ６４で正規方程式生成回路４５が生成した正規方程式に最小自乗法を適用して１６種類のクラスコードに対応する予測係数を演算する。ステップＳ６７において、予測係数演算回路４６は、得られた予測係数（予測係数テーブル）を予測係数メモリ４に出力する。予測係数メモリ４は、入力された予測係数テーブルを用いて、それまで記憶していた予測係数テーブルを更新する。予測係数更新回路６の処理が終了したことに対応して、更新回数カウンタ１１はセレクタ５に制御信号を出力する。
【００８６】
図２に戻る。以上のようにして、ステップＳ６で予測係数更新処理が実行された後、ステップＳ２に戻る。ステップＳ２において、上位階層画像メモリ３からセレクタ５に入力された上位階層画像は、更新回数カウンタ１１からの制御信号に対応して、クラスコード選択回路８に供給される。クラスコード選択回路８は、入力された上位階層画像の各画素に対して、予測係数メモリ４に記憶されている１６種類の予測係数のうちの最適なものを選択する。
【００８７】
このクラスコード選択処理について説明する前に、クラスコード選択回路８の詳細な構成例について、図１４を参照して説明する。着目画素決定回路５１は、上位階層画像の画素を順次、着目画素に決定し、その情報を予測タップ抽出回路５２に出力する。予測タップ抽出回路５２は、セレクタ５より入力された上位階層画像から、着目画素を中心とする５×５画素の予測タップに含まれる画素の画素値（画素データのMSB側の４ビット）を抽出してマッピング回路５３に出力する。
【００８８】
マッピング回路５３は、クラスコードカウンタ５８より入力されるクラスコードに対応する予測係数を予測係数メモリ４から読み出して、読み出した予測係数と予測タップの各画素の画素値との線形１次結合を演算し、演算結果を下位階層画像の画素値（予測値）として誤差演算回路５４に出力する。
【００８９】
誤差演算回路５４は、マッピング回路５３から入力された予測値と、それに対応する原画像の画素値（真値）の誤差(S/N)を演算し、比較器５５、およびスイッチ５７に出力する。比較器５５は、誤差演算回路５４から入力された誤差と最小誤差レジスタ５６から入力される誤差を比較して、誤差演算回路５４から入力された誤差の方が小さい（S/Nが大きい）場合、スイッチ５７，５９をオンとする制御信号を出力する。また、比較器５５は、比較の結果に拘わらず、誤差を比較した後、クラスコードカウンタ５８のカウント値をインクリメントさせる制御信号を出力する。
【００９０】
最小誤差レジスタ５６は、記憶している誤差の値を比較器５５に供給する。また、最小誤差レジスタ５６は、スイッチ５７を介して入力される値を用いて、それまで記憶していた値を更新する。
【００９１】
クラスコードカウンタ５８は、４ビットのカウンタを有し、その値をクラスコード（0000乃至1111）としてマッピング回路およびスイッチ５９に出力する。なお、カウンタの値（クラスコード）は、比較器５５から入力される制御信号に対応して１ずつインクリメントされる。また、クラスコードカウンタ５８は、カウンタの値が1111になったとき、スイッチ６１をオンとする制御信号を出力するとともに、自己のカウンタを0000にリセットする。
【００９２】
最適クラスコードレジスタ６０は、スイッチ５９を介して入力されるクラスコードを用いて、それまで記憶していたクラスコードを更新する。したがって、最適クラスコードレジスタ６０には、誤差を最小とする予測係数に対応した、最適なクラスコードが保持される。また、最適クラスコードレジスタ６０は、着目画素の最適なクラスコードをスイッチ６１を介して、後段の上位階層画像メモリ３に出力する。
【００９３】
次に、クラスコード選択回路８に動作について、図１５のフローチャートを参照して説明する。このクラスコード選択処理は、セレクタ５からクラスコード選択回路８に上位階層画像が入力されたときに開始される。
【００９４】
ステップＳ７１において、着目画素決定回路５１は、上位階層画像の１個の画素を着目画素に決定し、その情報を予測タップ抽出回路５２に出力する。ステップＳ７２において、予測タップ抽出回路５２は、セレクタ５より入力された上位階層画像から、着目画素を中心とする５×５画素の予測タップに含まれる画素の画素値を抽出してマッピング回路５３に出力する。
【００９５】
ステップＳ７３において、クラスコードカウンタ５８は、カウンタの値0000をクラスコードとして、マッピング回路５３に出力する。ステップＳ７４において、マッピング回路５３は、クラスコードカウンタ５８より入力されたクラスコードに対応する予測係数を予測係数メモリ４から読み出して、読み出した予測係数と予測タップの各画素の画素値との線形１次結合を演算し、演算結果を下位階層画像の画素値（予測値）として誤差演算回路５４に出力する。
【００９６】
ステップＳ７５において、誤差演算回路５４は、マッピング回路５３から入力された予測値と、それに対応する原画像の画素値（真値）との誤差(S/N)を演算し、比較器５５、およびスイッチ５７に出力する。比較器５５は、誤差演算回路５４から入力された誤差と最小誤差レジスタ５６から入力される誤差を比較して、誤差演算回路５４から入力された誤差の方が小さい（S/Nが大きい）場合、スイッチ５７，５９をオンとする制御信号を出力する。これにより、クラスカウンタ５８のそのときのカウント値がスイッチ５９を介して最適クラスコードレジスタ６０に転送されて記憶される。また、誤差演算回路５４のそのときの出力が最小誤差レジスタ５６に転送されて記憶される。比較器５５はまた、クラスコードカウンタ５８に制御信号を出力する。
【００９７】
ステップＳ７６において、クラスコードカウンタ５８は、カウンタ（クラスコード）の値が1111よりも小さいか否かを判定し、カウンタの値が1111よりも小さいと判定した場合、ステップＳ７７において、カウンタの値を１だけインクリメントして、その値をクラスコードとしてマッピング回路およびスイッチ５９に出力する。
【００９８】
その後、ステップＳ７６において、カウンタの値が1111よりも小さくないと判定されるまで、ステップＳ７４乃至Ｓ７７の処理が繰り返される。ステップＳ７６において、カウンタの値が1111よりも小さくない（カウンタの値が1111である）と判定された場合、ステップＳ７８に進む。
【００９９】
ステップＳ７８において、クラスコードカウンタ５８は、スイッチ６１をオンとする制御信号を出力するとともに、自己のカウンタを0000にリセットする。この制御信号に対応してスイッチ６１はオンとされ、最適クラスコードレジスタ６０に保持されている着目画素の最適なクラスコードが、後段の上位階層画像メモリ３に出力される。上位階層画像メモリ３は、入力された最適なクラスコードを用いて、対応する画素の画素データのLSB側の４ビットを書き換える。
【０１００】
ステップＳ７９において、着目画素決定回路５１は、上位階層画像の全ての画素を着目画素としたか否かを判定し、全ての画素を着目画素としたと判定するまで、ステップＳ７１乃至Ｓ７９の処理が繰り返される。ステップＳ７９において、全ての画素を着目画素としたと判定された場合、図２のステップＳ３に戻る。
【０１０１】
ステップＳ３のデコード処理について説明する前に、デコード回路９の詳細な構成例について、図１６を参照して説明する。着目画素決定回路７１は、上位階層画像の画素を順次、着目画素に決定し、その情報をクラスコード読取回路７２および予測タップ抽出回路７３に出力する。クラスコード読取回路７２は、セレクタ５より入力された上位階層画像から、着目画素のクラスコード（画素データのLSB側の４ビット）を読み取って、マッピング回路７４に出力する。予測タップ抽出回路７３は、セレクタ５より入力された上位階層画像から、着目画素を中心とする５×５画素の予測タップに含まれる画素の画素値（画素データのMSB側の４ビット）を抽出してマッピング回路７４に出力する。
【０１０２】
マッピング回路７４は、クラスコード読取回路７２より入力されるクラスコードに対応する予測係数を予測係数メモリ４から読み出して、読み出した予測係数と、予測タップ抽出回路７３から供給される予測タップの各画素の画素値との線形１次結合を演算し、演算結果を下位階層画像の画素値として下位階層画像メモリ７５に出力する。
【０１０３】
下位階層画像メモリ７５は、マッピング回路７４から入力される下位階層画像の画素値を記憶し、記憶した画素値をフレーム単位で後段の収束判定回路１０に出力する。
【０１０４】
次に、デコード回路９のデコード処理について、図１７のフローチャートを参照して説明する。このデコード処理は、セレクタ５からデコード回路９に上位階層画像が入力されたときに開始される。
【０１０５】
ステップＳ８１において、着目画素決定回路７１は、上位階層画像の１個の画素を、着目画素に決定し、その情報をクラスコード読取回路７２および予測タップ抽出回路７３に出力する。ステップＳ８２において、クラスコード読取回路７２は、セレクタ５より入力された上位階層画像から、着目画素のクラスコード（画素データのLSB側の４ビット）を読み取って、マッピング回路７４に出力する。ステップＳ８３において、予測タップ抽出回路７３は、セレクタ５より入力された上位階層画像から、着目画素を中心とする５×５画素の予測タップに含まれる画素の画素値（画素データのMSB側の４ビット）を抽出してマッピング回路７４に出力する。
【０１０６】
ステップＳ８４において、マッピング回路７４は、クラスコード読取回路７２より入力されるクラスコードに対応する予測係数を予測係数メモリ４から読み出して、読み出した予測係数と、予測タップ抽出回路７３から供給された予測タップの各画素の画素値との線形１次結合を演算し、演算結果を下位階層画像の画素値として下位階層画像メモリ７５に出力する。
【０１０７】
ステップＳ８５において、着目画素決定回路７１は、上位階層画像の全ての画素を着目画素としたか否かを判定し、全ての画素を着目画素としていないと判定した場合、ステップＳ８１に戻り、それ以降の処理が繰り返される。ステップＳ８５において、全ての画素を着目画素としたと判定された場合、ステップＳ８６において、下位階層画像メモリ７５から下位階層画像の画素値がフレーム単位で後段の収束判定回路１０に出力される。
【０１０８】
図２に戻る。再び、ステップＳ４において、収束判定回路１０で、デコード回路９から入力された下位階層画像と原画像のS/Nとその増加量が演算されて、S/Nの増加量が収束しているか否かが判定され、S/Nの増加量が収束していると判定されるか、または、更新回数カウンタ１１からの制御信号が受信されるまで、ステップＳ２乃至Ｓ６の処理が繰り返される。
【０１０９】
その後、ステップＳ４において、S/Nの増加量が収束していると判定された場合、または、更新回数カウンタ１１からの制御信号が受信された場合、ステップＳ７に進む。ステップＳ７において、収束判定回路１０は、上位階層画像および予測係数テーブルを、図示せぬ媒体を介してデコーダ８１（図１８）に出力する。
【０１１０】
以上のように、エンコーダ１は、生成する上位階層画像の画素データ（８ビット）のMSB側の４ビットを画素値とし、LSB側の４ビットをクラスコードとしているので、一方の値を最適化するときに他方の値が変化されることがなく、それぞれを独立して最適化することが可能である。
【０１１１】
また、図２に示したエンコード処理において、第１回目のステップＳ２、すなわち、ステップＳ１の前処理の直後のクラスコード選択処理を省略してもかまわない。この場合、第１回目のステップＳ４における収束判定結果、すなわち、ステップＳ１の前処理だけを実行した上位階層画像の原画像に対するS/Nは、従来のエンコーダによる初期上位階層画像の原画像に対するS/Nよりも良好なものとなる。
【０１１２】
また、図１に示したエンコーダ１から画素値更新回路６を削除し、図２のステップＳ５の画素値更新処理を省略してもよい。すなわち、上位階層画像の画素値（画像データのMSB側の４ビット）は更新させず、予測係数更新処理とクラスコード選択処理だけを実行するようにしても、従来のエンコーダよりは良好な上位階層画像を生成することが可能である。
【０１１３】
図１８は、エンコーダ１で生成された上位階層画像から原画像を復元する（下位階層画像を生成する）デコーダの構成例を示している。このデコーダ８１において、エンコーダ１からの上位階層画像は、クラスコード読取回路８３および予測タップ抽出回路８４に供給され、予測係数テーブルは、マッピング回路８５に供給される。
【０１１４】
着目画素決定回路８２は、上位階層画像の画素を順次、着目画素に決定し、その位置情報をクラスコード読取回路８３および予測タップ抽出回路８４に出力する。クラスコード読取回路８３は、上位階層画像から着目画素のクラスコード（画素データのLSB側の４ビット）を読み取って、マッピング回路８５に出力する。予測タップ抽出回路８４は、上位階層画像から、着目画素を中心とする５×５画素の予測タップに含まれる画素の画素値（画素データのMSB側の４ビット）を抽出してマッピング回路８５に出力する。
【０１１５】
マッピング回路８５は、クラスコード読取回路８３より入力されるクラスコードに対応する予測係数を予測係数テーブルから読み出して、読み出した予測係数と、予測タップ抽出回路８４から供給される予測タップの各画素の画素値との線形１次結合を演算し、演算結果を下位階層画像の画素値として下位階層画像メモリ８６に出力する。
【０１１６】
下位階層画像メモリ８６は、マッピング回路８５から入力される下位階層画像の画素値を記憶し、記憶した画素値を、例えば図示せぬモニタに出力する。
【０１１７】
次に、デコーダ８１の動作について、図１９のフローチャートを参照して説明する。このデコード処理は、エンコーダ１からの予測係数テーブルがマッピング回路８５に供給された後、順次入力される上位階層画像に対して実行される。
【０１１８】
ステップＳ９１において、着目画素決定回路８２は、上位階層画像の１個の画素を、着目画素に決定し、その位置情報をクラスコード読取回路８３および予測タップ抽出回路８４に出力する。ステップＳ９２において、クラスコード読取回路８３は、上位階層画像から着目画素のクラスコード（画素データのLSB側の４ビット）を読み取って、マッピング回路８５に出力する。ステップＳ９３において、予測タップ抽出回路８４は、入力された上位階層画像から着目画素を中心とする５×５画素の予測タップに含まれる画素の画素値（画素データのMSB側の４ビット）を抽出してマッピング回路８５に出力する。
【０１１９】
ステップＳ９４において、マッピング回路８５は、クラスコード読取回路８３より入力されるクラスコードに対応する予測係数を予測係数テーブルから読み出して、読み出した予測係数と、予測タップ抽出回路８４から供給された予測タップの各画素の画素値との線形１次結合を演算し、演算結果を下位階層画像の画素値として下位階層画像メモリ８６に出力する。
【０１２０】
ステップＳ９５において、着目画素決定回路８２は、上位階層画像の全ての画素を着目画素としたか否かを判定し、全ての画素を着目画素としていないと判定した場合、ステップＳ９１に戻り、それ以降の処理が繰り返される。ステップＳ９５において、全ての画素を着目画素としたと判定された場合、ステップＳ９６で、下位階層画像メモリ８６から下位階層画像の画素値が、図示せぬモニタに出力される。
【０１２１】
図２０は、上述したエンコード処理（図２）とは異なる順序で実行される、エンコーダ１の動作を説明するフローチャートである。このエンコード処理は、図２に示したエンコード処理のステップＳ６として実行されていたクラスコード選択処理、および、ステップＳ５として実行されていた予測係数更新処理を、図２のステップＳ１の前処理の直後に実行するようにしたものである。すなわち、前処理が実行された後、クラスコード選択処理が実行され、その後、予測係数更新処理が実行される。
【０１２２】
なお、図２０のステップＳ１０１乃至Ｓ１０７における各処理は、図２のステップＳ１，Ｓ６，Ｓ５，Ｓ２，Ｓ３，Ｓ４，Ｓ７における各処理と同様であるので、その説明は省略する。
【０１２３】
図２０のフローチャートに示した順序で各処理を実行させるためには、セレクタ５（図１）が、更新回数カウンタ１１から入力される制御信号に対応して、上位階層画像メモリ３から入力された上位階層画像を、クラスコード選択回路８、予測係数更新回路７、デコード回路９および収束判定回路１０、画素値更新回路６、に順次出力するようにすればよい。
【０１２４】
図２１は、同一の原画像を用いて生成された複数の上位階層画像から復元された下位階層画像の原画像に対するS/Nを演算したシミュレーションの結果を表している。なお、縦軸はS/Nを表し、横軸は、一連のエンコード処理を実行した回数（更新回数）を表している。
【０１２５】
図２１の曲線Ａは、図２０に示したフローチャートに従って生成された上位階層画像から復元された下位階層画像のS/Nを示し、曲線Ｂは、図２に示したフローチャートに従って生成された上位階層画像から復元された下位階層画像のS/Nを示し、曲線Ｃは、図２に示したフローチャートから、ステップＳ４の画素値更新処理を省略して生成された上位階層画像から復元された下位階層画像のS/Nを示し、曲線Ｄは、従来の方法に従って生成された上位階層画像から復元された下位階層画像のS/Nを示している。
【０１２６】
同図の曲線Ａから明らかなように、図２０に示したフローチャートに従って生成された上位階層画像から復元された下位階層画像は、特に、更新回数が少ない段階において、他のものよりも高いS/Nを示している。これは、図２０のフローチャートに従えば、所望のS/Nを示す下位階層画像を復元可能な上位階層画像を短い処理時間で生成できることを示している。
【０１２７】
次に、画素値更新回路６の第２の構成例について、図２２を参照して説明する。この構成例は、図８に示した画素値更新回路６の第１の構成例の最適画素値決定回路２２および注目画素決定回路２３を、それぞれ領域最適化回路９１および注目領域決定回路９２に置換したものである。図８の最適画素値決定回路２２が、注目画素だけの画素値を最適化するのに対して、図２２の領域最適化回路９１は、注目領域に含まれる複数の画素の画素値を同時に最適化する。
【０１２８】
注目領域決定回路９２は、上位階層画像の所定のサイズの領域（例えば、７×７画素）を、順次、注目領域に決定し、その位置情報を領域最適化回路９１に出力する。また、注目領域決定回路９２は、上位階層画像の全ての画素を注目領域とした後、スイッチ２４をオンとする制御信号を出力する。
【０１２９】
図２３は、領域最適化回路９１の詳細な構成例を示している。着目画素決定回路１０１は、注目領域の画素を、順次、着目画素に決定し、その位置情報をクラスコード読取回路１０２、および予測タップ抽出回路１０３に出力する。また、着目画素決定回路１０１は、注目領域内の全ての画素を着目画素に決定した後、スイッチ１０６をオンとする制御信号を出力する。
【０１３０】
クラスコード読取回路１０２は、上位階層画像メモリ３から着目画素のクラスコード（画素データのLSB側の４ビット）を読み出して誤差関数生成回路１０４に出力する。予測タップ抽出回路１０３は、上位階層画像メモリ３から着目画素を中心とする５×５画素の予測タップを抽出して誤差関数生成回路１０４に出力する。
【０１３１】
誤差関数生成回路１０４は、着目画素に対応する誤差関数（その詳細は後述する）を生成して影響誤差関数マトリクスレジスタ１０５に出力する。影響誤差関数マトリクスレジスタ１０５は、注目領域内の全ての着目画素に対応する誤差関数を用いて、影響誤差関数マトリクスを生成し、スイッチ１０６を介して注目領域画素値演算回路１０７に出力する。
【０１３２】
注目領域画素値演算回路１０７は、スイッチ１０６を介して入力された影響誤差関数マトリクスを解いて注目領域内の画素の画素値を演算する（その詳細については後述する）。
【０１３３】
次に、画素値更新回路６の第２の構成例の動作について、図２４のフローチャートを参照して説明する。この画素値更新処理においては、注目領域以外の画素の画素値が固定されて、注目領域内の画素の画素値が最適化される。画素値更新処理は、セレクタ５から入力された上位階層画像が画素値更新回路６の上位階層画像メモリ２１に記憶されたときに開始される。
【０１３４】
ステップＳ１１１において、注目領域決定回路９２は、上位階層画像の７×７画素を注目領域に決定し、その位置情報を領域最適化回路９１に出力する。領域最適化回路９１の着目画素決定回路１０１は、ステップＳ１１２において、注目領域内の１個の画素を着目画素に決定し、その位置情報をクラスコード読取回路１０２、および予測タップ抽出回路１０３に出力する。
【０１３５】
ステップＳ１１３において、クラスコード読取回路１０２は、着目画素のクラスコード（画素データのLSB側の４ビット）を読み出して誤差関数生成回路１０４に出力する。予測タップ抽出回路１０３は、着目画素を中心とする５×５画素の予測タップを抽出して誤差関数生成回路１０４に出力する。
【０１３６】
ステップＳ１１４において、誤差関数生成回路１０４は、着目画素に対応する誤差関数を生成して影響誤差関数マトリクスレジスタ１０５に出力する。
【０１３７】
ステップＳ１１５において、着目画素決定回路１０１は、注目領域内の全ての画素を着目画素に決定したか否かを判定し、全ての画素が着目画素に決定されていないと判定された場合、ステップＳ１１２に戻り、それ以降の処理が繰り返される。ステップＳ１１５において、注目領域内の全ての画素が着目画素に決定されたと判定された場合、ステップＳ１１６に進む。
【０１３８】
ステップＳ１１６において、着目画素決定回路１０１は、スイッチ１０６をオンとする制御信号を出力する。影響誤差関数マトリクスレジスタ１０５は、入力された着目画素に対応する誤差関数から、影響誤差関数マトリクスを生成し、スイッチ１０６を介して注目領域画素値演算回路１０７に出力する。
【０１３９】
ここで、注目領域、予測タップ、誤差関数、および影響誤差関数マトリクスについて説明する。注目領域は、図２５(A)に示すように、７×７画素の４９個の画素から構成され、その左上角を１番目とした場合、ｊ番目の画素ｊが着目画素とされたとき、着目画素ｊに対応する予測タップ（tapsｊ）として、図２５(B)に示すように、画素ｊを中心とする５×５画素の２５個の画素が抽出される。したがって、図２５(A)においてｓ＝４９であり、図２５(B)においてｔ＝２５である。
【０１４０】
また、注目領域(area)と、着目画素ｊに対する予測タップ（tapsｊ）について、３種類の範囲（Ａ１ｊ乃至Ａ３ｊ）が設定される。ただし、範囲Ａ１ｊは、予測タップ（tapsｊ）に属し、注目領域(area)に属さない範囲とされ、範囲Ａ２ｊは、予測タップ（tapsｊ）に属さない、かつ、注目領域(area)に属する範囲とされ、範囲Ａ３ｊは、予測タップ（tapsｊ）に属し、注目領域(area)に属する範囲とされる。
【０１４１】
さて、上位階層画像の着目画素ｊに対応する、下位階層画像の画素値（予測値）ｙ’ｊは、次式（５）で表すことができる。なお、以下において、上付き文字（例えば、ｙ’ｊのｊ）は注目領域における番号を示し、下付き文字（例えば、ｗｔのｔ）は、予測タップ内における番号を示すものとする。
【０１４２】
【数６】
また、ｘｐｊは、着目画素ｊの予測タップ（tapsｊ）のｐ番目の画素値であり、ｗｐｊは、着目画素ｊのクラスコードに対応した係数ベクトルの、ｘｐｊにかかる係数である。ただし、実際には、上位階層画像の１個の着目画素には、下位階層画像の９個の画素が対応するので、式（５）と同様の式が、他に８本生成される。
【０１４４】
ここで、予測値ｙ’ｊに対応する真値（原画像の画素値）をｙｊとすれば、その誤差ｅｊは、次式（６）で示される。
【０１４５】
【数７】
ただし、
【数８】
【０１４７】
なお、ｎ’は、注目領域(area)内における番号ｎを、予測タップ（tapsｊ）における番号に変換した値である。また、範囲Ａ１ｊに位置する画素の画素値は、更新しないので、ｙ''ｊは固定値である。したがって、着目画素に対応する自乗誤差を求めるには、式（６）と同様の式を、他に８本生成し、それぞれを２乗して足し合わせればよい。その結果を誤差関数Ｅｋとする。
【０１４８】
注目領域(area)内の全ての画素に対応する誤差関数Ｅｋを足し合わせたものを影響誤差関数Ｅａｒｅａとする。
【０１４９】
【数９】
ここで、既に述べたように、Ｅｋは、（ｅｋ）２を９つ足し合わせたものであるが、簡略化するために、Ｅｋ＝（ｅｋ）２とする。
【０１５１】
次に、注目領域(area)内における番号ｎに対応する画素の画素値をｘｉとし、影響誤差関数Ｅａｒｅａの値を最小にする画素値ｘ１乃至ｘｓを最小自乗法により求める。
【０１５２】
まず、式（８）の画素値ｘｉによる偏微分係数（次式（９））を求め、その値が０となるように画素値ｘｉを決定する。
【０１５３】
【数１０】
ここで、式（７）に基づいて、ＷｊｉおよびＹｉを次式（１０）のように定める。
【０１５５】
【数１１】
式（９）の値を０として、次式（１１）のような行列式を得る。
【数１２】
【０１５７】
図２４のステップＳ１１７の説明に戻る。ステップＳ１１７において、注目領域画素値演算回路１０７は、入力された影響誤差関数マトリクスに対し、掃き出し法等の一般的な行列解法を適用して、画素値ｘ１乃至ｘｓを演算し、上位階層画像メモリ２１に出力する。上位階層画像メモリ２１は、入力された画素値ｘ１乃至ｘｓを用いて、それまで記憶していた値を更新する。
【０１５８】
ステップＳ１１８において、注目領域決定回路９２は、上位階層画像の全ての画素を注目領域に決定したか否かを判定し、全ての画素を注目領域に決定していないと判定した場合、ステップＳ１１１に戻り、それ以降の処理が繰り返される。
【０１５９】
その後、ステップＳ１１８において、上位階層画像の全ての画素が注目領域に決定されたと判定された場合、注目領域決定回路９２は、スイッチ２４をオンとする制御信号を出力する。スイッチ２４がオンとされることにより、上位階層画像メモリ２１に記憶されている、画素値が最適化された上位階層画像が後段の上位階層画像メモリ３に出力される。
【０１６０】
このように、領域単位で処理すると、より高いS/Nの画像を得ることができる。
【０１６１】
図２６は、本発明を適用したエンコーダの第２の構成例を表している。このエンコーダ１１１は、図１に示したエンコーダ１の収束判定回路１０の後段に予測係数拡張回路１１２を追加したものである。予測係数拡張回路１１２は、収束判定回路１０が出力した、４ビット（１６種類）のクラスコードに対応する予測係数テーブルを、５ビット（３２種類）の拡張クラスコードに対応するさせるものである。
【０１６２】
予測係数拡張回路１１２の詳細な構成例について、図２７を参照して説明する。収束判定回路１０から入力された上位階層画像は、予測係数拡張回路１１２において、予測タップ抽出回路１２２、クラスコード読取回路１２３、および空間クラスコード判定回路１２４に供給される。着目画素決定回路１２１は、上位階層画像の画素を順次、着目画素に決定し、その位置情報を予測タップ抽出回路１２２、クラスコード読取回路１２３、および空間クラスコード判定回路１２４に出力する。
【０１６３】
予測タップ抽出回路１２２は、着目画素を中心とする５×５画素の予測タップの画素値（画素データのMSB側の４ビット）を抽出して正規方程式生成回路１２６に出力する。クラスコード読取回路１２３は、着目画素のクラスコード（画素データのLSB側の４ビット）を読み出して空間クラスコード判定回路１２４に出力する。
【０１６４】
空間クラスコード判定回路１２４は、着目画素の空間クラスコードを判定する。すなわち、図２８に示すように、着目画素の画素値と、その近傍（例えば、左隣の画素）の画素の画素値を比較して、着目画素の画素値の方が大きい場合、空間クラスコード（１ビット）を０に決定し、近傍の画素の画素値の方が大きい場合、空間クラスコードを１に決定する。さらに、空間クラスコード判定回路１２４は、クラスコード読取回路１２３から入力された４ビットのクラスコードのMSB側に空間クラスコードを付加して拡張クラスコード（５ビット）を生成し、正規方程式生成回路１２６に出力する。
【０１６５】
なお、空間クラスコードのビット数は、１ビットに限定されるものではなく、複数ビットであってもよい。また、空間クラスコードを上述した方法によって決定するのではなく、例えば、１ビットADRC処理や微分値や差分値から決定してもよい。
【０１６６】
教師データ抽出回路１２５は、原画像から教師データ（予測タップを用いて生成される下位階層画像の画素値の真値）を抽出して正規方程式生成回路１２６に出力する。正規方程式生成回路１２６は、着目画素の拡張クラスコード毎に、既知である教師データおよび予測タップの画素値、並びに、変数としての予測係数から成る正規方程式を生成して、予測係数演算回路１２７に出力する。
【０１６７】
予測係数演算回路１２７は、入力された正規方程式に最小自乗法を適用して３２種類（５ビット）の拡張クラスコードに対応する予測係数を演算し、後段に出力する。なお、正規方程式生成回路１２６からの正規方程式が解けない場合、予測係数演算回路１２７は、予測係数メモリ４から供給される１６種類（４ビット）のクラスコードに対応した予測係数テーブルを後段に出力する。
【０１６８】
次に、予測係数拡張回路１１２の動作について、図２９のフローチャートを参照して説明する。この予測係数拡張処理は、収束判定回路１０から最適上位階層画像が入力されたときに開始される。
【０１６９】
ステップＳ１２１において、着目画素決定回路１２１は、上位階層画像の１個の画素を着目画素に決定し、その位置情報を予測タップ抽出回路１２２、クラスコード読取回路１２３、および空間クラスコード判定回路１２４に出力する。
【０１７０】
ステップＳ１２２において、クラスコード読取回路１２３は、着目画素のクラスコード（画素データのLSB側の４ビット）を読み出して空間クラスコード判定回路１２４に出力する。ステップＳ１２３において、空間クラスコード判定回路１２４は、着目画素の画素値と、その近傍の画素の画素値を比較して、着目画素の画素値の方が大きい場合、空間クラスコード（１ビット）を０に決定し、近傍の画素の画素値の方が大きい場合、空間クラスコードを１に決定する。さらに、空間クラスコード判定回路１２４は、クラスコード読取回路１２３から入力された４ビットのクラスコードのMSB側に空間クラスコードを付加して拡張クラスコード（５ビット）を生成し、正規方程式生成回路１２６に出力する。
【０１７１】
ステップＳ１２４において、予測タップ抽出回路１２２は、着目画素を中心とする５×５画素の予測タップの画素値（画素データのMSB側の４ビット）を抽出して正規方程式生成回路１２６に出力する。
【０１７２】
ステップＳ１２５において、正規方程式生成回路１２６は、着目画素のクラスコード毎に、既知である教師データおよび予測タップの画素値、並びに、変数としての予測係数から成る正規方程式を生成して、予測係数演算回路１２７に出力する。
【０１７３】
ステップＳ１２６において、着目画素決定回路１２１は、上位階層画像の全ての画素を着目画素としたか否かを判定し、全ての画素を着目画素としていないと判定した場合、ステップＳ１２１に戻り、それ以降の処理が繰り返される。ステップＳ１２６において、全ての画素を着目画素としたと判定された場合、ステップＳ１２７に進む。
【０１７４】
ステップＳ１２７において、予測係数演算回路１２７は、ステップＳ１２５で正規方程式生成回路１２６が生成した正規方程式に最小自乗法を適用し、３２種類（５ビット）の拡張クラスコードに対応する予測係数を演算し、得られた予測係数（予測係数テーブル）を後段に出力する。
【０１７５】
以上のように、予測係数拡張回路１１２では、予測係数を拡張クラスコード（５ビット）に対応させるが、着目画素の画素データのLSB側の５ビットに拡張クラスコードを書き込むわけではなく、着目画素の画素値（画素データのMSB側の４ビット）を変化させないので、この上位階層画像から生成される下位階層画像に階調欠如を発生させることはない。
【０１７６】
図３０は、図２６に示したエンコーダ１１１で生成された上位階層画像から原画像を復元する（下位階層画像を生成する）デコーダの構成例を示している。
【０１７７】
このデコーダ１３１は、図１８に示したデコーダ８１に空間クラスコード判定回路１３２を追加したものである。空間クラスコード判定回路１３２には、エンコーダ１からの上位階層画像、着目画素決定回路８２からの着目画素の位置情報、およびクラスコード読取回路８３からのクラスコード（着目画素の画素データのLSB側の４ビット）が入力される。
【０１７８】
空間クラスコード判定回路１３２は、着目画素の画素値と、その所定の近傍（いまの場合、左隣）の画素の画素値を比較して、着目画素の画素値の方が大きい場合、空間クラスコード（１ビット）を０に決定し、近傍の画素の画素値の方が大きい場合、空間クラスコードを１に決定する。さらに、空間クラスコード判定回路１３２は、クラスコード読取回路８３から入力された４ビットのクラスコードのMSB側に空間クラスコードを付加して拡張クラスコード（５ビット）を生成し、マッピング回路８５に出力する。なお、空間クラスコード判定回路１３２以外の構成回路については、図１８に示したものと同様であるので、その説明は省略する。
【０１７９】
次に、デコーダ１３１の動作について、図３１のフローチャートを参照して説明する。このデコード処理は、エンコーダ１１１が出力した予測係数テーブルが、マッピング回路８５に供給された後、順次入力されるフレーム単位の上位階層画像に対して実行される。
【０１８０】
ステップＳ１３１において、着目画素決定回路８２は、上位階層画像の１個の画素を、着目画素に決定し、その位置情報をクラスコード読取回路８３、予測タップ抽出回路８４、および空間クラスコード判定回路１３２に出力する。ステップＳ１３２において、クラスコード読取回路８３は、上位階層画像から着目画素のクラスコード（画素データのLSB側の４ビット）を読み取って、空間クラスコード判定回路１３２に出力する。
【０１８１】
ステップＳ１３３において、空間クラスコード判定回路１３２は、着目画素の画素値と、その左隣の画素の画素値を比較して、着目画素の画素値の方が大きい場合、空間クラスコード（１ビット）を０に決定し、近傍の画素の画素値の方が大きい場合、空間クラスコードを１に決定する。さらに、空間クラスコード判定回路１３２は、クラスコード読取回路８３から入力された４ビットのクラスコードのMSB側に空間クラスコードを付加して拡張クラスコード（５ビット）を生成し、マッピング回路８５に出力する。
【０１８２】
ステップＳ１３４において、予測タップ抽出回路８４は、入力された上位階層画像から着目画素を中心とする５×５画素の予測タップに含まれる画素の画素値（画素データのMSB側の４ビット）を抽出してマッピング回路８５に出力する。
【０１８３】
ステップＳ１３５において、マッピング回路８５は、空間クラスコード判定回路１３２より入力される拡張クラスコードに対応する予測係数を予測係数テーブルから読み出して、読み出した予測係数と、予測タップの各画素の画素値との線形１次結合を演算し、演算結果を下位階層画像の画素値として下位階層画像メモリ８６に出力する。
【０１８４】
ステップＳ１３６において、着目画素決定回路８２は、上位階層画像の全ての画素を着目画素としたか否かを判定し、全ての画素を着目画素としたと判定するまで、ステップＳ１３１乃至Ｓ１３６の処理が繰り返される。ステップＳ１３７において、全ての画素を着目画素としたと判定された場合、ステップＳ１３７で下位階層画像メモリ８６から下位階層画像の画素値がフレーム単位で、図示せぬモニタに出力される。
【０１８５】
図３２は、図２６に示したエンコーダ１１１で生成された上位階層画像を用い、図３０に示したデコーダ１３１が復元した下位階層画像の原画像に対するS/Nを演算したシミュレーションの結果を表している。同図から明らかなように、LSB側４ビットをクラスコードとして繰り返し更新を実行してS/Nが収束した後（更新回数２０回目まで）、更新回数２１回目において、予測係数を３２種類（５ビット）の拡張クラスコードに対応させることにより、さらにS/Nが向上する。
【０１８６】
なお、本実施の形態においては、画素データを８ビットとして、そのMSB側の４ビットを画素値、LSB側の４ビットをクラスコードとしたが、これらのビット数は変更してもかまわない。また、そのMSB側をクラスコードとし、LSB側を画素値としてもかまわない。さらに、画素値とクラスコードを分離して記憶するようにしてもかまわない。
【０１８７】
また、クラスタップ、予測タップ、および、画素値の更新を行う領域等の形状は、上述したものに限定されず、例えば、円形や不連続な形状でもよい。また、対称形状であってもよいし、非対称形状であってもよい。
【０１８８】
また、本実施の形態においては、原画像を、より少ない画素数からなる、原画像に復元可能な画像に変換したが、例えば、原画像を、原画像と同じ画素数からなる画像であって、かつ、１画素当たりの情報量（例えば、５ビット）が、原画像の１画素当たりの情報量（例えば、８ビット）よりも少ない、原画像に復元可能な画像に変換する場合にも、本発明を適用することが可能である。
【０１８９】
また、本発明の主旨を逸脱しない範囲において、様々な変形や応用例が考えられる。したがって、本発明の主旨は本実施の形態に限定されるものではない。
【０１９０】
なお、上記各処理を行うコンピュータプログラムは、磁気ディスク、CD-ROM等の情報記録媒体よりなる提供媒体のほか、インターネット、デジタル衛星などのネットワーク提供媒体を介してユーザに提供することができる。
【０１９１】
【発明の効果】
以上のように、本発明によれば、原画像を復元可能な上位階層画像を短時間で生成することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用したエンコーダ１の第１の構成例を示すブロック図である。
【図２】図１のエンコーダ１の動作を説明するフローチャートである。
【図３】図１の前処理回路２の動作を説明するフローチャートである。
【図４】図３のステップＳ１１の詳細を説明するフローチャートである。
【図５】画素の配置を説明する図である。
【図６】画素データを説明する図である。
【図７】図３のステップＳ１２の詳細を説明するフローチャートである。
【図８】図１の画素値更新回路６の第１の構成例を示すブロック図である。
【図９】図８の最適画素値決定回路２２の構成例を示すブロック図である。
【図１０】図８の画素値更新回路６の動作を説明するフローチャートである。
【図１１】画素の配置を説明する図である。
【図１２】図１の予測係数更新回路７の構成例を示すブロック図である。
【図１３】図１２の予測係数更新回路７の動作を説明するフローチャートである。
【図１４】図１のクラスコード選択回路８の構成例を示すブロック図である。
【図１５】図１４のクラスコード選択回路８の動作を説明するフローチャートである。
【図１６】図１のデコード回路９の構成例を示すブロック図である。
【図１７】図１６のデコード回路９の動作を説明するフローチャートである。
【図１８】図１に示したエンコーダ１に対応するデコータ８１の構成例を示すブロック図である。
【図１９】図１８のデコーダ８１の動作を説明するフローチャートである。
【図２０】図１のエンコーダ１の他の動作を説明するフローチャートである。
【図２１】シミュレーション結果を示す図である。
【図２２】図１の画素値更新回路６の第２の構成例を示すブロック図である。
【図２３】図２２の領域最適化回路９１の構成例を示すブロック図である。
【図２４】図２２の画素値更新回路６の動作を説明するフローチャートである。
【図２５】影響誤差関数マトリクスを説明するための図である。
【図２６】本発明を適用したエンコーダの第２の構成例を示すブロック図である。
【図２７】図２６の予測係数拡張回路１１２の構成例を示すブロック図である。
【図２８】拡張クラスコードを説明するための図である。
【図２９】図２７の予測係数拡張回路１１２の動作を説明するフローチャートである。
【図３０】図２６のエンコーダ１の対応するデコーダ１３１の構成例を示すブロック図である。
【図３１】図３０のデコーダ１３１の動作を説明するフローチャートである。
【図３２】シミュレーション結果を示す図である。
【符号の説明】
１ エンコーダ， ２ 前処理回路， ３ 上位階層画像メモリ， ４ 予測係数メモリ， ５ セレクタ， ６ 画素値更新回路， ７ 予測係数更新回路， ８ クラスコード選択回路， ９ デコード回路， １０ 収束判定回路，１１ 更新回数カウンタ， ２２ 最適画素値決定回路， ８１ デコーダ，８２ 着目画素決定回路， ８３ クラスコード読取回路， ８４ 予測タップ抽出回路， ８５ マッピング回路， ８６ 下位階層画像メモリ， ９１ 領域最適化回路， １１１ エンコーダ， １１２ 予測係数拡張回路， １２４ 空間クラスコード判定回路， １３１ デコーダ， １３２ 空間クラスコード判定回路
Claims (4)
- 複数の画素からなる原画像を、前記原画像に復元するための、前記原画像より少ない画素からなり、各画素の所定のビット列から成る画素データの上位側ビット列が画素値を示し、前記画像データの前記上位側ビット列以外の下位側ビット列がクラスコードを示す上位階層画像に変換する画像変換装置において、
前処理として、
前記原画像を所定のサイズの画素ブロックに分割し、前記画素ブロック毎に画素値を平均化または画素を間引くことによって初期の上位階層画像の１画素分の画素値を決定して前記画素データの上位側ビット列とし、
各画素の画素データの上位側ビット列だけが決定された前記初期の上位階層画像の画素を順次、着目画素とし、
前記着目画素とその近傍の複数の画素から成るクラスタップを前記初期の上位階層画像から抽出し、前記クラスタップを構成する複数の画素の画素値を符号化することによって前記着目画素に対応するクラスコードを決定して前記着目画素の画素データの下位側ビット列とすることにより、前記初期の上位階層画像の前記着目画素の画素データを生成し、
前記着目画素とその近傍の複数の画素から成る予測タップを前記初期の上位階層画像から抽出し、既知である前記原画像の画素値と、既知である前記予測タップを構成する複数の画素の画素値と、未知である予測係数とからなる正規方程式を、同一のクラスコードに分類される着目画素毎に解くことによって各クラスコードに対応する前記予測係数を生成し、
生成した前記予測係数を前記クラスコードに対応付けて予測係数メモリに記憶させるとともに、
生成した前記初期の上位階層画像を上位階層画像メモリに記憶させる
前処理手段と、
前記上位階層画像メモリに記憶されている前記上位階層画像の画素を順次、着目画素とし、前記着目画素とその近傍の複数の画素から成る予測タップを前記上位階層画像から抽出し、前記予測タップを構成する複数の画素の画素データの上位ビット列に記憶されている画素値と、前記予測係数メモリに記憶されている各クラスコードにそれぞれ対応する予測係数との線形１次結合により前記下位階層画像の画素値を生成し、生成した前記下位階層画像の画素値と前記原画像の対応する画素値との比較結果に応じて、前記着目画素に対する最適なクラスコードを決定し、決定したクラスコードを用いて、前記着目画素の画素データの下位側ビット列を更新するクラスコード更新手段と、
前記上位階層画像メモリに記憶されている前記上位階層画像の画素を順次、着目画素とし、前記着目画素とその近傍の複数の画素から成る予測タップを前記上位階層画像から抽出し、既知である前記原画像の画素値と、既知である前記予測タップを構成する複数の画素の画素値と、更新対象の予測係数とからなる正規方程式を、同一のクラスコードに分類される着目画素毎に解くことによって各クラスコードに対応する前記予測係数を再度生成して、再度生成した前記予測係数を前記クラスコードに対応付けて予測係数メモリに記憶させる予測係数更新手段と、
前記上位階層画像メモリに記憶されている前記上位階層画像の画素を順次、着目画素とし、前記着目画素とその近傍の複数の画素から成る予測タップを前記上位階層画像から抽出し、前記予測タップを構成する複数の画素の画素データの上位ビット列に記憶されている画素値と、前記着目画素の画素データの下位側ビット列に記録されているクラスコードに対応する予測係数との線形１次結合により、前記原画像と同じ画素数から成る下位階層画像の画素値を演算する演算手段と、
前記原画像と前記下位階層画像と S/N の変化を検出する検出手段とを含み、
前記予測係数更新手段は、前記前処理手段の動作後であって、前記演算手段および前記検出手段の動作の前に、動作を行い、前記 S/N の増加量が収束していない場合にも動作す る
画像変換装置。 - 前記 S/N の増加量が収束していない場合、前記上位階層画像メモリに記憶されている前記上位階層画像の画素を順次、注目画素とし、前記注目画素とその近傍の複数の画素から成る予測タップを前記上位階層画像から抽出し、前記予測タップを構成する複数の画素の画素データの上位ビット列に記憶されている画素値と、前記注目画素の画素データの下位ビット列に記憶されているクラスコードに対応する予測係数との線形１次結合により前記下位階層画像の画素値を生成し、生成した前記下位階層画像の画素値と前記原画像の対応する画素値との比較結果に応じて、前記注目画素に対する最適な画素値を決定し、決定した画素値を用いて、前記注目画素の画素データの上位側ビット列を更新する画素値更新手段を
さらに含む請求項１に記載の画像変換装置。 - 複数の画素からなる原画像を、前記原画像に復元するための、前記原画像より少ない画素からなり、各画素の所定のビット列から成る画素データの上位側ビット列が画素値を示し、前記画像データの前記上位側ビット列以外の下位側ビット列がクラスコードを示す上位階層画像に変換する画像変換装置の画像変換方法において、
前処理として、
前記原画像を所定のサイズの画素ブロックに分割し、前記画素ブロック毎に画素値を平均化または画素を間引くことによって初期の上位階層画像の１画素分の画素値を決定して前記画素データの上位側ビット列とし、
各画素の画素データの上位側ビット列だけが決定された前記初期の上位階層画像の画素を順次、着目画素とし、
前記着目画素とその近傍の複数の画素から成るクラスタップを前記初期の上位階層画像から抽出し、前記クラスタップを構成する複数の画素の画素値を符号化することによって前記着目画素に対応するクラスコードを決定して前記着目画素の画素データの下位側ビット列とすることにより、前記初期の上位階層画像の前記着目画素の画素データを生成し、
前記着目画素とその近傍の複数の画素から成る予測タップを前記初期の上位階層画像から抽出し、既知である前記原画像の画素値と、既知である前記予測タップを構成する複数の画素の画素値と、未知である予測係数とからなる正規方程式を、同一のクラスコードに分類される着目画素毎に解くことによって各クラスコードに対応する前記予測係数を生成し、
生成した前記予測係数を前記クラスコードに対応付けて予測係数メモリに記憶させるとともに、
生成した前記初期の上位階層画像を上位階層画像メモリに記憶させる
前処理ステップと、
前記上位階層画像メモリに記憶されている前記上位階層画像の画素を順次、着目画素とし、前記着目画素とその近傍の複数の画素から成る予測タップを前記上位階層画像から抽出し、前記予測タップを構成する複数の画素の画素データの上位ビット列に記憶されている画素値と、前記予測係数メモリに記憶されている各クラスコードにそれぞれ対応する予測係数との線形１次結合により前記下位階層画像の画素値を生成し、生成した前記下位階層画像の画素値と前記原画像の対応する画素値との比較結果に応じて、前記着目画素に対する最適なクラスコードを決定し、決定したクラスコードを用いて、前記着目画素の画素データの下位側ビット列を更新するクラスコード更新ステップと、
前記上位階層画像メモリに記憶されている前記上位階層画像の画素を順次、着目画素とし、前記着目画素とその近傍の複数の画素から成る予測タップを前記上位階層画像から抽出し、既知である前記原画像の画素値と、既知である前記予測タップを構成する複数の画素の画素値と、更新対象の予測係数とからなる正規方程式を、同一のクラスコードに分類 される着目画素毎に解くことによって各クラスコードに対応する前記予測係数を再度生成して、再度生成した前記予測係数を前記クラスコードに対応付けて予測係数メモリに記憶させる予測係数更新ステップと、
前記上位階層画像メモリに記憶されている前記上位階層画像の画素を順次、着目画素とし、前記着目画素とその近傍の複数の画素から成る予測タップを前記上位階層画像から抽出し、前記予測タップを構成する複数の画素の画素データの上位ビット列に記憶されている画素値と、前記着目画素の画素データの下位側ビット列に記録されているクラスコードに対応する予測係数との線形１次結合により、前記原画像と同じ画素数から成る下位階層画像の画素値を演算する演算ステップと、
前記原画像と前記下位階層画像と S/N の変化を検出する検出ステップとを含み、
前記予測係数更新ステップは、前記前処理ステップの実行後であって、前記演算ステップおよび前記検出ステップの実行の前に、実行され、前記 S/N の増加量が収束していない場合にも実行される
画像変換方法。 - 複数の画素からなる原画像を、前記原画像に復元するための、前記原画像より少ない画素からなり、各画素の所定のビット列から成る画素データの上位側ビット列が画素値を示し、前記画像データの前記上位側ビット列以外の下位側ビット列がクラスコードを示す上位階層画像に変換する画像変換装置の制御用のプログラムであって、
前処理として、
前記原画像を所定のサイズの画素ブロックに分割し、前記画素ブロック毎に画素値を平均化または画素を間引くことによって初期の上位階層画像の１画素分の画素値を決定して前記画素データの上位側ビット列とし、
各画素の画素データの上位側ビット列だけが決定された前記初期の上位階層画像の画素を順次、着目画素とし、
前記着目画素とその近傍の複数の画素から成るクラスタップを前記初期の上位階層画像から抽出し、前記クラスタップを構成する複数の画素の画素値を符号化することによって前記着目画素に対応するクラスコードを決定して前記着目画素の画素データの下位側ビット列とすることにより、前記初期の上位階層画像の前記着目画素の画素データを生成し、
前記着目画素とその近傍の複数の画素から成る予測タップを前記初期の上位階層画像から抽出し、既知である前記原画像の画素値と、既知である前記予測タップを構成する複数の画素の画素値と、未知である予測係数とからなる正規方程式を、同一のクラスコードに分類される着目画素毎に解くことによって各クラスコードに対応する前記予測係数を生成し、
生成した前記予測係数を前記クラスコードに対応付けて予測係数メモリに記憶させるとともに、
生成した前記初期の上位階層画像を上位階層画像メモリに記憶させる
前処理ステップと、
前記上位階層画像メモリに記憶されている前記上位階層画像の画素を順次、着目画素とし、前記着目画素とその近傍の複数の画素から成る予測タップを前記上位階層画像から抽出し、前記予測タップを構成する複数の画素の画素データの上位ビット列に記憶されている画素値と、前記予測係数メモリに記憶されている各クラスコードにそれぞれ対応する予測係数との線形１次結合により前記下位階層画像の画素値を生成し、生成した前記下位階層画像の画素値と前記原画像の対応する画素値との比較結果に応じて、前記着目画素に対する最適なクラスコードを決定し、決定したクラスコードを用いて、前記着目画素の画素データの下位側ビット列を更新するクラスコード更新ステップと、
前記上位階層画像メモリに記憶されている前記上位階層画像の画素を順次、着目画素とし、前記着目画素とその近傍の複数の画素から成る予測タップを前記上位階層画像から抽出し、既知である前記原画像の画素値と、既知である前記予測タップを構成する複数の画 素の画素値と、更新対象の予測係数とからなる正規方程式を、同一のクラスコードに分類される着目画素毎に解くことによって各クラスコードに対応する前記予測係数を再度生成して、再度生成した前記予測係数を前記クラスコードに対応付けて予測係数メモリに記憶させる予測係数更新ステップと、
前記上位階層画像メモリに記憶されている前記上位階層画像の画素を順次、着目画素とし、前記着目画素とその近傍の複数の画素から成る予測タップを前記上位階層画像から抽出し、前記予測タップを構成する複数の画素の画素データの上位ビット列に記憶されている画素値と、前記着目画素の画素データの下位側ビット列に記録されているクラスコードに対応する予測係数との線形１次結合により、前記原画像と同じ画素数から成る下位階層画像の画素値を演算する演算ステップと、
前記原画像と前記下位階層画像と S/N の変化を検出する検出ステップとを含み、
前記予測係数更新ステップは、前記前処理ステップの実行後であって、前記演算ステップおよび前記検出ステップの実行の前に、実行され、前記 S/N の増加量が収束していない場合にも実行される
処理を画像変換装置のコンピュータに実行させるコンピュータが読み取り可能なプログラムが記録されている記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP08086799A JP4200401B2 (ja) | 1999-03-25 | 1999-03-25 | 画像変換装置および方法、並びに記録媒体 |
| TW89105530A TW554628B (en) | 1999-03-25 | 2000-03-24 | Image-signal conversion method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP08086799A JP4200401B2 (ja) | 1999-03-25 | 1999-03-25 | 画像変換装置および方法、並びに記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000278698A JP2000278698A (ja) | 2000-10-06 |
| JP4200401B2 true JP4200401B2 (ja) | 2008-12-24 |
Family
ID=13730306
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP08086799A Expired - Fee Related JP4200401B2 (ja) | 1999-03-25 | 1999-03-25 | 画像変換装置および方法、並びに記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4200401B2 (ja) |
-
1999
- 1999-03-25 JP JP08086799A patent/JP4200401B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000278698A (ja) | 2000-10-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6912014B2 (en) | Image processing device and method, and recording medium | |
| KR20210129206A (ko) | 인코딩 및 디코딩 방법 및 장치, 인코딩단 기기 및 디코딩단 기기 | |
| JPH0795475A (ja) | 信号変換装置 | |
| JPH07177502A (ja) | 画像情報圧縮方法、圧縮画像情報記録媒体、圧縮画像情報再生装置 | |
| AU714554B2 (en) | Image coding and decoding using mapping coefficients corresponding to class information of pixel blocks | |
| US6658155B1 (en) | Encoding apparatus | |
| JP4200401B2 (ja) | 画像変換装置および方法、並びに記録媒体 | |
| JP4200403B2 (ja) | 画像符号化装置および方法、画像復号装置および方法、画像伝送システムおよび方法、並びに記録媒体 | |
| JP4200402B2 (ja) | 画像変換装置および方法、並びに記録媒体 | |
| JP4214595B2 (ja) | 画像変換装置および方法、並びに記録媒体 | |
| JP4306082B2 (ja) | 画像信号変換装置および方法、情報信号変換装置および方法、並びに記録媒体 | |
| Kim et al. | Block matching algorithm using a genetic algorithm | |
| JP3991346B2 (ja) | 画像変換装置および方法、並びに記録媒体 | |
| JP4103059B2 (ja) | 画像変換装置および方法、並びに記録媒体 | |
| JP2000348019A (ja) | データ処理装置およびデータ処理方法、並びに媒体 | |
| JP4281230B2 (ja) | 画像符号化装置および方法、記録媒体、並びに画像処理システム | |
| KR102664248B1 (ko) | 인코딩 및 디코딩 방법 및 장치, 인코딩단 기기 및 디코딩단 기기 | |
| JP2000512827A (ja) | 像間動き評価方法 | |
| JP3620069B2 (ja) | 信号変換装置および方法 | |
| JP2000217106A (ja) | 画像符号化装置および方法、画像復号装置および方法、並びに提供媒体 | |
| JP3075049B2 (ja) | 画像符号化装置 | |
| JP3777600B2 (ja) | 画像情報変換装置、係数算出装置、代表画素信号設定装置および方法、記憶装置、記録媒体、並びにプログラム | |
| JP3612728B2 (ja) | 信号変換装置および方法 | |
| JP4151316B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| JP4623345B2 (ja) | 画像処理装置および方法、並びに記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051208 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080626 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080821 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080911 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080924 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111017 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121017 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131017 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |