JP4306082B2 - 画像信号変換装置および方法、情報信号変換装置および方法、並びに記録媒体 - Google Patents
画像信号変換装置および方法、情報信号変換装置および方法、並びに記録媒体 Download PDFInfo
- Publication number
- JP4306082B2 JP4306082B2 JP2000069696A JP2000069696A JP4306082B2 JP 4306082 B2 JP4306082 B2 JP 4306082B2 JP 2000069696 A JP2000069696 A JP 2000069696A JP 2000069696 A JP2000069696 A JP 2000069696A JP 4306082 B2 JP4306082 B2 JP 4306082B2
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- class code
- prediction coefficient
- pixel
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、画像信号変換装置および方法、情報信号変換装置および方法、並びに記録媒体に関し、例えば、原信号を原信号よりも情報量が少ない出力信号に変換する場合に用いて好適な画像信号変換装置および方法、情報信号変換装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
原画像を構成する画素よりも情報量の少ない画素から構成される上位階層画像を生成し、この上位階層画像から、原画像とほぼ同一の下位階層画像を生成する（原画像を復元する）する技術がある。この技術については、本出願人により、特願平８−２０６５５２、および、その対応米国特許出願シリアルナンバ８９３２０２号（１９９７年７月１５日出願）として提案されている。
【０００３】
この提案においては、下位階層画像の画素値は、上位階層画像の着目画素を中心とする予測タップの画素値と、着目画素が分類されるクラスコードに対応する予測係数の線形１次結合からなる予測式を演算することにより求められる。なお、着目画素のクラスコードは、着目画素とその近傍の画素から構成されるクラスタップの画素値から決定される。
【０００４】
したがって、原画像とほぼ等しい下位階層画像を生成することが可能な上位階層画像を生成するには、画素値とクラスコード（予測係数）を同時に最適化することが理想的である。
【０００５】
【発明が解決しようとする課題】
しかしながら、サンプル値とクラスコード（予測係数）を同時に適正化するためには、上位階層画像の全てのサンプルのサンプル値を同時に変動させる必要があるが、そのようにするには演算量が膨大となることから、サンプル値とクラスコード（予測係数）を同時に適正化することは、実質的には不可能である課題があった。
【０００６】
また、例えば、クラスコード（予測係数）を適正化した後、サンプル値を適正化した場合、クラスコードは着目サンプル等のサンプル値から決定されていることから、先に適正化したクラスコードが変化してしまう。このように、サンプル値とクラスコードのうちの一方を固定した後、他方を適正化することができない課題があった。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、画素値（サンプル値）と予測係数の双方を、他方に影響されることなく適正化することにより、原画像（原信号）を復元可能な上位階層画像（信号）を生成できるようにするものである。
【０００８】
【課題を解決するための手段】
本発明の第１の画像信号変換装置は、原画像信号から出力画像信号と同じ情報量の中間画像信号を生成する中間画像信号生成手段と、中間画像信号の各画素の画素値を各クラスコードと対応付けて記憶する中間画像記憶手段と、各クラスコードに対して予測係数を対応付けて記憶する予測係数記憶手段と、中間画像信号、中間画像信号の着目画素に対応付けられたクラスコード、および原画像信号に基づいて、クラスコードに対する最適な予測係数を生成し、予測係数記憶手段における各クラスコードに対する予測係数を更新する予測係数更新手段と、中間画像信号、中間画像信号の着目画素の画素値に対応付けられたクラスコードと対応付けられた予測係数、並びに原画像信号に基づいて、中間画像信号の着目画素に対する最適なクラスコードを選択し、中間画像記憶手段における中間画像信号の着目画素の画素値に対するクラスコードの対応付けを更新するクラスコード更新手段と、所定の条件を満たしたとき、中間画像信号を出力画像信号に決定する決定手段とを含み、中間画像記憶手段は、中間画像信号の各画素毎に、画素値およびクラスコードを包含する画素データを記憶する。
【０００９】
前記予測係数更新手段およびクラスコード更新手段は、決定手段が所定の条件を満たしたことを検出するまで、予測係数およびクラスコードの更新を繰り返して実行するようにすることができる。
【００１０】
本発明の第１の画像信号変換装置は、中間画像記憶手段が記憶した中間画像信号の各画素値、予測係数記憶手段が記憶した中間画像信号の各画素値に対応するクラスコードと対応付けられた予測係数に基づいて、原画像信号と同じ情報量を有する予測画像信号の１または複数の画素値を生成する予測画像生成手段をさらに含むことができ、前記決定手段は、所定の条件として、中間画像信号と原画像信号の比較結果に基づく条件を用いるようにすることができる。
【００１１】
前記決定手段は、中間画像信号と原画像信号の誤差を比較結果とし、比較結果が閾値以下になったとき、所定の条件を満たしたと検出するようにすることができる。
【００１２】
前記決定手段は、予測係数およびクラスコードの更新回数が閾値に達したとき、所定の条件を満たしたと検出するようにすることができる。
【００１３】
本発明の第１の画像信号変換装置は、原画像信号および中間画像信号に基づいて、初期予測係数を生成し、予測係数記憶手段に記憶させる初期予測係数生成手段をさらに含むことができる。
【００１４】
本発明の第１の画像信号変換装置は、中間画像信号の着目画素に基づいて選定される画素の画素値、およびクラスコード更新手段で更新されたクラスコードに基づいて、拡張クラスコードを生成する拡張クラスコード生成手段と、拡張クラスコードに対応する拡張予測係数を生成する拡張予測係数生成手段とをさらに含むことができる。
【００１６】
本発明の第１の画像信号変換装置は、出力画像信号および予測係数記憶手段に記憶された予測係数を出力する出力手段をさらに含むことができる。
【００１７】
本発明の第１の画像信号変換装置は、中間画像信号の注目画素に基づいて選定される着目画素に対応付けられたクラスコードと対応付けられた予測係数、中間画像信号の注目画素に基づいて選定される少なくとも１つの着目画素、および原画像信号に基づいて、中間画像信号の注目画素の最適な画素値を生成し、中間画像記憶手段における注目画素の画素値を更新する画素値更新手段をさらに含むことができる。
【００１８】
本発明の第１の画像信号変換方法は、原画像信号から出力画像信号と同じ情報量の中間画像信号を生成する中間画像信号生成ステップと、中間画像信号の各画素の画素値を各クラスコードに対応付けて中間画像記憶部に記憶する中間画像記憶ステップと、各クラスコードに対して予測係数を対応付けて予測係数記憶部に記憶する予測係数記憶ステップと、中間画像信号、中間画像信号の着目画素に対応付けられたクラスコード、および原画像信号に基づいて、クラスコードに対する最適な予測係数を生成し、予測係数記憶部における各クラスコードに対する予測係数を更新する予測係数更新ステップと、中間画像信号、中間画像信号の着目画素の画素値に対応付けられたクラスコードと対応付けられた予測係数、および原画像信号に基づいて、中間画像信号の着目画素に対する最適なクラスコードを選択し、中間画像記憶部における中間画像信号の着目画素の画素値に対するクラスコードの対応付けを更新するクラスコード更新ステップと、所定の条件を満たしたとき、予測画像信号を出力画像信号に決定する決定ステップとを含み、中間画像記憶ステップは、中間画像信号の各画素毎に、画素値およびクラスコードを包含する画素データを中間画像記憶部に記憶する。
【００２７】
本発明の第１の記録媒体は、原画像信号から出力画像信号と同じ情報量の中間画像信号を生成する中間画像信号生成ステップと、中間画像信号の各画素の画素値を各クラスコードに対応付けて中間画像記憶部に記憶する中間画像記憶ステップと、各クラスコードに対して予測係数を対応付けて予測係数記憶部に記憶する予測係数記憶ステップと、中間画像信号、中間画像信号の着目画素に対応付けられたクラスコード、および原画像信号に基づいて、クラスコードに対する最適な予測係数を生成し、予測係数記憶部における各クラスコードに対する予測係数を更新する予測係数更新ステップと、中間画像信号、中間画像信号の着目画素の画素値に対応付けられたクラスコードと対応付けられた予測係数、および原画像信号に基づいて、中間画像信号の着目画素に対する最適なクラスコードを選択し、中間画像記憶部における中間画像信号の着目画素の画素値に対するクラスコードの対応付けを更新するクラスコード更新ステップと、所定の条件を満たしたとき、予測画像信号を出力画像信号に決定する決定ステップとを含み、中間画像記憶ステップは、中間画像信号の各画素毎に、画素値およびクラスコードを包含する画素データを中間画像記憶部に記憶する処理をコンピュータに実行させるプログラムが記録されている。
【００２８】
本発明の第２の画像信号変換装置は、原画像信号から出力画像信号と同じ情報量の中間画像信号を生成する中間画像信号生成手段と、中間画像信号の各画素の画素値を各クラスコードに対応付けて記憶する中間画像記憶手段と、各クラスコードに対して予測係数を対応付けて記憶する予測係数記憶手段と、中間画像信号、中間画像信号の着目画素に対応付けられたクラスコード、および原画像信号に基づいて、クラスコードに対する最適な予測係数を生成し、予測係数記憶手段における各クラスコードに対する予測係数を更新する予測係数更新手段と、中間画像信号の注目画素に基づいて選定される着目画素に対応付けられたクラスコードと対応付けられた予測係数、中間画像信号の注目画素に基づいて選定される少なくとも１つの着目画素、および原画像信号に基づいて、中間画像信号の注目画素の最適な画素値を生成し、中間画像記憶手段における注目画素の画素値を更新する画素値更新手段と、所定の条件を満たしたとき、中間画像信号を出力画像信号に決定する決定手段とを含む。
【００２９】
前記予測係数更新手段および画素値更新手段は、決定手段が所定の条件を満たしたことを検出するまで、予測係数および画素値の更新を繰り返して実行するようにすることができる。
【００３０】
本発明の第２の画像信号変換装置は、中間画像記憶手段に記憶された中間画像信号の各画素値、および予測係数記憶手段に記憶された各画素値に対応づけられたクラスコードと対応付けられた予測係数に基づいて、原画像信号と同じ情報量を有する予測画像信号の１または複数の画素値を生成する予測画像生成手段をさらに含むことができ、前記決定手段は、所定の条件として、中間画像信号と原画像信号の比較結果に基づく条件を用いるようにすることができる。
【００３１】
前記決定手段は、中間画像信号と原画像信号の誤差を比較結果とし、比較結果が閾値以下になったとき、所定の条件を満たしたと検出するようにすることができる。
【００３２】
前記決定手段は、予測係数および画素値の更新回数が閾値に達したとき、所定の条件を満たしたと検出するようにすることができる。
【００３３】
本発明の第２の画像信号変換装置は、原画像信号および中間画像信号に基づいて、初期予測係数を生成し、予測係数記憶手段に記憶させる初期予測係数生成手段をさらに含むことができる。
【００３４】
前記中間画像記憶手段は、中間画像信号の各画素毎に、画素値およびクラスコードを含む画素データを記憶するようにすることができる。
【００３５】
本発明の第２の画像信号変換装置は、出力画像信号および予測係数記憶手段に記憶された予測係数を出力する出力手段をさらに含むことができる。
【００３６】
本発明の第２の画像信号変換装置は、中間画像信号、中間画像信号の着目画素の画素値に対応付けられたクラスコードと対応付けられた予測係数、および原画像信号に基づいて、中間画像信号の着目画素に対する最適なクラスコードを選択し、中間画像記憶手段における中間画像信号の着目画素の画素値に対するクラスコードの対応付けを更新するクラスコード更新手段をさらに含むことができる。
【００３７】
前記画素値更新手段は、注目画素の画素値の更新と同時に、着目画素の画素値を更新するようにすることができる。
【００３８】
本発明の第２の画像信号変換方法は、原画像信号から出力画像信号と同じ情報量の中間画像信号を生成する中間画像信号生成ステップと、中間画像信号の各画素の画素値を各クラスコードと対応付けて中間画像記憶部に記憶する中間画像記憶ステップと、各クラスコードに対して予測係数を対応付けて予測係数記憶部に記憶する予測係数記憶ステップと、中間画像信号、中間画像信号の着目画素に対応付けられたクラスコード、および原画像信号に基づいて、クラスコードに対する最適な予測係数を生成し、予測係数記憶部における各クラスコードに対する予測係数を更新する予測係数更新ステップと、中間画像信号の注目画素に基づいて選定される着目画素に対応付けられたクラスコードと対応付けられた予測係数、中間画像信号の注目画素に基づいて選定される少なくとも１つの着目画素、および原画像信号に基づいて、中間画像信号の注目画素の最適な画素値を生成し、中間画像記憶部における注目画素の画素値を更新する画素値更新ステップと、所定の条件を満たしたとき、中間画像信号を出力画像信号に決定する決定ステップとを含む。
【００４６】
本発明の第２の記録媒体は、原画像信号から出力画像信号と同じ情報量の中間画像信号を生成する中間画像信号生成ステップと、中間画像信号の各画素の画素値を各クラスコードと対応付けて中間画像記憶部に記憶する中間画像記憶ステップと、各クラスコードに対して予測係数を対応付けて予測係数記憶部に記憶する予測係数記憶ステップと、中間画像信号、中間画像信号の着目画素に対応付けられたクラスコード、および原画像信号に基づいて、クラスコードに対する最適な予測係数を生成し、予測係数記憶部における各クラスコードに対する予測係数を更新する予測係数更新ステップと、中間画像信号の注目画素に基づいて選定される着目画素に対応付けられたクラスコードと対応付けられた予測係数、中間画像信号の注目画素に基づいて選定される少なくとも１つの着目画素、および原画像信号に基づいて、中間画像信号の注目画素の最適な画素値を生成し、中間画像記憶部における注目画素の画素値を更新する画素値更新ステップと、所定の条件を満たしたとき、中間画像信号を出力画像信号に決定する決定ステップとを含む処理をコンピュータに実行させるプログラムが記録されている。
【００４７】
本発明の第３の情報信号変換装置は、原情報信号から出力情報信号と同じ情報量の中間情報信号を生成する中間情報信号生成手段と、中間情報信号の各サンプルのサンプル値を各クラスコードと対応付けて記憶する中間情報記憶手段と、各クラスコードに対して予測係数を対応付けて記憶する予測係数記憶手段と、中間情報信号、中間情報信号の着目サンプルに対応付けられたクラスコード、および原情報信号に基づいて、クラスコードに対する最適な予測係数を生成し、予測係数記憶手段における各クラスコードに対する予測係数を更新する予測係数更新手段と、中間情報信号、中間情報信号の着目サンプルのサンプル値に対応付けられたクラスコードと対応付けられた予測係数、および原情報信号に基づいて、中間情報信号の着目サンプルに対する最適なクラスコードを選択し、中間情報記憶手段における中間情報信号の着目サンプルのサンプル値に対するクラスコードの対応付けを更新するクラスコード更新手段と、所定の条件を満たしたとき、予測情報信号を出力情報信号に決定する決定手段とを含み、中間情報記憶手段は、中間情報信号の各サンプル毎に、サンプル値およびクラスコードを包含するサンプルデータを記憶する。
【００４８】
本発明の第３の情報信号変換方法において、原情報信号から出力情報信号と同じ情報量の中間情報信号を生成する中間情報信号生成ステップと、中間情報信号の各サンプルのサンプル値を各クラスコードと対応付けて中間情報記憶部に記憶する中間情報記憶ステップと、各クラスコードに対して予測係数を対応付けて予測係数記憶部に記憶する予測係数記憶ステップと、中間情報信号、中間情報信号の着目サンプルに対応付けられたクラスコード、および原情報信号に基づいて、クラスコードに対する最適な予測係数を生成し、予測係数記憶部における各クラスコードに対する予測係数を更新する予測係数更新ステップと、中間情報信号、中間情報信号の着目サンプルのサンプル値に対応付けられたクラスコードと対応付けられた予測係数、および原情報信号に基づいて、中間情報信号の着目サンプルに対する最適なクラスコードを選択し、中間情報記憶部における中間情報信号の着目サンプルのサンプル値に対するクラスコードの対応付けを更新するクラスコード更新ステップと、所定の条件を満たしたとき、予測情報信号を出力情報信号に決定する決定ステップとを含み、中間情報記憶ステップは、中間情報信号の各サンプル毎に、サンプル値およびクラスコードを包含するサンプルデータを中間情報記憶部に記憶する。
【００４９】
本発明の第３の記録媒体は、原情報信号から出力情報信号と同じ情報量の中間情報信号を生成する中間情報信号生成ステップと、中間情報信号の各サンプルのサンプル値を各クラスコードと対応付けて中間情報記憶部に記憶する中間情報記憶ステップと、各クラスコードに対して予測係数を対応付けて予測係数記憶部に記憶する予測係数記憶ステップと、中間情報信号、中間情報信号の着目サンプルに対応付けられたクラスコード、および原情報信号に基づいて、クラスコードに対する最適な予測係数を生成し、予測係数記憶部における各クラスコードに対する予測係数を更新する予測係数更新ステップと、中間情報信号、中間情報信号の着目サンプルのサンプル値に対応付けられたクラスコードと対応付けられた予測係数、および原情報信号に基づいて、中間情報信号の着目サンプルに対する最適なクラスコードを選択し、中間情報記憶部における中間情報信号の着目サンプルのサンプル値に対するクラスコードの対応付けを更新するクラスコード更新ステップと、所定の条件を満たしたとき、予測情報信号を出力情報信号に決定する決定ステップと含み、中間情報記憶ステップは、中間情報信号の各サンプル毎に、サンプル値およびクラスコードを包含するサンプルデータを中間情報記憶部に記憶する処理をコンピュータに実行させるプログラムが記録されている。
【００５０】
本発明の第４の情報信号変換装置は、原情報信号から出力情報信号と同じ情報量の中間情報信号を生成する中間情報信号生成手段と、中間情報信号の各サンプルのサンプル値を各クラスコードに対応付けて記憶する中間情報記憶手段と、各クラスコードに対して予測係数を対応付けて記憶する予測係数記憶手段と、中間情報信号、中間情報信号の着目サンプルに対応付けられたクラスコード、および原情報信号に基づいて、クラスコードに対する最適な予測係数を生成し、予測係数記憶手段における各クラスコードに対する予測係数を更新する予測係数更新手段と、中間情報信号の注目サンプルに基づいて選定される着目サンプルに対応付けられたクラスコードと対応付けられた予測係数、中間情報信号の注目サンプルに基づいて選定される少なくとも１つの着目サンプル、および原情報信号に基づいて、中間情報信号の注目サンプルの最適なサンプル値を生成し、中間情報記憶手段における注目サンプルのサンプル値を更新するサンプル値更新手段と、所定の条件を満たしたとき、中間情報信号を出力情報信号に決定する決定手段とを含む。
【００５１】
本発明の第４の情報信号変換方法は、原情報信号から出力情報信号と同じ情報量の中間情報信号を生成する中間情報信号生成ステップと、中間情報信号の各サンプルのサンプル値を各クラスコードに対応付けて中間情報記憶部に記憶する中間情報記憶ステップと、各クラスコードに対して予測係数を対応付けて予測係数記憶部に記憶する予測係数記憶ステップと、中間情報信号、中間情報信号の着目サンプルに対応付けられたクラスコード、および原情報信号に基づいて、クラスコードに対する最適な予測係数を生成し、予測係数記憶部における各クラスコードに対する予測係数を更新する予測係数更新ステップと、中間情報信号の注目サンプルに基づいて選定される着目サンプルに対応付けられたクラスコードと対応付けられた予測係数、中間情報信号の注目サンプルに基づいて選定される少なくとも１つの着目サンプル、および原情報信号に基づいて、中間情報信号の注目サンプルの最適なサンプル値を生成し、中間情報記憶部における注目サンプルのサンプル値を更新するサンプル値更新ステップと、所定の条件を満たしたとき、中間情報信号を出力情報信号に決定する決定ステップとを含む。
【００５２】
本発明の第４の記録媒体は、原情報信号から出力情報信号と同じ情報量の中間情報信号を生成する中間情報信号生成ステップと、中間情報信号の各サンプルのサンプル値を各クラスコードに対応付けて中間情報記憶部に記憶する中間情報記憶ステップと、各クラスコードに対して予測係数を対応付けて予測係数記憶部に記憶する予測係数記憶ステップと、中間情報信号、中間情報信号の着目サンプルに対応付けられたクラスコード、および原情報信号に基づいて、クラスコードに対する最適な予測係数を生成し、予測係数記憶部における各クラスコードに対する予測係数を更新する予測係数更新ステップと、中間情報信号の注目サンプルに基づいて選定される着目サンプルに対応付けられたクラスコードと対応付けられた予測係数、中間情報信号の注目サンプルに基づいて選定される少なくとも１つの着目サンプル、および原情報信号に基づいて、中間情報信号の注目サンプルの最適なサンプル値を生成し、中間情報記憶部における注目サンプルのサンプル値を更新するサンプル値更新ステップと、所定の条件を満たしたとき、中間情報信号を出力情報信号に決定する決定ステップとを含む処理をコンピュータに実行させるプログラムが記録されている。
【００５３】
本発明の第１の画像信号変換装置、画像信号変換方法、および記録媒体のプログラムにおいては、原画像信号から出力画像信号と同じ情報量の中間画像信号が生成され、中間画像信号の各画素の画素値が各クラスコードに対応付けて中間画像記憶部に記憶され、各クラスコードに対して予測係数が対応付けられて予測係数記憶部に記憶される。また、中間画像信号、中間画像信号の着目画素に対応付けられたクラスコード、および原画像信号に基づいて、クラスコードに対する最適な予測係数が生成されて予測係数記憶部における各クラスコードに対する予測係数が更新される。また、中間画像信号、中間画像信号の着目画素の画素値に対応付けられたクラスコードと対応付けられた予測係数、および原画像信号に基づいて、中間画像信号の着目画素に対する最適なクラスコードが選択されて中間画像記憶部における中間画像信号の着目画素の画素値に対するクラスコードの対応付けが更新される。さらに、所定の条件を満たしたとき、予測画像信号が出力画像信号に決定される。なお、中間画像記憶部には、中間画像信号の各画素毎に、画素値およびクラスコードを包含する画素データが記憶される。
【００５４】
本発明の第２の画像信号変換装置、画像信号変換方法、および記録媒体のプログラムにおいては、原画像信号から出力画像信号と同じ情報量の中間画像信号が生成され、中間画像信号の各画素の画素値が各クラスコードと対応付けて中間画像記憶部に記憶され、各クラスコードに対して予測係数が対応付けられて予測係数記憶部に記憶される。また、中間画像信号、中間画像信号の着目画素に対応付けられたクラスコード、および原画像信号に基づいて、クラスコードに対する最適な予測係数が生成されて予測係数記憶部における各クラスコードに対する予測係数が更新される。また、中間画像信号の注目画素に基づいて選定される着目画素に対応付けられたクラスコードと対応付けられた予測係数、中間画像信号の注目画素に基づいて選定される少なくとも１つの着目画素、および原画像信号に基づいて、中間画像信号の注目画素の最適な画素値が生成されて中間画像記憶部における注目画素の画素値が更新される。さらに、所定の条件を満たしたとき、中間画像信号が出力画像信号に決定される。
【００５５】
本発明の第３の情報信号変換装置、情報信号変換方法、および記録媒体のプログラムにおいては、原情報信号から出力情報信号と同じ情報量の中間情報信号が生成され、中間情報信号の各サンプルのサンプル値が各クラスコードと対応付けて中間記憶部に記憶され、各クラスコードに対して予測係数が対応付けられて予測係数記憶部に記憶される。また、中間情報信号、中間情報信号の着目サンプルに対応付けられたクラスコード、および原情報信号に基づいて、クラスコードに対する最適な予測係数が生成されて予測係数記憶部における各クラスコードに対する予測係数が更新される。また、中間情報信号、中間情報信号の着目サンプルのサンプル値に対応付けられたクラスコードと対応付けられた予測係数、および原情報信号に基づいて、中間情報信号の着目サンプルに対する最適なクラスコードが選択されて中間情報記憶部における中間情報信号の着目サンプルのサンプル値に対するクラスコードの対応付けが更新される。さらに、所定の条件を満たしたとき、予測情報信号が出力情報信号に決定される。なお、中間情報記憶部には、中間情報信号の各サンプル毎に、サンプル値およびクラスコードを包含するサンプルデータが記憶される。
【００５６】
本発明の第４の情報信号変換装置、情報信号変換方法、および記録媒体のプログラムにおいては、原情報信号から出力情報信号と同じ情報量の中間情報信号が生成され、中間情報信号の各サンプルのサンプル値が各クラスコードに対応付けて中間情報記憶部に記憶され、各クラスコードに対して予測係数が対応付けられて予測係数記憶部に記憶される。また、中間情報信号、中間情報信号の着目サンプルに対応付けられたクラスコード、および原情報信号に基づいて、クラスコードに対する最適な予測係数が生成されて予測係数記憶部における各クラスコードに対する予測係数が更新される。また、中間情報信号の注目サンプルに基づいて選定される着目サンプルに付けられたクラスコードと対応付けられた予測係数、中間情報信号の注目サンプルに基づいて選定される少なくとも１つの着目サンプル、および原情報信号に基づいて、中間情報信号の注目サンプルの最適なサンプル値が生成されて中間情報記憶部における注目サンプルのサンプル値が更新される。さらに、所定の条件を満たしたとき、中間情報信号が出力情報信号に決定される。
【００５７】
【発明の実施の形態】
本発明を適用したエンコーダの構成例について、図１を参照して説明する。なお、このエンコーダ１に入力される原画像は、１画素当たり８ビットの画素値を有し、エンコーダ１によって生成される上位階層画像も１画素当たり８ビットの情報量（画素データ）を有するものとする。
【００５８】
また、以下において、着目画素は、画素値の更新が行われずに位置を特定するために指定される画素とし、注目画素は、位置を特定するために指定され、かつ、画素値が更新される画素とする。
【００５９】
このエンコーダ１において、原画像は、前処理回路２、画素値更新回路６、予測係数更新回路７、クラスコード選択回路８、および収束判定回路１０に供給される。前処理回路２は、供給された原画像を用い、初期上位階層画像を生成して上位階層画像メモリ３に記憶させ、初期予測係数テーブルを生成して予測係数メモリ４に記憶させる。
【００６０】
上位階層画像メモリ３は、記憶している上位階層画像をセレクタ５に出力する。また、上位階層画像メモリ３は、画素値更新回路６から入力される画素値（４ビット）を用いて、それまで記憶していた上位階層画像のMSB(Most Significant Bit)側の４ビットを更新し、クラスコード選択回路８から入力されるクラスコード（４ビット）を用いて、それまで記憶していた上位階層画像のLSB(Least Significant Bit)側の４ビットを更新する。
【００６１】
予測係数メモリ４は、記憶している予測係数テーブルを画素値更新回路６、クラスコード選択回路８、ローカルデコード回路９、および収束判定回路１０に供給する。また、予測係数メモリ４は、予測係数更新回路７から入力される予測係数セットを用いて、それまで記憶していた予測係数テーブルを更新する。
【００６２】
セレクタ５は、更新回数カウンタ１１から入力される制御信号に対応して、上位階層画像メモリ３から入力された上位階層画像を、ローカルデコード回路９および収束判定回路１０の他、画素値更新回路６、予測係数更新回路７、クラスコード選択回路８のうちのいずれか１つに出力する。
【００６３】
画素値更新回路６は、原画像および予測係数セットを用いて、セレクタ５から入力された上位階層画像の画素値（画素データのMSB側の４ビット）を更新し、上位階層画像メモリ３に出力する。予測係数更新回路７は、セレクタ５から入力された上位階層画像、および原画像を用いて予測係数セットを生成し、予測係数メモリ４に出力する。
【００６４】
クラスコード選択回路８は、セレクタ５から入力された上位階層画像の各画素毎に、予測係数メモリ４に記憶されている予測係数テーブル内の最適な予測係数セットを選択し、その予測係数セットに対応するクラスコード（４ビット）を上位階層画像メモリ３に出力する。
【００６５】
ローカルデコード回路９は、セレクタ５から入力された上位階層画像と予測係数メモリ４に記憶されている予測係数セットを用いて下位階層画像を生成し、収束判定回路１０に出力する。
【００６６】
なお、この実施例では、収束判定回路１０は、S/N比の増加量に基づいて収束を判定するようにしているが、例えば、S/N比の増加レートに基づいて判定したり、S/N比の変わりに誤差に基づいて判定するようにしてもよい。
【００６７】
収束判定回路１０は、ローカルデコード回路９から入力された下位階層画像と原画像のS/Nを演算し、さらにその増加量を求めて、S/N比の増加が収束していると判定した場合、セレクタ５から入力された上位階層画像および予測係数メモリ４から入力された予測係数テーブルを出力する。また、収束判定回路１０は、更新カウンタ１１から制御信号が入力された場合も、セレクタ５から入力された上位階層画像および予測係数メモリ４から入力された予測係数テーブルを出力する。
【００６８】
更新回数カウンタ１１は、収束判定回路１０、画素値更新回路６、予測係数更新回路７、またはクラスコード選択回路８が処理を終了したことに対応して、セレクタ５に制御信号を出力するとともに、制御信号を出力した回数をカウントし、カウントした値が所定の数に達したとき、収束判定回路１０に制御信号を出力する。
【００６９】
次に、エンコーダ１の動作について、図２のフローチャートを参照して説明する。このエンコード処理は、例えば、原画像がエンコーダ１に入力されたときに開始される。ステップＳ１において、前処理回路２は、入力された原画像を用いて前処理を実行する。
【００７０】
この前処理は、図３に示すように、ステップＳ１１，Ｓ１２から成る。ステップＳ１１の初期上位階層画像生成処理について、図４のフローチャートを参照して説明する。ステップＳ２１において、前処理回路２は、入力された原画像を所定のサイズ（例えば、図５に示すように３×３画素）のブロックに分割する。
【００７１】
ステップＳ２２において、前処理回路２は、ステップＳ２１で分割したブロックに含まれる複数（いまの場合、９個）の画素の画素値を平均し、その平均値（８ビット）のMSB側の４ビットを初期上位階層画像の１個の画素の画素値として、図６に示すように、上位階層画像データ（８ビット）のMSB側の４ビットに記録する。
【００７２】
ただし、上位階層画像データのMSB側に記録された４ビットを画素値として用いる全ての回路（例えば、予測係数更新回路７、クラスコード選択回路８、ローカルデコード回路９）においては、その４ビットの値を８ビット化して用いるが、MSB側の４ビットの値を単に１６倍しただけの値を用いると画像全体の輝度値が低下するので、これを抑止するために、１６倍した値にオフセット値（例えば、７または８）を加算した値を画素値として用いる。
【００７３】
なお、初期上位階層画像の画素値を決定する方法は、上述したような平均化による方法ではなく、原画像を直接、間引く方法やローパスフィルタ（ガウシアンフィルタ等）を用いてから間引く方法でもかまわない。
【００７４】
図３に戻る。このようなステップＳ１１の処理の後、ステップＳ１２で初期予測係数生成処理が実行される。この処理について、図７のフローチャートを参照して説明する。ステップＳ３１において、前処理回路２は、図３のステップＳ１１で画素値（画素データ（８ビット）のうちのMSB側の４ビット）だけが決定された初期上位階層画像のうちの１つの画素を着目画素に決定する。
【００７５】
ステップＳ３２において、前処理回路２は、着目画素に応じてクラスタップ（例えば、着目画素とその上下左右に隣接する合計５個の画素）の画素値（各４ビット）を抽出する。
ステップＳ３３において、前処理回路２は、ステップＳ３２で抽出した５個の画素値（MSB側の４ビット）に１ビットADRC(Adaptive Dynamic Range Coding)処理を施して、それぞれを１ビットに変換し、それらを、例えば、画素の位置に応じた順序で並べることにより、５ビットからなるクラスコードを取得する。さらに、前処理回路２は、着目画素の画素データ（８ビット）のLSB側の４ビットに任意の値（例えば、５ビットのクラスコードのMSB側の４ビット）を、図６に示すように設定する。なお、上述した１ビットADRC処理の詳細については、例えば米国特許５９１２７０８号公報に記載されている。
【００７６】
ステップＳ３４において、前処理回路２は、着目画素を中心とする所定のサイズ（例えば、５×５画素）の予測タップの画素値を抽出する。ステップＳ３５において、前処理回路２は、既知である原画像および予測タップの画素値、並びに未知である予測係数セットから成る正規方程式を生成する。
【００７７】
ステップＳ３６において、前処理回路３６は、初期上位階層画像の全ての画素を着目画素としたか否かを判定し、全ての画素を着目画素としたと判定するまで、ステップＳ３１乃至Ｓ３６の処理を繰り返す。ステップＳ３６において、全ての画素を着目画素としたと判定された場合、ステップＳ３７に進む。
【００７８】
ステップＳ３７において、前処理回路３７は、ステップＳ３５で生成された正規方程式を、５ビットで表されるクラス毎に生成し、その方程式に最小自乗法を適用して解くことにより３２種類（５ビット）のクラスコードにそれぞれ対応する予測係数セットを取得する。ステップＳ３８において、前処理回路２は、ステップＳ３３で各クラスコードに分類された着目画素の数を示すヒストグラムを生成する。
【００７９】
ステップＳ３９において、前処理回路２は、ステップＳ３８で生成したヒストグラムを参照し、着目画素の数が多い側から１６個のクラスコードに対応する予測係数セットと、４ビットで表される新たなクラスコード（0000乃至1111）を任意に対応付ける。
【００８０】
ステップＳ４０において、前処理回路２は、４ビット（１６種類）のクラスコードに対応付けられた予測係数を予測係数メモリ４に出力する。また、前処理回路２は、MSB側の４ビットが画素値であり、LSB側の４ビットがクラスコードである画素データから成る初期上位階層画像を上位階層画像メモリ３に出力する。
【００８１】
なお、上述した処理以外に初期予測係数セットを生成する方法として、４ビットで表されるクラスコード（0000乃至1111）に乱数を対応付けてもかまわない。また、クラスコードが乱数であってもよいし、予測係数セットが乱数であってもよいし、あるいは、クラスコードと予測係数セットの両方が乱数であってもよい。
【００８２】
図２に戻る。以上のようにして、ステップＳ１の前処理が行われた後、ステップＳ２において、クラスコード選択回路８は、入力された上位階層画像の各画素に対して、予測係数メモリ４に記憶されている１６種類の予測係数セットのうちの最適なものを選択する。なお、クラスコード選択回路８の構成例と動作については、図１４および図１５を参照して後述する。
【００８３】
ステップＳ３において、デコード処理が行われる。すなわち、上位階層画像メモリ３からセレクタ５に入力された上位階層画像は、更新回数カウンタ１１からの制御信号に対応して、ローカルデコード回路９に供給される。ローカルデコード回路９は、セレクタ５から入力された上位階層画像（いまの場合、初期上位階層画像）と、予測係数メモリ４から供給される予測係数テーブル（いまの場合、初期予測係数テーブル）を用いて下位階層画像を生成し、収束判定回路１０に出力する。なお、下位階層画像の画素としては、図５に示すように、上位階層画像の１個の着目画素に対して、対応する位置の下位階層画像の画素ｉを中心とする３×３画素（画素ａ乃至ｉ）が生成される。ローカルデコード回路９の構成と動作については、図１６および図１７を参照して後述する。
ステップＳ４において、収束判定回路１０は、ローカルデコード回路９から入力された下位階層画像の原画像に対するS/N比を演算し、さらに、その増加量を求めて、S/N比の増加量が収束しているか否かを判定する。S/N比の増加量が収束していると判定された場合、または、更新回数カウンタ１１からの制御信号が受信された場合、ステップＳ７に進む。また、S/N比の増加量が収束していないと判定され、かつ、更新回数カウンタ１１からの制御信号が受信されていない場合、ステップＳ５に進む。
【００８４】
いまの場合、１回目にデコードされた下位階層画像に対する収束判定処理であるので、S/N比の増加量は演算されず、更新回数カウンタ１１からの制御信号も受信されていないので、ステップＳ５に進む。
【００８５】
収束判定回路１０の判定処理が終了したことに対応して、更新回数カウンタ１１は、セレクタ５に制御信号を出力する。
【００８６】
ステップＳ５において、上位階層画像メモリ３からセレクタ５に入力された上位階層画像は、更新回数カウンタ１１からの制御信号に対応して、画素値更新回路６に供給される。画素値更新回路６は、入力された上位階層画像の画素値（画素データのMSB側の４ビット）を更新する。
【００８７】
この画素値更新処理について説明する前に、画素値更新回路６の第１の構成例について、図８および図９を参照して説明する。セレクタ５から入力された上位階層画像は、画素値更新回路６において、上位階層画像メモリ２１に記憶される。上位階層画像メモリ２１は、記憶している上位階層画像を最適画素値決定回路２２に供給する。また、上位階層画像メモリ２１は、最適画素値決定回路２２からの現段階において最適化された画素値（４ビット）を用いて、それまで記憶していた上位階層画像の画素値（画素データのMSB側の４ビット）を更新する。全ての画素の画素値が最適化された上位階層画像は、スイッチ２４を介して上位階層画像メモリ３に出力される。
【００８８】
最適画素値決定回路２２には、原画像、および予測係数メモリ４から予測係数テーブルも供給される。最適画素値決定回路２２は、注目画素決定回路２３から指定された注目画素の画素値を最適化して上位階層画像メモリ２１に出力する。注目画素決定回路２３は、上位階層画像の画素を順次注目画素に決定し、注目画素位置情報を最適画素値決定回路２２に出力する。また、注目画素決定回路２３は、上位階層画像の全ての画素を注目画素に決定した後、スイッチ２４をオンとする制御信号を出力する。
【００８９】
図９は、最適画素値決定回路２２の詳細な構成例を示している。最適画素値決定回路２２においては、注目画素以外の画素の画素値が固定された状態で、注目画素の画素値が最適化される。
【００９０】
着目画素決定回路３１は、注目画素決定回路２３で決定された注目画素の画素値が変化されたことにより、デコードの際に影響を受ける範囲（注目画素を含む予測タップの中心の画素の集合、以下、影響範囲と記述する）を設定し、その影響範囲内に存在する上位階層画像の画素を順次、着目画素に決定して、その位置情報をクラスコード読取回路３２、および予測タップ抽出回路３３に出力する。また、着目画素決定回路３１は、影響範囲内の全ての画素を着目画素に決定した後、スイッチ３６をオンとする制御信号を出力する。
【００９１】
クラスコード読取回路３２は、着目画素のクラスコード（画素データのLSB側の４ビット）を読み出して誤差関数生成回路３４に出力する。予測タップ抽出回路３３は、着目画素を中心とする５×５画素の予測タップの画素値（画素データのMSB側の４ビット）を上位階層画像から抽出して誤差関数生成回路３４に出力する。
【００９２】
誤差関数生成回路３４は、各着目画素に対する誤差関数（その詳細は後述する）を生成して影響誤差関数レジスタ３５に出力する。影響誤差関数レジスタ３５は、影響範囲内の全ての着目画素に対する誤差関数を足し合わせて影響誤差関数を生成し、スイッチ３６を介して注目画素値演算回路３７に出力する。
【００９３】
注目画素値演算回路３７は、スイッチ３６を介して入力された影響誤差関数を解くことにより、注目画素の新たな画素値を演算する（その詳細については後述する）。
【００９４】
次に、画素値更新回路６の第１の構成例の動作について、図１０のフローチャートを参照して説明する。この画素値更新処理は、セレクタ５から入力された上位階層画像が、画素値更新回路６の上位階層画像メモリ２１に記憶されたときに開始される。
【００９５】
ステップＳ５１において、注目画素決定回路２３は、図１１(A)に示すように、上位階層画像の注目画素を決定し、その注目画素位置情報を最適画素値決定回路２２に出力する。最適画素値決定回路２２の着目画素決定回路３１は、ステップＳ５２において、注目画素の画素値が変化された際に影響を受ける範囲（影響範囲）を決定する。例えば、予測タップのサイズが５×５画素である場合、図１１(B)に示したような注目画素を中心とする５×５画素を含む範囲が影響範囲とされる。なお、この上位階層画像から生成される下位階層画像においては、図１１(C)に示すように１５×１５画素となる。
【００９６】
ステップＳ５３において、着目画素決定回路３１は、影響範囲内の１個の画素を着目画素に決定し、その位置情報をクラスコード読取回路３２、および予測タップ抽出回路３３に出力する。
【００９７】
ステップＳ５４において、クラスコード読取回路３２は、着目画素のクラスコード（画素データのLSB側の４ビット）を読み出し、誤差関数生成回路３４に出力する。予測タップ抽出回路３３は、着目画素を中心とする５×５画素の予測タップを抽出して誤差関数生成回路３４に出力する。この予測タップには、注目画素が含まれている。
【００９８】
ステップＳ５５において、誤差関数生成回路３４は、着目画素に対する誤差関数を生成して影響誤差関数レジスタ３５に出力する。
【００９９】
ここで、誤差関数について説明する。上位階層画像の１個の着目画素（例えば、図５の上位階層画像の注目画素）に対応する、下位階層画像の３×３画素の９個の画素（例えば、図５の下位階層画像の画素ａ乃至ｉ）の画素値（予測値）ｙi’（ｉ＝１，２，・・・，９、ただし、図５の画素ｉのｉとは異なる）は、例えば次式（１）に示すように、上位階層画像の画素値ｘと予測係数ｗの線形１次結合で表すことができる。但し、ここでは線形１次結合としたが高次式を用いることも可能である。
【０１００】
【数１】
【０１０１】
ただし、ｗi1乃至ｗi25は、着目画素のクラスコードに対応する予測係数であり、ｘ1乃至ｘ25は、着目画素を中心とする予測タップに含まれる画素の画素値である。特に、画素値ｘk、および予測係数ｗikは、注目画素の画素値と、それに対応する予測係数である。
【０１０２】
下位階層画像の画素値（予測値）ｙi’に対応する原画像の画素値（真値）をｙiとすれば、着目画素に対応する下位階層画像の９画素分の自乗誤差の和Ｅkは、次式（２）のように表すことができる。
【数２】
【０１０３】
ところで、式（２）において、注目画素の画素値ｘkは最適化される値、すなわち変数である。また、真値ｙi、予測係数ｗij，ｗik、および画素値ｘjは定数である。したがって、式（２）は、次式（３）に示すように、注目画素値ｘkの２次式として表すことが可能となる。
【０１０４】
Ｅk＝ａk・（ｘk）2＋ｂk・ｘk＋ｃk ・・・（３）
ただし、
【数３】
である。ここで、Ｅkを誤差関数と呼ぶことにする。
【０１０５】
図１０に戻る。ステップＳ５６において、着目画素決定回路３１は、影響範囲内の全ての画素を着目画素に決定したか否かを判定し、影響範囲内の全ての画素を着目画素に決定していないと判定した場合、ステップＳ５３に戻り、それ以降の処理が繰り返される。
【０１０６】
その後、ステップＳ５６において、影響範囲内の全ての画素を着目画素に決定したと判定された場合、ステップＳ５７に進む。ステップＳ５７において、着目画素決定回路３１は、スイッチ３６をオンとする制御信号を出力する。影響誤差関数レジスタ３５は、影響範囲内の全ての画素を、順次、着目画素としたときの誤差関数Ｅk（式（３））を足し合わせて、影響誤差関数Ｅcheckを生成し、スイッチ３６を介して注目画素値演算回路３７に出力する。
【０１０７】
【数４】
【０１０８】
なお、影響誤差関数Ｅcheckは、注目画素の画素値ｘkの２次式である誤差関数Ｅkの和であるので、次式（４）に示すように、注目画素の画素値ｘkの２次関数となる。
【０１０９】
影響誤差関数Ｅcheck＝ａ’・（ｘk）2＋ｂ’・ｘk＋ｃ’ ・・・（４）
ただし、
【数５】
である。
【０１１０】
ステップＳ５８において、注目画素値演算回路３７は、２次式である影響誤差関数Ｅcheckを最小とする画素値ｘk＝−ｂ’／２ａ’を、注目画素の最適画素値として演算し、上位階層画像メモリ２１に出力する。上位階層画像メモリ２１は、入力された最適画素値を用い、それまで記憶していた注目画素の画素値を更新する。すなわち、入力された最適画素値にそれまで記憶していた注目画素の画素値が置き換えられる。
【０１１１】
ステップＳ５９において、注目画素決定回路２３は、上位階層画像の全ての画素を注目画素に決定したか否かを判定し、全ての画素を注目画素に決定していないと判定した場合、ステップＳ５１に戻り、それ以降の処理が繰り返される。
【０１１２】
その後、ステップＳ５９において、上位階層画像の全ての画素を注目画素に決定したと判定した場合、注目画素決定回路２３は、スイッチ２４をオンとする制御信号を出力する。スイッチ２４がオンとされることにより、上位階層画像メモリ２１に記憶されている、画素値が最適化された上位階層画像が後段の上位階層画像メモリ３に出力される。画素値更新回路６の処理が終了したことに対応して、更新回数カウンタ１１はセレクタ５に制御信号を出力する。
【０１１３】
図２に戻る。以上のようにして、ステップＳ５で画素値更新処理が行われた後、ステップＳ６において、上位階層画像メモリ３からセレクタ５に入力された上位階層画像は、更新回数カウンタ１１からの制御信号に対応して、予測係数更新回路７に供給される。予測係数更新回路７は、入力された上位階層画像および原画像を用い、予測係数メモリ４に記憶させる予測係数テーブルを更新する。
【０１１４】
この予測係数更新処理について説明する前に、予測係数更新回路７の詳細な構成例について、図１２を参照して説明する。セレクタ５から入力された上位階層画像は、予測係数更新回路７において、予測タップ抽出回路４２およびクラスコード読取回路４３に供給される。着目画素決定回路４１は、上位階層画像の画素を順次、着目画素に決定し、その位置情報を予測タップ抽出回路４２、およびクラスコード読取回路４３に出力する。
【０１１５】
予測タップ抽出回路４２は、着目画素を中心とする５×５画素の予測タップの画素値（画素データのMSB側の４ビット）を抽出して正規方程式生成回路４５に出力する。クラスコード読取回路４３は、着目画素のクラスコード（画素データのLSB側の４ビット）を読み出して正規方程式生成回路４５に出力する。
【０１１６】
教師データ抽出回路４４は、原画像から教師データ（下位階層画像の画素値に対応する真値）を抽出して正規方程式生成回路４５に出力する。正規方程式生成回路４５は、各着目画素のクラスコード毎に、既知である教師データおよび予測タップの画素値、並びに、変数としての予測係数から成る正規方程式を生成して、予測係数演算回路４６に出力する。
【０１１７】
予測係数演算回路４６は、入力された正規方程式に最小自乗法を適用して１６種類のクラスコードにそれぞれ対応する予測係数セット（予測係数テーブル）を演算し、予測係数メモリ４に出力する。
【０１１８】
なお、上位階層画像の各着目画素に対して、原画像の画素値は、この例の場合、９画素存在するので、各クラスコードに対してそれぞれ着目画素に対して原画像が９種類の位置関係にあるので、その位置関係毎に係数セットが必要となり、９つ（９モード）の係数セットが演算される。
【０１１９】
次に、予測係数更新回路７の動作について、図１３のフローチャートを参照して説明する。この予測係数更新処理は、セレクタ５から予測係数更新回路７に、上位階層画像が入力されたときに開始される。
【０１２０】
ステップＳ６１において、着目画素決定回路４１は、上位階層画像の１個の画素を着目画素に決定し、その位置情報を予測タップ抽出回路４２とクラスコード読取回路４３に出力する。
【０１２１】
ステップＳ６２において、クラスコード読取回路４３は、着目画素のクラスコード（画素データのLSB側の４ビット）を読み出して正規方程式生成回路４５に出力する。ステップＳ６３において、予測タップ抽出回路４２は、着目画素を中心とする５×５画素の予測タップの画素値（画素データのMSB側の４ビット）を抽出して正規方程式生成回路４５に出力する。
【０１２２】
ステップＳ６４において、正規方程式生成回路４５は、着目画素のクラスコード毎に、既知である教師データおよび予測タップの画素値を用いて正規方程式を生成して、予測係数演算回路４６に出力する。
【０１２３】
ステップＳ６５において、着目画素決定回路４１は、上位階層画像の全ての画素を着目画素としたか否かを判定し、全ての画素を着目画素としていないと判定した場合、ステップＳ６１に戻り、それ以降の処理が繰り返される。ステップＳ６５において、全ての画素を着目画素としたと判定された場合、ステップＳ６６に進む。
【０１２４】
ステップＳ６６において、予測係数演算回路４６は、ステップＳ６４で正規方程式生成回路４５が生成した正規方程式に最小自乗法を適用して１６種類の各クラスコードに対する予測係数セットを演算する。ステップＳ６７において、予測係数演算回路４６は、得られた予測係数セット（予測係数テーブル）を予測係数メモリ４に出力する。予測係数メモリ４は、入力された予測係数テーブルで、それまで記憶していた予測係数テーブルを更新する。予測係数更新回路６の処理が終了したことに対応して、更新回数カウンタ１１はセレクタ５に制御信号を出力する。
【０１２５】
図２に戻る。以上のようにして、ステップＳ６で予測係数更新処理が実行された後、ステップＳ２に戻る。ステップＳ２において、上位階層画像メモリ３からセレクタ５に入力された上位階層画像は、更新回数カウンタ１１からの制御信号に対応して、クラスコード選択回路８に供給される。クラスコード選択回路８は、入力された上位階層画像の各画素に対して、予測係数メモリ４に記憶されている１６種類の予測係数セットのうちの対応するものを選択する。
【０１２６】
このクラスコード選択処理について説明する前に、クラスコード選択回路８の詳細な構成例について、図１４を参照して説明する。着目画素決定回路５１は、上位階層画像の画素を順次、着目画素に決定し、その情報を予測タップ抽出回路５２に出力する。予測タップ抽出回路５２は、セレクタ５より入力された上位階層画像から、着目画素を中心とする５×５画素の予測タップに含まれる画素の画素値（画素データのMSB側の４ビット）を抽出してマッピング回路５３に出力する。
【０１２７】
マッピング回路５３は、クラスコードカウンタ５８より入力されるクラスコードに対応する予測係数セットを予測係数メモリ４から読み出して、読み出した予測係数セットと予測タップの各画素の画素値との線形１次結合を演算し、演算結果を下位階層画像の画素値（予測値）として誤差演算回路５４に出力する。
【０１２８】
誤差演算回路５４は、マッピング回路５３から入力された予測値の、それに対応する原画像の画素値（真値）に対する誤差(S/N比)を演算し、比較器５５、およびスイッチ５７に出力する。比較器５５は、誤差演算回路５４から入力された誤差と最小誤差レジスタ５６から入力される誤差を比較して、誤差演算回路５４から入力された誤差の方が小さい（S/N比が大きい）場合、スイッチ５７，５９をオンとする制御信号を出力する。また、比較器５５は、比較の結果に拘わらず、誤差を比較した後、クラスコードカウンタ５８のカウント値をインクリメントさせる制御信号を出力する。
【０１２９】
最小誤差レジスタ５６は、記憶している誤差の値を比較器５５に供給する。また、最小誤差レジスタ５６は、スイッチ５７を介して入力される値を用いて、それまで記憶していた値を更新する。すなわち、入力される値にそれまで記憶していた値が置換される。
【０１３０】
クラスコードカウンタ５８は、４ビットのカウンタを有し、カウント値をクラスコード（0000乃至1111）としてマッピング回路およびスイッチ５９に出力する。なお、カウント値（クラスコード）は、比較器５５から入力される制御信号に対応して１ずつインクリメントされる。また、クラスコードカウンタ５８は、カウンタの値が1111になったとき、スイッチ６１をオンとする制御信号を出力するとともに、カウント値を0000にリセットする。
【０１３１】
最適クラスコードレジスタ６０は、スイッチ５９を介して入力されるクラスコードに、それまで記憶していたクラスコードを置き換える。したがって、最適クラスコードレジスタ６０には、誤差を最小とする予測係数セットに対応した、最適なクラスコードが保持される。また、最適クラスコードレジスタ６０は、着目画素の最適なクラスコードをスイッチ６１を介して、後段の上位階層画像メモリ３に出力する。
【０１３２】
次に、クラスコード選択回路８の動作について、図１５のフローチャートを参照して説明する。このクラスコード選択処理は、セレクタ５からクラスコード選択回路８に上位階層画像が入力されたときに開始される。
【０１３３】
ステップＳ７１において、着目画素決定回路５１は、上位階層画像の１個の画素を着目画素に決定し、その情報を予測タップ抽出回路５２に出力する。ステップＳ７２において、予測タップ抽出回路５２は、セレクタ５より入力された上位階層画像から、着目画素を中心とする５×５画素の予測タップに含まれる画素の画素値を抽出してマッピング回路５３に出力する。
【０１３４】
ステップＳ７３において、クラスコードカウンタ５８は、カウント値0000をクラスコードとして、マッピング回路５３に出力する。ステップＳ７４において、マッピング回路５３は、クラスコードカウンタ５８より入力されたクラスコードに対する予測係数セットを予測係数メモリ４から読み出して、読み出した予測係数セットの各予測係数と予測タップの各画素の画素値との線形１次結合を演算し、演算結果を下位階層画像の画素値（予測値）として誤差演算回路５４に出力する。
【０１３５】
ステップＳ７５において、誤差演算回路５４は、マッピング回路５３から入力された予測値の、それに対応する原画像の画素値（真値）に対する誤差(S/N比)を演算し、比較器５５、およびスイッチ５７に出力する。比較器５５は、誤差演算回路５４から入力された誤差と最小誤差レジスタ５６から入力される誤差を比較して、誤差演算回路５４から入力された誤差の方が小さい（S/N比が大きい）場合、スイッチ５７，５９をオンとする制御信号を出力する。これにより、クラスカウンタ５８のそのときのカウント値がスイッチ５９を介して最適クラスコードレジスタ６０に転送されて記憶される。また、誤差演算回路５４のそのときの出力が最小誤差レジスタ５６に転送されて記憶される。比較器５５はまた、クラスコードカウンタ５８に制御信号を出力する。
【０１３６】
ステップＳ７６において、クラスコードカウンタ５８は、カウント値（クラスコード）が1111よりも小さいか否かを判定し、カウント値が1111よりも小さいと判定した場合、ステップＳ７７において、カウント値を１だけインクリメントして、その値をクラスコードとしてマッピング回路およびスイッチ５９に出力する。
【０１３７】
その後、ステップＳ７６において、カウント値が1111よりも小さくないと判定されるまで、ステップＳ７４乃至Ｓ７７の処理が繰り返される。ステップＳ７６において、カウント値が1111よりも小さくない（カウント値が1111である）と判定された場合、ステップＳ７８に進む。
ステップＳ７８において、クラスコードカウンタ５８は、スイッチ６１をオンとする制御信号を出力するとともに、カウント値を0000にリセットする。この制御信号に対応してスイッチ６１はオンとされ、最適クラスコードレジスタ６０に保持されている着目画素の最適なクラスコードが、後段の上位階層画像メモリ３に出力される。上位階層画像メモリ３は、入力された最適なクラスコードを用いて、対応する画素の画素データのLSB側の４ビットを書き換える。
【０１３８】
ステップＳ７９において、着目画素決定回路５１は、上位階層画像の全ての画素を着目画素としたか否かを判定し、全ての画素を着目画素としたと判定するまで、ステップＳ７１乃至Ｓ７９の処理が繰り返される。ステップＳ７９において、全ての画素を着目画素としたと判定された場合、図２のステップＳ３に戻る。
【０１３９】
ステップＳ３のデコード処理について説明する前に、ローカルデコード回路９の詳細な構成例について、図１６を参照して説明する。着目画素決定回路７１は、上位階層画像の画素を順次、着目画素に決定し、その情報をクラスコード読取回路７２および予測タップ抽出回路７３に出力する。クラスコード読取回路７２は、セレクタ５より入力された上位階層画像から、着目画素のクラスコード（画素データのLSB側の４ビット）を読み取って、マッピング回路７４に出力する。予測タップ抽出回路７３は、セレクタ５より入力された上位階層画像から、着目画素を中心とする５×５画素の予測タップに含まれる画素の画素値（画素データのMSB側の４ビット）を抽出してマッピング回路７４に出力する。
【０１４０】
マッピング回路７４は、クラスコード読取回路７２より入力されるクラスコードに対応する予測係数セットを予測係数メモリ４から読み出して、読み出した予測係数セットの各予測係数と、予測タップ抽出回路７３から供給される予測タップの各画素の画素値との線形１次結合を演算し、演算結果を下位階層画像の画素値として下位階層画像メモリ７５に出力する。
【０１４１】
下位階層画像メモリ７５は、マッピング回路７４から入力される下位階層画像の画素値を記憶し、記憶した１フレーム分の画素値を後段の収束判定回路１０に出力する。
【０１４２】
次に、ローカルデコード回路９のデコード処理について、図１７のフローチャートを参照して説明する。このデコード処理は、セレクタ５からローカルデコード回路９に上位階層画像が入力されたときに開始される。
【０１４３】
ステップＳ８１において、着目画素決定回路７１は、上位階層画像の１個の画素を、着目画素に決定し、その情報をクラスコード読取回路７２および予測タップ抽出回路７３に出力する。ステップＳ８２において、クラスコード読取回路７２は、セレクタ５より入力された上位階層画像から、着目画素のクラスコード（画素データのLSB側の４ビット）を読み取って、マッピング回路７４に出力する。ステップＳ８３において、予測タップ抽出回路７３は、セレクタ５より入力された上位階層画像から、着目画素を中心とする５×５画素の予測タップに含まれる画素の画素値（画素データのMSB側の４ビット）を抽出してマッピング回路７４に出力する。
【０１４４】
ステップＳ８４において、マッピング回路７４は、クラスコード読取回路７２より入力されるクラスコードに対応する予測係数セットを予測係数メモリ４から読み出して、読み出した予測係数セットの各予測係数と、予測タップ抽出回路７３から供給された予測タップの各画素の画素値との線形１次結合を演算し、演算結果を下位階層画像の画素値として下位階層画像メモリ７５に出力する。
【０１４５】
ステップＳ８５において、着目画素決定回路７１は、上位階層画像の全ての画素を着目画素としたか否かを判定し、全ての画素を着目画素としていないと判定した場合、ステップＳ８１に戻り、それ以降の処理が繰り返される。ステップＳ８５において、全ての画素を着目画素としたと判定された場合、ステップＳ８６において、下位階層画像メモリ７５から下位階層画像の画素値がフレーム単位で後段の収束判定回路１０に出力される。
【０１４６】
図２に戻る。再び、ステップＳ４において、収束判定回路１０で、ローカルデコード回路９から入力された下位階層画像の原画像に対するS/N比とその増加量が演算されて、S/N比の増加量が収束しているか否かが判定され、S/N比の増加量が収束していると判定されるか、または、更新回数カウンタ１１からの制御信号が受信されるまで、ステップＳ２乃至Ｓ６の処理が繰り返される。
【０１４７】
その後、ステップＳ４において、S/N比の増加量が収束していると判定された場合、または、更新回数カウンタ１１からの制御信号が受信された場合、ステップＳ７に進む。ステップＳ７において、収束判定回路１０は、上位階層画像および予測係数テーブルを、図示せぬ媒体を介してデコーダ８１（図１８）に出力する。
【０１４８】
以上のように、エンコーダ１は、上位階層画像の画素データ（８ビット）のMSB側の４ビットを画素値とし、LSB側の４ビットをクラスコードとし、それらをリンクさせるとともに、互いに独立して更新を行うようにしている。これにより、一方の値を最適化するときに他方の値が変化してしまうことがなく、それぞれ独立して最適化することが可能である。
【０１４９】
なお、エンコーダ１では、上位階層画像の画素データをMSB側４ビットとLSB側４ビットに分け、それぞれ画素値とクラスコードとしたが、本発明はこれに限定されるものでなく、上位階層画像の画素データ８ビットすべてを画素値とし、クラスコードは画素値とリンクさせて他の場所に記憶しておくことなども可能である。
【０１５０】
また、図２に示したエンコード処理において、第１回目のステップＳ２、すなわち、ステップＳ１の前処理の直後のクラスコード選択処理を省略してもかまわない。この場合、第１回目のステップＳ４における収束判定結果、すなわち、ステップＳ１の前処理だけを実行した上位階層画像の原画像に対するS/N比は、本出願人が、先に特願平８−２０６５５２号として提案した発明を適用したエンコーダによる初期上位階層画像の原画像に対するS/N比よりもさらに良好なものとなる。
【０１５１】
また、図１に示したエンコーダ１から画素値更新回路６を削除し、図２のステップＳ５の画素値更新処理を省略してもよい。すなわち、上位階層画像の画素値（画像データのMSB側の４ビット）は更新させず、予測係数更新処理とクラスコード選択処理だけを実行するようにしても、先のエンコーダ（特願平８−２０６５５２号として提案した発明を適用したエンコーダ）に比べさらに良好な上位階層画像を生成することが可能である。
【０１５２】
図１８は、エンコーダ１で生成された上位階層画像から原画像を復元する（下位階層画像を生成する）デコーダの構成例を示している。このデコーダ８１において、エンコーダ１からの上位階層画像は、クラスコード読取回路８３および予測タップ抽出回路８４に供給され、予測係数テーブルは、マッピング回路８５に供給される。
【０１５３】
着目画素決定回路８２は、上位階層画像の画素を順次、着目画素に決定し、その位置情報をクラスコード読取回路８３および予測タップ抽出回路８４に出力する。クラスコード読取回路８３は、上位階層画像から着目画素のクラスコード（画素データのLSB側の４ビット）を読み取って、マッピング回路８５に出力する。予測タップ抽出回路８４は、上位階層画像から、着目画素を中心とする５×５画素の予測タップに含まれる画素の画素値（画素データのMSB側の４ビット）を抽出してマッピング回路８５に出力する。
【０１５４】
マッピング回路８５は、クラスコード読取回路８３より入力されるクラスコードに対応する予測係数セットを予測係数テーブルから読み出して、読み出した予測係数セットの各予測係数と、予測タップ抽出回路８４から供給される予測タップの各画素の画素値との線形１次結合を演算し、演算結果を下位階層画像の画素値として下位階層画像メモリ８６に出力する。
【０１５５】
下位階層画像メモリ８６は、マッピング回路８５から入力される下位階層画像の画素値を記憶し、記憶した画素値を、例えば図示せぬモニタに出力する。
【０１５６】
次に、デコーダ８１の動作について、図１９のフローチャートを参照して説明する。このデコード処理は、エンコーダ１からの予測係数テーブルがマッピング回路８５に供給された後、順次入力される上位階層画像に対して実行される。
【０１５７】
但し、このデコード処理を行うタイミングは、これに限定されるものではなく、予測係数テーブルと上位階層画像を受信した後であれば、任意のタイミングでもよい。また、予測係数テーブルと上位階層画像は同じ方法、例えば同じ伝送路や同じ記録媒体に記録されて、で受信する必要はなく互いに異なる方法で受信してもよい。
【０１５８】
ステップＳ９１において、着目画素決定回路８２は、上位階層画像の１個の画素を、着目画素に決定し、その位置情報をクラスコード読取回路８３および予測タップ抽出回路８４に出力する。ステップＳ９２において、クラスコード読取回路８３は、上位階層画像から着目画素のクラスコード（画素データのLSB側の４ビット）を読み取って、マッピング回路８５に出力する。ステップＳ９３において、予測タップ抽出回路８４は、入力された上位階層画像から着目画素を中心とする５×５画素の予測タップに含まれる画素の画素値（画素データのMSB側の４ビット）を抽出してマッピング回路８５に出力する。
【０１５９】
ステップＳ９４において、マッピング回路８５は、クラスコード読取回路８３より入力されるクラスコードに対応する予測係数セットを予測係数テーブルから読み出して、読み出した予測係数セットの各予測係数と、予測タップ抽出回路８４から供給された予測タップの各画素の画素値との線形１次結合を演算し、演算結果を下位階層画像の画素値として下位階層画像メモリ８６に出力する。
なお、ステップＳ９４の処理は、上位階層画像の各着目画素に比べ下位階層画像の画素数が多いことから明らかなように、上位階層画像の各着目画素に対応する複数個の下位階層画像の画素値毎に行われる。すなわち、各下位階層画像の画素値毎の予測係数セットが用いられる。
【０１６０】
ステップＳ９５において、着目画素決定回路８２は、上位階層画像の全ての画素を着目画素としたか否かを判定し、全ての画素を着目画素としていないと判定した場合、ステップＳ９１に戻り、それ以降の処理が繰り返される。ステップＳ９５において、全ての画素を着目画素としたと判定された場合、ステップＳ９６で、下位階層画像メモリ８６から下位階層画像の画素値が、図示せぬモニタに出力される。
【０１６１】
図２０は、上述したエンコード処理（図２）とは異なる順序で実行される、エンコーダ１の動作を説明するフローチャートである。この図２０では、前処理が実行された後、クラスコード選択処理が実行され、その後、予測係数更新処理が実行される。
【０１６２】
なお、図２０のステップＳ１０１乃至Ｓ１０７における各処理は、図２のステップＳ１，Ｓ６，Ｓ５，Ｓ２，Ｓ３，Ｓ４，Ｓ７における各処理と同様であるので、その説明は省略する。
【０１６３】
図２０のフローチャートに示した順序で各処理を実行させるためには、セレクタ５（図１）が、更新回数カウンタ１１から入力される制御信号に対応して、上位階層画像メモリ３から入力された上位階層画像を、クラスコード選択回路８、予測係数更新回路７、ローカルデコード回路９および収束判定回路１０、画素値更新回路６、に順次出力するようにすればよい。
【０１６４】
図２１は、同一の原画像を用いて生成された複数の上位階層画像から復元された下位階層画像の原画像に対するS/N比を演算したシミュレーションの結果を表している。なお、縦軸はS/N比を表し、横軸は、一連のエンコード処理を実行した回数（更新回数）を表している。
【０１６５】
図２１の曲線Ａは、図２０に示したフローチャートに従って生成された上位階層画像から復元された下位階層画像のS/N比を示し、曲線Ｂは、図２に示したフローチャートに従って生成された上位階層画像から復元された下位階層画像のS/N比を示し、曲線Ｃは、図２に示したフローチャートから、ステップＳ４の画素値更新処理を省略して生成された上位階層画像から復元された下位階層画像のS/N比を示し、曲線Ｄは、本出願人が先に特願平８−２０６５５２号として提案した方法に従って生成された上位階層画像から復元された下位階層画像のS/N比を示している。
【０１６６】
同図の曲線Ａから明らかなように、図２０に示したフローチャートに従って生成された上位階層画像から復元された下位階層画像は、特に、更新回数が少ない段階において、他のものよりも高いS/N比を示している。これは、図２０のフローチャートに従えば、所望のS/N比を示す下位階層画像を復元可能な上位階層画像を短い処理時間で生成できることを示している。
【０１６７】
次に、画素値更新回路６の第２の構成例について、図２２を参照して説明する。この構成例は、図８に示した画素値更新回路６の第１の構成例の最適画素値決定回路２２および注目画素決定回路２３を、それぞれ領域最適化回路９１および注目領域決定回路９２に置換したものである。図８の最適画素値決定回路２２が、注目画素だけの画素値を最適化するのに対して、図２２の領域最適化回路９１は、注目領域に含まれる複数の画素の画素値を同時に最適化する。
【０１６８】
注目領域決定回路９２は、上位階層画像の所定のサイズの領域（例えば、７×７画素）を、順次、注目領域に決定し、その位置情報を領域最適化回路９１に出力する。また、注目領域決定回路９２は、上位階層画像の全ての画素を注目領域とした後、スイッチ２４をオンとする制御信号を出力する。
【０１６９】
図２３は、領域最適化回路９１の詳細な構成例を示している。着目画素決定回路１０１は、注目領域の画素を、順次、着目画素に決定し、その位置情報をクラスコード読取回路１０２、および予測タップ抽出回路１０３に出力する。また、着目画素決定回路１０１は、注目領域内の全ての画素を着目画素に決定した後、スイッチ１０６をオンとする制御信号を出力する。
【０１７０】
クラスコード読取回路１０２は、上位階層画像メモリ３から着目画素のクラスコード（画素データのLSB側の４ビット）を読み出して誤差関数生成回路１０４に出力する。予測タップ抽出回路１０３は、上位階層画像メモリ３から着目画素を中心とする５×５画素の予測タップを抽出して誤差関数生成回路１０４に出力する。
【０１７１】
誤差関数生成回路１０４は、着目画素に対応する誤差関数（その詳細は後述する）を生成して影響誤差関数マトリクスレジスタ１０５に出力する。影響誤差関数マトリクスレジスタ１０５は、注目領域内の全ての着目画素に対応する誤差関数を用いて、影響誤差関数マトリクスを生成し、スイッチ１０６を介して注目領域画素値演算回路１０７に出力する。
【０１７２】
注目領域画素値演算回路１０７は、スイッチ１０６を介して入力された影響誤差関数マトリクスを解いて注目領域内の画素の画素値を演算する（その詳細については後述する）。
【０１７３】
次に、画素値更新回路６の第２の構成例の動作について、図２４のフローチャートを参照して説明する。この画素値更新処理においては、注目領域以外の画素の画素値が固定されて、注目領域内の画素の画素値が最適化される。画素値更新処理は、セレクタ５から入力された上位階層画像が画素値更新回路６の上位階層画像メモリ２１に記憶されたときに開始される。
【０１７４】
ステップＳ１１１において、注目領域決定回路９２は、上位階層画像の７×７画素を注目領域に決定し、その位置情報を領域最適化回路９１に出力する。領域最適化回路９１の着目画素決定回路１０１は、ステップＳ１１２において、注目領域内の１個の画素を着目画素に決定し、その位置情報をクラスコード読取回路１０２、および予測タップ抽出回路１０３に出力する。
【０１７５】
ステップＳ１１３において、クラスコード読取回路１０２は、着目画素のクラスコード（画素データのLSB側の４ビット）を読み出して誤差関数生成回路１０４に出力する。予測タップ抽出回路１０３は、着目画素を中心とする５×５画素の予測タップを抽出して誤差関数生成回路１０４に出力する。
【０１７６】
ステップＳ１１４において、誤差関数生成回路１０４は、着目画素に対応する誤差関数を生成して影響誤差関数マトリクスレジスタ１０５に出力する。
【０１７７】
ステップＳ１１５において、着目画素決定回路１０１は、注目領域内の全ての画素を着目画素に決定したか否かを判定し、全ての画素が着目画素に決定されていないと判定された場合、ステップＳ１１２に戻り、それ以降の処理が繰り返される。ステップＳ１１５において、注目領域内の全ての画素が着目画素に決定されたと判定された場合、ステップＳ１１６に進む。
【０１７８】
ステップＳ１１６において、着目画素決定回路１０１は、スイッチ１０６をオンとする制御信号を出力する。影響誤差関数マトリクスレジスタ１０５は、入力された着目画素に対応する誤差関数から、影響誤差関数マトリクスを生成し、スイッチ１０６を介して注目領域画素値演算回路１０７に出力する。
【０１７９】
ここで、注目領域、予測タップ、誤差関数、および影響誤差関数マトリクスについて説明する。注目領域は、図２５(A)に示すように、７×７画素の４９個の画素から構成され、その左上角を１番目とした場合、ｊ番目の画素ｊが着目画素とされたとき、着目画素ｊに対応する予測タップ（tapsｊ）として、画素ｊを中心とする５×５画素の２５個の画素が抽出される。したがって、図２５(A)においてｓ＝４９であり、図２５(B)においてｔ＝２５である。
【０１８０】
また、注目領域(area)と、着目画素ｊに対する予測タップ（tapsｊ）について、３種類の範囲（Ａ１ｊ乃至Ａ３ｊ）が設定される。ただし、範囲Ａ１ｊは、予測タップ（tapsｊ）に属し、注目領域(area)に属さない範囲とされ、範囲Ａ２ｊは、予測タップ（tapsｊ）に属さない、かつ、注目領域(area)に属する範囲とされ、範囲Ａ３ｊは、予測タップ（tapsｊ）に属し、注目領域(area)に属する範囲とされる。
【０１８１】
さて、上位階層画像の着目画素ｊに対応する、下位階層画像の画素値（予測値）ｙ’jは、次式（５）で表すことができる。なお、以下において、上付き文字（例えば、ｙ’jのｊ）は注目領域における番号を示し、下付き文字（例えば、ｗtのｔ）は、予測タップ内における番号を示すものとする。
【０１８２】
【数６】
【０１８３】
また、ｘp jは、着目画素ｊの予測タップ（tapsｊ）のｐ番目の画素値であり、ｗp jは、着目画素ｊのクラスコードに対応した係数ベクトルの、ｘp jにかかる係数である。ただし、実際には、上位階層画像の１個の着目画素には、下位階層画像の９個の画素が対応するので、式（５）と同様の式が、他に８本生成される。
【０１８４】
ここで、予測値ｙ’ jに対応する真値（原画像の画素値）をｙjとすれば、その誤差ｅ'jは、次式（６）で示される。
【０１８５】
【数７】
【０１８６】
ただし、
【数８】
である。
【０１８７】
なお、ｎ’は、注目領域(area)内における番号ｎを、予測タップ（tapsｊ）における番号に変換した値である。また、範囲Ａ１ｊに位置する画素の画素値は、更新しないので、ｙ''jは固定値である。したがって、着目画素に対応する自乗誤差を求めるには、式（６）と同様の式を、他に８本生成し、それぞれを２乗して足し合わせればよい。その結果を誤差関数Ｅkとする。
【０１８８】
注目領域(area)内の全ての画素に対応する誤差関数Ｅkを足し合わせたものを影響誤差関数Ｅareaとする。
【０１８９】
【数９】
【０１９０】
ここで、既に述べたように、Ｅkは、（ｅk）2を９つ足し合わせたものであるが、簡略化するために、Ｅk＝（ｅk）2とする。
【０１９１】
次に、注目領域(area)内における番号ｎに対応する画素の画素値をｘiとし、影響誤差関数Ｅareaの値を最小にする画素値ｘ1乃至ｘsを最小自乗法により求める。
【０１９２】
まず、式（８）の画素値ｘiによる偏微分係数（次式（９））を求め、その値が０となるように画素値ｘiを決定する。
【０１９３】
【数１０】
【０１９４】
ここで、式（７）に基づいて、ＷjiおよびＹiを次式（１０）のように定める。
【０１９５】
【数１１】
【０１９６】
式（９）の値を０として、次式（１１）のような行列式を得る。
【０１９７】
【数１２】
ここで、式（１０）のＷjiおよびＹiは、９画素分に対応して値があるので、それらを足し合わせた行列式（１）を影響誤差関数マトリクスとする。
【０１９８】
図２４のステップＳ１１７の説明に戻る。ステップＳ１１７において、注目領域画素値演算回路１０７は、入力された影響誤差関数マトリクスに対し、掃き出し法等の一般的な行列解法を適用して、画素値ｘ1乃至ｘsを演算し、上位階層画像メモリ２１に出力する。上位階層画像メモリ２１は、入力された画素値ｘ1乃至ｘsを用いて、それまで記憶していた値を更新する。
【０１９９】
ステップＳ１１８において、注目領域決定回路９２は、上位階層画像の全ての画素を注目領域に決定したか否かを判定し、全ての画素を注目領域に決定していないと判定した場合、ステップＳ１１１に戻り、それ以降の処理が繰り返される。
【０２００】
その後、ステップＳ１１８において、上位階層画像の全ての画素が注目領域に決定されたと判定された場合、注目領域決定回路９２は、スイッチ２４をオンとする制御信号を出力する。スイッチ２４がオンとされることにより、上位階層画像メモリ２１に記憶されている、画素値が最適化された上位階層画像が上位階層画像メモリ３に出力される。
【０２０１】
このように、領域単位で処理すると、より高いS/N比の画像を得ることができる。
【０２０２】
図２６は、本発明を適用したエンコーダの第２の構成例を表している。このエンコーダ１１１は、図１に示したエンコーダ１の収束判定回路１０の後段に予測係数拡張回路１１２を追加したものである。予測係数拡張回路１１２は、収束判定回路１０が出力した、４ビット（１６種類）のクラスコードに対応する予測係数テーブルを、５ビット（３２種類）の拡張クラスコードに対応させるものである。
【０２０３】
予測係数拡張回路１１２の詳細な構成例について、図２７を参照して説明する。収束判定回路１０から入力された上位階層画像は、予測係数拡張回路１１２において、予測タップ抽出回路１２２、クラスコード読取回路１２３、および空間クラスコード判定回路１２４に供給される。着目画素決定回路１２１は、上位階層画像の画素を順次、着目画素に決定し、その位置情報を予測タップ抽出回路１２２、クラスコード読取回路１２３、および空間クラスコード判定回路１２４に出力する。
【０２０４】
予測タップ抽出回路１２２は、着目画素を中心とする５×５画素の予測タップの画素値（画素データのMSB側の４ビット）を抽出して正規方程式生成回路１２６に出力する。クラスコード読取回路１２３は、着目画素のクラスコード（画素データのLSB側の４ビット）を読み出して空間クラスコード判定回路１２４に出力する。
【０２０５】
空間クラスコード判定回路１２４は、着目画素の空間クラスコードを判定する。すなわち、図２８に示すように、着目画素の画素値と、その近傍（例えば、左隣の画素）の画素の画素値を比較して、着目画素の画素値の方が大きい場合、空間クラスコード（１ビット）を０に決定し、近傍の画素の画素値の方が大きい場合、空間クラスコードを１に決定する。さらに、空間クラスコード判定回路１２４は、クラスコード読取回路１２３から入力された４ビットのクラスコードのMSB側に空間クラスコードを付加して拡張クラスコード（５ビット）を生成し、正規方程式生成回路１２６に出力する。
【０２０６】
なお、空間クラスコードのビット数は、１ビットに限定されるものではなく、複数ビットであってもよい。また、空間クラスコードを上述した方法によって決定するのではなく、例えば、１ビットADRC処理や微分値や差分値から決定してもよい。
【０２０７】
教師データ抽出回路１２５は、原画像から教師データ（予測タップを用いて生成される下位階層画像の画素値の真値）を抽出して正規方程式生成回路１２６に出力する。正規方程式生成回路１２６は、着目画素の拡張クラスコード毎に、既知である教師データおよび予測タップの画素値、並びに、変数としての予測係数から成る正規方程式を生成して、予測係数演算回路１２７に出力する。
【０２０８】
予測係数演算回路１２７は、入力された正規方程式に最小自乗法を適用して３２種類（５ビット）の拡張クラスコードに対応する予測係数を演算し、後段に出力する。なお、サンプル数が少ないために正規方程式生成回路１２６からの正規方程式が解けない場合、予測係数演算回路１２７は、予測係数メモリ４から供給される１６種類（４ビット）のクラスコードに対応した予測係数テーブルを出力する。
【０２０９】
次に、予測係数拡張回路１１２の動作について、図２９のフローチャートを参照して説明する。この予測係数拡張処理は、収束判定回路１０から最適上位階層画像が入力されたときに開始される。
【０２１０】
ステップＳ１２１において、着目画素決定回路１２１は、上位階層画像の１個の画素を着目画素に決定し、その位置情報を予測タップ抽出回路１２２、クラスコード読取回路１２３、および空間クラスコード判定回路１２４に出力する。
【０２１１】
ステップＳ１２２において、クラスコード読取回路１２３は、着目画素のクラスコード（画素データのLSB側の４ビット）を読み出して空間クラスコード判定回路１２４に出力する。ステップＳ１２３において、空間クラスコード判定回路１２４は、着目画素の画素値と、その近傍の画素の画素値を比較して、着目画素の画素値の方が大きい場合、空間クラスコード（１ビット）を０に決定し、近傍の画素の画素値の方が大きい場合、空間クラスコードを１に決定する。さらに、空間クラスコード判定回路１２４は、クラスコード読取回路１２３から入力された４ビットのクラスコードのMSB側に空間クラスコードを付加して拡張クラスコード（５ビット）を生成し、正規方程式生成回路１２６に出力する。
【０２１２】
ステップＳ１２４において、予測タップ抽出回路１２２は、着目画素を中心とする５×５画素の予測タップの画素値（画素データのMSB側の４ビット）を抽出して正規方程式生成回路１２６に出力する。
【０２１３】
ステップＳ１２５において、正規方程式生成回路１２６は、着目画素のクラスコード毎に、既知である教師データおよび予測タップの画素値、並びに、変数としての予測係数から成る正規方程式を生成して、予測係数演算回路１２７に出力する。
【０２１４】
ステップＳ１２６において、着目画素決定回路１２１は、上位階層画像の全ての画素を着目画素としたか否かを判定し、全ての画素を着目画素としていないと判定した場合、ステップＳ１２１に戻り、それ以降の処理が繰り返される。ステップＳ１２６において、全ての画素を着目画素としたと判定された場合、ステップＳ１２７に進む。
【０２１５】
ステップＳ１２７において、予測係数演算回路１２７は、ステップＳ１２５で正規方程式生成回路１２６が生成した正規方程式に最小自乗法を適用し、３２種類（５ビット）の拡張クラスコードに対応する予測係数セットを演算し、得られた予測係数セット（予測係数テーブル）を出力する。
【０２１６】
以上のように、予測係数拡張回路１１２では、予測係数セットを拡張クラスコード（５ビット）に対応させるが、着目画素の画素データのLSB側の５ビットに拡張クラスコードを書き込むわけではなく、着目画素の画素値（画素データのMSB側の４ビット）を変化させないので、この上位階層画像から生成される下位階層画像に階調欠如を発生させることはない。
【０２１７】
図３０は、図２６に示したエンコーダ１１１で生成された上位階層画像から原画像を復元する（下位階層画像を生成する）デコーダの構成例を示している。
【０２１８】
このデコーダ１３１は、図１８に示したデコーダ８１に空間クラスコード判定回路１３２を追加したものである。空間クラスコード判定回路１３２には、エンコーダ１からの上位階層画像、着目画素決定回路８２からの着目画素の位置情報、およびクラスコード読取回路８３からのクラスコード（着目画素の画素データのLSB側の４ビット）が入力される。
【０２１９】
空間クラスコード判定回路１３２は、着目画素の画素値と、着目画素の近傍（いまの場合、左隣）の画素の画素値を比較して、着目画素の画素値の方が大きい場合、空間クラスコード（１ビット）を０に決定し、近傍の画素の画素値の方が大きい場合、空間クラスコードを１に決定する。さらに、空間クラスコード判定回路１３２は、クラスコード読取回路８３から入力された４ビットのクラスコードのMSB側に空間クラスコードを付加して拡張クラスコード（５ビット）を生成し、マッピング回路８５に出力する。なお、空間クラスコード判定回路１３２以外の構成回路については、図１８に示したものと同様であるので、その説明は省略する。
【０２２０】
次に、デコーダ１３１の動作について、図３１のフローチャートを参照して説明する。このデコード処理は、例えば、エンコーダ１１１が出力した予測係数テーブルが、マッピング回路８５に供給された後、順次入力されるフレーム単位の上位階層画像に対して実行される。
【０２２１】
ステップＳ１３１において、着目画素決定回路８２は、上位階層画像の１個の画素を、着目画素に決定し、その位置情報をクラスコード読取回路８３、予測タップ抽出回路８４、および空間クラスコード判定回路１３２に出力する。ステップＳ１３２において、クラスコード読取回路８３は、上位階層画像から着目画素のクラスコード（画素データのLSB側の４ビット）を読み取って、空間クラスコード判定回路１３２に出力する。
【０２２２】
ステップＳ１３３において、空間クラスコード判定回路１３２は、着目画素の画素値と、その左隣の画素の画素値を比較して、着目画素の画素値の方が大きい場合、空間クラスコード（１ビット）を０に決定し、近傍の画素の画素値の方が大きい場合、空間クラスコードを１に決定する。さらに、空間クラスコード判定回路１３２は、クラスコード読取回路８３から入力された４ビットのクラスコードのMSB側に空間クラスコードを付加して拡張クラスコード（５ビット）を生成し、マッピング回路８５に出力する。
【０２２３】
ステップＳ１３４において、予測タップ抽出回路８４は、入力された上位階層画像から着目画素を中心とする５×５画素の予測タップに含まれる画素の画素値（画素データのMSB側の４ビット）を抽出してマッピング回路８５に出力する。
【０２２４】
ステップＳ１３５において、マッピング回路８５は、空間クラスコード判定回路１３２より入力される拡張クラスコードに対応する予測係数セットを予測係数テーブルから読み出して、読み出した予測係数セットの各予測係数と、予測タップの各画素の画素値との線形１次結合を演算し、演算結果を下位階層画像の画素値として下位階層画像メモリ８６に出力する。
【０２２５】
ステップＳ１３６において、着目画素決定回路８２は、上位階層画像の全ての画素を着目画素としたか否かを判定し、全ての画素を着目画素としたと判定するまで、ステップＳ１３１乃至Ｓ１３６の処理が繰り返される。ステップＳ１３７において、全ての画素を着目画素としたと判定された場合、ステップＳ１３７で下位階層画像メモリ８６から下位階層画像の画素値がフレーム単位で、図示せぬモニタに出力される。
【０２２６】
図３２は、図２６に示したエンコーダ１１１で生成された上位階層画像を用い、図３０に示したデコーダ１３１が復元した下位階層画像の原画像に対するS/N比を演算したシミュレーションの結果を表している。同図から明らかなように、LSB側４ビットをクラスコードとして繰り返し更新を実行してS/N比が収束した後（更新回数２０回目まで）、更新回数２１回目において、予測係数セットを３２種類（５ビット）の拡張クラスコードに対応させることにより、さらにS/N比が向上する。
【０２２７】
なお、本実施の形態においては、画素データを８ビットとして、そのMSB側の４ビットを画素値、LSB側の４ビットをクラスコードとしたが、これらのビット数は変更してもかまわない。また、そのMSB側をクラスコードとし、LSB側を画素値としてもかまわない。さらに、画素値とクラスコードを分離して記憶するようにしてもかまわない。
【０２２８】
また、クラスタップ、予測タップ、および、画素値の更新を行う領域等の形状は、上述したものに限定されず、例えば、円形や不連続な形状でもよい。また、対称形状であってもよいし、非対称形状であってもよい。
【０２２９】
また、本実施の形態においては、原画像を、より少ない画素数からなる、原画像に復元可能な画像に変換したが、例えば、原画像を、原画像と同じ画素数からなる画像であって、かつ、１画素当たりの情報量（例えば、５ビット）が、原画像の１画素当たりの情報量（例えば、８ビット）よりも少ない、原画像に復元可能な画像に変換する場合にも、本発明を適用することが可能である。
【０２３０】
この場合には、原画像から画素数を削減する変わりにビット数を削減する処理を行って上位階層画像を生成する。例えば、図６における各画素が８ビットの上位階層画像でなく、画素数は下位階層画像と同じで、各画像データが５ビットで、画素値が３ビットでクラスコードが２ビットである上位階層画像データとすることができる。そして、ローカルデコード時には上位階層画像のビット数を原画像と同じビット数に増加させる処理を行えばよい。
【０２３１】
上述した一連の処理は、上述した各実施例のように、ハードウェアにより実行させることもできるが、ソフトウェアで実行させることもできる。
【０２３２】
図３３は、例えばコンピュータなどに構成される情報処理装置である。この情報処理装置に、例えば、図２乃至図４のフローチャートを用いて説明した動作を実行するソフトウェアプログラムを与えることで、本発明の符号化装置を構成することができる。
【０２３３】
図３３の情報処理装置について説明する。図３３の情報処理装置においてCPU（Central Processing Unit）５１１にはバス５１５を介して入出力インタフェース５１６が接続されており、CPU５１１は、入出力インタフェース５１６を介して、ユーザから、キーボード、マウスなどよりなる入力部５１８から指令が入力されると、例えば、ROM（Read Only Memory）５１２、ハードディスク５１４、またはドライブ５２０に装着される磁気ディスク５３１、光ディスク５３２、光磁気ディスク５３３、若しくは半導体メモリ５３４などの記録媒体に格納されている本発明に関するソフトウェアプログラムを、RAM（Random Access Memory）５１３にロードして実行する。さらに、CPU５１１は、その処理結果を、例えば、入出力インタフェース５１６を介して、LCD（Liquid Crystal Display）などよりなる表示部５１７に必要に応じて出力する。なお、プログラムは、ハードディスク５１４やROM５１２に予め記憶しておき、情報処理装置５０１と一体的にユーザに提供したり、磁気ディスク５３１、光ディスク５３２、光磁気ディスク５３３，半導体メモリ５３４等のパッケージメディアとして提供したり、衛星、ネットワーク等から通信部５１９を介してハードディスク５１４に提供することができる。
【０２３４】
また、上述した各実施例においては画像信号を符号化する例について述べたが、本発明はこれに限定されるものでなく、オーディオ信号などにも適用可能である。
【０２３５】
また、本発明の主旨を逸脱しない範囲において、様々な変形や応用例が考えられる。したがって、本発明の主旨は本実施の形態に限定されるものではない。
のネットワーク提供媒体を介してユーザに提供することができる。
【０２３６】
【発明の効果】
以上のように、本発明の第１の画像信号変換装置、画像信号変換方法、および記録媒体のプログラムによれば、原画像を復元可能な上位階層画像を生成することが可能となる。
【０２３７】
また、本発明の第２の画像信号変換装置、画像信号変換方法、および記録媒体のプログラムによれば、原画像を復元可能な上位階層画像を生成することが可能となる。
【０２３８】
また、本発明の第３の情報信号変換装置、情報信号変換方法、および記録媒体のプログラムによれば、原信号を復元可能な上位階層信号を生成することが可能となる。
【０２３９】
また、本発明の第４の情報信号変換装置、情報信号変換方法、および記録媒体のプログラムによれば、原信号を復元可能な上位階層信号を生成することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用したエンコーダ１の第１の構成例を示すブロック図である。
【図２】図１のエンコーダ１の動作を説明するフローチャートである。
【図３】図１の前処理回路２の動作を説明するフローチャートである。
【図４】図３のステップＳ１１の詳細を説明するフローチャートである。
【図５】画素の配置を説明する図である。
【図６】画素データを説明する図である。
【図７】図３のステップＳ１２の詳細を説明するフローチャートである。
【図８】図１の画素値更新回路６の第１の構成例を示すブロック図である。
【図９】図８の最適画素値決定回路２２の構成例を示すブロック図である。
【図１０】図８の画素値更新回路６の動作を説明するフローチャートである。
【図１１】画素の配置を説明する図である。
【図１２】図１の予測係数更新回路７の構成例を示すブロック図である。
【図１３】図１２の予測係数更新回路７の動作を説明するフローチャートである。
【図１４】図１のクラスコード選択回路８の構成例を示すブロック図である。
【図１５】図１４のクラスコード選択回路８の動作を説明するフローチャートである。
【図１６】図１のデコード回路９の構成例を示すブロック図である。
【図１７】図１６のデコード回路９の動作を説明するフローチャートである。
【図１８】図１に示したエンコーダ１に対応するデコータ８１の構成例を示すブロック図である。
【図１９】図１８のデコーダ８１の動作を説明するフローチャートである。
【図２０】図１のエンコーダ１の他の動作を説明するフローチャートである。
【図２１】シミュレーション結果を示す図である。
【図２２】図１の画素値更新回路６の第２の構成例を示すブロック図である。
【図２３】図２２の領域最適化回路９１の構成例を示すブロック図である。
【図２４】図２２の画素値更新回路６の動作を説明するフローチャートである。
【図２５】影響誤差関数マトリクスを説明するための図である。
【図２６】本発明を適用したエンコーダの第２の構成例を示すブロック図である。
【図２７】図２６の予測係数拡張回路１１２の構成例を示すブロック図である。
【図２８】拡張クラスコードを説明するための図である。
【図２９】図２７の予測係数拡張回路１１２の動作を説明するフローチャートである。
【図３０】図２６のエンコーダ１の対応するデコーダ１３１の構成例を示すブロック図である。
【図３１】図３０のデコーダ１３１の動作を説明するフローチャートである。
【図３２】シミュレーション結果を示す図である。
【図３３】情報処理装置５０１の構成例を示すブロック図である。
【符号の説明】
１ エンコーダ， ２ 前処理回路， ３ 上位階層画像メモリ， ４ 予測係数メモリ， ５ セレクタ， ６ 画素値更新回路， ７ 予測係数更新回路， ８ クラスコード選択回路， ９ ローカルデコード回路， １０ 収束判定回路， １１ 更新回数カウンタ， ２２ 最適画素値決定回路， ８１ デコーダ， ８２ 着目画素決定回路， ８３ クラスコード読取回路， ８４ 予測タップ抽出回路， ８５ マッピング回路， ８６ 下位階層画像メモリ，９１ 領域最適化回路， １１１ エンコーダ， １１２ 予測係数拡張回路， １２４ 空間クラスコード判定回路， １３１ デコーダ， １３２ 空間クラスコード判定回路
【発明の属する技術分野】
本発明は、画像信号変換装置および方法、情報信号変換装置および方法、並びに記録媒体に関し、例えば、原信号を原信号よりも情報量が少ない出力信号に変換する場合に用いて好適な画像信号変換装置および方法、情報信号変換装置および方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
原画像を構成する画素よりも情報量の少ない画素から構成される上位階層画像を生成し、この上位階層画像から、原画像とほぼ同一の下位階層画像を生成する（原画像を復元する）する技術がある。この技術については、本出願人により、特願平８−２０６５５２、および、その対応米国特許出願シリアルナンバ８９３２０２号（１９９７年７月１５日出願）として提案されている。
【０００３】
この提案においては、下位階層画像の画素値は、上位階層画像の着目画素を中心とする予測タップの画素値と、着目画素が分類されるクラスコードに対応する予測係数の線形１次結合からなる予測式を演算することにより求められる。なお、着目画素のクラスコードは、着目画素とその近傍の画素から構成されるクラスタップの画素値から決定される。
【０００４】
したがって、原画像とほぼ等しい下位階層画像を生成することが可能な上位階層画像を生成するには、画素値とクラスコード（予測係数）を同時に最適化することが理想的である。
【０００５】
【発明が解決しようとする課題】
しかしながら、サンプル値とクラスコード（予測係数）を同時に適正化するためには、上位階層画像の全てのサンプルのサンプル値を同時に変動させる必要があるが、そのようにするには演算量が膨大となることから、サンプル値とクラスコード（予測係数）を同時に適正化することは、実質的には不可能である課題があった。
【０００６】
また、例えば、クラスコード（予測係数）を適正化した後、サンプル値を適正化した場合、クラスコードは着目サンプル等のサンプル値から決定されていることから、先に適正化したクラスコードが変化してしまう。このように、サンプル値とクラスコードのうちの一方を固定した後、他方を適正化することができない課題があった。
【０００７】
本発明はこのような状況に鑑みてなされたものであり、画素値（サンプル値）と予測係数の双方を、他方に影響されることなく適正化することにより、原画像（原信号）を復元可能な上位階層画像（信号）を生成できるようにするものである。
【０００８】
【課題を解決するための手段】
本発明の第１の画像信号変換装置は、原画像信号から出力画像信号と同じ情報量の中間画像信号を生成する中間画像信号生成手段と、中間画像信号の各画素の画素値を各クラスコードと対応付けて記憶する中間画像記憶手段と、各クラスコードに対して予測係数を対応付けて記憶する予測係数記憶手段と、中間画像信号、中間画像信号の着目画素に対応付けられたクラスコード、および原画像信号に基づいて、クラスコードに対する最適な予測係数を生成し、予測係数記憶手段における各クラスコードに対する予測係数を更新する予測係数更新手段と、中間画像信号、中間画像信号の着目画素の画素値に対応付けられたクラスコードと対応付けられた予測係数、並びに原画像信号に基づいて、中間画像信号の着目画素に対する最適なクラスコードを選択し、中間画像記憶手段における中間画像信号の着目画素の画素値に対するクラスコードの対応付けを更新するクラスコード更新手段と、所定の条件を満たしたとき、中間画像信号を出力画像信号に決定する決定手段とを含み、中間画像記憶手段は、中間画像信号の各画素毎に、画素値およびクラスコードを包含する画素データを記憶する。
【０００９】
前記予測係数更新手段およびクラスコード更新手段は、決定手段が所定の条件を満たしたことを検出するまで、予測係数およびクラスコードの更新を繰り返して実行するようにすることができる。
【００１０】
本発明の第１の画像信号変換装置は、中間画像記憶手段が記憶した中間画像信号の各画素値、予測係数記憶手段が記憶した中間画像信号の各画素値に対応するクラスコードと対応付けられた予測係数に基づいて、原画像信号と同じ情報量を有する予測画像信号の１または複数の画素値を生成する予測画像生成手段をさらに含むことができ、前記決定手段は、所定の条件として、中間画像信号と原画像信号の比較結果に基づく条件を用いるようにすることができる。
【００１１】
前記決定手段は、中間画像信号と原画像信号の誤差を比較結果とし、比較結果が閾値以下になったとき、所定の条件を満たしたと検出するようにすることができる。
【００１２】
前記決定手段は、予測係数およびクラスコードの更新回数が閾値に達したとき、所定の条件を満たしたと検出するようにすることができる。
【００１３】
本発明の第１の画像信号変換装置は、原画像信号および中間画像信号に基づいて、初期予測係数を生成し、予測係数記憶手段に記憶させる初期予測係数生成手段をさらに含むことができる。
【００１４】
本発明の第１の画像信号変換装置は、中間画像信号の着目画素に基づいて選定される画素の画素値、およびクラスコード更新手段で更新されたクラスコードに基づいて、拡張クラスコードを生成する拡張クラスコード生成手段と、拡張クラスコードに対応する拡張予測係数を生成する拡張予測係数生成手段とをさらに含むことができる。
【００１６】
本発明の第１の画像信号変換装置は、出力画像信号および予測係数記憶手段に記憶された予測係数を出力する出力手段をさらに含むことができる。
【００１７】
本発明の第１の画像信号変換装置は、中間画像信号の注目画素に基づいて選定される着目画素に対応付けられたクラスコードと対応付けられた予測係数、中間画像信号の注目画素に基づいて選定される少なくとも１つの着目画素、および原画像信号に基づいて、中間画像信号の注目画素の最適な画素値を生成し、中間画像記憶手段における注目画素の画素値を更新する画素値更新手段をさらに含むことができる。
【００１８】
本発明の第１の画像信号変換方法は、原画像信号から出力画像信号と同じ情報量の中間画像信号を生成する中間画像信号生成ステップと、中間画像信号の各画素の画素値を各クラスコードに対応付けて中間画像記憶部に記憶する中間画像記憶ステップと、各クラスコードに対して予測係数を対応付けて予測係数記憶部に記憶する予測係数記憶ステップと、中間画像信号、中間画像信号の着目画素に対応付けられたクラスコード、および原画像信号に基づいて、クラスコードに対する最適な予測係数を生成し、予測係数記憶部における各クラスコードに対する予測係数を更新する予測係数更新ステップと、中間画像信号、中間画像信号の着目画素の画素値に対応付けられたクラスコードと対応付けられた予測係数、および原画像信号に基づいて、中間画像信号の着目画素に対する最適なクラスコードを選択し、中間画像記憶部における中間画像信号の着目画素の画素値に対するクラスコードの対応付けを更新するクラスコード更新ステップと、所定の条件を満たしたとき、予測画像信号を出力画像信号に決定する決定ステップとを含み、中間画像記憶ステップは、中間画像信号の各画素毎に、画素値およびクラスコードを包含する画素データを中間画像記憶部に記憶する。
【００２７】
本発明の第１の記録媒体は、原画像信号から出力画像信号と同じ情報量の中間画像信号を生成する中間画像信号生成ステップと、中間画像信号の各画素の画素値を各クラスコードに対応付けて中間画像記憶部に記憶する中間画像記憶ステップと、各クラスコードに対して予測係数を対応付けて予測係数記憶部に記憶する予測係数記憶ステップと、中間画像信号、中間画像信号の着目画素に対応付けられたクラスコード、および原画像信号に基づいて、クラスコードに対する最適な予測係数を生成し、予測係数記憶部における各クラスコードに対する予測係数を更新する予測係数更新ステップと、中間画像信号、中間画像信号の着目画素の画素値に対応付けられたクラスコードと対応付けられた予測係数、および原画像信号に基づいて、中間画像信号の着目画素に対する最適なクラスコードを選択し、中間画像記憶部における中間画像信号の着目画素の画素値に対するクラスコードの対応付けを更新するクラスコード更新ステップと、所定の条件を満たしたとき、予測画像信号を出力画像信号に決定する決定ステップとを含み、中間画像記憶ステップは、中間画像信号の各画素毎に、画素値およびクラスコードを包含する画素データを中間画像記憶部に記憶する処理をコンピュータに実行させるプログラムが記録されている。
【００２８】
本発明の第２の画像信号変換装置は、原画像信号から出力画像信号と同じ情報量の中間画像信号を生成する中間画像信号生成手段と、中間画像信号の各画素の画素値を各クラスコードに対応付けて記憶する中間画像記憶手段と、各クラスコードに対して予測係数を対応付けて記憶する予測係数記憶手段と、中間画像信号、中間画像信号の着目画素に対応付けられたクラスコード、および原画像信号に基づいて、クラスコードに対する最適な予測係数を生成し、予測係数記憶手段における各クラスコードに対する予測係数を更新する予測係数更新手段と、中間画像信号の注目画素に基づいて選定される着目画素に対応付けられたクラスコードと対応付けられた予測係数、中間画像信号の注目画素に基づいて選定される少なくとも１つの着目画素、および原画像信号に基づいて、中間画像信号の注目画素の最適な画素値を生成し、中間画像記憶手段における注目画素の画素値を更新する画素値更新手段と、所定の条件を満たしたとき、中間画像信号を出力画像信号に決定する決定手段とを含む。
【００２９】
前記予測係数更新手段および画素値更新手段は、決定手段が所定の条件を満たしたことを検出するまで、予測係数および画素値の更新を繰り返して実行するようにすることができる。
【００３０】
本発明の第２の画像信号変換装置は、中間画像記憶手段に記憶された中間画像信号の各画素値、および予測係数記憶手段に記憶された各画素値に対応づけられたクラスコードと対応付けられた予測係数に基づいて、原画像信号と同じ情報量を有する予測画像信号の１または複数の画素値を生成する予測画像生成手段をさらに含むことができ、前記決定手段は、所定の条件として、中間画像信号と原画像信号の比較結果に基づく条件を用いるようにすることができる。
【００３１】
前記決定手段は、中間画像信号と原画像信号の誤差を比較結果とし、比較結果が閾値以下になったとき、所定の条件を満たしたと検出するようにすることができる。
【００３２】
前記決定手段は、予測係数および画素値の更新回数が閾値に達したとき、所定の条件を満たしたと検出するようにすることができる。
【００３３】
本発明の第２の画像信号変換装置は、原画像信号および中間画像信号に基づいて、初期予測係数を生成し、予測係数記憶手段に記憶させる初期予測係数生成手段をさらに含むことができる。
【００３４】
前記中間画像記憶手段は、中間画像信号の各画素毎に、画素値およびクラスコードを含む画素データを記憶するようにすることができる。
【００３５】
本発明の第２の画像信号変換装置は、出力画像信号および予測係数記憶手段に記憶された予測係数を出力する出力手段をさらに含むことができる。
【００３６】
本発明の第２の画像信号変換装置は、中間画像信号、中間画像信号の着目画素の画素値に対応付けられたクラスコードと対応付けられた予測係数、および原画像信号に基づいて、中間画像信号の着目画素に対する最適なクラスコードを選択し、中間画像記憶手段における中間画像信号の着目画素の画素値に対するクラスコードの対応付けを更新するクラスコード更新手段をさらに含むことができる。
【００３７】
前記画素値更新手段は、注目画素の画素値の更新と同時に、着目画素の画素値を更新するようにすることができる。
【００３８】
本発明の第２の画像信号変換方法は、原画像信号から出力画像信号と同じ情報量の中間画像信号を生成する中間画像信号生成ステップと、中間画像信号の各画素の画素値を各クラスコードと対応付けて中間画像記憶部に記憶する中間画像記憶ステップと、各クラスコードに対して予測係数を対応付けて予測係数記憶部に記憶する予測係数記憶ステップと、中間画像信号、中間画像信号の着目画素に対応付けられたクラスコード、および原画像信号に基づいて、クラスコードに対する最適な予測係数を生成し、予測係数記憶部における各クラスコードに対する予測係数を更新する予測係数更新ステップと、中間画像信号の注目画素に基づいて選定される着目画素に対応付けられたクラスコードと対応付けられた予測係数、中間画像信号の注目画素に基づいて選定される少なくとも１つの着目画素、および原画像信号に基づいて、中間画像信号の注目画素の最適な画素値を生成し、中間画像記憶部における注目画素の画素値を更新する画素値更新ステップと、所定の条件を満たしたとき、中間画像信号を出力画像信号に決定する決定ステップとを含む。
【００４６】
本発明の第２の記録媒体は、原画像信号から出力画像信号と同じ情報量の中間画像信号を生成する中間画像信号生成ステップと、中間画像信号の各画素の画素値を各クラスコードと対応付けて中間画像記憶部に記憶する中間画像記憶ステップと、各クラスコードに対して予測係数を対応付けて予測係数記憶部に記憶する予測係数記憶ステップと、中間画像信号、中間画像信号の着目画素に対応付けられたクラスコード、および原画像信号に基づいて、クラスコードに対する最適な予測係数を生成し、予測係数記憶部における各クラスコードに対する予測係数を更新する予測係数更新ステップと、中間画像信号の注目画素に基づいて選定される着目画素に対応付けられたクラスコードと対応付けられた予測係数、中間画像信号の注目画素に基づいて選定される少なくとも１つの着目画素、および原画像信号に基づいて、中間画像信号の注目画素の最適な画素値を生成し、中間画像記憶部における注目画素の画素値を更新する画素値更新ステップと、所定の条件を満たしたとき、中間画像信号を出力画像信号に決定する決定ステップとを含む処理をコンピュータに実行させるプログラムが記録されている。
【００４７】
本発明の第３の情報信号変換装置は、原情報信号から出力情報信号と同じ情報量の中間情報信号を生成する中間情報信号生成手段と、中間情報信号の各サンプルのサンプル値を各クラスコードと対応付けて記憶する中間情報記憶手段と、各クラスコードに対して予測係数を対応付けて記憶する予測係数記憶手段と、中間情報信号、中間情報信号の着目サンプルに対応付けられたクラスコード、および原情報信号に基づいて、クラスコードに対する最適な予測係数を生成し、予測係数記憶手段における各クラスコードに対する予測係数を更新する予測係数更新手段と、中間情報信号、中間情報信号の着目サンプルのサンプル値に対応付けられたクラスコードと対応付けられた予測係数、および原情報信号に基づいて、中間情報信号の着目サンプルに対する最適なクラスコードを選択し、中間情報記憶手段における中間情報信号の着目サンプルのサンプル値に対するクラスコードの対応付けを更新するクラスコード更新手段と、所定の条件を満たしたとき、予測情報信号を出力情報信号に決定する決定手段とを含み、中間情報記憶手段は、中間情報信号の各サンプル毎に、サンプル値およびクラスコードを包含するサンプルデータを記憶する。
【００４８】
本発明の第３の情報信号変換方法において、原情報信号から出力情報信号と同じ情報量の中間情報信号を生成する中間情報信号生成ステップと、中間情報信号の各サンプルのサンプル値を各クラスコードと対応付けて中間情報記憶部に記憶する中間情報記憶ステップと、各クラスコードに対して予測係数を対応付けて予測係数記憶部に記憶する予測係数記憶ステップと、中間情報信号、中間情報信号の着目サンプルに対応付けられたクラスコード、および原情報信号に基づいて、クラスコードに対する最適な予測係数を生成し、予測係数記憶部における各クラスコードに対する予測係数を更新する予測係数更新ステップと、中間情報信号、中間情報信号の着目サンプルのサンプル値に対応付けられたクラスコードと対応付けられた予測係数、および原情報信号に基づいて、中間情報信号の着目サンプルに対する最適なクラスコードを選択し、中間情報記憶部における中間情報信号の着目サンプルのサンプル値に対するクラスコードの対応付けを更新するクラスコード更新ステップと、所定の条件を満たしたとき、予測情報信号を出力情報信号に決定する決定ステップとを含み、中間情報記憶ステップは、中間情報信号の各サンプル毎に、サンプル値およびクラスコードを包含するサンプルデータを中間情報記憶部に記憶する。
【００４９】
本発明の第３の記録媒体は、原情報信号から出力情報信号と同じ情報量の中間情報信号を生成する中間情報信号生成ステップと、中間情報信号の各サンプルのサンプル値を各クラスコードと対応付けて中間情報記憶部に記憶する中間情報記憶ステップと、各クラスコードに対して予測係数を対応付けて予測係数記憶部に記憶する予測係数記憶ステップと、中間情報信号、中間情報信号の着目サンプルに対応付けられたクラスコード、および原情報信号に基づいて、クラスコードに対する最適な予測係数を生成し、予測係数記憶部における各クラスコードに対する予測係数を更新する予測係数更新ステップと、中間情報信号、中間情報信号の着目サンプルのサンプル値に対応付けられたクラスコードと対応付けられた予測係数、および原情報信号に基づいて、中間情報信号の着目サンプルに対する最適なクラスコードを選択し、中間情報記憶部における中間情報信号の着目サンプルのサンプル値に対するクラスコードの対応付けを更新するクラスコード更新ステップと、所定の条件を満たしたとき、予測情報信号を出力情報信号に決定する決定ステップと含み、中間情報記憶ステップは、中間情報信号の各サンプル毎に、サンプル値およびクラスコードを包含するサンプルデータを中間情報記憶部に記憶する処理をコンピュータに実行させるプログラムが記録されている。
【００５０】
本発明の第４の情報信号変換装置は、原情報信号から出力情報信号と同じ情報量の中間情報信号を生成する中間情報信号生成手段と、中間情報信号の各サンプルのサンプル値を各クラスコードに対応付けて記憶する中間情報記憶手段と、各クラスコードに対して予測係数を対応付けて記憶する予測係数記憶手段と、中間情報信号、中間情報信号の着目サンプルに対応付けられたクラスコード、および原情報信号に基づいて、クラスコードに対する最適な予測係数を生成し、予測係数記憶手段における各クラスコードに対する予測係数を更新する予測係数更新手段と、中間情報信号の注目サンプルに基づいて選定される着目サンプルに対応付けられたクラスコードと対応付けられた予測係数、中間情報信号の注目サンプルに基づいて選定される少なくとも１つの着目サンプル、および原情報信号に基づいて、中間情報信号の注目サンプルの最適なサンプル値を生成し、中間情報記憶手段における注目サンプルのサンプル値を更新するサンプル値更新手段と、所定の条件を満たしたとき、中間情報信号を出力情報信号に決定する決定手段とを含む。
【００５１】
本発明の第４の情報信号変換方法は、原情報信号から出力情報信号と同じ情報量の中間情報信号を生成する中間情報信号生成ステップと、中間情報信号の各サンプルのサンプル値を各クラスコードに対応付けて中間情報記憶部に記憶する中間情報記憶ステップと、各クラスコードに対して予測係数を対応付けて予測係数記憶部に記憶する予測係数記憶ステップと、中間情報信号、中間情報信号の着目サンプルに対応付けられたクラスコード、および原情報信号に基づいて、クラスコードに対する最適な予測係数を生成し、予測係数記憶部における各クラスコードに対する予測係数を更新する予測係数更新ステップと、中間情報信号の注目サンプルに基づいて選定される着目サンプルに対応付けられたクラスコードと対応付けられた予測係数、中間情報信号の注目サンプルに基づいて選定される少なくとも１つの着目サンプル、および原情報信号に基づいて、中間情報信号の注目サンプルの最適なサンプル値を生成し、中間情報記憶部における注目サンプルのサンプル値を更新するサンプル値更新ステップと、所定の条件を満たしたとき、中間情報信号を出力情報信号に決定する決定ステップとを含む。
【００５２】
本発明の第４の記録媒体は、原情報信号から出力情報信号と同じ情報量の中間情報信号を生成する中間情報信号生成ステップと、中間情報信号の各サンプルのサンプル値を各クラスコードに対応付けて中間情報記憶部に記憶する中間情報記憶ステップと、各クラスコードに対して予測係数を対応付けて予測係数記憶部に記憶する予測係数記憶ステップと、中間情報信号、中間情報信号の着目サンプルに対応付けられたクラスコード、および原情報信号に基づいて、クラスコードに対する最適な予測係数を生成し、予測係数記憶部における各クラスコードに対する予測係数を更新する予測係数更新ステップと、中間情報信号の注目サンプルに基づいて選定される着目サンプルに対応付けられたクラスコードと対応付けられた予測係数、中間情報信号の注目サンプルに基づいて選定される少なくとも１つの着目サンプル、および原情報信号に基づいて、中間情報信号の注目サンプルの最適なサンプル値を生成し、中間情報記憶部における注目サンプルのサンプル値を更新するサンプル値更新ステップと、所定の条件を満たしたとき、中間情報信号を出力情報信号に決定する決定ステップとを含む処理をコンピュータに実行させるプログラムが記録されている。
【００５３】
本発明の第１の画像信号変換装置、画像信号変換方法、および記録媒体のプログラムにおいては、原画像信号から出力画像信号と同じ情報量の中間画像信号が生成され、中間画像信号の各画素の画素値が各クラスコードに対応付けて中間画像記憶部に記憶され、各クラスコードに対して予測係数が対応付けられて予測係数記憶部に記憶される。また、中間画像信号、中間画像信号の着目画素に対応付けられたクラスコード、および原画像信号に基づいて、クラスコードに対する最適な予測係数が生成されて予測係数記憶部における各クラスコードに対する予測係数が更新される。また、中間画像信号、中間画像信号の着目画素の画素値に対応付けられたクラスコードと対応付けられた予測係数、および原画像信号に基づいて、中間画像信号の着目画素に対する最適なクラスコードが選択されて中間画像記憶部における中間画像信号の着目画素の画素値に対するクラスコードの対応付けが更新される。さらに、所定の条件を満たしたとき、予測画像信号が出力画像信号に決定される。なお、中間画像記憶部には、中間画像信号の各画素毎に、画素値およびクラスコードを包含する画素データが記憶される。
【００５４】
本発明の第２の画像信号変換装置、画像信号変換方法、および記録媒体のプログラムにおいては、原画像信号から出力画像信号と同じ情報量の中間画像信号が生成され、中間画像信号の各画素の画素値が各クラスコードと対応付けて中間画像記憶部に記憶され、各クラスコードに対して予測係数が対応付けられて予測係数記憶部に記憶される。また、中間画像信号、中間画像信号の着目画素に対応付けられたクラスコード、および原画像信号に基づいて、クラスコードに対する最適な予測係数が生成されて予測係数記憶部における各クラスコードに対する予測係数が更新される。また、中間画像信号の注目画素に基づいて選定される着目画素に対応付けられたクラスコードと対応付けられた予測係数、中間画像信号の注目画素に基づいて選定される少なくとも１つの着目画素、および原画像信号に基づいて、中間画像信号の注目画素の最適な画素値が生成されて中間画像記憶部における注目画素の画素値が更新される。さらに、所定の条件を満たしたとき、中間画像信号が出力画像信号に決定される。
【００５５】
本発明の第３の情報信号変換装置、情報信号変換方法、および記録媒体のプログラムにおいては、原情報信号から出力情報信号と同じ情報量の中間情報信号が生成され、中間情報信号の各サンプルのサンプル値が各クラスコードと対応付けて中間記憶部に記憶され、各クラスコードに対して予測係数が対応付けられて予測係数記憶部に記憶される。また、中間情報信号、中間情報信号の着目サンプルに対応付けられたクラスコード、および原情報信号に基づいて、クラスコードに対する最適な予測係数が生成されて予測係数記憶部における各クラスコードに対する予測係数が更新される。また、中間情報信号、中間情報信号の着目サンプルのサンプル値に対応付けられたクラスコードと対応付けられた予測係数、および原情報信号に基づいて、中間情報信号の着目サンプルに対する最適なクラスコードが選択されて中間情報記憶部における中間情報信号の着目サンプルのサンプル値に対するクラスコードの対応付けが更新される。さらに、所定の条件を満たしたとき、予測情報信号が出力情報信号に決定される。なお、中間情報記憶部には、中間情報信号の各サンプル毎に、サンプル値およびクラスコードを包含するサンプルデータが記憶される。
【００５６】
本発明の第４の情報信号変換装置、情報信号変換方法、および記録媒体のプログラムにおいては、原情報信号から出力情報信号と同じ情報量の中間情報信号が生成され、中間情報信号の各サンプルのサンプル値が各クラスコードに対応付けて中間情報記憶部に記憶され、各クラスコードに対して予測係数が対応付けられて予測係数記憶部に記憶される。また、中間情報信号、中間情報信号の着目サンプルに対応付けられたクラスコード、および原情報信号に基づいて、クラスコードに対する最適な予測係数が生成されて予測係数記憶部における各クラスコードに対する予測係数が更新される。また、中間情報信号の注目サンプルに基づいて選定される着目サンプルに付けられたクラスコードと対応付けられた予測係数、中間情報信号の注目サンプルに基づいて選定される少なくとも１つの着目サンプル、および原情報信号に基づいて、中間情報信号の注目サンプルの最適なサンプル値が生成されて中間情報記憶部における注目サンプルのサンプル値が更新される。さらに、所定の条件を満たしたとき、中間情報信号が出力情報信号に決定される。
【００５７】
【発明の実施の形態】
本発明を適用したエンコーダの構成例について、図１を参照して説明する。なお、このエンコーダ１に入力される原画像は、１画素当たり８ビットの画素値を有し、エンコーダ１によって生成される上位階層画像も１画素当たり８ビットの情報量（画素データ）を有するものとする。
【００５８】
また、以下において、着目画素は、画素値の更新が行われずに位置を特定するために指定される画素とし、注目画素は、位置を特定するために指定され、かつ、画素値が更新される画素とする。
【００５９】
このエンコーダ１において、原画像は、前処理回路２、画素値更新回路６、予測係数更新回路７、クラスコード選択回路８、および収束判定回路１０に供給される。前処理回路２は、供給された原画像を用い、初期上位階層画像を生成して上位階層画像メモリ３に記憶させ、初期予測係数テーブルを生成して予測係数メモリ４に記憶させる。
【００６０】
上位階層画像メモリ３は、記憶している上位階層画像をセレクタ５に出力する。また、上位階層画像メモリ３は、画素値更新回路６から入力される画素値（４ビット）を用いて、それまで記憶していた上位階層画像のMSB(Most Significant Bit)側の４ビットを更新し、クラスコード選択回路８から入力されるクラスコード（４ビット）を用いて、それまで記憶していた上位階層画像のLSB(Least Significant Bit)側の４ビットを更新する。
【００６１】
予測係数メモリ４は、記憶している予測係数テーブルを画素値更新回路６、クラスコード選択回路８、ローカルデコード回路９、および収束判定回路１０に供給する。また、予測係数メモリ４は、予測係数更新回路７から入力される予測係数セットを用いて、それまで記憶していた予測係数テーブルを更新する。
【００６２】
セレクタ５は、更新回数カウンタ１１から入力される制御信号に対応して、上位階層画像メモリ３から入力された上位階層画像を、ローカルデコード回路９および収束判定回路１０の他、画素値更新回路６、予測係数更新回路７、クラスコード選択回路８のうちのいずれか１つに出力する。
【００６３】
画素値更新回路６は、原画像および予測係数セットを用いて、セレクタ５から入力された上位階層画像の画素値（画素データのMSB側の４ビット）を更新し、上位階層画像メモリ３に出力する。予測係数更新回路７は、セレクタ５から入力された上位階層画像、および原画像を用いて予測係数セットを生成し、予測係数メモリ４に出力する。
【００６４】
クラスコード選択回路８は、セレクタ５から入力された上位階層画像の各画素毎に、予測係数メモリ４に記憶されている予測係数テーブル内の最適な予測係数セットを選択し、その予測係数セットに対応するクラスコード（４ビット）を上位階層画像メモリ３に出力する。
【００６５】
ローカルデコード回路９は、セレクタ５から入力された上位階層画像と予測係数メモリ４に記憶されている予測係数セットを用いて下位階層画像を生成し、収束判定回路１０に出力する。
【００６６】
なお、この実施例では、収束判定回路１０は、S/N比の増加量に基づいて収束を判定するようにしているが、例えば、S/N比の増加レートに基づいて判定したり、S/N比の変わりに誤差に基づいて判定するようにしてもよい。
【００６７】
収束判定回路１０は、ローカルデコード回路９から入力された下位階層画像と原画像のS/Nを演算し、さらにその増加量を求めて、S/N比の増加が収束していると判定した場合、セレクタ５から入力された上位階層画像および予測係数メモリ４から入力された予測係数テーブルを出力する。また、収束判定回路１０は、更新カウンタ１１から制御信号が入力された場合も、セレクタ５から入力された上位階層画像および予測係数メモリ４から入力された予測係数テーブルを出力する。
【００６８】
更新回数カウンタ１１は、収束判定回路１０、画素値更新回路６、予測係数更新回路７、またはクラスコード選択回路８が処理を終了したことに対応して、セレクタ５に制御信号を出力するとともに、制御信号を出力した回数をカウントし、カウントした値が所定の数に達したとき、収束判定回路１０に制御信号を出力する。
【００６９】
次に、エンコーダ１の動作について、図２のフローチャートを参照して説明する。このエンコード処理は、例えば、原画像がエンコーダ１に入力されたときに開始される。ステップＳ１において、前処理回路２は、入力された原画像を用いて前処理を実行する。
【００７０】
この前処理は、図３に示すように、ステップＳ１１，Ｓ１２から成る。ステップＳ１１の初期上位階層画像生成処理について、図４のフローチャートを参照して説明する。ステップＳ２１において、前処理回路２は、入力された原画像を所定のサイズ（例えば、図５に示すように３×３画素）のブロックに分割する。
【００７１】
ステップＳ２２において、前処理回路２は、ステップＳ２１で分割したブロックに含まれる複数（いまの場合、９個）の画素の画素値を平均し、その平均値（８ビット）のMSB側の４ビットを初期上位階層画像の１個の画素の画素値として、図６に示すように、上位階層画像データ（８ビット）のMSB側の４ビットに記録する。
【００７２】
ただし、上位階層画像データのMSB側に記録された４ビットを画素値として用いる全ての回路（例えば、予測係数更新回路７、クラスコード選択回路８、ローカルデコード回路９）においては、その４ビットの値を８ビット化して用いるが、MSB側の４ビットの値を単に１６倍しただけの値を用いると画像全体の輝度値が低下するので、これを抑止するために、１６倍した値にオフセット値（例えば、７または８）を加算した値を画素値として用いる。
【００７３】
なお、初期上位階層画像の画素値を決定する方法は、上述したような平均化による方法ではなく、原画像を直接、間引く方法やローパスフィルタ（ガウシアンフィルタ等）を用いてから間引く方法でもかまわない。
【００７４】
図３に戻る。このようなステップＳ１１の処理の後、ステップＳ１２で初期予測係数生成処理が実行される。この処理について、図７のフローチャートを参照して説明する。ステップＳ３１において、前処理回路２は、図３のステップＳ１１で画素値（画素データ（８ビット）のうちのMSB側の４ビット）だけが決定された初期上位階層画像のうちの１つの画素を着目画素に決定する。
【００７５】
ステップＳ３２において、前処理回路２は、着目画素に応じてクラスタップ（例えば、着目画素とその上下左右に隣接する合計５個の画素）の画素値（各４ビット）を抽出する。
ステップＳ３３において、前処理回路２は、ステップＳ３２で抽出した５個の画素値（MSB側の４ビット）に１ビットADRC(Adaptive Dynamic Range Coding)処理を施して、それぞれを１ビットに変換し、それらを、例えば、画素の位置に応じた順序で並べることにより、５ビットからなるクラスコードを取得する。さらに、前処理回路２は、着目画素の画素データ（８ビット）のLSB側の４ビットに任意の値（例えば、５ビットのクラスコードのMSB側の４ビット）を、図６に示すように設定する。なお、上述した１ビットADRC処理の詳細については、例えば米国特許５９１２７０８号公報に記載されている。
【００７６】
ステップＳ３４において、前処理回路２は、着目画素を中心とする所定のサイズ（例えば、５×５画素）の予測タップの画素値を抽出する。ステップＳ３５において、前処理回路２は、既知である原画像および予測タップの画素値、並びに未知である予測係数セットから成る正規方程式を生成する。
【００７７】
ステップＳ３６において、前処理回路３６は、初期上位階層画像の全ての画素を着目画素としたか否かを判定し、全ての画素を着目画素としたと判定するまで、ステップＳ３１乃至Ｓ３６の処理を繰り返す。ステップＳ３６において、全ての画素を着目画素としたと判定された場合、ステップＳ３７に進む。
【００７８】
ステップＳ３７において、前処理回路３７は、ステップＳ３５で生成された正規方程式を、５ビットで表されるクラス毎に生成し、その方程式に最小自乗法を適用して解くことにより３２種類（５ビット）のクラスコードにそれぞれ対応する予測係数セットを取得する。ステップＳ３８において、前処理回路２は、ステップＳ３３で各クラスコードに分類された着目画素の数を示すヒストグラムを生成する。
【００７９】
ステップＳ３９において、前処理回路２は、ステップＳ３８で生成したヒストグラムを参照し、着目画素の数が多い側から１６個のクラスコードに対応する予測係数セットと、４ビットで表される新たなクラスコード（0000乃至1111）を任意に対応付ける。
【００８０】
ステップＳ４０において、前処理回路２は、４ビット（１６種類）のクラスコードに対応付けられた予測係数を予測係数メモリ４に出力する。また、前処理回路２は、MSB側の４ビットが画素値であり、LSB側の４ビットがクラスコードである画素データから成る初期上位階層画像を上位階層画像メモリ３に出力する。
【００８１】
なお、上述した処理以外に初期予測係数セットを生成する方法として、４ビットで表されるクラスコード（0000乃至1111）に乱数を対応付けてもかまわない。また、クラスコードが乱数であってもよいし、予測係数セットが乱数であってもよいし、あるいは、クラスコードと予測係数セットの両方が乱数であってもよい。
【００８２】
図２に戻る。以上のようにして、ステップＳ１の前処理が行われた後、ステップＳ２において、クラスコード選択回路８は、入力された上位階層画像の各画素に対して、予測係数メモリ４に記憶されている１６種類の予測係数セットのうちの最適なものを選択する。なお、クラスコード選択回路８の構成例と動作については、図１４および図１５を参照して後述する。
【００８３】
ステップＳ３において、デコード処理が行われる。すなわち、上位階層画像メモリ３からセレクタ５に入力された上位階層画像は、更新回数カウンタ１１からの制御信号に対応して、ローカルデコード回路９に供給される。ローカルデコード回路９は、セレクタ５から入力された上位階層画像（いまの場合、初期上位階層画像）と、予測係数メモリ４から供給される予測係数テーブル（いまの場合、初期予測係数テーブル）を用いて下位階層画像を生成し、収束判定回路１０に出力する。なお、下位階層画像の画素としては、図５に示すように、上位階層画像の１個の着目画素に対して、対応する位置の下位階層画像の画素ｉを中心とする３×３画素（画素ａ乃至ｉ）が生成される。ローカルデコード回路９の構成と動作については、図１６および図１７を参照して後述する。
ステップＳ４において、収束判定回路１０は、ローカルデコード回路９から入力された下位階層画像の原画像に対するS/N比を演算し、さらに、その増加量を求めて、S/N比の増加量が収束しているか否かを判定する。S/N比の増加量が収束していると判定された場合、または、更新回数カウンタ１１からの制御信号が受信された場合、ステップＳ７に進む。また、S/N比の増加量が収束していないと判定され、かつ、更新回数カウンタ１１からの制御信号が受信されていない場合、ステップＳ５に進む。
【００８４】
いまの場合、１回目にデコードされた下位階層画像に対する収束判定処理であるので、S/N比の増加量は演算されず、更新回数カウンタ１１からの制御信号も受信されていないので、ステップＳ５に進む。
【００８５】
収束判定回路１０の判定処理が終了したことに対応して、更新回数カウンタ１１は、セレクタ５に制御信号を出力する。
【００８６】
ステップＳ５において、上位階層画像メモリ３からセレクタ５に入力された上位階層画像は、更新回数カウンタ１１からの制御信号に対応して、画素値更新回路６に供給される。画素値更新回路６は、入力された上位階層画像の画素値（画素データのMSB側の４ビット）を更新する。
【００８７】
この画素値更新処理について説明する前に、画素値更新回路６の第１の構成例について、図８および図９を参照して説明する。セレクタ５から入力された上位階層画像は、画素値更新回路６において、上位階層画像メモリ２１に記憶される。上位階層画像メモリ２１は、記憶している上位階層画像を最適画素値決定回路２２に供給する。また、上位階層画像メモリ２１は、最適画素値決定回路２２からの現段階において最適化された画素値（４ビット）を用いて、それまで記憶していた上位階層画像の画素値（画素データのMSB側の４ビット）を更新する。全ての画素の画素値が最適化された上位階層画像は、スイッチ２４を介して上位階層画像メモリ３に出力される。
【００８８】
最適画素値決定回路２２には、原画像、および予測係数メモリ４から予測係数テーブルも供給される。最適画素値決定回路２２は、注目画素決定回路２３から指定された注目画素の画素値を最適化して上位階層画像メモリ２１に出力する。注目画素決定回路２３は、上位階層画像の画素を順次注目画素に決定し、注目画素位置情報を最適画素値決定回路２２に出力する。また、注目画素決定回路２３は、上位階層画像の全ての画素を注目画素に決定した後、スイッチ２４をオンとする制御信号を出力する。
【００８９】
図９は、最適画素値決定回路２２の詳細な構成例を示している。最適画素値決定回路２２においては、注目画素以外の画素の画素値が固定された状態で、注目画素の画素値が最適化される。
【００９０】
着目画素決定回路３１は、注目画素決定回路２３で決定された注目画素の画素値が変化されたことにより、デコードの際に影響を受ける範囲（注目画素を含む予測タップの中心の画素の集合、以下、影響範囲と記述する）を設定し、その影響範囲内に存在する上位階層画像の画素を順次、着目画素に決定して、その位置情報をクラスコード読取回路３２、および予測タップ抽出回路３３に出力する。また、着目画素決定回路３１は、影響範囲内の全ての画素を着目画素に決定した後、スイッチ３６をオンとする制御信号を出力する。
【００９１】
クラスコード読取回路３２は、着目画素のクラスコード（画素データのLSB側の４ビット）を読み出して誤差関数生成回路３４に出力する。予測タップ抽出回路３３は、着目画素を中心とする５×５画素の予測タップの画素値（画素データのMSB側の４ビット）を上位階層画像から抽出して誤差関数生成回路３４に出力する。
【００９２】
誤差関数生成回路３４は、各着目画素に対する誤差関数（その詳細は後述する）を生成して影響誤差関数レジスタ３５に出力する。影響誤差関数レジスタ３５は、影響範囲内の全ての着目画素に対する誤差関数を足し合わせて影響誤差関数を生成し、スイッチ３６を介して注目画素値演算回路３７に出力する。
【００９３】
注目画素値演算回路３７は、スイッチ３６を介して入力された影響誤差関数を解くことにより、注目画素の新たな画素値を演算する（その詳細については後述する）。
【００９４】
次に、画素値更新回路６の第１の構成例の動作について、図１０のフローチャートを参照して説明する。この画素値更新処理は、セレクタ５から入力された上位階層画像が、画素値更新回路６の上位階層画像メモリ２１に記憶されたときに開始される。
【００９５】
ステップＳ５１において、注目画素決定回路２３は、図１１(A)に示すように、上位階層画像の注目画素を決定し、その注目画素位置情報を最適画素値決定回路２２に出力する。最適画素値決定回路２２の着目画素決定回路３１は、ステップＳ５２において、注目画素の画素値が変化された際に影響を受ける範囲（影響範囲）を決定する。例えば、予測タップのサイズが５×５画素である場合、図１１(B)に示したような注目画素を中心とする５×５画素を含む範囲が影響範囲とされる。なお、この上位階層画像から生成される下位階層画像においては、図１１(C)に示すように１５×１５画素となる。
【００９６】
ステップＳ５３において、着目画素決定回路３１は、影響範囲内の１個の画素を着目画素に決定し、その位置情報をクラスコード読取回路３２、および予測タップ抽出回路３３に出力する。
【００９７】
ステップＳ５４において、クラスコード読取回路３２は、着目画素のクラスコード（画素データのLSB側の４ビット）を読み出し、誤差関数生成回路３４に出力する。予測タップ抽出回路３３は、着目画素を中心とする５×５画素の予測タップを抽出して誤差関数生成回路３４に出力する。この予測タップには、注目画素が含まれている。
【００９８】
ステップＳ５５において、誤差関数生成回路３４は、着目画素に対する誤差関数を生成して影響誤差関数レジスタ３５に出力する。
【００９９】
ここで、誤差関数について説明する。上位階層画像の１個の着目画素（例えば、図５の上位階層画像の注目画素）に対応する、下位階層画像の３×３画素の９個の画素（例えば、図５の下位階層画像の画素ａ乃至ｉ）の画素値（予測値）ｙi’（ｉ＝１，２，・・・，９、ただし、図５の画素ｉのｉとは異なる）は、例えば次式（１）に示すように、上位階層画像の画素値ｘと予測係数ｗの線形１次結合で表すことができる。但し、ここでは線形１次結合としたが高次式を用いることも可能である。
【０１００】
【数１】
ただし、ｗi1乃至ｗi25は、着目画素のクラスコードに対応する予測係数であり、ｘ1乃至ｘ25は、着目画素を中心とする予測タップに含まれる画素の画素値である。特に、画素値ｘk、および予測係数ｗikは、注目画素の画素値と、それに対応する予測係数である。
【０１０２】
下位階層画像の画素値（予測値）ｙi’に対応する原画像の画素値（真値）をｙiとすれば、着目画素に対応する下位階層画像の９画素分の自乗誤差の和Ｅkは、次式（２）のように表すことができる。
【数２】
ところで、式（２）において、注目画素の画素値ｘkは最適化される値、すなわち変数である。また、真値ｙi、予測係数ｗij，ｗik、および画素値ｘjは定数である。したがって、式（２）は、次式（３）に示すように、注目画素値ｘkの２次式として表すことが可能となる。
【０１０４】
Ｅk＝ａk・（ｘk）2＋ｂk・ｘk＋ｃk ・・・（３）
ただし、
【数３】
【０１０５】
図１０に戻る。ステップＳ５６において、着目画素決定回路３１は、影響範囲内の全ての画素を着目画素に決定したか否かを判定し、影響範囲内の全ての画素を着目画素に決定していないと判定した場合、ステップＳ５３に戻り、それ以降の処理が繰り返される。
【０１０６】
その後、ステップＳ５６において、影響範囲内の全ての画素を着目画素に決定したと判定された場合、ステップＳ５７に進む。ステップＳ５７において、着目画素決定回路３１は、スイッチ３６をオンとする制御信号を出力する。影響誤差関数レジスタ３５は、影響範囲内の全ての画素を、順次、着目画素としたときの誤差関数Ｅk（式（３））を足し合わせて、影響誤差関数Ｅcheckを生成し、スイッチ３６を介して注目画素値演算回路３７に出力する。
【０１０７】
【数４】
なお、影響誤差関数Ｅcheckは、注目画素の画素値ｘkの２次式である誤差関数Ｅkの和であるので、次式（４）に示すように、注目画素の画素値ｘkの２次関数となる。
【０１０９】
影響誤差関数Ｅcheck＝ａ’・（ｘk）2＋ｂ’・ｘk＋ｃ’ ・・・（４）
ただし、
【数５】
【０１１０】
ステップＳ５８において、注目画素値演算回路３７は、２次式である影響誤差関数Ｅcheckを最小とする画素値ｘk＝−ｂ’／２ａ’を、注目画素の最適画素値として演算し、上位階層画像メモリ２１に出力する。上位階層画像メモリ２１は、入力された最適画素値を用い、それまで記憶していた注目画素の画素値を更新する。すなわち、入力された最適画素値にそれまで記憶していた注目画素の画素値が置き換えられる。
【０１１１】
ステップＳ５９において、注目画素決定回路２３は、上位階層画像の全ての画素を注目画素に決定したか否かを判定し、全ての画素を注目画素に決定していないと判定した場合、ステップＳ５１に戻り、それ以降の処理が繰り返される。
【０１１２】
その後、ステップＳ５９において、上位階層画像の全ての画素を注目画素に決定したと判定した場合、注目画素決定回路２３は、スイッチ２４をオンとする制御信号を出力する。スイッチ２４がオンとされることにより、上位階層画像メモリ２１に記憶されている、画素値が最適化された上位階層画像が後段の上位階層画像メモリ３に出力される。画素値更新回路６の処理が終了したことに対応して、更新回数カウンタ１１はセレクタ５に制御信号を出力する。
【０１１３】
図２に戻る。以上のようにして、ステップＳ５で画素値更新処理が行われた後、ステップＳ６において、上位階層画像メモリ３からセレクタ５に入力された上位階層画像は、更新回数カウンタ１１からの制御信号に対応して、予測係数更新回路７に供給される。予測係数更新回路７は、入力された上位階層画像および原画像を用い、予測係数メモリ４に記憶させる予測係数テーブルを更新する。
【０１１４】
この予測係数更新処理について説明する前に、予測係数更新回路７の詳細な構成例について、図１２を参照して説明する。セレクタ５から入力された上位階層画像は、予測係数更新回路７において、予測タップ抽出回路４２およびクラスコード読取回路４３に供給される。着目画素決定回路４１は、上位階層画像の画素を順次、着目画素に決定し、その位置情報を予測タップ抽出回路４２、およびクラスコード読取回路４３に出力する。
【０１１５】
予測タップ抽出回路４２は、着目画素を中心とする５×５画素の予測タップの画素値（画素データのMSB側の４ビット）を抽出して正規方程式生成回路４５に出力する。クラスコード読取回路４３は、着目画素のクラスコード（画素データのLSB側の４ビット）を読み出して正規方程式生成回路４５に出力する。
【０１１６】
教師データ抽出回路４４は、原画像から教師データ（下位階層画像の画素値に対応する真値）を抽出して正規方程式生成回路４５に出力する。正規方程式生成回路４５は、各着目画素のクラスコード毎に、既知である教師データおよび予測タップの画素値、並びに、変数としての予測係数から成る正規方程式を生成して、予測係数演算回路４６に出力する。
【０１１７】
予測係数演算回路４６は、入力された正規方程式に最小自乗法を適用して１６種類のクラスコードにそれぞれ対応する予測係数セット（予測係数テーブル）を演算し、予測係数メモリ４に出力する。
【０１１８】
なお、上位階層画像の各着目画素に対して、原画像の画素値は、この例の場合、９画素存在するので、各クラスコードに対してそれぞれ着目画素に対して原画像が９種類の位置関係にあるので、その位置関係毎に係数セットが必要となり、９つ（９モード）の係数セットが演算される。
【０１１９】
次に、予測係数更新回路７の動作について、図１３のフローチャートを参照して説明する。この予測係数更新処理は、セレクタ５から予測係数更新回路７に、上位階層画像が入力されたときに開始される。
【０１２０】
ステップＳ６１において、着目画素決定回路４１は、上位階層画像の１個の画素を着目画素に決定し、その位置情報を予測タップ抽出回路４２とクラスコード読取回路４３に出力する。
【０１２１】
ステップＳ６２において、クラスコード読取回路４３は、着目画素のクラスコード（画素データのLSB側の４ビット）を読み出して正規方程式生成回路４５に出力する。ステップＳ６３において、予測タップ抽出回路４２は、着目画素を中心とする５×５画素の予測タップの画素値（画素データのMSB側の４ビット）を抽出して正規方程式生成回路４５に出力する。
【０１２２】
ステップＳ６４において、正規方程式生成回路４５は、着目画素のクラスコード毎に、既知である教師データおよび予測タップの画素値を用いて正規方程式を生成して、予測係数演算回路４６に出力する。
【０１２３】
ステップＳ６５において、着目画素決定回路４１は、上位階層画像の全ての画素を着目画素としたか否かを判定し、全ての画素を着目画素としていないと判定した場合、ステップＳ６１に戻り、それ以降の処理が繰り返される。ステップＳ６５において、全ての画素を着目画素としたと判定された場合、ステップＳ６６に進む。
【０１２４】
ステップＳ６６において、予測係数演算回路４６は、ステップＳ６４で正規方程式生成回路４５が生成した正規方程式に最小自乗法を適用して１６種類の各クラスコードに対する予測係数セットを演算する。ステップＳ６７において、予測係数演算回路４６は、得られた予測係数セット（予測係数テーブル）を予測係数メモリ４に出力する。予測係数メモリ４は、入力された予測係数テーブルで、それまで記憶していた予測係数テーブルを更新する。予測係数更新回路６の処理が終了したことに対応して、更新回数カウンタ１１はセレクタ５に制御信号を出力する。
【０１２５】
図２に戻る。以上のようにして、ステップＳ６で予測係数更新処理が実行された後、ステップＳ２に戻る。ステップＳ２において、上位階層画像メモリ３からセレクタ５に入力された上位階層画像は、更新回数カウンタ１１からの制御信号に対応して、クラスコード選択回路８に供給される。クラスコード選択回路８は、入力された上位階層画像の各画素に対して、予測係数メモリ４に記憶されている１６種類の予測係数セットのうちの対応するものを選択する。
【０１２６】
このクラスコード選択処理について説明する前に、クラスコード選択回路８の詳細な構成例について、図１４を参照して説明する。着目画素決定回路５１は、上位階層画像の画素を順次、着目画素に決定し、その情報を予測タップ抽出回路５２に出力する。予測タップ抽出回路５２は、セレクタ５より入力された上位階層画像から、着目画素を中心とする５×５画素の予測タップに含まれる画素の画素値（画素データのMSB側の４ビット）を抽出してマッピング回路５３に出力する。
【０１２７】
マッピング回路５３は、クラスコードカウンタ５８より入力されるクラスコードに対応する予測係数セットを予測係数メモリ４から読み出して、読み出した予測係数セットと予測タップの各画素の画素値との線形１次結合を演算し、演算結果を下位階層画像の画素値（予測値）として誤差演算回路５４に出力する。
【０１２８】
誤差演算回路５４は、マッピング回路５３から入力された予測値の、それに対応する原画像の画素値（真値）に対する誤差(S/N比)を演算し、比較器５５、およびスイッチ５７に出力する。比較器５５は、誤差演算回路５４から入力された誤差と最小誤差レジスタ５６から入力される誤差を比較して、誤差演算回路５４から入力された誤差の方が小さい（S/N比が大きい）場合、スイッチ５７，５９をオンとする制御信号を出力する。また、比較器５５は、比較の結果に拘わらず、誤差を比較した後、クラスコードカウンタ５８のカウント値をインクリメントさせる制御信号を出力する。
【０１２９】
最小誤差レジスタ５６は、記憶している誤差の値を比較器５５に供給する。また、最小誤差レジスタ５６は、スイッチ５７を介して入力される値を用いて、それまで記憶していた値を更新する。すなわち、入力される値にそれまで記憶していた値が置換される。
【０１３０】
クラスコードカウンタ５８は、４ビットのカウンタを有し、カウント値をクラスコード（0000乃至1111）としてマッピング回路およびスイッチ５９に出力する。なお、カウント値（クラスコード）は、比較器５５から入力される制御信号に対応して１ずつインクリメントされる。また、クラスコードカウンタ５８は、カウンタの値が1111になったとき、スイッチ６１をオンとする制御信号を出力するとともに、カウント値を0000にリセットする。
【０１３１】
最適クラスコードレジスタ６０は、スイッチ５９を介して入力されるクラスコードに、それまで記憶していたクラスコードを置き換える。したがって、最適クラスコードレジスタ６０には、誤差を最小とする予測係数セットに対応した、最適なクラスコードが保持される。また、最適クラスコードレジスタ６０は、着目画素の最適なクラスコードをスイッチ６１を介して、後段の上位階層画像メモリ３に出力する。
【０１３２】
次に、クラスコード選択回路８の動作について、図１５のフローチャートを参照して説明する。このクラスコード選択処理は、セレクタ５からクラスコード選択回路８に上位階層画像が入力されたときに開始される。
【０１３３】
ステップＳ７１において、着目画素決定回路５１は、上位階層画像の１個の画素を着目画素に決定し、その情報を予測タップ抽出回路５２に出力する。ステップＳ７２において、予測タップ抽出回路５２は、セレクタ５より入力された上位階層画像から、着目画素を中心とする５×５画素の予測タップに含まれる画素の画素値を抽出してマッピング回路５３に出力する。
【０１３４】
ステップＳ７３において、クラスコードカウンタ５８は、カウント値0000をクラスコードとして、マッピング回路５３に出力する。ステップＳ７４において、マッピング回路５３は、クラスコードカウンタ５８より入力されたクラスコードに対する予測係数セットを予測係数メモリ４から読み出して、読み出した予測係数セットの各予測係数と予測タップの各画素の画素値との線形１次結合を演算し、演算結果を下位階層画像の画素値（予測値）として誤差演算回路５４に出力する。
【０１３５】
ステップＳ７５において、誤差演算回路５４は、マッピング回路５３から入力された予測値の、それに対応する原画像の画素値（真値）に対する誤差(S/N比)を演算し、比較器５５、およびスイッチ５７に出力する。比較器５５は、誤差演算回路５４から入力された誤差と最小誤差レジスタ５６から入力される誤差を比較して、誤差演算回路５４から入力された誤差の方が小さい（S/N比が大きい）場合、スイッチ５７，５９をオンとする制御信号を出力する。これにより、クラスカウンタ５８のそのときのカウント値がスイッチ５９を介して最適クラスコードレジスタ６０に転送されて記憶される。また、誤差演算回路５４のそのときの出力が最小誤差レジスタ５６に転送されて記憶される。比較器５５はまた、クラスコードカウンタ５８に制御信号を出力する。
【０１３６】
ステップＳ７６において、クラスコードカウンタ５８は、カウント値（クラスコード）が1111よりも小さいか否かを判定し、カウント値が1111よりも小さいと判定した場合、ステップＳ７７において、カウント値を１だけインクリメントして、その値をクラスコードとしてマッピング回路およびスイッチ５９に出力する。
【０１３７】
その後、ステップＳ７６において、カウント値が1111よりも小さくないと判定されるまで、ステップＳ７４乃至Ｓ７７の処理が繰り返される。ステップＳ７６において、カウント値が1111よりも小さくない（カウント値が1111である）と判定された場合、ステップＳ７８に進む。
ステップＳ７８において、クラスコードカウンタ５８は、スイッチ６１をオンとする制御信号を出力するとともに、カウント値を0000にリセットする。この制御信号に対応してスイッチ６１はオンとされ、最適クラスコードレジスタ６０に保持されている着目画素の最適なクラスコードが、後段の上位階層画像メモリ３に出力される。上位階層画像メモリ３は、入力された最適なクラスコードを用いて、対応する画素の画素データのLSB側の４ビットを書き換える。
【０１３８】
ステップＳ７９において、着目画素決定回路５１は、上位階層画像の全ての画素を着目画素としたか否かを判定し、全ての画素を着目画素としたと判定するまで、ステップＳ７１乃至Ｓ７９の処理が繰り返される。ステップＳ７９において、全ての画素を着目画素としたと判定された場合、図２のステップＳ３に戻る。
【０１３９】
ステップＳ３のデコード処理について説明する前に、ローカルデコード回路９の詳細な構成例について、図１６を参照して説明する。着目画素決定回路７１は、上位階層画像の画素を順次、着目画素に決定し、その情報をクラスコード読取回路７２および予測タップ抽出回路７３に出力する。クラスコード読取回路７２は、セレクタ５より入力された上位階層画像から、着目画素のクラスコード（画素データのLSB側の４ビット）を読み取って、マッピング回路７４に出力する。予測タップ抽出回路７３は、セレクタ５より入力された上位階層画像から、着目画素を中心とする５×５画素の予測タップに含まれる画素の画素値（画素データのMSB側の４ビット）を抽出してマッピング回路７４に出力する。
【０１４０】
マッピング回路７４は、クラスコード読取回路７２より入力されるクラスコードに対応する予測係数セットを予測係数メモリ４から読み出して、読み出した予測係数セットの各予測係数と、予測タップ抽出回路７３から供給される予測タップの各画素の画素値との線形１次結合を演算し、演算結果を下位階層画像の画素値として下位階層画像メモリ７５に出力する。
【０１４１】
下位階層画像メモリ７５は、マッピング回路７４から入力される下位階層画像の画素値を記憶し、記憶した１フレーム分の画素値を後段の収束判定回路１０に出力する。
【０１４２】
次に、ローカルデコード回路９のデコード処理について、図１７のフローチャートを参照して説明する。このデコード処理は、セレクタ５からローカルデコード回路９に上位階層画像が入力されたときに開始される。
【０１４３】
ステップＳ８１において、着目画素決定回路７１は、上位階層画像の１個の画素を、着目画素に決定し、その情報をクラスコード読取回路７２および予測タップ抽出回路７３に出力する。ステップＳ８２において、クラスコード読取回路７２は、セレクタ５より入力された上位階層画像から、着目画素のクラスコード（画素データのLSB側の４ビット）を読み取って、マッピング回路７４に出力する。ステップＳ８３において、予測タップ抽出回路７３は、セレクタ５より入力された上位階層画像から、着目画素を中心とする５×５画素の予測タップに含まれる画素の画素値（画素データのMSB側の４ビット）を抽出してマッピング回路７４に出力する。
【０１４４】
ステップＳ８４において、マッピング回路７４は、クラスコード読取回路７２より入力されるクラスコードに対応する予測係数セットを予測係数メモリ４から読み出して、読み出した予測係数セットの各予測係数と、予測タップ抽出回路７３から供給された予測タップの各画素の画素値との線形１次結合を演算し、演算結果を下位階層画像の画素値として下位階層画像メモリ７５に出力する。
【０１４５】
ステップＳ８５において、着目画素決定回路７１は、上位階層画像の全ての画素を着目画素としたか否かを判定し、全ての画素を着目画素としていないと判定した場合、ステップＳ８１に戻り、それ以降の処理が繰り返される。ステップＳ８５において、全ての画素を着目画素としたと判定された場合、ステップＳ８６において、下位階層画像メモリ７５から下位階層画像の画素値がフレーム単位で後段の収束判定回路１０に出力される。
【０１４６】
図２に戻る。再び、ステップＳ４において、収束判定回路１０で、ローカルデコード回路９から入力された下位階層画像の原画像に対するS/N比とその増加量が演算されて、S/N比の増加量が収束しているか否かが判定され、S/N比の増加量が収束していると判定されるか、または、更新回数カウンタ１１からの制御信号が受信されるまで、ステップＳ２乃至Ｓ６の処理が繰り返される。
【０１４７】
その後、ステップＳ４において、S/N比の増加量が収束していると判定された場合、または、更新回数カウンタ１１からの制御信号が受信された場合、ステップＳ７に進む。ステップＳ７において、収束判定回路１０は、上位階層画像および予測係数テーブルを、図示せぬ媒体を介してデコーダ８１（図１８）に出力する。
【０１４８】
以上のように、エンコーダ１は、上位階層画像の画素データ（８ビット）のMSB側の４ビットを画素値とし、LSB側の４ビットをクラスコードとし、それらをリンクさせるとともに、互いに独立して更新を行うようにしている。これにより、一方の値を最適化するときに他方の値が変化してしまうことがなく、それぞれ独立して最適化することが可能である。
【０１４９】
なお、エンコーダ１では、上位階層画像の画素データをMSB側４ビットとLSB側４ビットに分け、それぞれ画素値とクラスコードとしたが、本発明はこれに限定されるものでなく、上位階層画像の画素データ８ビットすべてを画素値とし、クラスコードは画素値とリンクさせて他の場所に記憶しておくことなども可能である。
【０１５０】
また、図２に示したエンコード処理において、第１回目のステップＳ２、すなわち、ステップＳ１の前処理の直後のクラスコード選択処理を省略してもかまわない。この場合、第１回目のステップＳ４における収束判定結果、すなわち、ステップＳ１の前処理だけを実行した上位階層画像の原画像に対するS/N比は、本出願人が、先に特願平８−２０６５５２号として提案した発明を適用したエンコーダによる初期上位階層画像の原画像に対するS/N比よりもさらに良好なものとなる。
【０１５１】
また、図１に示したエンコーダ１から画素値更新回路６を削除し、図２のステップＳ５の画素値更新処理を省略してもよい。すなわち、上位階層画像の画素値（画像データのMSB側の４ビット）は更新させず、予測係数更新処理とクラスコード選択処理だけを実行するようにしても、先のエンコーダ（特願平８−２０６５５２号として提案した発明を適用したエンコーダ）に比べさらに良好な上位階層画像を生成することが可能である。
【０１５２】
図１８は、エンコーダ１で生成された上位階層画像から原画像を復元する（下位階層画像を生成する）デコーダの構成例を示している。このデコーダ８１において、エンコーダ１からの上位階層画像は、クラスコード読取回路８３および予測タップ抽出回路８４に供給され、予測係数テーブルは、マッピング回路８５に供給される。
【０１５３】
着目画素決定回路８２は、上位階層画像の画素を順次、着目画素に決定し、その位置情報をクラスコード読取回路８３および予測タップ抽出回路８４に出力する。クラスコード読取回路８３は、上位階層画像から着目画素のクラスコード（画素データのLSB側の４ビット）を読み取って、マッピング回路８５に出力する。予測タップ抽出回路８４は、上位階層画像から、着目画素を中心とする５×５画素の予測タップに含まれる画素の画素値（画素データのMSB側の４ビット）を抽出してマッピング回路８５に出力する。
【０１５４】
マッピング回路８５は、クラスコード読取回路８３より入力されるクラスコードに対応する予測係数セットを予測係数テーブルから読み出して、読み出した予測係数セットの各予測係数と、予測タップ抽出回路８４から供給される予測タップの各画素の画素値との線形１次結合を演算し、演算結果を下位階層画像の画素値として下位階層画像メモリ８６に出力する。
【０１５５】
下位階層画像メモリ８６は、マッピング回路８５から入力される下位階層画像の画素値を記憶し、記憶した画素値を、例えば図示せぬモニタに出力する。
【０１５６】
次に、デコーダ８１の動作について、図１９のフローチャートを参照して説明する。このデコード処理は、エンコーダ１からの予測係数テーブルがマッピング回路８５に供給された後、順次入力される上位階層画像に対して実行される。
【０１５７】
但し、このデコード処理を行うタイミングは、これに限定されるものではなく、予測係数テーブルと上位階層画像を受信した後であれば、任意のタイミングでもよい。また、予測係数テーブルと上位階層画像は同じ方法、例えば同じ伝送路や同じ記録媒体に記録されて、で受信する必要はなく互いに異なる方法で受信してもよい。
【０１５８】
ステップＳ９１において、着目画素決定回路８２は、上位階層画像の１個の画素を、着目画素に決定し、その位置情報をクラスコード読取回路８３および予測タップ抽出回路８４に出力する。ステップＳ９２において、クラスコード読取回路８３は、上位階層画像から着目画素のクラスコード（画素データのLSB側の４ビット）を読み取って、マッピング回路８５に出力する。ステップＳ９３において、予測タップ抽出回路８４は、入力された上位階層画像から着目画素を中心とする５×５画素の予測タップに含まれる画素の画素値（画素データのMSB側の４ビット）を抽出してマッピング回路８５に出力する。
【０１５９】
ステップＳ９４において、マッピング回路８５は、クラスコード読取回路８３より入力されるクラスコードに対応する予測係数セットを予測係数テーブルから読み出して、読み出した予測係数セットの各予測係数と、予測タップ抽出回路８４から供給された予測タップの各画素の画素値との線形１次結合を演算し、演算結果を下位階層画像の画素値として下位階層画像メモリ８６に出力する。
なお、ステップＳ９４の処理は、上位階層画像の各着目画素に比べ下位階層画像の画素数が多いことから明らかなように、上位階層画像の各着目画素に対応する複数個の下位階層画像の画素値毎に行われる。すなわち、各下位階層画像の画素値毎の予測係数セットが用いられる。
【０１６０】
ステップＳ９５において、着目画素決定回路８２は、上位階層画像の全ての画素を着目画素としたか否かを判定し、全ての画素を着目画素としていないと判定した場合、ステップＳ９１に戻り、それ以降の処理が繰り返される。ステップＳ９５において、全ての画素を着目画素としたと判定された場合、ステップＳ９６で、下位階層画像メモリ８６から下位階層画像の画素値が、図示せぬモニタに出力される。
【０１６１】
図２０は、上述したエンコード処理（図２）とは異なる順序で実行される、エンコーダ１の動作を説明するフローチャートである。この図２０では、前処理が実行された後、クラスコード選択処理が実行され、その後、予測係数更新処理が実行される。
【０１６２】
なお、図２０のステップＳ１０１乃至Ｓ１０７における各処理は、図２のステップＳ１，Ｓ６，Ｓ５，Ｓ２，Ｓ３，Ｓ４，Ｓ７における各処理と同様であるので、その説明は省略する。
【０１６３】
図２０のフローチャートに示した順序で各処理を実行させるためには、セレクタ５（図１）が、更新回数カウンタ１１から入力される制御信号に対応して、上位階層画像メモリ３から入力された上位階層画像を、クラスコード選択回路８、予測係数更新回路７、ローカルデコード回路９および収束判定回路１０、画素値更新回路６、に順次出力するようにすればよい。
【０１６４】
図２１は、同一の原画像を用いて生成された複数の上位階層画像から復元された下位階層画像の原画像に対するS/N比を演算したシミュレーションの結果を表している。なお、縦軸はS/N比を表し、横軸は、一連のエンコード処理を実行した回数（更新回数）を表している。
【０１６５】
図２１の曲線Ａは、図２０に示したフローチャートに従って生成された上位階層画像から復元された下位階層画像のS/N比を示し、曲線Ｂは、図２に示したフローチャートに従って生成された上位階層画像から復元された下位階層画像のS/N比を示し、曲線Ｃは、図２に示したフローチャートから、ステップＳ４の画素値更新処理を省略して生成された上位階層画像から復元された下位階層画像のS/N比を示し、曲線Ｄは、本出願人が先に特願平８−２０６５５２号として提案した方法に従って生成された上位階層画像から復元された下位階層画像のS/N比を示している。
【０１６６】
同図の曲線Ａから明らかなように、図２０に示したフローチャートに従って生成された上位階層画像から復元された下位階層画像は、特に、更新回数が少ない段階において、他のものよりも高いS/N比を示している。これは、図２０のフローチャートに従えば、所望のS/N比を示す下位階層画像を復元可能な上位階層画像を短い処理時間で生成できることを示している。
【０１６７】
次に、画素値更新回路６の第２の構成例について、図２２を参照して説明する。この構成例は、図８に示した画素値更新回路６の第１の構成例の最適画素値決定回路２２および注目画素決定回路２３を、それぞれ領域最適化回路９１および注目領域決定回路９２に置換したものである。図８の最適画素値決定回路２２が、注目画素だけの画素値を最適化するのに対して、図２２の領域最適化回路９１は、注目領域に含まれる複数の画素の画素値を同時に最適化する。
【０１６８】
注目領域決定回路９２は、上位階層画像の所定のサイズの領域（例えば、７×７画素）を、順次、注目領域に決定し、その位置情報を領域最適化回路９１に出力する。また、注目領域決定回路９２は、上位階層画像の全ての画素を注目領域とした後、スイッチ２４をオンとする制御信号を出力する。
【０１６９】
図２３は、領域最適化回路９１の詳細な構成例を示している。着目画素決定回路１０１は、注目領域の画素を、順次、着目画素に決定し、その位置情報をクラスコード読取回路１０２、および予測タップ抽出回路１０３に出力する。また、着目画素決定回路１０１は、注目領域内の全ての画素を着目画素に決定した後、スイッチ１０６をオンとする制御信号を出力する。
【０１７０】
クラスコード読取回路１０２は、上位階層画像メモリ３から着目画素のクラスコード（画素データのLSB側の４ビット）を読み出して誤差関数生成回路１０４に出力する。予測タップ抽出回路１０３は、上位階層画像メモリ３から着目画素を中心とする５×５画素の予測タップを抽出して誤差関数生成回路１０４に出力する。
【０１７１】
誤差関数生成回路１０４は、着目画素に対応する誤差関数（その詳細は後述する）を生成して影響誤差関数マトリクスレジスタ１０５に出力する。影響誤差関数マトリクスレジスタ１０５は、注目領域内の全ての着目画素に対応する誤差関数を用いて、影響誤差関数マトリクスを生成し、スイッチ１０６を介して注目領域画素値演算回路１０７に出力する。
【０１７２】
注目領域画素値演算回路１０７は、スイッチ１０６を介して入力された影響誤差関数マトリクスを解いて注目領域内の画素の画素値を演算する（その詳細については後述する）。
【０１７３】
次に、画素値更新回路６の第２の構成例の動作について、図２４のフローチャートを参照して説明する。この画素値更新処理においては、注目領域以外の画素の画素値が固定されて、注目領域内の画素の画素値が最適化される。画素値更新処理は、セレクタ５から入力された上位階層画像が画素値更新回路６の上位階層画像メモリ２１に記憶されたときに開始される。
【０１７４】
ステップＳ１１１において、注目領域決定回路９２は、上位階層画像の７×７画素を注目領域に決定し、その位置情報を領域最適化回路９１に出力する。領域最適化回路９１の着目画素決定回路１０１は、ステップＳ１１２において、注目領域内の１個の画素を着目画素に決定し、その位置情報をクラスコード読取回路１０２、および予測タップ抽出回路１０３に出力する。
【０１７５】
ステップＳ１１３において、クラスコード読取回路１０２は、着目画素のクラスコード（画素データのLSB側の４ビット）を読み出して誤差関数生成回路１０４に出力する。予測タップ抽出回路１０３は、着目画素を中心とする５×５画素の予測タップを抽出して誤差関数生成回路１０４に出力する。
【０１７６】
ステップＳ１１４において、誤差関数生成回路１０４は、着目画素に対応する誤差関数を生成して影響誤差関数マトリクスレジスタ１０５に出力する。
【０１７７】
ステップＳ１１５において、着目画素決定回路１０１は、注目領域内の全ての画素を着目画素に決定したか否かを判定し、全ての画素が着目画素に決定されていないと判定された場合、ステップＳ１１２に戻り、それ以降の処理が繰り返される。ステップＳ１１５において、注目領域内の全ての画素が着目画素に決定されたと判定された場合、ステップＳ１１６に進む。
【０１７８】
ステップＳ１１６において、着目画素決定回路１０１は、スイッチ１０６をオンとする制御信号を出力する。影響誤差関数マトリクスレジスタ１０５は、入力された着目画素に対応する誤差関数から、影響誤差関数マトリクスを生成し、スイッチ１０６を介して注目領域画素値演算回路１０７に出力する。
【０１７９】
ここで、注目領域、予測タップ、誤差関数、および影響誤差関数マトリクスについて説明する。注目領域は、図２５(A)に示すように、７×７画素の４９個の画素から構成され、その左上角を１番目とした場合、ｊ番目の画素ｊが着目画素とされたとき、着目画素ｊに対応する予測タップ（tapsｊ）として、画素ｊを中心とする５×５画素の２５個の画素が抽出される。したがって、図２５(A)においてｓ＝４９であり、図２５(B)においてｔ＝２５である。
【０１８０】
また、注目領域(area)と、着目画素ｊに対する予測タップ（tapsｊ）について、３種類の範囲（Ａ１ｊ乃至Ａ３ｊ）が設定される。ただし、範囲Ａ１ｊは、予測タップ（tapsｊ）に属し、注目領域(area)に属さない範囲とされ、範囲Ａ２ｊは、予測タップ（tapsｊ）に属さない、かつ、注目領域(area)に属する範囲とされ、範囲Ａ３ｊは、予測タップ（tapsｊ）に属し、注目領域(area)に属する範囲とされる。
【０１８１】
さて、上位階層画像の着目画素ｊに対応する、下位階層画像の画素値（予測値）ｙ’jは、次式（５）で表すことができる。なお、以下において、上付き文字（例えば、ｙ’jのｊ）は注目領域における番号を示し、下付き文字（例えば、ｗtのｔ）は、予測タップ内における番号を示すものとする。
【０１８２】
【数６】
また、ｘp jは、着目画素ｊの予測タップ（tapsｊ）のｐ番目の画素値であり、ｗp jは、着目画素ｊのクラスコードに対応した係数ベクトルの、ｘp jにかかる係数である。ただし、実際には、上位階層画像の１個の着目画素には、下位階層画像の９個の画素が対応するので、式（５）と同様の式が、他に８本生成される。
【０１８４】
ここで、予測値ｙ’ jに対応する真値（原画像の画素値）をｙjとすれば、その誤差ｅ'jは、次式（６）で示される。
【０１８５】
【数７】
ただし、
【数８】
【０１８７】
なお、ｎ’は、注目領域(area)内における番号ｎを、予測タップ（tapsｊ）における番号に変換した値である。また、範囲Ａ１ｊに位置する画素の画素値は、更新しないので、ｙ''jは固定値である。したがって、着目画素に対応する自乗誤差を求めるには、式（６）と同様の式を、他に８本生成し、それぞれを２乗して足し合わせればよい。その結果を誤差関数Ｅkとする。
【０１８８】
注目領域(area)内の全ての画素に対応する誤差関数Ｅkを足し合わせたものを影響誤差関数Ｅareaとする。
【０１８９】
【数９】
ここで、既に述べたように、Ｅkは、（ｅk）2を９つ足し合わせたものであるが、簡略化するために、Ｅk＝（ｅk）2とする。
【０１９１】
次に、注目領域(area)内における番号ｎに対応する画素の画素値をｘiとし、影響誤差関数Ｅareaの値を最小にする画素値ｘ1乃至ｘsを最小自乗法により求める。
【０１９２】
まず、式（８）の画素値ｘiによる偏微分係数（次式（９））を求め、その値が０となるように画素値ｘiを決定する。
【０１９３】
【数１０】
ここで、式（７）に基づいて、ＷjiおよびＹiを次式（１０）のように定める。
【０１９５】
【数１１】
式（９）の値を０として、次式（１１）のような行列式を得る。
【０１９７】
【数１２】
【０１９８】
図２４のステップＳ１１７の説明に戻る。ステップＳ１１７において、注目領域画素値演算回路１０７は、入力された影響誤差関数マトリクスに対し、掃き出し法等の一般的な行列解法を適用して、画素値ｘ1乃至ｘsを演算し、上位階層画像メモリ２１に出力する。上位階層画像メモリ２１は、入力された画素値ｘ1乃至ｘsを用いて、それまで記憶していた値を更新する。
【０１９９】
ステップＳ１１８において、注目領域決定回路９２は、上位階層画像の全ての画素を注目領域に決定したか否かを判定し、全ての画素を注目領域に決定していないと判定した場合、ステップＳ１１１に戻り、それ以降の処理が繰り返される。
【０２００】
その後、ステップＳ１１８において、上位階層画像の全ての画素が注目領域に決定されたと判定された場合、注目領域決定回路９２は、スイッチ２４をオンとする制御信号を出力する。スイッチ２４がオンとされることにより、上位階層画像メモリ２１に記憶されている、画素値が最適化された上位階層画像が上位階層画像メモリ３に出力される。
【０２０１】
このように、領域単位で処理すると、より高いS/N比の画像を得ることができる。
【０２０２】
図２６は、本発明を適用したエンコーダの第２の構成例を表している。このエンコーダ１１１は、図１に示したエンコーダ１の収束判定回路１０の後段に予測係数拡張回路１１２を追加したものである。予測係数拡張回路１１２は、収束判定回路１０が出力した、４ビット（１６種類）のクラスコードに対応する予測係数テーブルを、５ビット（３２種類）の拡張クラスコードに対応させるものである。
【０２０３】
予測係数拡張回路１１２の詳細な構成例について、図２７を参照して説明する。収束判定回路１０から入力された上位階層画像は、予測係数拡張回路１１２において、予測タップ抽出回路１２２、クラスコード読取回路１２３、および空間クラスコード判定回路１２４に供給される。着目画素決定回路１２１は、上位階層画像の画素を順次、着目画素に決定し、その位置情報を予測タップ抽出回路１２２、クラスコード読取回路１２３、および空間クラスコード判定回路１２４に出力する。
【０２０４】
予測タップ抽出回路１２２は、着目画素を中心とする５×５画素の予測タップの画素値（画素データのMSB側の４ビット）を抽出して正規方程式生成回路１２６に出力する。クラスコード読取回路１２３は、着目画素のクラスコード（画素データのLSB側の４ビット）を読み出して空間クラスコード判定回路１２４に出力する。
【０２０５】
空間クラスコード判定回路１２４は、着目画素の空間クラスコードを判定する。すなわち、図２８に示すように、着目画素の画素値と、その近傍（例えば、左隣の画素）の画素の画素値を比較して、着目画素の画素値の方が大きい場合、空間クラスコード（１ビット）を０に決定し、近傍の画素の画素値の方が大きい場合、空間クラスコードを１に決定する。さらに、空間クラスコード判定回路１２４は、クラスコード読取回路１２３から入力された４ビットのクラスコードのMSB側に空間クラスコードを付加して拡張クラスコード（５ビット）を生成し、正規方程式生成回路１２６に出力する。
【０２０６】
なお、空間クラスコードのビット数は、１ビットに限定されるものではなく、複数ビットであってもよい。また、空間クラスコードを上述した方法によって決定するのではなく、例えば、１ビットADRC処理や微分値や差分値から決定してもよい。
【０２０７】
教師データ抽出回路１２５は、原画像から教師データ（予測タップを用いて生成される下位階層画像の画素値の真値）を抽出して正規方程式生成回路１２６に出力する。正規方程式生成回路１２６は、着目画素の拡張クラスコード毎に、既知である教師データおよび予測タップの画素値、並びに、変数としての予測係数から成る正規方程式を生成して、予測係数演算回路１２７に出力する。
【０２０８】
予測係数演算回路１２７は、入力された正規方程式に最小自乗法を適用して３２種類（５ビット）の拡張クラスコードに対応する予測係数を演算し、後段に出力する。なお、サンプル数が少ないために正規方程式生成回路１２６からの正規方程式が解けない場合、予測係数演算回路１２７は、予測係数メモリ４から供給される１６種類（４ビット）のクラスコードに対応した予測係数テーブルを出力する。
【０２０９】
次に、予測係数拡張回路１１２の動作について、図２９のフローチャートを参照して説明する。この予測係数拡張処理は、収束判定回路１０から最適上位階層画像が入力されたときに開始される。
【０２１０】
ステップＳ１２１において、着目画素決定回路１２１は、上位階層画像の１個の画素を着目画素に決定し、その位置情報を予測タップ抽出回路１２２、クラスコード読取回路１２３、および空間クラスコード判定回路１２４に出力する。
【０２１１】
ステップＳ１２２において、クラスコード読取回路１２３は、着目画素のクラスコード（画素データのLSB側の４ビット）を読み出して空間クラスコード判定回路１２４に出力する。ステップＳ１２３において、空間クラスコード判定回路１２４は、着目画素の画素値と、その近傍の画素の画素値を比較して、着目画素の画素値の方が大きい場合、空間クラスコード（１ビット）を０に決定し、近傍の画素の画素値の方が大きい場合、空間クラスコードを１に決定する。さらに、空間クラスコード判定回路１２４は、クラスコード読取回路１２３から入力された４ビットのクラスコードのMSB側に空間クラスコードを付加して拡張クラスコード（５ビット）を生成し、正規方程式生成回路１２６に出力する。
【０２１２】
ステップＳ１２４において、予測タップ抽出回路１２２は、着目画素を中心とする５×５画素の予測タップの画素値（画素データのMSB側の４ビット）を抽出して正規方程式生成回路１２６に出力する。
【０２１３】
ステップＳ１２５において、正規方程式生成回路１２６は、着目画素のクラスコード毎に、既知である教師データおよび予測タップの画素値、並びに、変数としての予測係数から成る正規方程式を生成して、予測係数演算回路１２７に出力する。
【０２１４】
ステップＳ１２６において、着目画素決定回路１２１は、上位階層画像の全ての画素を着目画素としたか否かを判定し、全ての画素を着目画素としていないと判定した場合、ステップＳ１２１に戻り、それ以降の処理が繰り返される。ステップＳ１２６において、全ての画素を着目画素としたと判定された場合、ステップＳ１２７に進む。
【０２１５】
ステップＳ１２７において、予測係数演算回路１２７は、ステップＳ１２５で正規方程式生成回路１２６が生成した正規方程式に最小自乗法を適用し、３２種類（５ビット）の拡張クラスコードに対応する予測係数セットを演算し、得られた予測係数セット（予測係数テーブル）を出力する。
【０２１６】
以上のように、予測係数拡張回路１１２では、予測係数セットを拡張クラスコード（５ビット）に対応させるが、着目画素の画素データのLSB側の５ビットに拡張クラスコードを書き込むわけではなく、着目画素の画素値（画素データのMSB側の４ビット）を変化させないので、この上位階層画像から生成される下位階層画像に階調欠如を発生させることはない。
【０２１７】
図３０は、図２６に示したエンコーダ１１１で生成された上位階層画像から原画像を復元する（下位階層画像を生成する）デコーダの構成例を示している。
【０２１８】
このデコーダ１３１は、図１８に示したデコーダ８１に空間クラスコード判定回路１３２を追加したものである。空間クラスコード判定回路１３２には、エンコーダ１からの上位階層画像、着目画素決定回路８２からの着目画素の位置情報、およびクラスコード読取回路８３からのクラスコード（着目画素の画素データのLSB側の４ビット）が入力される。
【０２１９】
空間クラスコード判定回路１３２は、着目画素の画素値と、着目画素の近傍（いまの場合、左隣）の画素の画素値を比較して、着目画素の画素値の方が大きい場合、空間クラスコード（１ビット）を０に決定し、近傍の画素の画素値の方が大きい場合、空間クラスコードを１に決定する。さらに、空間クラスコード判定回路１３２は、クラスコード読取回路８３から入力された４ビットのクラスコードのMSB側に空間クラスコードを付加して拡張クラスコード（５ビット）を生成し、マッピング回路８５に出力する。なお、空間クラスコード判定回路１３２以外の構成回路については、図１８に示したものと同様であるので、その説明は省略する。
【０２２０】
次に、デコーダ１３１の動作について、図３１のフローチャートを参照して説明する。このデコード処理は、例えば、エンコーダ１１１が出力した予測係数テーブルが、マッピング回路８５に供給された後、順次入力されるフレーム単位の上位階層画像に対して実行される。
【０２２１】
ステップＳ１３１において、着目画素決定回路８２は、上位階層画像の１個の画素を、着目画素に決定し、その位置情報をクラスコード読取回路８３、予測タップ抽出回路８４、および空間クラスコード判定回路１３２に出力する。ステップＳ１３２において、クラスコード読取回路８３は、上位階層画像から着目画素のクラスコード（画素データのLSB側の４ビット）を読み取って、空間クラスコード判定回路１３２に出力する。
【０２２２】
ステップＳ１３３において、空間クラスコード判定回路１３２は、着目画素の画素値と、その左隣の画素の画素値を比較して、着目画素の画素値の方が大きい場合、空間クラスコード（１ビット）を０に決定し、近傍の画素の画素値の方が大きい場合、空間クラスコードを１に決定する。さらに、空間クラスコード判定回路１３２は、クラスコード読取回路８３から入力された４ビットのクラスコードのMSB側に空間クラスコードを付加して拡張クラスコード（５ビット）を生成し、マッピング回路８５に出力する。
【０２２３】
ステップＳ１３４において、予測タップ抽出回路８４は、入力された上位階層画像から着目画素を中心とする５×５画素の予測タップに含まれる画素の画素値（画素データのMSB側の４ビット）を抽出してマッピング回路８５に出力する。
【０２２４】
ステップＳ１３５において、マッピング回路８５は、空間クラスコード判定回路１３２より入力される拡張クラスコードに対応する予測係数セットを予測係数テーブルから読み出して、読み出した予測係数セットの各予測係数と、予測タップの各画素の画素値との線形１次結合を演算し、演算結果を下位階層画像の画素値として下位階層画像メモリ８６に出力する。
【０２２５】
ステップＳ１３６において、着目画素決定回路８２は、上位階層画像の全ての画素を着目画素としたか否かを判定し、全ての画素を着目画素としたと判定するまで、ステップＳ１３１乃至Ｓ１３６の処理が繰り返される。ステップＳ１３７において、全ての画素を着目画素としたと判定された場合、ステップＳ１３７で下位階層画像メモリ８６から下位階層画像の画素値がフレーム単位で、図示せぬモニタに出力される。
【０２２６】
図３２は、図２６に示したエンコーダ１１１で生成された上位階層画像を用い、図３０に示したデコーダ１３１が復元した下位階層画像の原画像に対するS/N比を演算したシミュレーションの結果を表している。同図から明らかなように、LSB側４ビットをクラスコードとして繰り返し更新を実行してS/N比が収束した後（更新回数２０回目まで）、更新回数２１回目において、予測係数セットを３２種類（５ビット）の拡張クラスコードに対応させることにより、さらにS/N比が向上する。
【０２２７】
なお、本実施の形態においては、画素データを８ビットとして、そのMSB側の４ビットを画素値、LSB側の４ビットをクラスコードとしたが、これらのビット数は変更してもかまわない。また、そのMSB側をクラスコードとし、LSB側を画素値としてもかまわない。さらに、画素値とクラスコードを分離して記憶するようにしてもかまわない。
【０２２８】
また、クラスタップ、予測タップ、および、画素値の更新を行う領域等の形状は、上述したものに限定されず、例えば、円形や不連続な形状でもよい。また、対称形状であってもよいし、非対称形状であってもよい。
【０２２９】
また、本実施の形態においては、原画像を、より少ない画素数からなる、原画像に復元可能な画像に変換したが、例えば、原画像を、原画像と同じ画素数からなる画像であって、かつ、１画素当たりの情報量（例えば、５ビット）が、原画像の１画素当たりの情報量（例えば、８ビット）よりも少ない、原画像に復元可能な画像に変換する場合にも、本発明を適用することが可能である。
【０２３０】
この場合には、原画像から画素数を削減する変わりにビット数を削減する処理を行って上位階層画像を生成する。例えば、図６における各画素が８ビットの上位階層画像でなく、画素数は下位階層画像と同じで、各画像データが５ビットで、画素値が３ビットでクラスコードが２ビットである上位階層画像データとすることができる。そして、ローカルデコード時には上位階層画像のビット数を原画像と同じビット数に増加させる処理を行えばよい。
【０２３１】
上述した一連の処理は、上述した各実施例のように、ハードウェアにより実行させることもできるが、ソフトウェアで実行させることもできる。
【０２３２】
図３３は、例えばコンピュータなどに構成される情報処理装置である。この情報処理装置に、例えば、図２乃至図４のフローチャートを用いて説明した動作を実行するソフトウェアプログラムを与えることで、本発明の符号化装置を構成することができる。
【０２３３】
図３３の情報処理装置について説明する。図３３の情報処理装置においてCPU（Central Processing Unit）５１１にはバス５１５を介して入出力インタフェース５１６が接続されており、CPU５１１は、入出力インタフェース５１６を介して、ユーザから、キーボード、マウスなどよりなる入力部５１８から指令が入力されると、例えば、ROM（Read Only Memory）５１２、ハードディスク５１４、またはドライブ５２０に装着される磁気ディスク５３１、光ディスク５３２、光磁気ディスク５３３、若しくは半導体メモリ５３４などの記録媒体に格納されている本発明に関するソフトウェアプログラムを、RAM（Random Access Memory）５１３にロードして実行する。さらに、CPU５１１は、その処理結果を、例えば、入出力インタフェース５１６を介して、LCD（Liquid Crystal Display）などよりなる表示部５１７に必要に応じて出力する。なお、プログラムは、ハードディスク５１４やROM５１２に予め記憶しておき、情報処理装置５０１と一体的にユーザに提供したり、磁気ディスク５３１、光ディスク５３２、光磁気ディスク５３３，半導体メモリ５３４等のパッケージメディアとして提供したり、衛星、ネットワーク等から通信部５１９を介してハードディスク５１４に提供することができる。
【０２３４】
また、上述した各実施例においては画像信号を符号化する例について述べたが、本発明はこれに限定されるものでなく、オーディオ信号などにも適用可能である。
【０２３５】
また、本発明の主旨を逸脱しない範囲において、様々な変形や応用例が考えられる。したがって、本発明の主旨は本実施の形態に限定されるものではない。
のネットワーク提供媒体を介してユーザに提供することができる。
【０２３６】
【発明の効果】
以上のように、本発明の第１の画像信号変換装置、画像信号変換方法、および記録媒体のプログラムによれば、原画像を復元可能な上位階層画像を生成することが可能となる。
【０２３７】
また、本発明の第２の画像信号変換装置、画像信号変換方法、および記録媒体のプログラムによれば、原画像を復元可能な上位階層画像を生成することが可能となる。
【０２３８】
また、本発明の第３の情報信号変換装置、情報信号変換方法、および記録媒体のプログラムによれば、原信号を復元可能な上位階層信号を生成することが可能となる。
【０２３９】
また、本発明の第４の情報信号変換装置、情報信号変換方法、および記録媒体のプログラムによれば、原信号を復元可能な上位階層信号を生成することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用したエンコーダ１の第１の構成例を示すブロック図である。
【図２】図１のエンコーダ１の動作を説明するフローチャートである。
【図３】図１の前処理回路２の動作を説明するフローチャートである。
【図４】図３のステップＳ１１の詳細を説明するフローチャートである。
【図５】画素の配置を説明する図である。
【図６】画素データを説明する図である。
【図７】図３のステップＳ１２の詳細を説明するフローチャートである。
【図８】図１の画素値更新回路６の第１の構成例を示すブロック図である。
【図９】図８の最適画素値決定回路２２の構成例を示すブロック図である。
【図１０】図８の画素値更新回路６の動作を説明するフローチャートである。
【図１１】画素の配置を説明する図である。
【図１２】図１の予測係数更新回路７の構成例を示すブロック図である。
【図１３】図１２の予測係数更新回路７の動作を説明するフローチャートである。
【図１４】図１のクラスコード選択回路８の構成例を示すブロック図である。
【図１５】図１４のクラスコード選択回路８の動作を説明するフローチャートである。
【図１６】図１のデコード回路９の構成例を示すブロック図である。
【図１７】図１６のデコード回路９の動作を説明するフローチャートである。
【図１８】図１に示したエンコーダ１に対応するデコータ８１の構成例を示すブロック図である。
【図１９】図１８のデコーダ８１の動作を説明するフローチャートである。
【図２０】図１のエンコーダ１の他の動作を説明するフローチャートである。
【図２１】シミュレーション結果を示す図である。
【図２２】図１の画素値更新回路６の第２の構成例を示すブロック図である。
【図２３】図２２の領域最適化回路９１の構成例を示すブロック図である。
【図２４】図２２の画素値更新回路６の動作を説明するフローチャートである。
【図２５】影響誤差関数マトリクスを説明するための図である。
【図２６】本発明を適用したエンコーダの第２の構成例を示すブロック図である。
【図２７】図２６の予測係数拡張回路１１２の構成例を示すブロック図である。
【図２８】拡張クラスコードを説明するための図である。
【図２９】図２７の予測係数拡張回路１１２の動作を説明するフローチャートである。
【図３０】図２６のエンコーダ１の対応するデコーダ１３１の構成例を示すブロック図である。
【図３１】図３０のデコーダ１３１の動作を説明するフローチャートである。
【図３２】シミュレーション結果を示す図である。
【図３３】情報処理装置５０１の構成例を示すブロック図である。
【符号の説明】
１ エンコーダ， ２ 前処理回路， ３ 上位階層画像メモリ， ４ 予測係数メモリ， ５ セレクタ， ６ 画素値更新回路， ７ 予測係数更新回路， ８ クラスコード選択回路， ９ ローカルデコード回路， １０ 収束判定回路， １１ 更新回数カウンタ， ２２ 最適画素値決定回路， ８１ デコーダ， ８２ 着目画素決定回路， ８３ クラスコード読取回路， ８４ 予測タップ抽出回路， ８５ マッピング回路， ８６ 下位階層画像メモリ，９１ 領域最適化回路， １１１ エンコーダ， １１２ 予測係数拡張回路， １２４ 空間クラスコード判定回路， １３１ デコーダ， １３２ 空間クラスコード判定回路
Claims (31)
- 原画像信号を前記原画像信号よりも情報量が少ない出力画像信号に変換する画像信号変換装置において、
前記原画像信号から前記出力画像信号と同じ情報量の中間画像信号を生成する中間画像信号生成手段と、
前記中間画像信号の各画素の画素値を各クラスコードと対応付けて記憶する中間画像記憶手段と、
前記各クラスコードに対して予測係数を対応付けて記憶する予測係数記憶手段と、
前記中間画像信号、前記中間画像信号の着目画素に対応付けられた前記クラスコード、および前記原画像信号に基づいて、前記クラスコードに対する最適な前記予測係数を生成し、前記予測係数記憶手段における前記各クラスコードに対する前記予測係数を更新する予測係数更新手段と、
前記中間画像信号、前記中間画像信号の前記着目画素の画素値に対応付けられた前記クラスコードと対応付けられた前記予測係数、並びに前記原画像信号に基づいて、前記中間画像信号の前記着目画素に対する最適な前記クラスコードを選択し、前記中間画像記憶手段における前記中間画像信号の前記着目画素の画素値に対する前記クラスコードの対応付けを更新するクラスコード更新手段と、
所定の条件を満たしたとき、前記中間画像信号を前記出力画像信号に決定する決定手段とを含み、
前記中間画像記憶手段は、前記中間画像信号の各画素毎に、画素値およびクラスコードを包含する画素データを記憶する
画像信号変換装置。 - 前記予測係数更新手段および前記クラスコード更新手段は、前記決定手段が前記所定の条件を満たしたことを検出するまで、前記予測係数および前記クラスコードの更新を繰り返して実行する
請求項１に記載の画像信号変換装置。 - 前記中間画像記憶手段が記憶した前記中間画像信号の各画素値、前記予測係数記憶手段が記憶した前記中間画像信号の各画素値に対応する前記クラスコードと対応付けられた前記予測係数に基づいて、前記原画像信号と同じ情報量を有する予測画像信号の１または複数の画素値を生成する予測画像生成手段をさらに含み、
前記決定手段は、前記所定の条件として、前記中間画像信号と前記原画像信号の比較結果に基づく条件を用いる
請求項２に記載の画像信号変換装置。 - 前記決定手段は、前記中間画像信号と前記原画像信号の誤差を前記比較結果とし、前記比較結果が閾値以下になったとき、前記所定の条件を満たしたと検出する
請求項３に記載の画像信号変換装置。 - 前記決定手段は、前記予測係数および前記クラスコードの更新回数が閾値に達したとき、前記所定の条件を満たしたと検出する
請求項２に記載の画像信号変換装置。 - 前記原画像信号および前記中間画像信号に基づいて、初期予測係数を生成し、前記予測係数記憶手段に記憶させる初期予測係数生成手段を
さらに含む請求項２に記載の画像信号変換装置。 - 前記中間画像信号の前記着目画素に基づいて選定される画素の画素値、および前記クラスコード更新手段で更新された前記クラスコードに基づいて、拡張クラスコードを生成する拡張クラスコード生成手段と、
前記拡張クラスコードに対応する拡張予測係数を生成する拡張予測係数生成手段と
をさらに含む請求項１に記載の画像信号変換装置。 - 前記出力画像信号は、前記原画像信号よりも画素数が少ない
請求項１に記載の画像信号変換装置。 - 前記出力画像信号および前記予測係数記憶手段に記憶された予測係数を出力する出力手段を
さらに含む請求項１に記載の画像信号変換装置。 - 前記中間画像信号の注目画素に基づいて選定される着目画素に対応付けられた前記クラスコードと対応付けられた前記予測係数、前記中間画像信号の前記注目画素に基づいて選定される少なくとも１つの着目画素、および前記原画像信号に基づいて、前記中間画像信号の注目画素の最適な画素値を生成し、前記中間画像記憶手段における前記注目画素の画素値を更新する画素値更新手段を
さらに含む請求項１に記載の画像信号変換装置。 - 原画像信号を前記原画像信号よりも情報量が少ない出力画像信号に変換する画像信号変換装置の画像信号変換方法において、
前記原画像信号から前記出力画像信号と同じ情報量の中間画像信号を生成する中間画像信号生成ステップと、
前記中間画像信号の各画素の画素値を各クラスコードに対応付けて中間画像記憶部に記憶する中間画像記憶ステップと、
各クラスコードに対して予測係数を対応付けて予測係数記憶部に記憶する予測係数記憶ステップと、
前記中間画像信号、前記中間画像信号の着目画素に対応付けられたクラスコード、および前記原画像信号に基づいて、前記クラスコードに対する最適な前記予測係数を生成し、前記予測係数記憶部における前記各クラスコードに対する前記予測係数を更新する予測係数更新ステップと、
前記中間画像信号、前記中間画像信号の着目画素の画素値に対応付けられたクラスコードと対応付けられた予測係数、および前記原画像信号に基づいて、前記中間画像信号の前記着目画素に対する最適な前記クラスコードを選択し、前記中間画像記憶部における前記中間画像信号の前記着目画素の画素値に対する前記クラスコードの対応付けを更新するクラスコード更新ステップと、
所定の条件を満たしたとき、前記予測画像信号を前記出力画像信号に決定する決定ステップとを含み、
前記中間画像記憶ステップは、前記中間画像信号の各画素毎に、画素値およびクラスコードを包含する画素データを前記中間画像記憶部に記憶する
画像信号変換方法。 - 原画像信号を前記原画像信号よりも情報量が少ない出力画像信号に変換するコンピュータの制御用のプログラムであって、
前記原画像信号から前記出力画像信号と同じ情報量の中間画像信号を生成する中間画像信号生成ステップと、
前記中間画像信号の各画素の画素値を各クラスコードに対応付けて中間画像記憶部に記憶する中間画像記憶ステップと、
各クラスコードに対して予測係数を対応付けて予測係数記憶部に記憶する予測係数記憶ステップと、
前記中間画像信号、前記中間画像信号の着目画素に対応付けられたクラスコード、および前記原画像信号に基づいて、前記クラスコードに対する最適な前記予測係数を生成し、前記予測係数記憶部における前記各クラスコードに対する前記予測係数を更新する予測係数更新ステップと、
前記中間画像信号、前記中間画像信号の着目画素の画素値に対応付けられたクラスコードと対応付けられた予測係数、および前記原画像信号に基づいて、前記中間画像信号の前記着目画素に対する最適な前記クラスコードを選択し、前記中間画像記憶部における前記中間画像信号の前記着目画素の画素値に対する前記クラスコードの対応付けを更新するクラスコード更新ステップと、
所定の条件を満たしたとき、前記予測画像信号を前記出力画像信号に決定する決定ステップとを含み、
前記中間画像記憶ステップは、前記中間画像信号の各画素毎に、画素値およびクラスコードを包含する画素データを前記中間画像記憶部に記憶する
処理をコンピュータに実行させるプログラムが記録されている記録媒体。 - 原画像信号を前記原画像信号よりも情報量が少ない出力画像信号に変換する画像信号変換装置において、
前記原画像信号から前記出力画像信号と同じ情報量の中間画像信号を生成する中間画像信号生成手段と、
前記中間画像信号の各画素の画素値を各クラスコードに対応付けて記憶する中間画像記憶手段と、
前記各クラスコードに対して予測係数を対応付けて記憶する予測係数記憶手段と、
前記中間画像信号、前記中間画像信号の着目画素に対応付けられた前記クラスコード、および前記原画像信号に基づいて、前記クラスコードに対する最適な前記予測係数を生成し、前記予測係数記憶手段における前記各クラスコードに対する予測係数を更新する予測係数更新手段と、
前記中間画像信号の注目画素に基づいて選定される前記着目画素に対応付けられた前記クラスコードと対応付けられた前記予測係数、前記中間画像信号の前記注目画素に基づいて選定される少なくとも１つの前記着目画素、および前記原画像信号に基づいて、前記中間画像信号の前記注目画素の最適な画素値を生成し、前記中間画像記憶手段における前記注目画素の画素値を更新する画素値更新手段と、
所定の条件を満たしたとき、前記中間画像信号を前記出力画像信号に決定する決定手段と
を含む画像信号変換装置。 - 前記予測係数更新手段および前記画素値更新手段は、前記決定手段が前記所定の条件を満たしたことを検出するまで、前記予測係数および前記画素値の更新を繰り返して実行する
請求項１３に記載の画像信号変換装置。 - 前記中間画像記憶手段に記憶された前記中間画像信号の各画素値、および前記予測係数記憶手段に記憶された前記各画素値に対応づけられたクラスコードと対応付けられた予測係数に基づいて、前記原画像信号と同じ情報量を有する予測画像信号の１または複数の画素値を生成する予測画像生成手段をさらに含み、
前記決定手段は、前記所定の条件として、前記中間画像信号と前記原画像信号の比較結果に基づく条件を用いる
請求項１４に記載の画像信号変換装置。 - 前記決定手段は、前記中間画像信号と前記原画像信号の誤差を前記比較結果とし、前記比較結果が閾値以下になったとき、前記所定の条件を満たしたと検出する
請求項１５に記載の画像信号変換装置。 - 前記決定手段は、前記予測係数および前記画素値の更新回数が閾値に達したとき、前記所定の条件を満たしたと検出する
請求項１４に記載の画像信号変換装置。 - 前記原画像信号および前記中間画像信号に基づいて、初期予測係数を生成し、前記予測係数記憶手段に記憶させる初期予測係数生成手段を
さらに含む請求項１４に記載の画像信号変換装置。 - 前記出力画像信号は、前記原画像信号よりも画素数が少ない
請求項１３に記載の画像信号変換装置。 - 前記中間画像記憶手段は、前記中間画像信号の各画素毎に、画素値およびクラスコードを含む画素データを記憶する
請求項１３に記載の画像信号変換装置。 - 前記出力画像信号および前記予測係数記憶手段に記憶された予測係数を出力する出力手段を
さらに含む請求項１３に記載の画像信号変換装置。 - 前記中間画像信号、前記中間画像信号の着目画素の画素値に対応付けられたクラスコードと対応付けられた予測係数、および前記原画像信号に基づいて、前記中間画像信号の前記着目画素に対する最適な前記クラスコードを選択し、前記中間画像記憶手段における前記中間画像信号の前記着目画素の画素値に対するクラスコードの対応付けを更新するクラスコード更新手段を
さらに含む請求項１３に記載の画像信号変換装置。 - 前記画素値更新手段は、前記注目画素の画素値の更新と同時に、前記着目画素の画素値を更新する
請求項１３に記載の画像信号変換装置。 - 原画像信号を前記原画像信号よりも情報量が少ない出力画像信号に変換する画像信号変換装置の画像信号変換方法において、
前記原画像信号から前記出力画像信号と同じ情報量の中間画像信号を生成する中間画像信号生成ステップと、
前記中間画像信号の各画素の画素値を各クラスコードと対応付けて中間画像記憶部に記憶する中間画像記憶ステップと、
各クラスコードに対して予測係数を対応付けて予測係数記憶部に記憶する予測係数記憶ステップと、
前記中間画像信号、前記中間画像信号の着目画素に対応付けられた前記クラスコード、および前記原画像信号に基づいて、前記クラスコードに対する最適な前記予測係数を生成し、前記予測係数記憶部における前記各クラスコードに対する予測係数を更新する予測係数更新ステップと、
前記中間画像信号の注目画素に基づいて選定される前記着目画素に対応付けられた前記クラスコードと対応付けられた前記予測係数、前記中間画像信号の前記注目画素に基づいて選定される少なくとも１つの着目画素、および前記原画像信号に基づいて、前記中間画像信号の前記注目画素の最適な画素値を生成し、前記中間画像記憶部における前記注目画素の画素値を更新する画素値更新ステップと、
所定の条件を満たしたとき、前記中間画像信号を前記出力画像信号に決定する決定ステップと
を含む画像信号変換方法。 - 原画像信号を前記原画像信号よりも情報量が少ない出力画像信号に変換するコンピュータの制御用のプログラムであって、
前記原画像信号から前記出力画像信号と同じ情報量の中間画像信号を生成する中間画像信号生成ステップと、
前記中間画像信号の各画素の画素値を各クラスコードと対応付けて中間画像記憶部に記憶する中間画像記憶ステップと、
各クラスコードに対して予測係数を対応付けて予測係数記憶部に記憶する予測係数記憶ステップと、
前記中間画像信号、前記中間画像信号の着目画素に対応付けられた前記クラスコード、および前記原画像信号に基づいて、前記クラスコードに対する最適な前記予測係数を生成し、前記予測係数記憶部における前記各クラスコードに対する予測係数を更新する予測係数更新ステップと、
前記中間画像信号の注目画素に基づいて選定される前記着目画素に対応付けられた前記クラスコードと対応付けられた前記予測係数、前記中間画像信号の前記注目画素に基づいて選定される少なくとも１つの着目画素、および前記原画像信号に基づいて、前記中間画像信号の前記注目画素の最適な画素値を生成し、前記中間画像記憶部における前記注目画素の画素値を更新する画素値更新ステップと、
所定の条件を満たしたとき、前記中間画像信号を前記出力画像信号に決定する決定ステップと
を含む処理をコンピュータに実行させるプログラムが記録されている記録媒体。 - 原情報信号を前記原情報信号よりも情報量が少ない出力情報信号に変換する情報信号変換装置において、
前記原情報信号から前記出力情報信号と同じ情報量の中間情報信号を生成する中間情報信号生成手段と、
前記中間情報信号の各サンプルのサンプル値を各クラスコードと対応付けて記憶する中間情報記憶手段と、
前記各クラスコードに対して予測係数を対応付けて記憶する予測係数記憶手段と、
前記中間情報信号、前記中間情報信号の着目サンプルに対応付けられたクラスコード、および前記原情報信号に基づいて、前記クラスコードに対する最適な前記予測係数を生成し、前記予測係数記憶手段における前記各クラスコードに対する予測係数を更新する予測係数更新手段と、
前記中間情報信号、前記中間情報信号の前記着目サンプルのサンプル値に対応付けられたクラスコードと対応付けられた予測係数、および前記原情報信号に基づいて、前記中間情報信号の前記着目サンプルに対する最適な前記クラスコードを選択し、前記中間情報記憶手段における前記中間情報信号の前記着目サンプルのサンプル値に対する前記クラスコードの対応付けを更新するクラスコード更新手段と、
所定の条件を満たしたとき、前記予測情報信号を前記出力情報信号に決定する決定手段とを含み、
前記中間情報記憶手段は、前記中間情報信号の各サンプル毎に、サンプル値およびクラスコードを包含するサンプルデータを記憶する
情報信号変換装置。 - 原情報信号を前記原情報信号よりも情報量が少ない出力情報信号に変換する情報信号変換装置の情報信号変換方法において、
前記原情報信号から前記出力情報信号と同じ情報量の中間情報信号を生成する中間情報信号生成ステップと、
前記中間情報信号の各サンプルのサンプル値を各クラスコードと対応付けて中間情報記憶部に記憶する中間情報記憶ステップと、
前記各クラスコードに対して予測係数を対応付けて予測係数記憶部に記憶する予測係数記憶ステップと、
前記中間情報信号、前記中間情報信号の着目サンプルに対応付けられたクラスコード、および前記原情報信号に基づいて、前記クラスコードに対する最適な前記予測係数を生成し、前記予測係数記憶部における前記各クラスコードに対する予測係数を更新する予測係数更新ステップと、
前記中間情報信号、前記中間情報信号の前記着目サンプルのサンプル値に対応付けられたクラスコードと対応付けられた予測係数、および前記原情報信号に基づいて、前記中間情報信号の前記着目サンプルに対する最適な前記クラスコードを選択し、前記中間情報記憶部における前記中間情報信号の前記着目サンプルのサンプル値に対する前記クラスコードの対応付けを更新するクラスコード更新ステップと、
所定の条件を満たしたとき、前記予測情報信号を前記出力情報信号に決定する決定ステップとを含み、
前記中間情報記憶ステップは、前記中間情報信号の各サンプル毎に、サンプル値およびクラスコードを包含するサンプルデータを前記中間情報記憶部に記憶する
情報信号変換方法。 - 原情報信号を前記原情報信号よりも情報量が少ない出力情報信号に変換するコンピュータの制御用のプログラムであって、
前記原情報信号から前記出力情報信号と同じ情報量の中間情報信号を生成する中間情報信号生成ステップと、
前記中間情報信号の各サンプルのサンプル値を各クラスコードと対応付けて中間情報記憶部に記憶する中間情報記憶ステップと、
前記各クラスコードに対して予測係数を対応付けて予測係数記憶部に記憶する予測係数記憶ステップと、
前記中間情報信号、前記中間情報信号の着目サンプルに対応付けられたクラスコード、および前記原情報信号に基づいて、前記クラスコードに対する最適な前記予測係数を生成し、前記予測係数記憶部における前記各クラスコードに対する予測係数を更新する予測係数更新ステップと、
前記中間情報信号、前記中間情報信号の前記着目サンプルのサンプル値に対応付けられたクラスコードと対応付けられた予測係数、および前記原情報信号に基づいて、前記中間情報信号の前記着目サンプルに対する最適な前記クラスコードを選択し、前記中間情報記憶部における前記中間情報信号の前記着目サンプルのサンプル値に対する前記クラスコードの対応付けを更新するクラスコード更新ステップと、
所定の条件を満たしたとき、前記予測情報信号を前記出力情報信号に決定する決定ステップと含み、
前記中間情報記憶ステップは、前記中間情報信号の各サンプル毎に、サンプル値およびクラスコードを包含するサンプルデータを前記中間情報記憶部に記憶する
処理をコンピュータに実行させるプログラムが記録されている記録媒体。 - 原情報信号を前記原情報信号よりも情報量が少ない出力情報信号に変換する情報信号変換装置において、
前記原情報信号から前記出力情報信号と同じ情報量の中間情報信号を生成する中間情報信号生成手段と、
前記中間情報信号の各サンプルのサンプル値を各クラスコードに対応付けて記憶する中間情報記憶手段と、
前記各クラスコードに対して予測係数を対応付けて記憶する予測係数記憶手段と、
前記中間情報信号、前記中間情報信号の着目サンプルに対応付けられた前記クラスコード、および前記原情報信号に基づいて、前記クラスコードに対する最適な前記予測係数を生成し、前記予測係数記憶手段における前記各クラスコードに対する前記予測係数を更新する予測係数更新手段と、
前記中間情報信号の注目サンプルに基づいて選定される前記着目サンプルに対応付けられた前記クラスコードと対応付けられた前記予測係数、前記中間情報信号の前記注目サンプルに基づいて選定される少なくとも１つの前記着目サンプル、および前記原情報信号に基づいて、前記中間情報信号の注目サンプルの最適なサンプル値を生成し、前記中間情報記憶手段における前記注目サンプルのサンプル値を更新するサンプル値更新手段と、
所定の条件を満たしたとき、前記中間情報信号を前記出力情報信号に決定する決定手段と
を含む情報信号変換装置。 - 原情報信号を前記原情報信号よりも情報量が少ない出力情報信号に変換する情報信号変換装置の情報信号変換方法において、
前記原情報信号から前記出力情報信号と同じ情報量の中間情報信号を生成する中間情報信号生成ステップと、
前記中間情報信号の各サンプルのサンプル値を各クラスコードに対応付けて中間情報記憶部に記憶する中間情報記憶ステップと、
前記各クラスコードに対して予測係数を対応付けて予測係数記憶部に記憶する予測係数記憶ステップと、
前記中間情報信号、前記中間情報信号の着目サンプルに対応付けられた前記クラスコード、および前記原情報信号に基づいて、前記クラスコードに対する最適な前記予測係数を生成し、前記予測係数記憶部における前記各クラスコードに対する前記予測係数を更新する予測係数更新ステップと、
前記中間情報信号の注目サンプルに基づいて選定される前記着目サンプルに対応付けられた前記クラスコードと対応付けられた前記予測係数、前記中間情報信号の前記注目サンプルに基づいて選定される少なくとも１つの前記着目サンプル、および前記原情報信号に基づいて、前記中間情報信号の注目サンプルの最適なサンプル値を生成し、前記中間情報記憶部における前記注目サンプルのサンプル値を更新するサンプル値更新ステップと、
所定の条件を満たしたとき、前記中間情報信号を前記出力情報信号に決定する決定ステップと
を含む情報信号変換方法。 - 原情報信号を前記原情報信号よりも情報量が少ない出力情報信号に変換するコンピュータの制御用のプログラムであって、
前記原情報信号から前記出力情報信号と同じ情報量の中間情報信号を生成する中間情報信号生成ステップと、
前記中間情報信号の各サンプルのサンプル値を各クラスコードに対応付けて中間情報記憶部に記憶する中間情報記憶ステップと、
前記各クラスコードに対して予測係数を対応付けて予測係数記憶部に記憶する予測係数記憶ステップと、
前記中間情報信号、前記中間情報信号の着目サンプルに対応付けられた前記クラスコード、および前記原情報信号に基づいて、前記クラスコードに対する最適な前記予測係数を生成し、前記予測係数記憶部における前記各クラスコードに対する前記予測係数を更新する予測係数更新ステップと、
前記中間情報信号の注目サンプルに基づいて選定される前記着目サンプルに対応付けられた前記クラスコードと対応付けられた前記予測係数、前記中間情報信号の前記注目サンプルに基づいて選定される少なくとも１つの前記着目サンプル、および前記原情報信号に基づいて、前記中間情報信号の注目サンプルの最適なサンプル値を生成し、前記中間情報記憶部における前記注目サンプルのサンプル値を更新するサンプル値更新ステップと、
所定の条件を満たしたとき、前記中間情報信号を前記出力情報信号に決定する決定ステップと
を含む処理をコンピュータに実行させるプログラムが記録されている記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000069696A JP4306082B2 (ja) | 1999-03-25 | 2000-03-14 | 画像信号変換装置および方法、情報信号変換装置および方法、並びに記録媒体 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8086699 | 1999-03-25 | ||
| JP11-80866 | 1999-03-25 | ||
| JP2000069696A JP4306082B2 (ja) | 1999-03-25 | 2000-03-14 | 画像信号変換装置および方法、情報信号変換装置および方法、並びに記録媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2000341536A JP2000341536A (ja) | 2000-12-08 |
| JP2000341536A5 JP2000341536A5 (ja) | 2007-04-05 |
| JP4306082B2 true JP4306082B2 (ja) | 2009-07-29 |
Family
ID=26421828
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000069696A Expired - Fee Related JP4306082B2 (ja) | 1999-03-25 | 2000-03-14 | 画像信号変換装置および方法、情報信号変換装置および方法、並びに記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4306082B2 (ja) |
-
2000
- 2000-03-14 JP JP2000069696A patent/JP4306082B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000341536A (ja) | 2000-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1686801B1 (en) | Image processing device and method and recording medium | |
| US8401340B2 (en) | Image processing apparatus and coefficient learning apparatus | |
| EP1061473A1 (en) | Method and apparatus for classification-adaptive data processing | |
| US20070263925A1 (en) | Data conversion device, data conversion method, learning device, learning method, program, and recording medium | |
| US8391626B2 (en) | Learning of coefficients for motion deblurring by pixel classification and constraint condition weight computation | |
| US8433145B2 (en) | Coefficient learning apparatus and method, image processing apparatus and method, program, and recording medium | |
| JP4362895B2 (ja) | データ処理装置およびデータ処理方法、並びに記録媒体 | |
| EP1039755A2 (en) | Image encoder with class code correction | |
| US20110188575A1 (en) | Encoding video | |
| US6404924B1 (en) | Image processing apparatus and method | |
| JP4306082B2 (ja) | 画像信号変換装置および方法、情報信号変換装置および方法、並びに記録媒体 | |
| JP4324825B2 (ja) | データ処理装置およびデータ処理方法、並びに媒体 | |
| JP4200403B2 (ja) | 画像符号化装置および方法、画像復号装置および方法、画像伝送システムおよび方法、並びに記録媒体 | |
| JP4214595B2 (ja) | 画像変換装置および方法、並びに記録媒体 | |
| JP4200401B2 (ja) | 画像変換装置および方法、並びに記録媒体 | |
| JP4200402B2 (ja) | 画像変換装置および方法、並びに記録媒体 | |
| US6564180B1 (en) | Data processing apparatus and data processing method | |
| JP4442076B2 (ja) | データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体 | |
| JP2000512827A (ja) | 像間動き評価方法 | |
| JP2009253873A (ja) | 画像処理装置及び方法、並びにプログラム | |
| JP4193460B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| JP4623345B2 (ja) | 画像処理装置および方法、並びに記録媒体 | |
| JP4175073B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| EP1033886A1 (en) | Arithmetic device, converter, and their methods | |
| WO2022009449A1 (ja) | 情報処理装置，情報処理方法および情報処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070220 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070220 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090120 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090129 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090324 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090414 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090427 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120515 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130515 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |