JP4534951B2 - 画像符号化装置および画像符号化方法、画像処理システムおよび画像処理方法、伝送方法、並びに記録媒体 - Google Patents

Description

本発明は、画像符号化装置および画像符号化方法、画像処理システムおよび画像処理方法、伝送方法、並びに記録媒体に関し、特に、少ないデータ処理で、効率的に、より高画質の予測画像を得ることができるようにした画像符号化装置および画像符号化方法、画像処理システムおよび画像処理方法、伝送方法、並びに記録媒体に関する。

従来より、画像の圧縮方法については、種々の方法が提案されているが、そのうちの１つに、画像を、その画素を間引くことにより圧縮する方法がある。

しかしながら、単に画像を間引いて圧縮した画素データを、そのまま符号化するようにすると、データ処理量が膨大となり、効率的に、高画質の予測画像（復号画像）を得ることができない課題があった。

本発明は、このような状況に鑑みてなされたものであり、少ないデータ量で、効率的に、より高画質の予測画像を得ることができるようにするものである。

本発明の画像符号化装置は、画像を構成するブロックにおける画素のビット数を低減するための所定のコード化処理により前記ブロックがコード化されたものである所定のコードに応じて、ブロックを所定のクラスに分類する分類手段と、クラスごとに、所定のマッピング係数を記憶しているマッピング係数記憶手段と、ブロックの各画素と、ブロックのクラスに対応するマッピング係数とを引数とする所定の関数値を演算することにより、ブロックのうち、注目している注目画素を、その周辺の画素に基づいて補正したものである注目画素の補正データを算出する演算手段と、補正データの上位所定ビットのみを抽出することで、補正データのレベルを制限して、ブロックを符号化した符号化データとする制限手段とを備える。
演算手段は、所定の関数値を演算した結果を、注目画素の補正データとして出力することで、画像の画素数を少なくすることができる。
マッピング係数は、符号化データから元の画像を予測した予測結果の、その元の画像に対する予測誤差が最小になるように学習を行うことにより得られたものである。
マッピング係数は、符号化データから元の画像を予測した予測結果の、その元の画像に対する予測誤差が所定値以下になるように学習を行うことにより得られたものである。
マッピング係数は、学習用の画像を構成する学習ブロックが所定のコード化処理によりコード化されたものである所定のコードに応じて、学習ブロックをクラスのうちのいずれかに分類し、学習ブロックの各画素と、学習ブロックのクラスに対応する所定の係数とを引数とする所定の関数値を演算することにより、学習ブロックのうち、注目している注目画素を、その周辺の画素に基づいて補正したものである注目画素の学習用補正データを算出し、学習用補正データの上位所定ビットのみを抽出することで、学習用補正データのレベルを制限した学習用制限データを求め、その学習用制限データに基づいて、学習用の画像の予測値を予測し、学習用の画像に対する、学習用の画像の予測値の予測誤差を算出し、その予測誤差が所定の閾値以下になるまで、所定の係数を変更することを繰り返すことにより得られた、予測誤差が所定の閾値以下になったときの所定の係数である。

本発明の画像符号化方法は、画像符号化装置が、画像を構成するブロックにおける画素のビット数を低減するための所定のコード化処理によりブロックがコード化されたものである所定のコードに応じて、ブロックを所定のクラスに分類し、クラスごとに、所定のマッピング係数を記憶しているマッピング係数記憶手段から、ブロックのクラスに対応するマッピング係数を読み出し、ブロックの各画素と、ブロックのクラスに対応するマッピング係数とを引数とする所定の関数値を演算することによりブロックのうち、注目している注目画素を、その周辺の画素に基づいて補正したものである注目画素の補正データを算出し、補正データの上位所定ビットのみを抽出することで、補正データのレベルを制限して、ブロックを符号化した符号化データとするステップを含む。

本発明の画像処理システムは、画像符号化装置は、画像を構成する第１のブロックにおける画素のビット数を低減するための所定のコード化処理により第１のブロックがコード化されたものである第１のコードに応じて、第１のブロックを所定の第１のクラスに分類する分類手段と、第１のクラスごとに、所定のマッピング係数を記憶しているマッピング係数記憶手段と、第１のブロックの各画素と、第１ブロックの第１のクラスに対応するマッピング係数とを引数とする所定の関数値を演算することにより、第１のブロックのうち、注目している注目画素を、その周辺の画素に基づいて補正したものである注目画素の補正データを算出する演算手段と、補正データの上位所定ビットのみを抽出することで、補正データのレベルを制限して、第１のブロックを符号化した符号化データとする制限手段とを備え、画像復号装置は、画像符号化装置からの符号化データを受信する受信手段と、受信手段により受信された符号化データを、第２のブロックにブロック化するブロック化手段と、所定のコード化処理により第２のブロックがコード化されたものである第２のコードに応じて、第２のブロックを所定の第２のクラスに分類する分類手段と、第２のクラスごとに、所定の予測係数を記憶している予測係数記憶手段から、第２のブロックの第２のクラスに対応する予測係数を読み出し、符号化データと、予測係数とを用いて、元の画像の予測値を算出することにより、元の画像を復号する復号手段とを備える。
画像符号化装置の演算手段は、所定の関数値を演算した結果を、注目画素の補正データとして出力することで、画像の画素数を少なくすることができる。
予測係数は、あらかじめ用意した画像データから、画像に対応する教師用の画像データと、補正データに対応する学習用の画像データを生成し、学習用の画像データに基づいた予測値と、教師用の画像データとの予測誤差を最小自乗法により最小とする学習を行うことにより、あらかじめ生成されたものである。
マッピング係数は、符号化データから元の画像を予測した予測結果の、その元の画像に対する予測誤差が最小になるように学習を行うことにより得られたものである。
マッピング係数は、符号化データから元の画像を予測した予測結果の、その元
の画像に対する予測誤差が所定値以下になるように学習を行うことにより得られたものである。

本発明の画像処理方法は、画像符号化装置が、画像を構成する第１のブロックにおける画素のビット数を低減するための所定のコード化処理により第１のブロックがコード化されたものである第１のコードに応じて、第１のブロックを所定の第１のクラスに分類し、第１のクラスごとに、所定のマッピング係数を記憶しているマッピング係数記憶手段から、第１のブロックの第１のクラスに対応するマッピング係数を読み出し、第１のブロックの各画素と、第１ブロックの第１のクラスに対応するマッピング係数とを引数とする所定の関数値を演算することにより、第１のブロックのうち、注目している注目画素を、その周辺の画素に基づいて補正したものである注目画素の補正データを算出し、補正データの上位所定ビットのみを抽出することで、補正データのレベルを制限して、第１のブロックを符号化した符号化データとするステップを含み、画像復号装置が、画像符号化装置からの符号化データを受信し、受信された符号化データを、第２のブロックにブロック化し、所定のコード化処理により第２のブロックがコード化されたものである第２のコードに応じて、第２のブロックを所定の第２のクラスに分類し、第２のクラスごとに、所定の予測係数を記憶している予測係数記憶手段から、第２のブロックの第２のクラスに対応する予測係数を読み出し、符号化データと、予測係数とを用いて、元の画像の予測値を算出することにより、元の画像を復号するステップを含む。

本発明の伝送方法は、画像符号化装置が、画像を構成するブロックにおける画素のビット数を低減するための所定のコード化処理によりブロックがコード化されたものである所定のコードに応じて、ブロックを所定のクラスに分類し、クラスごとに、所定のマッピング係数を記憶しているマッピング係数記憶手段から、ブロックのクラスに対応するマッピング係数を読み出し、ブロックの各画素と、ブロックのクラスに対応するマッピング係数とを引数とする所定の関数値を演算することによりブロックのうち、注目している注目画素を、その周辺の画素に基づいて補正したものである注目画素の補正データを算出し、補正データの上位所定ビットのみを抽出することで、補正データのレベルを制限して、ブロックを符号化した符号化データとし、符号化データを送信するステップを含む。

本発明の記録媒体に記録されているプログラムは、画像を構成するブロックにおける画素のビット数を低減するための所定のコード化処理によりブロックがコード化されたものである所定のコードに応じて、ブロックを所定のクラスに分類し、クラスごとに、所定のマッピング係数を記憶しているマッピング係数記憶手段から、ブロックのクラスに対応するマッピング係数を読み出し、ブロックの各画素と、ブロックのクラスに対応するマッピング係数とを引数とする所定の関数値を演算することによりブロックのうち、注目している注目画素を、その周辺の画素に基づいて補正したものである注目画素の補正データを算出し、補正データの上位所定ビットのみを抽出することで、補正データのレベルを制限して、ブロックを符号化した符号化データとするステップを含む処理をコンピュータに行わせる。

本発明の画像符号化装置および方法においては、画像を構成するブロックにおける画素のビット数を低減するための所定のコード化処理によりブロックがコード化されたものである所定のコードに応じて、ブロックが所定のクラスに分類され、クラスごとに、所定のマッピング係数を記憶しているマッピング係数記憶手段から、ブロックのクラスに対応するマッピング係数が読み出される。そして、ブロックの各画素と、ブロックのクラスに対応するマッピング係数とを引数とする所定の関数値を演算することによりブロックのうち、注目している注目画素を、その周辺の画素に基づいて補正したものである注目画素の補正データが算出され、補正データの上位所定ビットのみを抽出することで、補正データのレベルが制限されて、ブロックを符号化した符号化データとされる。

本発明の画像処理システムおよび方法においては、画像符号化装置により、画像を構成する第１のブロックにおける画素のビット数を低減するための所定のコード化処理により第１のブロックがコード化されたものである第１のコードに応じて、第１のブロックが所定の第１のクラスに分類され、第１のクラスごとに、所定のマッピング係数を記憶しているマッピング係数記憶手段から、第１のブロックの第１のクラスに対応するマッピング係数が読み出される。そして、第１のブロックの各画素と、第１ブロックの第１のクラスに対応するマッピング係数とを引数とする所定の関数値を演算することにより、第１のブロックのうち、注目している注目画素を、その周辺の画素に基づいて補正したものである注目画素の補正データが算出され、補正データの上位所定ビットのみを抽出することで、補正データのレベルが制限されて、第１のブロックを符号化した符号化データとされる。また、画像復号装置により、画像符号化装置からの符号化データが受信され、受信された符号化データが、第２のブロックにブロック化され、所定のコード化処理により第２のブロックがコード化されたものである第２のコードに応じて、第２のブロックが所定の第２のクラスに分類され、第２のクラスごとに、所定の予測係数を記憶している予測係数記憶手段から、第２のブロックの第２のクラスに対応する予測係数が読み出される。そして、符号化データと、予測係数とを用いて、元の画像の予測値を算出することにより、元の画像が復号される。

本発明の伝送方法においては、画像を構成する第１のブロックにおける画素のビット数を低減するための所定のコード化処理により第１のブロックがコード化されたものである第１のコードに応じて、第１のブロックが所定の第１のクラスに分類され、第１のクラスごとに、所定のマッピング係数を記憶しているマッピング係数記憶手段から、第１のブロックの第１のクラスに対応するマッピング係数が読み出される。そして、第１のブロックの各画素と、第１ブロックの第１のクラスに対応するマッピング係数とを引数とする所定の関数値を演算することにより、第１のブロックのうち、注目している注目画素を、その周辺の画素に基づいて補正したものである注目画素の補正データが算出され、補正データの上位所定ビットのみを抽出することで、補正データのレベルが制限されて、第１のブロックを符号化した符号化データとされ、符号化データが送信される。

本発明の記録媒体のプログラムにおいては、画像を構成する第１のブロックにおける画素のビット数を低減するための所定のコード化処理により第１のブロックがコード化されたものである第１のコードに応じて、第１のブロックが所定の第１のクラスに分類され、第１のクラスごとに、所定のマッピング係数を記憶しているマッピング係数記憶手段から、第１のブロックの第１のクラスに対応するマッピング係数が読み出される。そして、第１のブロックの各画素と、第１ブロックの第１のクラスに対応するマッピング係数とを引数とする所定の関数値を演算することにより、第１のブロックのうち、注目している注目画素を、その周辺の画素に基づいて補正したものである注目画素の補正データが算出され、補正データの上位所定ビットのみを抽出することで、補正データのレベルが制限されて、第１のブロックを符号化した符号化データとされる。

本発明の画像符号化装置および方法、並びに記録媒体によれば、少ないデータ量で、効率的に高画質の画像を予測することが可能となる。

本発明の画像処理システムおよび方法によれば、符号化データのデータ量は少ないものであるが、そのような少ないデータ量の符号化データから、高画質の復号画像を得ることが可能となる。

本発明の伝送方法によれば、少ないデータ量で、効率的に高画質の画像を予測することが可能となる。

図１は、本発明を適用した画像処理装置の一実施の形態の構成を示している。送信装置１には、ディジタル化された画像データが供給されるようになされている。送信装置１は、入力された画像データを間引くこと（その画素数を少なくすること）により圧縮、符号化し、その結果得られる符号化データを、例えば、光ディスク、光磁気ディスク、磁気テープ、相変化ディスクその他でなる記録媒体２に記録し、または、例えば、地上波、衛星回線、電話回線、ＣＡＴＶ網、インターネットその他の伝送路３を介して伝送する。

受信装置４では、記録媒体２に記録された符号化データが再生され、または、伝送路３を介して伝送されてくる符号化データが受信され、その符号化データが伸張、復号化される。そして、その結果得られる復号画像は、図示せぬディスプレイに供給されて表示される。

なお、以上のような画像処理装置は、例えば、光ディスク装置、光磁気ディスク装置、磁気テープ装置その他の、画像の記録／再生を行う装置、あるいはまた、例えば、テレビ電話装置、テレビジョン放送システム、ＣＡＴＶシステムその他の、画像の伝送を行う装置などに適用される。また、後述するように、送信装置１が出力する符号化データのデータ量が少ないため、図１の画像処理装置は、伝送レートの低い、例えば、携帯電話機その他の、移動に便利な携帯端末などにも適用可能である。

図２は、送信装置１の構成例を示している。

Ｉ／Ｆ（InterFace）１１は、外部から供給される画像データの受信処理と、送信機／記録装置１６に対しての、符号化データの送信処理を行うようになされている。ＲＯＭ（Read Only Memory）１２は、ＩＰＬ（Initial Program Loading）用のプログラムその他を記憶している。ＲＡＭ（Random Access Memory）１３は、外部記憶装置１５に記録されているシステムプログラム（ＯＳ（Operating System））やアプリケーションプログラムを記憶したり、また、ＣＰＵ（Central Processing Unit）１４の動作上必要なデータを記憶するようになされている。ＣＰＵ１４は、ＲＯＭ１２に記憶されているＩＰＬプログラムにしたがい、外部記憶装置１５からシステムプログラムおよびアプリケーションプログラムを、ＲＡＭ１３に展開し、そのシステムプログラムの制御の下、アプリケーションプログラムを実行することで、Ｉ／Ｆ１１から供給される画像データについての、後述するような符号化処理を行うようになされている。外部記憶装置１５は、例えば、磁気ディスク装置などでなり、上述したように、ＣＰＵ１４が実行するシステムプログラムやアプリケーションプログラムを記憶している他、ＣＰＵ１４の動作上必要なデータも記憶している。送信機／記録装置１６は、Ｉ／Ｆ１１から供給される符号化データを、記録媒体２に記録し、または伝送路３を介して伝送するようになされている。

なお、Ｉ／Ｆ１１，ＲＯＭ１２，ＲＡＭ１３，ＣＰＵ１４、および外部記憶装置１５は、相互にバスを介して接続されている。

以上のように構成される送信装置１においては、Ｉ／Ｆ１１に画像データが供給されると、その画像データは、ＣＰＵ１４に供給される。ＣＰＵ１４は、画像データを符号化し、その結果得られる符号化データを、Ｉ／Ｆ１１に供給する。Ｉ／Ｆ１１は、符号化データを受信すると、それを、送信機／記録装置１６に供給する。送信機／記録装置１６では、Ｉ／Ｆ１１からの符号化データが、記録媒体２に記録され、または伝送路３を介して伝送される。

図３は、図２の送信装置１の、送信機／記録装置１６を除く部分の機能的なブロック図である。

符号化すべき画像データは、圧縮部２１、ローカルデコード部２２、および誤差算出部２３に供給されるようになされている。圧縮部２１は、画像データを、その画素を、単純に間引くことにより圧縮するとともに、抽出された画素データのレベルを制限し、さらに、その結果得られる圧縮データ（間引きとレベル制限が行われた後の画像データ）を、判定部２４からの制御にしたがって補正するようになされている。圧縮部２１における補正の結果得られる補正データは、ローカルデコード部２２および判定部２４に供給されるようになされている。

ローカルデコード部２２は、圧縮部２１からの補正データに基づいて、元の画像を予測し、その予測値を、誤差算出部２３に供給するようになされている。なお、ローカルデコード部２２は、後述するように、補正データとの線形結合により、予測値を算出するための予測係数を求める処理を行い、その予測係数に基づいて、予測値を求める適応処理を行うようになされており、上述したように、予測値を、誤差算出部２３に供給する他、そのとき求めた予測係数を、判定部２４に供給するようにもなされている。

誤差算出部２３は、そこに入力される、元の画像データ（原画像）に対する、ローカルデコード部２２からの予測値の予測誤差を算出するようになされている。この予測誤差は、誤差情報として、判定部２４に供給されるようになされている。

判定部２４は、誤差算出部２３からの誤差情報に基づいて、圧縮部２１が出力した補正データを、元の画像の符号化結果とすることの適正さを判定するようになされている。そして、判定部２４は、圧縮部２１が出力した補正データを、元の画像の符号化結果とすることが適正でないと判定した場合には、圧縮部２１を制御し、さらに、圧縮データを補正させ、その結果得られる新たな補正データを出力させるようになされている。また、判定部２４は、圧縮部２１が出力した補正データを、元の画像の符号化結果とすることが適正であると判定した場合には、圧縮部２１から供給された補正データを、最適な圧縮データ（以下、適宜、最適圧縮データという）として多重化部２５に供給するとともに、ローカルデコード部２２から供給された予測係数を多重化部２５に供給するようになされている。

多重化部２５は、判定部２４からの最適圧縮データ（補正データ）と、予測係数とを多重化し、その多重化結果を、符号化データとして、送信機／記録装置１６（図２）に供給するようになされている。

次に、図４のフローチャートを参照して、その動作について説明する。圧縮部２１に対して、画像データが供給されると、圧縮部２１は、ステップＳ１において、その画像データを間引く（複数の画素から少ない数の画素を抽出する）ことにより圧縮する。また、抽出された画素データのレベルを、ステップＳ２において、ＭＳＢ側の２ビットを抽出することで制限する。そして、この画素データを、最初は、補正を行わずに、ローカルデコード部２２および判定部２４に出力する。ローカルデコード部２２では、ステップＳ３において、圧縮部２１からの補正データ（最初は、上述したように、画像データを、単純に間引き、かつ、レベル制限した圧縮データそのもの）がローカルデコードされる。

即ち、ステップＳ３では、圧縮部２１からの補正データとの線形結合により、元の画像の予測値を算出するための予測係数を求める処理が行われ、その予測係数に基づいて、予測値を求める適応処理が行われる。ローカルデコード部２２において求められた予測値は誤差算出部２３に、また、予測係数は判定部２４に供給される。

ここで、ローカルデコード部２２が出力する予測値で構成される画像は、受信装置４（図１）側において得られる復号画像と同一のものである。

誤差算出部２３は、ローカルデコード部２２から、元の画像の予測値を受信すると、ステップＳ４において、元の画像データに対する、ローカルデコード部２２からの予測値の予測誤差を算出し、誤差情報として、判定部２４に供給する。判定部２４は、誤差算出部２３から誤差情報を受信すると、ステップＳ５において、その誤差情報に基づいて、圧縮部２１が出力した補正データを、元の画像の符号化結果とすることの適正さを判定する。

即ち、ステップＳ５においては、誤差情報が所定の閾値ε以下であるかどうかが判定される。ステップＳ５において、誤差情報が所定の閾値ε以下でないと判定された場合、圧縮部２１が出力した補正データを、元の画像の符号化データとするのは適正でないと認識され、ステップＳ６に進み、判定部２４は、圧縮部２１を制御し、これにより、圧縮データを補正させる。圧縮部２１は、判定部２４の制御にしたがって、補正量（後述する補正値△）を変えて、圧縮データを補正し、その結果得られる補正データを、ローカルデコード部２２および判定部２４に出力する。そして、ステップＳ３に戻り、以下、同様の処理が繰り返される。

一方、ステップＳ５において、誤差情報が所定の閾値ε以下であると判定された場合、圧縮部２１が出力した補正データを、元の画像の符号化結果とするのは適正であると認識され、判定部２４は、所定の閾値ε以下の誤差情報が得られたときの補正データを、最適圧縮データとして、予測係数とともに、多重化部２５に出力する。多重化部２５では、ステップＳ７において、判定部２４からの最適圧縮データと予測係数とが多重化され、その結果得られる符号化データが出力されて、処理を終了する。

以上のように、誤差情報が所定の閾値ε以下となったときにおける、圧縮データを補正した補正データを、元の画像の符号化結果とするようにしたので、受信装置４側においては、その補正データに基づいて、元の画像（原画像）とほぼ同一の画像を得ることが可能となる。

次に、図５は、図３の圧縮部２１の構成例を示している。

符号化すべき画像データは、間引き回路３０に入力されるようになされており、間引き回路３０は、入力された画像データを１／Ｎに間引くようになされている。従って、間引き回路３０からは、画像データを、１／Ｎに圧縮した圧縮データが出力されるようになされている。この圧縮データは、レベル制限回路３１に入力され、例えば８ビットで表される各画素データのＭＳＢ側の２ビットだけを抽出することで、そのレベルが制限された後、補正回路３２に供給されるようになされている。

補正回路３２は、判定部２４（図３）からの制御信号にしたがって、補正値ＲＯＭ３３にアドレスを与え、これにより、補正値△を読み出すようになされている。そして、補正回路３２は、レベル制限回路３１からの圧縮データに対して、補正値ＲＯＭ３３からの補正値△を、例えば加算することで、補正データを生成し、ローカルデコード部２２および判定部２４に供給するようになされている。補正値ＲＯＭ３３は、レベル制限回路３１が出力する圧縮データを補正するための、各種の補正値△の組合せ（例えば、１フレーム分の圧縮データを補正するための補正値の組合せなど）を記憶しており、補正回路３２から供給されるアドレスに対応する補正値△の組合せを読み出して、補正回路３２に供給するようになされている。

次に、図６を参照して、図５の圧縮部２１の処理について説明する。

例えば、１フレーム分などの画像データが、間引き回路３０に供給されると、間引き回路３０は、ステップＳ１１において、その画像データを１／Ｎに間引き、その結果得られる圧縮データを、レベル制限回路３１に出力する。

ここで、間引き回路３０は、図７に示すように、画像データを、例えば、１／９に間引くようになされている。即ち、間引き回路３０は、３×３（横×縦）の９画素を１単位とし、各単位の中心の画素（同図において、●印で示す部分）についての画素値のみを抽出し、他の部分（同図において、○印で示す部分）を削除する。なお、間引き回路３０は、以上のような処理を、例えば、１フレーム（フィールド）単位で行うようになされている。従って、間引き回路３０からレベル制限回路３１に対しては、１フレームの画像データが１／９に間引きされた圧縮データとして供給される。但し、間引き回路３０における間引き処理は、その他、１フレームの画像を幾つかのブロックに分割し、そのブロック単位で行うようにすることも可能である。

レベル制限回路３１は、間引き回路３０から、１／９に間引かれた画素データの供給を受けると、８ビットで表されている画素データのＭＳＢ側から２ビットを抽出することでレベルを制限する。すなわち、これにより、各画素データは２ビットで表されることになり、その後の処理が簡単となる。

補正回路３２は、レベル制限回路３１から圧縮データを受信すると、ステップＳ１３において、判定部２４（図３）から制御信号を受信したかどうかを判定する。ステップＳ１３において、制御信号を受信していないと判定された場合、ステップＳ１６に進み、補正回路３２は、レベル制限回路３１からの圧縮データを、そのまま補正データとして、ローカルデコード部２２および判定部２４に出力し、ステップＳ１３に戻る。

即ち、判定部２４は、上述したように、誤差情報に基づいて、圧縮部２１（補正回路３２）を制御するようになされており、レベル制限回路３１から圧縮データが出力された直後は、まだ、誤差情報が得られないため（誤差情報が、誤差算出部２３から出力されないため）、判定部２４からは制御信号は出力されない。このため、レベル制限回路３１から圧縮データが出力された直後は、補正回路３２は、その圧縮データを補正せず（０を加算する補正をして）、そのまま補正データとして、ローカルデコード部２２および判定部２４に出力する。

一方、ステップＳ１３において、判定部２４からの制御信号を受信したと判定された場合、ステップＳ１４において、補正回路３２は、その制御信号にしたがったアドレスを、補正値ＲＯＭ３３に出力する。これにより、ステップＳ１４では、補正値ＲＯＭ３３から、そのアドレスに記憶されている、１フレーム分の圧縮データを補正するための補正値△の組合せ（集合）が読み出され、補正回路３２に供給される。補正回路３２は、補正値ＲＯＭ３３から補正値△の組合せを受信すると、ステップＳ１５において、１フレームの圧縮データそれぞれに、対応する補正値△を加算し、これにより、圧縮データを補正した補正データを算出する。その後は、ステップＳ１６に進み、補正データが、補正回路３２からローカルデコード部２２および判定部２４に出力され、ステップＳ１３に戻る。

以上のようにして、圧縮部２１は、判定部２４の制御にしたがって、圧縮データを、種々の値に補正した補正データを出力することを繰り返す。

なお、判定部２４は、１フレームの画像についての符号化を終了すると、その旨を表す制御信号を、圧縮部２１に供給するようになされており、圧縮部２１では、ステップＳ１３において、そのような制御信号を受信したかどうかも判定されるようになされている。ステップＳ１３において、１フレームの画像についての符号化が終了した旨の制御信号を受信したと判定された場合、次のフレームの画像が供給されるのを待って、ステップＳ１１に戻り、ステップＳ１１からの処理が繰り返される。

また、上述の場合においては、間引き回路３０に、３×３画素の中心の画素についての画素データ（画素値）のみを抽出させることにより、圧縮データを生成させるようにしたが、その他、例えば、３×３画素の平均値を算出し、その平均値を、３×３画素の中心の画素の画素値として、圧縮データを生成させるようにすることなども可能である。

次に、図８は、図３のローカルデコード部２２の構成例を示している。

圧縮部２１からの補正データは、クラス分類用ブロック化回路４１および予測値計算用ブロック化回路４２に供給されるようになされている。クラス分類用ブロック化回路４１は、補正データを、その性質に応じて所定のクラスに分類するための単位である、注目される補正データ（画素）（注目補正データ）を中心としたクラス分類用ブロックにブロック化するようになされている。

即ち、いま、図７において、上からｉ番目で、左からｊ番目の補正データ（圧縮データ）（または画素）（図中、●印で示す部分）をＸ_ijと表すとすると、クラス分類用ブロック化回路４１は、注目画素（注目補正データ）Ｘ_ijの上、左、右、下に隣接する４つの画素Ｘ_(i-1)j，Ｘ_i(j-1)，Ｘ_i(j+1)，Ｘ_(i-1)jに、自身を含め、合計５画素で構成されるクラス分類用ブロックを構成するようになされている。このクラス分類用ブロックは、クラス分類適応処理回路４３に供給されるようになされている。

なお、この場合、クラス分類用ブロックは、十文字形に配列されている画素でなるブロックで構成されることとなるが、クラス分類用ブロックの形状は、十文字形である必要はなく、その他、例えば、長方形、正方形、その他の任意な形とすることが可能である。また、クラス分類用ブロックを構成する画素数も、５画素に限定されるものではない。

予測値計算用ブロック化回路４２は、補正データを、元の画像の予測値を計算するための単位である、注目補正データを中心とした予測値計算用ブロックにブロック化するようになされている。即ち、いま、図７において、補正データＸ_ij（図中、●印で示す部分）を中心とする、元の画像（原画像）における３×３の９画素の画素値を、その最も左から右方向、かつ上から下方向に、Ｙ_ij（１），Ｙ_ij（２），Ｙ_ij（３），Ｙ_ij（４），Ｙ_ij（５），Ｙ_ij（６），Ｙ_ij（７），Ｙ_ij（８），Ｙ_ij（９）と表すとすると、画素Ｙ_ij（１）乃至Ｙ_ij（９）の予測値の計算のために、予測値計算用ブロック化回路４２は、例えば、画素Ｘ_ijを中心とする５×５の２５画素Ｘ_(i-2)(j-2)，Ｘ_(i-2)(j-1)，Ｘ_(i-2)j，Ｘ_(i-2)(j+1)，Ｘ_(i-2)(j+2)，Ｘ_(i-1)(j-2)，Ｘ_(i-1)(j-1)，Ｘ_(i-1)j，Ｘ_(i-1)(j+1)，Ｘ_(i-1)(j+2)，Ｘ_i(j-2)，Ｘ_i(j-1)，Ｘ_ij，Ｘ_i(j+1)，Ｘ_i(j+2)，Ｘ_(i+1)(j-2)，Ｘ_(i+1)(j-1)，Ｘ_(i+1)j，Ｘ_(i+1)(j+1)，Ｘ_(i+1)(j+2)，Ｘ_(i+2)(j-2)，Ｘ_(i+2)(j-1)，Ｘ_(i+2)j，Ｘ_(i+2)(j+1)，Ｘ_(i+2)(j+2)で構成される正方形状の予測値計算用ブロックを構成するようになされている。

具体的には、例えば、図７において四角形で囲む、元の画像における画素Ｙ₃₃（１）乃至Ｙ₃₃（９）の予測値の計算のためには、画素Ｘ₁₁，Ｘ₁₂，Ｘ₁₃，Ｘ₁₄，Ｘ₁₅，Ｘ₂₁，Ｘ₂₂，Ｘ₂₃，Ｘ₂₄，Ｘ₂₅，Ｘ₃₁，Ｘ₃₂，Ｘ₃₃，Ｘ₃₄，Ｘ₃₅，Ｘ₄₁，Ｘ₄₂，Ｘ₄₃，Ｘ₄₄，Ｘ₄₅，Ｘ₅₁，Ｘ₅₂，Ｘ₅₃，Ｘ₅₄，Ｘ₅₅により、予測値計算用ブロックが構成される。

予測値計算用ブロック化回路４２において得られた予測値計算用ブロックは、クラス分類適応処理回路４３に供給されるようになされている。

なお、予測値計算用ブロックについても、クラス分類用ブロックにおける場合と同様に、その画素数および形状は、上述したものに限定されるものではない。但し、予測値計算用ブロックを構成する画素数は、クラス分類用ブロックを構成する画素数よりも多くするのが望ましい。

また、上述のようなブロック化を行う場合において（ブロック化以外の処理についても同様）、画像の画枠付近では、対応する画素が存在しないことがあるが、この場合には、例えば、画枠を構成する画素と同一の画素が、その外側に存在するものとして処理を行う。

クラス分類適応処理４３は、クラス分類回路４５および適応処理４６で構成され、クラス分類適応処理を行うようになされている。

クラス分類適応処理とは、入力信号を、その特徴に基づいて幾つかのクラスに分類し、各クラスの入力信号に、そのクラスに適切な適応処理を施すもので、大きく、クラス分類処理と適応処理とに分かれている。

ここで、クラス分類処理および適応処理について簡単に説明する。

まず、クラス分類処理について説明する。

いま、例えば、図９（Ａ）に示すように、ある注目画素と、それに隣接する３つの画素により、２×２画素でなるブロック（クラス分類用ブロック）を構成し、また、各画素は、１ビットで表現される（０または１のうちのいずれかのレベルをとる）ものとする。この場合、２×２の４画素のブロックは、各画素のレベル分布により、図９（Ｂ）に示すように、１６（＝（２¹）⁴）パターンに分類することができる。このようなパターン分けが、クラス分類処理であり、クラス分類回路４５において行われる。

なお、クラス分類処理は、画像（ブロック内の画像）のアクティビティ（画像の複雑さ）（変化の激しさ）などをも考慮して行うようにすることが可能である。

ここで、通常、元の画素には、例えば８ビット程度が割り当てられる。また、本実施の形態においては、上述したように、クラス分類用ブロックは、５画素で構成される。従って、このようなクラス分類用ブロックを元の（８ビットの）画素で構成し、クラス分類処理を行ったのでは、（２⁸）⁵という膨大な数のクラスに分類されることになる。

一方、本実施の形態では、上述したように、レベル制限回路３１において、画素のビット数を小さくしており（８ビットから２ビットにしており）、これにより、クラス数を削減する（１０２４（＝（２²）⁵）にする）ことができる。

次に、適応処理について説明する。

例えば、いま、元の画像の画素値ｙの予測値Ｅ［ｙ］を、その周辺の幾つかの画素の画素値（以下、適宜、学習データという）ｘ₁，ｘ₂，・・・と、所定の予測係数ｗ₁，ｗ₂，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。

Ｅ［ｙ］＝ｗ₁ｘ₁＋ｗ₂ｘ₂＋・・・＋ｗ₂₅ｘ₂₅＋ｗ₀
・・・（１）
但し、ｗ₀は、本来８ビットのデータｘ_iを、その下位６ビットを削除して、２ビットのデータに変換したので、Ｅ［ｙ］を８ビットで表現するために加算される、その下位６ビットに対応する、いわばオフセットの項（オフセット係数）である。なお、オフセット係数ｗ₀は、予測係数ｗ₁，ｗ₂，・・・と同様に、予測値を求めるための係数であるから、以下、適宜、予測係数に含めて扱うこととする。但し、ここでは、説明を簡単にするために、オフセット係数ｗ₀を無視して、適応処理を説明する。

いま、予測係数ｗの集合でなる行列Ｗ、学習データの集合でなる行列Ｘ、および予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、

で定義すると、次のような観測方程式が成立する。

ＸＷ＝Ｙ’
・・・（２）

そして、この観測方程式に最小自乗法を適用して、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、元の画像の画素値（以下、適宜、教師データという）ｙの集合でなる行列Ｙ、および元の画像の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、

で定義すると、式（２）から、次のような残差方程式が成立する。

ＸＷ＝Ｙ＋Ｅ
・・・（３）

この場合、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗ_iは、自乗誤差

を最小にすることで求めることができる。

従って、上述の自乗誤差を予測係数ｗ_iで微分したものが０になる場合、即ち、次式を満たす予測係数ｗ_iが、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。

・・・（４）

そこで、まず、式（３）を、予測係数ｗ_iで微分することにより、次式が成立する。

・・・（５）

式（４）および（５）より、式（６）が得られる。

・・・（６）

さらに、式（３）の残差方程式における学習データｘ、予測係数ｗ、教師データｙ、および残差ｅの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。

・・・（７）

式（７）の正規方程式は、求めるべき予測係数ｗの数と同じ数だけたてることができ、従って、式（７）を解くことで、最適な予測係数ｗを求めることができる。式（７）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを適用することが可能である。

なお、以上の説明したことを、オフセット係数ｗ₀を含めた形に拡張することで、予測係数とともに、最適なオフセット係数ｗ₀も、あわせて求めることができる。

以上のようにして、クラスごとに、最適な予測係数ｗを求め、さらに、その予測係数ｗを用い、式（１）により、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理であり、この適応処理が、適応処理回路４６において行われるようになされている。

なお、適応処理は、間引かれた画像には含まれていない、元の画像に含まれる成分が再現される点で、補間処理とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同様であるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習により求められるため、元の画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造作用がある処理ということができる。

次に、図１０のフローチャートを参照して、図８のローカルデコード部２２の処理について説明する。

ローカルデコード部２２においては、まず最初に、ステップＳ２１において、圧縮部２１からの補正データがブロック化される。即ち、クラス分類用ブロック化回路４１において、補正データが、注目補正データを中心とした５画素で構成されるクラス分類用ブロックにブロック化され（図７）、クラス分類適応処理回路４３に供給されるとともに、予測値計算用ブロック化回路４２において、補正データが、注目補正データを中心とした５×５画素で構成される予測値計算用ブロックにブロック化され、クラス分類適応処理回路４３に供給される。

クラス分類適応処理回路４３には、上述したように、クラス分類用ブロックおよび予測値計算用ブロックの他、元の画像データが供給されるようになされており、クラス分類用ブロックはクラス分類回路４５に、予測値計算用ブロックおよび元の画像データは適応処理回路４６に供給されるようになされている。

クラス分類回路４５は、ステップＳ２２において、クラス分類用ブロックに対して、クラス分類処理を施す。即ち、クラス分類用ブロックを構成する各画素のレベル分布の状態を検出し、そのクラス分類用ブロックが属するクラス（そのクラス分類用ブロックを構成する注目補正データのクラス）を判定する。このクラスの判定結果は、クラス情報として、適応処理回路４６に供給される。

なお、本実施の形態においては、２ビットで表される５画素で構成されるクラス分類用ブロックに対して、クラス分類処理が施されるので、各クラス分類用ブロックは、１０２４（＝（２²）⁵）のクラスのうちのいずれかに分類されることになる。

そして、ステップＳ２３に進み、適応処理回路４６において、クラス分類回路４５からのクラス情報に基づいて、各クラスごとに適応処理が施され、これにより、クラスごとの予測係数および１フレーム分の元の画像データの予測値が算出される。

即ち、本実施の形態においては、例えば、クラスごとの２６×９の予測係数が、１フレームごとに、原画像と補正データから算出される。そして、ある１つの補正データに注目した場合に、その注目補正データに対応する原画像の画素と、その画素の周りに隣接する８個の原画像の画素の、合計９個の画素についての予測値が、注目補正データを中心とする５×５の２５画素でなる予測値計算用ブロックと、そのクラス情報に対応する２６×９個の予測係数とを用いて、式（１）の線形一次式が計算されることにより算出される。

具体的には、例えば、いま、図７に示した補正データＸ₃₃を中心とする５個の補正データＸ₂₃，Ｘ₃₂，Ｘ₃₃，Ｘ₃₄，Ｘ₄₃でなるクラス分類用ブロック（補正データＸ₃₃を注目補正データとするクラス分類用ブロック）についてのクラス情報Ｃが、クラス分類回路４５から出力され、また、そのクラス分類用ブロックに対応する予測値計算用ブロックとして、補正データＸ₃₃を中心とする５×５画素の補正データＸ₁₁，Ｘ₁₂，Ｘ₁₃，Ｘ₁₄，Ｘ₁₅，Ｘ₂₁，Ｘ₂₂，Ｘ₂₃，Ｘ₂₄，Ｘ₂₅，Ｘ₃₁，Ｘ₃₂，Ｘ₃₃，Ｘ₃₄，Ｘ₃₅，Ｘ₄₁，Ｘ₄₂，Ｘ₄₃，Ｘ₄₄，Ｘ₄₅，Ｘ₅₁，Ｘ₅₂，Ｘ₅₃，Ｘ₅₄，Ｘ₅₅でなる予測値計算用ブロック（補正データＸ₃₃を注目補正データとする予測値計算用ブロック）が、予測値計算用ブロック化回路４２から出力されたものとすると、まず、その予測値計算用ブロックを構成する補正データを、学習データとするとともに、元の画像における、補正データＸ₃₃を中心とする３×３画素（図７において四角形で囲んである部分）の画素値Ｙ₃₃（１）乃至Ｙ₃₃（９）を、教師データとして、式（７）に対応する正規方程式がたてられる。

さらに、所定期間としての、例えば、１フレームの中で、同一のクラス情報Ｃにクラス分類される他の予測値計算用ブロックについても同様にして、正規方程式がたてられ、画素値Ｙ₃₃（ｋ）（ここでは、ｋ＝１，２，・・・，９）の予測値Ｅ［Ｙ₃₃（ｋ）］を求めるための予測係数ｗ₁（ｋ）乃至ｗ₂₅（ｋ）（本実施の形態では、１つの予測値を求めるのに学習データが２５個用いられており、さらに、１個のオフセット係数が必要とされるので、それに対応して、予測係数ｗは２６個必要となる）を算出することができるだけの数の正規方程式が得られると（従って、そのような数の正規方程式が得られるまでは、ステップＳ２３では、正規方程式をたてる処理までが行われる）、その正規方程式を解くことで、クラス情報Ｃについて、画素値Ｙ₃₃（ｋ）の予測値Ｅ［Ｙ₃₃（ｋ）］を求めるのに最適な２６の予測係数（オフセット係数を含む）ｗ₀（ｋ）乃至ｗ₂₅（ｋ）が算出される（２５個の補正データを用いて、９個の予測値を求めるため、１クラスについての予測係数の数は、２５×９個に、９個の予測値に対応するだけのオフセット係数の数である９個を合わせた２６×９個となる）。

この処理は、各クラスごとに行われ、各クラスごとに２６×９個の予測係数が算出される。そして、クラス情報Ｃに対応する２６×９個の予測係数と、予測値計算用ブロックとを用い、式（１）に対応する次式にしたがって、予測値Ｅ［Ｙ₃₃（ｋ）］が求められる。

Ｅ［Ｙ₃₃（ｋ）］＝ｗ₁（ｋ）Ｘ₁₁＋ｗ₂（ｋ）Ｘ₁₂＋ｗ₃（ｋ）Ｘ₁₃
＋ｗ₄（ｋ）Ｘ₁₄＋ｗ₅（ｋ）Ｘ₁₅＋ｗ₆（ｋ）Ｘ₂₁
＋ｗ₇（ｋ）Ｘ₂₂＋ｗ₈（ｋ）Ｘ₂₃＋ｗ₉（ｋ）Ｘ₂₄
＋ｗ₁₀（ｋ）Ｘ₂₅＋ｗ₁₁（ｋ）Ｘ₃₁
＋ｗ₁₂（ｋ）Ｘ₃₂＋ｗ₁₃（ｋ）Ｘ₃₃
＋ｗ₁₄（ｋ）Ｘ₃₄＋ｗ₁₅（ｋ）Ｘ₃₅
＋ｗ₁₆（ｋ）Ｘ₄₁＋ｗ₁₇（ｋ）Ｘ₄₂
＋ｗ₁₈（ｋ）Ｘ₄₃＋ｗ₁₉（ｋ）Ｘ₄₄
＋ｗ₂₀（ｋ）Ｘ₄₅＋ｗ₂₁（ｋ）Ｘ₅₁
＋ｗ₂₂（ｋ）Ｘ₅₂＋ｗ₂₃（ｋ）Ｘ₅₃
＋ｗ₂₄（ｋ）Ｘ₅₄＋ｗ₂₅（ｋ）Ｘ₅₅
＋ｗ₀（ｋ）
・・・（８）

ステップＳ２３では、以上のようにして、２６×９の予測係数が、クラスごとに求められ、そのクラスごとの予測係数を用いて、注目補正データを中心とする３×３の原画像の画素の予測値が求められる。

その後、ステップＳ２４に進み、クラスごとの２６×９の予測係数は判定部２４に供給され、３×３画素単位で求められる１フレーム分の予測値は誤差算出部２３に供給される。そして、ステップＳ２１に戻り、以下同様の処理が、例えば、上述したように１フレーム単位で繰り返される。

次に、図１１は、図３の誤差算出部２３の構成例を示している。

ブロック化回路５１には、元の画像データが供給されるようになされており、そこでは、ブロック化回路５１は、その画像データを、ローカルデコード部２２から出力される予測値に対応する９個単位でブロック化し、その結果得られる３×３画素のブロック（例えば、図７に四角形で囲んで示すような３×３画素のブロック）を、自乗誤差算出回路５２に出力するようになされている。自乗誤差算出部５２には、上述したように、ブロック化回路５１からブロックが供給される他、ローカルデコード部２２から予測値が、９個単位（３×３画素のブロック単位）で供給されるようになされており、自乗誤差算出回路５２は、原画像に対する、予測値の予測誤差としての自乗誤差を算出し、積算部５５に供給するようになされている。

即ち、自乗誤差算出回路は５２は、演算器５３および５４で構成されている。演算器５３は、ブロック化回路５１からのブロック化された画像データそれぞれから、対応する予測値を減算し、その減算値を、演算器５４に供給するようになされている。演算器５４は、演算器５３の出力（元の画像データと予測値との差分）を自乗し、積算部５５に供給するようになされている。

積算部５５は、自乗誤差算出回路５２から自乗誤差を受信すると、メモリ５６の記憶値を読み出し、その記憶値と自乗誤差とを加算して、再び、メモリ５６に供給して記憶させることを繰り返すことで、自乗誤差の積算値（誤差分散）を求めるようになされている。さらに、積算部５５は、所定量（例えば、１フレーム分など）についての自乗誤差の積算が終了すると、その積算値を、メモリ５６から読み出し、誤差情報として、判定部２４に供給するようになされている。メモリ５６は、１フレームについての処理が終了するごとに、その記憶値をクリアしながら、積算部５５の出力値を記憶するようになされている。

次に、その動作について、図１２のフローチャートを参照して説明する。誤差算出部２３では、まず最初に、ステップＳ３１において、メモリ５６の記憶値が、例えば０にクリアされ、ステップＳ３２に進み、ブロック化回路５１において、画像データが、上述したようにブロック化され、その結果得られるブロックが、自乗誤差算出回路５２に供給される。自乗誤差算出回路５２では、ステップＳ３３において、ブロック化回路５１から供給されるブロックを構成する、元の画像の画像データと、ローカルデコード部２２から供給される予測値との自乗誤差が算出される。

即ち、ステップＳ３３では、演算器５３において、ブロック化回路５１より供給されたブロック化された画像データそれぞれから、対応する予測値が減算され、演算器５４に供給される。さらに、ステップＳ３３では、演算器５４において、演算器５３の出力が自乗され、積算部５５に供給される。

積算部５５は、自乗誤差算出回路５２から自乗誤差を受信すると、ステップＳ３４において、メモリ５６の記憶値を読み出し、その記憶値と自乗誤差とを加算することで、自乗誤差の積算値を求める。積算部５５において算出された自乗誤差の積算値は、メモリ５６に供給され、前回の記憶値に上書きされることで記憶される。

そして、積算部５５では、ステップＳ３５において、所定量としての、例えば、１フレーム分についての自乗誤差の積算が終了したかどうかが判定される。ステップＳ３５において、１フレーム分についての自乗誤差の積算が終了していないと判定された場合、ステップＳ３２に戻り、再び、ステップＳ３２からの処理を繰り返す。また、ステップＳ３５において、１フレーム分についての自乗誤差の積算が終了したと判定された場合、ステップＳ３６に進み、積算部５５は、メモリ５６に記憶された１フレーム分についての自乗誤差の積算値を読み出し、誤差情報として、判定部２４に出力する。そして、ステップＳ３１に戻り、次のフレームについて、再び、ステップＳ３１からの処理を繰り返す。

従って、誤差算出部２３では、元の画像データをＹ_ij（ｋ）とするとともに、その予測値をＥ［Ｙ_ij（ｋ）］とするとき、次式にしたがった演算が行われることで、誤差情報Ｑが算出される。

Ｑ＝Σ（Ｙ_ij（ｋ）−Ｅ［Ｙ_ij（ｋ）］）²
但し、Σは、１フレーム分についてのサメーションを意味する。

次に、図１３は、図３の判定部２４の構成例を示している。

予測係数メモリ６１は、ローカルデコード部２２から供給される予測係数を記憶するようになされている。補正データメモリ６２は、圧縮部２１から供給される補正データを記憶するようになされている。

なお、補正データメモリ６２は、圧縮部２１において、圧縮データが新たに補正され、これにより、新たな補正データが供給された場合には、既に記憶している補正データ（前回の補正データ）に代えて、新たな補正データを記憶するようになされている。また、このように補正データが、新たなものに更新されるタイミングで、ローカルデコード部２２からは、その新たな補正データに対応する、新たなクラスごとの予測係数のセットが出力されるが、予測係数メモリ６１においても、このように新たなクラスごとの予測係数が供給された場合には、既に記憶しているクラスごとの予測係数（前回のクラスごとの予測係数）に代えて、その新たなクラスごとの予測係数を記憶するようになされている。

誤差情報メモリ６３は、誤差算出部２３から供給される誤差情報を記憶するようになされている。なお、誤差情報メモリ６３は、誤差算出部２３から、今回供給された誤差情報の他に、前回供給された誤差情報も記憶するようになされている（新たな誤差情報が供給されても、さらに新たな誤差情報が供給されるまでは、既に記憶している誤差情報を保持するようになされている）。なお、誤差情報メモリ６３は、新たなフレームについての処理が開始されるごとにクリアされるようになされている。

比較回路６４は、誤差情報メモリ６３に記憶された今回の誤差情報と、所定の閾値εとを比較し、さらに、必要に応じて、今回の誤差情報と前回の誤差情報との比較も行うようになされている。比較回路６４における比較結果は、制御回路６５に供給されるようになされている。

制御回路６５は、比較回路６４における比較結果に基づいて、補正データメモリ６２に記憶された補正データを、元の画像の符号化結果とすることの適正（最適）さを判定し、最適でないと認識（判定）した場合には、新たな補正データの出力を要求する制御信号を、圧縮部２１（補正回路３２）（図５）に供給するようになされている。また、制御回路６５は、補正データメモリ６２に記憶された補正データを、元の画像の符号化結果とすることが最適であると認識した場合には、予測係数メモリ６１に記憶されているクラスごとの予測係数を読み出し、多重化部２５に出力するとともに、補正データメモリ６２に記憶されている補正データを読み出し、最適圧縮データとして、やはり多重化部２５に供給するようになされている。さらに、この場合、制御回路６５は、１フレームの画像についての符号化を終了した旨を表す制御信号を、圧縮部２１に出力し、これにより、上述したように、圧縮部２１に、次のフレームについての処理を開始させるようになされている。

次に、図１４を参照して、判定部２４の動作について説明する。判定部２４では、まず最初に、ステップＳ４１において、誤差算出部２３から誤差情報を受信したかどうかが、比較回路６４によって判定され、誤差情報を受信していないと判定された場合、ステップＳ４１に戻る。また、ステップＳ４１において、誤差情報を受信したと判定された場合、即ち、誤差情報メモリ６３に誤差情報が記憶された場合、ステップＳ４２に進み、比較回路６４において、誤差情報メモリ６３に、いま記憶された誤差情報（今回の誤差情報）と、所定の閾値εとが比較され、いずれが大きいかが判定される。

ステップＳ４２において、今回の誤差情報が、所定の閾値ε以上であると判定された場合、比較回路６４において、誤差情報メモリ６３に記憶されている前回の誤差情報が読み出される。そして、比較回路６４は、ステップＳ４３において、前回の誤差情報と、今回の誤差情報とを比較し、いずれが大きいかを判定する。

ここで、１フレームについての処理が開始され、最初に誤差情報が供給されたときには、誤差情報メモリ６３には、前回の誤差情報は記憶されていないので、この場合には、判定部２４においては、ステップＳ４３以降の処理は行われず、制御回路６５において、所定の初期アドレス（補正値ＲＯＭ３３（図５）において、補正値の初期値が記憶されているアドレス）を出力するように、補正回路３２（図５）を制御する制御信号が出力されるようになされている。

ステップＳ４３において、今回の誤差情報が、前回の誤差情報以下であると判定された場合、即ち、圧縮データの補正を行うことにより誤差情報が減少した場合、ステップＳ４４に進み、制御回路６５は、補正値△を、前回と同様に変化させるように指示する制御信号を、補正回路３２に出力し、ステップＳ４１に戻る。また、ステップＳ４３において、今回の誤差情報が、前回の誤差情報より大きいと判定された場合、即ち、圧縮データの補正を行うことにより誤差情報が増加した場合、ステップＳ４５に進み、制御回路６５は、補正値△を、前回と逆に変化させるように指示する制御信号を、補正回路３２に出力し、ステップＳ４１に戻る。

なお、減少し続けていた誤差情報が、あるタイミングで上昇するようになったときは、制御回路６５は、補正値△を、いままでの場合の、例えば１／２の大きさで、前回と逆に変化させるように指示する制御信号を出力するようになされている。

そして、ステップＳ４１乃至Ｓ４５の処理を繰り返すことにより、誤差情報が減少し、これにより、ステップＳ４２において、今回の誤差情報が、所定の閾値εより小さいと判定された場合、ステップＳ４６に進み、制御回路６５は、予測係数メモリ６１に記憶されているクラスごとの予測係数を読み出すとともに、補正データメモリ６２に記憶されている１フレーム分の補正データを最適圧縮データとして読み出し、多重化部２５に供給して、処理を終了する。

その後は、次のフレームについての誤差情報が供給されるのを待って、再び、図１４に示すフローチャートにしたがった処理を繰り返す。

なお、補正回路３２には、圧縮データの補正は、１フレームすべての圧縮データについて行わせるようにすることもできるし、その一部の圧縮データについてだけ行わせるようにすることもできる。一部の圧縮データについてだけ補正を行う場合においては、制御回路６５に、例えば、誤差情報に対する影響の強い画素を検出させ、そのような画素についての圧縮データだけを補正するようにすることができる。誤差情報に対する影響の強い画素は、例えば、次のようにして検出することができる。即ち、まず最初に、間引き後に残った画素のレベル制御した圧縮データをそのまま用いて処理を行うことにより、その誤差情報を得る。そして、その圧縮データを、１つずつ、同一の補正値△だけ補正するような処理を行わせる制御信号を、制御回路６５から補正回路３２に出力し、その結果得られる誤差情報を、圧縮データをそのまま用いた場合に得られた誤差情報と比較し、その差が、所定値以上となる画素を、誤差情報に対する影響の強い画素として検出すれば良い。

以上のように、誤差情報を所定の閾値εより小さくする（以下にする）まで、圧縮データの補正が繰り返され、誤差情報が所定の閾値εより小さくなったときにおける補正データが、画像の符号化結果として出力されるので、受信装置４（図１）においては、間引き後の画像を構成する画素の画素値を、元の画像を復元するのに最も適当な値にした補正データから、原画像と同一（ほぼ同一）の復号画像（高画質の復号画像）を得ることが可能となる。

また、画像は、間引き処理により圧縮される他、レベル制限処理およびクラス分類適応処理などによっても圧縮されるため、非常に高圧縮率の符号化データを得ることができる。なお、送信装置１における、以上のような符号化処理は、間引きによる圧縮処理と、クラス分類適応処理とを、いわば有機的に統合して用いることにより、高能率圧縮を実現するものであり、このことから統合符号化処理ということができる。

次に、図１５は、図１の受信装置４の構成例を示している。

受信機／再生装置７１においては、記録媒体２に記録された符号化データが再生され、または伝送路３を介して伝送されてくる符号化データが受信され、分離部７２に供給される。分離部７２では、符号化データから、１フレーム分の補正データとクラスごとの予測係数が順次分離され、１フレーム分の補正データは、クラス分類用ブロック化回路７３および予測値計算用ブロック化回路７７に供給され、クラスごとの予測係数は、予測回路７６に供給されて、その内蔵するメモリ７６Ａに記憶される。

クラス分類用ブロック化回路７３、クラス分類回路７５、または予測値計算用ブロック化回路７７は、図８におけるクラス分類用ブロック化回路４１、クラス分類回路４５、または予測値計算用ブロック化回路４２それぞれと同様に構成されており、従って、これらのブロックにおいては、図８における場合と同様の処理が行われ、これにより、予測値計算用ブロック化回路７７からは予測値計算用ブロックが出力され、また、クラス分類回路７５からはクラス情報が出力される。これらの予測値計算用ブロックおよびクラス情報は、予測回路７６に供給される。

予測回路７６では、クラス情報に対応した予測係数が、その内蔵するメモリ７６Ａに記憶されたクラスごとの予測係数の中から読み出され、その予測係数と、予測値計算用ブロック化回路７７から供給される予測値計算用ブロックを構成する補正データとを用い、式（１）にしたがって予測値が算出され、そのような予測値で構成される１フレームの画像が、復号画像として出力される。この復号画像は、上述したように、元の画像とほぼ同一の画像となる。

なお、受信側においては、図１５に示すような受信装置４でなくても、間引きされた画像を単純な補間により復号する装置により、予測係数を用いずに、通常の補間を行うことで復号画像を得ることができる。但し、この場合に得られる復号画像は、画質（解像度）の劣化したものとなる。

ところで、上述の場合おいては、図３のローカルデコード部２２において予測係数を求め、これを用いて、予測値を算出するようにしたが、予測値は、予測係数を求めずに（あらかじめ学習により求めておいた予測係数を用いて）算出するようにすることが可能である。

即ち、図１６は、図２の送信装置１の第２の機能的構成例を示している。なお、図中、図３における場合と対応する部分については、同一の符号を付してある。即ち、この送信装置１は、ローカルデコード部２２に代えて、ローカルデコード部１０２２が設けられている他は、図３における場合と同様に構成されている。

但し、図３においては、ローカルデコード部２２に原画像データが供給されるようになされていたが、図１６においては、ローカルデコード部１０２２には、原画像データが供給されないようになっている。

図１７は、図１６のローカルデコード部１０２２の構成例を示している。なお、図中、図８における場合と対応する部分については、同一の符号を付してある。即ち、ローカルデコード部１０２２は、適応処理回路４６に代えて、予測係数ＲＯＭ８１および予測回路８２が設けられている他は、図８におけるローカルデコード部２２と同様に構成されている。

予測係数ＲＯＭ８１は、あらかじめ学習（後述する）を行うことにより求められたクラスごとの２６×９の予測係数を記憶しており、クラス分類回路４５が出力するクラス情報を受信し、そのクラス情報に対応するアドレスに記憶されている予測係数を読み出して、予測回路８２に供給する。

予測回路８２では、予測値計算用ブロック化回路４２からの５×５画素の予測値計算用ブロックと、予測係数ＲＯＭ８１からの２６×９の予測係数とを用いて、式（１）（具体的には、例えば、式（８））に示した線形１次式が計算され、これにより、元の画像の３×３画素の予測値が算出される。

従って、図１７のクラス分類適応処理回路４３によれば、元の画像（原画像）を用いずに、その予測値が算出される。このため、上述したように、ローカルデコード部１０２２には、原画像が供給されないようになっている（供給する必要がないため、供給しないようになっている）。

次に、図１８のフローチャートを参照して、図１７のローカルデコード部１０２２の処理についてさらに説明する。

ローカルデコード部１０２２においては、まず最初に、ステップＳ１０２１，Ｓ１０２２において、図１０のステップＳ２１，Ｓ２２における場合とそれぞれ同様の処理が行われ、これにより、クラス分類回路４５からは、クラス情報が出力される。このクラス情報は、予測係数ＲＯＭ８１に供給される。また、予測値計算用ブロック化回路４２からは、予測値計算用ブロックが出力され、予測回路８２に供給される。

予測係数ＲＯＭ８１は、クラス情報を受信すると、ステップＳ１０２３において、そのクラス情報に対応する２６×９の予測係数を、記憶しているクラスごとの予測係数の中から読み出し、予測回路８２に供給する。

予測回路８２には、予測係数ＲＯＭ８１から２６×９の予測係数が供給される他、上述したように、予測値計算用ブロック化回路４２から５×５画素の予測値計算用ブロックも供給される。そして、予測回路８２では、ステップＳ１０２４において、予測係数ＲＯＭ８１からの２６×９の予測係数と、予測値計算用ブロック化回路４２からの５×５画素の予測値計算用ブロックとを用いて適応処理が行われることにより、即ち、具体的には、式（１）（または式（８））にしたがった演算が行われることにより、注目補正データ（ここでは、予測値計算用ブロックの中心にある画素）を中心とする３×３の原画像の画素の予測値が求められる。

その後、例えば、１フレーム分の予測値が求められると、ステップＳ１０２５に進み、予測係数ＲＯＭ８１に記憶されたクラスごとの２６×９の予測係数が読み出され、判定部２４に供給されるとともに、ステップＳ１０２４で求められた予測値が誤差算出部２３に供給される。そして、ステップＳ１０２１に戻り、以下同様の処理が、例えば、１フレーム単位で繰り返される。

なお、この実施の形態では、クラスごとの予測係数は、予測係数ＲＯＭ８１に記憶されたものが使用され、従って、その値は変化しないから、ステップＳ１０２５において、クラスごとの予測係数を、判定部２４に一度供給した後は、基本的に、再度供給する必要はない。

また、送信装置１が、図１６に示したように構成される場合においても、受信装置４は、図１５に示したように構成することで、原画像とほぼ同一の復号画像を得ることができる。

次に、図１９は、図１７の予測係数ＲＯＭ８１に記憶されている予測係数を得るための学習を行う画像処理装置の構成例を示している。

学習用ブロック化回路９１および教師用ブロック化回路９２には、あらゆる画像に適用可能な予測係数を得るための（従って、間引き処理される前の）学習用の画像データ（学習用画像）が供給されるようになされている。

学習用ブロック化回路９１は、入力される画像データから、注目画素を中心とする、例えば、図７に●印で示した位置関係の２５画素（５×５画素）を抽出し（この場合における注目画素は、Ｘ₃₃）、この２５画素で構成されるブロックを、学習用ブロックとして、レベル制限回路９３に供給する。レベル制限回路９３は、入力された画素データのレベルを制限し、クラス分類回路９４と学習用データメモリ９６に出力する。

また、教師用ブロック化回路９２では、入力される画像データから、注目画素を中心とする、例えば、３×３の９画素で構成されるブロックが生成され、この９画素で構成されるブロックが、教師用ブロックとして、教師データメモリ９８に供給される。

なお、学習用ブロック化回路９１において、例えば、図７に●印で示した位置関係の２５画素で構成される学習用ブロックが生成されるとき、教師用ブロック化回路９２では、同図に四角形で囲んで示す３×３画素の教師用ブロックが生成されるようになされている。

クラス分類回路９４では、学習用ブロックを構成する２５画素から、その中心の９画素（３×３画素）が抽出され、この９画素でなるブロックに対して、クラス分類を施される。そして、それにより得られるクラス情報が、スイッチ９５の端子ａを介して、学習データメモリ９６および教師データメモリ９８に供給される。

学習データメモリ９６または教師データメモリ９８では、そこに供給されるクラス情報に対応するアドレス（ＡＤ）に、レベル制限回路９３からの学習用ブロックまたは教師用ブロック化回路９２からの教師用ブロックが、それぞれ記憶される。

従って、学習データメモリ９６において、例えば、図７に●印で示した５×５画素でなるブロックが学習用ブロックとして、あるアドレスに記憶されたとすると、教師データメモリ９８においては、そのアドレスと同一のアドレスに、同図において、四角形で囲んで示す３×３画素のブロックが、教師用ブロックとして記憶される。

以下、同様の処理が、あらかじめ用意されたすべての学習用の画像について繰り返され、これにより、学習用ブロックと、図１７のローカルデコード部１０２２において、その学習用ブロックを構成する２５画素と同一の位置関係を有する２５の補正データで構成される予測値計算用ブロックを用いて予測値が求められる９画素で構成される教師用ブロックとが、学習用データメモリ９６と、教師用データメモリ９８とにおいて、同一のアドレスに記憶される。

なお、学習用データメモリ９６と教師用データメモリ９８においては、同一アドレスに複数の情報を記憶することができるようになされており、これにより、同一アドレスには、複数の学習用ブロックと教師用ブロックを記憶することができるようになされている。

学習用画像すべてについての学習用ブロックと教師用ブロックとが、学習データメモリ９６と教師データメモリ９８に記憶されると、端子ａを選択していたスイッチ９５が、端子ｂに切り替わり、これにより、カウンタ９７の出力が、アドレスとして、学習データメモリ９６および教師データメモリ９８に供給される。カウンタ９７は、所定のクロックをカウントし、そのカウント値を出力しており、学習データメモリ９６または教師データメモリ９８では、そのカウント値に対応するアドレスに記憶された学習用ブロックまたは教師用ブロックが読み出され、演算回路９９に供給される。

従って、演算回路９９には、カウンタ９７のカウント値に対応するクラスの学習用ブロックのセットと、教師用ブロックのセットとが供給される。

演算回路９９は、あるクラスについての学習用ブロックのセットと、教師用ブロックのセットとを受信すると、それらを用いて、例えば、最小自乗法により、誤差を最小とする予測係数を算出する。

即ち、例えば、いま、学習用ブロックを構成する画素の画素値を、ｘ₁，ｘ₂，ｘ₃，・・・とし、求めるべき予測係数をｗ₀，ｗ₁，ｗ₂，ｗ₃，・・・とするとき、これらの線形１次結合により、教師用ブロックを構成する、ある画素の画素値ｙを求めるには、予測係数ｗ₀，ｗ₁，ｗ₂，ｗ₃，・・・は、式（１）に対応する次式を満たす必要がある。

ｙ＝ｗ₁ｘ₁＋ｗ₂ｘ₂＋ｗ₃ｘ₃＋・・・＋ｗ₀

そこで、演算回路９９では、同一クラスの学習用ブロックと、対応する教師用ブロックとから、真値ｙに対する、予測値ｗ₁ｘ₁＋ｗ₂ｘ₂＋ｗ₃ｘ₃＋・・・＋ｗ₀の自乗誤差を最小とする予測係数ｗ₁，ｗ₂，ｗ₃，・・・，ｗ₀が、上述した式（７）に対応する正規方程式をたてて解くことにより求められる。

演算回路９９において求められた、クラスごとの予測係数は、メモリ１００に供給される。メモリ１００には、演算回路９９からの予測係数の他、カウンタ９７からカウント値が供給されており、これにより、メモリ１００においては、演算回路９９からの予測係数が、カウンタ９７からのカウント値に対応するアドレスに記憶される。

以上のようにして、メモリ１００には、各クラスに対応するアドレスに、そのクラスのブロックの画素を予測するのに最適な予測係数が記憶される。

図１７の予測係数ＲＯＭ８１には、以上のようにしてメモリ１００に記憶された予測係数が記憶されている。

次に、図２０は、図２の送信装置１の第３の機能的構成例を示している。なお、図中、図３における場合と対応する部分については、同一の符号を付してある。即ち、この送信装置１は、ローカルデコード部２２または判定部２４に代えて、ローカルデコード部２０２２または判定部２０２４がそれぞれ設けられているとともに、多重化部２５が設けられていない他は、図３における場合と同様に構成されている。

但し、この場合も、図１６における場合と同様に、ローカルデコード部２０２２には、原画像データが供給されないようになっている。さらに、図２０の実施の形態では、ローカルデコード部２０２２は、予測係数を判定部２０２４に出力しないようになっている。

次に、図２１のフローチャートを参照して、その動作について説明する。

圧縮部２１に対して、画像データが供給されると、圧縮部２１は、ステップＳ１００１において、その画像データを間引くことにより圧縮し、さらに、ステップＳ１００２において、そのレベルを制限し、最初は、補正を行わずに、ローカルデコード部２０２２および判定部２０２４に出力する。ローカルデコード部２０２２では、ステップＳ１００３において、圧縮部２１からの補正データ（最初は、上述したように、画像データを、単純に間引いた圧縮データのレベルを制限しただけのもの）がローカルデコードされる。

即ち、ステップＳ１００３では、圧縮部２１からの補正データが、例えば、図１７に示したローカルデコード部１０２２における場合と同様にして、ローカルデコードされ、これにより、原画像の予測値が算出される。この予測値は、誤差算出部２３に供給される。

誤差算出部２３では、ステップＳ１００４において、図４のステップＳ４における場合と同様にして、予測誤差が算出され、誤差情報として、判定部２０２４に供給される。判定部２０２４は、誤差算出部２３から誤差情報を受信すると、ステップＳ１００５において、図４のステップＳ４における場合と同様に、誤差算出部２３からの誤差情報が所定の閾値ε以下であるかどうかを判定する。ステップＳ１００５において、誤差情報が所定の閾値ε以下でないと判定された場合、ステップＳ１００６に進み、判定部２０２４は、圧縮部２１を制御し、これにより、圧縮データのレベルを制限したものを補正させる。そして、圧縮部２１において、圧縮データが補正され、新たな補正データが出力されるのを待って、ステップＳ１００３に戻る。

一方、ステップＳ１００５において、誤差情報が所定の閾値ε以下であると判定された場合、判定部２０２４は、ステップＳ１００７に進み、所定の閾値ε以下の誤差情報が得られたときの補正データを、最適圧縮データとして、送信機／記録装置１６（図２）に出力し、処理を終了する。

従って、ここでは、クラスごとの予測係数は出力されない。

次に、図２２は、図２０のローカルデコード部２０２２の構成例を示している。なお、図中、図１７における場合と対応する部分については、同一の符号を付してある。即ち、ローカルデコード部２０２２は、基本的に図１７におけるローカルデコード部１０２２と同様に構成されている。

但し、図１７においては、予測係数ＲＯＭ８１がそこに記憶されているクラスごとの予測係数を、判定部２４に供給するようになっていたが、図２２では、予測係数ＲＯＭ８１は、クラスごとの予測係数を、判定部２４に供給しないようになっている。

次に、図２３のフローチャートを参照して、その動作について説明する。

ローカルデコード部２０２２では、ステップＳ２０２１乃至Ｓ２０２４において、図１８のステップＳ１０２１乃至１０２４における場合とそれぞれ同様の処理が行われる。そして、ステップＳ２０２５において、ステップＳ２０２４で求められた予測値のみが、誤差算出部２３に供給され（予測係数は、判定部２０２４に供給されない）、ステップＳ２０２１に戻り、以下、同様の処理が、例えば、１フレーム単位で繰り返される。

次に、図２４は、図２０の判定部２０２４の構成例を示している。なお、図中、図１３における場合と対応する部分については、同一の符号を付してある。即ち、上述したように、ローカルデコード部２０２２からは予測係数が供給されないため、判定部２０２４には、その予測係数を記憶するための予測係数メモリ６１が設けられておらず、そのことを除けば、基本的に、図１３の判定部２４と同様に構成されている。

次に、図２５のフローチャートを参照して、その動作について説明する。

判定部２０２４では、ステップＳ２０４１乃至２０４５において、図１４のステップＳ４１乃至Ｓ４５における場合とそれぞれ同様の処理が行われ、これにより、誤差情報が減少するように、圧縮部２１が制御される。

そして、ステップＳ２０４１乃至Ｓ２０４５の処理を繰り返すことにより、誤差情報が減少し、これにより、ステップＳ２０４２において、今回の誤差情報が、所定の閾値εより小さいと判定された場合、ステップＳ２０４６に進み、制御回路６５は、補正データメモリ６２に記憶されている１フレームの補正データを、最適圧縮データとして読み出し、送信機／記録装置１６に供給して、処理を終了する。

その後は、次のフレームについての誤差情報が供給されるのを待って、再び、同様の処理を繰り返す。

次に、図２６は、送信装置１が図２０に示したように構成される場合の受信装置４の構成例を示している。なお、図中、図１５における場合と対応する部分については、同一の符号を付してある。即ち、図２６の受信装置４は、クラス分類回路７５と予測回路７６との間に予測係数ＲＯＭ７８が新たに設けられている他は、図１５における場合と基本的に同様に構成されている。

送信装置１が図２０に示したように構成される場合、上述したことから、受信機／再生装置７１が出力する符号化データには、クラスごとの予測係数は含まれておらず、このため、分離部７２では、符号化データから、補正データ（最適圧縮データ）だけが抽出され、クラス分類用ブロック化回路７３および予測値計算用ブロック化回路７７に供給される。

クラス分類用ブロック化回路７３、クラス分類回路７５、または予測値計算用ブロック化回路７７では、図８におけるクラス分類用ブロック化回路４１、クラス分類回路４５、または予測値計算用ブロック化回路４２それぞれと同様の処理が行われ、これにより、予測値計算用ブロック化回路７７からは５×５画素の予測値計算用ブロックが出力され、また、クラス分類回路７５からはクラス情報が出力される。予測値計算用ブロックは予測回路７６に供給され、クラス情報は予測係数ＲＯＭ７８に供給される。

予測係数ＲＯＭ７８には、図２２の予測係数ＲＯＭ８１に記憶されているクラスごとの予測係数と同一のものが記憶されており、クラス分類回路７５からクラス情報が供給されると、そのクラス情報に対応した２６×９の予測係数が読み出され、予測回路７６に供給される。

予測回路７６は、予測係数ＲＯＭ７８からの２６×９の予測係数と、予測値計算用ブロック化回路７７から供給される５×５画素の予測値計算用ブロックを構成する補正データとを用い、式（１）にしたがって、原画像の３×３画素の予測値を算出し、そのような予測値で構成される１フレームの画像を、復号画像として出力する。

送信装置１が図２０に示したように構成されるとともに、受信装置４が図２６に示したように構成される場合、クラスごとの２６×９の予測係数を送受信せずに済むので、その分だけ、伝送容量または記録容量を低減することができる。

なお、予測係数ＲＯＭ７８や８１には、クラスごとの予測係数を記憶させるのではなく、教師用ブロックを構成する画素値の平均値などを、クラスごとに記憶させるようにすることが可能である。この場合、クラス情報が与えられると、そのクラスに対応する画素値が出力されることになり、図１７や図２２のローカルデコード部１０２２や２０２２において、予測値計算用ブロック化回路４２および予測回路８２を設けずに済むようになる。また、図２６の受信装置４においても同様に、予測値計算用ブロック化回路７７および予測回路７６を設けずに済むようになる。

なお、上述の場合には、誤差情報が、所定の閾値ε以下になるまで、圧縮データの補正を繰り返し行うようにしたが、圧縮データの補正の回数には、上限を設けるようにすることも可能である。即ち、例えば、リアルタイムで画像の伝送を行う場合などにおいては、１フレームについての処理が、所定の期間内に終了することが必要であるが、誤差情報は、そのような所定の期間内に収束するとは限らない。そこで、補正の回数に上限を設けることにより、所定の期間内に、誤差情報が閾値ε以下に収束しないときは、そのフレームについての処理を終了し（そのときにおける補正データを、符号化結果とし）、次のフレームについての処理を開始するようにすることが可能である。

また、上述の場合には、圧縮部２１において、画像を、単純に間引き、即ち、３×３画素のブロックにおける中心画素を抽出し、これを圧縮データとするようにしたが、圧縮部２１には、その他、例えば、ブロックを構成する９画素の平均値などを求めさせ、その平均値を、ブロックにおける中心画素の画素値とすることにより、その画素数を少なくし（間引き）、これを圧縮データとするようにすることも可能である。

次に、図２７は、図２の送信装置１の第４の機能的構成例を示している。

ブロック化回路１１１には、符号化すべき画像データが入力されるようになされており、ブロック化回路１１１は、画像データを、その性質に応じて所定のクラスに分類するための単位である、注目画素を中心としたクラス分類用ブロックにブロック化し、ＡＤＲＣ（Adaptive Dynamic Range Coding）処理回路１１２および遅延回路１１５に供給するようになされている。

ＡＤＲＣ処理回路１１２は、ブロック化回路１１１からのブロック（クラス分類用ブロック）に対してＡＤＲＣ処理を施し、その結果得られるＡＤＲＣコードで構成されるブロックを、クラス分類回路１１３に供給するようになされている。

ここで、ＡＤＲＣ処理よれば、クラス分類用ブロックを構成する画素のビット数が低減されるようになされている。

即ち、例えば、いま、説明を簡単にするため、図２８（Ａ）に示すように、直線上に並んだ４画素で構成されるブロックを考えると、ＡＤＲＣ処理においては、その画素値の最大値ＭＡＸと最小値ＭＩＮが検出される。そして、ＤＲ＝ＭＡＸ−ＭＩＮを、ブロックの局所的なダイナミックレンジとし、このダイナミックレンジＤＲに基づいて、ブロックを構成する画素の画素値がＫビットに再量子化される。

即ち、ブロック内の各画素値から、最小値ＭＩＮを減算し、その減算値をＤＲ／２^Kで除算する。そして、その結果得られる除算値に対応するコード（ＡＤＲＣコード）に変換される。具体的には、例えば、Ｋ＝２とした場合、図２８（Ｂ）に示すように、除算値が、ダイナミックレンジＤＲを４（＝２²）等分して得られるいずれの範囲に属するかが判定され、除算値が、最も下のレベルの範囲、下から２番目のレベルの範囲、下から３番目のレベルの範囲、または最も上のレベルの範囲に属する場合には、それぞれ、例えば、００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂなどの２ビットにコード化される（Ｂは２進数であることを表す）。そして、復号側においては、ＡＤＲＣコード００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂは、ダイナミックレンジＤＲを４等分して得られる最も下のレベルの範囲の中心値Ｌ₀₀、下から２番目のレベルの範囲の中心値Ｌ₀₁、下から３番目のレベルの範囲の中心値Ｌ₁₀、または最も上のレベルの範囲の中心値Ｌ₁₁にそれぞれ変換され、その値に、最小値ＭＩＮが加算されることで復号が行われる。

ここで、このようなＡＤＲＣ処理はノンエッジマッチングと呼ばれる。

なお、ＡＤＲＣ処理については、本件出願人が先に出願した、例えば、特開平３−５３７７８号公報などに、その詳細が開示されている。

以上のようなＡＤＲＣ処理によれば、ブロックを構成する画素に割り当てられているビット数より少ないビット数で再量子化を行うことにより、そのビット数を低減することができる。

図２７に戻り、クラス分類回路１１３は、ＡＤＲＣ処理回路１１２からのブロックを、その性質に応じて所定のクラスに分類するクラス分類処理を行い、そのブロックがいずれのクラスに属するかを、クラス情報として、マッピング係数メモリ１１４に供給するようになされている。

ここで、符号化すべき画像データに、例えば８ビットが割り当てられている場合において、クラス分類用ブロックが、例えば、注目画素を中心とした３×３の９画素で構成されるときに、そのようなクラス分類用ブロックを対象にクラス分類処理を行ったのでは、（２⁸）⁹という膨大な数のクラスに分類されることになる。

そこで、上述したように、ＡＤＲＣ処理回路１１２において、クラス分類用ブロックに対して、ＡＤＲＣ処理が施されるようになされており、これにより、クラス分類用ブロックを構成する画素のビット数を低減し、さらに、クラス数も削減するようになされている。即ち、ＡＤＲＣ処理回路１１２において、例えば１ビットのＡＤＲＣ処理が行われるとした場合には、クラス数は、（２⁸）⁹から（２¹）⁹、即ち、５１２に低減される。

なお、本実施の形態では、クラス分類回路１１３において、ＡＤＲＣ処理回路１１２から出力されるＡＤＲＣコードに基づいて、クラス分類処理が行われるが、クラス分類処理は、その他、例えば、ＤＰＣＭ（予測符号化）や、ＢＴＣ（Block Truncation Coding）、ＶＱ（ベクトル量子化）、ＤＣＴ（離散コサイン変換）、アダマール変換などを施したデータを対象に行うようにすることも可能である。

再び、図２７に戻り、マッピング係数メモリ１１４は、後述するような学習（マッピング係数学習）により得られるクラスごとのマッピング係数を記憶しており、クラス分類回路１１３から供給されるクラス情報に対応するマッピング係数を読み出し、演算回路１１６に供給するようになされている。

遅延回路１１５は、ブロック化回路１１１から供給されるブロックを、そのブロックのクラス情報に対応するマッピング係数が、マッピング係数メモリ１１４から読み出されるまで遅延し、演算回路１１６に供給するようになされている。

演算回路１１６は、遅延回路１１５から供給されるブロックを構成する画素の画素値と、マッピング係数メモリ１１４から供給される、そのブロックのクラスに対応するマッピング係数とを用いて所定の演算を行うことにより、画像を、その画素数を間引いて（少なくして）符号化した符号化データを算出するようになされている。即ち、演算回路１１６は、ブロック化回路１１１が出力するブロックを構成する各画素の画素値をｙ₁，ｙ₂，・・・とするとともに、マッピング係数メモリ１１４が出力する、そのブロックのクラスに対応するマッピング係数をｋ₁，ｋ₂，・・・とするとき、それらを引数とする所定の関数値ｆ（ｙ₁，ｙ₂，・・・，ｋ₁，ｋ₂，・・・）を演算し、その関数値ｆ（ｙ₁，ｙ₂，・・・，ｋ₁，ｋ₂，・・・）を、ブロック化回路１１１が出力するブロック（クラス分類用ブロック）を構成する画素のうちの、例えば中心の画素の画素値として出力するようになされている。

従って、ブロック化回路１１１が出力するクラス分類用ブロックを構成する画素数をＮ画素とすると、演算回路１１６は、画像データを１／Ｎに間引き、これを、符号化データとして出力するようになされている。

なお、演算回路１１６が出力する符号化データは、Ｎ画素で構成されるブロックの中心の１個の画素を選択して出力するような、いわば単純な間引き処理により得られるものではなく、上述したように、そのブロックを構成するＮ画素により規定される関数値ｆ（ｙ₁，ｙ₂，・・・，ｋ₁，ｋ₂，・・・）であるが、この関数値ｆ（ｙ₁，ｙ₂，・・・，ｋ₁，ｋ₂，・・・）は、見方を変えれば、単純な間引き処理により得られる、ブロックの中心の画素の画素値を、その周辺の画素値に基づいて補正したものと考えることができる。そこで、マッピング係数と、ブロックを構成する画素との演算の結果得られるデータである符号化データを、以下、適宜、補正データともいう。

また、演算回路１１６における演算処理は、ブロック化回路１１１が出力するクラス分類用ブロックを構成する各画素の画素値を、関数値ｆ（ｙ₁，ｙ₂，・・・，ｋ₁，ｋ₂，・・・）にマッピング（写像）する処理とも考えることができる。そこで、そのような処理に用いられる係数ｋ₁，ｋ₂，・・・をマッピング係数と呼んでいる。

送信機／記録装置１１８は、演算回路１１６から符号化データとして供給される補正データを、記録媒体２に記録し、または伝送路３を介して伝送するようになされている。

次に、図２９のフローチャートを参照して、その動作について説明する。

ブロック化回路１１１には、例えば、１フレーム（フィールド）単位で画像データが供給されるようになされており、ブロック化回路１１１では、ステップＳ６１において、１フレームの画像が、クラス分類用ブロックにブロック化される。即ち、ブロック化回路１１１は、例えば、図７に四角形で囲んで示すように、画像データを、注目画素を中心とした３×３（横×縦）の９画素でなるクラス分類用ブロックに分割し、ＡＤＲＣ処理回路１１２および遅延回路１１５に、順次供給する。

なお、この場合、クラス分類用ブロックは、３×３画素でなる正方形状のブロックで構成されることとなるが、クラス分類用ブロックの形状は、正方形である必要はなく、その他、例えば、長方形や、十文字形、その他の任意な形とすることが可能である。また、クラス分類用ブロックを構成する画素数も、３×３の９画素に限定されるものではない。さらに、クラス分類用ブロックは、隣接する画素どうしで構成するのではなく、離れた画素どうしで構成するようにすることも可能である。但し、その形状および画素数は、後述する学習（マッピング係数学習）時における場合のものと一致している必要がある。

ＡＤＲＣ処理回路１１２は、ブロック化回路１１１からクラス分類用ブロックを受信すると、ステップＳ６２において、そのブロックに対して、例えば、１ビットのＡＤＲＣ処理を施し、これにより、１ビットで表現される画素で構成されるブロックとする。ＡＤＲＣ処理の施されたクラス分類用ブロックは、クラス分類回路１１３に供給される。

クラス分類回路１１３では、ステップＳ６３において、ＡＤＲＣ処理回路１１２からのクラス分類用ブロックがクラス分類され、その結果得られるクラス情報が、マッピング係数メモリ１１４に、アドレスとして供給される。これにより、マッピング係数メモリ１１４からは、クラス分類回路１１３より供給されたクラス情報に対応するマッピング係数が読み出され、演算回路１１６に供給される。

一方、遅延回路１１５では、ブロック化回路１１１からのクラス分類用ブロックが遅延され、そのブロックのクラス情報に対応するマッピング係数が、マッピング係数メモリ１１４から読み出されるのを待って、演算回路１１６に供給される。演算回路１１６では、ステップＳ６４において、遅延回路１１５からのクラス分類用ブロックを構成する各画素の画素値と、マッピング係数メモリ１１４からのマッピング係数を用いて、上述した関数値ｆ（・）（この関数ｆのかっこ内の・は、画素値ｙ₁，ｙ₂，・・・と、マッピング係数ｋ₁，ｋ₂，・・・の集合を表すものとする）が演算されることにより、クラス分類用ブロックを構成する中心の画素（中心画素）の画素値を補正した補正データが算出される。この補正データは、画像を符号化した符号化データとして、レベル制限回路１１７に供給される。

レベル制限回路１１７では、ステップＳ６５において、符号化データから、例えば、そのＭＳＢ側の２ビットが抽出され、送信機／記録装置１１８に供給される。即ち、符号化データが、例えば８ビットで構成される場合には、その下位６ビットが削除され、上位２ビットだけが、送信機／記録装置１６に供給される。送信機／記録装置１１８では、ステップＳ６６において、レベル制限回路１１７からの符号化データが、記録媒体２に記録され、または伝送路３を介して伝送される。

そして、ステップＳ６７に進み、１フレーム分の画像データについての処理が終了したかどうかが判定される。ステップＳ６７において、１フレーム分の画像データについての処理が、まだ終了していないと判定された場合、ステップＳ６２に戻り、次のクラス分類用ブロックを対象に、ステップＳ６２以下の処理が繰り返される。また、ステップＳ６７において、１フレーム分の画像データについての処理が終了したと判定された場合、ステップＳ６１に戻り、次のフレームを対象に、ステップＳ６１以下の処理が繰り返される。

次に、図３０は、図２７のマッピング係数メモリ１１４に記憶されているマッピング係数を算出するための学習（マッピング係数学習）処理を行う画像処理装置の構成例を示している。

メモリ１２１には、学習に適したディジタル画像データ（以下、適宜、学習用画像という）が１フレーム以上記憶されている。ブロック化回路１２２は、メモリ１２１に記憶されている画像データを読み出し、図２７のブロック化回路１１１から出力されるクラス分類用ブロックと同一のブロックを構成して、ＡＤＲＣ処理回路１２３および演算回路１２５に供給するようになされている。

ＡＤＲＣ処理回路１２３またはクラス分類回路１２４は、図２７のＡＤＲＣ処理回路１１２またはクラス分類回路１１３における場合とそれぞれ同様の処理を行うようになされている。従って、クラス分類回路１２４からは、ブロック化回路１２２が出力するブロックのクラス情報が出力されるようになされている。そして、このクラス情報は、マッピング係数メモリ１３１に、アドレスとして供給されるようになされている。

演算回路１２５は、ブロック化回路１２２から供給されるブロックを構成する画素と、マッピング係数メモリ１３１から供給されるマッピング係数とを用いて、図２７の演算回路１１６における場合と同一の演算を行い、その結果得られる補正データ（関数値ｆ（・））を、レベル制限回路１２６に供給するようになされている。レベル制限回路１２６は画素データのレベルを制限した後、ローカルデコード部１２７に出力している。

ローカルデコード部１２７は、レベル制限回路１２６から供給される補正データに基づいて、元の学習用画像の予測値（ブロック化回路１２２が出力するブロックを構成する画素の画素値の予測値）を予測し（算出し）、誤差算出部１２８に供給するようになされている。誤差算出部１２８は、ローカルデコード部１２７から供給される予測値に対応する学習用画像の画素値（真値）をメモリ１２１から読み出し、その学習用画像の画素値に対する、予測値の予測誤差を算出（検出）し、その予測誤差を、誤差情報として、判定部１２９に供給するようになされている。

判定部１２９は、誤差算出部１２８からの誤差情報と、所定の閾値ε１とを比較し、その比較結果に対応して、マッピング係数設定回路１３０を制御するようになされている。マッピング係数設定回路１３０は、判定部１２９の制御にしたがって、クラス分類回路１２４におけるクラス分類の結果得られるクラス数と同一の数のマッピング係数のセットを設定（変更）し、マッピング係数メモリ１３１に供給するようになされている。

マッピング係数メモリ１３１は、マッピング係数設定回路１３０から供給されるマッピング係数を一時記憶するようになされている。なお、マッピング係数メモリ１３１は、クラス分類回路１２４においてクラス分類されるクラスの数だけのマッピング係数（マッピング係数のセット）を記憶することのできる記憶領域を有しており、各記憶領域においては、マッピング係数設定回路１３０から、新たなマッピング係数が供給されると、既に記憶しているマッピング係数に代えて、その新たなマッピング係数が記憶されるようになされている。

また、マッピング係数メモリ１３１は、クラス分類回路１２４から供給されるクラス情報に対応するアドレスに記憶されたマッピング係数を読み出し、演算回路１２６に供給するようにもなされている。

次に、図３１のフローチャートを参照して、その動作について説明する。

まず最初に、マッピング係数設定回路１３０は、ステップＳ７１において、マッピング係数の初期値のセットを、クラス分類回路１２４においてクラス分類されるクラスの数だけ設定し、マッピング係数メモリ１３１に供給する。マッピング係数メモリ１３１では、マッピング係数設定回路１３０からのマッピング係数（初期値）が、対応するクラスのアドレスに記憶される。

そして、ブロック化回路１２２は、ステップＳ７２において、メモリ１２１に記憶されている学習用画像すべてを、図２７のブロック化回路１１１における場合と同様に、注目画素を中心とした３×３画素のブロックにブロック化する。さらに、ブロック化回路１２２は、そのブロックを、メモリ１２１から読み出し、ＡＤＲＣ処理回路１２３および演算回路１２５に順次供給する。

ＡＤＲＣ処理回路１２３では、ステップＳ７３において、ブロック化回路１２２からのブロックに対して、図２７のＡＤＲＣ処理回路１１２における場合と同様に、１ビットのＡＤＲＣ処理が施され、クラス分類回路１２４に供給される。

クラス分類回路１２４では、ステップＳ７４において、ＡＤＲＣ処理回路１２３から供給されたブロックのクラスが決定され、そのクラス情報が、アドレスとして、マッピング係数メモリ１３１に供給される。これにより、ステップＳ７５において、マッピング係数メモリ１３１の、クラス分類回路１２４より供給されるクラス情報に対応するアドレスから、マッピング係数が読み出され、演算回路１２５に供給される。

演算回路１２５は、ブロック化回路１２２からブロックを受信するとともに、マッピング係数メモリ１３１から、そのブロックのクラスに対応するマッピング係数を受信すると、ステップＳ７６において、そのマッピング係数と、ブロック化回路１２２から供給されるブロックを構成する画素の画素値とを用いて、上述の関数値ｆ（・）を演算する。この演算結果は、ブロック化回路１２２から出力されるブロックの中心画素の画素値を補正した補正データとして、レベル制限回路１２６に供給される。この補正ビットが、例えば８ビットで構成されているとすると、ステップＳ７７において、その８ビットの補正データから、その上位２ビットが、レベル制限回路１２６で選択され、これにより、ビット数が２ビットに制限された画素データが、ローカルデコード部１２７に供給される。

即ち、例えば、上述の図７において、四角形で囲んで示すような３×３画素のブロックが、ブロック化回路１２２から出力されたものとすると、演算回路１２５では、同図において●印で示す画素の画素値を補正した補正データが求められ、レベル制限回路１２６でレベル制限された後、ローカルデコード部１２７に出力される。

従って、演算回路１２６では、学習用画像を構成する画素が、１／９に間引かれ、ローカルデコード部１２７に供給される。

図３１に戻り、次にステップＳ７８に進み、メモリ１２１に記憶されたすべての学習用画像についての補正データが求められたかどうかが判定される。ステップＳ７８において、すべての学習用画像についての補正データが、まだ求められていないと判定された場合、ステップＳ７３に戻り、すべての学習用画像についての補正データが求められるまで、ステップＳ７３乃至Ｓ７８の処理を繰り返す。

また、ステップＳ７８において、すべての学習用画像についての補正データが求められたと判定された場合、即ち、メモリ１２１に記憶されたすべての学習用画像を、１／９に間引いた間引き画像が得られた場合（但し、この間引き画像は、学習用画像を、単純に１／９に間引いたものではなく、マッピング係数との演算により画素値が求められたものである）、ステップＳ７９に進み、ローカルデコード部１２７において、その間引き画像がローカルデコードされることにより、元の学習用画像の予測値が算出される。この予測値は、誤差算出部１２８に供給される。

ここで、このローカルデコード部１２７において得られる予測値で構成される画像（但し、後述するように、誤差算出部１２８から出力される誤差情報が閾値ε１より小さくなったときにおけるもの）は、受信装置４（図１）側において得られる復号画像と同一のものである。

誤差算出部１２８では、ステップＳ８０において、メモリ１２１から学習用画像が読み出され、その学習用画像に対する、ローカルデコード部１２７から供給される予測値の予測誤差が算出される。即ち、学習用画像の画素値をＹ_ijと表すとともに、ローカルデコード部１２７から出力される、その予測値をＥ［Ｙ_ij］と表すとき、誤差算出部１２８では、次式で示される誤差分散（誤差の自乗和）Ｑが算出され、これが、誤差情報として、判定部１２９に供給される。

Ｑ＝Σ（Ｙ_ij−Ｅ［Ｙ_ij］）²
但し、上式において、Σは、学習用画像の画素すべてについてのサメーションを表す。

判定部１２９は、誤差算出部１２８から誤差情報を受信すると、その誤差情報と所定の閾値ε１とを比較し、ステップＳ８１において、その大小関係を判定する。ステップＳ８１において、誤差情報が閾値ε１以上であると判定された場合、即ち、ローカルデコード部１２７において得られる予測値で構成される画像が、元の学習用画像と同一であるとは認められない場合、判定部１２９は、マッピング係数設定回路１３０に制御信号を出力する。マッピング係数設定回路１３０は、ステップＳ８２において、判定部１２９からの制御信号にしたがい、マッピング係数を変更し、その変更後のマッピング係数を、マッピング係数メモリ１３１に新たに記憶させる。

そして、ステップＳ７３に戻り、マッピング係数メモリ１３１に記憶された、変更後のマッピング係数を用いて、再び、ステップＳ７３以下の処理が繰り返される。

ここで、マッピング係数設定回路１３０における、マッピング係数の変更は、ランダムに行っても良いし、また、今回の誤差情報が、前回の誤差情報より小さくなった場合には、前回と同様の傾向で変化させ、今回の誤差情報が、前回の誤差情報より大きくなった場合には、前回と逆の傾向で変化させるようにすることもできる。

さらに、マッピング係数の変更は、すべてのクラスについて行うようにすることもできるし、その一部のクラスについてだけ行うようにすることもできる。一部のクラスについてのマッピング係数だけの変更を行う場合においては、例えば、誤差情報に対する影響の強いクラスを検出させ、そのようなクラスについてのマッピング係数だけを変更するようにすることができる。誤差情報に対する影響の強いクラスは、例えば、次のようにして検出することができる。即ち、まず最初に、マッピング係数の初期値を用いて処理を行うことにより、その誤差情報を得る。そして、マッピング係数を、１クラスごとに同一の量だけ変化させ、その結果得られる誤差情報を、初期値を用いた場合に得られた誤差情報と比較し、その差が、所定値以上となるクラスを、誤差情報に対する影響の強いクラスとして検出すれば良い。

また、マッピング係数が、上述したｋ１，ｋ２，・・・のように複数で１セットとされている場合には、その中の誤差情報に対する影響の強いものだけを変更させるようにすることもできる。

さらに、上述の場合においては、マッピング係数を、クラスごとに設定するようにしたが、マッピング係数は、その他、例えば、ブロックごとに独立して設定したり、また、近接するブロック単位などで設定したりするようにすることが可能である。

但し、マッピング係数を、例えば、ブロックごとに独立して設定するようにした場合などにおいては、ある１つのクラスに対して、複数セットのマッピング係数が得られることがある（この逆に、マッピング係数が、１セットも得られないクラスが生じることもある）。マッピング係数は、最終的には、クラスごとに決める必要があるため、上述のように、あるクラスに対して、複数セットのマッピング係数が得られた場合には、複数セットのマッピング係数に対して、例えば、マージや選択などの何らかの処理を施すことで、１セットのマッピング係数を決める必要がある。

一方、ステップＳ８１において、誤差情報が閾値ε１より小さいと判定された場合、即ち、ローカルデコード部１２７において得られる予測値で構成される画像が、元の学習用画像と同一であると認められる場合、処理を終了する。

この時点で、マッピング係数メモリ１３１に記憶されている、クラスごとのマッピング係数が、もとの画像と同一と認められる復号画像（予測値）を復元することができる補正データを得るために最適なものとして、図２７のマッピング係数メモリ１１４にセットされている。

従って、このようなマッピング係数を用いて補正データを生成することで、受信装置４（図１）側においては、元の画像とほぼ同一の画像を得ることが可能となる。

ここで、図３０の実施の形態においては、上述したように、ブロック化回路１２２において、画像が３×３の９画素にブロック化され、また、ＡＤＲＣ処理回路１２３において、１ビットのＡＤＲＣ処理が行われるので、クラス分類回路１２４によるクラス分類により得られるクラス数は５１２（＝（２¹）⁹）であり、従って、５１２セットのマッピング係数が得られる。

なお、図３０において、ＡＤＲＣ処理回路１２３を介してクラス分類回路１２４に供給するブロックと、演算回路１２５に供給するブロックとは、同一である必要は必ずしもない。このことは、図２７において、クラス分類回路１１３に供給するブロックと、演算回路１１６に供給するブロックとについても同様である。但し、クラス分類回路１１３および１２４に供給するブロックは同一である必要があり、また、演算回路１１６および１２５に供給するブロックも同一である必要がある。

次に、図３２は、図３０のローカルデコード部１２７の構成例を示している。

レベル制限回路１２６からの補正データは、クラス分類用ブロック化回路１４１および予測値計算用ブロック化回路１４２に供給されるようになされている。クラス分類用ブロック化回路１４１は、補正データを、その性質に応じて所定のクラスに分類するための単位である、注目補正データを中心としたクラス分類用ブロックにブロック化するようになされている。

即ち、上述したように、図７において、上からｉ番目で、左からｊ番目の補正データ（圧縮データ）（または画素）（図中、●印で示す部分）をＸ_ijと表すとすると、クラス分類用ブロック化回路１４１は、注目画素（注目補正データ）Ｘ_ijの上、左、右、下に隣接する４つの画素Ｘ_(i-1)j，Ｘ_i(j-1)，Ｘ_i(j+1)，Ｘ_(i-1)jに、自身を含め、合計５画素で構成されるクラス分類用ブロックを生成するようになされている。このクラス分類用ブロックは、クラス分類回路１４４に供給されるようになされている。

なお、図３２のクラス分類用ブロック化回路１４１において得られるクラス分類用ブロックは、予測値を求めるブロックのクラスを決定するために構成されるものであり、この点で、補正データを算出するブロックのクラスを決定するために、図２７のブロック化回路１１１で生成されるものとは異なる。

予測値計算用ブロック化回路１４２は、補正データを、元の画像（ここでは、学習用画像）の予測値を計算するための単位である、注目補正データを中心とした予測値計算用ブロックにブロック化するようになされている。即ち、本実施の形態においては、例えば、補正データＸ_ijを中心とする、元の画像（原画像）における３×３の９画素の画素値Ｙ_ij（１），Ｙ_ij（２），Ｙ_ij（３），Ｙ_ij（４），Ｙ_ij（５），Ｙ_ij（６），Ｙ_ij（７），Ｙ_ij（８），Ｙ_ij（９）の予測値が、画素Ｘ_ijを中心とする５×５の２５画素Ｘ_(i-2)(j-2)，Ｘ_(i-2)(j-1)，Ｘ_(i-2)j，Ｘ_(i-2)(j+1)，Ｘ_(i-2)(j+2)，Ｘ_(i-1)(j-2)，Ｘ_(i-1)(j-1)，Ｘ_(i-1)j，Ｘ_(i-1)(j+1)，Ｘ_(i-1)(j+2)，Ｘ_i(j-2)，Ｘ_i(j-1)，Ｘ_ij，Ｘ_i(j+1)，Ｘ_i(j+2)，Ｘ_(i+1)(j-2)，Ｘ_(i+1)(j-1)，Ｘ_(i+1)j，Ｘ_(i+1)(j+1)，Ｘ_(i+1)(j+2)，Ｘ_(i+2)(j-2)，Ｘ_(i+2)(j-1)，Ｘ_(i+2)j，Ｘ_(i+2)(j+1)，Ｘ_(i+2)(j+2)から求められるようになされており、予測値計算用ブロック化回路１４２は、このような２５画素で構成される正方形状の予測値計算用ブロックを生成するようになされている。

具体的には、例えば、図７において四角形で囲む、元の画像における画素Ｙ₃₃（１）乃至Ｙ₃₃（９）の予測値の計算のためには、２５個の画素（補正データ）Ｘ₁₁，Ｘ₁₂，Ｘ₁₃，Ｘ₁₄，Ｘ₁₅，Ｘ₂₁，Ｘ₂₂，Ｘ₂₃，Ｘ₂₄，Ｘ₂₅，Ｘ₃₁，Ｘ₃₂，Ｘ₃₃，Ｘ₃₄，Ｘ₃₅，Ｘ₄₁，Ｘ₄₂，Ｘ₄₃，Ｘ₄₄，Ｘ₄₅，Ｘ₅₁，Ｘ₅₂，Ｘ₅₃，Ｘ₅₄，Ｘ₅₅により、予測値計算用ブロックが構成される。

予測値計算用ブロック化回路１４２において得られた予測値計算用ブロックは、予測回路１４６に供給されるようになされている。

なお、予測値計算用ブロックについても、クラス分類用ブロックにおける場合と同様に、その画素数および形状は、上述したものに限定されるものではない。但し、ローカルデコード部１２７において、予測値計算用ブロックを構成する画素数は、クラス分類用ブロックを構成する画素数よりも多くするのが望ましい。

クラス分類回路１４４は、クラス分類用ブロック化回路１４１からのブロックをクラス分類し、その分類結果としてのクラス情報を、予測係数ＲＯＭ１４５に供給するようになされている。予測係数ＲＯＭ１４５は、クラスごとの予測係数を記憶しており、クラス分類回路１４４からクラス情報を受信すると、そのクラス情報に対応するアドレスに記憶されている予測係数を読み出し、予測回路１４６に供給するようになされている。なお、予測係数ＲＯＭ１４５に記憶されている予測係数は、図１９で説明した予測係数学習により得られたものである。

予測回路１４６は、予測値計算用ブロック化回路１４２からの予測値計算用ブロックと、予測係数ＲＯＭ１４５からの予測係数とを用いて、元の画像（学習用画像）の予測値を算出（予測）するようになされている。

次に、図３３のフローチャートを参照して、その動作について説明する。

ローカルデコード部１２７においては、まず最初に、ステップＳ９１において、レベル制限回路１２６からの補正データが順次受信されてブロック化される。即ち、クラス分類用ブロック化回路１４１において、補正データが、注目補正データを中心とする５画素のクラス分類用ブロックにブロック化され、クラス分類回路１４４に供給されるとともに、予測値計算用ブロック化回路１４２において、補正データが、注目補正データを中心とする５×５画素の予測値計算用ブロックにブロック化され、予測回路１４６に供給される。

なお、クラス分類用ブロック化回路１４１と予測値計算用ブロック化回路１４２では、対応するクラス分類用ブロックと予測値計算用ブロックが生成される。即ち、クラス分類用ブロック化回路１４１において、例えば図７の補正データＸ₃₃を中心とする５画素のクラス分類用ブロックが生成されるとき、予測値計算用ブロックにおいては、同じく補正データＸ₃₃を中心とする５×５画素の予測値計算用ブロックが生成される。

クラス分類回路１４４は、ステップＳ９２において、クラス分類用ブロックに対して、クラス分類処理を施す。即ち、クラス分類用ブロックを構成する補正データのレベル分布の状態を検出し、そのクラス分類用ブロックが属するクラス（そのクラス分類用ブロックを構成する注目補正データのクラス）を判定する。このクラスの判定結果は、クラス情報として、予測係数ＲＯＭ１４５に供給される。

なお、ここでも、１画素が２ビットで表される５画素で構成されるクラス分類用ブロックに対して、クラス分類処理が施されるので、各クラス分類用ブロックは、５１２（＝（２²）⁵）のクラスのうちのいずれかに分類されることになる。

そして、ステップＳ９３に進み、予測係数ＲＯＭ１４５の、クラス分類回路１４４からのクラス情報に対応するアドレスから予測係数が読み出され、ステップＳ９４において、予測回路１４６は、その予測係数と、予測値計算用ブロック化回路１４２からの予測値計算用ブロックを構成する２５の画素値とを用い、例えば、式（１）に対応する次のような線形１次式にしたがって、元の画像の画素値ｙの予測値Ｅ［ｙ］を算出する。

Ｅ［ｙ］＝ｗ₁ｘ₁＋ｗ₂ｘ₂＋・・・＋ｗ₂₅ｘ₂₅＋ｗ₀
但し、ｗ₁，ｗ₂，・・・，ｗ₀は予測係数を表し、ｘ₁，ｘ₂，・・・は予測値計算用ブロックを構成する画素の画素値（補正データ）を表す。また、ｗ₀は、本来８ビットのデータｘ_iを、２ビットのデータに変換したので、Ｅ［ｙ］を８ビットで表現するために加算されるオフセット係数であるが、上述したように、補正データと乗算される係数ｗ₁，ｗ₂，・・・と同様に、予測係数として扱う。

ここで、図３２の実施の形態においては、上述したように、予測値計算用ブロックを構成する２５画素から、９画素の予測値が算出されるようになされている。

即ち、例えば、いま、図７に示した補正データＸ₃₃を中心とする３×３の補正データＸ₂₂乃至Ｘ₂₄，Ｘ₃₂乃至Ｘ₃₄，Ｘ₄₂乃至Ｘ₄₄でなるクラス分類用ブロックについてのクラス情報Ｃが、クラス分類回路１４４から出力され、また、予測値計算用ブロックとして、補正データＸ₃₃を中心とする５×５画素の補正データＸ₁₁乃至Ｘ₁₅，Ｘ₂₁乃至Ｘ₂₅，Ｘ₃₁乃至，Ｘ₃₅，Ｘ₄₁乃至Ｘ₄₅，Ｘ₅₁乃至Ｘ₅₅でなる予測値計算用ブロックが、予測値計算用ブロック化回路１４２から出力されたものとする。

さらに、予測係数ＲＯＭ１４５には、クラス情報Ｃに対応するアドレスに、予測係数のセットとして、ｗ₀（ｋ）乃至ｗ₂₅（ｋ）が記憶されているものとする。

この場合、補正データＸ₃₃を中心とする、元の画像における３×３画素（図７において四角形で囲んである部分）の画素値Ｙ₃₃（１）乃至Ｙ₃₃（９）の予測値Ｅ［Ｙ₃₃（１）］乃至Ｅ［Ｙ₃₃（９）］が、次式にしたがって算出される。

Ｅ［Ｙ₃₃（ｋ）］＝ｗ₁（ｋ）Ｘ₁₁＋ｗ₂（ｋ）Ｘ₁₂＋ｗ₃（ｋ）Ｘ₁₃
＋ｗ₄（ｋ）Ｘ₁₄＋ｗ₅（ｋ）Ｘ₁₅＋ｗ₆（ｋ）Ｘ₂₁
＋ｗ₇（ｋ）Ｘ₂₂＋ｗ₈（ｋ）Ｘ₂₃＋ｗ₉（ｋ）Ｘ₂₄
＋ｗ₁₀（ｋ）Ｘ₂₅＋ｗ₁₁（ｋ）Ｘ₃₁
＋ｗ₁₂（ｋ）Ｘ₃₂＋ｗ₁₃（ｋ）Ｘ₃₃
＋ｗ₁₄（ｋ）Ｘ₃₄＋ｗ₁₅（ｋ）Ｘ₃₅
＋ｗ₁₆（ｋ）Ｘ₄₁＋ｗ₁₇（ｋ）Ｘ₄₂
＋ｗ₁₈（ｋ）Ｘ₄₃＋ｗ₁₉（ｋ）Ｘ₄₄
＋ｗ₂₀（ｋ）Ｘ₄₅＋ｗ₂₁（ｋ）Ｘ₅₁
＋ｗ₂₂（ｋ）Ｘ₅₂＋ｗ₂₃（ｋ）Ｘ₅₃
＋ｗ₂₄（ｋ）Ｘ₅₄＋ｗ₂₅（ｋ）Ｘ₅₅
＋ｗ₀（ｋ）

ステップＳ９４において、以上のようにして９個単位で予測値が求められていき、これにより、１フレーム分の予測値が求められると、その予測値は、ステップＳ９５において、誤差算出部１２８に供給される。そして、ステップＳ９１に戻り、以下、ステップＳ９１乃至Ｓ９５の処理が繰り返される。

なお、図３２の予測係数ＲＯＭ１４５に記憶されている予測係数を得るための学習（予測係数学習）を行う画像処理装置は、上述したように、図１９に示した場合と同様の構成となる。そこでその説明は省略する。

次に、図３４は、図２７のマッピング係数メモリ１１４に記憶されているマッピング係数を算出するための学習（マッピング係数学習）処理を行う画像処理装置の他の構成例を示している。

なお、図３０の画像処理装置によれば、関数ｆが、例えば、線形１次式で表される場合の他、非線形な式や、２次以上の式で表される場合も、最適な予測係数を求めることができるが、図３４の画像処理装置では、関数ｆが、線形１次式で表される場合にのみ、最適な予測係数を求めることができるようになされている。

即ち、図３４の画像処理装置は、図２７において、ブロック化回路１１１が出力する３×３画素のブロックを構成する各画素の画素値をｙ₁，ｙ₂，・・・，ｙ₉とするとともに、マッピング係数メモリ１１４が出力するマッピング係数をｋ₁，ｋ₂，・・・，ｋ₉とする場合において、演算回路１１６が、次式にしたがって関数値ｆ（ｙ₁，ｙ₂，・・・，ｋ₁，ｋ₂，・・・）を演算して補正データを求めるようになされているときに用いることができる。

ｆ（・）＝ｋ₁ｙ₁＋ｋ₂ｙ₂＋・・・＋ｋ₉ｙ₉

最適補正データ算出部１６０には、学習に適した学習用画像が、例えば、１フレーム単位などで供給されるようになされている。なお、学習用画像を構成する画素には、例えば８ビットが割り当てられている。最適補正データ算出部１６０は、圧縮部１７０、レベル制御部１７１、補正部１７２、ローカルデコード部１７３、誤差算出部１７４、および判定部１７５で構成され、そこに入力される学習用画像から、その画素数を少なくして圧縮した画像であって、元の画像を予測するのに最適な画像を構成する画素値（以下、適宜、最適補正データという）を算出し、ラッチ回路１７６に供給するようになされている。

即ち、最適補正データ算出部１６０に供給された学習用画像は、圧縮部１７０および誤差算出部１７４に供給されるようになされている。圧縮部１７０は、図２７の演算回路１１６が画素を間引く割合と同一の割合で、学習用画像を単純に間引き、即ち、本実施の形態においては、学習用画像を１／９に単純に間引き（３×３の９画素を１ブロックとするとき、そのブロックの中心の画素だけを抽出し）、これにより学習用画像を圧縮してレベル制限部１７１に供給するようになされている。レベル制限部１７１は、図２７のレベル制限回路１１７と同様に、８ビットの画素データのレベルを制限した後、補正部１７２に出力するようになされている。

補正部１７２は、レベル制限部１７１から供給される、単純な間引きが行われて空間方向の圧縮がされた８ビットの圧縮データから、その上位２ビットが選択されることにより、２ビットにレベルが制限されたデータ（以下、適宜、単に、圧縮データという）を、判定部１７５からの制御にしたがって補正するようになされている。補正部１７２における補正の結果得られるデータ（このデータも、図２７の演算回路１１６の出力と同様に、３×３画素のブロックの中心画素の画素値を補正したものであるので、以下、適宜、補正データという）は、ローカルデコード部１７３に供給するようになされている。

ローカルデコード部１７３は、図３０のローカルデコード部１２７における場合と同様にして、補正部１７２からの補正データに基づいて、元の画像（学習用画像）を予測し、その予測値を、誤差算出部１７４に供給するようになされている。

誤差算出部１７４は、図３０の誤差算出部１２８における場合と同様にして、そこに入力される、元の画像データに対する、ローカルデコード部１７３からの予測値の予測誤差を算出するようになされている。この予測誤差は、誤差情報として、判定部１７５に供給されるようになされている。

判定部１７５は、図３０の判定部１２９における場合と同様にして、誤差算出部１７４からの誤差情報に基づいて、補正部１７２が出力した補正データを、元の画像の圧縮結果とすることの適正さを判定するようになされている。そして、判定部１７５は、補正部１７２が出力した補正データを、元の画像の圧縮結果とすることが適正でないと判定した場合には、補正部１７２を制御し、さらに、圧縮データを補正させ、その結果得られる新たな補正データを出力させるようになされている。また、判定部１７５は、補正部１７２が出力した補正データを、元の画像の圧縮結果とすることが適正であると判定した場合には、補正部１７２から供給された補正データを、最適補正データとして、ラッチ回路１７６に供給するようになされている。

ラッチ回路１７６は、メモリ１７６Ａを内蔵しており、そのメモリ１７６Ａに、補正部１７２から供給される最適補正データを記憶させるようになされている。さらに、ラッチ回路１７６は、メモリ１７６Ａに記憶された最適補正データのうち、ブロック化回路１７７のメモリ１７７Ａから読み出されるブロックの中心画素に対応するものを読み出し、メモリ１８０に供給するようになされている。なお、ラッチ回路１７６は、メモリ１７６Ａに、１フレーム分の補正データが記憶されると、その旨を示す制御信号を、ブロック化回路１７７に出力するようになされている。

ブロック化回路１７７には、最適補正データ算出部１６０と同様に、学習用画像が１フレーム単位で供給されるようになされている。ブロック化回路１７７は、メモリ１７７Ａを内蔵しており、そのメモリ１７７Ａに、そこに供給される学習用画像を記憶させるようになされている。また、ブロック化回路１７７は、ラッチ回路１７６から制御信号を受信すると、メモリ１７７Ａに記憶された学習用画像を、図２７のブロック化回路１１１における場合と同様に、３×３画素で構成されるブロックに分割し、そのブロックを順次読み出して、ＡＤＲＣ処理回路１７８およびメモリ１８０に供給するようになされている。

なお、ブロック化回路１７７は、その内蔵するメモリ１７７Ａからブロックを読み出すときに、そのブロックの位置を示す制御信号を、ラッチ回路１７６に供給するようになされている。ラッチ回路１７６では、この制御信号に基づいて、メモリ１７７Ａから読み出される３×３画素のブロックが認識され、上述したように、そのブロックの中心画素に対応する最適補正データが、メモリ１７６Ａから読み出されるようになされている。即ち、これにより、メモリ１８０に対しては、ある３×３画素のブロックと、そのブロックに対応する最適補正データとが同時に供給されるようになされている。

ＡＤＲＣ処理回路１７８またはクラス分類回路１７９は、図２７のＡＤＲＣ処理回路１１２またはクラス分類回路１１３とそれぞれ同様に構成されている。そして、クラス分類回路１７９が出力する、ブロック化回路１７７からのブロックについてのクラス情報は、メモリ１８０に対して、アドレスとして供給されるようになされている。

メモリ１８０は、クラス分類回路１７９から供給されるクラス情報に対応するアドレスに、ラッチ回路１７６から供給される最適補正データと、ブロック化回路１７７から供給されるブロックとを対応付けて記憶するようになされている。なお、メモリ１８０は、１つのアドレスに複数の情報を記憶することができるようになされており、これにより、あるクラス情報に対応する最適補正データおよびブロックを、複数セット記憶することができるようになされている。

演算回路１８１は、メモリ１８０に記憶された、学習用画像の３×３のブロックを構成する９画素ｙ₁，ｙ₂，・・・，ｙ₉と、そのブロックに対応付けられている最適補正データｙ’とを読み出し、これらに最小自乗法を適用することで、クラスごとに、マッピング係数ｋ₁乃至ｋ₉を求め、メモリ１８２に供給するようになされている。メモリ１８２は、演算回路１８１から供給されるクラスごとのマッピング係数ｋ₁乃至ｋ₉を、そのクラスに対応したアドレスに記憶するようになされている。

次に、図３５のフローチャートを参照して、その動作について説明する。

学習用画像が入力されると、その学習用画像は、ブロック化回路１７７のメモリ１７７Ａに記憶されるとともに、最適補正データ算出部１６０に供給される。最適補正データ算出部１６０は、学習用画像を受信すると、ステップＳ１０１において、その学習用画像についての最適補正データを算出する。

このステップＳ１０１の処理は、図４のフローチャートの処理と同様である。すなわち、ステップＳ１０１では、図３６のフローチャートに示すように、まず、圧縮部１７０が、ステップＳ１１１において、学習用画像を、１／９に間引くことにより圧縮データを生成する。このデータは、ステップＳ１１２において、レベル制限部１７１で制限された後、補正部１７２を介して、最初は、補正が行われずに、ローカルデコード部１７３に出力される。ローカルデコード部１７３では、ステップＳ１１３において、補正部１７２からの補正データ（最初は、上述したように、画像データを、単純に間引き、レベル制限した圧縮データそのもの）に基づいて、元の画像の予測値が算出される（ローカルデコードが行われる）。この予測値は、誤差算出部１７４に供給される。

誤差算出部１７４は、ローカルデコード部１７３から、元の画像の予測値を受信すると、ステップＳ１１４において、元の画像データに対する、ローカルデコード部１７３からの予測値の予測誤差を算出し、誤差情報として、判定部１７５に供給する。判定部１７５は、誤差算出部１７４から誤差情報を受信すると、ステップＳ１１５において、その誤差情報に基づいて、補正部１７２が出力した補正データを、元の画像の圧縮結果とすることの適正さを判定する。

即ち、ステップＳ１１５においては、誤差情報が所定の閾値ε以下であるかどうかが判定される。ステップＳ１１５において、誤差情報が所定の閾値ε以下でないと判定された場合、補正部１７２が出力した補正データを、元の画像の圧縮結果とするのは適正でないと認識され、ステップＳ１１６に進み、判定部１７５は、補正部１７２を制御し、これにより、レベル制限部１７１から出力された圧縮データを補正させる。補正部１７２は、判定部１７５の制御にしたがって、補正量（補正値△）を変えて、圧縮データを補正し、その結果得られる補正データを、ローカルデコード部１７３に出力する。そして、ステップＳ１１３に戻り、以下、同様の処理が繰り返される。

なお、圧縮データの補正は、例えば、上述の図１４における場合と同様にして行うことが可能である。

一方、ステップＳ１１５において、誤差情報が所定の閾値ε以下であると判定された場合、補正部１７２が出力した補正データを、元の画像の圧縮結果とするのは適正であると認識され、判定部１７５は、所定の閾値ε以下の誤差情報が得られたときの補正データを、最適補正データとして、補正部１７２からラッチ回路１７６に出力させ、その内蔵するメモリ１７６Ａに記憶させて、リターンする。

以上のようにして、誤差情報が所定の閾値ε以下となったときにおける、圧縮データを補正した補正データが、最適補正データとして、メモリ１７６Ａに記憶される。なお、この最適補正データは、誤差情報を所定の閾値ε以下とするものであるから、これを用いて、予測値を算出することにより、元の画像（原画像）とほぼ同一の画像を得ることができる。

図３５に戻り、ラッチ回路１７６は、そのメモリ１７６Ａに、１フレーム分の最適補正データを記憶すると、制御信号を、ブロック化回路１７７に出力する。ブロック化回路１７７は、ラッチ回路１７６から制御信号を受信すると、ステップＳ１０２において、メモリ１７７Ａに記憶された学習用画像を、３×３画素で構成されるブロックに分割する。そして、ブロック化回路１７７は、メモリ１７７Ａに記憶された学習用画像のブロックを読み出して、ＡＤＲＣ処理回路１７８およびメモリ１８０に供給する。

また、同時に、ブロック化回路１７７は、メモリ１７７Ａからブロックを読み出すときに、そのブロックの位置を示す制御信号を、ラッチ回路１７６に供給し、ラッチ回路１７６は、その制御信号に対応して、メモリ１７７Ａから読み出された３×３画素のブロックを認識し、そのブロックの中心画素に対応する最適補正データを読み出して、メモリ１８０に供給する。

そして、ステップＳ１０３に進み、ＡＤＲＣ処理回路１７８において、ブロック化回路１７７からのブロックがＡＤＲＣ処理され、さらに、クラス分類回路１７９において、そのブロックがクラス分類される。このクラス分類結果は、アドレスとして、メモリ１８０に供給される。

メモリ１８０では、ステップＳ１０４において、クラス分類回路１７９から供給されるクラス情報に対応するアドレスに、ラッチ回路１７６から供給される最適補正データと、ブロック化回路１７７から供給されるブロック（学習データ）とが対応付けられて記憶される。

そして、ステップＳ１０５に進み、メモリ１８０に、１フレーム分のブロックおよび最適補正データが記憶されたかどうかが判定される。ステップＳ１０５において、メモリ１８０に、１フレーム分のブロックおよび最適補正データが、まだ記憶されていないと判定された場合、ブロック化回路１７７から次のブロックが読み出されるとともに、ラッチ回路１７６からそのブロックに対応する最適補正データが読み出され、ステップＳ１０３に戻り、以下、ステップＳ１０３以降の処理を繰り返す。

また、ステップＳ１０５において、メモリ１８０に、１フレーム分のブロックおよび最適補正データが記憶されたと判定された場合、ステップＳ１０６に進み、学習用画像すべてについて処理が終了したかどうかが判定される。ステップＳ１０６において、学習用画像すべてについての処理が、まだ終了していないと判定された場合、ステップＳ１０１に戻り、次の学習用画像について、ステップＳ１０１からの処理が繰り返される。

一方、ステップＳ１０６において、学習用画像すべてについての処理が終了したと判定された場合、ステップＳ１０７に進み、演算回路１８１は、メモリ１８０に記憶された最適補正データとブロックとを、クラスごとに読み出し、これらにより、式（７）に示したような正規方程式をたてる。さらに、演算回路１８１は、ステップＳ１０８において、その正規方程式を解くことで、誤差を最小にする、クラスごとのマッピング係数を算出する。このマッピング係数は、ステップＳ１０９において、メモリ１８２に供給されて記憶され、処理を終了する。

関数ｆが、線形１次式で表される場合においては、以上のようにしてメモリ１８２に記憶されたマッピング係数を、図２７のマッピング係数メモリ１１４に記憶させ、これを用いて画像の符号化を行うことができる。

なお、クラスによっては、マッピング係数を求めることができるだけの数の正規方程式が得られない場合がある。このような場合は、図２７の演算回路１１６において、ブロック化回路１１１から出力される３×３画素のブロックを構成する９画素の、例えば平均値などが出力されるようなマッピング係数、即ち、ｋ₁乃至ｋ₉＝１／９などが、デフォルトの値として設定される。

次に、図３７は、図２７の送信装置１に対応する受信装置４の構成例を示している。

受信機／再生装置１９１においては、記録媒体２に記録された符号化データが再生され、または伝送路３を介して伝送されてくる符号化データが受信され、デコード部１９２に供給される。

デコード部１９２は、図３２に示したローカルデコード部１２７におけるクラス分類用ブロック化回路１４１乃至予測回路１４６にそれぞれ対応するクラス分類用ブロック化回路１９３乃至予測回路１９８で構成されており、従って、デコード部１９２では、図３２のローカルデコード部１２７における場合と同様にして、補正データから予測値が求められ、この予測値で構成される画像が復号画像として出力される。

即ち、受信機／再生装置１９１から出力される符号化データとしての補正データは、クラス分類用ブロック化回路１９３または予測値計算用ブロック化回路１９４に順次供給され、図３２のクラス分類用ブロック化回路１４１または予測値計算用ブロック化回路１４２における場合と同様にして、クラス分類用ブロックまたは予測値計算用ブロックに、それぞれブロック化される。そして、クラス分類用ブロックはクラス分類回路１９６に、予測値計算用ブロックは予測回路１９８に、それぞれ供給される。

クラス分類回路１９６は、クラス分類用ブロック化回路１９３からのクラス分類用ブロックに対して、クラス分類処理を施し、クラス情報を、予測係数ＲＯＭ１９７に出力する。

予測係数ＲＯＭ１９７は、図３２の予測係数ＲＯＭ１４５と同様に、例えば、図１９の画像処理装置において求められた、クラスごとの予測係数を記憶しており、クラス分類回路１９６からクラス情報を受信すると、そのクラス情報に対応する予測係数を読み出し、予測回路１９８に供給する。予測回路１９８では、予測係数ＲＯＭ１９７からの予測係数と、予測値計算用ブロック化回路１９４からの予測値計算用ブロックを構成する補正データとを用い、式（１）に対応する線形１次式にしたがって、元の画像の予測値が算出され、これにより、元の画像が復号される。

補正データは、上述したように、誤差情報を所定の閾値以下とするものであり、従って、受信装置４においては、元の画像とほぼ同一の復号画像を得ることができる。

なお、マッピング係数を用いる場合においても、受信側においては、図３７に示すような受信装置４ではなく、間引きされた画像を補間により復号する装置により、通常の補間を行うことで復号画像を得ることができる。但し、この場合に得られる復号画像は、画質（解像度）の劣化したものとなる。

以上、本発明を適用した画像処理装置について説明したが、このような画像処理装置は、例えば、ＮＴＳＣ方式などの標準方式のテレビジョン信号を符号化する場合の他、データ量の多い、いわゆるハイビジョン方式のテレビジョン信号などを符号化する場合に、特に有効である。

なお、本実施の形態においては、１フレームの画像を対象にブロック化を行うようにしたが、ブロックは、その他、例えば、時系列に連続する複数フレームにおける、同一位置の画素を集めて構成するようにすることも可能である。

また、本実施の形態においては、誤差情報として、誤差の自乗和を用いるようにしたが、誤差情報としては、その他、例えば、誤差の絶対値和や、その３乗以上したものの和などを用いるようにすることが可能である。いずれを誤差情報として用いるかは、例えば、その収束性などに基づいて決定するようにすることが可能である。

さらに、例えば、図１０の実施の形態などでは、１フレーム単位で、正規方程式をたてて、クラスごとの予測係数を求めるようにしたが、予測係数の算出処理は、その他、例えば、１フィールド単位や複数フレーム単位で正規方程式をたてて行うようにすることも可能である。他の処理についても同様である。

また、本発明は、ハードウェアによっても、あるいは、上述した処理を行うためのアプリケーションプログラムが記録されたハードディスク等の記録媒体から、そのアプリケーションプログラムを読み出して、コンピュータに実行させることによっても、実現可能である。

さらに、本実施の形態では、画素値のレベルを、その上位２ビットに制限するようにしたが、画素値のレベルは、その他、例えば、上位３ビット以上などに制限することも可能である。

本発明を適用した画像処理装置の一実施の形態の構成を示すブロック図である。 図１の送信装置１の構成例を示すブロック図である。 図２の送信装置１の第１の機能的構成例を示すブロック図である。 図３の送信装置１の動作を説明するためのフローチャートである。 図３の圧縮部２１の構成例を示すブロック図である。 図５の圧縮部２１の動作を説明するためのフローチャートである。 図５の間引き回路３０の処理を説明するための図である。 図３のローカルデコード部２２の構成例を示すブロック図である。 クラス分類処理を説明するための図である。 図８のローカルデコード部２２の動作を説明するためのフローチャートである。 図３の誤差算出部２３の構成例を示すブロック図である。 図１１の誤差算出部２３の動作を説明するためのフローチャートである。 図３の判定部２４の構成例を示すブロック図である。 図１３の判定部２４の動作を説明するためのフローチャートである。 図１の受信装置４の第１の構成例を示すブロック図である。 図２の送信装置１の第２の機能的構成例を示すブロック図である。 図１６のローカルデコード部１０２２の構成例を示すブロック図である。 図１７のローカルデコード部１０２２の動作を説明するためのフローチャートである。 図１７の予測係数ＲＯＭ８１に記憶されている予測係数を算出する画像処理装置の一実施の形態の構成を示すブロック図である。 図２の送信装置１の第３の機能的構成例を示すブロック図である。 図２０の送信装置１の動作を説明するためのフローチャートである。 図２０のローカルデコード部２０２２の構成例を示すブロック図である。 図２２のローカルデコード部２０２２の動作を説明するためのフローチャートである。 図２０の判定部２０２４の構成例を示すブロック図である。 図２４の判定部２０２４の動作を説明するためのフローチャートである。 図１の受信装置４の第２の構成例を示すブロック図である。 図２の送信装置１の第４の機能的構成例を示すブロック図である。 ＡＤＲＣ処理を説明するための図である。 図２７の送信装置１の動作を説明するためのフローチャートである。 マッピング係数を得るための学習を行う画像処理装置の第１実施の形態の構成を示すブロック図である。 図３０の画像処理装置の動作を説明するためのフローチャートである。 図３０のローカルデコード部１２７の構成例を示すブロック図である。 図３２のローカルデコード部１２７の処理を説明するためのフローチャートである。 マッピング係数を得るための学習を行う画像処理装置の第２実施の形態の構成を示すブロック図である。 図３４の画像処理装置の動作を説明するためのフローチャートである。 図３５におけるステップＳ１０１の処理のより詳細を説明するためのフローチャートである。 図１の受信装置４の第３の構成例を示すブロック図である。

符号の説明

１ 送信装置， ２ 記録媒体， ３ 伝送路， ４ 受信装置， １１ Ｉ／Ｆ， １２ ＲＯＭ， １３ ＲＡＭ， １４ ＣＰＵ， １５ 外部記憶装置， １６ 送信機／記録装置， ２１ 圧縮部， ２２ ローカルデコード部， ２３ 誤差算出部， ２４ 判定部， ２５ 多重化部， ３０ 間引き回路， ３１ レベル制限回路， ３２ 補正回路， ３３ 補正値ＲＯＭ， ４１ クラス分類用ブロック化回路， ４２ 予測値計算用ブロック化回路， ４３ クラス分類適応処理回路， ４５ クラス分類回路， ４６ 適応処理回路， ５１ ブロック化回路， ５２ 自乗誤差算出回路， ５３，５４ 演算器， ５５ 積算部， ５６ メモリ， ６１ 予測係数メモリ， ６２ 補正データメモリ， ６３ 誤差情報メモリ， ６４ 比較回路， ６５ 制御回路， ７１ 受信機／再生装置， ７２ 分離部， ７３ クラス分類用ブロック化回路， ７５ クラス分類回路， ７６ 予測回路， ７６Ａ メモリ， ７７ 予測値計算用ブロック化回路， ７８，８１ 予測係数ＲＯＭ， ８２ 予測回路， ９１ 学習用ブロック化回路， ９２ 教師用ブロック化回路， ９４ クラス分類回路， ９５ スイッチ， ９６ 学習データメモリ， ９７ カウンタ， ９８ 教師データメモリ， ９９ 演算回路， １００ メモリ， １１１ ブロック化回路， １１２ ＡＤＲＣ処理回路， １１３ クラス分類回路， １１４ マッピング係数メモリ， １１５ 遅延回路， １１６ 演算回路， １１７ レベル制限回路， １１８ 送信機／記録装置， １２１ メモリ， １２２ ブロック化回路， １２３ ＡＤＲＣ処理回路， １２４ クラス分類回路， １２５ 演算回路， １２６ レベル制限回路， １２７ ローカルデコード部， １２８ 誤差算出部， １２９ 判定部， １３０ マッピング係数設定回路， １３１ マッピング係数メモリ， １４１ クラス分類用ブロック化回路， １４２ 予測値計算用ブロック化回路， １４４ クラス分類回路， １４５ 予測係数ＲＯＭ， １４６ 予測回路， １６０ 最適補正データ算出部， １７０ 圧縮部， １７１ レベル制限部， １７２ 補正部， １７３ ローカルデコード部， １７４ 誤差算出部， １７５ 判定部， １７６ ラッチ回路， １７６Ａ メモリ， １７７ ブロック化回路， １７７Ａ メモリ， １７８ ＡＤＲＣ処理回路， １７９ クラス分類回路， １８０ メモリ， １８１ 演算回路， １８２ メモリ， １９１ 受信機／再生装置， １９２ デコード部， １９３ クラス分類用ブロック化回路， １９４ 予測値計算用ブロック化回路， １９６ クラス分類回路， １９７ 予測係数ＲＯＭ， １９８ 予測回路， １０２２，２０２２ ローカルデコード部， ２０２４ 判定部

Claims (14)

1. 画像を構成するブロックにおける画素のビット数を低減するための所定のコード化処理により前記ブロックがコード化されたものである所定のコードに応じて、前記ブロックを所定のクラスに分類する分類手段と、
   前記クラスごとに、所定のマッピング係数を記憶しているマッピング係数記憶手段と、
   前記ブロックの各画素と、前記ブロックのクラスに対応する前記マッピング係数とを引数とする所定の関数値を演算することにより、前記ブロックのうち、注目している注目画素を、その周辺の画素に基づいて補正したものである前記注目画素の補正データを算出する演算手段と、
   前記補正データの上位所定ビットのみを抽出することで、前記補正データのレベルを制限して、前記ブロックを符号化した符号化データとする制限手段と
   を備える画像符号化装置。
2. 前記演算手段は、前記所定の関数値を演算した結果を、前記注目画素の前記補正データとして出力することで、前記画像の画素数を少なくする
   請求項１に記載の画像符号化装置。
3. 前記マッピング係数は、前記符号化データから元の画像を予測した予測結果の、その元の画像に対する予測誤差が最小になるように学習を行うことにより得られたものである
   請求項１に記載の画像符号化装置。
4. 前記マッピング係数は、前記符号化データから元の画像を予測した予測結果の、その元の画像に対する予測誤差が所定値以下になるように学習を行うことにより得られたものである
   請求項１に記載の画像符号化装置。
5. 前記マッピング係数は、
   学習用の画像を構成する学習ブロックが前記所定のコード化処理によりコード化されたものである所定のコードに応じて、前記学習ブロックを前記クラスのうちのいずれかに分類し、
   前記学習ブロックの各画素と、前記学習ブロックのクラスに対応する所定の係数とを引数とする所定の関数値を演算することにより、前記学習ブロックのうち、注目している注目画素を、その周辺の画素に基づいて補正したものである前記注目画素の学習用補正データを算出し、
   前記学習用補正データの上位所定ビットのみを抽出することで、前記学習用補正データのレベルを制限した学習用制限データを求め、
   その学習用制限データに基づいて、前記学習用の画像の予測値を予測し、
   前記学習用の画像に対する、前記学習用の画像の予測値の予測誤差を算出し、
   その予測誤差が所定の閾値以下になるまで、前記所定の係数を変更することを繰り返すことにより得られた、前記予測誤差が前記所定の閾値以下になったときの前記所定の係数である
   請求項１に記載の画像符号化装置。
6. 画像符号化装置が、
   画像を構成するブロックにおける画素のビット数を低減するための所定のコード化処理により前記ブロックがコード化されたものである所定のコードに応じて、前記ブロックを所定のクラスに分類し、
   前記クラスごとに、所定のマッピング係数を記憶しているマッピング係数記憶手段から、前記ブロックのクラスに対応する前記マッピング係数を読み出し、
   前記ブロックの各画素と、前記ブロックのクラスに対応する前記マッピング係数とを引数とする所定の関数値を演算することにより前記ブロックのうち、注目している注目画素を、その周辺の画素に基づいて補正したものである前記注目画素の補正データを算出し、
   前記補正データの上位所定ビットのみを抽出することで、前記補正データのレベルを制限して、前記ブロックを符号化した符号化データとするステップを
   含む画像符号化方法。
7. 画像符号化装置は、
   画像を構成する第１のブロックにおける画素のビット数を低減するための所定のコード化処理により前記第１のブロックがコード化されたものである第１のコードに応じて、前記第１のブロックを所定の第１のクラスに分類する分類手段と、
   前記第１のクラスごとに、所定のマッピング係数を記憶しているマッピング係数記憶手段と、
   前記第１のブロックの各画素と、前記第１ブロックの第１のクラスに対応する前記マッピング係数とを引数とする所定の関数値を演算することにより、前記第１のブロックのうち、注目している注目画素を、その周辺の画素に基づいて補正したものである前記注目画素の補正データを算出する演算手段と、
   前記補正データの上位所定ビットのみを抽出することで、前記補正データのレベルを制限して、前記第１のブロックを符号化した符号化データとする制限手段と
   を備え、
   画像復号装置は、
   前記画像符号化装置からの前記符号化データを受信する受信手段と、
   前記受信手段により受信された前記符号化データを、第２のブロックにブロック化するブロック化手段と、
   前記所定のコード化処理により前記第２のブロックがコード化されたものである第２のコードに応じて、前記第２のブロックを所定の第２のクラスに分類する分類手段と、
   前記第２のクラスごとに、所定の予測係数を記憶している予測係数記憶手段から、前記第２のブロックの第２のクラスに対応する前記予測係数を読み出し、前記符号化データと、前記予測係数とを用いて、元の画像の予測値を算出することにより、元の画像を復号する復号手段と
   を備える画像処理システム。
8. 前記画像符号化装置の前記演算手段は、
   前記所定の関数値を演算した結果を、前記注目画素の前記補正データとして出力することで、前記画像の画素数を少なくする
   請求項７に記載の画像処理システム。
9. 前記予測係数は、あらかじめ用意した画像データから、前記画像に対応する教師用の画像データと、前記補正データに対応する学習用の画像データを生成し、前記学習用の画像データに基づいた予測値と、前記教師用の画像データとの予測誤差を最小自乗法により最小とする学習を行うことにより、あらかじめ生成されたものである
   請求項７に記載の画像処理システム。
10. 前記マッピング係数は、前記符号化データから元の画像を予測した予測結果の、その元の画像に対する予測誤差が最小になるように学習を行うことにより得られたものである
    請求項７に記載の画像処理システム。
11. 前記マッピング係数は、前記符号化データから元の画像を予測した予測結果の、その元の画像に対する予測誤差が所定値以下になるように学習を行うことにより得られたものである
    請求項７に記載の画像処理システム。
12. 画像符号化装置が、
    画像を構成する第１のブロックにおける画素のビット数を低減するための所定のコード化処理により前記第１のブロックがコード化されたものである第１のコードに応じて、前記第１のブロックを所定の第１のクラスに分類し、
    前記第１のクラスごとに、所定のマッピング係数を記憶しているマッピング係数記憶手段から、前記第１のブロックの第１のクラスに対応する前記マッピング係数を読み出し、 前記第１のブロックの各画素と、前記第１ブロックの第１のクラスに対応する前記マッピング係数とを引数とする所定の関数値を演算することにより、前記第１のブロックのうち、注目している注目画素を、その周辺の画素に基づいて補正したものである前記注目画素の補正データを算出し、
    前記補正データの上位所定ビットのみを抽出することで、前記補正データのレベルを制限して、前記第１のブロックを符号化した符号化データとするステップを含み、
    画像復号装置が、
    前記画像符号化装置からの前記符号化データを受信し、
    受信された前記符号化データを、第２のブロックにブロック化し、
    前記所定のコード化処理により前記第２のブロックがコード化されたものである第２のコードに応じて、前記第２のブロックを所定の第２のクラスに分類し、
    前記第２のクラスごとに、所定の予測係数を記憶している予測係数記憶手段から、前記第２のブロックの第２のクラスに対応する前記予測係数を読み出し、前記符号化データと、前記予測係数とを用いて、元の画像の予測値を算出することにより、元の画像を復号するステップを含む
    画像処理方法。
13. 画像符号化装置が、
    画像を構成するブロックにおける画素のビット数を低減するための所定のコード化処理により前記ブロックがコード化されたものである所定のコードに応じて、前記ブロックを所定のクラスに分類し、
    前記クラスごとに、所定のマッピング係数を記憶しているマッピング係数記憶手段から、前記ブロックのクラスに対応する前記マッピング係数を読み出し、
    前記ブロックの各画素と、前記ブロックのクラスに対応する前記マッピング係数とを引数とする所定の関数値を演算することにより前記ブロックのうち、注目している注目画素を、その周辺の画素に基づいて補正したものである前記注目画素の補正データを算出し、 前記補正データの上位所定ビットのみを抽出することで、前記補正データのレベルを制限して、前記ブロックを符号化した符号化データとし、
    前記符号化データを送信するステップを
    含む伝送方法。
14. 画像を構成するブロックにおける画素のビット数を低減するための所定のコード化処理により前記ブロックがコード化されたものである所定のコードに応じて、前記ブロックを所定のクラスに分類し、
    前記クラスごとに、所定のマッピング係数を記憶しているマッピング係数記憶手段から、前記ブロックのクラスに対応する前記マッピング係数を読み出し、
    前記ブロックの各画素と、前記ブロックのクラスに対応する前記マッピング係数とを引数とする所定の関数値を演算することにより前記ブロックのうち、注目している注目画素を、その周辺の画素に基づいて補正したものである前記注目画素の補正データを算出し、 前記補正データの上位所定ビットのみを抽出することで、前記補正データのレベルを制限して、前記ブロックを符号化した符号化データとするステップを
    含む処理をコンピュータに行わせるためのプログラムが記録されている記録媒体。

Images