JP3912558B2 - 画像符号化装置および画像符号化方法、並びに記録媒体 - Google Patents
画像符号化装置および画像符号化方法、並びに記録媒体 Download PDFInfo
- Publication number
- JP3912558B2 JP3912558B2 JP20849897A JP20849897A JP3912558B2 JP 3912558 B2 JP3912558 B2 JP 3912558B2 JP 20849897 A JP20849897 A JP 20849897A JP 20849897 A JP20849897 A JP 20849897A JP 3912558 B2 JP3912558 B2 JP 3912558B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- class
- pixel
- pixels
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像符号化装置および画像符号化方法、並びに記録媒体に関する。特に、原画像とほぼ同一の復号画像が得られるように、画像を間引いて圧縮符号化する画像符号化装置および画像符号化方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
従来より、画像の圧縮方法については、種々の方法が提案されているが、そのうちの１つに、画像を、例えばその画素を間引くこと（Subsampling）により圧縮する方法がある。
【０００３】
【発明が解決しようとする課題】
しかしながら、このように間引いて圧縮した画像を、単純に補間により伸張した場合、その結果得られる復号画像の解像度が劣化する。
【０００４】
ここで、このように復号画像の解像度が劣化する原因として、第１に、間引い画像には、元の画像に含まれる高周波数成分が含まれていないことと、第２に、間引き後の画像を構成する画素の画素値が、元の画像を復元するのに、必ずしも適当でないこととが考えられる。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、原画像と同一（ほぼ同一）の復号画像が得られるように、画像を間引いて圧縮符号化することができるようにするものである。
【０００６】
【課題を解決するための手段】
請求項１に記載の画像符号化装置は、画像を構成する画素から注目している注目画素周辺の複数の画素を抽出し、抽出された複数の画素の性質に応じて注目画素を所定のクラスに分類する分類手段と、クラスごとに、画像を符号化するための所定のマッピング係数を記憶しているマッピング係数記憶手段と、画像の中の、注目している注目画素周辺の複数の画素と、注目画素のクラスに対応するマッピング係数とを引数とする所定の関数の演算を行うことにより、符号化された注目画素を、注目画素周辺の複数の画素の符号化データとして出力する演算手段とを備えることを特徴とする。
【０００７】
請求項３に記載の画像符号化方法は、画像を構成する画素から注目している注目位置周辺の複数の画素を抽出し、抽出された複数の画素の性質に応じて注目位置を所定のクラスに分類し、クラスごとに、画像を符号化するための所定のマッピング係数を記憶しているマッピング係数記憶手段から、画像の中の、注目している注目位置のクラスに対応するマッピング係数を読み出し、マッピング係数と、注目位置周辺の複数の画素とを引数とする所定の関数の演算を行うことにより、符号化された注目位置を、注目位置周辺の複数の画素の符号化データとして出力することを特徴とする。
【００１１】
請求項４に記載の記録媒体に記録されたプログラムは、画像を構成する画素から注目している注目画素周辺の複数の画素を抽出させ、抽出された複数の画素の性質に応じて所定のクラスに分類させ、クラスごとに、画像を符号化するための所定のマッピング係数を記憶しているマッピング係数記憶手段から、画像の中の、注目している注目画素のクラスに対応するマッピング係数を読み出させ、マッピング係数と、注目画素周辺の複数の画素とを引数とする所定の関数の演算を行なわせることにより、符号化された注目画素を、注目画素周辺の複数の画素の符号化データとして出力させることを特徴とする。
【００１２】
請求項１に記載の画像符号化装置においては、分類手段は、画像を構成する画素から注目している注目画素周辺の複数の画素を抽出し、抽出された複数の画素の性質に応じて注目画素を所定のクラスに分類し、マッピング係数記憶手段は、クラスごとに、画像を符号化するための所定のマッピング係数を記憶している。演算手段は、画像の中の、注目している注目画素周辺の複数の画素と、注目画素のクラスに対応するマッピング係数とを引数とする所定の関数の演算を行うことにより、符号化された注目画素を、注目画素周辺の複数の画素の符号化データとして出力するようになされている。
【００１３】
請求項３に記載の画像符号化方法においては、画像を構成する画素から注目している注目位置周辺の複数の画素を抽出し、抽出された複数の画素の性質に応じて注目位置を所定のクラスに分類し、クラスごとに、画像を符号化するための所定のマッピング係数を記憶しているマッピング係数記憶手段から、画像の中の、注目している注目位置のクラスに対応するマッピング係数を読み出し、マッピング係数と、注目位置周辺の複数の画素とを引数とする所定の関数の演算を行うことにより、符号化された注目位置を、注目位置周辺の複数の画素の符号化データとして出力するようになされている。
【００１７】
請求項４に記載の記録媒体に記録されたプログラムには、画像を構成する画素から注目している注目画素周辺の複数の画素を抽出させ、抽出された複数の画素の性質に応じて所定のクラスに分類させ、クラスごとに、画像を符号化するための所定のマッピング係数を記憶しているマッピング係数記憶手段から、画像の中の、注目している注目画素のクラスに対応するマッピング係数を読み出させ、そのマッピング係数と、注目画素周辺の複数の画素とを引数とする所定の関数の演算を行なわせることにより、符号化された注目画素を、注目画素周辺の複数の画素の符号化データとして出力させるようになされている。
【００１８】
【発明の実施の形態】
以下に、本発明の実施の形態を説明するが、その前に、特許請求の範囲に記載の発明の各手段と以下の実施の形態との対応関係を明らかにするために、各手段の後の括弧内に、対応する実施の形態（但し、一例）を付加して、本発明の特徴を記述すると、次のようになる。
【００１９】
即ち、請求項１に記載の画像符号化装置は、画像を符号化する画像符号化装置であって、画像を構成する画素から注目している注目画素周辺の複数の画素を抽出し、抽出された複数の画素の性質に応じて注目画素を所定のクラスに分類する分類手段（例えば、図２に示すクラス分類回路１３など）と、クラスごとに、画像を符号化するための所定のマッピング係数を記憶しているマッピング係数記憶手段（例えば、図２に示すマッピング係数メモリ１４など）と、画像の中の、注目している注目画素周辺の複数の画素と、注目画素のクラスに対応するマッピング係数とを引数とする所定の関数の演算を行うことにより、符号化された注目画素を、注目画素周辺の複数の画素の符号化データとして出力する演算手段（例えば、図２に示す演算回路１６など）とを備えることを特徴とする。
【００２０】
請求項３に記載の画像符号化方法は、画像を符号化する画像符号化方法であって、画像を構成する画素から注目している注目位置周辺の複数の画素を抽出し、抽出された複数の画素の性質に応じて注目位置を所定のクラスに分類し、クラスごとに、画像を符号化するための所定のマッピング係数を記憶しているマッピング係数記憶手段（例えば、図２に示すマッピング係数メモリ１４など）から、画像の中の、注目している注目位置のクラスに対応するマッピング係数を読み出し、マッピング係数と、注目位置周辺の複数の画素とを引数とする所定の関数の演算を行うことにより、符号化された注目位置を、注目位置周辺の複数の画素の符号化データとして出力することを特徴とする。
【００２５】
請求項４に記載の記録媒体に記録されたプログラムは、画像を符号化する処理をコンピュータに行わせるプログラムが記録されている記録媒体であって、画像を構成する画素から注目している注目画素周辺の複数の画素を抽出させ、抽出された複数の画素の性質に応じて所定のクラスに分類させ、クラスごとに、画像を符号化するための所定のマッピング係数を記憶しているマッピング係数記憶手段（例えば、図２に示すマッピング係数メモリ１４など）から、画像の中の、注目している注目画素のクラスに対応するマッピング係数を読み出させ、そのマッピング係数と、注目画素周辺の複数の画素とを引数とする所定の関数の演算を行なわせることにより、符号化された注目画素を、注目画素周辺の複数の画素の符号化データとして出力させることを特徴とする。
【００２６】
なお、勿論この記載は、各手段を上記したものに限定することを意味するものではない。
【００２７】
図１は、本発明を適用した画像処理システム（システムとは、複数の装置が論理的に集合したものをいい、各構成の装置が同一筐体中にあるか否かは問わない）の一実施の形態の構成を示している。送信装置１には、ディジタル化された画像データが供給されるようになされている。
【００２８】
送信装置１は、入力された画像データに対して、所定の演算処理を施すことで、その画素数を間引く（少なくする）ことにより圧縮、符号化し、その結果得られる符号化データを、例えば、光ディスクや、光磁気ディスク、磁気テープ、相変化ディスクその他でなる記録媒体２に記録し、または、例えば、地上波や、衛星回線、電話回線、ＣＡＴＶ網、インターネットその他の伝送路３を介して伝送する。
【００２９】
受信装置４では、記録媒体２に記録された符号化データが再生され、または、伝送路３を介して伝送されてくる符号化データが受信され、その符号化データが伸張、復号化される。そして、その結果得られる復号画像は、図示せぬディスプレイに供給されて表示される。
【００３０】
なお、以上のような画像処理システムは、例えば、光ディスク装置や、光磁気ディスク装置、磁気テープ装置その他の、画像の記録／再生を行う装置や、あるいはまた、例えば、テレビ電話装置や、テレビジョン放送システム、ＣＡＴＶシステムその他の、画像の伝送を行う装置などに適用される。また、図１の画像処理システムは、伝送レートの低い、例えば、携帯電話機その他の、移動に便利な携帯端末などにも適用可能である。
【００３１】
図２は、図１の送信装置１の構成例を示している。
【００３２】
ブロック化回路１１には、符号化すべき画像データが入力されるようになされており、ブロック化回路１１は、画像データを、その性質に応じて所定のクラス（第１のクラス）に分類するための単位である、例えば、注目される画素を中心とする複数の画素で構成されるクラス分類用ブロックにブロック化し、ＡＤＲＣ（Adaptive Dynamic Range Coding）処理回路１２および遅延回路１５に供給するようになされている。
【００３３】
ＡＤＲＣ処理回路１２は、ブロック化回路１１からのブロック（クラス分類用ブロック）に対してＡＤＲＣ処理を施し、その結果得られるＡＤＲＣコードで構成されるブロックを、クラス分類回路１３に供給するようになされている。
【００３４】
ここで、ＡＤＲＣ処理よれば、クラス分類用ブロックを構成する画素のビット数が低減されるようになされている。
【００３５】
即ち、例えば、いま、説明を簡単にするため、図３（Ａ）に示すように、直線上に並んだ４画素で構成されるブロックを考えると、ＡＤＲＣ処理においては、その画素値の最大値ＭＡＸと最小値ＭＩＮが検出される。そして、ＤＲ＝ＭＡＸ−ＭＩＮを、ブロックの局所的なダイナミックレンジとし、このダイナミックレンジＤＲに基づいて、ブロックを構成する画素の画素値がＫビットに再量子化される。
【００３６】
即ち、ブロック内の各画素値から、最小値ＭＩＮを減算し、その減算値をＤＲ／２Kで除算する。そして、その結果得られる除算値に対応するコード（ＡＤＲＣコード）に変換される。具体的には、例えば、Ｋ＝２とした場合、図３（Ｂ）に示すように、除算値が、ダイナミックレンジＤＲを４（＝２2）等分して得られるいずれの範囲に属するかが判定され、除算値が、最も下のレベルの範囲、下から２番目のレベルの範囲、下から３番目のレベルの範囲、または最も上のレベルの範囲に属する場合には、それぞれ、例えば、００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂなどの２ビットにコード化される（Ｂは２進数であることを表す）。そして、復号側においては、ＡＤＲＣコード００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂは、ダイナミックレンジＤＲを４等分して得られる最も下のレベルの範囲の中心値Ｌ00、下から２番目のレベルの範囲の中心値Ｌ01、下から３番目のレベルの範囲の中心値Ｌ10、または最も上のレベルの範囲の中心値Ｌ11にそれぞれ変換され、その値に、最小値ＭＩＮが加算されることで復号が行われる。
【００３７】
以上のようなＡＤＲＣ処理によれば、ブロックを構成する画素に割り当てられているビット数より少ないビット数で再量子化を行うことで、そのビット数を低減することができる。
【００３８】
ここで、このようなＡＤＲＣ処理はノンエッジマッチングと呼ばれる。
【００３９】
なお、ＡＤＲＣ処理については、本件出願人が先に出願した、例えば、特開平３−５３７７８号公報などに、その詳細が開示されている。
【００４０】
図２に戻り、クラス分類回路１３は、ＡＤＲＣ処理回路１２からのブロックを、その性質に応じて所定のクラスに分類するクラス分類処理を行い、そのブロックがいずれのクラスに属するかを、クラス情報として、マッピング係数メモリ１４に供給するようになされている。
【００４１】
ここで、クラス分類処理について説明する。いま、例えば、図４（Ａ）に示すように、ある注目画素と、それに隣接する３つの画素により、２×２画素でなるブロック（クラス分類用ブロック）を構成し、また、各画素は、１ビットで表現される（０または１のうちのいずれかのレベルをとる）ものとする。この場合、２×２の４画素のブロックは、各画素のレベル分布により、図４（Ｂ）に示すように、１６（＝（２1）4）パターンに分類することができる。即ち、注目画素の分類を行うことができ、このようなパターン分けが、クラス分類処理であり、クラス分類回路１３において行われる。
【００４２】
なお、クラス分類処理は、画像（ブロック内の画像）のアクティビティ（画像の複雑さ）（変化の激しさ）（動き量）などをも考慮して行うようにすることが可能である。
【００４３】
ここで、符号化すべき画像データに、例えば８ビットが割り当てられている場合において、クラス分類用ブロックが、例えば３×３の９画素で構成されるときに、そのようなクラス分類用ブロックを対象にクラス分類処理を行ったのでは、（２8）9という膨大な数のクラスに分類されることになる。
【００４４】
そこで、上述したように、ＡＤＲＣ処理回路１２において、クラス分類用ブロックに対して、ＡＤＲＣ処理が施されるようになされており、これにより、クラス分類用ブロックを構成する画素のビット数を低減し、さらに、クラス数も削減するようになされている。即ち、ＡＤＲＣ処理回路１２において、例えば１ビットのＡＤＲＣ処理が行われるとした場合には、クラス数は、（２8）9から（２1）9、即ち、５１２に低減される。
【００４５】
なお、本実施の形態では、クラス分類回路１３において、ＡＤＲＣ処理回路１２から出力されるＡＤＲＣコードに基づいて、クラス分類処理が行われるが、クラス分類処理は、その他、例えば、ＤＰＣＭ（予測符号化）や、ＢＴＣ（Block Truncation Coding）、ＶＱ（ベクトル量子化）、ＤＣＴ（離散コサイン変換）、アダマール変換などを施したデータを対象に行うようにすることも可能である。
【００４６】
再び、図２に戻り、マッピング係数メモリ１４は、後述するような学習（マッピング係数学習）により得られるマッピング係数を、クラス情報ごとに記憶しており、クラス分類回路１３から供給されるクラス情報をアドレスとして、そのアドレスに記憶されているマッピング係数を読み出し、演算回路１６に供給するようになされている。
【００４７】
遅延回路１５は、ブロック化回路１１から供給されるブロックを、そのブロックのクラス情報に対応するマッピング係数が、マッピング係数メモリ１４から読み出されるまで遅延し、演算回路１６に供給するようになされている。
【００４８】
演算回路１６は、遅延回路１５から供給されるブロックを構成する画素の画素値と、マッピング係数メモリ１４から供給される、そのブロックのクラスに対応するマッピング係数とを用いて所定の演算を行うことにより、画像を、その画素数を間引いて（少なくして）符号化した符号化データを算出するようになされている。即ち、演算回路１６は、ブロック化回路１１が出力するブロックを構成する各画素の画素値をｙ1，ｙ2，・・・とするとともに、マッピング係数メモリ１４が出力する、そのブロックのクラスに対応するマッピング係数をｋ1，ｋ2，・・・とするとき、それらを引数とする所定の関数値ｆ（ｙ1，ｙ2，・・・，ｋ1，ｋ2，・・・）を演算し、その関数値ｆ（ｙ1，ｙ2，・・・，ｋ1，ｋ2，・・・）を、ブロック化回路１１が出力するブロック（クラス分類用ブロック）を構成する画素のうちの、例えば中心の画素の画素値として出力するようになされている。
【００４９】
従って、ブロック化回路１１が出力するクラス分類用ブロックを構成する画素数をＮとすると、演算回路１６は、画像データを１／Ｎに間引き、これを、符号化データとして出力するようになされている。
【００５０】
なお、演算回路１６が出力する符号化データは、Ｎ画素で構成されるブロックの中心の画素を抽出して出力するような、いわば単純な間引き処理により得られるものではなく、上述したように、そのブロックを構成するＮ画素により規定される関数値ｆ（ｙ1，ｙ2，・・・，ｋ1，ｋ2，・・・）であるが、この関数値ｆ（ｙ1，ｙ2，・・・，ｋ1，ｋ2，・・・）は、見方を変えれば、単純な間引き処理により得られる、ブロックの中心の画素の画素値を、その周辺の画素値に基づいて補正したものと考えることができる。そこで、マッピング係数と、ブロックを構成する画素との演算の結果得られるデータである符号化データを、以下、適宜、補正データともいう。
【００５１】
また、演算回路１６における演算処理は、ブロック化回路１１が出力するクラス分類用ブロックを構成する各画素の画素値を、関数値ｆ（ｙ1，ｙ2，・・・，ｋ1，ｋ2，・・・）にマッピング（写像）する処理とも考えることができる。そこで、そのような処理に用いられる係数ｋ1，ｋ2，・・・をマッピング係数と呼んでいる。
【００５２】
送信機／記録装置１７は、演算回路１６から符号化データとして供給される補正データを、記録媒体２に記録し、または伝送路３を介して伝送するようになされている。
【００５３】
次に、図５のフローチャートを参照して、その動作について説明する。
【００５４】
ブロック化回路１１には、例えば、１フレーム単位で画像データが供給されるようになされており、ブロック化回路１１では、ステップＳ１において、１フレームの画像が、クラス分類用ブロックにブロック化される。即ち、ブロック化回路１１は、例えば、図６に四角形で囲んで示すように、画像データを、注目画素（図６の実施の形態では、同図に●印で示す横および縦に２個おきの画素が注目画素になり得る）を中心とした３×３（横×縦）の９画素でなるクラス分類用ブロックに分割し、ＡＤＲＣ処理回路１２および遅延回路１５に、順次供給する。
【００５５】
なお、この場合、クラス分類用ブロックは、３×３画素でなる正方形状のブロックで構成されることとなるが、クラス分類用ブロックの形状は、正方形である必要はなく、その他、例えば、長方形や、十文字形、その他の任意な形とすることが可能である。また、クラス分類用ブロックを構成する画素数も、３×３の９画素に限定されるものではない。さらに、クラス分類用ブロックは、隣接する画素どうしで構成するのではなく、離れた画素どうしで構成するようにすることも可能である。但し、その形状および画素数は、後述する学習（マッピング係数学習）時における場合のものと一致している必要がある。
【００５６】
ＡＤＲＣ処理回路１２は、ブロック化回路１１からクラス分類用ブロックを受信すると、ステップＳ２において、そのブロックに対して、例えば、１ビットのＡＤＲＣ処理を施し、これにより、１ビットで表現される画素で構成されるブロックとする。ＡＤＲＣ処理の施されたクラス分類用ブロックは、クラス分類回路１３に供給される。
【００５７】
クラス分類回路１３では、ステップＳ３において、ＡＤＲＣ処理回路１２からのクラス分類用ブロックがクラス分類され、その結果得られるクラス情報が、マッピング係数メモリ１４に、アドレスとして供給される。これにより、マッピング係数メモリ１４からは、クラス分類回路１３より供給されたクラス情報に対応するマッピング係数が読み出され、演算回路１６に供給される。
【００５８】
一方、遅延回路１５では、ブロック化回路１１からのクラス分類用ブロックが遅延され、そのブロックのクラス情報に対応するマッピング係数が、マッピング係数メモリ１４から読み出されるのを待って、演算器１６に供給される。演算器１６では、ステップＳ４において、遅延回路１５からのクラス分類用ブロックを構成する各画素の画素値と、マッピング係数メモリ１４からのマッピング係数を用いて、上述した関数値ｆ（・）（この関数ｆのかっこ内の・は、画素値ｙ1，ｙ2，・・・と、マッピング係数ｋ1，ｋ2，・・・の集合を表すものとする）が演算されることにより、クラス分類用ブロックを構成する中心の画素（中心画素）の画素値を補正した補正データが算出される。この補正データは、画像を符号化した符号化データとして、送信機／記録装置１７に供給される。
【００５９】
送信機／記録装置１７では、ステップＳ５において、演算回路１６からの符号化データが、記録媒体２に記録され、または伝送路３を介して伝送される。
【００６０】
そして、ステップＳ６に進み、１フレーム分の画像データについての処理が終了したかどうかが判定される。ステップＳ６において、１フレーム分の画像データについての処理が、まだ終了していないと判定された場合、ステップＳ２に戻り、次のクラス分類用ブロックを対象に、ステップＳ２以下の処理が繰り返される。また、ステップＳ６において、１フレーム分の画像データについての処理が終了したと判定された場合、ステップＳ１に戻り、次のフレームを対象に、ステップＳ１以下の処理が繰り返される。
【００６１】
次に、図７は、図２のマッピング係数メモリ１４に記憶されているマッピング係数を算出するための学習（マッピング係数学習）処理を行う画像処理装置の第１の構成例を示している。
【００６２】
メモリ２１には、学習に適したディジタル画像データ（以下、適宜、学習用画像という）が１フレーム以上記憶されている。ブロック化回路２２は、メモリ２１に記憶されている画像データを読み出し、図２のブロック化回路１１から出力されるクラス分類用ブロックと同一のブロックを構成して、ＡＤＲＣ処理回路２３および演算回路２６に供給するようになされている。
【００６３】
ＡＤＲＣ処理回路２３またはクラス分類回路２４は、図２のＡＤＲＣ処理回路１２またはクラス分類回路１３における場合とそれぞれ同様の処理を行うようになされている。従って、クラス分類回路２４からは、ブロック化回路２２が出力するブロックのクラス情報が出力されるようになされている。そして、このクラス情報は、マッピング係数メモリ３１に、アドレスとして供給されるようになされている。
【００６４】
演算器２６は、ブロック化回路２２から供給されるブロックを構成する画素と、マッピング係数メモリ３１から供給されるマッピング係数とを用いて、図２の演算回路１６における場合と同一の演算を行い、その結果得られる補正データ（関数値ｆ（・））を、ローカルデコード部２７に供給するようになされている。
【００６５】
ローカルデコード部２７は、演算回路２６から供給される補正データに基づいて、元の学習用画像の予測値（ブロック化回路２２が出力するブロックを構成する画素の画素値の予測値）を予測し（算出し）、誤差算出部２８に供給するようになされている。誤差算出部２８は、ローカルデコード部２７から供給される予測値に対応する学習用画像の画素値（真値）をメモリ２１から読み出し、その学習用画像の画素値に対する、予測値の予測誤差を算出（検出）し、その予測誤差を、誤差情報として、判定部２９に供給するようになされている。
【００６６】
判定部２９は、誤差算出部２８からの誤差情報と、所定の閾値ε１とを比較し、その比較結果に対応して、マッピング係数設定回路３０を制御するようになされている。マッピング係数設定回路３０は、判定部２９の制御にしたがって、クラス分類回路２４におけるクラス分類の結果得られるクラス数と同一の数のマッピング係数のセットを設定（変更）し、マッピング係数メモリ３１に供給するようになされている。
【００６７】
マッピング係数メモリ３１は、マッピング係数設定回路３０から供給されるマッピング係数を一時記憶するようになされている。なお、マッピング係数メモリ３１は、クラス分類回路２４においてクラス分類されるクラスの数だけのマッピング係数（マッピング係数のセット）を記憶することのできる記憶領域を有しており、各記憶領域においては、マッピング係数設定回路３０から、新たなマッピング係数が供給されると、既に記憶しているマッピング係数に代えて、その新たなマッピング係数が記憶されるようになされている。
【００６８】
また、マッピング係数メモリ３１は、クラス分類回路２４から供給されるクラス情報に対応するアドレスに記憶されたマッピング係数を読み出し、演算回路２６に供給するようにもなされている。
【００６９】
次に、図８のフローチャートを参照して、その動作について説明する。
【００７０】
まず最初に、マッピング係数設定回路３０は、ステップＳ５１においてマッピング係数の初期値のセットを、クラス分類回路２４においてクラス分類されるクラスの数だけ設定し、マッピング係数メモリ３１に供給する。マッピング係数メモリ３１では、マッピング係数設定回路３０からのマッピング係数（初期値）が、対応するクラスのアドレスに記憶される。
【００７１】
そして、ブロック化回路２２は、ステップＳ５２において、メモリ２１に記憶されている学習用画像すべてを、図２のブロック化回路１１における場合と同様に、注目画素を中心に３×３画素のブロックにブロック化する。さらに、ブロック化回路２１は、そのブロックを、メモリ２１から読み出し、ＡＤＲＣ処理回路２３および演算回路２６に順次供給する。
【００７２】
ＡＤＲＣ処理回路２３では、ステップＳ５３において、ブロック化回路２２からのブロックに対して、図２のＡＤＲＣ処理回路１２における場合と同様に、１ビットのＡＤＲＣ処理が施され、クラス分類回路２４に供給される。クラス分類回路２４では、ステップＳ５４において、ＡＤＲＣ処理回路２３から供給されたブロックのクラスが決定され、そのクラス情報が、アドレスとして、マッピング係数メモリ３１に供給される。これにより、ステップＳ５５において、マッピング係数メモリ３１の、クラス分類回路２４から供給されるクラス情報に対応するアドレスから、マッピング係数が読み出され、演算回路２６に供給される。
【００７３】
演算回路２６は、ブロック化回路２２からブロックを受信するとともに、マッピング係数メモリ３１から、そのブロックのクラスに対応するマッピング係数を受信すると、ステップＳ５６において、そのマッピング係数と、ブロック化回路２２から供給されるブロックを構成する画素の画素値とを用いて、上述の関数値ｆ（・）を演算する。この演算結果は、ブロック化回路２２から供給されるブロックの中心画素の画素値を補正した補正データとして、ローカルデコード部２７に供給される。
【００７４】
即ち、例えば、上述の図６において、四角形で囲んで示すような３×３画素のブロックが、ブロック化回路２２から出力されたものとすると、演算回路２６では、同図において●印で示す画素の画素値を補正した補正データが求められ、ローカルデコード部２７に出力される。
【００７５】
従って、演算回路２６では、学習用画像を構成する画素数が、１／９に間引かれ、ローカルデコード部２７に供給される。
【００７６】
ここで、図６において、上からｉ番目で、左からｊ番目の●印で示す画素に対応する補正データをＸijと表すととともに、その補正データＸijを中心とする、元の学習用画像（原画像）における３×３の９画素の画素値を、その最も左から右方向、かつ上から下方向に、Ｙij（１），Ｙij（２），Ｙij（３），Ｙij（４），Ｙij（５），Ｙij（６），Ｙij（７），Ｙij（８），Ｙij（９）と表すこととする。
【００７７】
図８に戻り、ステップＳ５６で補正データが算出された後は、ステップＳ５７に進み、メモリ２１に記憶されたすべての学習用画像についての補正データが求められたかどうかが判定される。ステップＳ５７において、すべての学習用画像についての補正データが、まだ求められていないと判定された場合、ステップＳ５３に戻り、すべての学習用画像についての補正データが求められるまで、ステップＳ５３乃至Ｓ５７の処理を繰り返す。
【００７８】
また、ステップＳ５７において、すべての学習用画像についての補正データが求められたと判定された場合、即ち、メモリ２１に記憶されたすべての学習用画像を、１／９に間引いた間引き画像が得られた場合（但し、この間引き画像は、学習用画像を、単純に１／９に間引いたものではなく、マッピング係数との演算により画素値が求められたものである）、ステップＳ５８に進み、ローカルデコード部２７において、その間引き画像がローカルデコードされることにより、元の学習用画像の予測値が算出される。この予測値は、誤差算出部２８に供給される。
【００７９】
ここで、このローカルデコード部２７において得られる予測値で構成される画像（但し、後述するように、誤差情報算出部２８から出力される誤差情報が閾値ε１より小さくなったときにおけるもの）は、受信装置４（図１）側において得られる復号画像と同一のものである。
【００８０】
誤差算出部２８では、ステップＳ５９において、メモリ２１から学習用画像が読み出され、その学習用画像に対する、ローカルデコード部２７から供給される予測値の予測誤差が算出される。即ち、学習用画像の画素値をＹijと表すとともに、ローカルデコード部２７から出力される、その予測値をＥ［Ｙij］と表すとき、誤差算出部２８では、次式で示される誤差分散（誤差の自乗和）Ｑが算出され、これが、誤差情報として、判定部２９に供給される。
【００８１】
Ｑ＝Σ（Ｙij−Ｅ［Ｙij］）2
但し、上式において、Σは、学習用画像の画素すべてについてのサメーションを表す。
【００８２】
判定部２９は、誤差算出部２８から誤差情報を受信すると、その誤差情報と所定の閾値ε１とを比較し、ステップＳ６０において、その大小関係を判定する。ステップＳ６０において、誤差情報が閾値ε１以上であると判定された場合、即ち、ローカルデコード部２７において得られる予測値で構成される画像が、元の学習用画像と同一であるとは認められない場合、判定部２９は、マッピング係数設定回路３０に制御信号を出力する。マッピング係数設定回路３０は、ステップＳ６１において、判定部２９からの制御信号にしたがい、マッピング係数を変更し、その変更後のマッピング係数を、マッピング係数メモリ３１に新たに記憶させる。
【００８３】
そして、ステップＳ５３に戻り、マッピング係数メモリ３１に記憶された、変更後のマッピング係数を用いて、再び、ステップＳ５３以下の処理が繰り返される。
【００８４】
ここで、マッピング係数設定回路３０における、マッピング係数の変更は、ランダムに行っても良いし、また、今回の誤差情報が、前回の誤差情報より小さくなった場合には、前回と同様の傾向で変化させ、今回の誤差情報が、前回の誤差情報より大きくなった場合には、前回と逆の傾向で変化させるようにすることもできる。
【００８５】
さらに、マッピング係数の変更は、すべてのクラスについて行うようにすることもできるし、その一部のクラスについてだけ行うようにすることもできる。一部のクラスについてのマッピング係数だけの変更を行う場合においては、例えば、誤差情報に対する影響の強いクラスを検出させ、そのようなクラスについてのマッピング係数だけを変更するようにすることができる。誤差情報に対する影響の強いクラスは、例えば、次のようにして検出することができる。即ち、まず最初に、マッピング係数の初期値を用いて処理を行うことにより、その誤差情報を得る。そして、マッピング係数を、１クラスごとに同一の量だけ変化させ、その結果得られる誤差情報を、初期値を用いた場合に得られた誤差情報と比較し、その差が、所定値以上となるクラスを、誤差情報に対する影響の強いクラスとして検出すれば良い。
【００８６】
また、マッピング係数が、上述したｋ１，ｋ２，・・・のように複数で１セットとされている場合には、その中の誤差情報に対する影響の強いものだけを変更させるようにすることもできる。
【００８７】
さらに、上述の場合においては、マッピング係数を、クラスごとに設定するようにしたが、マッピング係数は、その他、例えば、ブロックごとに独立して設定したり、また、近接するブロック単位などで設定したりするようにすることが可能である。
【００８８】
但し、マッピング係数を、例えば、ブロックごとに独立して設定するようにした場合などにおいては、ある１つのクラスに対して、複数セットのマッピング係数が得られることがある（この逆に、マッピング係数が、１セットも得られないクラスが生じることもある）。マッピング係数は、最終的には、クラスごとに決める必要があるため、上述のように、あるクラスに対して、複数セットのマッピング係数が得られた場合には、複数セットのマッピング係数を対象に、何らかの処理を行うことで、１セットのマッピング係数を決める必要がある。
【００８９】
一方、ステップＳ６０において、誤差情報が閾値ε１より小さいと判定された場合、即ち、ローカルデコード部２７において得られる予測値で構成される画像が、元の学習用画像と同一であると認められる場合、処理を終了する。
【００９０】
この時点で、マッピング係数メモリ３１に記憶されている、クラスごとのマッピング係数が、もとの画像と同一と認められる復号画像（予測値）を復元することができる補正データを得るために最適なものとして、図２のマッピング係数メモリ１４にセットされている。
【００９１】
従って、このようなマッピング係数を用いて補正データを生成することで、受信装置４（図１）側においては、元の画像とほぼ同一の画像を得ることが可能となる。
【００９２】
なお、図７の実施の形態においては、上述したように、ブロック化回路２２において、画像が、注目画素を中心として３×３の９画素にブロック化され、また、ＡＤＲＣ処理回路２３において、１ビットのＡＤＲＣ処理が行われるので、クラス分類回路２４によるクラス分類により得られるクラス数は５１２（＝（２1）9）であり、従って、５１２セットのマッピング係数が得られる。
【００９３】
次に、図９は、図７のローカルデコード部２７の構成例を示している。
【００９４】
演算回路２６からの補正データは、クラス分類用ブロック化回路４１および予測値計算用ブロック化回路４２に供給されるようになされている。クラス分類用ブロック化回路４１は、補正データを、その性質に応じて所定のクラスに分類するための単位である、注目補正データを中心としたクラス分類用ブロックにブロック化するようになされている。
【００９５】
即ち、上述したように、図６において、上からｉ番目で、左からｊ番目の補正データ（圧縮データ）（画素）（図中、●印で示す部分）をＸijと表すとすると、クラス分類用ブロック化回路４１は、例えば、注目補正データＸijの左上、上、右上、左、右、左下、下、右下に隣接する８つの補正データＸ(i-1)(j-1)，Ｘ(i-1)j，Ｘ(i-1)(j+1)，Ｘi(j-1)，Ｘi(j+1)，Ｘ(i-1)(j-1)，Ｘ(i-1)j，Ｘ(i+1)(j+1)に、自身を含め、合計９画素で構成されるクラス分類用ブロックを生成するようになされている。このクラス分類用ブロックは、ＡＤＲＣ処理回路４３に供給されるようになされている。
【００９６】
なお、図９のクラス分類用ブロック化回路４１において得られるクラス分類用ブロックは、予測値を求めるブロックのクラス（第２のクラス）を決定するために構成されるものであり、この点で、補正データを算出するブロックのクラス（第１のクラス）を決定するために、図２のブロック化回路１１で生成されるものとは異なる。
【００９７】
予測値計算用ブロック化回路４２は、補正データを、元の画像（ここでは、学習用画像）の予測値を計算するための単位である、注目補正データを中心とした予測値計算用ブロックにブロック化するようになされている。即ち、本実施の形態においては、例えば、補正データＸijを中心とする、元の画像（原画像）における３×３の９画素の画素値Ｙij（１），Ｙij（２），Ｙij（３），Ｙij（４），Ｙij（５），Ｙij（６），Ｙij（７），Ｙij（８），Ｙij（９）の予測値が、画素Ｘijを中心とする５×５の２５画素Ｘ(i-2)(j-2)，Ｘ(i-2)(j-1)，Ｘ(i-2)j，Ｘ(i-2)(j+1)，Ｘ(i-2)(j+2)，Ｘ(i-1)(j-2)，Ｘ(i-1)(j-1)，Ｘ(i-1)j，Ｘ(i-1)(j+1)，Ｘ(i-1)(j+2)，Ｘi(j-2)，Ｘi(j-1)，Ｘij，Ｘi(j+1)，Ｘi(j+2)，Ｘ(i+1)(j-2)，Ｘ(i+1)(j-1)，Ｘ(i+1)j，Ｘ(i+1)(j+1)，Ｘ(i+1)(j+2)，Ｘ(i+2)(j-2)，Ｘ(i+2)(j-1)，Ｘ(i+2)j，Ｘ(i+2)(j+1)，Ｘ(i+2)(j+2)から求められるようになされており、予測値計算用ブロック化回路４２は、このような２５画素で構成される正方形状の予測値計算用ブロックを生成するようになされている。
【００９８】
具体的には、例えば、図６において四角形で囲む、元の画像における画素Ｙ33（１）乃至Ｙ33（９）の予測値の計算のためには、２５の画素（補正データ）Ｘ11，Ｘ12，Ｘ13，Ｘ14，Ｘ15，Ｘ21，Ｘ22，Ｘ23，Ｘ24，Ｘ25，Ｘ31，Ｘ32，Ｘ33，Ｘ34，Ｘ35，Ｘ41，Ｘ42，Ｘ43，Ｘ44，Ｘ45，Ｘ51，Ｘ52，Ｘ53，Ｘ54，Ｘ55により、予測値計算用ブロックが構成される。
【００９９】
予測値計算用ブロック化回路４２において得られた予測値計算用ブロックは、予測回路４６に供給されるようになされている。
【０１００】
なお、予測値計算用ブロックについても、クラス分類用ブロックにおける場合と同様に、その画素数および形状は、上述したものに限定されるものではない。但し、ローカルデコード部２７において、予測値計算用ブロックを構成する画素数は、クラス分類用ブロックを構成する画素数よりも多くするのが望ましい。
【０１０１】
また、上述のようなブロック化を行う場合において（ブロック化以外の処理についても同様）、画像の画枠付近では、対応する画素が存在しないことがあるが、この場合には、例えば、画枠を構成する画素と同一の画素が、その外側に存在するものとして処理を行う。
【０１０２】
ＡＤＲＣ処理回路４３は、クラス分類用ブロック化回路４１が出力するブロック（クラス分類用ブロック）に対して、例えば、１ビットのＡＤＲＣ処理を施し、クラス分類回路４４に供給するようになされている。クラス分類回路４４は、ＡＤＲＣ処理回路４３からのブロックをクラス分類し、その分類結果としてのクラス情報を、予測係数ＲＯＭ４５に供給するようになされている。予測係数ＲＯＭ４５は、クラスごとの予測係数を記憶しており、クラス分類回路４４からクラス情報を受信すると、そのクラス情報に対応するアドレスに記憶されている予測係数を読み出し、予測回路４６に供給するようになされている。なお、予測係数ＲＯＭ４５に記憶されているクラスごとの予測係数は、後述する学習（予測係数学習）により得られたものである。
【０１０３】
予測回路４６は、予測値計算用ブロック化回路４２からの予測値計算用ブロックと、予測係数ＲＯＭ４５からの予測係数とを用いて、元の画像（学習用画像）の予測値を算出（予測）するようになされている。
【０１０４】
次に、図１０のフローチャートを参照して、その動作について説明する。
【０１０５】
ローカルデコード部２７においては、まず最初に、ステップＳ２１において、演算回路２６からの補正データが順次受信されてブロック化される。即ち、クラス分類用ブロック化回路４１において、補正データが、注目補正データを中心とする３×３画素のクラス分類用ブロックにブロック化され、ＡＤＲＣ処理回路４３に供給されるとともに、予測値計算用ブロック化回路４２において、補正データが、注目補正データを中心とする５×５画素の予測値計算用ブロックにブロック化され、予測回路４６に供給される。
【０１０６】
なお、クラス分類用ブロック化回路４１と予測値計算用ブロック化回路４２では、対応するクラス分類用ブロックと予測値計算用ブロックが生成される。即ち、クラス分類用ブロック化回路４１において、例えば図６の補正データＸ33を中心とする３×３画素のクラス分類用ブロックが生成されるとき、予測値計算用ブロックにおいては、同じく補正データＸ33を中心とする５×５画素の予測値計算用ブロックが生成される（補正データＸ33を注目補正データとしてクラス分類用ブロックが構成されるとき、予測値計算用ブロックも、補正データＸ33を注目補正データとして構成される）。
【０１０７】
ＡＤＲＣ処理回路４３は、クラス分類用ブロックを受信すると、ステップＳ２２において、そのクラス分類用ブロックに対して、例えば、１ビットのＡＤＲＣ（１ビットで再量子化を行うＡＤＲＣ）処理を施し、これにより、クラス分類用ブロックを構成する補正データを、１ビットに変換（符号化）して、クラス分類回路４４に出力する。クラス分類回路４４は、ステップＳ２３において、ＡＤＲＣ処理が施されたクラス分類用ブロックに対して、クラス分類処理を施す。即ち、クラス分類用ブロックを構成する各画素のレベル分布の状態を検出し、そのクラス分類用ブロックが属するクラス（そのクラス分類用ブロックを構成する注目画素（注目補正データ）のクラス）を判定する。このクラスの判定結果は、クラス情報として、予測係数ＲＯＭ４５に供給される。
【０１０８】
なお、図１０の実施の形態においては、１ビットのＡＤＲＣ処理が施された３×３の９画素で構成されるクラス分類用ブロックに対して、クラス分類処理が施されるので、各クラス分類用ブロックは、５１２（＝（２1）9）のクラスのうちのいずれかに分類されることになる。
【０１０９】
そして、ステップＳ２４に進み、予測係数ＲＯＭ４５の、クラス分類回路４４からのクラス情報に対応するアドレスから予測係数が読み出され、ステップＳ２５において、予測回路４６は、その予測係数と、予測値計算用ブロック化回路４２からの予測値計算用ブロックを構成する２５の画素値とを用い、例えば、次のような線形１次式にしたがって、元の画像の画素値ｙの予測値Ｅ［ｙ］を算出する。
【０１１０】
Ｅ［ｙ］＝ｗ1ｘ1＋ｗ2ｘ2＋・・・
但し、ｗ1，ｗ2，・・・は予測係数を表し、ｘ1，ｘ2，・・・は予測値計算用ブロックを構成する画素の画素値（補正データ）を表す。
【０１１１】
ここで、図９の実施の形態においては、上述したように、予測値計算用ブロックを構成する２５画素から、９画素の予測値が算出されるようになされている。
【０１１２】
即ち、例えば、いま、図６に示した補正データＸ33を中心とする３×３の補正データＸ22乃至Ｘ24，Ｘ32乃至Ｘ34，Ｘ42乃至Ｘ44でなるクラス分類用ブロックについてのクラス情報Ｃが、クラス分類回路４４から出力され、また、予測値計算用ブロックとして、補正データＸ33を中心とする５×５画素の補正データＸ11乃至Ｘ15，Ｘ21乃至Ｘ25，Ｘ31乃至，Ｘ35，Ｘ41乃至Ｘ45，Ｘ51乃至Ｘ55でなる予測値計算用ブロックが、予測値計算用ブロック化回路４２から出力されたものとする。
【０１１３】
さらに、予測係数ＲＯＭ４５には、クラス情報Ｃに対応するアドレスに、予測係数のセットとして、ｗ1（ｋ）乃至ｗ25（ｋ）が記憶されているものとする。
【０１１４】
この場合、補正データＸ33を中心とする、元の画像における３×３画素（図６において四角形で囲んである部分）の画素値Ｙ33（１）乃至Ｙ33（９）の予測値Ｅ［Ｙ33（１）］乃至Ｅ［Ｙ33（９）］は、次式にしたがって算出される。
【０１１５】
【０１１６】
ステップＳ２５において、以上のようにして予測値が、９個単位で、例えば１フレーム分だけ求められると、ステップＳ２６に進み、その１フレーム分の予測値が、誤差算出部２８に供給される。そして、次の補正データが供給されるのを待って、ステップＳ２１に戻り、以下、ステップＳ２１乃至Ｓ２６の処理が繰り返される。
【０１１７】
次に、図１１は、図９の予測係数ＲＯＭ４５に記憶されている予測係数を得るための学習（予測係数学習）を行う画像処理装置の構成例を示している。
【０１１８】
学習用ブロック化回路５１および教師用ブロック化回路５２には、あらゆる画像に適用可能な予測係数を得るための学習用の画像データ（学習用画像）が供給されるようになされている。
【０１１９】
学習用ブロック化回路５１は、入力される画像データから、注目画素を中心とした、図６に●印で示した位置関係の２５画素（５×５画素）を抽出し、この２５画素で構成されるブロックを、学習用ブロックとして、ＡＤＲＣ処理５３および学習データメモリ５６に供給する。
【０１２０】
また、教師用ブロック化回路５２では、入力される画像データから、例えば、注目画素を中心として３×３の９画素で構成されるブロックが生成され、教師用ブロックとして、教師データメモリ５８に供給される。
【０１２１】
なお、学習用ブロック化回路５１において、例えば、図６に●印で示した位置関係の２５画素で構成される学習用ブロックが生成されるとき、教師用ブロック化回路５２では、周囲を四角形で囲んで示す３×３画素の教師用ブロックが生成されるようになされている。
【０１２２】
ＡＤＲＣ処理回路５３は、学習用ブロックを構成する２５画素から、その中心の９画素（３×３画素）を抽出し、これにより、図９のクラス分類用ブロック化回路４１が出力するクラス分類用ブロックと同一のブロックを構成する。さらに、ＡＤＲＣ処理回路５３は、その９画素でなるブロックに対して、図９のＡＤＲＣ処理回路４３における場合と同様に、１ビットのＡＤＲＣ処理を施す。ＡＤＲＣ処理の施された、３×３画素のブロックは、クラス分類回路５４に供給される。クラス分類回路５４では、図９のクラス分類回路４４における場合と同様にして、ＡＤＲＣ処理回路５３からのブロックがクラス分類処理され、それにより得られるクラス情報が、スイッチ５５の端子ａを介して、学習データメモリ５６および教師データメモリ５８に供給される。
【０１２３】
学習データメモリ５６または教師データメモリ５８では、そこに供給されるクラス情報に対応するアドレスに、学習用ブロック化回路５１からの学習用ブロックまたは教師用ブロック化回路５２からの教師用ブロックが、それぞれ記憶される。
【０１２４】
従って、学習データメモリ５６において、例えば、図６に●印で示した５×５画素でなるブロックが学習用ブロックとして、あるアドレスに記憶されたとすると、教師データメモリ５８においては、そのアドレスと同一のアドレスに、同図において、四角形で囲んで示す３×３画素のブロックが、教師用ブロックとして記憶される。
【０１２５】
以下、同様の処理が、あらかじめ用意されたすべての学習用の画像について繰り返され、これにより、学習用ブロックと、図９のローカルデコード部２７において、その学習用ブロックを構成する２５画素と同一の位置関係を有する補正データで構成される予測値計算用ブロックを用いて予測値が求められる９画素で構成される教師用ブロックとが、学習用データメモリ５６と、教師用データメモリ５８とにおいて、同一のアドレスに記憶される。
【０１２６】
なお、学習用データメモリ５６と教師用データメモリ５８においては、同一アドレスに複数の情報を記憶することができるようになされており、これにより、同一アドレスには、複数の学習用ブロックと教師用ブロックのセットを記憶することができるようになされている。
【０１２７】
その後、端子ａを選択していたスイッチ５５が、端子ｂに切り替わり、これにより、カウンタ５７の出力が、アドレスとして、学習データメモリ５６および教師データメモリ５８に供給される。カウンタ５７は、所定のクロックをカウントし、そのカウント値を出力しており、学習データメモリ５６または教師データメモリ５８では、そのカウント値に対応するアドレスに記憶された学習用ブロックまたは教師用ブロックがそれぞれ読み出され、演算回路５９に供給される。
【０１２８】
従って、演算回路５９には、カウンタ５７のカウント値に対応するクラスの学習用ブロックのセットと、教師用ブロックのセットとが供給される。
【０１２９】
演算回路５９は、あるクラスについての学習用ブロックのセットと、教師用ブロックのセットとを受信すると、それらを用いて、最小自乗法により、誤差を最小とする予測係数を算出する。
【０１３０】
即ち、例えば、いま、学習用ブロックを構成する画素の画素値を、ｘ1，ｘ2，ｘ3，・・・とし、求めるべき予測係数をｗ1，ｗ2，ｗ3，・・・とするとき、これらの線形１次結合により、教師用ブロックを構成する、ある画素の画素値ｙを求めるには、予測係数ｗ1，ｗ2，ｗ3，・・・は、次式を満たす必要がある。
【０１３１】
ｙ＝ｗ1ｘ1＋ｗ2ｘ2＋ｗ3ｘ3＋・・・
【０１３２】
そこで、演算回路５９では、同一クラスの学習用ブロックと、対応する教師用ブロックとから、真値ｙに対する、予測値ｗ1ｘ1＋ｗ2ｘ2＋ｗ3ｘ3＋・・・の自乗誤差を最小とする予測係数ｗ1，ｗ2，ｗ3，・・・が求められる。
【０１３３】
以上の処理がクラスごとに行われ、各クラスごとに、２５×９の予測係数が求められる。
【０１３４】
ここで、演算回路５９の処理について、さらに説明する。
【０１３５】
例えば、いま、元の画像の画素値ｙの予測値Ｅ［ｙ］を、その周辺の幾つかの画素の画素値（以下、適宜、学習データという）ｘ1，ｘ2，・・・と、所定の予測係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考えると、予測値Ｅ［ｙ］は、次式で表すことができる。
【０１３６】
【０１３７】
そこで、予測係数ｗの集合でなる行列Ｗ、学習データｘの集合でなる行列Ｘ、および予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、
【数１】
で定義すると、次のような観測方程式が成立する。
【０１３８】
【０１３９】
そして、この観測方程式に最小自乗法を適用して、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、元の画像の画素値（以下、適宜、教師データという）ｙの集合でなる行列Ｙ、および元の画像の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数２】
で定義すると、式（２）から、次のような残差方程式が成立する。
【０１４０】
【０１４１】
この場合、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗiは、自乗誤差
【数３】
を最小にすることで求めることができる。
【０１４２】
従って、上述の自乗誤差を予測係数ｗiで微分したものが０になる場合、即ち、次式を満たす予測係数ｗiが、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【０１４３】
【数４】
【０１４４】
そこで、まず、式（３）を、予測係数ｗiで微分することにより、次式が成立する。
【０１４５】
【数５】
【０１４６】
式（４）および（５）より、式（６）が得られる。
【０１４７】
【数６】
【０１４８】
さらに、式（３）の残差方程式における学習データｘ、予測係数ｗ、教師データｙ、および残差ｅの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【０１４９】
【数７】
【０１５０】
式（７）の正規方程式は、求めるべき予測係数ｗの数と同じ数だけたてることができ、従って、式（７）を解くことで、最適な予測係数ｗを求めることができる。なお、式（７）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを適用することが可能である。
【０１５１】
なお、以上のようにして、最適な予測係数ｗを求め、さらに、その予測係数ｗを用い、式（１）により、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求める処理は、適応処理と呼ばれる。
【０１５２】
演算回路５９では、学習用ブロックと教師用ブロックとを用いて、式（７）の正規方程式がクラスごとにたてられ、これを解くことで、クラスごとに予測係数が求められる。そして、そのクラスごとの予測係数は、メモリ６０に供給される。メモリ６０には、演算回路５９からの予測係数の他、カウンタ５７からカウント値が供給されており、これにより、メモリ６０においては、演算回路５９からの予測係数が、カウンタ５７からのカウント値に対応するアドレスに記憶される。
【０１５３】
以上のようにして、メモリ６０には、各クラスに対応するアドレスに、そのクラスのブロックの３×３画素を予測するのに最適な２５×９の予測係数（誤差を最小にする予測係数）が記憶される。
【０１５４】
図９の予測係数ＲＯＭ４５には、以上のようにしてメモリ６０に書き込まれたクラスごとの予測係数が記憶されている。
【０１５５】
なお、予測係数ＲＯＭ４５には、各クラスに対応するアドレスに、予測係数を記憶させるのではなく、教師用ブロックを構成する画素値の平均値などを記憶させるようにすることが可能である。この場合、クラス情報が与えられると、そのクラスに対応する画素値が出力されることになり、ローカルデコード部２７において、予測値計算用ブロック化回路４２および予測回路４６を設けずに済むようになる。
【０１５６】
次に、図１２は、マッピング係数を算出するためのマッピング係数学習処理を行う画像処理装置の第２の構成例を示している。なお、図中、図７における場合と対応する部分については、同一の符号を付してある。即ち、この画像処理装置は、ローカルデコード部２７に代えてローカルデコード部１０２７が設けられている他は、図７における場合と基本的に同様に構成されている。
【０１５７】
図７の実施の形態では、ローカルデコード部２７において、あらかじめ上述したような学習（予測係数学習）により得られた予測係数を、予測係数ＲＯＭ４５に記憶させておき、その予測係数を用いて予測値を求めるようにしたが、ローカルデコード部１０２７では、そこに、演算回路２６からの補正データの他、メモリ２１から学習用画像の画素値（真値）も供給されるようになされており、その補正データおよび学習用画像（原画像）を用いて、予測係数を求める処理を行い、さらに、その予測係数に基づいて、予測値を求める適応処理が行われるようになされている。
【０１５８】
即ち、図１３は、図１２のローカルデコード部１０２７の構成例を示している。なお、図中、図９における場合と対応する部分については、同一の符号を付してある。即ち、ローカルデコード部１０２７は、予測係数ＲＯＭ４５および予測回路４６に代えて、適応処理回路４７が設けられている他は、図９のローカルデコード部２７と基本的に同様に構成されている。
【０１５９】
適応処理回路４７は、クラス分類回路４４からのクラス情報に対応して、補正データおよび原画像（学習用画像）を用い、クラスごとに最適な予測係数ｗを求め、さらに、その予測係数ｗを用いて、式（１）にしたがい、原画像の画素値ｙに近い予測値Ｅ［ｙ］を求める適応処理を行うようになされている。
【０１６０】
ここで、適応処理（予測係数ＲＯＭ４５を用いる場合も、適応処理に含まれる）は、間引かれた画像には含まれていない、元の画像に含まれる成分が再現される点で、補間処理とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習（予測係数学習）により求められるため、元の画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造作用がある処理ということができる。
【０１６１】
次に、図１４のフローチャートを参照して、ローカルデコード部１０２７の動作について説明する。
【０１６２】
ローカルデコード部１０２７においては、まず最初に、ステップＳ１２１乃至Ｓ１２３において、図１０のステップＳ２１乃至Ｓ２３における場合とそれぞれ同様の処理が行われ、これにより、上述したように、予測値計算用ブロック化回路４２から、５×５画素の予測値計算用ブロックが出力されるとともに、クラス分類回路４４から、クラス情報が出力される。予測値計算用ブロックおよびクラス情報は、いずれも、適応処理回路４７に供給される。
【０１６３】
そして、適応処理回路４７には、その他、原画像（学習用画像）も供給されるようになされており、そこでは、ステップＳ１２４において、クラス分類回路４４からのクラス情報に基づいて、各クラスごとに適応処理が施され、これにより、クラスごとの予測係数および１フレームの原画像の予測値が算出される。
【０１６４】
即ち、本実施の形態においては、例えば、クラスごとの２５×９個の予測係数が、１フレームごとに、原画像と予測値計算用ブロックを構成する補正データとから算出される。さらに、ある１つの補正データに注目した場合に、その注目補正データに対応する原画像の画素と、その画素の周りに隣接する８個の原画像の画素の、合計９個の画素についての予測値が、注目補正データのクラス情報に対応する２５×９個の予測係数と、その注目補正データを中心とする５×５画素でなる予測値計算用ブロックとを用いて、適応処理が行われることにより算出される。
【０１６５】
具体的には、例えば、いま、図６に示した注目補正データＸ33を中心とする３×３の補正データＸ22，Ｘ23，Ｘ24，Ｘ32，Ｘ33，Ｘ34，Ｘ42，Ｘ43，Ｘ44でなるクラス分類用ブロックについてのクラス情報Ｃが、クラス分類回路４４から出力され、また、そのクラス分類用ブロックに対応する予測値計算用ブロックとして、注目補正データＸ33を中心とする５×５画素の補正データＸ11，Ｘ12，Ｘ13，Ｘ14，Ｘ15，Ｘ21，Ｘ22，Ｘ23，Ｘ24，Ｘ25，Ｘ31，Ｘ32，Ｘ33，Ｘ34，Ｘ35，Ｘ41，Ｘ42，Ｘ43，Ｘ44，Ｘ45，Ｘ51，Ｘ52，Ｘ53，Ｘ54，Ｘ55でなる予測値計算用ブロックが、予測値計算用ブロック化回路４２から出力されたものとすると、まず、その予測値計算用ブロックを構成する補正データを、学習データとするとともに、元の画像における、補正データＸ33を中心とする３×３画素（図６において四角形で囲んである部分）の画素値Ｙ33（１）乃至Ｙ33（９）を、教師データとして、式（７）に示した正規方程式がたてられる。
【０１６６】
さらに、所定期間としての、例えば、１フレームの中で、同一のクラス情報Ｃにクラス分類されるクラス分類用ブロックに対応する、他の予測値計算用ブロックについても同様にして、正規方程式がたてられ、画素値Ｙ33（ｋ）（ここでは、ｋ＝１，２，・・・，９）の予測値Ｅ［Ｙ33（ｋ）］を求めるための予測係数ｗ1（ｋ）乃至ｗ25（ｋ）（本実施の形態では、１つの予測値を求めるのに学習データ（原画像の画素）が２５個用いられるので、それに対応して、予測係数ｗも２５個必要となる）を算出することができるだけの数の正規方程式が得られると（従って、そのような数の正規方程式が得られるまでは、ステップＳ１２４では、正規方程式をたてる処理までが行われる）、その正規方程式を解くことで、クラス情報Ｃについて、画素値Ｙ33（ｋ）の予測値Ｅ［Ｙ33（ｋ）］を求めるのに最適な予測係数ｗ1（ｋ）乃至ｗ25（ｋ）が算出される。この処理は、各クラスごとに行われ、これにより、各クラスごとに、２５×９の予測係数が算出される。
【０１６７】
そして、クラス情報Ｃについての予測係数と予測値計算用ブロックとを用い、式（１）に対応する次式にしたがって、予測値Ｅ［Ｙ33（ｋ）］が求められる。
【０１６８】
【０１６９】
ステップＳ１２４では、以上のようにして、２５×９の予測係数が、クラスごとに求められ、そのクラスごとの予測係数を用いて、注目補正データを中心とする３×３の原画像の画素の予測値が求められる。
【０１７０】
以上のようにして、１フレーム分の予測値が求められると、ステップＳ１２５に進み、その１フレーム分の予測値が、誤差算出部２８に供給される。そして、ステップＳ１２１に戻り、以下同様の処理が、例えば、上述のように、１フレーム単位で繰り返される。
【０１７１】
次に、図１５は、マッピング係数を算出するためのマッピング係数学習処理を行う画像処理装置の第３の構成例を示している。
【０１７２】
なお、図７や図１２の画像処理装置によれば、関数ｆが、例えば、線形１次式で表される場合の他、非線形な式や、２次以上の式で表される場合も、最適な予測係数を求めることができるが、図１５の画像処理装置では、関数ｆが、線形１次式で表される場合にのみ、最適な予測係数を求めることができるようになされている。
【０１７３】
即ち、図１５の画像処理装置は、図２において、ブロック化回路１１が出力する注目画素を中心とする３×３の９画素のブロックを構成する各画素の画素値をｙ1，ｙ2，・・・，ｙ9とするとともに、マッピング係数メモリ１４が出力するマッピング係数をｋ1，ｋ2，・・・，ｋ9とする場合において、演算回路１６が、次式にしたがって関数値ｆ（ｙ1，ｙ2，・・・，ｋ1，ｋ2，・・・）を演算して補正データを求めるようになされているときに用いることができる。
【０１７４】
ｆ（・）＝ｋ1ｙ1＋ｋ2ｙ2＋・・・＋ｋ9ｙ9
【０１７５】
最適補正データ算出部７０には、学習に適した学習用画像が、例えば、１フレーム単位などで供給されるようになされている。最適補正データ算出部７０は、圧縮部７１、補正部７２、ローカルデコード部７３、誤差算出部７４、および判定部７５で構成され、そこに入力される学習用画像から、その画素数を少なくして圧縮した画像であって、元の画像を予測するのに最適な画像を構成する画素値（以下、適宜、最適補正データという）を算出し、ラッチ回路７６に供給するようになされている。
【０１７６】
即ち、最適補正データ算出部７０に供給された学習用画像は、圧縮部７１および誤差算出部７４に供給されるようになされている。圧縮部７１は、図２の演算回路１６が画素を間引く割合と同一の割合で、学習用画像を単純に間引き、即ち、本実施の形態においては、学習用画像を１／９に単純に間引き（３×３の９画素を１ブロックとするとき、そのブロックの中心の画素だけを抽出し）、これにより学習用画像を圧縮して補正部７２に供給するようになされている。
【０１７７】
補正部７２は、圧縮部７１から供給される、単純な間引きが行われて圧縮されたデータ（以下、適宜、圧縮データという）を、判定部７５からの制御にしたがって補正するようになされている。補正部７２における補正の結果得られるデータ（このデータも、図２の演算回路１６の出力と同様に、３×３画素のブロックの中心画素の画素値を補正したものであるので、以下、適宜、補正データという）は、ローカルデコード部７３に供給するようになされている。
【０１７８】
ローカルデコード部７３は、図７のローカルデコード部２７または図１２のローカルデコード部１０２７における場合と同様にして、補正部７２からの補正データに基づいて、元の画像（学習用画像）を予測し、その予測値を、誤差算出部７４に供給するようになされている。
【０１７９】
誤差算出部７４は、図７の誤差算出部２８における場合と同様にして、そこに入力される、元の画像データに対する、ローカルデコード部７３からの予測値の予測誤差を算出するようになされている。この予測誤差は、誤差情報として、判定部７５に供給されるようになされている。
【０１８０】
判定部７５は、誤差算出部７４からの誤差情報に基づいて、補正部７２が出力した補正データを、元の画像の圧縮結果とすることの適正さを判定するようになされている。そして、判定部７５は、補正部７２が出力した補正データを、元の画像の圧縮結果とすることが適正でないと判定した場合には、補正部７２を制御し、さらに、圧縮データを補正させ、その結果得られる新たな補正データを出力させるようになされている。また、判定部７５は、補正部７２が出力した補正データを、元の画像の圧縮結果とすることが適正であると判定した場合には、その補正データを、最適補正データとして、ラッチ回路７６に供給させるようになされている。
【０１８１】
ラッチ回路７６は、メモリ７６Ａを内蔵しており、そのメモリ７６Ａに、補正部７２から供給される最適補正データを記憶させるようになされている。さらに、ラッチ回路７６は、メモリ７６Ａに記憶された最適補正データのうち、ブロック化回路７７のメモリ７７Ａから読み出されるブロックの中心画素に対応するものを読み出し、メモリ８０に供給するようになされている。なお、ラッチ回路７６は、メモリ７６Ａに、１フレーム分の補正データが記憶されると、その旨を示す制御信号を、ブロック化回路７７に出力するようになされている。
【０１８２】
ブロック化回路７７には、最適補正データ算出部７０と同様に、学習用画像が１フレーム単位で供給されるようになされている。ブロック化回路７７は、メモリ７７Ａを内蔵しており、そのメモリ７７Ａに、そこに供給される学習用画像を記憶させるようになされている。また、ブロック化回路７７は、ラッチ回路７６から制御信号を受信すると、メモリ７７Ａに記憶された学習用画像を、図２のブロック化回路１１における場合と同様に、注目画素を中心とする３×３画素で構成されるブロックに分割し、そのブロックを順次読み出して、ＡＤＲＣ処理回路７８およびメモリ８０に供給するようになされている。
【０１８３】
なお、ブロック化回路７７は、その内蔵するメモリ７７Ａからブロックを読み出すときに、そのブロックの位置を示す制御信号を、ラッチ回路７６に供給するようになされている。ラッチ回路７６では、この制御信号に基づいて、メモリ７７Ａから読み出される３×３画素のブロックが認識され、上述したように、そのブロックの中心画素に対応する最適補正データが、メモリ７６Ａから読み出されるようになされている。即ち、これにより、メモリ８０に対しては、ある３×３画素のブロックと、そのブロックに対応する最適補正データとが同時に供給されるようになされている。
【０１８４】
ＡＤＲＣ処理回路７８またはクラス分類回路７９は、図２のＡＤＲＣ処理回路１２またはクラス分類回路１３とそれぞれ同様に構成されている。そして、クラス分類回路７９が出力する、ブロック化回路７７からのブロックについてのクラス情報は、メモリ８０に対して、アドレスとして供給されるようになされている。
【０１８５】
メモリ８０は、クラス分類回路７９から供給されるクラス情報に対応するアドレスに、ラッチ回路７６から供給される最適補正データと、ブロック化回路７７から供給されるブロックとを対応付けて記憶するようになされている。なお、メモリ８０は、１つのアドレスに複数の情報を記憶することができるようになされており、これにより、あるクラス情報に対応する最適補正データおよびブロックを、複数セット記憶することができるようになされている。
【０１８６】
演算回路８１は、メモリ８０に記憶された、学習用画像の３×３のブロックを構成する９画素ｙ1，ｙ2，・・・，ｙ9と、そのブロックに対応付けられている最適補正データｙ’とを読み出し、これらに最小自乗法を適用することで、クラスごとに、マッピング係数ｋ1乃至ｋ9を求め、メモリ８２に供給するようになされている。メモリ８２は、演算回路８１から供給されるクラスごとのマッピング係数ｋ1乃至ｋ9を、そのクラスに対応したアドレスに記憶するようになされている。
【０１８７】
次に、図１６のフローチャートを参照して、その動作について説明する。
【０１８８】
学習用画像が入力されると、その学習用画像は、ブロック化回路７７のメモリ７７Ａに記憶されるとともに、最適補正データ算出部７０に供給される。最適補正データ算出部７０は、学習用画像を受信すると、ステップＳ３１において、その学習用画像についての最適補正データを算出する。
【０１８９】
即ち、ステップＳ３１では、図１７のフローチャートに示すように、まず、圧縮部７１が、ステップＳ４１において、学習用画像を、１／９に間引くことにより圧縮データを生成し、補正部７２を介して、即ち、最初は、補正を行わずに、ローカルデコード部７３に出力する。ローカルデコード部７３では、ステップＳ４２において、補正部７２からの補正データ（最初は、上述したように、画像データを、単純に間引いた圧縮データそのもの）に基づいて、元の画像の予測値が算出される（ローカルデコードが行われる）。この予測値は、誤差算出部７４に供給される。
【０１９０】
誤差算出部７４は、ローカルデコード部７３から、元の画像の予測値を受信すると、ステップＳ４３において、元の画像データに対する、ローカルデコード部７３からの予測値の予測誤差を算出し、誤差情報として、判定部７５に供給する。判定部７５は、誤差算出部７４から誤差情報を受信すると、ステップＳ４４において、その誤差情報に基づいて、補正部７２が出力した補正データを、元の画像の圧縮結果とすることの適正さを判定する。
【０１９１】
即ち、ステップＳ４４においては、例えば、１フレーム分の誤差情報が所定の閾値ε以下であるかどうかが判定される。ステップＳ４４において、誤差情報が所定の閾値ε以下でないと判定された場合、補正部７２が出力した補正データを、元の画像の圧縮結果とするのは適正でないと認識され、ステップＳ４５に進み、判定部７５は、補正部７２を制御し、これにより、圧縮部７１から出力された圧縮データを補正させる。補正部７２は、判定部７５の制御にしたがって、補正量（補正値△）を変えて、圧縮データを補正し、その結果得られる補正データを、ローカルデコード部７３に出力する。そして、ステップＳ４２に戻り、以下、同様の処理が繰り返される。
【０１９２】
なお、圧縮データの補正は、例えば、上述の図７で説明した、マッピング係数の変更と同様にして行うことが可能である。
【０１９３】
一方、ステップＳ４４において、誤差情報が所定の閾値ε以下であると判定された場合、補正部７２が出力した補正データを、元の画像の圧縮結果とするのは適正であると認識され、ステップＳ４６に進み、判定部７５は、所定の閾値ε以下の誤差情報が得られたときの補正データを、最適補正データとして、補正部７２からラッチ回路７６に出力させ、その内蔵するメモリ７６Ａに記憶させて、リターンする。
【０１９４】
以上のようにして、誤差情報が所定の閾値ε以下となったときにおける、圧縮データを補正した補正データが、最適補正データとして、メモリ７６Ａに記憶される。なお、この最適補正データは、誤差情報を所定の閾値ε以下とするものであるから、これを用いて、予測値を算出することにより、元の画像（原画像）とほぼ同一の画像を得ることができる。
【０１９５】
図１６に戻り、ラッチ回路７６は、そのメモリ７６Ａに、１フレーム分の最適補正データを記憶すると、制御信号を、ブロック化回路７７に出力する。ブロック化回路７７は、ラッチ回路７６から制御信号を受信すると、ステップＳ３２において、メモリ７７Ａに記憶された学習用画像を、３×３画素で構成されるブロックに分割する。そして、ブロック化回路７７は、メモリ７７Ａに記憶された学習用画像のブロックを読み出して、ＡＤＲＣ処理回路７８およびメモリ８０に供給する。
【０１９６】
また、同時に、ブロック化回路７７は、メモリ７７Ａからブロックを読み出すときに、そのブロックの位置を示す制御信号を、ラッチ回路７６に供給し、ラッチ回路７６は、その制御信号に対応して、メモリ７７Ａから読み出された３×３画素のブロックを認識し、そのブロックの中心画素に対応する最適補正データを読み出して、メモリ８０に供給する。
【０１９７】
そして、ステップＳ３３に進み、ＡＤＲＣ処理回路７８において、ブロック化回路７７からのブロックがＡＤＲＣ処理され、さらに、クラス分類回路７９において、そのブロックがクラス分類される。このクラス分類結果は、アドレスとして、メモリ８０に供給される。
【０１９８】
メモリ８０では、ステップＳ３４において、クラス分類回路７９から供給されるクラス情報に対応するアドレスに、ラッチ回路７６から供給される最適補正データと、ブロック化回路７７から供給されるブロック（学習データ）とが対応付けられて記憶される。
【０１９９】
そして、ステップＳ３５に進み、メモリ８０に、１フレーム分のブロックおよび最適補正データが記憶されたかどうかが判定される。ステップＳ３５において、メモリ８０に、１フレーム分のブロックおよび最適補正データが、まだ記憶されていないと判定された場合、ブロック化回路７７から次のブロックが読み出されるとともに、ラッチ回路７６からそのブロックに対応する最適補正データが読み出され、ステップＳ３３に戻り、以下、ステップＳ３３以降の処理を繰り返す。
【０２００】
また、ステップＳ３５において、メモリ８０に、１フレーム分のブロックおよび最適補正データが記憶されたと判定された場合、ステップＳ３６に進み、学習用画像すべてについて処理が終了したかどうかが判定される。ステップＳ３６において、学習用画像すべてについての処理が、まだ終了していないと判定された場合、ステップＳ３１に戻り、次の学習用画像について、ステップＳ３１からの処理が繰り返される。
【０２０１】
一方、ステップＳ３６において、学習用画像すべてについての処理が終了したと判定された場合、ステップＳ３７に進み、演算回路８１は、メモリ８０に記憶された最適補正データとブロックとを、クラスごとに読み出し、これらにより、式（７）に示したような正規方程式をたてる。さらに、演算回路８１は、ステップＳ３８において、その正規方程式を解くことで、誤差を最小にする、クラスごとのマッピング係数を算出する。このマッピング係数は、ステップＳ３９において、メモリ８２に供給されて、クラスごとに分けて記憶され、処理を終了する。
【０２０２】
関数ｆが、線形１次式で表される場合においては、以上のようにしてメモリ８２に記憶されたマッピング係数を、図２のマッピング係数メモリ１４に記憶させ、これを用いて画像の符号化を行うことができる。
【０２０３】
なお、クラスによっては、マッピング係数を求めることができるだけの数の正規方程式が得られない場合がある。このような場合は、図２の演算回路１６において、ブロック化回路１１から出力される３×３画素のブロックを構成する９画素の、例えば平均値などが出力されるようなマッピング係数、即ち、ｋ1乃至ｋ9＝１／９などが、デフォルトの値として設定される。
【０２０４】
次に、図１８は、図１の受信装置４の構成例を示している。
【０２０５】
受信機／再生装置９１においては、記録媒体２に記録された符号化データが再生され、または伝送路３を介して伝送されてくる符号化データが受信され、デコード部９２に供給される。
【０２０６】
デコード部９２は、図９に示したローカルデコード部２７におけるクラス分類用ブロック化回路４１乃至予測回路４６とそれぞれ同様に構成されるクラス分類用ブロック化回路９３乃至予測回路９８で構成されており、従って、デコード部９２では、図９のローカルデコード部２７における場合と同様にして、補正データから予測値が求められ、この予測値で構成される画像が復号画像として出力される。
【０２０７】
即ち、受信機／再生装置９１から出力される符号化データとしての補正データは、クラス分類用ブロック化回路９３または予測値計算用ブロック化回路９４に順次供給され、図９のクラス分類用ブロック化回路４１または予測値計算用ブロック化回路４２における場合と同様にして、クラス分類用ブロックまたは予測値計算用ブロックに、それぞれブロック化される。そして、クラス分類用ブロックはＡＤＲＣ処理回路９５に、予測値計算用ブロックは予測回路９８に、それぞれ供給される。
【０２０８】
ＡＤＲＣ処理回路９５は、クラス分類用ブロックを受信すると、そのクラス分類用ブロックに対して、図９のＡＤＲＣ処理回路４３における場合と同様に、１ビットのＡＤＲＣ処理を施し、これにより、クラス分類用ブロックを構成する補正データを、１ビットに変換（符号化）して、クラス分類回路９６に出力する。クラス分類回路９６は、ＡＤＲＣ処理が施されたクラス分類用ブロックに対して、クラス分類処理を施し、クラス情報を、予測係数ＲＯＭ９７に出力する。
【０２０９】
予測係数ＲＯＭ９７は、図９の予測係数ＲＯＭ４５と同様に、例えば、図１１の画像処理装置において求められた、クラスごとの予測係数を記憶しており、クラス分類回路９６からクラス情報を受信すると、そのクラス情報に対応する予測係数を読み出し、予測回路９８に供給する。予測回路９８では、予測係数ＲＯＭ９７からの予測係数と、予測値計算用ブロック化回路９４からの予測値計算用ブロックを構成する補正データとを用い、式（１）に対応する線形１次式にしたがって、元の画像の予測値が算出され、これにより、元の画像が復号される。
【０２１０】
補正データは、上述したように、誤差情報を所定の閾値以下とするものであり、従って、受信装置４においては、元の画像とほぼ同一の復号画像を得ることができる。
【０２１１】
なお、受信側においては、図１８に示すような受信装置４でなくても、間引きされた画像を補間により復号する装置により、通常の補間を行うことで復号画像を得ることができる。但し、この場合に得られる復号画像は、画質（解像度）の劣化したものとなる。
【０２１２】
以上、本発明を適用した画像処理装置について説明したが、このような画像処理装置は、例えば、ＮＴＳＣ方式などの標準方式のテレビジョン信号を符号化する場合の他、データ量の多い、いわゆるハイビジョン方式のテレビジョン信号などを符号化する場合に、特に有効である。
【０２１３】
なお、本実施の形態においては、１フレームの画像を対象にブロック化を行うようにしたが、ブロックは、その他、例えば、時系列に連続する複数フレームにおける、同一位置の画素などを集めて構成するようにすることも可能である。
【０２１４】
また、本実施の形態においては、誤差情報として、誤差の自乗和を用いるようにしたが、誤差情報としては、その他、例えば、誤差の絶対値和や、その３乗以上したものの和などを用いるようにすることが可能である。いずれを誤差情報として用いるかは、例えば、その収束性などに基づいて決定するようにすることが可能である。
【０２１５】
さらに、例えば、図１３の実施の形態では、１フレーム単位で、正規方程式をたてて、クラスごとの予測係数を求めるようにしたが、予測係数の算出処理は、その他、例えば、１フィールド単位や複数フレーム単位で正規方程式をたてて行うようにすることも可能である。他の処理についても同様である。
【０２１６】
また、本発明は、ハードウェアによっても、あるいは、上述した処理を行うためのアプリケーションプログラムが記録されたハードディスク等の記録媒体から、そのアプリケーションプログラムを読み出して、コンピュータに実行させることによっても、実現可能である。
【０２１７】
さらに、図２においては、ＡＤＲＣ処理回路１２に供給するブロックと、遅延回路１５を介して、演算回路１６に供給するブロックとは同一のものとしたが、これらのブロックは同一である必要は必ずしもない。
【０２１８】
【発明の効果】
請求項１に記載の画像符号化装置および請求項３に記載の画像符号化方法によれば、画像を構成する画素から注目している注目画素周辺の複数の画素を抽出し、抽出された複数の画素の性質に応じて注目画素を所定のクラスに分類され、クラスごとに、画像を符号化するための所定のマッピング係数が記憶され、画像の中の、注目している注目画素周辺の複数の画素と、注目画素のクラスに対応するマッピング係数とを引数とする所定の関数の演算を行うことにより、符号化された注目画素を、注目画素周辺の複数の画素の符号化データとして出力される。従って、元の画像を復号するのに最適な符号化データを得ることが可能となる。
【０２２１】
請求項４に記載の記録媒体に記録されたプログラムには、画像を構成する画素から注目している注目画素周辺の複数の画素を抽出させ、抽出された複数の画素の性質に応じて所定のクラスに分類させ、クラスごとに、画像を符号化するための所定のマッピング係数を記憶しているマッピング係数記憶手段から、画像の中の、注目している注目画素のクラスに対応するマッピング係数を読み出させ、そのマッピング係数と、注目画素周辺の複数の画素とを引数とする所定の関数の演算を行なわせることにより、符号化された注目画素を、注目画素周辺の複数の画素の符号化データとして出力させる。従って、その符号化データから、元の画像とほぼ同一の復号画像を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像処理システムの一実施の形態の構成を示すブロック図である。
【図２】図１の送信装置１の構成例を示すブロック図である。
【図３】ＡＤＲＣ処理を説明するための図である。
【図４】クラス分類処理を説明するための図である。
【図５】図２の送信装置の動作を説明するためのフローチャートである。
【図６】図２のブロック化回路１１の処理を説明するための図である。
【図７】マッピング係数を得るための学習を行う画像処理装置の第１実施の形態の構成を示すブロック図である。
【図８】図７の画像処理装置の動作を説明するためのフローチャートである。
【図９】図７のローカルデコード部２７の構成例を示すブロック図である。
【図１０】図９のローカルデコード部２７の処理を説明するためのフローチャートである。
【図１１】予測係数を得るための学習を行う画像処理装置の一実施の形態の構成を示すブロック図である。
【図１２】マッピング係数を得るための学習を行う画像処理装置の第２実施の形態の構成を示すブロック図である。
【図１３】図１２のローカルデコード部１０２７の構成例を示すブロック図である。
【図１４】図１３のローカルデコード部１０２７の処理を説明するためのフローチャートである。
【図１５】マッピング係数を得るための学習を行う画像処理装置の第３実施の形態の構成を示すブロック図である。
【図１６】図１５の画像処理装置の動作を説明するためのフローチャートである。
【図１７】図１６におけるステップＳ３１の処理のより詳細を説明するためのフローチャートである。
【図１８】図１の受信装置４の構成例を示すブロック図である。
【符号の説明】
１ 送信装置， ２ 記録媒体， ３ 伝送路， ４ 受信装置， １１ ブロック化回路， １２ ＡＤＲＣ処理回路， １３ クラス分類回路， １４ マッピング係数メモリ， １５ 遅延回路， １６ 演算回路， １７ 送信機／記録装置， ２１ メモリ， ２２ ブロック化回路， ２３ ＡＤＲＣ処理回路， ２４ クラス分類回路， ２６ 演算回路， ２７ ローカルデコード部， ２８ 誤差算出部， ２９ 判定部， ３０ マッピング係数設定回路，３１ マッピング係数メモリ， ４１ クラス分類用ブロック化回路， ４２予測値計算用ブロック化回路， ４３ ＡＤＲＣ処理回路， ４４ クラス分類回路， ４５ 予測係数ＲＯＭ， ４６ 予測回路， ４７ 適応処理回路，５１ 学習用ブロック化回路， ５２ 教師用ブロック化回路， ５３ ＡＤＲＣ処理回路， ５４ クラス分類回路， ５５ スイッチ， ５６ 学習データメモリ， ５７ カウンタ， ５８ 教師データメモリ， ５９ 演算回路，６０ メモリ， ７０ 最適補正データ算出部， ７１ 圧縮部， ７２ 補正部， ７３ ローカルデコード部， ７４ 誤差算出部， ７５ 判定部， ７６ ラッチ回路， ７６Ａ メモリ， ７７ ブロック化回路， ７７Ａ メモリ， ７８ ＡＤＲＣ処理回路， ７９ クラス分類回路， ８０ メモリ，８１ 演算回路， ８２ メモリ， ９１ 受信機／再生装置， ９２ デコード部， ９３ クラス分類用ブロック化回路， ９４ 予測値計算用ブロック化回路， ９５ ＡＤＲＣ処理回路， ９６ クラス分類回路， ９７ 予測係数ＲＯＭ， ９８ 予測回路， １０２７ ローカルデコード部
【発明の属する技術分野】
本発明は、画像符号化装置および画像符号化方法、並びに記録媒体に関する。特に、原画像とほぼ同一の復号画像が得られるように、画像を間引いて圧縮符号化する画像符号化装置および画像符号化方法、並びに記録媒体に関する。
【０００２】
【従来の技術】
従来より、画像の圧縮方法については、種々の方法が提案されているが、そのうちの１つに、画像を、例えばその画素を間引くこと（Subsampling）により圧縮する方法がある。
【０００３】
【発明が解決しようとする課題】
しかしながら、このように間引いて圧縮した画像を、単純に補間により伸張した場合、その結果得られる復号画像の解像度が劣化する。
【０００４】
ここで、このように復号画像の解像度が劣化する原因として、第１に、間引い画像には、元の画像に含まれる高周波数成分が含まれていないことと、第２に、間引き後の画像を構成する画素の画素値が、元の画像を復元するのに、必ずしも適当でないこととが考えられる。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、原画像と同一（ほぼ同一）の復号画像が得られるように、画像を間引いて圧縮符号化することができるようにするものである。
【０００６】
【課題を解決するための手段】
請求項１に記載の画像符号化装置は、画像を構成する画素から注目している注目画素周辺の複数の画素を抽出し、抽出された複数の画素の性質に応じて注目画素を所定のクラスに分類する分類手段と、クラスごとに、画像を符号化するための所定のマッピング係数を記憶しているマッピング係数記憶手段と、画像の中の、注目している注目画素周辺の複数の画素と、注目画素のクラスに対応するマッピング係数とを引数とする所定の関数の演算を行うことにより、符号化された注目画素を、注目画素周辺の複数の画素の符号化データとして出力する演算手段とを備えることを特徴とする。
【０００７】
請求項３に記載の画像符号化方法は、画像を構成する画素から注目している注目位置周辺の複数の画素を抽出し、抽出された複数の画素の性質に応じて注目位置を所定のクラスに分類し、クラスごとに、画像を符号化するための所定のマッピング係数を記憶しているマッピング係数記憶手段から、画像の中の、注目している注目位置のクラスに対応するマッピング係数を読み出し、マッピング係数と、注目位置周辺の複数の画素とを引数とする所定の関数の演算を行うことにより、符号化された注目位置を、注目位置周辺の複数の画素の符号化データとして出力することを特徴とする。
【００１１】
請求項４に記載の記録媒体に記録されたプログラムは、画像を構成する画素から注目している注目画素周辺の複数の画素を抽出させ、抽出された複数の画素の性質に応じて所定のクラスに分類させ、クラスごとに、画像を符号化するための所定のマッピング係数を記憶しているマッピング係数記憶手段から、画像の中の、注目している注目画素のクラスに対応するマッピング係数を読み出させ、マッピング係数と、注目画素周辺の複数の画素とを引数とする所定の関数の演算を行なわせることにより、符号化された注目画素を、注目画素周辺の複数の画素の符号化データとして出力させることを特徴とする。
【００１２】
請求項１に記載の画像符号化装置においては、分類手段は、画像を構成する画素から注目している注目画素周辺の複数の画素を抽出し、抽出された複数の画素の性質に応じて注目画素を所定のクラスに分類し、マッピング係数記憶手段は、クラスごとに、画像を符号化するための所定のマッピング係数を記憶している。演算手段は、画像の中の、注目している注目画素周辺の複数の画素と、注目画素のクラスに対応するマッピング係数とを引数とする所定の関数の演算を行うことにより、符号化された注目画素を、注目画素周辺の複数の画素の符号化データとして出力するようになされている。
【００１３】
請求項３に記載の画像符号化方法においては、画像を構成する画素から注目している注目位置周辺の複数の画素を抽出し、抽出された複数の画素の性質に応じて注目位置を所定のクラスに分類し、クラスごとに、画像を符号化するための所定のマッピング係数を記憶しているマッピング係数記憶手段から、画像の中の、注目している注目位置のクラスに対応するマッピング係数を読み出し、マッピング係数と、注目位置周辺の複数の画素とを引数とする所定の関数の演算を行うことにより、符号化された注目位置を、注目位置周辺の複数の画素の符号化データとして出力するようになされている。
【００１７】
請求項４に記載の記録媒体に記録されたプログラムには、画像を構成する画素から注目している注目画素周辺の複数の画素を抽出させ、抽出された複数の画素の性質に応じて所定のクラスに分類させ、クラスごとに、画像を符号化するための所定のマッピング係数を記憶しているマッピング係数記憶手段から、画像の中の、注目している注目画素のクラスに対応するマッピング係数を読み出させ、そのマッピング係数と、注目画素周辺の複数の画素とを引数とする所定の関数の演算を行なわせることにより、符号化された注目画素を、注目画素周辺の複数の画素の符号化データとして出力させるようになされている。
【００１８】
【発明の実施の形態】
以下に、本発明の実施の形態を説明するが、その前に、特許請求の範囲に記載の発明の各手段と以下の実施の形態との対応関係を明らかにするために、各手段の後の括弧内に、対応する実施の形態（但し、一例）を付加して、本発明の特徴を記述すると、次のようになる。
【００１９】
即ち、請求項１に記載の画像符号化装置は、画像を符号化する画像符号化装置であって、画像を構成する画素から注目している注目画素周辺の複数の画素を抽出し、抽出された複数の画素の性質に応じて注目画素を所定のクラスに分類する分類手段（例えば、図２に示すクラス分類回路１３など）と、クラスごとに、画像を符号化するための所定のマッピング係数を記憶しているマッピング係数記憶手段（例えば、図２に示すマッピング係数メモリ１４など）と、画像の中の、注目している注目画素周辺の複数の画素と、注目画素のクラスに対応するマッピング係数とを引数とする所定の関数の演算を行うことにより、符号化された注目画素を、注目画素周辺の複数の画素の符号化データとして出力する演算手段（例えば、図２に示す演算回路１６など）とを備えることを特徴とする。
【００２０】
請求項３に記載の画像符号化方法は、画像を符号化する画像符号化方法であって、画像を構成する画素から注目している注目位置周辺の複数の画素を抽出し、抽出された複数の画素の性質に応じて注目位置を所定のクラスに分類し、クラスごとに、画像を符号化するための所定のマッピング係数を記憶しているマッピング係数記憶手段（例えば、図２に示すマッピング係数メモリ１４など）から、画像の中の、注目している注目位置のクラスに対応するマッピング係数を読み出し、マッピング係数と、注目位置周辺の複数の画素とを引数とする所定の関数の演算を行うことにより、符号化された注目位置を、注目位置周辺の複数の画素の符号化データとして出力することを特徴とする。
【００２５】
請求項４に記載の記録媒体に記録されたプログラムは、画像を符号化する処理をコンピュータに行わせるプログラムが記録されている記録媒体であって、画像を構成する画素から注目している注目画素周辺の複数の画素を抽出させ、抽出された複数の画素の性質に応じて所定のクラスに分類させ、クラスごとに、画像を符号化するための所定のマッピング係数を記憶しているマッピング係数記憶手段（例えば、図２に示すマッピング係数メモリ１４など）から、画像の中の、注目している注目画素のクラスに対応するマッピング係数を読み出させ、そのマッピング係数と、注目画素周辺の複数の画素とを引数とする所定の関数の演算を行なわせることにより、符号化された注目画素を、注目画素周辺の複数の画素の符号化データとして出力させることを特徴とする。
【００２６】
なお、勿論この記載は、各手段を上記したものに限定することを意味するものではない。
【００２７】
図１は、本発明を適用した画像処理システム（システムとは、複数の装置が論理的に集合したものをいい、各構成の装置が同一筐体中にあるか否かは問わない）の一実施の形態の構成を示している。送信装置１には、ディジタル化された画像データが供給されるようになされている。
【００２８】
送信装置１は、入力された画像データに対して、所定の演算処理を施すことで、その画素数を間引く（少なくする）ことにより圧縮、符号化し、その結果得られる符号化データを、例えば、光ディスクや、光磁気ディスク、磁気テープ、相変化ディスクその他でなる記録媒体２に記録し、または、例えば、地上波や、衛星回線、電話回線、ＣＡＴＶ網、インターネットその他の伝送路３を介して伝送する。
【００２９】
受信装置４では、記録媒体２に記録された符号化データが再生され、または、伝送路３を介して伝送されてくる符号化データが受信され、その符号化データが伸張、復号化される。そして、その結果得られる復号画像は、図示せぬディスプレイに供給されて表示される。
【００３０】
なお、以上のような画像処理システムは、例えば、光ディスク装置や、光磁気ディスク装置、磁気テープ装置その他の、画像の記録／再生を行う装置や、あるいはまた、例えば、テレビ電話装置や、テレビジョン放送システム、ＣＡＴＶシステムその他の、画像の伝送を行う装置などに適用される。また、図１の画像処理システムは、伝送レートの低い、例えば、携帯電話機その他の、移動に便利な携帯端末などにも適用可能である。
【００３１】
図２は、図１の送信装置１の構成例を示している。
【００３２】
ブロック化回路１１には、符号化すべき画像データが入力されるようになされており、ブロック化回路１１は、画像データを、その性質に応じて所定のクラス（第１のクラス）に分類するための単位である、例えば、注目される画素を中心とする複数の画素で構成されるクラス分類用ブロックにブロック化し、ＡＤＲＣ（Adaptive Dynamic Range Coding）処理回路１２および遅延回路１５に供給するようになされている。
【００３３】
ＡＤＲＣ処理回路１２は、ブロック化回路１１からのブロック（クラス分類用ブロック）に対してＡＤＲＣ処理を施し、その結果得られるＡＤＲＣコードで構成されるブロックを、クラス分類回路１３に供給するようになされている。
【００３４】
ここで、ＡＤＲＣ処理よれば、クラス分類用ブロックを構成する画素のビット数が低減されるようになされている。
【００３５】
即ち、例えば、いま、説明を簡単にするため、図３（Ａ）に示すように、直線上に並んだ４画素で構成されるブロックを考えると、ＡＤＲＣ処理においては、その画素値の最大値ＭＡＸと最小値ＭＩＮが検出される。そして、ＤＲ＝ＭＡＸ−ＭＩＮを、ブロックの局所的なダイナミックレンジとし、このダイナミックレンジＤＲに基づいて、ブロックを構成する画素の画素値がＫビットに再量子化される。
【００３６】
即ち、ブロック内の各画素値から、最小値ＭＩＮを減算し、その減算値をＤＲ／２Kで除算する。そして、その結果得られる除算値に対応するコード（ＡＤＲＣコード）に変換される。具体的には、例えば、Ｋ＝２とした場合、図３（Ｂ）に示すように、除算値が、ダイナミックレンジＤＲを４（＝２2）等分して得られるいずれの範囲に属するかが判定され、除算値が、最も下のレベルの範囲、下から２番目のレベルの範囲、下から３番目のレベルの範囲、または最も上のレベルの範囲に属する場合には、それぞれ、例えば、００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂなどの２ビットにコード化される（Ｂは２進数であることを表す）。そして、復号側においては、ＡＤＲＣコード００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂは、ダイナミックレンジＤＲを４等分して得られる最も下のレベルの範囲の中心値Ｌ00、下から２番目のレベルの範囲の中心値Ｌ01、下から３番目のレベルの範囲の中心値Ｌ10、または最も上のレベルの範囲の中心値Ｌ11にそれぞれ変換され、その値に、最小値ＭＩＮが加算されることで復号が行われる。
【００３７】
以上のようなＡＤＲＣ処理によれば、ブロックを構成する画素に割り当てられているビット数より少ないビット数で再量子化を行うことで、そのビット数を低減することができる。
【００３８】
ここで、このようなＡＤＲＣ処理はノンエッジマッチングと呼ばれる。
【００３９】
なお、ＡＤＲＣ処理については、本件出願人が先に出願した、例えば、特開平３−５３７７８号公報などに、その詳細が開示されている。
【００４０】
図２に戻り、クラス分類回路１３は、ＡＤＲＣ処理回路１２からのブロックを、その性質に応じて所定のクラスに分類するクラス分類処理を行い、そのブロックがいずれのクラスに属するかを、クラス情報として、マッピング係数メモリ１４に供給するようになされている。
【００４１】
ここで、クラス分類処理について説明する。いま、例えば、図４（Ａ）に示すように、ある注目画素と、それに隣接する３つの画素により、２×２画素でなるブロック（クラス分類用ブロック）を構成し、また、各画素は、１ビットで表現される（０または１のうちのいずれかのレベルをとる）ものとする。この場合、２×２の４画素のブロックは、各画素のレベル分布により、図４（Ｂ）に示すように、１６（＝（２1）4）パターンに分類することができる。即ち、注目画素の分類を行うことができ、このようなパターン分けが、クラス分類処理であり、クラス分類回路１３において行われる。
【００４２】
なお、クラス分類処理は、画像（ブロック内の画像）のアクティビティ（画像の複雑さ）（変化の激しさ）（動き量）などをも考慮して行うようにすることが可能である。
【００４３】
ここで、符号化すべき画像データに、例えば８ビットが割り当てられている場合において、クラス分類用ブロックが、例えば３×３の９画素で構成されるときに、そのようなクラス分類用ブロックを対象にクラス分類処理を行ったのでは、（２8）9という膨大な数のクラスに分類されることになる。
【００４４】
そこで、上述したように、ＡＤＲＣ処理回路１２において、クラス分類用ブロックに対して、ＡＤＲＣ処理が施されるようになされており、これにより、クラス分類用ブロックを構成する画素のビット数を低減し、さらに、クラス数も削減するようになされている。即ち、ＡＤＲＣ処理回路１２において、例えば１ビットのＡＤＲＣ処理が行われるとした場合には、クラス数は、（２8）9から（２1）9、即ち、５１２に低減される。
【００４５】
なお、本実施の形態では、クラス分類回路１３において、ＡＤＲＣ処理回路１２から出力されるＡＤＲＣコードに基づいて、クラス分類処理が行われるが、クラス分類処理は、その他、例えば、ＤＰＣＭ（予測符号化）や、ＢＴＣ（Block Truncation Coding）、ＶＱ（ベクトル量子化）、ＤＣＴ（離散コサイン変換）、アダマール変換などを施したデータを対象に行うようにすることも可能である。
【００４６】
再び、図２に戻り、マッピング係数メモリ１４は、後述するような学習（マッピング係数学習）により得られるマッピング係数を、クラス情報ごとに記憶しており、クラス分類回路１３から供給されるクラス情報をアドレスとして、そのアドレスに記憶されているマッピング係数を読み出し、演算回路１６に供給するようになされている。
【００４７】
遅延回路１５は、ブロック化回路１１から供給されるブロックを、そのブロックのクラス情報に対応するマッピング係数が、マッピング係数メモリ１４から読み出されるまで遅延し、演算回路１６に供給するようになされている。
【００４８】
演算回路１６は、遅延回路１５から供給されるブロックを構成する画素の画素値と、マッピング係数メモリ１４から供給される、そのブロックのクラスに対応するマッピング係数とを用いて所定の演算を行うことにより、画像を、その画素数を間引いて（少なくして）符号化した符号化データを算出するようになされている。即ち、演算回路１６は、ブロック化回路１１が出力するブロックを構成する各画素の画素値をｙ1，ｙ2，・・・とするとともに、マッピング係数メモリ１４が出力する、そのブロックのクラスに対応するマッピング係数をｋ1，ｋ2，・・・とするとき、それらを引数とする所定の関数値ｆ（ｙ1，ｙ2，・・・，ｋ1，ｋ2，・・・）を演算し、その関数値ｆ（ｙ1，ｙ2，・・・，ｋ1，ｋ2，・・・）を、ブロック化回路１１が出力するブロック（クラス分類用ブロック）を構成する画素のうちの、例えば中心の画素の画素値として出力するようになされている。
【００４９】
従って、ブロック化回路１１が出力するクラス分類用ブロックを構成する画素数をＮとすると、演算回路１６は、画像データを１／Ｎに間引き、これを、符号化データとして出力するようになされている。
【００５０】
なお、演算回路１６が出力する符号化データは、Ｎ画素で構成されるブロックの中心の画素を抽出して出力するような、いわば単純な間引き処理により得られるものではなく、上述したように、そのブロックを構成するＮ画素により規定される関数値ｆ（ｙ1，ｙ2，・・・，ｋ1，ｋ2，・・・）であるが、この関数値ｆ（ｙ1，ｙ2，・・・，ｋ1，ｋ2，・・・）は、見方を変えれば、単純な間引き処理により得られる、ブロックの中心の画素の画素値を、その周辺の画素値に基づいて補正したものと考えることができる。そこで、マッピング係数と、ブロックを構成する画素との演算の結果得られるデータである符号化データを、以下、適宜、補正データともいう。
【００５１】
また、演算回路１６における演算処理は、ブロック化回路１１が出力するクラス分類用ブロックを構成する各画素の画素値を、関数値ｆ（ｙ1，ｙ2，・・・，ｋ1，ｋ2，・・・）にマッピング（写像）する処理とも考えることができる。そこで、そのような処理に用いられる係数ｋ1，ｋ2，・・・をマッピング係数と呼んでいる。
【００５２】
送信機／記録装置１７は、演算回路１６から符号化データとして供給される補正データを、記録媒体２に記録し、または伝送路３を介して伝送するようになされている。
【００５３】
次に、図５のフローチャートを参照して、その動作について説明する。
【００５４】
ブロック化回路１１には、例えば、１フレーム単位で画像データが供給されるようになされており、ブロック化回路１１では、ステップＳ１において、１フレームの画像が、クラス分類用ブロックにブロック化される。即ち、ブロック化回路１１は、例えば、図６に四角形で囲んで示すように、画像データを、注目画素（図６の実施の形態では、同図に●印で示す横および縦に２個おきの画素が注目画素になり得る）を中心とした３×３（横×縦）の９画素でなるクラス分類用ブロックに分割し、ＡＤＲＣ処理回路１２および遅延回路１５に、順次供給する。
【００５５】
なお、この場合、クラス分類用ブロックは、３×３画素でなる正方形状のブロックで構成されることとなるが、クラス分類用ブロックの形状は、正方形である必要はなく、その他、例えば、長方形や、十文字形、その他の任意な形とすることが可能である。また、クラス分類用ブロックを構成する画素数も、３×３の９画素に限定されるものではない。さらに、クラス分類用ブロックは、隣接する画素どうしで構成するのではなく、離れた画素どうしで構成するようにすることも可能である。但し、その形状および画素数は、後述する学習（マッピング係数学習）時における場合のものと一致している必要がある。
【００５６】
ＡＤＲＣ処理回路１２は、ブロック化回路１１からクラス分類用ブロックを受信すると、ステップＳ２において、そのブロックに対して、例えば、１ビットのＡＤＲＣ処理を施し、これにより、１ビットで表現される画素で構成されるブロックとする。ＡＤＲＣ処理の施されたクラス分類用ブロックは、クラス分類回路１３に供給される。
【００５７】
クラス分類回路１３では、ステップＳ３において、ＡＤＲＣ処理回路１２からのクラス分類用ブロックがクラス分類され、その結果得られるクラス情報が、マッピング係数メモリ１４に、アドレスとして供給される。これにより、マッピング係数メモリ１４からは、クラス分類回路１３より供給されたクラス情報に対応するマッピング係数が読み出され、演算回路１６に供給される。
【００５８】
一方、遅延回路１５では、ブロック化回路１１からのクラス分類用ブロックが遅延され、そのブロックのクラス情報に対応するマッピング係数が、マッピング係数メモリ１４から読み出されるのを待って、演算器１６に供給される。演算器１６では、ステップＳ４において、遅延回路１５からのクラス分類用ブロックを構成する各画素の画素値と、マッピング係数メモリ１４からのマッピング係数を用いて、上述した関数値ｆ（・）（この関数ｆのかっこ内の・は、画素値ｙ1，ｙ2，・・・と、マッピング係数ｋ1，ｋ2，・・・の集合を表すものとする）が演算されることにより、クラス分類用ブロックを構成する中心の画素（中心画素）の画素値を補正した補正データが算出される。この補正データは、画像を符号化した符号化データとして、送信機／記録装置１７に供給される。
【００５９】
送信機／記録装置１７では、ステップＳ５において、演算回路１６からの符号化データが、記録媒体２に記録され、または伝送路３を介して伝送される。
【００６０】
そして、ステップＳ６に進み、１フレーム分の画像データについての処理が終了したかどうかが判定される。ステップＳ６において、１フレーム分の画像データについての処理が、まだ終了していないと判定された場合、ステップＳ２に戻り、次のクラス分類用ブロックを対象に、ステップＳ２以下の処理が繰り返される。また、ステップＳ６において、１フレーム分の画像データについての処理が終了したと判定された場合、ステップＳ１に戻り、次のフレームを対象に、ステップＳ１以下の処理が繰り返される。
【００６１】
次に、図７は、図２のマッピング係数メモリ１４に記憶されているマッピング係数を算出するための学習（マッピング係数学習）処理を行う画像処理装置の第１の構成例を示している。
【００６２】
メモリ２１には、学習に適したディジタル画像データ（以下、適宜、学習用画像という）が１フレーム以上記憶されている。ブロック化回路２２は、メモリ２１に記憶されている画像データを読み出し、図２のブロック化回路１１から出力されるクラス分類用ブロックと同一のブロックを構成して、ＡＤＲＣ処理回路２３および演算回路２６に供給するようになされている。
【００６３】
ＡＤＲＣ処理回路２３またはクラス分類回路２４は、図２のＡＤＲＣ処理回路１２またはクラス分類回路１３における場合とそれぞれ同様の処理を行うようになされている。従って、クラス分類回路２４からは、ブロック化回路２２が出力するブロックのクラス情報が出力されるようになされている。そして、このクラス情報は、マッピング係数メモリ３１に、アドレスとして供給されるようになされている。
【００６４】
演算器２６は、ブロック化回路２２から供給されるブロックを構成する画素と、マッピング係数メモリ３１から供給されるマッピング係数とを用いて、図２の演算回路１６における場合と同一の演算を行い、その結果得られる補正データ（関数値ｆ（・））を、ローカルデコード部２７に供給するようになされている。
【００６５】
ローカルデコード部２７は、演算回路２６から供給される補正データに基づいて、元の学習用画像の予測値（ブロック化回路２２が出力するブロックを構成する画素の画素値の予測値）を予測し（算出し）、誤差算出部２８に供給するようになされている。誤差算出部２８は、ローカルデコード部２７から供給される予測値に対応する学習用画像の画素値（真値）をメモリ２１から読み出し、その学習用画像の画素値に対する、予測値の予測誤差を算出（検出）し、その予測誤差を、誤差情報として、判定部２９に供給するようになされている。
【００６６】
判定部２９は、誤差算出部２８からの誤差情報と、所定の閾値ε１とを比較し、その比較結果に対応して、マッピング係数設定回路３０を制御するようになされている。マッピング係数設定回路３０は、判定部２９の制御にしたがって、クラス分類回路２４におけるクラス分類の結果得られるクラス数と同一の数のマッピング係数のセットを設定（変更）し、マッピング係数メモリ３１に供給するようになされている。
【００６７】
マッピング係数メモリ３１は、マッピング係数設定回路３０から供給されるマッピング係数を一時記憶するようになされている。なお、マッピング係数メモリ３１は、クラス分類回路２４においてクラス分類されるクラスの数だけのマッピング係数（マッピング係数のセット）を記憶することのできる記憶領域を有しており、各記憶領域においては、マッピング係数設定回路３０から、新たなマッピング係数が供給されると、既に記憶しているマッピング係数に代えて、その新たなマッピング係数が記憶されるようになされている。
【００６８】
また、マッピング係数メモリ３１は、クラス分類回路２４から供給されるクラス情報に対応するアドレスに記憶されたマッピング係数を読み出し、演算回路２６に供給するようにもなされている。
【００６９】
次に、図８のフローチャートを参照して、その動作について説明する。
【００７０】
まず最初に、マッピング係数設定回路３０は、ステップＳ５１においてマッピング係数の初期値のセットを、クラス分類回路２４においてクラス分類されるクラスの数だけ設定し、マッピング係数メモリ３１に供給する。マッピング係数メモリ３１では、マッピング係数設定回路３０からのマッピング係数（初期値）が、対応するクラスのアドレスに記憶される。
【００７１】
そして、ブロック化回路２２は、ステップＳ５２において、メモリ２１に記憶されている学習用画像すべてを、図２のブロック化回路１１における場合と同様に、注目画素を中心に３×３画素のブロックにブロック化する。さらに、ブロック化回路２１は、そのブロックを、メモリ２１から読み出し、ＡＤＲＣ処理回路２３および演算回路２６に順次供給する。
【００７２】
ＡＤＲＣ処理回路２３では、ステップＳ５３において、ブロック化回路２２からのブロックに対して、図２のＡＤＲＣ処理回路１２における場合と同様に、１ビットのＡＤＲＣ処理が施され、クラス分類回路２４に供給される。クラス分類回路２４では、ステップＳ５４において、ＡＤＲＣ処理回路２３から供給されたブロックのクラスが決定され、そのクラス情報が、アドレスとして、マッピング係数メモリ３１に供給される。これにより、ステップＳ５５において、マッピング係数メモリ３１の、クラス分類回路２４から供給されるクラス情報に対応するアドレスから、マッピング係数が読み出され、演算回路２６に供給される。
【００７３】
演算回路２６は、ブロック化回路２２からブロックを受信するとともに、マッピング係数メモリ３１から、そのブロックのクラスに対応するマッピング係数を受信すると、ステップＳ５６において、そのマッピング係数と、ブロック化回路２２から供給されるブロックを構成する画素の画素値とを用いて、上述の関数値ｆ（・）を演算する。この演算結果は、ブロック化回路２２から供給されるブロックの中心画素の画素値を補正した補正データとして、ローカルデコード部２７に供給される。
【００７４】
即ち、例えば、上述の図６において、四角形で囲んで示すような３×３画素のブロックが、ブロック化回路２２から出力されたものとすると、演算回路２６では、同図において●印で示す画素の画素値を補正した補正データが求められ、ローカルデコード部２７に出力される。
【００７５】
従って、演算回路２６では、学習用画像を構成する画素数が、１／９に間引かれ、ローカルデコード部２７に供給される。
【００７６】
ここで、図６において、上からｉ番目で、左からｊ番目の●印で示す画素に対応する補正データをＸijと表すととともに、その補正データＸijを中心とする、元の学習用画像（原画像）における３×３の９画素の画素値を、その最も左から右方向、かつ上から下方向に、Ｙij（１），Ｙij（２），Ｙij（３），Ｙij（４），Ｙij（５），Ｙij（６），Ｙij（７），Ｙij（８），Ｙij（９）と表すこととする。
【００７７】
図８に戻り、ステップＳ５６で補正データが算出された後は、ステップＳ５７に進み、メモリ２１に記憶されたすべての学習用画像についての補正データが求められたかどうかが判定される。ステップＳ５７において、すべての学習用画像についての補正データが、まだ求められていないと判定された場合、ステップＳ５３に戻り、すべての学習用画像についての補正データが求められるまで、ステップＳ５３乃至Ｓ５７の処理を繰り返す。
【００７８】
また、ステップＳ５７において、すべての学習用画像についての補正データが求められたと判定された場合、即ち、メモリ２１に記憶されたすべての学習用画像を、１／９に間引いた間引き画像が得られた場合（但し、この間引き画像は、学習用画像を、単純に１／９に間引いたものではなく、マッピング係数との演算により画素値が求められたものである）、ステップＳ５８に進み、ローカルデコード部２７において、その間引き画像がローカルデコードされることにより、元の学習用画像の予測値が算出される。この予測値は、誤差算出部２８に供給される。
【００７９】
ここで、このローカルデコード部２７において得られる予測値で構成される画像（但し、後述するように、誤差情報算出部２８から出力される誤差情報が閾値ε１より小さくなったときにおけるもの）は、受信装置４（図１）側において得られる復号画像と同一のものである。
【００８０】
誤差算出部２８では、ステップＳ５９において、メモリ２１から学習用画像が読み出され、その学習用画像に対する、ローカルデコード部２７から供給される予測値の予測誤差が算出される。即ち、学習用画像の画素値をＹijと表すとともに、ローカルデコード部２７から出力される、その予測値をＥ［Ｙij］と表すとき、誤差算出部２８では、次式で示される誤差分散（誤差の自乗和）Ｑが算出され、これが、誤差情報として、判定部２９に供給される。
【００８１】
Ｑ＝Σ（Ｙij−Ｅ［Ｙij］）2
但し、上式において、Σは、学習用画像の画素すべてについてのサメーションを表す。
【００８２】
判定部２９は、誤差算出部２８から誤差情報を受信すると、その誤差情報と所定の閾値ε１とを比較し、ステップＳ６０において、その大小関係を判定する。ステップＳ６０において、誤差情報が閾値ε１以上であると判定された場合、即ち、ローカルデコード部２７において得られる予測値で構成される画像が、元の学習用画像と同一であるとは認められない場合、判定部２９は、マッピング係数設定回路３０に制御信号を出力する。マッピング係数設定回路３０は、ステップＳ６１において、判定部２９からの制御信号にしたがい、マッピング係数を変更し、その変更後のマッピング係数を、マッピング係数メモリ３１に新たに記憶させる。
【００８３】
そして、ステップＳ５３に戻り、マッピング係数メモリ３１に記憶された、変更後のマッピング係数を用いて、再び、ステップＳ５３以下の処理が繰り返される。
【００８４】
ここで、マッピング係数設定回路３０における、マッピング係数の変更は、ランダムに行っても良いし、また、今回の誤差情報が、前回の誤差情報より小さくなった場合には、前回と同様の傾向で変化させ、今回の誤差情報が、前回の誤差情報より大きくなった場合には、前回と逆の傾向で変化させるようにすることもできる。
【００８５】
さらに、マッピング係数の変更は、すべてのクラスについて行うようにすることもできるし、その一部のクラスについてだけ行うようにすることもできる。一部のクラスについてのマッピング係数だけの変更を行う場合においては、例えば、誤差情報に対する影響の強いクラスを検出させ、そのようなクラスについてのマッピング係数だけを変更するようにすることができる。誤差情報に対する影響の強いクラスは、例えば、次のようにして検出することができる。即ち、まず最初に、マッピング係数の初期値を用いて処理を行うことにより、その誤差情報を得る。そして、マッピング係数を、１クラスごとに同一の量だけ変化させ、その結果得られる誤差情報を、初期値を用いた場合に得られた誤差情報と比較し、その差が、所定値以上となるクラスを、誤差情報に対する影響の強いクラスとして検出すれば良い。
【００８６】
また、マッピング係数が、上述したｋ１，ｋ２，・・・のように複数で１セットとされている場合には、その中の誤差情報に対する影響の強いものだけを変更させるようにすることもできる。
【００８７】
さらに、上述の場合においては、マッピング係数を、クラスごとに設定するようにしたが、マッピング係数は、その他、例えば、ブロックごとに独立して設定したり、また、近接するブロック単位などで設定したりするようにすることが可能である。
【００８８】
但し、マッピング係数を、例えば、ブロックごとに独立して設定するようにした場合などにおいては、ある１つのクラスに対して、複数セットのマッピング係数が得られることがある（この逆に、マッピング係数が、１セットも得られないクラスが生じることもある）。マッピング係数は、最終的には、クラスごとに決める必要があるため、上述のように、あるクラスに対して、複数セットのマッピング係数が得られた場合には、複数セットのマッピング係数を対象に、何らかの処理を行うことで、１セットのマッピング係数を決める必要がある。
【００８９】
一方、ステップＳ６０において、誤差情報が閾値ε１より小さいと判定された場合、即ち、ローカルデコード部２７において得られる予測値で構成される画像が、元の学習用画像と同一であると認められる場合、処理を終了する。
【００９０】
この時点で、マッピング係数メモリ３１に記憶されている、クラスごとのマッピング係数が、もとの画像と同一と認められる復号画像（予測値）を復元することができる補正データを得るために最適なものとして、図２のマッピング係数メモリ１４にセットされている。
【００９１】
従って、このようなマッピング係数を用いて補正データを生成することで、受信装置４（図１）側においては、元の画像とほぼ同一の画像を得ることが可能となる。
【００９２】
なお、図７の実施の形態においては、上述したように、ブロック化回路２２において、画像が、注目画素を中心として３×３の９画素にブロック化され、また、ＡＤＲＣ処理回路２３において、１ビットのＡＤＲＣ処理が行われるので、クラス分類回路２４によるクラス分類により得られるクラス数は５１２（＝（２1）9）であり、従って、５１２セットのマッピング係数が得られる。
【００９３】
次に、図９は、図７のローカルデコード部２７の構成例を示している。
【００９４】
演算回路２６からの補正データは、クラス分類用ブロック化回路４１および予測値計算用ブロック化回路４２に供給されるようになされている。クラス分類用ブロック化回路４１は、補正データを、その性質に応じて所定のクラスに分類するための単位である、注目補正データを中心としたクラス分類用ブロックにブロック化するようになされている。
【００９５】
即ち、上述したように、図６において、上からｉ番目で、左からｊ番目の補正データ（圧縮データ）（画素）（図中、●印で示す部分）をＸijと表すとすると、クラス分類用ブロック化回路４１は、例えば、注目補正データＸijの左上、上、右上、左、右、左下、下、右下に隣接する８つの補正データＸ(i-1)(j-1)，Ｘ(i-1)j，Ｘ(i-1)(j+1)，Ｘi(j-1)，Ｘi(j+1)，Ｘ(i-1)(j-1)，Ｘ(i-1)j，Ｘ(i+1)(j+1)に、自身を含め、合計９画素で構成されるクラス分類用ブロックを生成するようになされている。このクラス分類用ブロックは、ＡＤＲＣ処理回路４３に供給されるようになされている。
【００９６】
なお、図９のクラス分類用ブロック化回路４１において得られるクラス分類用ブロックは、予測値を求めるブロックのクラス（第２のクラス）を決定するために構成されるものであり、この点で、補正データを算出するブロックのクラス（第１のクラス）を決定するために、図２のブロック化回路１１で生成されるものとは異なる。
【００９７】
予測値計算用ブロック化回路４２は、補正データを、元の画像（ここでは、学習用画像）の予測値を計算するための単位である、注目補正データを中心とした予測値計算用ブロックにブロック化するようになされている。即ち、本実施の形態においては、例えば、補正データＸijを中心とする、元の画像（原画像）における３×３の９画素の画素値Ｙij（１），Ｙij（２），Ｙij（３），Ｙij（４），Ｙij（５），Ｙij（６），Ｙij（７），Ｙij（８），Ｙij（９）の予測値が、画素Ｘijを中心とする５×５の２５画素Ｘ(i-2)(j-2)，Ｘ(i-2)(j-1)，Ｘ(i-2)j，Ｘ(i-2)(j+1)，Ｘ(i-2)(j+2)，Ｘ(i-1)(j-2)，Ｘ(i-1)(j-1)，Ｘ(i-1)j，Ｘ(i-1)(j+1)，Ｘ(i-1)(j+2)，Ｘi(j-2)，Ｘi(j-1)，Ｘij，Ｘi(j+1)，Ｘi(j+2)，Ｘ(i+1)(j-2)，Ｘ(i+1)(j-1)，Ｘ(i+1)j，Ｘ(i+1)(j+1)，Ｘ(i+1)(j+2)，Ｘ(i+2)(j-2)，Ｘ(i+2)(j-1)，Ｘ(i+2)j，Ｘ(i+2)(j+1)，Ｘ(i+2)(j+2)から求められるようになされており、予測値計算用ブロック化回路４２は、このような２５画素で構成される正方形状の予測値計算用ブロックを生成するようになされている。
【００９８】
具体的には、例えば、図６において四角形で囲む、元の画像における画素Ｙ33（１）乃至Ｙ33（９）の予測値の計算のためには、２５の画素（補正データ）Ｘ11，Ｘ12，Ｘ13，Ｘ14，Ｘ15，Ｘ21，Ｘ22，Ｘ23，Ｘ24，Ｘ25，Ｘ31，Ｘ32，Ｘ33，Ｘ34，Ｘ35，Ｘ41，Ｘ42，Ｘ43，Ｘ44，Ｘ45，Ｘ51，Ｘ52，Ｘ53，Ｘ54，Ｘ55により、予測値計算用ブロックが構成される。
【００９９】
予測値計算用ブロック化回路４２において得られた予測値計算用ブロックは、予測回路４６に供給されるようになされている。
【０１００】
なお、予測値計算用ブロックについても、クラス分類用ブロックにおける場合と同様に、その画素数および形状は、上述したものに限定されるものではない。但し、ローカルデコード部２７において、予測値計算用ブロックを構成する画素数は、クラス分類用ブロックを構成する画素数よりも多くするのが望ましい。
【０１０１】
また、上述のようなブロック化を行う場合において（ブロック化以外の処理についても同様）、画像の画枠付近では、対応する画素が存在しないことがあるが、この場合には、例えば、画枠を構成する画素と同一の画素が、その外側に存在するものとして処理を行う。
【０１０２】
ＡＤＲＣ処理回路４３は、クラス分類用ブロック化回路４１が出力するブロック（クラス分類用ブロック）に対して、例えば、１ビットのＡＤＲＣ処理を施し、クラス分類回路４４に供給するようになされている。クラス分類回路４４は、ＡＤＲＣ処理回路４３からのブロックをクラス分類し、その分類結果としてのクラス情報を、予測係数ＲＯＭ４５に供給するようになされている。予測係数ＲＯＭ４５は、クラスごとの予測係数を記憶しており、クラス分類回路４４からクラス情報を受信すると、そのクラス情報に対応するアドレスに記憶されている予測係数を読み出し、予測回路４６に供給するようになされている。なお、予測係数ＲＯＭ４５に記憶されているクラスごとの予測係数は、後述する学習（予測係数学習）により得られたものである。
【０１０３】
予測回路４６は、予測値計算用ブロック化回路４２からの予測値計算用ブロックと、予測係数ＲＯＭ４５からの予測係数とを用いて、元の画像（学習用画像）の予測値を算出（予測）するようになされている。
【０１０４】
次に、図１０のフローチャートを参照して、その動作について説明する。
【０１０５】
ローカルデコード部２７においては、まず最初に、ステップＳ２１において、演算回路２６からの補正データが順次受信されてブロック化される。即ち、クラス分類用ブロック化回路４１において、補正データが、注目補正データを中心とする３×３画素のクラス分類用ブロックにブロック化され、ＡＤＲＣ処理回路４３に供給されるとともに、予測値計算用ブロック化回路４２において、補正データが、注目補正データを中心とする５×５画素の予測値計算用ブロックにブロック化され、予測回路４６に供給される。
【０１０６】
なお、クラス分類用ブロック化回路４１と予測値計算用ブロック化回路４２では、対応するクラス分類用ブロックと予測値計算用ブロックが生成される。即ち、クラス分類用ブロック化回路４１において、例えば図６の補正データＸ33を中心とする３×３画素のクラス分類用ブロックが生成されるとき、予測値計算用ブロックにおいては、同じく補正データＸ33を中心とする５×５画素の予測値計算用ブロックが生成される（補正データＸ33を注目補正データとしてクラス分類用ブロックが構成されるとき、予測値計算用ブロックも、補正データＸ33を注目補正データとして構成される）。
【０１０７】
ＡＤＲＣ処理回路４３は、クラス分類用ブロックを受信すると、ステップＳ２２において、そのクラス分類用ブロックに対して、例えば、１ビットのＡＤＲＣ（１ビットで再量子化を行うＡＤＲＣ）処理を施し、これにより、クラス分類用ブロックを構成する補正データを、１ビットに変換（符号化）して、クラス分類回路４４に出力する。クラス分類回路４４は、ステップＳ２３において、ＡＤＲＣ処理が施されたクラス分類用ブロックに対して、クラス分類処理を施す。即ち、クラス分類用ブロックを構成する各画素のレベル分布の状態を検出し、そのクラス分類用ブロックが属するクラス（そのクラス分類用ブロックを構成する注目画素（注目補正データ）のクラス）を判定する。このクラスの判定結果は、クラス情報として、予測係数ＲＯＭ４５に供給される。
【０１０８】
なお、図１０の実施の形態においては、１ビットのＡＤＲＣ処理が施された３×３の９画素で構成されるクラス分類用ブロックに対して、クラス分類処理が施されるので、各クラス分類用ブロックは、５１２（＝（２1）9）のクラスのうちのいずれかに分類されることになる。
【０１０９】
そして、ステップＳ２４に進み、予測係数ＲＯＭ４５の、クラス分類回路４４からのクラス情報に対応するアドレスから予測係数が読み出され、ステップＳ２５において、予測回路４６は、その予測係数と、予測値計算用ブロック化回路４２からの予測値計算用ブロックを構成する２５の画素値とを用い、例えば、次のような線形１次式にしたがって、元の画像の画素値ｙの予測値Ｅ［ｙ］を算出する。
【０１１０】
Ｅ［ｙ］＝ｗ1ｘ1＋ｗ2ｘ2＋・・・
但し、ｗ1，ｗ2，・・・は予測係数を表し、ｘ1，ｘ2，・・・は予測値計算用ブロックを構成する画素の画素値（補正データ）を表す。
【０１１１】
ここで、図９の実施の形態においては、上述したように、予測値計算用ブロックを構成する２５画素から、９画素の予測値が算出されるようになされている。
【０１１２】
即ち、例えば、いま、図６に示した補正データＸ33を中心とする３×３の補正データＸ22乃至Ｘ24，Ｘ32乃至Ｘ34，Ｘ42乃至Ｘ44でなるクラス分類用ブロックについてのクラス情報Ｃが、クラス分類回路４４から出力され、また、予測値計算用ブロックとして、補正データＸ33を中心とする５×５画素の補正データＸ11乃至Ｘ15，Ｘ21乃至Ｘ25，Ｘ31乃至，Ｘ35，Ｘ41乃至Ｘ45，Ｘ51乃至Ｘ55でなる予測値計算用ブロックが、予測値計算用ブロック化回路４２から出力されたものとする。
【０１１３】
さらに、予測係数ＲＯＭ４５には、クラス情報Ｃに対応するアドレスに、予測係数のセットとして、ｗ1（ｋ）乃至ｗ25（ｋ）が記憶されているものとする。
【０１１４】
この場合、補正データＸ33を中心とする、元の画像における３×３画素（図６において四角形で囲んである部分）の画素値Ｙ33（１）乃至Ｙ33（９）の予測値Ｅ［Ｙ33（１）］乃至Ｅ［Ｙ33（９）］は、次式にしたがって算出される。
【０１１５】
ステップＳ２５において、以上のようにして予測値が、９個単位で、例えば１フレーム分だけ求められると、ステップＳ２６に進み、その１フレーム分の予測値が、誤差算出部２８に供給される。そして、次の補正データが供給されるのを待って、ステップＳ２１に戻り、以下、ステップＳ２１乃至Ｓ２６の処理が繰り返される。
【０１１７】
次に、図１１は、図９の予測係数ＲＯＭ４５に記憶されている予測係数を得るための学習（予測係数学習）を行う画像処理装置の構成例を示している。
【０１１８】
学習用ブロック化回路５１および教師用ブロック化回路５２には、あらゆる画像に適用可能な予測係数を得るための学習用の画像データ（学習用画像）が供給されるようになされている。
【０１１９】
学習用ブロック化回路５１は、入力される画像データから、注目画素を中心とした、図６に●印で示した位置関係の２５画素（５×５画素）を抽出し、この２５画素で構成されるブロックを、学習用ブロックとして、ＡＤＲＣ処理５３および学習データメモリ５６に供給する。
【０１２０】
また、教師用ブロック化回路５２では、入力される画像データから、例えば、注目画素を中心として３×３の９画素で構成されるブロックが生成され、教師用ブロックとして、教師データメモリ５８に供給される。
【０１２１】
なお、学習用ブロック化回路５１において、例えば、図６に●印で示した位置関係の２５画素で構成される学習用ブロックが生成されるとき、教師用ブロック化回路５２では、周囲を四角形で囲んで示す３×３画素の教師用ブロックが生成されるようになされている。
【０１２２】
ＡＤＲＣ処理回路５３は、学習用ブロックを構成する２５画素から、その中心の９画素（３×３画素）を抽出し、これにより、図９のクラス分類用ブロック化回路４１が出力するクラス分類用ブロックと同一のブロックを構成する。さらに、ＡＤＲＣ処理回路５３は、その９画素でなるブロックに対して、図９のＡＤＲＣ処理回路４３における場合と同様に、１ビットのＡＤＲＣ処理を施す。ＡＤＲＣ処理の施された、３×３画素のブロックは、クラス分類回路５４に供給される。クラス分類回路５４では、図９のクラス分類回路４４における場合と同様にして、ＡＤＲＣ処理回路５３からのブロックがクラス分類処理され、それにより得られるクラス情報が、スイッチ５５の端子ａを介して、学習データメモリ５６および教師データメモリ５８に供給される。
【０１２３】
学習データメモリ５６または教師データメモリ５８では、そこに供給されるクラス情報に対応するアドレスに、学習用ブロック化回路５１からの学習用ブロックまたは教師用ブロック化回路５２からの教師用ブロックが、それぞれ記憶される。
【０１２４】
従って、学習データメモリ５６において、例えば、図６に●印で示した５×５画素でなるブロックが学習用ブロックとして、あるアドレスに記憶されたとすると、教師データメモリ５８においては、そのアドレスと同一のアドレスに、同図において、四角形で囲んで示す３×３画素のブロックが、教師用ブロックとして記憶される。
【０１２５】
以下、同様の処理が、あらかじめ用意されたすべての学習用の画像について繰り返され、これにより、学習用ブロックと、図９のローカルデコード部２７において、その学習用ブロックを構成する２５画素と同一の位置関係を有する補正データで構成される予測値計算用ブロックを用いて予測値が求められる９画素で構成される教師用ブロックとが、学習用データメモリ５６と、教師用データメモリ５８とにおいて、同一のアドレスに記憶される。
【０１２６】
なお、学習用データメモリ５６と教師用データメモリ５８においては、同一アドレスに複数の情報を記憶することができるようになされており、これにより、同一アドレスには、複数の学習用ブロックと教師用ブロックのセットを記憶することができるようになされている。
【０１２７】
その後、端子ａを選択していたスイッチ５５が、端子ｂに切り替わり、これにより、カウンタ５７の出力が、アドレスとして、学習データメモリ５６および教師データメモリ５８に供給される。カウンタ５７は、所定のクロックをカウントし、そのカウント値を出力しており、学習データメモリ５６または教師データメモリ５８では、そのカウント値に対応するアドレスに記憶された学習用ブロックまたは教師用ブロックがそれぞれ読み出され、演算回路５９に供給される。
【０１２８】
従って、演算回路５９には、カウンタ５７のカウント値に対応するクラスの学習用ブロックのセットと、教師用ブロックのセットとが供給される。
【０１２９】
演算回路５９は、あるクラスについての学習用ブロックのセットと、教師用ブロックのセットとを受信すると、それらを用いて、最小自乗法により、誤差を最小とする予測係数を算出する。
【０１３０】
即ち、例えば、いま、学習用ブロックを構成する画素の画素値を、ｘ1，ｘ2，ｘ3，・・・とし、求めるべき予測係数をｗ1，ｗ2，ｗ3，・・・とするとき、これらの線形１次結合により、教師用ブロックを構成する、ある画素の画素値ｙを求めるには、予測係数ｗ1，ｗ2，ｗ3，・・・は、次式を満たす必要がある。
【０１３１】
ｙ＝ｗ1ｘ1＋ｗ2ｘ2＋ｗ3ｘ3＋・・・
【０１３２】
そこで、演算回路５９では、同一クラスの学習用ブロックと、対応する教師用ブロックとから、真値ｙに対する、予測値ｗ1ｘ1＋ｗ2ｘ2＋ｗ3ｘ3＋・・・の自乗誤差を最小とする予測係数ｗ1，ｗ2，ｗ3，・・・が求められる。
【０１３３】
以上の処理がクラスごとに行われ、各クラスごとに、２５×９の予測係数が求められる。
【０１３４】
ここで、演算回路５９の処理について、さらに説明する。
【０１３５】
例えば、いま、元の画像の画素値ｙの予測値Ｅ［ｙ］を、その周辺の幾つかの画素の画素値（以下、適宜、学習データという）ｘ1，ｘ2，・・・と、所定の予測係数ｗ1，ｗ2，・・・の線形結合により規定される線形１次結合モデルにより求めることを考えると、予測値Ｅ［ｙ］は、次式で表すことができる。
【０１３６】
そこで、予測係数ｗの集合でなる行列Ｗ、学習データｘの集合でなる行列Ｘ、および予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、
【数１】
【０１３８】
そして、この観測方程式に最小自乗法を適用して、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、元の画像の画素値（以下、適宜、教師データという）ｙの集合でなる行列Ｙ、および元の画像の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数２】
【０１４０】
この場合、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗiは、自乗誤差
【数３】
【０１４２】
従って、上述の自乗誤差を予測係数ｗiで微分したものが０になる場合、即ち、次式を満たす予測係数ｗiが、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【０１４３】
【数４】
そこで、まず、式（３）を、予測係数ｗiで微分することにより、次式が成立する。
【０１４５】
【数５】
式（４）および（５）より、式（６）が得られる。
【０１４７】
【数６】
さらに、式（３）の残差方程式における学習データｘ、予測係数ｗ、教師データｙ、および残差ｅの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【０１４９】
【数７】
式（７）の正規方程式は、求めるべき予測係数ｗの数と同じ数だけたてることができ、従って、式（７）を解くことで、最適な予測係数ｗを求めることができる。なお、式（７）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを適用することが可能である。
【０１５１】
なお、以上のようにして、最適な予測係数ｗを求め、さらに、その予測係数ｗを用い、式（１）により、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求める処理は、適応処理と呼ばれる。
【０１５２】
演算回路５９では、学習用ブロックと教師用ブロックとを用いて、式（７）の正規方程式がクラスごとにたてられ、これを解くことで、クラスごとに予測係数が求められる。そして、そのクラスごとの予測係数は、メモリ６０に供給される。メモリ６０には、演算回路５９からの予測係数の他、カウンタ５７からカウント値が供給されており、これにより、メモリ６０においては、演算回路５９からの予測係数が、カウンタ５７からのカウント値に対応するアドレスに記憶される。
【０１５３】
以上のようにして、メモリ６０には、各クラスに対応するアドレスに、そのクラスのブロックの３×３画素を予測するのに最適な２５×９の予測係数（誤差を最小にする予測係数）が記憶される。
【０１５４】
図９の予測係数ＲＯＭ４５には、以上のようにしてメモリ６０に書き込まれたクラスごとの予測係数が記憶されている。
【０１５５】
なお、予測係数ＲＯＭ４５には、各クラスに対応するアドレスに、予測係数を記憶させるのではなく、教師用ブロックを構成する画素値の平均値などを記憶させるようにすることが可能である。この場合、クラス情報が与えられると、そのクラスに対応する画素値が出力されることになり、ローカルデコード部２７において、予測値計算用ブロック化回路４２および予測回路４６を設けずに済むようになる。
【０１５６】
次に、図１２は、マッピング係数を算出するためのマッピング係数学習処理を行う画像処理装置の第２の構成例を示している。なお、図中、図７における場合と対応する部分については、同一の符号を付してある。即ち、この画像処理装置は、ローカルデコード部２７に代えてローカルデコード部１０２７が設けられている他は、図７における場合と基本的に同様に構成されている。
【０１５７】
図７の実施の形態では、ローカルデコード部２７において、あらかじめ上述したような学習（予測係数学習）により得られた予測係数を、予測係数ＲＯＭ４５に記憶させておき、その予測係数を用いて予測値を求めるようにしたが、ローカルデコード部１０２７では、そこに、演算回路２６からの補正データの他、メモリ２１から学習用画像の画素値（真値）も供給されるようになされており、その補正データおよび学習用画像（原画像）を用いて、予測係数を求める処理を行い、さらに、その予測係数に基づいて、予測値を求める適応処理が行われるようになされている。
【０１５８】
即ち、図１３は、図１２のローカルデコード部１０２７の構成例を示している。なお、図中、図９における場合と対応する部分については、同一の符号を付してある。即ち、ローカルデコード部１０２７は、予測係数ＲＯＭ４５および予測回路４６に代えて、適応処理回路４７が設けられている他は、図９のローカルデコード部２７と基本的に同様に構成されている。
【０１５９】
適応処理回路４７は、クラス分類回路４４からのクラス情報に対応して、補正データおよび原画像（学習用画像）を用い、クラスごとに最適な予測係数ｗを求め、さらに、その予測係数ｗを用いて、式（１）にしたがい、原画像の画素値ｙに近い予測値Ｅ［ｙ］を求める適応処理を行うようになされている。
【０１６０】
ここで、適応処理（予測係数ＲＯＭ４５を用いる場合も、適応処理に含まれる）は、間引かれた画像には含まれていない、元の画像に含まれる成分が再現される点で、補間処理とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習（予測係数学習）により求められるため、元の画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造作用がある処理ということができる。
【０１６１】
次に、図１４のフローチャートを参照して、ローカルデコード部１０２７の動作について説明する。
【０１６２】
ローカルデコード部１０２７においては、まず最初に、ステップＳ１２１乃至Ｓ１２３において、図１０のステップＳ２１乃至Ｓ２３における場合とそれぞれ同様の処理が行われ、これにより、上述したように、予測値計算用ブロック化回路４２から、５×５画素の予測値計算用ブロックが出力されるとともに、クラス分類回路４４から、クラス情報が出力される。予測値計算用ブロックおよびクラス情報は、いずれも、適応処理回路４７に供給される。
【０１６３】
そして、適応処理回路４７には、その他、原画像（学習用画像）も供給されるようになされており、そこでは、ステップＳ１２４において、クラス分類回路４４からのクラス情報に基づいて、各クラスごとに適応処理が施され、これにより、クラスごとの予測係数および１フレームの原画像の予測値が算出される。
【０１６４】
即ち、本実施の形態においては、例えば、クラスごとの２５×９個の予測係数が、１フレームごとに、原画像と予測値計算用ブロックを構成する補正データとから算出される。さらに、ある１つの補正データに注目した場合に、その注目補正データに対応する原画像の画素と、その画素の周りに隣接する８個の原画像の画素の、合計９個の画素についての予測値が、注目補正データのクラス情報に対応する２５×９個の予測係数と、その注目補正データを中心とする５×５画素でなる予測値計算用ブロックとを用いて、適応処理が行われることにより算出される。
【０１６５】
具体的には、例えば、いま、図６に示した注目補正データＸ33を中心とする３×３の補正データＸ22，Ｘ23，Ｘ24，Ｘ32，Ｘ33，Ｘ34，Ｘ42，Ｘ43，Ｘ44でなるクラス分類用ブロックについてのクラス情報Ｃが、クラス分類回路４４から出力され、また、そのクラス分類用ブロックに対応する予測値計算用ブロックとして、注目補正データＸ33を中心とする５×５画素の補正データＸ11，Ｘ12，Ｘ13，Ｘ14，Ｘ15，Ｘ21，Ｘ22，Ｘ23，Ｘ24，Ｘ25，Ｘ31，Ｘ32，Ｘ33，Ｘ34，Ｘ35，Ｘ41，Ｘ42，Ｘ43，Ｘ44，Ｘ45，Ｘ51，Ｘ52，Ｘ53，Ｘ54，Ｘ55でなる予測値計算用ブロックが、予測値計算用ブロック化回路４２から出力されたものとすると、まず、その予測値計算用ブロックを構成する補正データを、学習データとするとともに、元の画像における、補正データＸ33を中心とする３×３画素（図６において四角形で囲んである部分）の画素値Ｙ33（１）乃至Ｙ33（９）を、教師データとして、式（７）に示した正規方程式がたてられる。
【０１６６】
さらに、所定期間としての、例えば、１フレームの中で、同一のクラス情報Ｃにクラス分類されるクラス分類用ブロックに対応する、他の予測値計算用ブロックについても同様にして、正規方程式がたてられ、画素値Ｙ33（ｋ）（ここでは、ｋ＝１，２，・・・，９）の予測値Ｅ［Ｙ33（ｋ）］を求めるための予測係数ｗ1（ｋ）乃至ｗ25（ｋ）（本実施の形態では、１つの予測値を求めるのに学習データ（原画像の画素）が２５個用いられるので、それに対応して、予測係数ｗも２５個必要となる）を算出することができるだけの数の正規方程式が得られると（従って、そのような数の正規方程式が得られるまでは、ステップＳ１２４では、正規方程式をたてる処理までが行われる）、その正規方程式を解くことで、クラス情報Ｃについて、画素値Ｙ33（ｋ）の予測値Ｅ［Ｙ33（ｋ）］を求めるのに最適な予測係数ｗ1（ｋ）乃至ｗ25（ｋ）が算出される。この処理は、各クラスごとに行われ、これにより、各クラスごとに、２５×９の予測係数が算出される。
【０１６７】
そして、クラス情報Ｃについての予測係数と予測値計算用ブロックとを用い、式（１）に対応する次式にしたがって、予測値Ｅ［Ｙ33（ｋ）］が求められる。
【０１６８】
ステップＳ１２４では、以上のようにして、２５×９の予測係数が、クラスごとに求められ、そのクラスごとの予測係数を用いて、注目補正データを中心とする３×３の原画像の画素の予測値が求められる。
【０１７０】
以上のようにして、１フレーム分の予測値が求められると、ステップＳ１２５に進み、その１フレーム分の予測値が、誤差算出部２８に供給される。そして、ステップＳ１２１に戻り、以下同様の処理が、例えば、上述のように、１フレーム単位で繰り返される。
【０１７１】
次に、図１５は、マッピング係数を算出するためのマッピング係数学習処理を行う画像処理装置の第３の構成例を示している。
【０１７２】
なお、図７や図１２の画像処理装置によれば、関数ｆが、例えば、線形１次式で表される場合の他、非線形な式や、２次以上の式で表される場合も、最適な予測係数を求めることができるが、図１５の画像処理装置では、関数ｆが、線形１次式で表される場合にのみ、最適な予測係数を求めることができるようになされている。
【０１７３】
即ち、図１５の画像処理装置は、図２において、ブロック化回路１１が出力する注目画素を中心とする３×３の９画素のブロックを構成する各画素の画素値をｙ1，ｙ2，・・・，ｙ9とするとともに、マッピング係数メモリ１４が出力するマッピング係数をｋ1，ｋ2，・・・，ｋ9とする場合において、演算回路１６が、次式にしたがって関数値ｆ（ｙ1，ｙ2，・・・，ｋ1，ｋ2，・・・）を演算して補正データを求めるようになされているときに用いることができる。
【０１７４】
ｆ（・）＝ｋ1ｙ1＋ｋ2ｙ2＋・・・＋ｋ9ｙ9
【０１７５】
最適補正データ算出部７０には、学習に適した学習用画像が、例えば、１フレーム単位などで供給されるようになされている。最適補正データ算出部７０は、圧縮部７１、補正部７２、ローカルデコード部７３、誤差算出部７４、および判定部７５で構成され、そこに入力される学習用画像から、その画素数を少なくして圧縮した画像であって、元の画像を予測するのに最適な画像を構成する画素値（以下、適宜、最適補正データという）を算出し、ラッチ回路７６に供給するようになされている。
【０１７６】
即ち、最適補正データ算出部７０に供給された学習用画像は、圧縮部７１および誤差算出部７４に供給されるようになされている。圧縮部７１は、図２の演算回路１６が画素を間引く割合と同一の割合で、学習用画像を単純に間引き、即ち、本実施の形態においては、学習用画像を１／９に単純に間引き（３×３の９画素を１ブロックとするとき、そのブロックの中心の画素だけを抽出し）、これにより学習用画像を圧縮して補正部７２に供給するようになされている。
【０１７７】
補正部７２は、圧縮部７１から供給される、単純な間引きが行われて圧縮されたデータ（以下、適宜、圧縮データという）を、判定部７５からの制御にしたがって補正するようになされている。補正部７２における補正の結果得られるデータ（このデータも、図２の演算回路１６の出力と同様に、３×３画素のブロックの中心画素の画素値を補正したものであるので、以下、適宜、補正データという）は、ローカルデコード部７３に供給するようになされている。
【０１７８】
ローカルデコード部７３は、図７のローカルデコード部２７または図１２のローカルデコード部１０２７における場合と同様にして、補正部７２からの補正データに基づいて、元の画像（学習用画像）を予測し、その予測値を、誤差算出部７４に供給するようになされている。
【０１７９】
誤差算出部７４は、図７の誤差算出部２８における場合と同様にして、そこに入力される、元の画像データに対する、ローカルデコード部７３からの予測値の予測誤差を算出するようになされている。この予測誤差は、誤差情報として、判定部７５に供給されるようになされている。
【０１８０】
判定部７５は、誤差算出部７４からの誤差情報に基づいて、補正部７２が出力した補正データを、元の画像の圧縮結果とすることの適正さを判定するようになされている。そして、判定部７５は、補正部７２が出力した補正データを、元の画像の圧縮結果とすることが適正でないと判定した場合には、補正部７２を制御し、さらに、圧縮データを補正させ、その結果得られる新たな補正データを出力させるようになされている。また、判定部７５は、補正部７２が出力した補正データを、元の画像の圧縮結果とすることが適正であると判定した場合には、その補正データを、最適補正データとして、ラッチ回路７６に供給させるようになされている。
【０１８１】
ラッチ回路７６は、メモリ７６Ａを内蔵しており、そのメモリ７６Ａに、補正部７２から供給される最適補正データを記憶させるようになされている。さらに、ラッチ回路７６は、メモリ７６Ａに記憶された最適補正データのうち、ブロック化回路７７のメモリ７７Ａから読み出されるブロックの中心画素に対応するものを読み出し、メモリ８０に供給するようになされている。なお、ラッチ回路７６は、メモリ７６Ａに、１フレーム分の補正データが記憶されると、その旨を示す制御信号を、ブロック化回路７７に出力するようになされている。
【０１８２】
ブロック化回路７７には、最適補正データ算出部７０と同様に、学習用画像が１フレーム単位で供給されるようになされている。ブロック化回路７７は、メモリ７７Ａを内蔵しており、そのメモリ７７Ａに、そこに供給される学習用画像を記憶させるようになされている。また、ブロック化回路７７は、ラッチ回路７６から制御信号を受信すると、メモリ７７Ａに記憶された学習用画像を、図２のブロック化回路１１における場合と同様に、注目画素を中心とする３×３画素で構成されるブロックに分割し、そのブロックを順次読み出して、ＡＤＲＣ処理回路７８およびメモリ８０に供給するようになされている。
【０１８３】
なお、ブロック化回路７７は、その内蔵するメモリ７７Ａからブロックを読み出すときに、そのブロックの位置を示す制御信号を、ラッチ回路７６に供給するようになされている。ラッチ回路７６では、この制御信号に基づいて、メモリ７７Ａから読み出される３×３画素のブロックが認識され、上述したように、そのブロックの中心画素に対応する最適補正データが、メモリ７６Ａから読み出されるようになされている。即ち、これにより、メモリ８０に対しては、ある３×３画素のブロックと、そのブロックに対応する最適補正データとが同時に供給されるようになされている。
【０１８４】
ＡＤＲＣ処理回路７８またはクラス分類回路７９は、図２のＡＤＲＣ処理回路１２またはクラス分類回路１３とそれぞれ同様に構成されている。そして、クラス分類回路７９が出力する、ブロック化回路７７からのブロックについてのクラス情報は、メモリ８０に対して、アドレスとして供給されるようになされている。
【０１８５】
メモリ８０は、クラス分類回路７９から供給されるクラス情報に対応するアドレスに、ラッチ回路７６から供給される最適補正データと、ブロック化回路７７から供給されるブロックとを対応付けて記憶するようになされている。なお、メモリ８０は、１つのアドレスに複数の情報を記憶することができるようになされており、これにより、あるクラス情報に対応する最適補正データおよびブロックを、複数セット記憶することができるようになされている。
【０１８６】
演算回路８１は、メモリ８０に記憶された、学習用画像の３×３のブロックを構成する９画素ｙ1，ｙ2，・・・，ｙ9と、そのブロックに対応付けられている最適補正データｙ’とを読み出し、これらに最小自乗法を適用することで、クラスごとに、マッピング係数ｋ1乃至ｋ9を求め、メモリ８２に供給するようになされている。メモリ８２は、演算回路８１から供給されるクラスごとのマッピング係数ｋ1乃至ｋ9を、そのクラスに対応したアドレスに記憶するようになされている。
【０１８７】
次に、図１６のフローチャートを参照して、その動作について説明する。
【０１８８】
学習用画像が入力されると、その学習用画像は、ブロック化回路７７のメモリ７７Ａに記憶されるとともに、最適補正データ算出部７０に供給される。最適補正データ算出部７０は、学習用画像を受信すると、ステップＳ３１において、その学習用画像についての最適補正データを算出する。
【０１８９】
即ち、ステップＳ３１では、図１７のフローチャートに示すように、まず、圧縮部７１が、ステップＳ４１において、学習用画像を、１／９に間引くことにより圧縮データを生成し、補正部７２を介して、即ち、最初は、補正を行わずに、ローカルデコード部７３に出力する。ローカルデコード部７３では、ステップＳ４２において、補正部７２からの補正データ（最初は、上述したように、画像データを、単純に間引いた圧縮データそのもの）に基づいて、元の画像の予測値が算出される（ローカルデコードが行われる）。この予測値は、誤差算出部７４に供給される。
【０１９０】
誤差算出部７４は、ローカルデコード部７３から、元の画像の予測値を受信すると、ステップＳ４３において、元の画像データに対する、ローカルデコード部７３からの予測値の予測誤差を算出し、誤差情報として、判定部７５に供給する。判定部７５は、誤差算出部７４から誤差情報を受信すると、ステップＳ４４において、その誤差情報に基づいて、補正部７２が出力した補正データを、元の画像の圧縮結果とすることの適正さを判定する。
【０１９１】
即ち、ステップＳ４４においては、例えば、１フレーム分の誤差情報が所定の閾値ε以下であるかどうかが判定される。ステップＳ４４において、誤差情報が所定の閾値ε以下でないと判定された場合、補正部７２が出力した補正データを、元の画像の圧縮結果とするのは適正でないと認識され、ステップＳ４５に進み、判定部７５は、補正部７２を制御し、これにより、圧縮部７１から出力された圧縮データを補正させる。補正部７２は、判定部７５の制御にしたがって、補正量（補正値△）を変えて、圧縮データを補正し、その結果得られる補正データを、ローカルデコード部７３に出力する。そして、ステップＳ４２に戻り、以下、同様の処理が繰り返される。
【０１９２】
なお、圧縮データの補正は、例えば、上述の図７で説明した、マッピング係数の変更と同様にして行うことが可能である。
【０１９３】
一方、ステップＳ４４において、誤差情報が所定の閾値ε以下であると判定された場合、補正部７２が出力した補正データを、元の画像の圧縮結果とするのは適正であると認識され、ステップＳ４６に進み、判定部７５は、所定の閾値ε以下の誤差情報が得られたときの補正データを、最適補正データとして、補正部７２からラッチ回路７６に出力させ、その内蔵するメモリ７６Ａに記憶させて、リターンする。
【０１９４】
以上のようにして、誤差情報が所定の閾値ε以下となったときにおける、圧縮データを補正した補正データが、最適補正データとして、メモリ７６Ａに記憶される。なお、この最適補正データは、誤差情報を所定の閾値ε以下とするものであるから、これを用いて、予測値を算出することにより、元の画像（原画像）とほぼ同一の画像を得ることができる。
【０１９５】
図１６に戻り、ラッチ回路７６は、そのメモリ７６Ａに、１フレーム分の最適補正データを記憶すると、制御信号を、ブロック化回路７７に出力する。ブロック化回路７７は、ラッチ回路７６から制御信号を受信すると、ステップＳ３２において、メモリ７７Ａに記憶された学習用画像を、３×３画素で構成されるブロックに分割する。そして、ブロック化回路７７は、メモリ７７Ａに記憶された学習用画像のブロックを読み出して、ＡＤＲＣ処理回路７８およびメモリ８０に供給する。
【０１９６】
また、同時に、ブロック化回路７７は、メモリ７７Ａからブロックを読み出すときに、そのブロックの位置を示す制御信号を、ラッチ回路７６に供給し、ラッチ回路７６は、その制御信号に対応して、メモリ７７Ａから読み出された３×３画素のブロックを認識し、そのブロックの中心画素に対応する最適補正データを読み出して、メモリ８０に供給する。
【０１９７】
そして、ステップＳ３３に進み、ＡＤＲＣ処理回路７８において、ブロック化回路７７からのブロックがＡＤＲＣ処理され、さらに、クラス分類回路７９において、そのブロックがクラス分類される。このクラス分類結果は、アドレスとして、メモリ８０に供給される。
【０１９８】
メモリ８０では、ステップＳ３４において、クラス分類回路７９から供給されるクラス情報に対応するアドレスに、ラッチ回路７６から供給される最適補正データと、ブロック化回路７７から供給されるブロック（学習データ）とが対応付けられて記憶される。
【０１９９】
そして、ステップＳ３５に進み、メモリ８０に、１フレーム分のブロックおよび最適補正データが記憶されたかどうかが判定される。ステップＳ３５において、メモリ８０に、１フレーム分のブロックおよび最適補正データが、まだ記憶されていないと判定された場合、ブロック化回路７７から次のブロックが読み出されるとともに、ラッチ回路７６からそのブロックに対応する最適補正データが読み出され、ステップＳ３３に戻り、以下、ステップＳ３３以降の処理を繰り返す。
【０２００】
また、ステップＳ３５において、メモリ８０に、１フレーム分のブロックおよび最適補正データが記憶されたと判定された場合、ステップＳ３６に進み、学習用画像すべてについて処理が終了したかどうかが判定される。ステップＳ３６において、学習用画像すべてについての処理が、まだ終了していないと判定された場合、ステップＳ３１に戻り、次の学習用画像について、ステップＳ３１からの処理が繰り返される。
【０２０１】
一方、ステップＳ３６において、学習用画像すべてについての処理が終了したと判定された場合、ステップＳ３７に進み、演算回路８１は、メモリ８０に記憶された最適補正データとブロックとを、クラスごとに読み出し、これらにより、式（７）に示したような正規方程式をたてる。さらに、演算回路８１は、ステップＳ３８において、その正規方程式を解くことで、誤差を最小にする、クラスごとのマッピング係数を算出する。このマッピング係数は、ステップＳ３９において、メモリ８２に供給されて、クラスごとに分けて記憶され、処理を終了する。
【０２０２】
関数ｆが、線形１次式で表される場合においては、以上のようにしてメモリ８２に記憶されたマッピング係数を、図２のマッピング係数メモリ１４に記憶させ、これを用いて画像の符号化を行うことができる。
【０２０３】
なお、クラスによっては、マッピング係数を求めることができるだけの数の正規方程式が得られない場合がある。このような場合は、図２の演算回路１６において、ブロック化回路１１から出力される３×３画素のブロックを構成する９画素の、例えば平均値などが出力されるようなマッピング係数、即ち、ｋ1乃至ｋ9＝１／９などが、デフォルトの値として設定される。
【０２０４】
次に、図１８は、図１の受信装置４の構成例を示している。
【０２０５】
受信機／再生装置９１においては、記録媒体２に記録された符号化データが再生され、または伝送路３を介して伝送されてくる符号化データが受信され、デコード部９２に供給される。
【０２０６】
デコード部９２は、図９に示したローカルデコード部２７におけるクラス分類用ブロック化回路４１乃至予測回路４６とそれぞれ同様に構成されるクラス分類用ブロック化回路９３乃至予測回路９８で構成されており、従って、デコード部９２では、図９のローカルデコード部２７における場合と同様にして、補正データから予測値が求められ、この予測値で構成される画像が復号画像として出力される。
【０２０７】
即ち、受信機／再生装置９１から出力される符号化データとしての補正データは、クラス分類用ブロック化回路９３または予測値計算用ブロック化回路９４に順次供給され、図９のクラス分類用ブロック化回路４１または予測値計算用ブロック化回路４２における場合と同様にして、クラス分類用ブロックまたは予測値計算用ブロックに、それぞれブロック化される。そして、クラス分類用ブロックはＡＤＲＣ処理回路９５に、予測値計算用ブロックは予測回路９８に、それぞれ供給される。
【０２０８】
ＡＤＲＣ処理回路９５は、クラス分類用ブロックを受信すると、そのクラス分類用ブロックに対して、図９のＡＤＲＣ処理回路４３における場合と同様に、１ビットのＡＤＲＣ処理を施し、これにより、クラス分類用ブロックを構成する補正データを、１ビットに変換（符号化）して、クラス分類回路９６に出力する。クラス分類回路９６は、ＡＤＲＣ処理が施されたクラス分類用ブロックに対して、クラス分類処理を施し、クラス情報を、予測係数ＲＯＭ９７に出力する。
【０２０９】
予測係数ＲＯＭ９７は、図９の予測係数ＲＯＭ４５と同様に、例えば、図１１の画像処理装置において求められた、クラスごとの予測係数を記憶しており、クラス分類回路９６からクラス情報を受信すると、そのクラス情報に対応する予測係数を読み出し、予測回路９８に供給する。予測回路９８では、予測係数ＲＯＭ９７からの予測係数と、予測値計算用ブロック化回路９４からの予測値計算用ブロックを構成する補正データとを用い、式（１）に対応する線形１次式にしたがって、元の画像の予測値が算出され、これにより、元の画像が復号される。
【０２１０】
補正データは、上述したように、誤差情報を所定の閾値以下とするものであり、従って、受信装置４においては、元の画像とほぼ同一の復号画像を得ることができる。
【０２１１】
なお、受信側においては、図１８に示すような受信装置４でなくても、間引きされた画像を補間により復号する装置により、通常の補間を行うことで復号画像を得ることができる。但し、この場合に得られる復号画像は、画質（解像度）の劣化したものとなる。
【０２１２】
以上、本発明を適用した画像処理装置について説明したが、このような画像処理装置は、例えば、ＮＴＳＣ方式などの標準方式のテレビジョン信号を符号化する場合の他、データ量の多い、いわゆるハイビジョン方式のテレビジョン信号などを符号化する場合に、特に有効である。
【０２１３】
なお、本実施の形態においては、１フレームの画像を対象にブロック化を行うようにしたが、ブロックは、その他、例えば、時系列に連続する複数フレームにおける、同一位置の画素などを集めて構成するようにすることも可能である。
【０２１４】
また、本実施の形態においては、誤差情報として、誤差の自乗和を用いるようにしたが、誤差情報としては、その他、例えば、誤差の絶対値和や、その３乗以上したものの和などを用いるようにすることが可能である。いずれを誤差情報として用いるかは、例えば、その収束性などに基づいて決定するようにすることが可能である。
【０２１５】
さらに、例えば、図１３の実施の形態では、１フレーム単位で、正規方程式をたてて、クラスごとの予測係数を求めるようにしたが、予測係数の算出処理は、その他、例えば、１フィールド単位や複数フレーム単位で正規方程式をたてて行うようにすることも可能である。他の処理についても同様である。
【０２１６】
また、本発明は、ハードウェアによっても、あるいは、上述した処理を行うためのアプリケーションプログラムが記録されたハードディスク等の記録媒体から、そのアプリケーションプログラムを読み出して、コンピュータに実行させることによっても、実現可能である。
【０２１７】
さらに、図２においては、ＡＤＲＣ処理回路１２に供給するブロックと、遅延回路１５を介して、演算回路１６に供給するブロックとは同一のものとしたが、これらのブロックは同一である必要は必ずしもない。
【０２１８】
【発明の効果】
請求項１に記載の画像符号化装置および請求項３に記載の画像符号化方法によれば、画像を構成する画素から注目している注目画素周辺の複数の画素を抽出し、抽出された複数の画素の性質に応じて注目画素を所定のクラスに分類され、クラスごとに、画像を符号化するための所定のマッピング係数が記憶され、画像の中の、注目している注目画素周辺の複数の画素と、注目画素のクラスに対応するマッピング係数とを引数とする所定の関数の演算を行うことにより、符号化された注目画素を、注目画素周辺の複数の画素の符号化データとして出力される。従って、元の画像を復号するのに最適な符号化データを得ることが可能となる。
【０２２１】
請求項４に記載の記録媒体に記録されたプログラムには、画像を構成する画素から注目している注目画素周辺の複数の画素を抽出させ、抽出された複数の画素の性質に応じて所定のクラスに分類させ、クラスごとに、画像を符号化するための所定のマッピング係数を記憶しているマッピング係数記憶手段から、画像の中の、注目している注目画素のクラスに対応するマッピング係数を読み出させ、そのマッピング係数と、注目画素周辺の複数の画素とを引数とする所定の関数の演算を行なわせることにより、符号化された注目画素を、注目画素周辺の複数の画素の符号化データとして出力させる。従って、その符号化データから、元の画像とほぼ同一の復号画像を得ることが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像処理システムの一実施の形態の構成を示すブロック図である。
【図２】図１の送信装置１の構成例を示すブロック図である。
【図３】ＡＤＲＣ処理を説明するための図である。
【図４】クラス分類処理を説明するための図である。
【図５】図２の送信装置の動作を説明するためのフローチャートである。
【図６】図２のブロック化回路１１の処理を説明するための図である。
【図７】マッピング係数を得るための学習を行う画像処理装置の第１実施の形態の構成を示すブロック図である。
【図８】図７の画像処理装置の動作を説明するためのフローチャートである。
【図９】図７のローカルデコード部２７の構成例を示すブロック図である。
【図１０】図９のローカルデコード部２７の処理を説明するためのフローチャートである。
【図１１】予測係数を得るための学習を行う画像処理装置の一実施の形態の構成を示すブロック図である。
【図１２】マッピング係数を得るための学習を行う画像処理装置の第２実施の形態の構成を示すブロック図である。
【図１３】図１２のローカルデコード部１０２７の構成例を示すブロック図である。
【図１４】図１３のローカルデコード部１０２７の処理を説明するためのフローチャートである。
【図１５】マッピング係数を得るための学習を行う画像処理装置の第３実施の形態の構成を示すブロック図である。
【図１６】図１５の画像処理装置の動作を説明するためのフローチャートである。
【図１７】図１６におけるステップＳ３１の処理のより詳細を説明するためのフローチャートである。
【図１８】図１の受信装置４の構成例を示すブロック図である。
【符号の説明】
１ 送信装置， ２ 記録媒体， ３ 伝送路， ４ 受信装置， １１ ブロック化回路， １２ ＡＤＲＣ処理回路， １３ クラス分類回路， １４ マッピング係数メモリ， １５ 遅延回路， １６ 演算回路， １７ 送信機／記録装置， ２１ メモリ， ２２ ブロック化回路， ２３ ＡＤＲＣ処理回路， ２４ クラス分類回路， ２６ 演算回路， ２７ ローカルデコード部， ２８ 誤差算出部， ２９ 判定部， ３０ マッピング係数設定回路，３１ マッピング係数メモリ， ４１ クラス分類用ブロック化回路， ４２予測値計算用ブロック化回路， ４３ ＡＤＲＣ処理回路， ４４ クラス分類回路， ４５ 予測係数ＲＯＭ， ４６ 予測回路， ４７ 適応処理回路，５１ 学習用ブロック化回路， ５２ 教師用ブロック化回路， ５３ ＡＤＲＣ処理回路， ５４ クラス分類回路， ５５ スイッチ， ５６ 学習データメモリ， ５７ カウンタ， ５８ 教師データメモリ， ５９ 演算回路，６０ メモリ， ７０ 最適補正データ算出部， ７１ 圧縮部， ７２ 補正部， ７３ ローカルデコード部， ７４ 誤差算出部， ７５ 判定部， ７６ ラッチ回路， ７６Ａ メモリ， ７７ ブロック化回路， ７７Ａ メモリ， ７８ ＡＤＲＣ処理回路， ７９ クラス分類回路， ８０ メモリ，８１ 演算回路， ８２ メモリ， ９１ 受信機／再生装置， ９２ デコード部， ９３ クラス分類用ブロック化回路， ９４ 予測値計算用ブロック化回路， ９５ ＡＤＲＣ処理回路， ９６ クラス分類回路， ９７ 予測係数ＲＯＭ， ９８ 予測回路， １０２７ ローカルデコード部
Claims (4)
- 画像を符号化する画像符号化装置であって、
前記画像を構成する画素から注目している注目画素周辺の複数の画素を抽出し、抽出された前記複数の画素の性質に応じて前記注目画素を所定のクラスに分類する分類手段と、
前記クラスごとに、前記画像を符号化するための所定のマッピング係数を記憶しているマッピング係数記憶手段と、
前記画像の中の、注目している前記注目画素周辺の複数の画素と、前記注目画素のクラスに対応する前記マッピング係数とを引数とする所定の関数の演算を行うことにより、符号化された前記注目画素を、前記注目画素周辺の複数の画素の符号化データとして出力する演算手段と
を備えることを特徴とする画像符号化装置。 - 前記マッピング係数は、
学習用の画像を構成する画素から注目している注目学習画素周辺の複数の画素を抽出し、抽出された前記複数の画素の性質に応じて前記注目学習画素を前記クラスのうちのいずれかに分類し、
前記学習用の画像の中の、注目している前記注目学習画素周辺の複数の画素と、前記注目学習画素のクラスに対応する所定の係数とを引数とする所定の関数の演算を行うことにより、前記注目学習画素を補正した学習用補正データを生成し、
前記学習用補正データと前記学習用補正データに応じた予測係数とに基づく演算によって、前記学習用の画像の予測値を予測し、
前記学習用の画像に対する、前記学習用の画像の予測値の予測誤差を算出し、
その予測誤差が所定の閾値以上の場合に、前記所定の係数を変更することを、前記予測誤差が前記所定の閾値より小さくなるまで繰り返すことにより得られた前記所定の係数である
ことを特徴とする請求項１に記載の画像符号化装置。 - 画像を符号化する画像符号化方法であって、
前記画像を構成する画素から注目している注目位置周辺の複数の画素を抽出し、抽出された前記複数の画素の性質に応じて前記注目位置を所定のクラスに分類し、
前記クラスごとに、前記画像を符号化するための所定のマッピング係数を記憶しているマッピング係数記憶手段から、前記画像の中の、注目している前記注目位置のクラスに対応する前記マッピング係数を読み出し、
前記マッピング係数と、前記注目位置周辺の複数の画素とを引数とする所定の関数の演算を行うことにより、符号化された前記注目位置を、前記注目位置周辺の複数の画素の符号化データとして出力する
ことを特徴とする画像符号化方法。 - 画像を符号化する処理をコンピュータに行わせるプログラムが記録されている記録媒体であって、
前記画像を構成する画素から注目している注目画素周辺の複数の画素を抽出させ、抽出された前記複数の画素の性質に応じて所定のクラスに分類させ、
前記クラスごとに、前記画像を符号化するための所定のマッピング係数を記憶しているマッピング係数記憶手段から、前記画像の中の、注目している前記注目画素のクラスに対応する前記マッピング係数を読み出させ、
前記マッピング係数と、前記注目画素周辺の複数の画素とを引数とする所定の関数の演算を行なわせることにより、符号化された前記注目画素を、前記注目画素周辺の複数の画素の符号化データとして出力させる
ことを特徴とするプログラムが記録された記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20849897A JP3912558B2 (ja) | 1996-07-17 | 1997-07-17 | 画像符号化装置および画像符号化方法、並びに記録媒体 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20655396 | 1996-07-17 | ||
| JP8-206553 | 1996-07-17 | ||
| JP20849897A JP3912558B2 (ja) | 1996-07-17 | 1997-07-17 | 画像符号化装置および画像符号化方法、並びに記録媒体 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005309781A Division JP4487900B2 (ja) | 1996-07-17 | 2005-10-25 | 画像処理システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1093963A JPH1093963A (ja) | 1998-04-10 |
| JP3912558B2 true JP3912558B2 (ja) | 2007-05-09 |
Family
ID=26515712
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20849897A Expired - Fee Related JP3912558B2 (ja) | 1996-07-17 | 1997-07-17 | 画像符号化装置および画像符号化方法、並びに記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3912558B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2000021301A1 (en) * | 1998-10-05 | 2000-04-13 | Sony Corporation | Image transform device and method, learning device and method, and recording medium |
| CN1578159B (zh) * | 2000-05-09 | 2010-05-26 | 索尼公司 | 数据处理装置和方法 |
| US7991054B2 (en) | 2002-07-19 | 2011-08-02 | Sony Corporation | Information signal processing device, information signal processing method, image signal processing device, image displaying device, device and method for producing correction data used in them, device and method for producing coefficient data, programs for executing these methods, and computer-readable medium for storing the program |
| JP4281453B2 (ja) * | 2003-07-31 | 2009-06-17 | ソニー株式会社 | 信号処理装置および信号処理方法 |
-
1997
- 1997-07-17 JP JP20849897A patent/JP3912558B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1093963A (ja) | 1998-04-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6266454B1 (en) | Device and method for processing, image and device and method for encoding image | |
| JP4126709B2 (ja) | 画像処理装置および画像処理方法 | |
| JP3912627B2 (ja) | 画像符号化装置および画像符号化方法、並びに伝送方法 | |
| JP3915855B2 (ja) | 画像符号化装置および画像符号化方法、並びに学習装置および学習方法 | |
| EP0825776B1 (en) | Image coding using sub-sampling, classification of pixel blocks and association of mapping coefficients | |
| KR100574732B1 (ko) | 영상코딩장치,영상코딩방법,영상디코딩방법,영상디코딩장치,영상데이터전송방법및기록매체 | |
| JP3912558B2 (ja) | 画像符号化装置および画像符号化方法、並びに記録媒体 | |
| JP3747970B2 (ja) | 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法 | |
| JP3946781B2 (ja) | 画像情報変換装置及び方法 | |
| WO1998030028A1 (en) | Picture coding device, picture coding method, picture decoding device, picture decoding method, and recording medium | |
| JP4582416B2 (ja) | 画像符号化装置および画像符号化方法 | |
| JP4534951B2 (ja) | 画像符号化装置および画像符号化方法、画像処理システムおよび画像処理方法、伝送方法、並びに記録媒体 | |
| JP3844031B2 (ja) | 画像符号化装置および画像符号化方法、並びに、画像復号装置および画像復号方法 | |
| JP4487900B2 (ja) | 画像処理システム | |
| JP3912628B2 (ja) | 画像符号化装置、画像符号化方法、画像符号化および復号化システム、画像符号化および復号化方法、並びに記録媒体 | |
| JP3912629B2 (ja) | 画像処理システム、画像符号化装置および画像符号化方法、伝送方法、並びに記録媒体 | |
| JP3952326B2 (ja) | 画像符号化装置および画像符号化方法、画像処理システムおよび画像処理方法、伝送方法、並びに記録媒体 | |
| JP4496494B2 (ja) | 画像符号化装置および画像符号化方法 | |
| KR100598754B1 (ko) | 원 화상 데이타 부호화 장치, 부호화 화상 데이타 복호화 장치, 원 화상 데이타 부호화 방법, 부호화 화상 데이타 복호화 방법, 화상 데이타 송신 방법, 컴퓨터로 판독 가능한 기록 매체 | |
| EP1298934A1 (en) | Apparatus and method for image coding and decoding | |
| JP4123452B2 (ja) | 画像処理装置および画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050819 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050826 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051025 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060522 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060721 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070111 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070124 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100209 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110209 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110209 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120209 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120209 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130209 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130209 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140209 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |