JP4487900B2

JP4487900B2 - 画像処理システム

Info

Publication number: JP4487900B2
Application number: JP2005309781A
Authority: JP
Inventors: 哲二郎近藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1996-07-17
Filing date: 2005-10-25
Publication date: 2010-06-23
Anticipated expiration: 2017-07-17
Also published as: JP2006115526A

Description

本発明は、画像処理システムに関する。特に、原画像とほぼ同一の復号画像が得られるように、画像を間引いて圧縮符号化する画像処理システムに関する。

従来より、画像の圧縮方法については、種々の方法が提案されているが、そのうちの１つに、画像を、例えばその画素を間引くこと（Subsampling）により圧縮する方法がある。

しかしながら、このように間引いて圧縮した画像を、単純に補間により伸張した場合、その結果得られる復号画像の解像度が劣化する。

ここで、このように復号画像の解像度が劣化する原因として、第１に、間引い画像には、元の画像に含まれる高周波数成分が含まれていないことと、第２に、間引き後の画像を構成する画素の画素値が、元の画像を復元するのに、必ずしも適当でないこととが考えられる。

本発明は、このような状況に鑑みてなされたものであり、原画像と同一（ほぼ同一）の復号画像が得られるように、画像を間引いて圧縮符号化することができるようにするものである。

本発明の一側面の画像処理システムは、画像を符号化する画像符号化装置と、符号化された前記画像を復号化する画像復号化装置とからなる画像処理システムであって、前記画像符号化装置は、前記画像を構成する画素から注目している注目画素周辺の複数の画素を抽出し、抽出された前記複数の画素の性質に応じて前記注目画素を第１のクラスに分類する分類手段と、前記第１のクラスごとに、前記画像を符号化するための所定のマッピング係数を記憶しているマッピング係数記憶手段と、前記画像の中の、注目している前記注目画素周辺の複数の画素と、前記注目画素の第１のクラスに対応する前記マッピング係数とを引数とする所定の関数の演算を行うことにより、符号化された前記注目画素を、前記注目画素周辺の複数の画素の符号化データとして出力する演算手段とを備え、前記画像復号化装置は、前記画像符号化装置で符号化させた前記符号化データを受信する受信手段と、前記符号化データを復号化する復号化手段とを備え、前記復号化手段は、前記符号化データを、その性質に応じて第２のクラスのうちのいずれかに分類する分類手段と、前記符号化データの前記第２のクラスに対応する、前記符号化データから予測される元の画像の予測値を算出するための予測係数と、前記符号化データとの線形結合により、前記予測値を求める予測値演算手段とを有する。

前記演算手段は、符号化された前記注目画素を、前記注目画素周辺の複数の画素の前記符号化データとすることによって、前記画像の画素数を少なくしたものを算出するようにすることができる。

前記復号化手段は、
前記予測係数を、前記第２のクラスごとに記憶している予測係数記憶手段をさらに備えるようにすることができる。

本発明の一側面の画像処理システムにおいては、画像符号化装置では、画像を構成する画素から注目している注目画素周辺の複数の画素が抽出され、抽出された複数の画素の性質に応じて注目画素が第１のクラスに分類され、第１のクラスごとに、画像を符号化するための所定のマッピング係数が記憶され、画像の中の、注目している注目画素周辺の複数の画素と、注目画素の第１のクラスに対応するマッピング係数とを引数とする所定の関数の演算を行うことにより、符号化された注目画素が、注目画素周辺の複数の画素の符号化データとして出力され、画像復号化装置では、画像符号化装置で符号化させた符号化データが受信され、符号化データを復号化され、符号化データが、その性質に応じて第２のクラスのうちのいずれかに分類され、符号化データの第２のクラスに対応する、符号化データから予測される元の画像の予測値を算出するための予測係数と、符号化データとの線形結合により、予測値が求められる。

以上のように、本発明の第１の側面によれば、元の画像を復号するのに最適な符号化データを得ることができ、その符号化データから、元の画像とほぼ同一の復号画像を得ることが可能となる。

また、本発明の第２の側面によれば、符号化データから、元の画像とほぼ同一の復号画像を得ることが可能となる。

以下、図面を参照しながら本発明の実施の形態について説明する。

図１は、本発明を適用した画像処理システム（システムとは、複数の装置が論理的に集合したものをいい、各構成の装置が同一筐体中にあるか否かは問わない）の一実施の形態の構成を示している。送信装置１には、ディジタル化された画像データが供給されるようになされている。

送信装置１は、入力された画像データに対して、所定の演算処理を施すことで、その画素数を間引く（少なくする）ことにより圧縮、符号化し、その結果得られる符号化データを、例えば、光ディスクや、光磁気ディスク、磁気テープ、相変化ディスクその他でなる記録媒体２に記録し、または、例えば、地上波や、衛星回線、電話回線、ＣＡＴＶ網、インターネットその他の伝送路３を介して伝送する。

受信装置４では、記録媒体２に記録された符号化データが再生され、または、伝送路３を介して伝送されてくる符号化データが受信され、その符号化データが伸張、復号化される。そして、その結果得られる復号画像は、図示せぬディスプレイに供給されて表示される。

なお、以上のような画像処理システムは、例えば、光ディスク装置や、光磁気ディスク装置、磁気テープ装置その他の、画像の記録／再生を行う装置や、あるいはまた、例えば、テレビ電話装置や、テレビジョン放送システム、ＣＡＴＶシステムその他の、画像の伝送を行う装置などに適用される。また、図１の画像処理システムは、伝送レートの低い、例えば、携帯電話機その他の、移動に便利な携帯端末などにも適用可能である。

図２は、図１の送信装置１の構成例を示している。

ブロック化回路１１には、符号化すべき画像データが入力されるようになされており、ブロック化回路１１は、画像データを、その性質に応じて所定のクラス（第１のクラス）に分類するための単位である、例えば、注目される画素を中心とする複数の画素で構成されるクラス分類用ブロックにブロック化し、ＡＤＲＣ（Adaptive Dynamic Range Coding）処理回路１２および遅延回路１５に供給するようになされている。

ＡＤＲＣ処理回路１２は、ブロック化回路１１からのブロック（クラス分類用ブロック）に対してＡＤＲＣ処理を施し、その結果得られるＡＤＲＣコードで構成されるブロックを、クラス分類回路１３に供給するようになされている。

ここで、ＡＤＲＣ処理よれば、クラス分類用ブロックを構成する画素のビット数が低減されるようになされている。

即ち、例えば、いま、説明を簡単にするため、図３（Ａ）に示すように、直線上に並んだ４画素で構成されるブロックを考えると、ＡＤＲＣ処理においては、その画素値の最大値ＭＡＸと最小値ＭＩＮが検出される。そして、ＤＲ＝ＭＡＸ−ＭＩＮを、ブロックの局所的なダイナミックレンジとし、このダイナミックレンジＤＲに基づいて、ブロックを構成する画素の画素値がＫビットに再量子化される。

即ち、ブロック内の各画素値から、最小値ＭＩＮを減算し、その減算値をＤＲ／２^Kで除算する。そして、その結果得られる除算値に対応するコード（ＡＤＲＣコード）に変換される。具体的には、例えば、Ｋ＝２とした場合、図３（Ｂ）に示すように、除算値が、ダイナミックレンジＤＲを４（＝２²）等分して得られるいずれの範囲に属するかが判定され、除算値が、最も下のレベルの範囲、下から２番目のレベルの範囲、下から３番目のレベルの範囲、または最も上のレベルの範囲に属する場合には、それぞれ、例えば、００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂなどの２ビットにコード化される（Ｂは２進数であることを表す）。そして、復号側においては、ＡＤＲＣコード００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂは、ダイナミックレンジＤＲを４等分して得られる最も下のレベルの範囲の中心値Ｌ₀₀、下から２番目のレベルの範囲の中心値Ｌ₀₁、下から３番目のレベルの範囲の中心値Ｌ₁₀、または最も上のレベルの範囲の中心値Ｌ₁₁にそれぞれ変換され、その値に、最小値ＭＩＮが加算されることで復号が行われる。

以上のようなＡＤＲＣ処理によれば、ブロックを構成する画素に割り当てられているビット数より少ないビット数で再量子化を行うことで、そのビット数を低減することができる。

ここで、このようなＡＤＲＣ処理はノンエッジマッチングと呼ばれる。

なお、ＡＤＲＣ処理については、本件出願人が先に出願した、例えば、特開平３−５３７７８号公報などに、その詳細が開示されている。

図２に戻り、クラス分類回路１３は、ＡＤＲＣ処理回路１２からのブロックを、その性質に応じて所定のクラスに分類するクラス分類処理を行い、そのブロックがいずれのクラスに属するかを、クラス情報として、マッピング係数メモリ１４に供給するようになされている。

ここで、クラス分類処理について説明する。いま、例えば、図４（Ａ）に示すように、ある注目画素と、それに隣接する３つの画素により、２×２画素でなるブロック（クラス分類用ブロック）を構成し、また、各画素は、１ビットで表現される（０または１のうちのいずれかのレベルをとる）ものとする。この場合、２×２の４画素のブロックは、各画素のレベル分布により、図４（Ｂ）に示すように、１６（＝（２¹）⁴）パターンに分類することができる。即ち、注目画素の分類を行うことができ、このようなパターン分けが、クラス分類処理であり、クラス分類回路１３において行われる。

なお、クラス分類処理は、画像（ブロック内の画像）のアクティビティ（画像の複雑さ）（変化の激しさ）（動き量）などをも考慮して行うようにすることが可能である。

ここで、符号化すべき画像データに、例えば８ビットが割り当てられている場合において、クラス分類用ブロックが、例えば３×３の９画素で構成されるときに、そのようなクラス分類用ブロックを対象にクラス分類処理を行ったのでは、（２⁸）⁹という膨大な数のクラスに分類されることになる。

そこで、上述したように、ＡＤＲＣ処理回路１２において、クラス分類用ブロックに対して、ＡＤＲＣ処理が施されるようになされており、これにより、クラス分類用ブロックを構成する画素のビット数を低減し、さらに、クラス数も削減するようになされている。即ち、ＡＤＲＣ処理回路１２において、例えば１ビットのＡＤＲＣ処理が行われるとした場合には、クラス数は、（２⁸）⁹から（２¹）⁹、即ち、５１２に低減される。

なお、本実施の形態では、クラス分類回路１３において、ＡＤＲＣ処理回路１２から出力されるＡＤＲＣコードに基づいて、クラス分類処理が行われるが、クラス分類処理は、その他、例えば、ＤＰＣＭ（予測符号化）や、ＢＴＣ（Block Truncation Coding）、ＶＱ（ベクトル量子化）、ＤＣＴ（離散コサイン変換）、アダマール変換などを施したデータを対象に行うようにすることも可能である。

再び、図２に戻り、マッピング係数メモリ１４は、後述するような学習（マッピング係数学習）により得られるマッピング係数を、クラス情報ごとに記憶しており、クラス分類回路１３から供給されるクラス情報をアドレスとして、そのアドレスに記憶されているマッピング係数を読み出し、演算回路１６に供給するようになされている。

遅延回路１５は、ブロック化回路１１から供給されるブロックを、そのブロックのクラス情報に対応するマッピング係数が、マッピング係数メモリ１４から読み出されるまで遅延し、演算回路１６に供給するようになされている。

演算回路１６は、遅延回路１５から供給されるブロックを構成する画素の画素値と、マッピング係数メモリ１４から供給される、そのブロックのクラスに対応するマッピング係数とを用いて所定の演算を行うことにより、画像を、その画素数を間引いて（少なくして）符号化した符号化データを算出するようになされている。即ち、演算回路１６は、ブロック化回路１１が出力するブロックを構成する各画素の画素値をｙ₁，ｙ₂，・・・とするとともに、マッピング係数メモリ１４が出力する、そのブロックのクラスに対応するマッピング係数をｋ₁，ｋ₂，・・・とするとき、それらを引数とする所定の関数値ｆ（ｙ₁，ｙ₂，・・・，ｋ₁，ｋ₂，・・・）を演算し、その関数値ｆ（ｙ₁，ｙ₂，・・・，ｋ₁，ｋ₂，・・・）を、ブロック化回路１１が出力するブロック（クラス分類用ブロック）を構成する画素のうちの、例えば中心の画素の画素値として出力するようになされている。

従って、ブロック化回路１１が出力するクラス分類用ブロックを構成する画素数をＮとすると、演算回路１６は、画像データを１／Ｎに間引き、これを、符号化データとして出力するようになされている。

なお、演算回路１６が出力する符号化データは、Ｎ画素で構成されるブロックの中心の画素を抽出して出力するような、いわば単純な間引き処理により得られるものではなく、上述したように、そのブロックを構成するＮ画素により規定される関数値ｆ（ｙ₁，ｙ₂，・・・，ｋ₁，ｋ₂，・・・）であるが、この関数値ｆ（ｙ₁，ｙ₂，・・・，ｋ₁，ｋ₂，・・・）は、見方を変えれば、単純な間引き処理により得られる、ブロックの中心の画素の画素値を、その周辺の画素値に基づいて補正したものと考えることができる。そこで、マッピング係数と、ブロックを構成する画素との演算の結果得られるデータである符号化データを、以下、適宜、補正データともいう。

また、演算回路１６における演算処理は、ブロック化回路１１が出力するクラス分類用ブロックを構成する各画素の画素値を、関数値ｆ（ｙ₁，ｙ₂，・・・，ｋ₁，ｋ₂，・・・）にマッピング（写像）する処理とも考えることができる。そこで、そのような処理に用いられる係数ｋ₁，ｋ₂，・・・をマッピング係数と呼んでいる。

送信機／記録装置１７は、演算回路１６から符号化データとして供給される補正データを、記録媒体２に記録し、または伝送路３を介して伝送するようになされている。

次に、図５のフローチャートを参照して、その動作について説明する。

ブロック化回路１１には、例えば、１フレーム単位で画像データが供給されるようになされており、ブロック化回路１１では、ステップＳ１において、１フレームの画像が、クラス分類用ブロックにブロック化される。即ち、ブロック化回路１１は、例えば、図６に四角形で囲んで示すように、画像データを、注目画素（図６の実施の形態では、同図に●印で示す横および縦に２個おきの画素が注目画素になり得る）を中心とした３×３（横×縦）の９画素でなるクラス分類用ブロックに分割し、ＡＤＲＣ処理回路１２および遅延回路１５に、順次供給する。

なお、この場合、クラス分類用ブロックは、３×３画素でなる正方形状のブロックで構成されることとなるが、クラス分類用ブロックの形状は、正方形である必要はなく、その他、例えば、長方形や、十文字形、その他の任意な形とすることが可能である。また、クラス分類用ブロックを構成する画素数も、３×３の９画素に限定されるものではない。さらに、クラス分類用ブロックは、隣接する画素どうしで構成するのではなく、離れた画素どうしで構成するようにすることも可能である。但し、その形状および画素数は、後述する学習（マッピング係数学習）時における場合のものと一致している必要がある。

ＡＤＲＣ処理回路１２は、ブロック化回路１１からクラス分類用ブロックを受信すると、ステップＳ２において、そのブロックに対して、例えば、１ビットのＡＤＲＣ処理を施し、これにより、１ビットで表現される画素で構成されるブロックとする。ＡＤＲＣ処理の施されたクラス分類用ブロックは、クラス分類回路１３に供給される。

クラス分類回路１３では、ステップＳ３において、ＡＤＲＣ処理回路１２からのクラス分類用ブロックがクラス分類され、その結果得られるクラス情報が、マッピング係数メモリ１４に、アドレスとして供給される。これにより、マッピング係数メモリ１４からは、クラス分類回路１３より供給されたクラス情報に対応するマッピング係数が読み出され、演算回路１６に供給される。

一方、遅延回路１５では、ブロック化回路１１からのクラス分類用ブロックが遅延され、そのブロックのクラス情報に対応するマッピング係数が、マッピング係数メモリ１４から読み出されるのを待って、演算器１６に供給される。演算器１６では、ステップＳ４において、遅延回路１５からのクラス分類用ブロックを構成する各画素の画素値と、マッピング係数メモリ１４からのマッピング係数を用いて、上述した関数値ｆ（・）（この関数ｆのかっこ内の・は、画素値ｙ₁，ｙ₂，・・・と、マッピング係数ｋ₁，ｋ₂，・・・の集合を表すものとする）が演算されることにより、クラス分類用ブロックを構成する中心の画素（中心画素）の画素値を補正した補正データが算出される。この補正データは、画像を符号化した符号化データとして、送信機／記録装置１７に供給される。

送信機／記録装置１７では、ステップＳ５において、演算回路１６からの符号化データが、記録媒体２に記録され、または伝送路３を介して伝送される。

そして、ステップＳ６に進み、１フレーム分の画像データについての処理が終了したかどうかが判定される。ステップＳ６において、１フレーム分の画像データについての処理が、まだ終了していないと判定された場合、ステップＳ２に戻り、次のクラス分類用ブロックを対象に、ステップＳ２以下の処理が繰り返される。また、ステップＳ６において、１フレーム分の画像データについての処理が終了したと判定された場合、ステップＳ１に戻り、次のフレームを対象に、ステップＳ１以下の処理が繰り返される。

次に、図７は、図２のマッピング係数メモリ１４に記憶されているマッピング係数を算出するための学習（マッピング係数学習）処理を行う画像処理装置の第１の構成例を示している。

メモリ２１には、学習に適したディジタル画像データ（以下、適宜、学習用画像という）が１フレーム以上記憶されている。ブロック化回路２２は、メモリ２１に記憶されている画像データを読み出し、図２のブロック化回路１１から出力されるクラス分類用ブロックと同一のブロックを構成して、ＡＤＲＣ処理回路２３および演算回路２６に供給するようになされている。

ＡＤＲＣ処理回路２３またはクラス分類回路２４は、図２のＡＤＲＣ処理回路１２またはクラス分類回路１３における場合とそれぞれ同様の処理を行うようになされている。従って、クラス分類回路２４からは、ブロック化回路２２が出力するブロックのクラス情報が出力されるようになされている。そして、このクラス情報は、マッピング係数メモリ３１に、アドレスとして供給されるようになされている。

演算器２６は、ブロック化回路２２から供給されるブロックを構成する画素と、マッピング係数メモリ３１から供給されるマッピング係数とを用いて、図２の演算回路１６における場合と同一の演算を行い、その結果得られる補正データ（関数値ｆ（・））を、ローカルデコード部２７に供給するようになされている。

ローカルデコード部２７は、演算回路２６から供給される補正データに基づいて、元の学習用画像の予測値（ブロック化回路２２が出力するブロックを構成する画素の画素値の予測値）を予測し（算出し）、誤差算出部２８に供給するようになされている。誤差算出部２８は、ローカルデコード部２７から供給される予測値に対応する学習用画像の画素値（真値）をメモリ２１から読み出し、その学習用画像の画素値に対する、予測値の予測誤差を算出（検出）し、その予測誤差を、誤差情報として、判定部２９に供給するようになされている。

判定部２９は、誤差算出部２８からの誤差情報と、所定の閾値ε１とを比較し、その比較結果に対応して、マッピング係数設定回路３０を制御するようになされている。マッピング係数設定回路３０は、判定部２９の制御にしたがって、クラス分類回路２４におけるクラス分類の結果得られるクラス数と同一の数のマッピング係数のセットを設定（変更）し、マッピング係数メモリ３１に供給するようになされている。

マッピング係数メモリ３１は、マッピング係数設定回路３０から供給されるマッピング係数を一時記憶するようになされている。なお、マッピング係数メモリ３１は、クラス分類回路２４においてクラス分類されるクラスの数だけのマッピング係数（マッピング係数のセット）を記憶することのできる記憶領域を有しており、各記憶領域においては、マッピング係数設定回路３０から、新たなマッピング係数が供給されると、既に記憶しているマッピング係数に代えて、その新たなマッピング係数が記憶されるようになされている。

また、マッピング係数メモリ３１は、クラス分類回路２４から供給されるクラス情報に対応するアドレスに記憶されたマッピング係数を読み出し、演算回路２６に供給するようにもなされている。

次に、図８のフローチャートを参照して、その動作について説明する。

まず最初に、マッピング係数設定回路３０は、ステップＳ５１においてマッピング係数の初期値のセットを、クラス分類回路２４においてクラス分類されるクラスの数だけ設定し、マッピング係数メモリ３１に供給する。マッピング係数メモリ３１では、マッピング係数設定回路３０からのマッピング係数（初期値）が、対応するクラスのアドレスに記憶される。

そして、ブロック化回路２２は、ステップＳ５２において、メモリ２１に記憶されている学習用画像すべてを、図２のブロック化回路１１における場合と同様に、注目画素を中心に３×３画素のブロックにブロック化する。さらに、ブロック化回路２１は、そのブロックを、メモリ２１から読み出し、ＡＤＲＣ処理回路２３および演算回路２６に順次供給する。

ＡＤＲＣ処理回路２３では、ステップＳ５３において、ブロック化回路２２からのブロックに対して、図２のＡＤＲＣ処理回路１２における場合と同様に、１ビットのＡＤＲＣ処理が施され、クラス分類回路２４に供給される。クラス分類回路２４では、ステップＳ５４において、ＡＤＲＣ処理回路２３から供給されたブロックのクラスが決定され、そのクラス情報が、アドレスとして、マッピング係数メモリ３１に供給される。これにより、ステップＳ５５において、マッピング係数メモリ３１の、クラス分類回路２４から供給されるクラス情報に対応するアドレスから、マッピング係数が読み出され、演算回路２６に供給される。

演算回路２６は、ブロック化回路２２からブロックを受信するとともに、マッピング係数メモリ３１から、そのブロックのクラスに対応するマッピング係数を受信すると、ステップＳ５６において、そのマッピング係数と、ブロック化回路２２から供給されるブロックを構成する画素の画素値とを用いて、上述の関数値ｆ（・）を演算する。この演算結果は、ブロック化回路２２から供給されるブロックの中心画素の画素値を補正した補正データとして、ローカルデコード部２７に供給される。

即ち、例えば、上述の図６において、四角形で囲んで示すような３×３画素のブロックが、ブロック化回路２２から出力されたものとすると、演算回路２６では、同図において●印で示す画素の画素値を補正した補正データが求められ、ローカルデコード部２７に出力される。

従って、演算回路２６では、学習用画像を構成する画素数が、１／９に間引かれ、ローカルデコード部２７に供給される。

ここで、図６において、上からｉ番目で、左からｊ番目の●印で示す画素に対応する補正データをＸ_ijと表すととともに、その補正データＸ_ijを中心とする、元の学習用画像（原画像）における３×３の９画素の画素値を、その最も左から右方向、かつ上から下方向に、Ｙ_ij（１），Ｙ_ij（２），Ｙ_ij（３），Ｙ_ij（４），Ｙ_ij（５），Ｙ_ij（６），Ｙ_ij（７），Ｙ_ij（８），Ｙ_ij（９）と表すこととする。

図８に戻り、ステップＳ５６で補正データが算出された後は、ステップＳ５７に進み、メモリ２１に記憶されたすべての学習用画像についての補正データが求められたかどうかが判定される。ステップＳ５７において、すべての学習用画像についての補正データが、まだ求められていないと判定された場合、ステップＳ５３に戻り、すべての学習用画像についての補正データが求められるまで、ステップＳ５３乃至Ｓ５７の処理を繰り返す。

また、ステップＳ５７において、すべての学習用画像についての補正データが求められたと判定された場合、即ち、メモリ２１に記憶されたすべての学習用画像を、１／９に間引いた間引き画像が得られた場合（但し、この間引き画像は、学習用画像を、単純に１／９に間引いたものではなく、マッピング係数との演算により画素値が求められたものである）、ステップＳ５８に進み、ローカルデコード部２７において、その間引き画像がローカルデコードされることにより、元の学習用画像の予測値が算出される。この予測値は、誤差算出部２８に供給される。

ここで、このローカルデコード部２７において得られる予測値で構成される画像（但し、後述するように、誤差情報算出部２８から出力される誤差情報が閾値ε１より小さくなったときにおけるもの）は、受信装置４（図１）側において得られる復号画像と同一のものである。

誤差算出部２８では、ステップＳ５９において、メモリ２１から学習用画像が読み出され、その学習用画像に対する、ローカルデコード部２７から供給される予測値の予測誤差が算出される。即ち、学習用画像の画素値をＹ_ijと表すとともに、ローカルデコード部２７から出力される、その予測値をＥ［Ｙ_ij］と表すとき、誤差算出部２８では、次式で示される誤差分散（誤差の自乗和）Ｑが算出され、これが、誤差情報として、判定部２９に供給される。

Ｑ＝Σ（Ｙ_ij−Ｅ［Ｙ_ij］）²
但し、上式において、Σは、学習用画像の画素すべてについてのサメーションを表す。

判定部２９は、誤差算出部２８から誤差情報を受信すると、その誤差情報と所定の閾値ε１とを比較し、ステップＳ６０において、その大小関係を判定する。ステップＳ６０において、誤差情報が閾値ε１以上であると判定された場合、即ち、ローカルデコード部２７において得られる予測値で構成される画像が、元の学習用画像と同一であるとは認められない場合、判定部２９は、マッピング係数設定回路３０に制御信号を出力する。マッピング係数設定回路３０は、ステップＳ６１において、判定部２９からの制御信号にしたがい、マッピング係数を変更し、その変更後のマッピング係数を、マッピング係数メモリ３１に新たに記憶させる。

そして、ステップＳ５３に戻り、マッピング係数メモリ３１に記憶された、変更後のマッピング係数を用いて、再び、ステップＳ５３以下の処理が繰り返される。

ここで、マッピング係数設定回路３０における、マッピング係数の変更は、ランダムに行っても良いし、また、今回の誤差情報が、前回の誤差情報より小さくなった場合には、前回と同様の傾向で変化させ、今回の誤差情報が、前回の誤差情報より大きくなった場合には、前回と逆の傾向で変化させるようにすることもできる。

さらに、マッピング係数の変更は、すべてのクラスについて行うようにすることもできるし、その一部のクラスについてだけ行うようにすることもできる。一部のクラスについてのマッピング係数だけの変更を行う場合においては、例えば、誤差情報に対する影響の強いクラスを検出させ、そのようなクラスについてのマッピング係数だけを変更するようにすることができる。誤差情報に対する影響の強いクラスは、例えば、次のようにして検出することができる。即ち、まず最初に、マッピング係数の初期値を用いて処理を行うことにより、その誤差情報を得る。そして、マッピング係数を、１クラスごとに同一の量だけ変化させ、その結果得られる誤差情報を、初期値を用いた場合に得られた誤差情報と比較し、その差が、所定値以上となるクラスを、誤差情報に対する影響の強いクラスとして検出すれば良い。

また、マッピング係数が、上述したｋ１，ｋ２，・・・のように複数で１セットとされている場合には、その中の誤差情報に対する影響の強いものだけを変更させるようにすることもできる。

さらに、上述の場合においては、マッピング係数を、クラスごとに設定するようにしたが、マッピング係数は、その他、例えば、ブロックごとに独立して設定したり、また、近接するブロック単位などで設定したりするようにすることが可能である。

但し、マッピング係数を、例えば、ブロックごとに独立して設定するようにした場合などにおいては、ある１つのクラスに対して、複数セットのマッピング係数が得られることがある（この逆に、マッピング係数が、１セットも得られないクラスが生じることもある）。マッピング係数は、最終的には、クラスごとに決める必要があるため、上述のように、あるクラスに対して、複数セットのマッピング係数が得られた場合には、複数セットのマッピング係数を対象に、何らかの処理を行うことで、１セットのマッピング係数を決める必要がある。

一方、ステップＳ６０において、誤差情報が閾値ε１より小さいと判定された場合、即ち、ローカルデコード部２７において得られる予測値で構成される画像が、元の学習用画像と同一であると認められる場合、処理を終了する。

この時点で、マッピング係数メモリ３１に記憶されている、クラスごとのマッピング係数が、もとの画像と同一と認められる復号画像（予測値）を復元することができる補正データを得るために最適なものとして、図２のマッピング係数メモリ１４にセットされている。

従って、このようなマッピング係数を用いて補正データを生成することで、受信装置４（図１）側においては、元の画像とほぼ同一の画像を得ることが可能となる。

なお、図７の実施の形態においては、上述したように、ブロック化回路２２において、画像が、注目画素を中心として３×３の９画素にブロック化され、また、ＡＤＲＣ処理回路２３において、１ビットのＡＤＲＣ処理が行われるので、クラス分類回路２４によるクラス分類により得られるクラス数は５１２（＝（２¹）⁹）であり、従って、５１２セットのマッピング係数が得られる。

次に、図９は、図７のローカルデコード部２７の構成例を示している。

演算回路２６からの補正データは、クラス分類用ブロック化回路４１および予測値計算用ブロック化回路４２に供給されるようになされている。クラス分類用ブロック化回路４１は、補正データを、その性質に応じて所定のクラスに分類するための単位である、注目補正データを中心としたクラス分類用ブロックにブロック化するようになされている。

即ち、上述したように、図６において、上からｉ番目で、左からｊ番目の補正データ（圧縮データ）（画素）（図中、●印で示す部分）をＸ_ijと表すとすると、クラス分類用ブロック化回路４１は、例えば、注目補正データＸ_ijの左上、上、右上、左、右、左下、下、右下に隣接する８つの補正データＸ_(i-1)(j-1)，Ｘ_(i-1)j，Ｘ_(i-1)(j+1)，Ｘ_i(j-1)，Ｘ_i(j+1)，Ｘ_(i-1)(j-1)，Ｘ_(i-1)j，Ｘ_(i+1)(j+1)に、自身を含め、合計９画素で構成されるクラス分類用ブロックを生成するようになされている。このクラス分類用ブロックは、ＡＤＲＣ処理回路４３に供給されるようになされている。

なお、図９のクラス分類用ブロック化回路４１において得られるクラス分類用ブロックは、予測値を求めるブロックのクラス（第２のクラス）を決定するために構成されるものであり、この点で、補正データを算出するブロックのクラス（第１のクラス）を決定するために、図２のブロック化回路１１で生成されるものとは異なる。

予測値計算用ブロック化回路４２は、補正データを、元の画像（ここでは、学習用画像）の予測値を計算するための単位である、注目補正データを中心とした予測値計算用ブロックにブロック化するようになされている。即ち、本実施の形態においては、例えば、補正データＸ_ijを中心とする、元の画像（原画像）における３×３の９画素の画素値Ｙ_ij（１），Ｙ_ij（２），Ｙ_ij（３），Ｙ_ij（４），Ｙ_ij（５），Ｙ_ij（６），Ｙ_ij（７），Ｙ_ij（８），Ｙ_ij（９）の予測値が、画素Ｘ_ijを中心とする５×５の２５画素Ｘ_(i-2)(j-2)，Ｘ_(i-2)(j-1)，Ｘ_(i-2)j，Ｘ_(i-2)(j+1)，Ｘ_(i-2)(j+2)，Ｘ_(i-1)(j-2)，Ｘ_(i-1)(j-1)，Ｘ_(i-1)j，Ｘ_(i-1)(j+1)，Ｘ_(i-1)(j+2)，Ｘ_i(j-2)，Ｘ_i(j-1)，Ｘ_ij，Ｘ_i(j+1)，Ｘ_i(j+2)，Ｘ_(i+1)(j-2)，Ｘ_(i+1)(j-1)，Ｘ_(i+1)j，Ｘ_(i+1)(j+1)，Ｘ_(i+1)(j+2)，Ｘ_(i+2)(j-2)，Ｘ_(i+2)(j-1)，Ｘ_(i+2)j，Ｘ_(i+2)(j+1)，Ｘ_(i+2)(j+2)から求められるようになされており、予測値計算用ブロック化回路４２は、このような２５画素で構成される正方形状の予測値計算用ブロックを生成するようになされている。

具体的には、例えば、図６において四角形で囲む、元の画像における画素Ｙ₃₃（１）乃至Ｙ₃₃（９）の予測値の計算のためには、２５の画素（補正データ）Ｘ₁₁，Ｘ₁₂，Ｘ₁₃，Ｘ₁₄，Ｘ₁₅，Ｘ₂₁，Ｘ₂₂，Ｘ₂₃，Ｘ₂₄，Ｘ₂₅，Ｘ₃₁，Ｘ₃₂，Ｘ₃₃，Ｘ₃₄，Ｘ₃₅，Ｘ₄₁，Ｘ₄₂，Ｘ₄₃，Ｘ₄₄，Ｘ₄₅，Ｘ₅₁，Ｘ₅₂，Ｘ₅₃，Ｘ₅₄，Ｘ₅₅により、予測値計算用ブロックが構成される。

予測値計算用ブロック化回路４２において得られた予測値計算用ブロックは、予測回路４６に供給されるようになされている。

なお、予測値計算用ブロックについても、クラス分類用ブロックにおける場合と同様に、その画素数および形状は、上述したものに限定されるものではない。但し、ローカルデコード部２７において、予測値計算用ブロックを構成する画素数は、クラス分類用ブロックを構成する画素数よりも多くするのが望ましい。

また、上述のようなブロック化を行う場合において（ブロック化以外の処理についても同様）、画像の画枠付近では、対応する画素が存在しないことがあるが、この場合には、例えば、画枠を構成する画素と同一の画素が、その外側に存在するものとして処理を行う。

ＡＤＲＣ処理回路４３は、クラス分類用ブロック化回路４１が出力するブロック（クラス分類用ブロック）に対して、例えば、１ビットのＡＤＲＣ処理を施し、クラス分類回路４４に供給するようになされている。クラス分類回路４４は、ＡＤＲＣ処理回路４３からのブロックをクラス分類し、その分類結果としてのクラス情報を、予測係数ＲＯＭ４５に供給するようになされている。予測係数ＲＯＭ４５は、クラスごとの予測係数を記憶しており、クラス分類回路４４からクラス情報を受信すると、そのクラス情報に対応するアドレスに記憶されている予測係数を読み出し、予測回路４６に供給するようになされている。なお、予測係数ＲＯＭ４５に記憶されているクラスごとの予測係数は、後述する学習（予測係数学習）により得られたものである。

予測回路４６は、予測値計算用ブロック化回路４２からの予測値計算用ブロックと、予測係数ＲＯＭ４５からの予測係数とを用いて、元の画像（学習用画像）の予測値を算出（予測）するようになされている。

次に、図１０のフローチャートを参照して、その動作について説明する。

ローカルデコード部２７においては、まず最初に、ステップＳ２１において、演算回路２６からの補正データが順次受信されてブロック化される。即ち、クラス分類用ブロック化回路４１において、補正データが、注目補正データを中心とする３×３画素のクラス分類用ブロックにブロック化され、ＡＤＲＣ処理回路４３に供給されるとともに、予測値計算用ブロック化回路４２において、補正データが、注目補正データを中心とする５×５画素の予測値計算用ブロックにブロック化され、予測回路４６に供給される。

なお、クラス分類用ブロック化回路４１と予測値計算用ブロック化回路４２では、対応するクラス分類用ブロックと予測値計算用ブロックが生成される。即ち、クラス分類用ブロック化回路４１において、例えば図６の補正データＸ₃₃を中心とする３×３画素のクラス分類用ブロックが生成されるとき、予測値計算用ブロックにおいては、同じく補正データＸ₃₃を中心とする５×５画素の予測値計算用ブロックが生成される（補正データＸ₃₃を注目補正データとしてクラス分類用ブロックが構成されるとき、予測値計算用ブロックも、補正データＸ₃₃を注目補正データとして構成される）。

ＡＤＲＣ処理回路４３は、クラス分類用ブロックを受信すると、ステップＳ２２において、そのクラス分類用ブロックに対して、例えば、１ビットのＡＤＲＣ（１ビットで再量子化を行うＡＤＲＣ）処理を施し、これにより、クラス分類用ブロックを構成する補正データを、１ビットに変換（符号化）して、クラス分類回路４４に出力する。クラス分類回路４４は、ステップＳ２３において、ＡＤＲＣ処理が施されたクラス分類用ブロックに対して、クラス分類処理を施す。即ち、クラス分類用ブロックを構成する各画素のレベル分布の状態を検出し、そのクラス分類用ブロックが属するクラス（そのクラス分類用ブロックを構成する注目画素（注目補正データ）のクラス）を判定する。このクラスの判定結果は、クラス情報として、予測係数ＲＯＭ４５に供給される。

なお、図１０の実施の形態においては、１ビットのＡＤＲＣ処理が施された３×３の９画素で構成されるクラス分類用ブロックに対して、クラス分類処理が施されるので、各クラス分類用ブロックは、５１２（＝（２¹）⁹）のクラスのうちのいずれかに分類されることになる。

そして、ステップＳ２４に進み、予測係数ＲＯＭ４５の、クラス分類回路４４からのクラス情報に対応するアドレスから予測係数が読み出され、ステップＳ２５において、予測回路４６は、その予測係数と、予測値計算用ブロック化回路４２からの予測値計算用ブロックを構成する２５の画素値とを用い、例えば、次のような線形１次式にしたがって、元の画像の画素値ｙの予測値Ｅ［ｙ］を算出する。

Ｅ［ｙ］＝ｗ₁ｘ₁＋ｗ₂ｘ₂＋・・・
但し、ｗ₁，ｗ₂，・・・は予測係数を表し、ｘ₁，ｘ₂，・・・は予測値計算用ブロックを構成する画素の画素値（補正データ）を表す。

ここで、図９の実施の形態においては、上述したように、予測値計算用ブロックを構成する２５画素から、９画素の予測値が算出されるようになされている。

即ち、例えば、いま、図６に示した補正データＸ₃₃を中心とする３×３の補正データＸ₂₂乃至Ｘ₂₄，Ｘ₃₂乃至Ｘ₃₄，Ｘ₄₂乃至Ｘ₄₄でなるクラス分類用ブロックについてのクラス情報Ｃが、クラス分類回路４４から出力され、また、予測値計算用ブロックとして、補正データＸ₃₃を中心とする５×５画素の補正データＸ₁₁乃至Ｘ₁₅，Ｘ₂₁乃至Ｘ₂₅，Ｘ₃₁乃至，Ｘ₃₅，Ｘ₄₁乃至Ｘ₄₅，Ｘ₅₁乃至Ｘ₅₅でなる予測値計算用ブロックが、予測値計算用ブロック化回路４２から出力されたものとする。

さらに、予測係数ＲＯＭ４５には、クラス情報Ｃに対応するアドレスに、予測係数のセットとして、ｗ₁（ｋ）乃至ｗ₂₅（ｋ）が記憶されているものとする。

この場合、補正データＸ₃₃を中心とする、元の画像における３×３画素（図６において四角形で囲んである部分）の画素値Ｙ₃₃（１）乃至Ｙ₃₃（９）の予測値Ｅ［Ｙ₃₃（１）］乃至Ｅ［Ｙ₃₃（９）］は、次式にしたがって算出される。

Ｅ［Ｙ₃₃（ｋ）］＝ｗ₁（ｋ）Ｘ₁₁＋ｗ₂（ｋ）Ｘ₁₂＋ｗ₃（ｋ）Ｘ₁₃
＋ｗ₄（ｋ）Ｘ₁₄＋ｗ₅（ｋ）Ｘ₁₅＋ｗ₆（ｋ）Ｘ₂₁
＋ｗ₇（ｋ）Ｘ₂₂＋ｗ₈（ｋ）Ｘ₂₃＋ｗ₉（ｋ）Ｘ₂₄
＋ｗ₁₀（ｋ）Ｘ₂₅＋ｗ₁₁（ｋ）Ｘ₃₁
＋ｗ₁₂（ｋ）Ｘ₃₂＋ｗ₁₃（ｋ）Ｘ₃₃
＋ｗ₁₄（ｋ）Ｘ₃₄＋ｗ₁₅（ｋ）Ｘ₃₅
＋ｗ₁₆（ｋ）Ｘ₄₁＋ｗ₁₇（ｋ）Ｘ₄₂
＋ｗ₁₈（ｋ）Ｘ₄₃＋ｗ₁₉（ｋ）Ｘ₄₄
＋ｗ₂₀（ｋ）Ｘ₄₅＋ｗ₂₁（ｋ）Ｘ₅₁
＋ｗ₂₂（ｋ）Ｘ₅₂＋ｗ₂₃（ｋ）Ｘ₅₃
＋ｗ₂₄（ｋ）Ｘ₅₄＋ｗ₂₅（ｋ）Ｘ₅₅

ステップＳ２５において、以上のようにして予測値が、９個単位で、例えば１フレーム分だけ求められると、ステップＳ２６に進み、その１フレーム分の予測値が、誤差算出部２８に供給される。そして、次の補正データが供給されるのを待って、ステップＳ２１に戻り、以下、ステップＳ２１乃至Ｓ２６の処理が繰り返される。

次に、図１１は、図９の予測係数ＲＯＭ４５に記憶されている予測係数を得るための学習（予測係数学習）を行う画像処理装置の構成例を示している。

学習用ブロック化回路５１および教師用ブロック化回路５２には、あらゆる画像に適用可能な予測係数を得るための学習用の画像データ（学習用画像）が供給されるようになされている。

学習用ブロック化回路５１は、入力される画像データから、注目画素を中心とした、図６に●印で示した位置関係の２５画素（５×５画素）を抽出し、この２５画素で構成されるブロックを、学習用ブロックとして、ＡＤＲＣ処理５３および学習データメモリ５６に供給する。

また、教師用ブロック化回路５２では、入力される画像データから、例えば、注目画素を中心として３×３の９画素で構成されるブロックが生成され、教師用ブロックとして、教師データメモリ５８に供給される。

なお、学習用ブロック化回路５１において、例えば、図６に●印で示した位置関係の２５画素で構成される学習用ブロックが生成されるとき、教師用ブロック化回路５２では、周囲を四角形で囲んで示す３×３画素の教師用ブロックが生成されるようになされている。

ＡＤＲＣ処理回路５３は、学習用ブロックを構成する２５画素から、その中心の９画素（３×３画素）を抽出し、これにより、図９のクラス分類用ブロック化回路４１が出力するクラス分類用ブロックと同一のブロックを構成する。さらに、ＡＤＲＣ処理回路５３は、その９画素でなるブロックに対して、図９のＡＤＲＣ処理回路４３における場合と同様に、１ビットのＡＤＲＣ処理を施す。ＡＤＲＣ処理の施された、３×３画素のブロックは、クラス分類回路５４に供給される。クラス分類回路５４では、図９のクラス分類回路４４における場合と同様にして、ＡＤＲＣ処理回路５３からのブロックがクラス分類処理され、それにより得られるクラス情報が、スイッチ５５の端子ａを介して、学習データメモリ５６および教師データメモリ５８に供給される。

学習データメモリ５６または教師データメモリ５８では、そこに供給されるクラス情報に対応するアドレスに、学習用ブロック化回路５１からの学習用ブロックまたは教師用ブロック化回路５２からの教師用ブロックが、それぞれ記憶される。

従って、学習データメモリ５６において、例えば、図６に●印で示した５×５画素でなるブロックが学習用ブロックとして、あるアドレスに記憶されたとすると、教師データメモリ５８においては、そのアドレスと同一のアドレスに、同図において、四角形で囲んで示す３×３画素のブロックが、教師用ブロックとして記憶される。

以下、同様の処理が、あらかじめ用意されたすべての学習用の画像について繰り返され、これにより、学習用ブロックと、図９のローカルデコード部２７において、その学習用ブロックを構成する２５画素と同一の位置関係を有する補正データで構成される予測値計算用ブロックを用いて予測値が求められる９画素で構成される教師用ブロックとが、学習用データメモリ５６と、教師用データメモリ５８とにおいて、同一のアドレスに記憶される。

なお、学習用データメモリ５６と教師用データメモリ５８においては、同一アドレスに複数の情報を記憶することができるようになされており、これにより、同一アドレスには、複数の学習用ブロックと教師用ブロックのセットを記憶することができるようになされている。

その後、端子ａを選択していたスイッチ５５が、端子ｂに切り替わり、これにより、カウンタ５７の出力が、アドレスとして、学習データメモリ５６および教師データメモリ５８に供給される。カウンタ５７は、所定のクロックをカウントし、そのカウント値を出力しており、学習データメモリ５６または教師データメモリ５８では、そのカウント値に対応するアドレスに記憶された学習用ブロックまたは教師用ブロックがそれぞれ読み出され、演算回路５９に供給される。

従って、演算回路５９には、カウンタ５７のカウント値に対応するクラスの学習用ブロックのセットと、教師用ブロックのセットとが供給される。

演算回路５９は、あるクラスについての学習用ブロックのセットと、教師用ブロックのセットとを受信すると、それらを用いて、最小自乗法により、誤差を最小とする予測係数を算出する。

即ち、例えば、いま、学習用ブロックを構成する画素の画素値を、ｘ₁，ｘ₂，ｘ₃，・・・とし、求めるべき予測係数をｗ₁，ｗ₂，ｗ₃，・・・とするとき、これらの線形１次結合により、教師用ブロックを構成する、ある画素の画素値ｙを求めるには、予測係数ｗ₁，ｗ₂，ｗ₃，・・・は、次式を満たす必要がある。

ｙ＝ｗ₁ｘ₁＋ｗ₂ｘ₂＋ｗ₃ｘ₃＋・・・

そこで、演算回路５９では、同一クラスの学習用ブロックと、対応する教師用ブロックとから、真値ｙに対する、予測値ｗ₁ｘ₁＋ｗ₂ｘ₂＋ｗ₃ｘ₃＋・・・の自乗誤差を最小とする予測係数ｗ₁，ｗ₂，ｗ₃，・・・が求められる。

以上の処理がクラスごとに行われ、各クラスごとに、２５×９の予測係数が求められる。

ここで、演算回路５９の処理について、さらに説明する。

例えば、いま、元の画像の画素値ｙの予測値Ｅ［ｙ］を、その周辺の幾つかの画素の画素値（以下、適宜、学習データという）ｘ₁，ｘ₂，・・・と、所定の予測係数ｗ₁，ｗ₂，・・・の線形結合により規定される線形１次結合モデルにより求めることを考えると、予測値Ｅ［ｙ］は、次式で表すことができる。

Ｅ［ｙ］＝ｗ₁ｘ₁＋ｗ₂ｘ₂＋・・・
・・・（１）

そこで、予測係数ｗの集合でなる行列Ｗ、学習データｘの集合でなる行列Ｘ、および予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、

で定義すると、次のような観測方程式が成立する。

ＸＷ＝Ｙ’
・・・（２）

そして、この観測方程式に最小自乗法を適用して、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、元の画像の画素値（以下、適宜、教師データという）ｙの集合でなる行列Ｙ、および元の画像の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、

で定義すると、式（２）から、次のような残差方程式が成立する。

ＸＷ＝Ｙ＋Ｅ
・・・（３）

この場合、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗ_iは、自乗誤差

を最小にすることで求めることができる。

従って、上述の自乗誤差を予測係数ｗ_iで微分したものが０になる場合、即ち、次式を満たす予測係数ｗ_iが、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。

・・・（４）

そこで、まず、式（３）を、予測係数ｗ_iで微分することにより、次式が成立
する。

・・・（５）

式（４）および（５）より、式（６）が得られる。

・・・（６）

さらに、式（３）の残差方程式における学習データｘ、予測係数ｗ、教師データｙ、および残差ｅの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。

・・・（７）

式（７）の正規方程式は、求めるべき予測係数ｗの数と同じ数だけたてることができ、従って、式（７）を解くことで、最適な予測係数ｗを求めることができる。なお、式（７）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを適用することが可能である。

なお、以上のようにして、最適な予測係数ｗを求め、さらに、その予測係数ｗを用い、式（１）により、元の画像の画素値ｙに近い予測値Ｅ［ｙ］を求める処理は、適応処理と呼ばれる。

演算回路５９では、学習用ブロックと教師用ブロックとを用いて、式（７）の正規方程式がクラスごとにたてられ、これを解くことで、クラスごとに予測係数が求められる。そして、そのクラスごとの予測係数は、メモリ６０に供給される。メモリ６０には、演算回路５９からの予測係数の他、カウンタ５７からカウント値が供給されており、これにより、メモリ６０においては、演算回路５９からの予測係数が、カウンタ５７からのカウント値に対応するアドレスに記憶される。

以上のようにして、メモリ６０には、各クラスに対応するアドレスに、そのクラスのブロックの３×３画素を予測するのに最適な２５×９の予測係数（誤差を最小にする予測係数）が記憶される。

図９の予測係数ＲＯＭ４５には、以上のようにしてメモリ６０に書き込まれたクラスごとの予測係数が記憶されている。

なお、予測係数ＲＯＭ４５には、各クラスに対応するアドレスに、予測係数を記憶させるのではなく、教師用ブロックを構成する画素値の平均値などを記憶させるようにすることが可能である。この場合、クラス情報が与えられると、そのクラスに対応する画素値が出力されることになり、ローカルデコード部２７において、予測値計算用ブロック化回路４２および予測回路４６を設けずに済むようになる。

次に、図１２は、マッピング係数を算出するためのマッピング係数学習処理を行う画像処理装置の第２の構成例を示している。なお、図中、図７における場合と対応する部分については、同一の符号を付してある。即ち、この画像処理装置は、ローカルデコード部２７に代えてローカルデコード部１０２７が設けられている他は、図７における場合と基本的に同様に構成されている。

図７の実施の形態では、ローカルデコード部２７において、あらかじめ上述したような学習（予測係数学習）により得られた予測係数を、予測係数ＲＯＭ４５に記憶させておき、その予測係数を用いて予測値を求めるようにしたが、ローカルデコード部１０２７では、そこに、演算回路２６からの補正データの他、メモリ２１から学習用画像の画素値（真値）も供給されるようになされており、その補正データおよび学習用画像（原画像）を用いて、予測係数を求める処理を行い、さらに、その予測係数に基づいて、予測値を求める適応処理が行われるようになされている。

即ち、図１３は、図１２のローカルデコード部１０２７の構成例を示している。なお、図中、図９における場合と対応する部分については、同一の符号を付してある。即ち、ローカルデコード部１０２７は、予測係数ＲＯＭ４５および予測回路４６に代えて、適応処理回路４７が設けられている他は、図９のローカルデコード部２７と基本的に同様に構成されている。

適応処理回路４７は、クラス分類回路４４からのクラス情報に対応して、補正データおよび原画像（学習用画像）を用い、クラスごとに最適な予測係数ｗを求め、さらに、その予測係数ｗを用いて、式（１）にしたがい、原画像の画素値ｙに近い予測値Ｅ［ｙ］を求める適応処理を行うようになされている。

ここで、適応処理（予測係数ＲＯＭ４５を用いる場合も、適応処理に含まれる）は、間引かれた画像には含まれていない、元の画像に含まれる成分が再現される点で、補間処理とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習（予測係数学習）により求められるため、元の画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造作用がある処理ということができる。

次に、図１４のフローチャートを参照して、ローカルデコード部１０２７の動作について説明する。

ローカルデコード部１０２７においては、まず最初に、ステップＳ１２１乃至Ｓ１２３において、図１０のステップＳ２１乃至Ｓ２３における場合とそれぞれ同様の処理が行われ、これにより、上述したように、予測値計算用ブロック化回路４２から、５×５画素の予測値計算用ブロックが出力されるとともに、クラス分類回路４４から、クラス情報が出力される。予測値計算用ブロックおよびクラス情報は、いずれも、適応処理回路４７に供給される。

そして、適応処理回路４７には、その他、原画像（学習用画像）も供給されるようになされており、そこでは、ステップＳ１２４において、クラス分類回路４４からのクラス情報に基づいて、各クラスごとに適応処理が施され、これにより、クラスごとの予測係数および１フレームの原画像の予測値が算出される。

即ち、本実施の形態においては、例えば、クラスごとの２５×９個の予測係数が、１フレームごとに、原画像と予測値計算用ブロックを構成する補正データとから算出される。さらに、ある１つの補正データに注目した場合に、その注目補正データに対応する原画像の画素と、その画素の周りに隣接する８個の原画像の画素の、合計９個の画素についての予測値が、注目補正データのクラス情報に対応する２５×９個の予測係数と、その注目補正データを中心とする５×５画素でなる予測値計算用ブロックとを用いて、適応処理が行われることにより算出される。

具体的には、例えば、いま、図６に示した注目補正データＸ₃₃を中心とする３×３の補正データＸ₂₂，Ｘ₂₃，Ｘ₂₄，Ｘ₃₂，Ｘ₃₃，Ｘ₃₄，Ｘ₄₂，Ｘ₄₃，Ｘ₄₄でなるクラス分類用ブロックについてのクラス情報Ｃが、クラス分類回路４４から出力され、また、そのクラス分類用ブロックに対応する予測値計算用ブロックとして、注目補正データＸ₃₃を中心とする５×５画素の補正データＸ₁₁，Ｘ₁₂，Ｘ₁₃，Ｘ₁₄，Ｘ₁₅，Ｘ₂₁，Ｘ₂₂，Ｘ₂₃，Ｘ₂₄，Ｘ₂₅，Ｘ₃₁，Ｘ₃₂，Ｘ₃₃，Ｘ₃₄，Ｘ₃₅，Ｘ₄₁，Ｘ₄₂，Ｘ₄₃，Ｘ₄₄，Ｘ₄₅，Ｘ₅₁，Ｘ₅₂，Ｘ₅₃，Ｘ₅₄，Ｘ₅₅でなる予測値計算用ブロックが、予測値計算用ブロック化回路４２から出力されたものとすると、まず、その予測値計算用ブロックを構成する補正データを、学習データとするとともに、元の画像における、補正データＸ₃₃を中心とする３×３画素（図６において四角形で囲んである部分）の画素値Ｙ₃₃（１）乃至Ｙ₃₃（９）を、教師データとして、式（７）に示した正規方程式がたてられる。

さらに、所定期間としての、例えば、１フレームの中で、同一のクラス情報Ｃにクラス分類されるクラス分類用ブロックに対応する、他の予測値計算用ブロックについても同様にして、正規方程式がたてられ、画素値Ｙ₃₃（ｋ）（ここでは、ｋ＝１，２，・・・，９）の予測値Ｅ［Ｙ₃₃（ｋ）］を求めるための予測係数ｗ₁（ｋ）乃至ｗ₂₅（ｋ）（本実施の形態では、１つの予測値を求めるのに学習データ（原画像の画素）が２５個用いられるので、それに対応して、予測係数ｗも２５個必要となる）を算出することができるだけの数の正規方程式が得られると（従って、そのような数の正規方程式が得られるまでは、ステップＳ１２４では、正規方程式をたてる処理までが行われる）、その正規方程式を解くことで、クラス情報Ｃについて、画素値Ｙ₃₃（ｋ）の予測値Ｅ［Ｙ₃₃（ｋ）］を求めるのに最適な予測係数ｗ₁（ｋ）乃至ｗ₂₅（ｋ）が算出される。この処理は、各クラスごとに行われ、これにより、各クラスごとに、２５×９の予測係数が算出される。

そして、クラス情報Ｃについての予測係数と予測値計算用ブロックとを用い、式（１）に対応する次式にしたがって、予測値Ｅ［Ｙ₃₃（ｋ）］が求められる。

Ｅ［Ｙ₃₃（ｋ）］＝ｗ₁（ｋ）Ｘ₁₁＋ｗ₂（ｋ）Ｘ₁₂＋ｗ₃（ｋ）Ｘ₁₃
＋ｗ₄（ｋ）Ｘ₁₄＋ｗ₅（ｋ）Ｘ₁₅＋ｗ₆（ｋ）Ｘ₂₁
＋ｗ₇（ｋ）Ｘ₂₂＋ｗ₈（ｋ）Ｘ₂₃＋ｗ₉（ｋ）Ｘ₂₄
＋ｗ₁₀（ｋ）Ｘ₂₅＋ｗ₁₁（ｋ）Ｘ₃₁
＋ｗ₁₂（ｋ）Ｘ₃₂＋ｗ₁₃（ｋ）Ｘ₃₃
＋ｗ₁₄（ｋ）Ｘ₃₄＋ｗ₁₅（ｋ）Ｘ₃₅
＋ｗ₁₆（ｋ）Ｘ₄₁＋ｗ₁₇（ｋ）Ｘ₄₂
＋ｗ₁₈（ｋ）Ｘ₄₃＋ｗ₁₉（ｋ）Ｘ₄₄
＋ｗ₂₀（ｋ）Ｘ₄₅＋ｗ₂₁（ｋ）Ｘ₅₁
＋ｗ₂₂（ｋ）Ｘ₅₂＋ｗ₂₃（ｋ）Ｘ₅₃
＋ｗ₂₄（ｋ）Ｘ₅₄＋ｗ₂₅（ｋ）Ｘ₅₅
・・・（８）

ステップＳ１２４では、以上のようにして、２５×９の予測係数が、クラスごとに求められ、そのクラスごとの予測係数を用いて、注目補正データを中心とする３×３の原画像の画素の予測値が求められる。

以上のようにして、１フレーム分の予測値が求められると、ステップＳ１２５に進み、その１フレーム分の予測値が、誤差算出部２８に供給される。そして、ステップＳ１２１に戻り、以下同様の処理が、例えば、上述のように、１フレーム単位で繰り返される。

次に、図１５は、マッピング係数を算出するためのマッピング係数学習処理を行う画像処理装置の第３の構成例を示している。

なお、図７や図１２の画像処理装置によれば、関数ｆが、例えば、線形１次式で表される場合の他、非線形な式や、２次以上の式で表される場合も、最適な予測係数を求めることができるが、図１５の画像処理装置では、関数ｆが、線形１次式で表される場合にのみ、最適な予測係数を求めることができるようになされている。

即ち、図１５の画像処理装置は、図２において、ブロック化回路１１が出力する注目画素を中心とする３×３の９画素のブロックを構成する各画素の画素値をｙ₁，ｙ₂，・・・，ｙ₉とするとともに、マッピング係数メモリ１４が出力するマッピング係数をｋ₁，ｋ₂，・・・，ｋ₉とする場合において、演算回路１６が、次式にしたがって関数値ｆ（ｙ₁，ｙ₂，・・・，ｋ₁，ｋ₂，・・・）を演算して補正データを求めるようになされているときに用いることができる。

ｆ（・）＝ｋ₁ｙ₁＋ｋ₂ｙ₂＋・・・＋ｋ₉ｙ₉

最適補正データ算出部７０には、学習に適した学習用画像が、例えば、１フレーム単位などで供給されるようになされている。最適補正データ算出部７０は、圧縮部７１、補正部７２、ローカルデコード部７３、誤差算出部７４、および判定部７５で構成され、そこに入力される学習用画像から、その画素数を少なくして圧縮した画像であって、元の画像を予測するのに最適な画像を構成する画素値（以下、適宜、最適補正データという）を算出し、ラッチ回路７６に供給するようになされている。

即ち、最適補正データ算出部７０に供給された学習用画像は、圧縮部７１および誤差算出部７４に供給されるようになされている。圧縮部７１は、図２の演算回路１６が画素を間引く割合と同一の割合で、学習用画像を単純に間引き、即ち、本実施の形態においては、学習用画像を１／９に単純に間引き（３×３の９画素を１ブロックとするとき、そのブロックの中心の画素だけを抽出し）、これにより学習用画像を圧縮して補正部７２に供給するようになされている。

補正部７２は、圧縮部７１から供給される、単純な間引きが行われて圧縮されたデータ（以下、適宜、圧縮データという）を、判定部７５からの制御にしたがって補正するようになされている。補正部７２における補正の結果得られるデータ（このデータも、図２の演算回路１６の出力と同様に、３×３画素のブロックの中心画素の画素値を補正したものであるので、以下、適宜、補正データという）は、ローカルデコード部７３に供給するようになされている。

ローカルデコード部７３は、図７のローカルデコード部２７または図１２のローカルデコード部１０２７における場合と同様にして、補正部７２からの補正データに基づいて、元の画像（学習用画像）を予測し、その予測値を、誤差算出部７４に供給するようになされている。

誤差算出部７４は、図７の誤差算出部２８における場合と同様にして、そこに入力される、元の画像データに対する、ローカルデコード部７３からの予測値の予測誤差を算出するようになされている。この予測誤差は、誤差情報として、判定部７５に供給されるようになされている。

判定部７５は、誤差算出部７４からの誤差情報に基づいて、補正部７２が出力した補正データを、元の画像の圧縮結果とすることの適正さを判定するようになされている。そして、判定部７５は、補正部７２が出力した補正データを、元の画像の圧縮結果とすることが適正でないと判定した場合には、補正部７２を制御し、さらに、圧縮データを補正させ、その結果得られる新たな補正データを出力させるようになされている。また、判定部７５は、補正部７２が出力した補正データを、元の画像の圧縮結果とすることが適正であると判定した場合には、その補正データを、最適補正データとして、ラッチ回路７６に供給させるようになされている。

ラッチ回路７６は、メモリ７６Ａを内蔵しており、そのメモリ７６Ａに、補正部７２から供給される最適補正データを記憶させるようになされている。さらに、ラッチ回路７６は、メモリ７６Ａに記憶された最適補正データのうち、ブロック化回路７７のメモリ７７Ａから読み出されるブロックの中心画素に対応するものを読み出し、メモリ８０に供給するようになされている。なお、ラッチ回路７６は、メモリ７６Ａに、１フレーム分の補正データが記憶されると、その旨を示す制御信号を、ブロック化回路７７に出力するようになされている。

ブロック化回路７７には、最適補正データ算出部７０と同様に、学習用画像が１フレーム単位で供給されるようになされている。ブロック化回路７７は、メモリ７７Ａを内蔵しており、そのメモリ７７Ａに、そこに供給される学習用画像を記憶させるようになされている。また、ブロック化回路７７は、ラッチ回路７６から制御信号を受信すると、メモリ７７Ａに記憶された学習用画像を、図２のブロック化回路１１における場合と同様に、注目画素を中心とする３×３画素で構成されるブロックに分割し、そのブロックを順次読み出して、ＡＤＲＣ処理回路７８およびメモリ８０に供給するようになされている。

なお、ブロック化回路７７は、その内蔵するメモリ７７Ａからブロックを読み出すときに、そのブロックの位置を示す制御信号を、ラッチ回路７６に供給するようになされている。ラッチ回路７６では、この制御信号に基づいて、メモリ７７Ａから読み出される３×３画素のブロックが認識され、上述したように、そのブロックの中心画素に対応する最適補正データが、メモリ７６Ａから読み出されるようになされている。即ち、これにより、メモリ８０に対しては、ある３×３画素のブロックと、そのブロックに対応する最適補正データとが同時に供給されるようになされている。

ＡＤＲＣ処理回路７８またはクラス分類回路７９は、図２のＡＤＲＣ処理回路１２またはクラス分類回路１３とそれぞれ同様に構成されている。そして、クラス分類回路７９が出力する、ブロック化回路７７からのブロックについてのクラス情報は、メモリ８０に対して、アドレスとして供給されるようになされている。

メモリ８０は、クラス分類回路７９から供給されるクラス情報に対応するアドレスに、ラッチ回路７６から供給される最適補正データと、ブロック化回路７７から供給されるブロックとを対応付けて記憶するようになされている。なお、メモリ８０は、１つのアドレスに複数の情報を記憶することができるようになされており、これにより、あるクラス情報に対応する最適補正データおよびブロックを、複数セット記憶することができるようになされている。

演算回路８１は、メモリ８０に記憶された、学習用画像の３×３のブロックを構成する９画素ｙ₁，ｙ₂，・・・，ｙ₉と、そのブロックに対応付けられている最適補正データｙ’とを読み出し、これらに最小自乗法を適用することで、クラスごとに、マッピング係数ｋ₁乃至ｋ₉を求め、メモリ８２に供給するようになされている。メモリ８２は、演算回路８１から供給されるクラスごとのマッピング係数ｋ₁乃至ｋ₉を、そのクラスに対応したアドレスに記憶するようになされている。

次に、図１６のフローチャートを参照して、その動作について説明する。

学習用画像が入力されると、その学習用画像は、ブロック化回路７７のメモリ７７Ａに記憶されるとともに、最適補正データ算出部７０に供給される。最適補正データ算出部７０は、学習用画像を受信すると、ステップＳ３１において、その学習用画像についての最適補正データを算出する。

即ち、ステップＳ３１では、図１７のフローチャートに示すように、まず、圧縮部７１が、ステップＳ４１において、学習用画像を、１／９に間引くことにより圧縮データを生成し、補正部７２を介して、即ち、最初は、補正を行わずに、ローカルデコード部７３に出力する。ローカルデコード部７３では、ステップＳ４２において、補正部７２からの補正データ（最初は、上述したように、画像データを、単純に間引いた圧縮データそのもの）に基づいて、元の画像の予測値が算出される（ローカルデコードが行われる）。この予測値は、誤差算出部７４に供給される。

誤差算出部７４は、ローカルデコード部７３から、元の画像の予測値を受信すると、ステップＳ４３において、元の画像データに対する、ローカルデコード部７３からの予測値の予測誤差を算出し、誤差情報として、判定部７５に供給する。判定部７５は、誤差算出部７４から誤差情報を受信すると、ステップＳ４４において、その誤差情報に基づいて、補正部７２が出力した補正データを、元の画像の圧縮結果とすることの適正さを判定する。

即ち、ステップＳ４４においては、例えば、１フレーム分の誤差情報が所定の閾値ε以下であるかどうかが判定される。ステップＳ４４において、誤差情報が所定の閾値ε以下でないと判定された場合、補正部７２が出力した補正データを、元の画像の圧縮結果とするのは適正でないと認識され、ステップＳ４５に進み、判定部７５は、補正部７２を制御し、これにより、圧縮部７１から出力された圧縮データを補正させる。補正部７２は、判定部７５の制御にしたがって、補正量（補正値△）を変えて、圧縮データを補正し、その結果得られる補正データを、ローカルデコード部７３に出力する。そして、ステップＳ４２に戻り、以下、同様の処理が繰り返される。

なお、圧縮データの補正は、例えば、上述の図７で説明した、マッピング係数の変更と同様にして行うことが可能である。

一方、ステップＳ４４において、誤差情報が所定の閾値ε以下であると判定された場合、補正部７２が出力した補正データを、元の画像の圧縮結果とするのは適正であると認識され、ステップＳ４６に進み、判定部７５は、所定の閾値ε以下の誤差情報が得られたときの補正データを、最適補正データとして、補正部７２からラッチ回路７６に出力させ、その内蔵するメモリ７６Ａに記憶させて、リターンする。

以上のようにして、誤差情報が所定の閾値ε以下となったときにおける、圧縮データを補正した補正データが、最適補正データとして、メモリ７６Ａに記憶される。なお、この最適補正データは、誤差情報を所定の閾値ε以下とするものであるから、これを用いて、予測値を算出することにより、元の画像（原画像）とほぼ同一の画像を得ることができる。

図１６に戻り、ラッチ回路７６は、そのメモリ７６Ａに、１フレーム分の最適補正データを記憶すると、制御信号を、ブロック化回路７７に出力する。ブロック化回路７７は、ラッチ回路７６から制御信号を受信すると、ステップＳ３２において、メモリ７７Ａに記憶された学習用画像を、３×３画素で構成されるブロックに分割する。そして、ブロック化回路７７は、メモリ７７Ａに記憶された学習用画像のブロックを読み出して、ＡＤＲＣ処理回路７８およびメモリ８０に供給する。

また、同時に、ブロック化回路７７は、メモリ７７Ａからブロックを読み出すときに、そのブロックの位置を示す制御信号を、ラッチ回路７６に供給し、ラッチ回路７６は、その制御信号に対応して、メモリ７７Ａから読み出された３×３画素のブロックを認識し、そのブロックの中心画素に対応する最適補正データを読み出して、メモリ８０に供給する。

そして、ステップＳ３３に進み、ＡＤＲＣ処理回路７８において、ブロック化回路７７からのブロックがＡＤＲＣ処理され、さらに、クラス分類回路７９において、そのブロックがクラス分類される。このクラス分類結果は、アドレスとして、メモリ８０に供給される。

メモリ８０では、ステップＳ３４において、クラス分類回路７９から供給されるクラス情報に対応するアドレスに、ラッチ回路７６から供給される最適補正データと、ブロック化回路７７から供給されるブロック（学習データ）とが対応付けられて記憶される。

そして、ステップＳ３５に進み、メモリ８０に、１フレーム分のブロックおよび最適補正データが記憶されたかどうかが判定される。ステップＳ３５において、メモリ８０に、１フレーム分のブロックおよび最適補正データが、まだ記憶されていないと判定された場合、ブロック化回路７７から次のブロックが読み出されるとともに、ラッチ回路７６からそのブロックに対応する最適補正データが読み出され、ステップＳ３３に戻り、以下、ステップＳ３３以降の処理を繰り返す。

また、ステップＳ３５において、メモリ８０に、１フレーム分のブロックおよび最適補正データが記憶されたと判定された場合、ステップＳ３６に進み、学習用画像すべてについて処理が終了したかどうかが判定される。ステップＳ３６において、学習用画像すべてについての処理が、まだ終了していないと判定された場合、ステップＳ３１に戻り、次の学習用画像について、ステップＳ３１からの処理が繰り返される。

一方、ステップＳ３６において、学習用画像すべてについての処理が終了したと判定された場合、ステップＳ３７に進み、演算回路８１は、メモリ８０に記憶された最適補正データとブロックとを、クラスごとに読み出し、これらにより、式（７）に示したような正規方程式をたてる。さらに、演算回路８１は、ステップＳ３８において、その正規方程式を解くことで、誤差を最小にする、クラスごとのマッピング係数を算出する。このマッピング係数は、ステップＳ３９において、メモリ８２に供給されて、クラスごとに分けて記憶され、処理を終了する。

関数ｆが、線形１次式で表される場合においては、以上のようにしてメモリ８２に記憶されたマッピング係数を、図２のマッピング係数メモリ１４に記憶させ、これを用いて画像の符号化を行うことができる。

なお、クラスによっては、マッピング係数を求めることができるだけの数の正規方程式が得られない場合がある。このような場合は、図２の演算回路１６において、ブロック化回路１１から出力される３×３画素のブロックを構成する９画素の、例えば平均値などが出力されるようなマッピング係数、即ち、ｋ₁乃至ｋ₉＝１／９などが、デフォルトの値として設定される。

次に、図１８は、図１の受信装置４の構成例を示している。

受信機／再生装置９１においては、記録媒体２に記録された符号化データが再生され、または伝送路３を介して伝送されてくる符号化データが受信され、デコード部９２に供給される。

デコード部９２は、図９に示したローカルデコード部２７におけるクラス分類用ブロック化回路４１乃至予測回路４６とそれぞれ同様に構成されるクラス分類用ブロック化回路９３乃至予測回路９８で構成されており、従って、デコード部９２では、図９のローカルデコード部２７における場合と同様にして、補正データから予測値が求められ、この予測値で構成される画像が復号画像として出力される。

即ち、受信機／再生装置９１から出力される符号化データとしての補正データは、クラス分類用ブロック化回路９３または予測値計算用ブロック化回路９４に順次供給され、図９のクラス分類用ブロック化回路４１または予測値計算用ブロック化回路４２における場合と同様にして、クラス分類用ブロックまたは予測値計算用ブロックに、それぞれブロック化される。そして、クラス分類用ブロックはＡＤＲＣ処理回路９５に、予測値計算用ブロックは予測回路９８に、それぞれ供給される。

ＡＤＲＣ処理回路９５は、クラス分類用ブロックを受信すると、そのクラス分類用ブロックに対して、図９のＡＤＲＣ処理回路４３における場合と同様に、１ビットのＡＤＲＣ処理を施し、これにより、クラス分類用ブロックを構成する補正データを、１ビットに変換（符号化）して、クラス分類回路９６に出力する。クラス分類回路９６は、ＡＤＲＣ処理が施されたクラス分類用ブロックに対して、クラス分類処理を施し、クラス情報を、予測係数ＲＯＭ９７に出力する。

予測係数ＲＯＭ９７は、図９の予測係数ＲＯＭ４５と同様に、例えば、図１１の画像処理装置において求められた、クラスごとの予測係数を記憶しており、クラス分類回路９６からクラス情報を受信すると、そのクラス情報に対応する予測係数を読み出し、予測回路９８に供給する。予測回路９８では、予測係数ＲＯＭ９７からの予測係数と、予測値計算用ブロック化回路９４からの予測値計算用ブロックを構成する補正データとを用い、式（１）に対応する線形１次式にしたがって、元の画像の予測値が算出され、これにより、元の画像が復号される。

補正データは、上述したように、誤差情報を所定の閾値以下とするものであり、従って、受信装置４においては、元の画像とほぼ同一の復号画像を得ることができる。

なお、受信側においては、図１８に示すような受信装置４でなくても、間引きされた画像を補間により復号する装置により、通常の補間を行うことで復号画像を得ることができる。但し、この場合に得られる復号画像は、画質（解像度）の劣化したものとなる。

以上、本発明を適用した画像処理装置について説明したが、このような画像処理装置は、例えば、ＮＴＳＣ方式などの標準方式のテレビジョン信号を符号化する場合の他、データ量の多い、いわゆるハイビジョン方式のテレビジョン信号などを符号化する場合に、特に有効である。

なお、本実施の形態においては、１フレームの画像を対象にブロック化を行うようにしたが、ブロックは、その他、例えば、時系列に連続する複数フレームにおける、同一位置の画素などを集めて構成するようにすることも可能である。

また、本実施の形態においては、誤差情報として、誤差の自乗和を用いるようにしたが、誤差情報としては、その他、例えば、誤差の絶対値和や、その３乗以上したものの和などを用いるようにすることが可能である。いずれを誤差情報として用いるかは、例えば、その収束性などに基づいて決定するようにすることが可能である。

さらに、例えば、図１３の実施の形態では、１フレーム単位で、正規方程式をたてて、クラスごとの予測係数を求めるようにしたが、予測係数の算出処理は、その他、例えば、１フィールド単位や複数フレーム単位で正規方程式をたてて行うようにすることも可能である。他の処理についても同様である。

また、本発明は、ハードウェアによっても、あるいは、上述した処理を行うためのアプリケーションプログラムが記録されたハードディスク等の記録媒体から、そのアプリケーションプログラムを読み出して、コンピュータに実行させることによっても、実現可能である。

さらに、図２においては、ＡＤＲＣ処理回路１２に供給するブロックと、遅延回路１５を介して、演算回路１６に供給するブロックとは同一のものとしたが、これらのブロックは同一である必要は必ずしもない。

本発明を適用した画像処理システムの一実施の形態の構成を示すブロック図である。図１の送信装置１の構成例を示すブロック図である。ＡＤＲＣ処理を説明するための図である。クラス分類処理を説明するための図である。図２の送信装置の動作を説明するためのフローチャートである。図２のブロック化回路１１の処理を説明するための図である。マッピング係数を得るための学習を行う画像処理装置の第１実施の形態の構成を示すブロック図である。図７の画像処理装置の動作を説明するためのフローチャートである。図７のローカルデコード部２７の構成例を示すブロック図である。図９のローカルデコード部２７の処理を説明するためのフローチャートである。予測係数を得るための学習を行う画像処理装置の一実施の形態の構成を示すブロック図である。マッピング係数を得るための学習を行う画像処理装置の第２実施の形態の構成を示すブロック図である。図１２のローカルデコード部１０２７の構成例を示すブロック図である。図１３のローカルデコード部１０２７の処理を説明するためのフローチャートである。マッピング係数を得るための学習を行う画像処理装置の第３実施の形態の構成を示すブロック図である。図１５の画像処理装置の動作を説明するためのフローチャートである。図１６におけるステップＳ３１の処理のより詳細を説明するためのフローチャートである。図１の受信装置４の構成例を示すブロック図である。

符号の説明

１送信装置，２記録媒体，３伝送路，４受信装置，１１ブロック化回路，１２ＡＤＲＣ処理回路，１３クラス分類回路，１４マッピング係数メモリ，１５遅延回路，１６演算回路，１７送信機／記録装置，２１メモリ，２２ブロック化回路，２３ＡＤＲＣ処理回路，２４クラス分類回路，２６演算回路，２７ローカルデコード部，２８誤差算出部，２９判定部，３０マッピング係数設定回路，３１マッピング係数メモリ，４１クラス分類用ブロック化回路，４２予測値計算用ブロック化回路，４３ＡＤＲＣ処理回路，４４クラス分類回路，４５予測係数ＲＯＭ，４６予測回路，４７適応処理回路，５１学習用ブロック化回路，５２教師用ブロック化回路，５３ＡＤＲＣ処理回路，５４クラス分類回路，５５スイッチ，５６学習データメモリ，５７カウンタ，５８教師データメモリ，５９演算回路，６０メモリ，７０最適補正データ算出部，７１圧縮部，７２補正部，７３ローカルデコード部，７４誤差算出部，７５判定部，７６ラッチ回路，７６Ａメモリ，７７ブロック化回路，７７Ａメモリ，７８ＡＤＲＣ処理回路，７９クラス分類回路，８０メモリ，８１演算回路，８２メモリ，９１受信機／再生装置，９２デコード部，９３クラス分類用ブロック化回路，９４予測値計算用ブロック化回路，９５ＡＤＲＣ処理回路，９６クラス分類回路，９７予測係数ＲＯＭ，９８予測回路，１０２７ローカルデコード部

Claims

画像を符号化する画像符号化装置と、符号化された前記画像を復号化する画像復号化装置とからなる画像処理システムであって、
前記画像符号化装置は、
前記画像を構成する画素から注目している注目画素周辺の複数の画素を抽出し、抽出された前記複数の画素の性質に応じて前記注目画素を第１のクラスに分類する分類手段と、
前記第１のクラスごとに、前記画像を符号化するための所定のマッピング係数を記憶しているマッピング係数記憶手段と、
前記画像の中の、注目している前記注目画素周辺の複数の画素と、前記注目画素の第１のクラスに対応する前記マッピング係数とを引数とする所定の関数の演算を行うことにより、符号化された前記注目画素を、前記注目画素周辺の複数の画素の符号化データとして出力する演算手段と
を備え、
前記画像復号化装置は、
前記画像符号化装置で符号化させた前記符号化データを受信する受信手段と、
前記符号化データを復号化する復号化手段と
を備え、
前記復号化手段は、
前記符号化データを、その性質に応じて第２のクラスのうちのいずれかに分類する分類手段と、
前記符号化データの前記第２のクラスに対応する、前記符号化データから予測される元の画像の予測値を算出するための予測係数と、前記符号化データとの線形結合により、前記予測値を求める予測値演算手段と
を有する
ことを特徴とする画像処理システム。
前記演算手段は、符号化された前記注目画素を、前記注目画素周辺の複数の画素の前記符号化データとすることによって、前記画像の画素数を少なくしたものを算出する
ことを特徴とする請求項１に記載の画像処理システム。
前記復号化手段は、
前記予測係数を、前記第２のクラスごとに記憶している予測係数記憶手段をさらに備える
ことを特徴とする請求項２に記載の画像処理システム。