JP4582416B2

JP4582416B2 - 画像符号化装置および画像符号化方法

Info

Publication number: JP4582416B2
Application number: JP2005308102A
Authority: JP
Inventors: 哲二郎近藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1996-07-17
Filing date: 2005-10-24
Publication date: 2010-11-17
Anticipated expiration: 2017-07-17
Also published as: JP2006101535A

Description

本発明は、画像符号化装置および画像符号化方法に関する。特に、画像を、画素数の異なる複数の階層に分割する階層符号化を行う画像符号化装置および画像符号化方法に関する。

元の画像（原画像）を、第１階層（最上位階層）の画像として、その画素数を順次少なくした（解像度を順次低くした）第２階層の画像、第３階層の画像、・・・を形成する符号化（以下、適宜、階層符号化という）が提案されている。

階層符号化によれば、複数の階層の画像を、送信側から受信側に送信し、受信側では、その複数の階層の画像それぞれに対応してモニタにより、各階層の画像を表示することができる。

さらに、階層符号化においては、例えば、最下位階層の画像（最も画素数の少ない画像）についてのデータには、他の階層の画像よりも強力な誤り訂正処理などが施されるようになされており、これにより、最下位階層以外の階層の画像について訂正することができない誤りが生じた場合に、最悪でも、最下位階層の画像についてのデータだけは、受信側において、正常なものを得ることができるようになされている。その結果、受信側では、最下位階層の画像についてのデータから、より上位階層の画像を、例えば補間処理などにより得ることができ、従って、階層符号化によれば、誤りに対するロバスト性を向上させることができる。

図４７は、以上のような階層符号化を行う、従来の画像符号化装置の一例の構成を示している。符号化すべき画像データは、第１階層（最上位階層）のデータとして、間引き回路１１および信号処理回路５０１に供給されるようになされている。

間引き回路１１では、第１階層の画像データの画素数が間引かれることにより、１つ下位の第２階層の画像データが形成され、間引き回路１２および信号処理回路５０１に供給される。間引き回路１２では、第２階層の画像データの画素数が間引かれることにより、さらに１つ下位の第３階層の画像データが形成され、信号処理回路５０１に供給される。

信号処理回路５０１では、第１階層乃至第３階層の画像データに対して、例えば誤り訂正処理その他の必要な信号処理が施され、その後、多重化されて、符号化データとして出力される。なお、信号処理回路５０１においては、最下位階層である第３階層の画像データに対しては、他の階層のデータより強力な誤り訂正が施されるようになされている。

図４８は、図４７の画像符号化装置から出力される符号化データを階層復号化する、従来の画像復号化装置の一例の構成を示している。

信号処理回路６０１においては、符号化データが、第１階層乃至第３階層の画像データに分離され、さらに、誤り訂正処理その他が施されて出力される。第１階層の画像データは、第１階層の復号画像としてそのまま出力される。また、第２階層の画像データは、補間回路６０２に供給される。補間回路６０２は、第２階層の画像データに対して補間処理を施すことにより、１つ上位の第１階層の画像データと同一の画素数の画像データを生成し、第１階層の復号画像として出力する。

第３階層の画像データは、補間回路６０３に供給される。補間回路６０３は、第３階層の画像データに対して補間処理を施すことにより、１つ上位の第２階層の画像データと同一の画素数の画像データ、即ち、第２階層の復号画像を生成し、補間回路６０４に出力する。補間回路６０４は、補間回路６０３の出力に対して、補間回路６０２における場合と同様の補間処理を施すことにより、さらに１つ上位の第１階層の画像データと同一の画素数の画像データを生成し、第１階層の復号画像として出力する。

従って、画像復号化装置においては、第１階層の画像データを何らかの原因で得ることができなくても、第２階層の画像データから、第１階層の復号画像を得ることができる。また、同様に、第１階層および第２階層の画像データを何らかの原因で得ることができなくても、第３階層の画像データから、第１階層や第２階層の復号画像を得ることができる。

しかしながら、最下位階層である第３階層の画像データだけから得られる、上位階層の復号画像は、その画質が著しく劣化したものとなる。

本発明は、このような状況に鑑みてなされたものであり、最下位階層の符号化データだけからでも、高画質の復号画像を得ることができるようにするものである。

請求項１に記載の画像符号化装置は、第１の階層の画像を構成する画素を、それぞれを中心とした所定の位置関係となる複数の画素から構成されるクラス分類用ブロックの画素のレベル分布からなる性質に応じて所定のクラスに分類する分類手段と、クラスごとに、所定のマッピング係数を記憶しているマッピング係数記憶手段と、第１の階層の画像の中の、注目している第１の階層の画像データの画素数を少なくした第２の階層の画像データの画素に対応する位置の注目画素およびその周辺画素と、その注目画素のクラスに対応するマッピング係数とを用いて所定の線形、または非線形の関数による演算を行うことにより、その演算結果からなる第１の階層の画像データの画素数を少なくした第２の階層の画像データに符号化する符号化手段とを備えることを特徴とする。

請求項６に記載の画像符号化方法は、第１の階層の画像を構成する画素を、それぞれを中心とした所定の位置関係となる複数の画素から構成されるクラス分類用ブロックの画素のレベル分布からなる性質に応じて所定のクラスに分類し、クラスごとに、記憶されている所定のマッピング係数のうち、第１の階層の画像の中の、注目している第１の階層の画像データの画素数を少なくした第２の階層の画像データの画素に対応する位置の注目画素に対応するクラスのマッピング係数を読み出し、そのマッピング係数と注目画素およびその周辺画素とを用いて所定の線形、または非線形の関数による演算を行うことにより、その演算結果からなる第１の階層の画像データの画素数を少なくした第２の階層の画像データに符号化することを特徴とする。

本発明の一側面においては、第１の階層の画像を構成する画素が、それぞれを中心とした所定の位置関係となる複数の画素から構成されるクラス分類用ブロックの画素のレベル分布からなる性質に応じて所定のクラスに分類され、クラスごとに、所定のマッピング係数が記憶され、第１の階層の画像の中の、注目している前記第１の階層の画像データの画素数を少なくした第２の階層の画像データの画素に対応する位置の注目画素およびその周辺画素と、その注目画素のクラスに対応する前記マッピング係数とが用いられて所定の線形、または非線形の関数による演算が行われ、その演算結果からなる前記第１の階層の画像データの画素数を少なくした第２の階層の画像データに符号化される。

本発明の一側面によれば、第１の階層の画像の中の、注目している注目画素に対応するクラスのマッピング係数と注目画素およびその周辺画素とを用いて所定の演算が行われることにより、その演算結果からなる第１の階層の画像データの画素数を少なくした第２の階層の画像データに符号化される。従って、その第２階層の画像データから、高画質の第１階層の画像データを得ることが可能となる。

以下に、本発明の実施の形態を説明するが、その前に、特許請求の範囲に記載の発明の各手段と以下の実施の形態との対応関係を明らかにするために、各手段の後の括弧内に、対応する実施の形態（但し、一例）を付加して、本発明の特徴を記述すると、次のようになる。

本発明の一側面の画像符号化装置は、画像を階層符号化する画像符号化装置であって、第１の階層の画像を構成する画素を、それぞれを中心とした所定の位置関係となる複数の画素から構成されるクラス分類用ブロックの画素のレベル分布からなる性質に応じて所定のクラスに分類する分類手段（例えば、図３４に示すクラス分類回路１１３など）と、クラスごとに、所定のマッピング係数を記憶しているマッピング係数記憶手段（例えば、図３４に示すマッピング係数メモリ１１４など）と、第１の階層の画像の中の、注目している前記第１の階層の画像データの画素数を少なくした第２の階層の画像データの画素に対応する位置の注目画素およびその周辺画素と、その注目画素のクラスに対応するマッピング係数とを用いて所定の線形、または非線形の関数による演算を行うことにより、その演算結果からなる第１の階層の画像データの画素数を少なくした第２の階層の画像データに符号化する符号化手段（例えば、図３４に示す演算回路１１６など）とを備えることを特徴とする。

本発明の一側面の画像符号化方法は、画像を階層符号化する画像符号化方法であって、第１の階層の画像を構成する画素を、それぞれを中心とした所定の位置関係となる複数の画素から構成されるクラス分類用ブロックの画素のレベル分布からなる性質に応じて所定のクラスに分類し、クラスごとに、記憶されているマッピング係数のうち（例えば、図３４に示すマッピング係数メモリ１１４など）、第１の階層の画像の中の、注目している前記第１の階層の画像データの画素数を少なくした第２の階層の画像データの画素に対応する位置の注目画素に対応するクラスのマッピング係数を読み出し、そのマッピング係数と注目画素およびその周辺画素とを用いて所定の線形、または非線形の関数による演算を行うことにより、その演算結果からなる第１の階層の画像データの画素数を少なくした第２の階層の画像データに符号化することを特徴とする。

なお、勿論この記載は、各手段を上記したものに限定することを意味するものではない。

図１は、本発明を適用した画像処理システム（システムとは、複数の装置が論理的に集合したものをいい、各構成の装置が同一筐体中にあるか否かは問わない）の一実施の形態の構成を示している。

送信装置１には、ディジタル化された画像データが供給されるようになされている。送信装置１は、入力された画像データを階層符号化し、その結果得られる符号化データを、例えば、光ディスクや、光磁気ディスク、磁気テープ、相変化ディスクその他でなる記録媒体２に記録し、または、例えば、地上波や、衛星回線、電話回線、ＣＡＴＶ網、インターネットその他の伝送路３を介して伝送する。

受信装置４では、記録媒体２に記録された符号化データが再生され、または、伝送路３を介して伝送されてくる符号化データが受信され、その符号化データが階層復号化される。そして、その結果得られる復号画像が、図示せぬディスプレイに供給されて表示される。

なお、以上のような画像処理システムは、例えば、光ディスク装置や、光磁気ディスク装置、磁気テープ装置その他の、画像の記録／再生を行う装置や、あるいはまた、例えば、テレビ電話装置や、テレビジョン放送システム、ＣＡＴＶシステムその他の、画像の伝送を行う装置などに適用される。また、送信装置１が出力する符号化データのデータ量が少ないため、図１の画像処理システムは、伝送レートの低い、例えば、携帯電話機その他の、移動に便利な携帯端末などにも適用可能である。

図２は、送信装置１の構成例を示している。

符号化すべきディジタル画像データ、即ち、第１階層（最上位階層）の画像データは、第１階層の符号化データとして、そのまま信号処理回路１５に供給される他、間引き回路１１および最適補正データ算出回路１３に供給される。間引き回路１１では、第１階層の画像データの画素数が間引かれることにより、１つ下位の第２階層の画像データが形成される。即ち、間引き回路１１では、例えば、図３に示すように、第１階層の画像データ（同図において、○印で示す部分）が１／９に単純に間引かれ（横方向および縦方向とも１／３に間引かれ）、これにより第２階層の画像データ（同図において△印で示す部分）が形成される。この第２階層の画像データは、間引き回路１２および最適補正データ算出回路１３に供給される。

間引き回路１２では、第２階層の画像データの画素数が間引かれることにより、さらに１つ下位の第３階層の画像データが形成される。即ち、間引き回路１２では、例えば、間引き回路１１における場合と同様に、第２階層の画像データが１／９に単純に間引かれ、これにより、図３において×印で示す第３階層の画像データが形成される。この第３階層の画像データは、最適補正データ算出回路１４に供給される。

以上のようにして、間引き回路１１および１２では、図４に示すように、第１階層の画像データ（原画像）から、第２階層および第３階層の画像データが形成される。

最適補正データ算出回路１３では、第２階層の画像データから、第１階層の階層の復号画像を得るのに最適な最適補正データ（以下、適宜、第２階層の最適補正データという）が算出され、第２階層の符号化データとして信号処理回路１５に出力される。最適補正データ算出回路１４においては、最適補正データ算出回路１４が出力する最適補正データを得るのに最適な最適補正データ（以下、適宜、第３階層の最適補正データという）が算出され、第３階層の符号化データとして信号処理回路１５に供給される。

ここで、第３階層の最適補正データは、第２階層の最適補正データを得るのに最適なものであり、また、第２階層の最適補正データは、第１階層の復号画像を得るのに最適なものであるから、第３階層の最適補正データも、第２階層の最適補正データと同様に、第１階層の復号画像を得るのに最適なものということができる。

信号処理回路１５では、第２階層の符号化データに含まれる、後述する予測係数（第１階層の予測係数）が取り出され、第３階層の符号化データの中に含められる。そして、信号処理回路１５では、第１階層乃至第３階層の符号化データに対して、例えば誤り訂正処理その他の必要な信号処理が施され、その後、多重化されて、最終的な符号化データとして出力される。なお、信号処理回路１５においては、最下位階層である第３階層の符号化データに対しては、他の階層の符号化データより強力な誤り訂正が施されるようになされている。

以上のようにして信号処理回路１３から出力された符号化データが、記録媒体２に記録され、または伝送路３を介して伝送される。

なお、以上においては、間引き回路１１および１２において、同一の割合で間引きが行われるものとしたが、間引き回路１１と１２で行われる間引きの割合は、同一である必要はない。

次に、図５は、図２の最適補正データ算出回路１３の構成例を示している。なお、最適補正データ算出回路１４も、最適補正データ算出回路１３と同様に構成されるため、その説明は省略する。

間引き回路１１からの第２階層の画像データは、補正部２１に供給されるようになされており、また、第１階層の画像データは、ローカルデコード部２２に供給されるようになされている。さらに、第１階層の画像データは、誤差算出部２３にも供給されるようになされている。

補正部２１は、第２階層の画像データを、判定部２４からの制御にしたがって補正するようになされている。補正部２１における補正の結果得られる補正データは、ローカルデコード部２２および判定部２４に供給するようになされている。

ローカルデコード部２２は、補正部２１からの補正データ、即ち、第２階層の画像データの補正結果に基づいて、その１つ上位の第１階層の予測値を予測し、誤差算出部２３に供給するようになされている。

なお、ローカルデコード部２２は、後述するように、補正データとの線形結合によって得られる第１階層の予測値を算出するためのクラスごとの予測係数を、補正データと第１階層の画像データ（原画像）とを用いて求める処理を行い、そのクラスごとの予測係数に基づいて、第１階層の予測値を求める適応処理を行うようになされており、このとき得られたクラスごとの予測係数は、判定部２４に供給されるようにもなされている。

誤差算出部２３は、そこに入力される、第１階層の画像データ（原画像）に対する、ローカルデコード部２２からの予測値の予測誤差を算出するようになされている。この予測誤差は、誤差情報として、判定部２４に供給されるようになされている。

判定部２４は、誤差算出部２３からの誤差情報に基づいて、補正部２１が出力した補正データを、元の画像（ここでは、第１階層の画像）の階層符号化結果とすることの適正さを判定するようになされている。そして、判定部２４は、補正部２１が出力した補正データを、元の画像の階層符号化結果とすることが適正でないと判定した場合には、補正部２１を制御し、さらに、第２階層の画像データを補正させ、その結果得られる新たな補正データを出力させるようになされている。また、判定部２４は、補正部２１が出力した補正データを、元の画像の階層符号化結果とすることが適正であると判定した場合には、補正部２１から供給された補正データを、最適な補正データ（第２階層の最適補正データ）として多重化部２５に供給するとともに、ローカルデコード部２２から供給されたクラスごとの予測係数も多重化部２５に供給するようになされている。

多重化部２５は、判定部２４からの最適補正データと、クラスごとの予測係数とを多重化し、その多重化結果を、第２階層の符号化データとして出力するようになされている。

次に、図６のフローチャートを参照して、その動作について説明する。補正部２１に対して、第２階層の画像データが供給されると、補正部２１は、ステップＳ１において、最初は、補正を行わずに、そのまま第２階層の画像データを、ローカルデコード部２２および判定部２４に出力する。ローカルデコード部２２では、ステップＳ２において、補正部２１からの補正データ（最初は、上述したように、第２階層の画像データそのもの）がローカルデコードされる。

即ち、ステップＳ２では、補正部２１からの補正データとの線形結合によって得られる１つ上位の第１階層の予測値を算出するためのクラスごとの予測係数を、補正データと第１階層の画像データとを用いて求める処理が行われる。さらに、そのクラスごとの予測係数に基づいて、第１階層の画像の予測値が求められ、誤差算出部２３に供給される。

誤差算出部２３は、ローカルデコード部２２から、第１階層の予測値を受信すると、ステップＳ３において、第１階層の画像データに対する、ローカルデコード部２２からの予測値の予測誤差を算出し、誤差情報として、判定部２４に供給する。判定部２４は、誤差算出部２３から誤差情報を受信すると、ステップＳ４において、その誤差情報に基づいて、補正部２１が出力した補正データを、第１階層の画像の階層符号化結果とすることの適正さを判定する。

即ち、ステップＳ４においては、例えば、誤差情報が所定の閾値ε以下であるかどうかが判定される。ステップＳ４において、誤差情報が所定の閾値ε以下でないと判定された場合、補正部２１が出力した補正データを、第２階層の画像とするのは適正でないと認識され、ステップＳ５に進み、判定部２４は、補正部２１を制御し、これにより、第２階層の画像データを補正させる。補正部２１は、判定部２４の制御にしたがって、補正量（後述する補正値△）を変えて、第２階層の画像データを補正し、その結果得られる補正データを、ローカルデコード部２２および判定部２４に出力する。そして、ステップＳ２に戻り、以下、同様の処理が繰り返される。

一方、ステップＳ４において、誤差情報が所定の閾値ε以下であると判定された場合、補正部２１が出力した補正データを、第２階層の画像とするのは適正であると認識され、判定部２４は、所定の閾値ε以下の誤差情報が得られたときの補正データを、最適補正データとして、クラスごとの予測係数とともに、多重化部２５に出力する。多重化部２５では、ステップＳ６において、判定部２４からの最適補正データとクラスごとの予測係数とが多重化され、その多重化結果が、第２階層の符号化データとして出力されて、処理を終了する。

以上のように、誤差情報が所定の閾値ε以下となったときにおける補正データを、第２階層の画像データとするようにしたので、受信装置４側においては、その補正データ（最適補正データ）に基づいて、元の画像（第１階層の画像）とほぼ同一の画像を得ることが可能となる。

なお、最適補正データ算出回路１３においては、補正データとの線形結合によって得られる１つ上位の第１階層の予測値を算出するためのクラスごとの予測係数を求める処理が、上述したように、第１階層の画像データを用いて行われるが、最適補正データ算出回路１４では、その処理は、最適補正データ算出回路１３が出力する最適補正データを用いて行われる。但し、最適補正データ算出回路１４には、間引き回路１１が出力する第２階層の画像をそのまま用いて、適応処理（予測係数に基づいて予測値を求める処理）を行わせるようにすることも可能である。

次に、図７は、図５の補正部２１の構成例を示している。

第２階層の画像データは、補正回路３２に供給されるようになされており、補正回路３２は、判定部２４（図５）からの制御信号にしたがって、補正値ＲＯＭ３３にアドレスを与え、これにより、補正値△を読み出すようになされている。そして、補正回路３２は、第２階層の画像データに対して、補正値ＲＯＭ３３からの補正値△を、例えば加算することで、補正データを生成し、ローカルデコード部２２および判定部２４に供給するようになされている。補正値ＲＯＭ３３は、第２階層の画像データを補正するための、各種の補正値△の組合せ（例えば、１フレーム分の第２階層の画像データを補正するための補正値の組合せなど）を記憶しており、補正回路３２から供給されるアドレスに対応する補正値△の組合せを読み出して、補正回路３２に供給するようになされている。

次に、図８を参照して、図７の補正部２１の処理について説明する。

例えば、１フレーム分などの第２階層の画像データが、補正回路３２に供給されると、補正回路３２は、ステップＳ１１において、その第２階層の画像データを受信し、ステップＳ１２において、判定部２４（図５）から制御信号を受信したかどうかを判定する。ステップＳ１２において、制御信号を受信していないと判定された場合、ステップＳ１３およびＳ１４をスキップして、ステップＳ１５に進み、補正回路３２は、第２階層の画像データを、そのまま補正データとして、ローカルデコード部２２および判定部２４に出力し、ステップＳ１２に戻る。

即ち、判定部２４は、上述したように、誤差情報に基づいて、補正部２１（補正回路３２）を制御するようになされており、補正回路３２において第２階層の画像データが受信された直後は、まだ、誤差情報が得られないため（誤差情報が、誤差算出部２３から出力されないため）、判定部２４からは制御信号は出力されない。このため、第２階層の画像データを受信した直後は、補正回路３２は、その第２階層の画像データを補正せず（０を加算する補正をして）、そのまま補正データとして、ローカルデコード部２２および判定部２４に出力する。

一方、ステップＳ１２において、判定部２４からの制御信号を受信したと判定された場合、ステップＳ１３において、補正回路３２は、その制御信号にしたがったアドレスを、補正値ＲＯＭ３３に出力する。これにより、ステップＳ１３では、補正値ＲＯＭ３３から、そのアドレスに記憶されている、１フレーム分の第２階層の画像データを補正するための補正値△の組合せ（集合）が読み出され、補正回路３２に供給される。補正回路３２は、補正値ＲＯＭ３３から補正値△の組合せを受信すると、ステップＳ１４において、１フレームの第２階層の画像データそれぞれに、対応する補正値△を加算し、これにより、第２階層の画像データを補正した補正データを算出する。その後は、ステップＳ１５に進み、補正データが、補正回路３２からローカルデコード部２２および判定部２４に出力され、ステップＳ１２に戻る。

以上のようにして、補正部２１は、判定部２４の制御にしたがって、第２階層の画像データを、種々の値に補正した補正データを出力することを繰り返す。

なお、判定部２４は、１フレームの画像についての符号化を終了すると、その旨を表す制御信号を、補正部２１に供給するようになされている。補正部２１では、ステップＳ１２において、１フレームの画像についての符号化が終了した旨の制御信号を、判定部２４から受信したかどうかも判定されるようになされており、受信したと判定された場合は、そのフレームに対する処理を終了する。そして、次のフレームが供給されるのを待って、ステップＳ１１に戻り、再び、ステップＳ１１からの処理を繰り返す。

次に、図９は、図５のローカルデコード部２２の構成例を示している。

補正部２１からの補正データは、クラス分類用ブロック化回路４１および予測値計算用ブロック化回路４２に供給されるようになされている。クラス分類用ブロック化回路４１は、補正データを、その性質に応じて所定のクラスに分類するための単位である、注目している補正データ（注目補正データ）を中心としたクラス分類用ブロックにブロック化するようになされている。

即ち、いま、例えば、図１０において、○印で示す画素が第１階層の画像を構成するものとするとともに、●印で示す画素が第２階層の画像（補正データ）を構成するものとして、上からｉ番目で、左からｊ番目の補正データ（または画素）をＸ_ijと表すとすると、クラス分類用ブロック化回路４１は、注目画素（注目補正データ）Ｘ_ijの左上、上、右上、左、右、左下、下、右下に隣接する８つの画素Ｘ_(i-1)(j-1)，Ｘ_(i-1)j，Ｘ_(i-1)(j+1)，Ｘ_i(j-1)，Ｘ_i(j+1)，Ｘ_(i-1)(j-1)，Ｘ_(i-1)j，Ｘ_(i+1)(j+1)に、自身を含め、合計９画素（９の補正データ）で構成されるクラス分類用ブロックを構成するようになされている。このクラス分類用ブロックは、クラス分類適応処理回路４３に供給されるようになされている。

なお、この場合、クラス分類用ブロックは、３×３画素でなる正方形状のブロックで構成されることとなるが、クラス分類用ブロックの形状は、正方形である必要はなく、その他、例えば、長方形や、十文字形、その他の任意な形とすることが可能である。また、クラス分類用ブロックを構成する画素数も、３×３（横×縦）の９画素に限定されるものではない。

予測値計算用ブロック化回路４２は、補正データを、第１階層の画像の予測値を計算するための単位である、注目補正データを中心とした予測値計算用ブロックにブロック化するようになされている。即ち、いま、図１０において、補正データＸ_ij（図中、●印で示す部分）を中心とする、元の画像（ここでは、第１階層の画像）における３×３の９画素の画素値を、その最も左から右方向、かつ上から下方向に、Ｙ_ij（１），Ｙ_ij（２），Ｙ_ij（３），Ｙ_ij（４），Ｙ_ij（５），Ｙ_ij（６），Ｙ_ij（７），Ｙ_ij（８），Ｙ_ij（９）と表すとすると、画素Ｙ_ij（１）乃至Ｙ_ij（９）の予測値の計算のために、予測値計算用ブロック化回路４２は、例えば、画素Ｘ_ijを中心とする５×５の２５画素Ｘ_(i-2)(j-2)，Ｘ_(i-2)(j-1)，Ｘ_(i-2)j，Ｘ_(i-2)(j+1)，Ｘ_(i-2)(j+2)，Ｘ_(i-1)(j-2)，Ｘ_(i-1)(j-1)，Ｘ_(i-1)j，Ｘ_(i-1)(j+1)，Ｘ_(i-1)(j+2)，Ｘ_i(j-2)，Ｘ_i(j-1)，Ｘ_ij，Ｘ_i(j+1)，Ｘ_i(j+2)，Ｘ_(i+1)(j-2)，Ｘ_(i+1)(j-1)，Ｘ_(i+1)j，Ｘ_(i+1)(j+1)，Ｘ_(i+1)(j+2)，Ｘ_(i+2)(j-2)，Ｘ_(i+2)(j-1)，Ｘ_(i+2)j，Ｘ_(i+2)(j+1)，Ｘ_(i+2)(j+2)で構成される正方形状の予測値計算用ブロック（画素Ｘ_ijを注目画素（注目補正データ）とする予測値計算用ブロック）を構成するようになされている。

具体的には、例えば、図１０において四角形で囲む、第１階層の画像における画素Ｙ₃₃（１）乃至Ｙ₃₃（９）の９画素の予測値の計算のためには、補正データＸ₁₁，Ｘ₁₂，Ｘ₁₃，Ｘ₁₄，Ｘ₁₅，Ｘ₂₁，Ｘ₂₂，Ｘ₂₃，Ｘ₂₄，Ｘ₂₅，Ｘ₃₁，Ｘ₃₂，Ｘ₃₃，Ｘ₃₄，Ｘ₃₅，Ｘ₄₁，Ｘ₄₂，Ｘ₄₃，Ｘ₄₄，Ｘ₄₅，Ｘ₅₁，Ｘ₅₂，Ｘ₅₃，Ｘ₅₄，Ｘ₅₅により、予測値計算用ブロックが構成される。

予測値計算用ブロック化回路４２において得られた予測値計算用ブロックは、クラス分類適応処理回路４３に供給されるようになされている。

なお、予測値計算用ブロックについても、クラス分類用ブロックにおける場合と同様に、その画素数および形状は、上述したものに限定されるものではない。但し、予測値計算用ブロックを構成する画素数は、クラス分類用ブロックを構成する画素数よりも多くするのが望ましい。

また、上述のようなブロック化を行う場合において（ブロック化以外の処理についても同様）、画像の画枠付近では、対応する画素が存在しないことがあるが、この場合には、例えば、画枠を構成する画素と同一の画素が、その外側に存在するものとして処理を行う。

クラス分類適応処理回路４３は、ＡＤＲＣ（Adaptive Dynamic Range Coding）処理回路、クラス分類回路４５、および適応処理回路４６で構成され、クラス分類適応処理を行うようになされている。

クラス分類適応処理とは、入力信号を、その特徴に基づいて幾つかのクラスに分類し、各クラスの入力信号に、そのクラスに適切な適応処理を施すもので、大きく、クラス分類処理と適応処理とに分かれている。

ここで、クラス分類処理および適応処理について簡単に説明する。

まず、クラス分類処理について説明する。

いま、例えば、図１１（Ａ）に示すように、ある注目画素と、それに隣接する３つの画素により、２×２画素でなるブロック（クラス分類用ブロック）を構成し、また、各画素は、１ビットで表現される（０または１のうちのいずれかのレベルをとる）ものとする。この場合、２×２の４画素のブロックは、各画素のレベル分布により、図１１（Ｂ）に示すように、１６（＝（２¹）⁴）パターンに分類することができる。即ち、ブロックを構成する注目画素をパターン分けすることができ、このようなパターン分けが、クラス分類処理であり、クラス分類回路４５において行われる。

なお、クラス分類処理は、画像（ブロック内の画像）のアクティビティ（画像の複雑さ）（変化の激しさ）などをも考慮して行うようにすることが可能である。

ここで、通常、各画素には、例えば８ビット程度が割り当てられる。また、本実施の形態においては、上述したように、クラス分類用ブロックは、３×３の９画素で構成される。従って、このようなクラス分類用ブロックを対象にクラス分類処理を行ったのでは、（２⁸）⁹という膨大な数のクラスに分類されることになる。

そこで、本実施の形態においては、ＡＤＲＣ処理回路４４において、クラス分類用ブロックに対して、ＡＤＲＣ処理が施されるようになされており、これにより、クラス分類用ブロックを構成する画素のビット数を小さくすることで、クラス数を削減するようになされている。

即ち、例えば、いま、説明を簡単にするため、図１２（Ａ）に示すように、直線上に並んだ４画素で構成されるブロックを考えると、ＡＤＲＣ処理においては、その画素値の最大値ＭＡＸと最小値ＭＩＮが検出される。そして、ＤＲ＝ＭＡＸ−ＭＩＮを、ブロックの局所的なダイナミックレンジとし、このダイナミックレンジＤＲに基づいて、ブロックを構成する画素の画素値がＫビットに再量子化される。

即ち、ブロック内の各画素値から、最小値ＭＩＮを減算し、その減算値をＤＲ／２^Kで除算する。そして、その結果得られる除算値に対応するコード（ＡＤＲＣコード）に変換される。具体的には、例えば、Ｋ＝２とした場合、図１２（Ｂ）に示すように、除算値が、ダイナミックレンジＤＲを４（＝２²）等分して得られるいずれの範囲に属するかが判定され、除算値が、最も下のレベルの範囲、下から２番目のレベルの範囲、下から３番目のレベルの範囲、または最も上のレベルの範囲に属する場合には、それぞれ、例えば、００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂなどの２ビットにコード化される（Ｂは２進数であることを表す）。そして、復号側においては、ＡＤＲＣコード００Ｂ，０１Ｂ，１０Ｂ、または１１Ｂは、ダイナミックレンジＤＲを４等分して得られる最も下のレベルの範囲の中心値Ｌ₀₀、下から２番目のレベルの範囲の中心値Ｌ₀₁、下から３番目のレベルの範囲の中心値Ｌ₁₀、または最も上のレベルの範囲の中心値Ｌ₁₁に変換され、その値に、最小値ＭＩＮが加算されることで復号が行われる。

ここで、このようなＡＤＲＣ処理はノンエッジマッチングと呼ばれる。

なお、ＡＤＲＣ処理については、本件出願人が先に出願した、例えば、特開平３−５３７７８号公報などに、その詳細が開示されている。

ブロックを構成する画素に割り当てられているビット数より少ないビット数で再量子化を行うＡＤＲＣ処理を施すことにより、上述したように、クラス数を削減することができ、このようなＡＤＲＣ処理が、ＡＤＲＣ処理回路４４において行われるようになされている。

なお、本実施の形態では、クラス分類回路４５において、ＡＤＲＣ処理回路４４から出力されるＡＤＲＣコードに基づいて、クラス分類処理が行われるが、クラス分類処理は、その他、例えば、ＤＰＣＭ（予測符号化）や、ＢＴＣ（Block Truncation Coding）、ＶＱ（ベクトル量子化）、ＤＣＴ（離散コサイン変換）、アダマール変換などを施したデータを対象に行うようにすることも可能である。

次に、適応処理について説明する。

例えば、いま、第１階層の画像の画素値ｙの予測値Ｅ［ｙ］を、その周辺の幾つかの画素の画素値（ここでは、第２階層の画像データを補正した補正データ）（以下、適宜、学習データという）ｘ₁，ｘ₂，・・・と、所定の予測係数ｗ₁，ｗ₂，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。

Ｅ［ｙ］＝ｗ₁ｘ₁＋ｗ₂ｘ₂＋・・・
・・・（１）

そこで、一般化するために、予測係数ｗの集合でなる行列Ｗ、学習データの集合でなる行列Ｘ、および予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、

で定義すると、次のような観測方程式が成立する。

ＸＷ＝Ｙ’
・・・（２）

そして、この観測方程式に最小自乗法を適用して、第１階層の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、第１階層の画像の画素値（以下、適宜、教師データという）ｙの集合でなる行列Ｙ、および第１階層の画像の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、

で定義すると、式（２）から、次のような残差方程式が成立する。

ＸＷ＝Ｙ＋Ｅ
・・・（３）

この場合、第１階層の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるための第１階層の予測係数ｗ_iは、自乗誤差

を最小にすることで求めることができる。

従って、上述の自乗誤差を予測係数ｗ_iで微分したものが０になる場合、即ち、次式を満たす予測係数ｗ_iが、第１階層の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。

・・・（４）

そこで、まず、式（３）を、第１階層の予測係数ｗ_iで微分することにより、
次式が成立する。

・・・（５）

式（４）および（５）より、式（６）が得られる。

・・・（６）

さらに、式（３）の残差方程式における学習データｘ、予測係数ｗ、教師データｙ、および残差ｅの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。

・・・（７）

式（７）の正規方程式は、求めるべき予測係数ｗの数と同じ数だけたてることができ、従って、式（７）を解くことで、最適な予測係数ｗを求めることができる。なお、式（７）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを適用することが可能である。

以上のようにして、クラスごとに最適な第１階層の予測係数ｗを求め、さらに、その予測係数ｗを用い、式（１）により、第１階層の画像の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理であり、この適応処理が、適応処理回路４６において行われるようになされている。

なお、適応処理は、間引かれた画像（ここでは、第２階層の画像）には含まれていない、元の画像（ここでは、第１階層の画像）に含まれる成分が再現される点で、補間処理とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習により求められるため、元の画像に含まれる成分を再現することができる。このことから、適応処理は、いわば画像の創造作用がある処理ということができる。

次に、図１３のフローチャートを参照して、図９のローカルデコード部２２の処理について説明する。

ローカルデコード部２２においては、まず最初に、ステップＳ２１において、補正部２１からの補正データがブロック化される。即ち、クラス分類用ブロック化回路４１において、補正データが、注目補正データを中心とする３×３画素のクラス分類用ブロックにブロック化され、クラス分類適応処理回路４３に供給されるとともに、予測値計算用ブロック化回路４２において、補正データが、注目補正データを中心とする５×５画素の予測値計算用ブロックにブロック化され、クラス分類適応処理回路４３に供給される。

クラス分類適応処理回路４３には、上述したように、クラス分類用ブロックおよび予測値計算用ブロックの他、第１階層の画像データが供給されるようになされており、クラス分類用ブロックはＡＤＲＣ処理部４４に、予測値計算用ブロックおよび第１階層の画像データは適応処理回路４６に供給されるようになされている。

ＡＤＲＣ処理回路４４は、クラス分類用ブロックを受信すると、ステップＳ２２において、そのクラス分類用ブロックに対して、例えば、１ビットのＡＤＲＣ（１ビットで再量子化を行うＡＤＲＣ）処理を施し、これにより、補正データを、１ビットに変換（符号化）して、クラス分類回路４５に出力する。クラス分類回路４５は、ステップＳ２３において、ＡＤＲＣ処理が施されたクラス分類用ブロックに対して、クラス分類処理を施す。即ち、クラス分類用ブロックを構成する各画素のレベル分布の状態を検出し、そのクラス分類用ブロックが属するクラス（そのクラス分類用ブロックを構成する注目補正データのクラス）を判定する。このクラスの判定結果は、クラス情報として、適応処理回路４６に供給される。

なお、本実施の形態においては、１ビットのＡＤＲＣ処理が施された３×３の９画素で構成されるクラス分類用ブロックに対して、クラス分類処理が施されるので、各クラス分類用ブロックは、５１２（＝（２¹）⁹）のクラスのうちのいずれかに分類されることになる。

そして、ステップＳ２４に進み、適応処理回路４６において、クラス分類回路４５からのクラス情報に基づいて、各クラスごとに適応処理が施され、これにより、第１階層のクラスごとの予測係数および１フレーム分の予測値が算出される。

即ち、本実施の形態においては、クラスごとの２５×９個の予測係数が、１フレームの補正データと第１階層の画像データとから算出される。そして、例えば、ある１つの補正データに注目した場合に、その注目補正データに対応する、第１階層の画像の画素と、その画素の周りに隣接する８個の画素の、合計９個の画素についての予測値が、注目補正データを中心とする５×５画素でなる予測値計算用ブロックを用いて、適応処理が行われることにより算出される。

具体的には、例えば、いま、図１０に示した補正データＸ₃₃を中心とする３×３の補正データＸ₂₂，Ｘ₂₃，Ｘ₂₄，Ｘ₃₂，Ｘ₃₃，Ｘ₃₄，Ｘ₄₂，Ｘ₄₃，Ｘ₄₄でなるクラス分類用ブロック（補正データＸ₃₃を注目補正データとして構成されたクラス分類用ブロック）についてのクラス情報Ｃが、クラス分類回路４５から出力され、また、そのクラス分類用ブロックに対応する予測値計算用ブロックとして、補正データＸ₃₃を中心とする５×５画素の補正データＸ₁₁，Ｘ₁₂，Ｘ₁₃，Ｘ₁₄，Ｘ₁₅，Ｘ₂₁，Ｘ₂₂，Ｘ₂₃，Ｘ₂₄，Ｘ₂₅，Ｘ₃₁，Ｘ₃₂，Ｘ₃₃，Ｘ₃₄，Ｘ₃₅，Ｘ₄₁，Ｘ₄₂，Ｘ₄₃，Ｘ₄₄，Ｘ₄₅，Ｘ₅₁，Ｘ₅₂，Ｘ₅₃，Ｘ₅₄，Ｘ₅₅でなる予測値計算用ブロック（補正データＸ₃₃を注目補正データとする予測値計算用ブロック）が、予測値計算用ブロック化回路４２から出力されたものとすると、まず、その予測値計算用ブロックを構成する補正データを、学習データとするとともに、第１階層の画像における、補正データＸ₃₃を中心とする３×３画素（図１０において四角形で囲んである部分）の画素値Ｙ₃₃（１）乃至Ｙ₃₃（９）を、教師データとして、式（７）に示した正規方程式がたてられる。

さらに、例えば、１フレームの中の、同一のクラス情報Ｃにクラス分類されるクラス分類用ブロックに対応する、他の予測値計算用ブロックについても同様にして、正規方程式がたてられ、画素値Ｙ₃₃（ｋ）（ここでは、ｋ＝１，２，・・・，９）の予測値Ｅ［Ｙ₃₃（ｋ）］を求めるための予測係数ｗ₁（ｋ）乃至ｗ₂₅（ｋ）（本実施の形態では、１つの予測値を求めるのに学習データが２５個用いられるので、それに対応して、予測係数ｗも２５個必要となる）を算出することができるだけの数の正規方程式が得られると（従って、そのような数の正規方程式が得られるまでは、ステップＳ２４では、正規方程式をたてる処理までが行われる）、その正規方程式を解くことで、クラス情報Ｃについて、画素値Ｙ₃₃（ｋ）の予測値Ｅ［Ｙ₃₃（ｋ）］を求めるのに最適な予測係数ｗ₁（ｋ）乃至ｗ₂₅（ｋ）が算出される。

この処理は、各クラスごとに行われ、これにより、各クラスごとに２５×９個の予測係数が算出される。そして、クラス情報Ｃに対応する予測係数と、予測地形算用ブロックとを用い、式（１）に対応する次式にしたがって、予測値Ｅ［Ｙ₃₃（ｋ）］が求められる。

Ｅ［Ｙ₃₃（ｋ）］＝ｗ₁（ｋ）Ｘ₁₁＋ｗ₂（ｋ）Ｘ₁₂＋ｗ₃（ｋ）Ｘ₁₃
＋ｗ₄（ｋ）Ｘ₁₄＋ｗ₅（ｋ）Ｘ₁₅＋ｗ₆（ｋ）Ｘ₂₁
＋ｗ₇（ｋ）Ｘ₂₂＋ｗ₈（ｋ）Ｘ₂₃＋ｗ₉（ｋ）Ｘ₂₄
＋ｗ₁₀（ｋ）Ｘ₂₅＋ｗ₁₁（ｋ）Ｘ₃₁
＋ｗ₁₂（ｋ）Ｘ₃₂＋ｗ₁₃（ｋ）Ｘ₃₃
＋ｗ₁₄（ｋ）Ｘ₃₄＋ｗ₁₅（ｋ）Ｘ₃₅
＋ｗ₁₆（ｋ）Ｘ₄₁＋ｗ₁₇（ｋ）Ｘ₄₂
＋ｗ₁₈（ｋ）Ｘ₄₃＋ｗ₁₉（ｋ）Ｘ₄₄
＋ｗ₂₀（ｋ）Ｘ₄₅＋ｗ₂₁（ｋ）Ｘ₅₁
＋ｗ₂₂（ｋ）Ｘ₅₂＋ｗ₂₃（ｋ）Ｘ₅₃
＋ｗ₂₄（ｋ）Ｘ₅₄＋ｗ₂₅（ｋ）Ｘ₅₅
・・・（８）

ステップＳ２４では、以上のようにして、２５×９の予測係数が、クラスごとに求められ、さらに、そのクラスごとの予測係数を用いて、注目補正データを中心とする３×３の原画像の画素の予測値が求められる。

その後、ステップＳ２５に進み、クラスごとの２５×９の予測係数は判定部２４に供給され、３×３画素単位で求められた１フレーム分の予測値は誤差算出部２３に供給される。そして、ステップＳ２１に戻り、以下同様の処理が、例えば、上述したように１フレーム単位で繰り返される。

次に、図１４は、図５の誤差算出部２３の構成例を示している。

ブロック化回路５１には、元の画像データ、即ち、ここでは第１階層の画像データが供給されるようになされており、そこでは、ブロック化回路５１は、その画像データを、ローカルデコード部２２から出力される第１階層の予測値に対応する９個単位でブロック化し、その結果得られる３×３画素のブロックを、自乗誤差算出回路５２に出力するようになされている。自乗誤差算出部５２には、上述したように、ブロック化回路５１からブロックが供給される他、ローカルデコード部２２から第１階層の予測値が、９個単位（３×３画素のブロック単位）で供給されるようになされており、自乗誤差算出回路５２は、第１階層の画像に対する、その予測値の予測誤差としての自乗誤差を算出し、積算部５５に供給するようになされている。

即ち、自乗誤差算出回路５２は、演算器５３および５４で構成されている。演算器５３は、ブロック化回路５１からのブロック化された画像データそれぞれから、対応する予測値を減算し、その減算値を、演算器５４に供給するようになされている。演算器５４は、演算器５３の出力（第１階層の画像データとその予測値との差分）を自乗し、積算部５５に供給するようになされている。

積算部５５は、自乗誤差算出回路５２から自乗誤差を受信すると、メモリ５６の記憶値を読み出し、その記憶値と自乗誤差とを加算して、再び、メモリ５６に供給して記憶させることを繰り返すことで、自乗誤差の積算値（誤差分散）を求めるようになされている。さらに、積算部５５は、所定量（例えば、１フレーム分など）についての自乗誤差の積算が終了すると、その積算値を、メモリ５６から読み出し、誤差情報として、判定部２４に供給するようになされている。メモリ５６は、１フレームについての処理が終了するごとに、その記憶値をクリアしながら、積算部５５の出力値を記憶するようになされている。

次に、その動作について、図１５のフローチャートを参照して説明する。誤差算出部２３では、まず最初に、ステップＳ３１において、メモリ５６の記憶値が、例えば０にクリアされ、ステップＳ３２に進み、ブロック化回路５１において、第１階層の画像データが、上述したようにブロック化され、その結果得られるブロックが、自乗誤差算出回路５２に供給される。自乗誤差算出回路５２では、ステップＳ３３において、ブロック化回路５１から供給されるブロックを構成する、第１階層の画像の画像データと、ローカルデコード部２２から供給される第１階層の予測値との自乗誤差が算出される。

即ち、ステップＳ３３では、演算器５３において、ブロック化回路５１より供給されたブロック化された第１階層の画像データそれぞれから、対応する予測値が減算され、演算器５４に供給される。さらに、ステップＳ３３では、演算器５４において、演算器５３の出力が自乗され、積算部５５に供給される。

積算部５５は、自乗誤差算出回路５２から自乗誤差を受信すると、ステップＳ３４において、メモリ５６の記憶値を読み出し、その記憶値と自乗誤差とを加算することで、自乗誤差の積算値を求める。積算部５５において算出された自乗誤差の積算値は、メモリ５６に供給され、前回の記憶値に上書きされることで記憶される。

そして、積算部５５では、ステップＳ３５において、所定量としての、例えば、１フレーム分についての自乗誤差の積算が終了したかどうかが判定される。ステップＳ３５において、１フレーム分についての自乗誤差の積算が終了していないと判定された場合、ステップＳ３２に戻り、再び、ステップＳ３２からの処理を繰り返す。また、ステップＳ３５において、１フレーム分についての自乗誤差の積算が終了したと判定された場合、ステップＳ３６に進み、積算部５５は、メモリ５６に記憶された１フレーム分についての自乗誤差の積算値を読み出し、誤差情報として、判定部２４に出力する。そして、ステップＳ３１に戻り、再び、ステップＳ３１からの処理を繰り返す。

従って、誤差算出部２３では、第１階層の画像データをＹ_ij（ｋ）とするとともに、ローカルデコード部２２において補正データから生成された第１階層の予測値をＥ［Ｙ_ij（ｋ）］とするとき、次式にしたがった演算が行われることで、誤差情報Ｑが算出される。

Ｑ＝Σ（Ｙ_ij（ｋ）−Ｅ［Ｙ_ij（ｋ）］）²
但し、Σは、１フレーム分についてのサメーションを意味する。

次に、図１６は、図５の判定部２４の構成例を示している。

予測係数メモリ６１は、ローカルデコード部２２から供給される予測係数を記憶するようになされている。補正データメモリ６２は、補正部２１から供給される補正データを記憶するようになされている。

なお、補正データメモリ６２は、補正部２１において、第２階層の画像データが新たに補正され、これにより、新たな補正データが供給された場合には、既に記憶している補正データ（前回の補正データ）に代えて、新たな補正データを記憶するようになされている。また、このように補正データが、新たなものに更新された後、ローカルデコード部２２からは、その新たな補正データに対応する、新たなクラスごとの予測係数のセットが出力されるが、予測係数メモリ６１においても、このように新たなクラスごとの予測係数が供給された場合には、既に記憶しているクラスごとの予測係数（前回のクラスごとの予測係数）に代えて、その新たなクラスごとの予測係数を記憶するようになされている。

誤差情報メモリ６３は、誤差算出部２３から供給される誤差情報を記憶するようになされている。なお、誤差情報メモリ６３は、誤差算出部２３から、今回供給された誤差情報の他に、前回供給された誤差情報も記憶するようになされている（新たな誤差情報が供給されても、さらに新たな誤差情報が供給されるまでは、既に記憶している誤差情報を保持するようになされている）。また、誤差情報メモリ６３は、新たなフレームについての処理が開始されるごとにクリアされるようになされている。

比較回路６４は、誤差情報メモリ６３に記憶された今回の誤差情報と、所定の閾値εとを比較し、さらに、必要に応じて、今回の誤差情報と前回の誤差情報との比較も行うようになされている。比較回路６４における比較結果は、制御回路６５に供給されるようになされている。

制御回路６５は、比較回路６４における比較結果に基づいて、補正データメモリ６２に記憶された補正データを、画像の符号化結果とすることの適正（最適）さを判定し、最適でないと認識（判定）した場合には、新たな補正データの出力を要求する制御信号を、補正部２１（図５）に供給するようになされている。また、制御回路６５は、補正データメモリ６２に記憶された補正データを、画像の符号化結果とすることが最適であると認識した場合には、予測係数メモリ６１に記憶されているクラスごとの予測係数を読み出し、多重化部２５に出力するとともに、補正データメモリ６２に記憶されている補正データを読み出し、最適補正データとして、やはり多重化部２５に供給するようになされている。さらに、この場合、制御回路６５は、１フレームの画像についての符号化を終了した旨を表す制御信号を、補正部２１に出力し、これにより、上述したように、補正部２１に、次のフレームについての処理を開始させるようになされている。

次に、図１７を参照して、判定部２４の動作について説明する。判定部２４では、まず最初に、ステップＳ４１において、誤差算出部２３から誤差情報を受信したかどうかが、比較回路６４によって判定され、誤差情報を受信していないと判定された場合、ステップＳ４１に戻る。また、ステップＳ４１において、誤差情報を受信したと判定された場合、即ち、誤差情報メモリ６３に誤差情報が記憶された場合、ステップＳ４２に進み、比較回路６４において、誤差情報メモリ６３に、いま記憶された誤差情報（今回の誤差情報）と、所定の閾値εとが比較され、いずれが大きいかが判定される。

ステップＳ４２において、今回の誤差情報が、所定の閾値ε以上であると判定された場合、比較回路６４において、誤差情報メモリ６３に記憶されている前回の誤差情報が読み出される。そして、比較回路６４は、ステップＳ４３において、前回の誤差情報と、今回の誤差情報とを比較し、いずれが大きいかを判定する。

ここで、１フレームについての処理が開始され、最初に誤差情報が供給されたときには、誤差情報メモリ６３には、前回の誤差情報は記憶されていないので、この場合には、判定部２４においては、ステップＳ４３以降の処理は行われず、制御回路６５において、所定の初期アドレスを出力するように、補正回路３２（図７）を制御する制御信号が出力されるようになされている。

ステップＳ４３において、今回の誤差情報が、前回の誤差情報以下であると判定された場合、即ち、第２階層の画像データの補正を行うことにより誤差情報が減少した場合、ステップＳ４４に進み、制御回路６５は、補正値△を、前回と同様に変化させるように指示する制御信号を、補正回路３２に出力し、ステップＳ４１に戻る。また、ステップＳ４３において、今回の誤差情報が、前回の誤差情報より大きいと判定された場合、即ち、第２階層の画像データの補正を行うことにより誤差情報が増加した場合、ステップＳ４５に進み、制御回路６５は、補正値△を、前回と逆に変化させるように指示する制御信号を、補正回路３２に出力し、ステップＳ４１に戻る。

なお、減少し続けていた誤差情報が、あるタイミングで上昇するようになったときは、制御回路６５は、補正値△を、いままでの場合の、例えば１／２の大きさで、前回と逆に変化させるように指示する制御信号を出力するようになされている。

そして、ステップＳ４１乃至Ｓ４５の処理を繰り返すことにより、誤差情報が減少し、これにより、ステップＳ４２において、今回の誤差情報が、所定の閾値εより小さいと判定された場合、ステップＳ４６に進み、制御回路６５は、予測係数メモリ６１に記憶されているクラスごとの予測係数を読み出すとともに、補正データメモリ６２に記憶されている１フレーム分の補正データを、最適補正データとして読み出し、多重化部２５に供給して、処理を終了する。

その後は、次のフレームについての誤差情報が供給されるのを待って、再び、図１７に示すフローチャートにしたがった処理を繰り返す。

なお、補正回路３２には、第２階層の画像データの補正は、１フレームすべてのデータについて行わせるようにすることもできるし、その一部のデータについてだけ行わせるようにすることもできる。一部のデータについてだけ補正を行う場合においては、制御回路６５に、例えば、誤差情報に対する影響の強い画素を検出させ、そのような画素についてのデータだけを補正するようにすることができる。誤差情報に対する影響の強い画素は、例えば、次のようにして検出することができる。即ち、まず最初に、第２階層の画像データをそのまま用いて処理を行うことにより、その誤差情報を得る。そして、第２階層の画像データを、１画素ずつ、同一の補正値△だけ補正するような処理を行わせる制御信号を、制御回路６５から補正回路３２に出力し、その結果得られる誤差情報を、第２階層の画像データをそのまま用いた場合に得られる誤差情報と比較し、その差が、所定値以上となる画素を、誤差情報に対する影響の強い画素として検出すれば良い。

以上のように、誤差情報を所定の閾値εより小さくする（以下にする）まで、第２階層の画像データの補正が繰り返され、誤差情報が所定の閾値εより小さくなったときにおける補正データが、画像の符号化結果として出力されるので、受信装置４（図１）においては、間引き後の画像を構成する画素の画素値を、元の画像を復元するのに最も適当な値にした補正データ（最適補正データ）から、原画像と同一（ほぼ同一）の復号画像を得ることが可能となる。

また、画像は、間引き処理により圧縮される他、ＡＤＲＣ処理およびクラス分類適応処理などによっても圧縮されるため、非常に高圧縮率の符号化データを得ることができる。なお、送信装置１における、以上のような符号化処理は、間引きによる圧縮処理と、クラス分類適応処理とを、いわば有機的に統合して用いることにより、高能率圧縮を実現するものであり、このことから統合符号化処理ということができる。

次に、図１８は、図１の受信装置４の構成例を示している。

信号処理回路７１には、記録媒体２に記録された符号化データが再生され、または伝送路３を介して伝送されてくる符号化データが受信されて供給される。信号処理回路７１においては、そこに供給される符号化データが受信され、第１階層乃至第３階層の符号化データに分離されて、誤り訂正処理その他が施される。さらに、信号処理部７１は、第３階層の符号化データの中から、第１階層の予測係数をコピーし、第２階層の符号化データの中に含め、その後、第１階層乃至第３階層の符号化データを出力する。

第１階層の符号化データは、そのまま第１階層の復号画像として出力される。また、第２階層または第３階層の符号化データは、予測部７２または７３にそれぞれ出力される。

予測部７２では、第２階層の符号化データに基づいて、第１階層の画像の予測値が求められ、第１階層の復号画像として出力される。また、予測部７２では、第３階層の符号化データに基づいて、やはり、第１階層の予測値が求められて出力される。

次に、図１９は、予測部７２の構成例を示している。

信号処理回路７１（図１８）からの第２階層の符号化データは、分離部８１に供給され、そこで、第２階層の最適補正データと、第１階層のクラスごとの予測係数とに分離され、デコード部８０に供給される。

デコード部８０は、クラス分類用ブロック化回路８２、予測値計算用ブロック化回路８３、ＡＤＲＣ処理回路８４、クラス分類回路８５、および予測回路８６で構成されており、分離部８１からの第２階層の最適補正データは、クラス分類用ブロック化回路８２および予測値計算用ブロック化回路８３に入力され、また、第１階層のクラスごとの予測係数は、予測回路８６に入力される。そして、予測回路８６では、その第１階層のクラスごとの予測係数が、その内蔵するメモリ８６Ａに記憶される。

クラス分類用ブロック化回路８２、予測値計算用ブロック化回路８３、ＡＤＲＣ処理回路８４、またはクラス分類回路８５は、図９におけるクラス分類用ブロック化回路４１、予測値計算用ブロック化回路４２、ＡＤＲＣ処理回路４４、またはクラス分類回路４５それぞれと同様に構成されており、従って、これらのブロックにおいては、図９における場合と同様の処理が行われ、これにより、予測値計算用ブロック化回路８３からは第２階層の最適補正データで構成される予測値計算用ブロックが出力され、また、クラス分類回路８５からはクラス情報が出力される。これらの予測値計算用ブロックおよびクラス情報は、予測回路８６に供給される。

予測回路８６では、クラス分類回路８５から供給されるクラス情報に対応した２５×９の予測係数が、メモリ８６Ａから読み出され、その２５×９の予測係数と、予測値計算用ブロック化回路８３から供給される５×５画素の予測値計算用ブロックを構成する最適補正データとを用い、式（１）にしたがって、第１階層の予測値が、３×３画素単位で算出されていく。そして、１フレーム分の予測値が求められると、これが、第１階層の復号画像として出力される。

第２階層の最適補正データは、上述したようにそれにより予測を行うことで得られる第１階層の予測値と、第１階層の画像との誤差とを閾値ε以下とするものであり、従って、第２階層の最適補正データによれば、解像度の高い第１階層の復号画像を得ることが可能となる。

次に、図２０は、図１８の予測部７３の構成例を示している。

信号処理回路７１（図１８）からの第３階層の符号化データは、分離部８１に供給され、そこで、第３階層の最適補正データ、第２階層のクラスごとの予測係数、および第１階層のクラスごとの予測係数に分離される。第３階層の最適補正データと第２階層のクラスごとの予測係数は、デコード部２２２に供給され、第１階層のクラスごとの予測係数はデコード部２２３に供給される。

デコード部２２２は、図１９のデコード部８０と同様に構成されるものであり、従って、デコード部２２２では、第３階層の最適補正データと第２階層のクラスごとの予測係数とから、上述した場合と同様にして、第２階層の画像の予測値が算出され、そのような予測値で構成される第２階層の１フレーム分の復号画像（予測値）が、デコード部２２３に供給される。デコード部２２３も、デコード部８０と同様に構成されるものであり、従って、第２階層の予測値と第１階層のクラスごとの予測係数とから、第１階層の予測値が算出され、そのような予測値で構成される１フレーム分の画像が、第１階層の復号画像（予測値）として出力される。

第２階層のクラスごとの予測係数は、図２の最適補正データ算出回路１４において、第２階層の最適補正データとして最適なものが得られるように算出されたものであり、また、第２階層の最適補正データによれば、上述したように解像度の高い第１階層の復号画像を得ることができるから、第３階層の符号化データによっても、解像度の高い第１階層の復号画像を得ることができる。

以上から、第１階層および第２階層の符号化データの一部またはすべてが、何らかの理由で失われても、最下位階層である第３階層の符号化データ、即ち、第３階層の最適補正データ並びに第１階層および第２階層のクラスごとの予測係数により、解像度の高い復号画像を得ることが可能となる。

また、受信側が、第２および第３階層の符号化データ（第２階層および第３階層の最適補正データ並びに第１および第２階層のクラスごとの予測係数）しか受信できないものであっても、高解像度の復号画像（第１階層の画像）を得ることができる。さらに、第３階層の符号化データしか受信することができない受信装置であっても、やはり、高解像度の復号画像を得ることができる。

なお、上述の場合においては、第２階層の符号化データの中に、第２階層の最適補正データを含めるようにしたが、第２階層の符号化データの中には、第２階層の最適補正データではなく、第２階層の画像データそのものを含めるようにすることが可能である。

また、信号処理回路１５から出力される符号化データには、第１階層乃至第３階層の符号化データを含めるようにしたが、上述したように、第３階層の符号化データ（第３階層の最適補正データ並びに第１階層および第２階層のクラスごとの予測係数）だけから、高画質の復号画像を得ることができるので、信号処理回路１５から出力される符号化データには、第３階層の符号化データだけを含めるようにすることが可能である。

さらに、図２においては、最適補正データ算出回路１４に、最適補正データ算出回路１３が出力する第２階層の最適補正データを供給し、その第２階層の最適補正データを得るために最適なクラスごとの予測係数を求めるようにしたが、最適補正データ算出回路１４には、第２階層の最適補正データの代わりに、第２階層の画像データそのものを供給し、第２階層の画像データを得るのに最適なクラスごとの予測係数を求めるようにすることも可能である。

ところで、上述の場合においては、図９のローカルデコード部２２において第１階層のクラスごとの予測係数（最適補正データ算出回路１４を構成するローカルデコード部２２においては第２階層のクラスごとの予測係数）を求め、それを用いて、第１階層の予測値を算出するようにしたが、予測値は、クラスごとの予測係数を求めずに（あらかじめ学習により求めておいた予測係数を用いて）算出するようにすることが可能である。

即ち、図２１は、図２の最適補正データ算出回路１３（１４）の第２の構成例を示している。なお、図中、図５における場合と対応する部分については、同一の符号を付してある。即ち、この最適補正データ算出回路１３は、ローカルデコード部２２に代えて、ローカルデコード部１０２２が設けられている他は、図５における場合と同様に構成されている。

但し、図５においては、ローカルデコード部２２に原画像データ（最適補正データ算出回路１３においては第１階層の画像、最適補正データ算出回路１４においては第２階層の最適補正データ）が供給されるようになされていたが、図２１においては、ローカルデコード部１０２２には、原画像データが供給されないようになっている。

図２２は、図２１のローカルデコード部１０２２の構成例を示している。なお、図中、図９における場合と対応する部分については、同一の符号を付してある。即ち、ローカルデコード部１０２２は、適応処理回路４６に代えて、予測係数ＲＯＭ８８および予測回路８９が設けられている他は、図９におけるローカルデコード部２２と同様に構成されている。

予測係数ＲＯＭ８８は、あらかじめ学習（後述する）を行うことにより求められたクラスごとの２５×９個の予測係数を記憶しており、クラス分類回路４５が出力するクラス情報を受信し、そのクラス情報に対応するアドレスに記憶されている予測係数を読み出して、予測回路８９に供給する。

予測回路８９では、予測値計算用ブロック化回路４２からの５×５画素の予測値計算用ブロックと、予測係数ＲＯＭ８８からの２５×９の予測係数とを用いて、式（１）（具体的には、例えば、式（８））に示した線形１次式が計算され、これにより、元の画像の予測値が、３×３画素単位で算出される。

従って、図２２のクラス分類適応処理回路４３によれば、元の画像（原画像）を用いずに、その予測値が算出される。このため、上述したように、ローカルデコード部１０２２には、原画像（第１階層の画像または第２階層の最適補正データ）が供給されないようになっている（供給する必要がないので、供給されない）。

次に、図２３のフローチャートを参照して、図２２のローカルデコード部１０２２の処理についてさらに説明する。

ローカルデコード部１０２２においては、まず最初に、ステップＳ１０２１乃至Ｓ１０２３において、図１３のステップＳ２１乃至Ｓ２３における場合とそれぞれ同様の処理が行われ、これにより、クラス分類回路４５からは、クラス情報が出力され、予測値計算用ブロック化回路４２からは、予測値計算用ブロックが出力される。このクラス情報または予測値計算用ブロックは、予測係数ＲＯＭ８８または予測回路８９にそれぞれ供給される。

予測係数ＲＯＭ８８は、クラス情報を受信すると、ステップＳ１０２４において、そのクラス情報に対応する２５×９の予測係数を、記憶しているクラスごとの予測係数の中から読み出し、予測回路８９に供給する。

予測回路８９には、予測係数ＲＯＭ８８から２５×９の予測係数が供給される他、上述したように、予測値計算用ブロック化回路４２から５×５画素の予測値計算用ブロックも供給される。そして、予測回路８９では、ステップＳ１０２５において、予測係数ＲＯＭ８８からの２５×９の予測係数と、予測値計算用ブロック化回路４２からの５×５画素の予測値計算用ブロックとを用いて適応処理が行われることにより、即ち、具体的には、式（１）（または式（８））にしたがった演算が行われることにより、注目補正データ（ここでは、予測値計算用ブロックの中心にある画素）を中心とする３×３の原画像の画素の予測値が求められる。

その後、例えば、１フレーム分の予測値が求められると、ステップＳ１０２６に進み、予測係数ＲＯＭ８８に記憶されたクラスごとの２５×９の予測係数が読み出され、判定部２４に供給されるとともに、ステップＳ１０２５で求められた予測値が誤差算出部２３に供給される。そして、ステップＳ１０２１に戻り、以下同様の処理が、例えば、１フレーム単位で繰り返される。

なお、この実施の形態では、クラスごとの予測係数は、予測係数ＲＯＭ８８に記憶されたものが使用され、従って、その値は変化しないから、ステップＳ１０２５において、クラスごとの予測係数を、判定部２４に一度供給した後は、基本的に、再度供給する必要はない。

また、最適補正データ算出回路１３および１４が、図２１に示したように構成される場合においても、受信装置４は、図１８に示したように構成することで、原画像とほぼ同一の復号画像を得ることができる。

次に、図２４は、図２２の予測係数ＲＯＭ８８に記憶されているクラスごとの予測係数を得るための学習を行う画像処理装置の構成例を示している。

学習用ブロック化回路９１および教師用ブロック化回路９２には、あらゆる画像に適用可能な予測係数を得るための学習用の画像データ（学習用画像）が供給されるようになされている。なお、第１階層のクラスごとの予測係数を得る場合には、学習用画像として、第１階層の画像データが、また、第２階層のクラスごとの予測係数を得る場合には、学習用画像として、第２階層の画像データが、学習用ブロック化回路９１および教師用ブロック化回路９２に供給される。

学習用ブロック化回路９１は、入力される画像データから、例えば、図１０に●印で示した位置関係の注目画素を中心とする２５画素（５×５画素）を抽出し、この２５画素で構成されるブロックを、学習用ブロックとして、ＡＤＲＣ処理９３および学習データメモリ９６に供給する。

また、教師用ブロック化回路９２では、入力される画像データから、例えば、注目画素を中心とする３×３の９画素で構成されるブロックが生成され、この９画素で構成されるブロックが、教師用ブロックとして、教師データメモリ９８に供給される。

なお、学習用ブロック化回路９１において、例えば、図１０に●印で示した位置関係の２５画素で構成される学習用ブロックが生成されるとき、教師用ブロック化回路９２では、同図に四角形で囲んで示す３×３画素の教師用ブロックが生成されるようになされている。この場合、注目画素は、画素Ｘ₃₃である。

ＡＤＲＣ処理回路９３は、学習用ブロックを構成する２５画素から、その中心の９画素（３×３画素）を抽出し、この９画素でなるブロックに対して、図２２のＡＤＲＣ処理回路４４における場合と同様に、１ビットのＡＤＲＣ処理を施す。ＡＤＲＣ処理の施された、３×３画素のブロックは、クラス分類回路９４に供給される。クラス分類回路９４では、図２２のクラス分類回路４５における場合と同様に、ＡＤＲＣ処理回路９３からのブロックがクラス分類処理され、それにより得られるクラス情報が、スイッチ９５の端子ａを介して、学習データメモリ９６および教師データメモリ９８に供給される。

学習データメモリ９６または教師データメモリ９８では、そこに供給されるクラス情報に対応するアドレスに、学習用ブロック化回路９１からの学習用ブロックまたは教師用ブロック化回路９２からの教師用ブロックが、それぞれ記憶される。

従って、学習データメモリ９６において、例えば、図１０に●印で示した５×５画素でなるブロックが学習用ブロックとして、あるアドレスに記憶されたとすると、教師データメモリ９８においては、そのアドレスと同一のアドレスに、同図において、四角形で囲んで示す３×３画素のブロックが、教師用ブロックとして記憶される。

以下、同様の処理が、あらかじめ用意されたすべての学習用の画像について繰り返され、これにより、学習用ブロックと、図２２のローカルデコード部１０２２において、その学習用ブロックを構成する２５画素と同一の位置関係を有する２５の補正データで構成される予測値計算用ブロックを用いて予測値が求められる９画素で構成される教師用ブロックとが、学習用データメモリ９６と、教師用データメモリ９８とにおいて、同一のアドレスに記憶される。

なお、学習用データメモリ９６と教師用データメモリ９８においては、同一アドレスに複数の情報を記憶することができるようになされており、これにより、同一アドレスには、複数の学習用ブロックと教師用ブロックを記憶することができるようになされている。

学習用画像すべてについての学習用ブロックと教師用ブロックとが、学習データメモリ９６と教師データメモリ９８に記憶されると、端子ａを選択していたスイッチ９５が、端子ｂに切り替わり、これにより、カウンタ９７の出力が、アドレスとして、学習データメモリ９６および教師データメモリ９８に供給される。カウンタ９７は、所定のクロックをカウントし、そのカウント値を出力しており、学習データメモリ９６または教師データメモリ９８では、そのカウント値に対応するアドレスに記憶された学習用ブロックまたは教師用ブロックが読み出され、演算回路９９に供給される。

従って、演算回路９９には、カウンタ９７のカウント値に対応するクラスの学習用ブロックのセットと、教師用ブロックのセットとが供給される。

演算回路９９は、あるクラスについての学習用ブロックのセットと、教師用ブロックのセットとを受信すると、それらを用いて、最小自乗法により、誤差を最小とする予測係数を算出する。

即ち、例えば、いま、学習用ブロックを構成する画素の画素値を、ｘ₁，ｘ₂，ｘ₃，・・・とし、求めるべき予測係数をｗ₁，ｗ₂，ｗ₃，・・・とするとき、これらの線形１次結合により、教師用ブロックを構成する、ある画素の画素値ｙを求めるには、予測係数ｗ₁，ｗ₂，ｗ₃，・・・は、次式を満たす必要がある。

ｙ＝ｗ₁ｘ₁＋ｗ₂ｘ₂＋ｗ₃ｘ₃＋・・・

そこで、演算回路９９では、同一クラスの学習用ブロックと、対応する教師用ブロックとから、真値ｙに対する、予測値ｗ₁ｘ₁＋ｗ₂ｘ₂＋ｗ₃ｘ₃＋・・・の自乗誤差を最小とする予測係数ｗ₁，ｗ₂，ｗ₃，・・・が、上述した式（７）に示
す正規方程式をたてて解くことにより求められる。以上の処理が、クラスごとに行われることで、各クラスごとに、２５×９個の予測係数が算出される。

演算回路９９において求められた、クラスごとの予測係数は、メモリ１００に供給される。メモリ１００には、演算回路９９からの予測係数の他、カウンタ９７からカウント値が供給されており、これにより、メモリ１００においては、演算回路９９からの予測係数が、カウンタ９７からのカウント値に対応するアドレスに記憶される。

以上のようにして、メモリ１００には、各クラスに対応するアドレスに、そのクラスのブロックの３×３画素を予測するのに最適な２５×９個の予測係数が記憶される。

図２２の予測係数ＲＯＭ８８には、以上のようにしてメモリ１００に記憶されたクラスごとの予測係数が記憶されている。

次に、図２５は、図２の最適補正データ算出回路１３（１４）の第３の構成例を示している。なお、図中、図５における場合と対応する部分については、同一の符号を付してある。即ち、この送信装置１は、ローカルデコード部２２または判定部２４に代えて、ローカルデコード部２０２２または判定部２０２４がそれぞれ設けられているとともに、多重化部２５が設けられていない他は、図５における場合と同様に構成されている。

但し、この場合も、図２２における場合と同様に、ローカルデコード部２０２２には、原画像データ（第１階層の画像データまたは第２階層の最適補正データ）が供給されないようになっている。さらに、図２５の実施の形態では、ローカルデコード部２０２２は、予測係数を判定部２０２４に出力しないようになっている。

次に、図２６のフローチャートを参照して、その動作について説明する。

圧縮部２１に対して、画像データ（第２階層の画像データまたは第３階層の画像データ）が供給されると、圧縮部２１は、ステップＳ１００１において、その画像データを間引くことにより圧縮し、最初は、補正を行わずに、ローカルデコード部２０２２および判定部２０２４に出力する。ローカルデコード部２０２２では、ステップＳ１００２において、圧縮部２１からの補正データ（最初は、上述したように、画像データを、単純に間引いた圧縮データそのもの）がローカルデコードされる。

即ち、ステップＳ１００２では、圧縮部２１からの補正データが、例えば、図２２に示したローカルデコード部１０２２における場合と同様にして、ローカルデコードされ、これにより、原画像の予測値が算出される。この予測値は、誤差算出部２３に供給される。

誤差算出部２３では、ステップＳ１００３において、図６のステップＳ３における場合と同様にして、予測誤差が算出され、誤差情報として、判定部２０２４に供給される。判定部２０２４は、誤差算出部２３から誤差情報を受信すると、ステップＳ１００４において、図６のステップＳ４における場合と同様に、誤差算出部２３からの誤差情報が所定の閾値ε以下であるかどうかを判定する。ステップＳ１００４において、誤差情報が所定の閾値ε以下でないと判定された場合、ステップＳ１００５に進み、判定部２０２４は、圧縮部２１を制御し、これにより、第２階層の画像データを補正させる。そして、圧縮部２１において、第２階層の画像データが補正され、新たな補正データが出力されるのを待って、ステップＳ１００２に戻る。

一方、ステップＳ１００４において、誤差情報が所定の閾値ε以下であると判定された場合、判定部２０２４は、所定の閾値ε以下の誤差情報が得られたときの補正データを、最適補正データとして、信号処理回路１５（図２）に出力し、処理を終了する。

従って、ここでは、クラスごとの予測係数は出力されない。

次に、図２７は、図２５のローカルデコード部２０２２の構成例を示している。なお、図中、図２２における場合と対応する部分については、同一の符号を付してある。即ち、ローカルデコード部２０２２は、基本的に図２２におけるローカルデコード部１０２２と同様に構成されている。

但し、図２２においては、予測係数ＲＯＭ８８がそこに記憶されているクラスごとの予測係数を、判定部２４に供給するようになっていたが、図２７では、予測係数ＲＯＭ８８は、クラスごとの予測係数を、判定部２０２４に供給しないようになっている。

次に、図２８のフローチャートを参照して、その動作について説明する。

ローカルデコード部２０２２では、ステップＳ２０２１乃至Ｓ２０２５において、図２３のステップＳ１０２１乃至１０２５における場合とそれぞれ同様の処理が行われる。そして、ステップＳ２０２６において、ステップＳ２０２５で求められた予測値のみが、誤差算出部２３に供給され、ステップＳ２０２１に戻り、以下、同様の処理が、例えば、１フレーム単位で繰り返される。即ち、上述したように、ここでは、クラスごとの予測係数は出力されない。

次に、図２９は、図２５の判定部２０２４の構成例を示している。なお、図中、図１６における場合と対応する部分については、同一の符号を付してある。即ち、上述したように、ローカルデコード部２０２２からは予測係数が供給されないため、判定部２０２４には、その予測係数を記憶するための予測係数メモリ６１が設けられておらず、そのことを除けば、基本的に、図１６の判定部２４と同様に構成されている。

次に、図３０のフローチャートを参照して、その動作について説明する。

判定部２０２４では、ステップＳ２０４１乃至２０４５において、図１７のステップＳ４１乃至Ｓ４５における場合とそれぞれ同様の処理が行われ、これにより、誤差情報が減少するように、圧縮部２１が制御される。

そして、ステップＳ２０４１乃至Ｓ２０４５の処理を繰り返すことにより、誤差情報が減少し、これにより、ステップＳ２０４２において、今回の誤差情報が、所定の閾値εより小さいと判定された場合、ステップＳ２０４６に進み、制御回路６５は、補正データメモリ６２に記憶されている１フレームの補正データを、最適補正データとして読み出し、信号処理回路１５に供給して、処理を終了する。即ち、ローカルデコード部２０２２からは予測係数は供給されないので、ステップＳ２０４６では、補正データだけが出力される。

その後は、次のフレームについての誤差情報が供給されるのを待って、再び、同様の処理を繰り返す。

次に、図３１は、最適補正データ算出回路１３および１４が図２５に示したように構成される場合の図１８の受信装置４における予測部７２の構成例を示している。なお、図中、図１９における場合と対応する部分については、同一の符号を付してある。即ち、図３１の予測部７２は、クラス分類回路８５と予測回路８６との間に予測係数ＲＯＭ８７が新たに設けられ、予測回路８６がメモリ８６Ａを内蔵しておらず、かつ分離部８１が設けられていない他は、図１９における場合と基本的に同様に構成されている。

最適補正データ算出回路１３（１４）が図２５に示したように構成される場合、上述したことから、第２階層の符号化データには、第２階層のクラスごとの予測係数は含まれておらず、第２階層の符号化データは、基本的に、第２階層の最適補正データだけで構成される。このため、信号処理回路７１（図１８）からの第２階層の符号化データとしての第２階層の最適補正データは、クラス分類用ブロック化回路８２および予測値計算用ブロック化回路８３に、直接供給される（分離部８１（図１９）を介さずに供給される）。

クラス分類用ブロック化回路８２、予測値計算用ブロック化回路８３，ＡＤＲＣ処理回路８４、またはクラス分類回路８５では、図９におけるクラス分類用ブロック化回路４１、予測値計算用ブロック化回路４２，ＡＤＲＣ処理回路４４、またはクラス分類回路４５それぞれと同様の処理が行われ、これにより、予測値計算用ブロック化回路８３からは５×５画素の予測値計算用ブロックが出力され、また、クラス分類回路８５からはクラス情報が出力される。予測値計算用ブロックは予測回路８６に供給され、クラス情報は予測係数ＲＯＭ８７に供給される。

予測係数ＲＯＭ８７には、図２７の予測係数ＲＯＭ８８に記憶されているクラスごとの予測係数と同一のものが記憶されており、クラス分類回路８５からクラス情報が供給されると、そのクラス情報に対応した２５×９の予測係数が読み出され、予測回路８６に供給される。

予測回路８６は、予測係数ＲＯＭ８７からの２５×９の予測係数と、予測値計算用ブロック化回路８３から供給される５×５画素の予測値計算用ブロックを構成する補正データとを用い、式（１）にしたがって、原画像の３×３画素の予測値を算出し、そのような予測値で構成される１フレームの画像を、復号画像として出力する。

次に、図３２は、最適補正データ算出回路１３および１４が図２５に示したように構成される場合の図１８の受信装置４における予測部７３の構成例を示している。

この場合、予測部７３は、デコード部１２２２および１２２３で構成される。

最適補正データ算出回路１３（１４）が図２５に示したように構成される場合、上述したことから、第３階層の符号化データにも、第１および第２階層のクラスごとの予測係数は含まれておらず、従って、第３階層の符号化データは、基本的に、第３階層の最適補正データだけで構成される。このような第３階層の符号化データとしての第３階層の最適補正データが、信号処理回路７１からデコード部１２２２に供給される。

デコード部１２２２は、図３１の予測部７２と同様に構成されるものであり、従って、デコード部１２２２では、第３階層の最適補正データから、上述した場合と同様にして、第２階層の画像の予測値が算出され、そのような予測値で構成される第２階層の１フレーム分の復号画像（予測値）が、デコード部１２２３に供給される。デコード部１２２３も、図３１の予測部７２と同様に構成されるものであり、従って、第２階層の予測値から、第１階層の予測値が算出され、そのような予測値で構成される１フレーム分の画像が、第１階層の復号画像（予測値）として出力される。

なお、デコード部１２２２と１２２３は、基本的には、上述したように、いずれも予測部７２と同様に構成されるが、予測係数ＲＯＭ８７には、デコード部１２２２においては第２階層の画像を学習用画像として用いて学習したクラスごとの予測係数が、デコード部１２２３においては第１階層の画像を学習用画像として用いて学習したクラスごとの予測係数が、それぞれ記憶されている。

最適補正データ算出回路１３および１４が図２５に示したように構成されるとともに、受信装置４の予測部７２または７３がそれぞれ図３１または図３２に示したように構成される場合、クラスごとの２５×９の予測係数を送受信せずに済むので、その分だけ、伝送容量または記録容量を低減することができる。

なお、予測係数ＲＯＭ８７（図３１）や８８（図２２、図２７）には、各クラスに対応するアドレスに、予測係数を記憶させるのではなく、教師用ブロックを構成する画素値の平均値などを記憶させるようにすることが可能である。この場合、クラス情報が与えられると、そのクラスに対応する画素値が出力されることになり、図２２のローカルデコード部１０２２や、図２７のローカルデコード部２０２２においては、予測値計算用ブロック化回路４２および予測回路８９を設けずに済むようになる。また、図３１の予測部７２においても、予測値計算用ブロック化回路８３および予測回路８６を設けずに済むようになる。さらに、この場合、図２２においては、予測係数を伝送する必要がない。

また、最適補正データ算出回路１３および１４を図２５に示したように構成する場合においては、上述したように、図２に示した送信装置１において、最適補正データ算出回路１３には第１階層の画像データを供給する必要はなく、また、最適補正データ算出回路１４にも、最適補正データ算出回路１３から出力される第２階層の最適補正データを供給する必要はない。そして、この場合、クラスごとの予測係数は求められないので、信号処理回路１５が出力する符号化データには、上述したように、クラスごとの予測係数は含められない。

従って、この場合、図３１または図３２に示した予測部７２または７３は、分離部８１（図１９）または２２１（図２０）を設けずに構成することができる。

ここで、以下、適宜、図９で説明したように、予測係数を逐次求めて予測値を得る方式を逐次方式と、また、図２２や図２７で説明したように、予測係数を、あらかじめ予測係数ＲＯＭ８８に記憶させておき、これを用いて予測値を得る方式を、ＲＯＭ方式という。

次に、図３３は、図１の送信装置１の他の構成例を示している。なお、図中、図２における場合と対応する部分については、同一の符号を付してある。

即ち、この実施の形態においては、最適補正データ算出回路１０１には、第１階層の画像データのみが供給されるようになされており、そこでは、第１階層の画像データから第２階層の最適補正データが算出され、第２階層の符号化データとして、信号処理回路１５に供給されるようになされている。また、最適補正データ算出回路１０２には、間引き回路１１が出力する第２階層の画像データのみが供給されるようになされており、そこでは、第２階層の画像データから第３階層の最適補正データが算出され、第３階層の符号化データとして、信号処理回路１５に供給されるようになされている。

次に、図３４は、図３３の最適補正データ算出回路１０１の構成例を示している。なお、最適補正データ算出回路１０２も、最適補正データ算出回路１０１と同様に構成されるため、その説明は省略する。

ブロック化回路１１１には、第１階層の画像データ（最適補正データ算出回路１０２における場合には、第２階層の画像データ）が入力されるようになされており、ブロック化回路１１１は、第１階層の画像データを、その性質に応じて所定のクラスに分類するための単位である、注目画素を中心とするクラス分類用ブロックにブロック化し、ＡＤＲＣ処理回路１１２および遅延回路１１５に供給するようになされている。

ＡＤＲＣ処理回路１１２は、ブロック化回路１１１からのブロック（クラス分類用ブロック）に対してＡＤＲＣ処理を施し、その結果得られるＡＤＲＣコードで構成されるブロックを、クラス分類回路１１３に供給するようになされている。

クラス分類回路１１３は、ＡＤＲＣ処理回路１１２からのブロックを、その性質に応じて所定のクラスに分類するクラス分類処理を行い、そのブロック（そのブロックを構成する注目画素）がいずれのクラスに属するかを、クラス情報として、マッピング係数メモリ１１４に供給するようになされている。

マッピング係数メモリ１１４は、後述するような学習（マッピング係数学習）により得られるマッピング係数を、クラス情報ごとに記憶しており、クラス分類回路１１３から供給されるクラス情報をアドレスとして、そのアドレスに記憶されているマッピング係数を読み出し、演算回路１１６に供給するようになされている。

遅延回路１１５は、ブロック化回路１１１から供給されるブロックを、そのブロックのクラス情報に対応するマッピング係数が、マッピング係数メモリ１１４から読み出されるまで遅延し、演算回路１１６に供給するようになされている。

演算回路１１６は、遅延回路１１５から供給されるブロックを構成する画素の画素値と、マッピング係数メモリ１１４から供給される、そのブロックのクラスに対応するマッピング係数とを用いて所定の演算を行うことにより、画像を、その画素数を間引いて（少なくして）符号化した符号化データ（第１階層の画像の画素数を少なくした第２階層の最適補正データ）を算出するようになされている。即ち、演算回路１１６は、ブロック化回路１１１が出力するブロックを構成する各画素の画素値をｙ₁，ｙ₂，・・・とするとともに、マッピング係数メモリ１１４が出力する、そのブロックのクラスに対応するマッピング係数をｋ₁，ｋ₂，・・・とするとき、それらを引数とする所定の関数値ｆ（ｙ₁，ｙ₂，・・・，ｋ₁，ｋ₂，・・・）を演算し、その関数値ｆ（ｙ₁，ｙ₂，・・・，ｋ₁，ｋ₂，・・・）を、ブロック化回路１１１が出力するブロック（クラス分類用ブロック）を構成する画素のうちの、例えば中心の画素の画素値として出力するようになされている。

従って、ブロック化回路１１１が出力するクラス分類用ブロックを構成する画素数をＮ画素とすると、演算回路１６は、画像データを１／Ｎに間引き、これを、符号化データとして出力するようになされている。

なお、演算回路１１６が出力する符号化データは、Ｎ画素で構成されるブロックの中心の画素を抽出して出力するような、いわば単純な間引き処理により得られるものではなく、上述したように、そのブロックを構成するＮ画素により規定される関数値ｆ（ｙ₁，ｙ₂，・・・，ｋ₁，ｋ₂，・・・）であるが、この関数値ｆ（ｙ₁，ｙ₂，・・・，ｋ₁，ｋ₂，・・・）は、見方を変えれば、単純な間引き処理により得られる、ブロックの中心の画素の画素値を、その周辺の画素値に基づいて、元の画像を得るのに最適な値に補正したものと考えることができる。そこで、マッピング係数と、ブロックを構成する画素との演算の結果得られるデータも、以下、適宜、最適補正データという。

また、演算回路１１６における演算処理は、ブロック化回路１１１が出力するクラス分類用ブロックを構成する各画素の画素値を、関数値ｆ（ｙ₁，ｙ₂，・・・，ｋ₁，ｋ₂，・・・）にマッピング（写像）する処理とも考えることができる。そこで、そのような処理に用いられる係数ｋ₁，ｋ₂，・・・をマッピング係数と呼んでいる。

次に、図３５のフローチャートを参照して、その動作について説明する。

ブロック化回路１１１には、例えば、１フレーム単位で、第１階層の画像データが供給されるようになされており、ブロック化回路１１１では、ステップＳ１０１において、１フレームの第１階層の画像が、クラス分類用ブロックにブロック化される。即ち、ブロック化回路１１１は、例えば、図１０に四角形で囲んで示すように、第１階層の画像データを、注目画素を中心とする３×３（横×縦）の９画素でなるクラス分類用ブロックに分割し、ＡＤＲＣ処理回路１１２および遅延回路１１５に、順次供給する。

なお、この場合、クラス分類用ブロックは、３×３画素でなる正方形状のブロックで構成されることとなるが、クラス分類用ブロックの形状は、正方形である必要はなく、その他、例えば、長方形や、十文字形、その他の任意な形とすることが可能である。また、クラス分類用ブロックを構成する画素数も、３×３の９画素に限定されるものではない。さらに、クラス分類用ブロックは、隣接する画素どうしで構成するのではなく、離れた画素どうしで構成するようにすることも可能である。但し、その形状および画素数は、後述する学習（マッピング係数学習）時における場合のものと一致している必要がある。

ＡＤＲＣ処理回路１１２は、ブロック化回路１１１からクラス分類用ブロックを受信すると、ステップＳ１０２において、そのブロックに対して、例えば、１ビットのＡＤＲＣ処理を施し、これにより、１ビットで表現される画素で構成されるブロックとする。ＡＤＲＣ処理の施されたクラス分類用ブロックは、クラス分類回路１１３に供給される。

クラス分類回路１１３では、ステップＳ１０３において、ＡＤＲＣ処理回路１１２からのクラス分類用ブロックがクラス分類され、その結果得られるクラス情報が、マッピング係数メモリ１１４に、アドレスとして供給される。これにより、ステップＳ１０４において、マッピング係数メモリ１１４からは、クラス分類回路１１３より供給されたクラス情報に対応するマッピング係数が読み出され、演算回路１１６に供給される。

一方、遅延回路１１５では、ブロック化回路１１１からのクラス分類用ブロックが遅延され、そのブロックのクラス情報に対応するマッピング係数が、マッピング係数メモリ１１４から読み出されるのを待って、演算器１１６に供給される。演算器１１６では、ステップＳ１０５において、遅延回路１１５からのクラス分類用ブロックを構成する各画素の画素値と、マッピング係数メモリ１１４からのマッピング係数を用いて、上述した関数値ｆ（・）（この関数ｆのかっこ内の・は、画素値ｙ₁，ｙ₂，・・・と、マッピング係数ｋ₁，ｋ₂，・・・の集合を表すものとする）が演算されることにより、クラス分類用ブロックを構成する中心の画素（中心画素）の画素値を最適なものに補正した最適補正データが算出される。この最適補正データは、ステップＳ１０６において、第２階層の符号化データとして、信号処理回路１５（図３３）に出力される。

そして、ステップＳ１０７に進み、１フレーム分の第１階層の画像データについての処理が終了したかどうかが判定される。ステップＳ１０７において、１フレーム分の第１階層の画像データについての処理が、まだ終了していないと判定された場合、ステップＳ１０２に戻り、次のクラス分類用ブロックを対象に、ステップＳ１０２以下の処理が繰り返される。また、ステップＳ１０７において、１フレーム分の第１階層の画像データについての処理が終了したと判定された場合、ステップＳ１０１に戻り、次のフレームを対象に、ステップＳ１０１以下の処理が繰り返される。

次に、図３６は、図３４のマッピング係数メモリ１１４に記憶されているマッピング係数を算出するための学習（マッピング係数学習）処理を行う画像処理装置の構成例を示している。

メモリ１２１には、学習に適した第１階層の画像データ（以下、適宜、学習用画像という）が１フレーム以上記憶されている。なお、最適補正データ算出回路１０２（図３３）を構成するマッピング係数メモリ１１４に記憶させるマッピング係数を算出する場合には、メモリ１２１には、第２階層の画像データが記憶される。

ブロック化回路１２２は、メモリ１２１に記憶されている画像データを読み出し、図３４のブロック化回路１１１から出力されるクラス分類用ブロックと同一のブロックを構成して、ＡＤＲＣ処理回路１２３および演算回路１２６に供給するようになされている。

ＡＤＲＣ処理回路１２３またはクラス分類回路１２４は、図３４のＡＤＲＣ処理回路１１２またはクラス分類回路１１３における場合とそれぞれ同様の処理を行うようになされている。従って、クラス分類回路１２４からは、ブロック化回路１２２が出力するブロックのクラス情報が出力されるようになされている。そして、このクラス情報は、マッピング係数メモリ１３１に、アドレスとして供給されるようになされている。

演算器１２６は、ブロック化回路１２２から供給されるブロックを構成する画素と、マッピング係数メモリ１３１から供給されるマッピング係数とを用いて、図３４の演算回路１１６における場合と同一の演算を行い、その結果得られる補正データ（関数値ｆ（・））を、ローカルデコード部１２７に供給するようになされている。

ローカルデコード部１２７は、演算回路１２６から供給される補正データに基づいて、元の学習用画像の予測値（ブロック化回路１２２が出力するブロックを構成する画素の画素値の予測値）を、上述したＲＯＭ方式または逐次方式により予測し（算出し）、誤差算出部１２８に供給するようになされている。なお、予測値を、逐次方式により求める場合においては、ローカルデコード部１２７には、クラスごとの予測係数を求めるために、メモリ１２１に記憶された学習用の画像が供給される（ここでは、例えば、ＲＯＭ方式によることとしているため、学習用の画像はローカルデコード部１２７に供給されていない）。

誤差算出部１２８は、ローカルデコード部１２７から供給される予測値に対応する学習用画像の画素値（真値）をメモリ１２１から読み出し、その学習用画像の画素値に対する、予測値の予測誤差を算出（検出）し、その予測誤差を、誤差情報として、判定部１２９に供給するようになされている。

判定部１２９は、誤差算出部１２８からの誤差情報と、所定の閾値ε１とを比較し、その比較結果に対応して、マッピング係数設定回路１３０を制御するようになされている。マッピング係数設定回路１３０は、判定部１２９の制御にしたがって、クラス分類回路１２４におけるクラス分類の結果得られるクラス数と同一の数のマッピング係数のセットを設定（変更）し、マッピング係数メモリ１３１に供給するようになされている。

マッピング係数メモリ１３１は、マッピング係数設定回路３０から供給されるマッピング係数を一時記憶するようになされている。なお、マッピング係数メモリ１３１は、クラス分類回路１２４においてクラス分類されるクラスの数だけのマッピング係数（マッピング係数のセット）を記憶することのできる記憶領域を有しており、各記憶領域においては、マッピング係数設定回路１３０から、新たなマッピング係数が供給されると、既に記憶しているマッピング係数に代えて、その新たなマッピング係数が記憶されるようになされている。

また、マッピング係数メモリ１３１は、クラス分類回路１２４から供給されるクラス情報に対応するアドレスに記憶されたマッピング係数を読み出し、演算回路１２６に供給するようにもなされている。

次に、図３７のフローチャートを参照して、その動作について説明する。

まず最初に、マッピング係数設定回路１３０は、ステップＳ１５１においてマッピング係数の初期値のセットを、クラス分類回路１２４においてクラス分類されるクラスの数だけ設定し、マッピング係数メモリ１３１に供給する。マッピング係数メモリ１３１では、マッピング係数設定回路１３０からのマッピング係数（初期値）が、対応するクラスのアドレスに記憶される。

そして、ブロック化回路１２２は、ステップＳ１５２において、メモリ１２１に記憶されている学習用画像すべてを、図３４のブロック化回路１１１における場合と同様に、注目画素と中心とした３×３画素のブロックにブロック化する。さらに、ブロック化回路１２１は、そのブロックを、メモリ１２１から読み出し、ＡＤＲＣ処理回路１２３および演算回路１２６に順次供給する。

ＡＤＲＣ処理回路１２３では、ステップＳ１５３において、ブロック化回路１２２からのブロックに対して、図３４のＡＤＲＣ処理回路１１２における場合と同様に、１ビットのＡＤＲＣ処理が施され、クラス分類回路１２４に供給される。クラス分類回路１２４では、ステップＳ１５４において、ＡＤＲＣ処理回路１２３から供給されたブロックのクラスが決定され、そのクラス情報が、アドレスとして、マッピング係数メモリ１３１に供給される。これにより、ステップＳ１５５において、マッピング係数メモリ１３１の、クラス分類回路１２４から供給されるクラス情報に対応するアドレスから、マッピング係数が読み出され、演算回路１２６に供給される。

演算回路１２６は、ブロック化回路１２２からブロックを受信するとともに、マッピング係数メモリ１３１から、そのブロックのクラスに対応するマッピング係数を受信すると、ステップＳ１５６において、そのマッピング係数と、ブロック化回路１２２から供給されるブロックを構成する画素の画素値とを用いて、上述の関数値ｆ（・）を演算する。この演算結果は、ブロック化回路１２２から供給されるブロックの中心画素の画素値を補正した補正データとして、ローカルデコード部１２７に供給される。

即ち、例えば、上述の図１０において、四角形で囲んで示すような３×３画素のブロックが、ブロック化回路１２２から出力されたものとすると、演算回路１２６では、同図において●印で示す画素の画素値を補正した補正データが求められ、ローカルデコード部１２７に出力される。

従って、演算回路１２６では、学習用画像を構成する画素数が、１／９に間引かれ、ローカルデコード部１２７に供給される。

ステップＳ１５６で補正データが算出された後は、ステップＳ１５７に進み、メモリ１２１に記憶されたすべての学習用画像についての補正データが求められたかどうかが判定される。ステップＳ１５７において、すべての学習用画像についての補正データが、まだ求められていないと判定された場合、ステップＳ１５３に戻り、すべての学習用画像についての補正データが求められるまで、ステップＳ１５３乃至Ｓ１５７の処理を繰り返す。

また、ステップＳ１５７において、すべての学習用画像についての補正データが求められたと判定された場合、即ち、メモリ１２１に記憶されたすべての学習用画像を、１／９に間引いた間引き画像が得られた場合（但し、この間引き画像は、学習用画像を、単純に１／９に間引いたものではなく、マッピング係数との演算により画素値が求められたものである）、ステップＳ１５８に進み、ローカルデコード部１２７において、その間引き画像がローカルデコードされることにより、元の学習用画像の予測値が算出される。この予測値は、誤差算出部１２８に供給される。

誤差算出部１２８では、ステップＳ１５９において、メモリ１２１から学習用画像が読み出され、その学習用画像に対する、ローカルデコード部１２７から供給される予測値の予測誤差が算出される。即ち、学習用画像の画素値をＹ_ijと表すとともに、ローカルデコード部１２７から出力される、その予測値をＥ［Ｙ_ij］と表すとき、誤差算出部１２８では、次式で示される誤差分散（誤差の自乗和）Ｑが算出され、これが、誤差情報として、判定部１２９に供給される。

Ｑ＝Σ（Ｙ_ij−Ｅ［Ｙ_ij］）²
但し、上式において、Σは、学習用画像の画素すべてについてのサメーションを表す。

判定部１２９は、誤差算出部１２８から誤差情報を受信すると、その誤差情報と所定の閾値ε１とを比較し、ステップＳ１６０において、その大小関係を判定する。ステップＳ１６０において、誤差情報が閾値ε１以上であると判定された場合、即ち、ローカルデコード部１２７において得られる予測値で構成される画像が、元の学習用画像と同一であるとは認められない場合、判定部１２９は、マッピング係数設定回路１３０に制御信号を出力する。マッピング係数設定回路１３０は、ステップＳ１６１において、判定部１２９からの制御信号にしたがい、マッピング係数を変更し、その変更後のマッピング係数を、マッピング係数メモリ１３１に新たに記憶させる。

そして、ステップＳ１５３に戻り、マッピング係数メモリ１３１に記憶された、変更後のマッピング係数を用いて、再び、ステップＳ１５３以下の処理が繰り返される。

ここで、マッピング係数設定回路１３０における、マッピング係数の変更は、ランダムに行っても良いし、また、今回の誤差情報が、前回の誤差情報より小さくなった場合には、前回と同様の傾向で変化させ、今回の誤差情報が、前回の誤差情報より大きくなった場合には、前回と逆の傾向で変化させるようにすることもできる。

さらに、マッピング係数の変更は、すべてのクラスについて行うようにすることもできるし、その一部のクラスについてだけ行うようにすることもできる。一部のクラスについてのマッピング係数だけの変更を行う場合においては、例えば、誤差情報に対する影響の強いクラスを検出させ、そのようなクラスについてのマッピング係数だけを変更するようにすることができる。誤差情報に対する影響の強いクラスは、例えば、次のようにして検出することができる。即ち、まず最初に、マッピング係数の初期値を用いて処理を行うことにより、その誤差情報を得る。そして、マッピング係数を、１クラスごとに同一の量だけ変化させ、その結果得られる誤差情報を、初期値を用いた場合に得られた誤差情報と比較し、その差が、所定値以上となるクラスを、誤差情報に対する影響の強いクラスとして検出すれば良い。

また、マッピング係数が、上述したｋ１，ｋ２，・・・のように複数で１セットとされている場合には、その中の誤差情報に対する影響の強いものだけを変更させるようにすることもできる。

さらに、上述の場合においては、マッピング係数を、クラスごとに設定するようにしたが、マッピング係数は、その他、例えば、ブロックごとに独立して設定したり、また、近接するブロック単位などで設定したりするようにすることが可能である。

但し、マッピング係数を、例えば、ブロックごとに独立して設定するようにした場合などにおいては、ある１つのクラスに対して、複数セットのマッピング係数が得られることがある（この逆に、マッピング係数が、１セットも得られないクラスが生じることもある）。マッピング係数は、最終的には、クラスごとに決める必要があるため、上述のように、あるクラスに対して、複数セットのマッピング係数が得られた場合には、複数セットのマッピング係数を対象に、何らかの処理を行うことで、１セットのマッピング係数を決める必要がある。

一方、ステップＳ１６０において、誤差情報が閾値ε１より小さいと判定された場合、即ち、ローカルデコード部１２７において得られる予測値で構成される画像が、元の学習用画像と同一であると認められる場合、処理を終了する。

この時点で、マッピング係数メモリ１３１に記憶されている、クラスごとのマッピング係数が、もとの画像と同一と認められる復号画像（予測値）を復元することができる補正データを得るために最適なものとして、図３４のマッピング係数メモリ１１４にセットされている。

従って、このようなマッピング係数を用いて得られる最適補正データによれば、元の画像とほぼ同一の画像を得ることが可能となる。

なお、図３６の実施の形態においては、上述したように、ブロック化回路１２２において、画像が、注目画素を中心とした３×３の９画素にブロック化され、また、ＡＤＲＣ処理回路１２３において、１ビットのＡＤＲＣ処理が行われるので、クラス分類回路１２４によるクラス分類により得られるクラス数は５１２（＝（２¹）⁹）であり、従って、５１２セットのマッピング係数が得られる。

次に、図３８は、図３４のマッピング係数メモリ１１４に記憶されているマッピング係数を算出するための学習（マッピング係数学習）処理を行う画像処理装置の他の構成例を示している。

なお、図３６の画像処理装置によれば、関数ｆが、例えば、線形１次式で表される場合の他、非線形な式や、２次以上の式で表される場合も、最適な予測係数を求めることができるが、図３８の画像処理装置では、関数ｆが、線形１次式で表される場合にのみ、最適な予測係数を求めることができるようになされている。

即ち、図３８の画像処理装置は、図３４において、ブロック化回路１１１が出力する３×３画素のブロックを構成する各画素の画素値をｙ₁，ｙ₂，・・・，ｙ₉とするとともに、マッピング係数メモリ１１４が出力するマッピング係数をｋ₁，ｋ₂，・・・，ｋ₉とする場合において、演算回路１１６が、次式にしたがって関数値ｆ（ｙ₁，ｙ₂，・・・，ｋ₁，ｋ₂，・・・）を演算して補正データを求めるようになされているときに用いることができる。

ｆ（・）＝ｋ₁ｙ₁＋ｋ₂ｙ₂＋・・・＋ｋ₉ｙ₉

間引き回路１７１には、学習に適した学習用の画像としての第１階層の画像データが、例えば１フレーム単位で供給されるようになされており、そこでは、第１階層の画像データの画素数が間引かれることにより、第２階層の画像データが形成されるようになされている。なお、最適補正データ算出回路１０２（図３３）を構成するマッピング係数メモリ１１４に記憶させるマッピング係数を算出する場合には、間引き回路１７１には、第２階層の画像データが供給され、これにより、第３階層の画像データが形成される。

間引き回路１７１において得られた第２階層の画像データは、最適補正データ算出部１７０に供給されるようになされている。最適補正データ算出部１７０は、図５における補正部２１、ローカルデコード部２２、誤差算出部２３、または判定部２４（あるいは、図２１における補正部２１、ローカルデコード部１０２２、誤差算出部２３、または判定部２４や、図２５における補正部２１、ローカルデコード部２０２２、誤差算出部２３、または判定部２０２４）とそれぞれ同様に構成される補正部１７２、ローカルデコード部１７３、誤差算出部１７４、または判定部１７５で構成されており、そこでは、そこに入力される画像、即ち、ここでは、第１階層の画像の画素数を少なくした第２階層の画像についての最適補正データが生成され、ラッチ回路１７６に供給されるようになされている。なお、ローカルデコード部１７３において、逐次方式により予測値を求める場合においては、クラスごとの予測係数を求めるために、元の画像（ここでは、学習用の画像としての第１階層の画像データ）が、ローカルデコード部１７３に供給される。

ラッチ回路１７６は、メモリ１７６Ａを内蔵しており、そのメモリ１７６Ａに、最適補正データ算出部１７０から供給される最適補正データを記憶させるようになされている。さらに、ラッチ回路１７６は、メモリ１７６Ａに記憶された最適補正データのうち、ブロック化回路１７７のメモリ１７７Ａから読み出されるブロックの中心画素に対応するものを読み出し、メモリ１８０に供給するようになされている。なお、ラッチ回路１７６は、メモリ１７６Ａに、１フレーム分の補正データが記憶されると、その旨を示す制御信号を、ブロック化回路１７７に出力するようになされている。

ブロック化回路１７７には、間引き回路１７１に供給される画像データと同一の画像データ、即ち、ここでは、第１階層の画像データが、１フレーム単位で供給されるようになされている。ブロック化回路１７７は、メモリ１７７Ａを内蔵しており、そのメモリ１７７Ａに、そこに供給される学習用画像を記憶させるようになされている。また、ブロック化回路１７７は、ラッチ回路１７６から制御信号を受信すると、メモリ１７７Ａに記憶された学習用画像を、図３４のブロック化回路１１１における場合と同様に、注目画素と中心とする３×３画素で構成されるブロックに分割し、そのブロックを順次読み出して、ＡＤＲＣ処理回路１７８およびメモリ１８０に供給するようになされている。

なお、ブロック化回路１７７は、その内蔵するメモリ１７７Ａからブロックを読み出すときに、そのブロックの位置を示す制御信号を、ラッチ回路１７６に供給するようになされている。ラッチ回路１７６では、この制御信号に基づいて、メモリ１７７Ａから読み出される３×３画素のブロックが認識され、上述したように、そのブロックの中心画素に対応する最適補正データが、メモリ１７６Ａから読み出されるようになされている。即ち、これにより、メモリ１８０に対しては、ある３×３画素のブロックと、そのブロックに対応する最適補正データとが同時に供給されるようになされている。

ＡＤＲＣ処理回路１７８またはクラス分類回路１７９は、図３４のＡＤＲＣ処理回路１１２またはクラス分類回路１１３とそれぞれ同様に構成されている。そして、クラス分類回路１７９が出力する、ブロック化回路１７７からのブロックについてのクラス情報は、メモリ１８０に対して、アドレスとして供給されるようになされている。

メモリ１８０は、クラス分類回路１７９から供給されるクラス情報に対応するアドレスに、ラッチ回路１７６から供給される最適補正データと、ブロック化回路１７７から供給されるブロックとを対応付けて記憶するようになされている。なお、メモリ１８０は、１つのアドレスに複数の情報を記憶することができるようになされており、これにより、あるクラス情報に対応する最適補正データおよびブロックを、複数セット記憶することができるようになされている。

演算回路１８１は、メモリ１８０に記憶された、学習用画像の３×３のブロックを構成する９画素ｙ₁，ｙ₂，・・・，ｙ₉と、そのブロックに対応付けられている最適補正データｙ’とを読み出し、これらに最小自乗法を適用することで、クラスごとに、マッピング係数ｋ₁乃至ｋ₉を求め、メモリ１８２に供給するようになされている。メモリ１８２は、演算回路１８１から供給されるクラスごとのマッピング係数ｋ₁乃至ｋ₉を、そのクラスに対応したアドレスに記憶するようになされている。

次に、図３９のフローチャートを参照して、その動作について説明する。

学習用画像としての第１階層の画像データが入力されると、その学習用画像は、ブロック化回路１７７のメモリ１７７Ａに記憶されるとともに、間引き回路１７１に供給される。間引き回路１７１では、第１階層の画像データから第２階層の画像データが形成され、最適補正データ算出部１７０に供給される。

最適補正データ算出部１７０は、第２階層の画像データを受信すると、ステップＳ１３１において、第２階層の最適補正データを算出し、ラッチ回路１７６のメモリ１７６Ａに供給して記憶させる。

そして、ラッチ回路１７６は、そのメモリ１７６Ａに、１フレーム分の最適補正データを記憶すると、制御信号を、ブロック化回路１７７に出力する。ブロック化回路１７７は、ラッチ回路１７６から制御信号を受信すると、ステップＳ１３２において、メモリ１７７Ａに記憶された学習用画像を、３×３画素で構成されるブロックに分割する。そして、ブロック化回路１７７は、メモリ１７７Ａに記憶された学習用画像のブロックを読み出して、ＡＤＲＣ処理回路１７８およびメモリ１８０に供給する。

また、同時に、ブロック化回路１７７は、メモリ１７７Ａからブロックを読み出すときに、そのブロックの位置を示す制御信号を、ラッチ回路１７６に供給し、ラッチ回路１７６は、その制御信号に対応して、メモリ１７７Ａから読み出された３×３画素のブロックを認識し、そのブロックの中心画素に対応する最適補正データを読み出して、メモリ１８０に供給する。

そして、ステップＳ１３３に進み、ＡＤＲＣ処理回路１７８において、ブロック化回路１７７からのブロックがＡＤＲＣ処理され、さらに、クラス分類回路１７９において、そのブロックがクラス分類される。このクラス分類結果は、アドレスとして、メモリ１８０に供給される。

メモリ１８０では、ステップＳ１３４において、クラス分類回路１７９から供給されるクラス情報に対応するアドレスに、ラッチ回路１７６から供給される最適補正データと、ブロック化回路１７７から供給されるブロック（学習データ）とが対応付けられて記憶される。

そして、ステップＳ１３５に進み、メモリ１８０に、１フレーム分のブロックおよび最適補正データが記憶されたかどうかが判定される。ステップＳ１３５において、メモリ１８０に、１フレーム分のブロックおよび最適補正データが、まだ記憶されていないと判定された場合、ブロック化回路１７７から次のブロックが読み出されるとともに、ラッチ回路１７６からそのブロックに対応する最適補正データが読み出され、ステップＳ１３３に戻り、以下、ステップＳ１３３以降の処理を繰り返す。

また、ステップＳ１３５において、メモリ１８０に、１フレーム分のブロックおよび最適補正データが記憶されたと判定された場合、ステップＳ１３６に進み、学習用画像すべてについて処理が終了したかどうかが判定される。ステップＳ１３６において、学習用画像すべてについての処理が、まだ終了していないと判定された場合、ステップＳ１３１に戻り、次の学習用画像について、ステップＳ１３１からの処理が繰り返される。

一方、ステップＳ１３６において、学習用画像すべてについての処理が終了したと判定された場合、ステップＳ１３７に進み、演算回路１８１は、メモリ１８０に記憶された最適補正データとブロックとを、クラスごとに読み出し、これらにより、式（７）に示したような正規方程式をたてる。さらに、演算回路１８１は、ステップＳ１３８において、その正規方程式を解くことで、誤差を最小にする、クラスごとのマッピング係数を算出する。このマッピング係数は、ステップＳ１３９において、メモリ１８２に供給されて記憶され、処理を終了する。

関数ｆが、線形１次式で表される場合においては、以上のようにしてメモリ１８２に記憶されたマッピング係数を、図３４のマッピング係数メモリ１１４に記憶させ、これを用いて最適補正データを得ることができる。

なお、クラスによっては、マッピング係数を求めることができるだけの数の正規方程式が得られない場合がある。このような場合は、図３４の演算回路１１６において、ブロック化回路１１１から出力される３×３画素のブロックを構成する９画素の、例えば平均値などが出力されるようなマッピング係数、即ち、ｋ₁乃至ｋ₉＝１／９などが、デフォルトの値として設定される。

ここで、送信装置１が図３３に示したように構成される場合、受信装置４は図１８に示したように構成される。但し、図１８の受信装置４において、予測部７２または７３は、図３１または図３２に示したようにそれぞれ構成される。また、この場合、予測部７２（予測部７３についても同様）で用いる予測係数は、基本的に、図３６のローカルデコード部１２７または図３８のローカルデコード部１７３で用いられたものと同一のものを採用する必要がある。

ところで、図２の場合においては、まず、図４０（Ａ）に示すように、第１階層の画像データとの誤差（誤差情報）を、所定の閾値ε以下とする第１階層の予測値が得られる、第２階層の画像データを補正した最適補正データが、最適補正データ算出回路１３において求められ、その後、同図（Ｂ）に示すように、第２階層の最適補正データとの誤差（誤差情報）を、所定の閾値ε以下とする第２階層の予測値が得られる、第３階層の画像データを補正した最適補正データが、最適補正データ算出回路１４において求められるが、最下位階層である第３階層の最適補正データは、その他、例えば、図４１に示すようにして求めるようにすることも可能である。

即ち、第３階層の画像データを補正した補正データから第２階層の予測値を求め、さらに、その第２階層の予測値をそのまま用いて第１階層の予測値を求める。そして、その第１階層の予測値の予測誤差（誤差情報）を所定の閾値ε以下とする補正データを、第３階層の最適補正データとする。

図４２は、以上のようにして、第３階層の最適補正データを求めるようにした送信装置１の構成例を示している。なお、図中、図２における場合と対応する部分については、同一の符号を付してある。

この実施の形態においては、最適補正データ算出回路２０１に、第１階層乃至第３階層の画像データが供給されるようになされており、そこでは、第３階層の画像データを補正した補正データから第２階層の予測値が求められ、さらに、その第２階層の予測値をそのまま用いて第１階層の予測値を求められるようになされている。そして、最適補正データ算出回路２０１は、第１階層の予測値の予測誤差（誤差情報）を所定の閾値ε以下とする補正データが求められると、その補正データを、第３階層の最適補正データとし、第３階層の符号化データとして信号処理回路１５に出力するようになされている。

なお、図４２の実施の形態では、第１階層の画像データが、そのまま第１階層の符号化データとして信号処理回路１５に供給されるようになされている。また、図４２の実施の形態では、第２階層の画像データは信号処理回路１５に供給されないようになっているが、第１階層と同様に、第２階層の符号化データとして、信号処理回路１５に供給することも可能である。

次に、図４３は、図４２の最適補正データ算出回路２０１の構成例を示している。なお、図中、図５における場合と対応する部分については、同一の符号を付してある。即ち、最適補正データ算出回路２０１は、ローカルデコード部２３１が新たに設けられている他は、図５の最適補正データ算出回路１３と基本的に同様に構成されている。

なお、この実施の形態においては、補正部２１には、第３階層の画像データが入力され、その第３階層の画像データを補正した補正データが出力されるようになされている。また、ローカルデコード部２２には、補正部２１が出力する補正データと、第２階層の画像データとが入力されるようになされており、そこでは、第２階層の予測値が算出されて出力されるようになされている。さらに、ローカルデコード部２３１は、例えば、ローカルデコード部２２と同様に構成され、そこには、ローカルデコード部２２が出力する第２階層の予測値と、第１階層の画像データとが入力されるようになされている。そして、ローカルデコード部２３１では、第１階層の予測値が算出されて出力されるようになされている。

従って、この実施の形態では、ローカルデコード部２２および２３１において、逐次方式により予測値が算出されるようになされている。但し、ローカルデコード部２２および２３１は、例えば、図２２に示したローカルデコード部１０２２のように構成し、ＲＯＭ方式により予測値を算出するようにすることも可能である。

次に、図４４のフローチャートを参照して、その動作について説明する。

補正部２１に対して、第３階層の画像データが供給されると、補正部２１は、ステップＳ２０１において、最初は、補正を行わずに、そのまま第３階層の画像データを、ローカルデコード部２２および判定部２４に出力する。ローカルデコード部２２では、ステップＳ２０２において、補正部２１からの補正データ（最初は、上述したように、第３階層の画像データそのもの）がローカルデコードされる。

即ち、ステップＳ２０２では、図９で説明した場合と同様にして、第２階層のクラスごとの予測係数が求められ、さらに、そのクラスごとの予測係数に基づいて、第２階層の予測値が求められ、ローカルデコード部２３１に供給される（但し、ローカルデコード部２２がローカルデコード部１０２２のように構成され、これにより、第２階層の予測値がＲＯＭ方式により求められる場合には、ＲＯＭから第２階層の予測係数が読み出され、その予測係数に基づいて、第２階層の予測値が求められる）。

ローカルデコード部２３１では、ステップＳ２０３において、ローカルデコード部２２からの第２階層の予測値がローカルデコードされる。

即ち、ステップＳ２０３では、ローカルデコード部２２における場合と同様にして、第１階層のクラスごとの予測係数が求められ、さらに、そのクラスごとの予測係数に基づいて、第１階層の予測値が求められ、誤差算出部２３に供給される（但し、ローカルデコード部２３１がローカルデコード部１０２２のように構成され、これにより、第１階層の予測値がＲＯＭ方式により求められる場合には、ＲＯＭから第１階層の予測係数が読み出され、その予測係数に基づいて、第１階層の予測値が求められる）。

以下、ステップＳ２０４乃至Ｓ２０７において、図６のステップＳ３乃至Ｓ６における場合とそれぞれ同様の処理が行われ、これにより、第１階層の予測値を閾値ε以下にする第３階層の最適補正データが求められる。

従って、このようにして得られる第３階層の最適補正データによっても、上述した場合と同様に、高画質の復号画像を得ることができる。

なお、図４２の実施の形態においては、第２階層の符号化データを信号処理回路１５に供給しないようにしたが、第２階層の符号化データを信号処理回路１５に供給する場合においては、上述したように、第２階層の画像データそのものを第２階層の符号化データとする他、例えば、ローカルデコード部２２が出力する第２階層の予測値などを、第２階層の符号化データとすることが可能である。また、例えば、図２に示した最適補正データ算出回路１３を設け、そこから出力される第２階層の最適補正データを、第２階層の符号化データとすることなども可能である。

また、図４２の実施の形態における場合も、信号処理回路１５から出力される符号化データには、第１階層乃至第３階層の符号化データのすべてを含めるのではなく、第３階層の符号化データだけを含めるようにすることが可能である。

なお、図４２に示した送信装置１から出力される符号化データについては、図１８に示した受信装置４により復号が可能である。但し、図１８の受信装置４において、予測部７２または７３は、例えば、図１９または図２０に示したようにそれぞれ構成する必要がある。

次に、図４５は、図４２の最適補正データ算出回路２０１の他の構成例を示している。なお、図中、図４３における場合と対応する部分については、同一の符号を付してある。即ち、図４５の最適補正データ算出回路２０１は、ローカルデコード部２２または２３１に代えて、ローカルデコード部３０２２または３２３１がそれぞれ設けられ、多重化部２５が設けられていない他は、図４３における場合と基本的に同様に構成されている。

ローカルデコード部３０２２は、そこに入力される第３階層の画像データを補正した補正データから第２階層の予測値を、例えば、ＲＯＭ方式によって算出し、ローカルデコード部３２３１に供給するようになされている。ローカルデコード部３２３１は、ローカルデコード部３０２２からの第２階層の予測値から第１階層の予測値を、例えば、やはり、ＲＯＭ方式によって算出し、誤差算出部２３に供給するようになされている。

なお、この実施の形態では、ローカルデコード部３０２２および３２３１は、いずれも、例えば、図２７に示したローカルデコード部２０２２と同様に構成されており、従って、予測係数は、判定部２４に出力されないようになっている。

次に、図４６のフローチャートを参照して、その動作について説明する。

ステップＳ３２０１乃至Ｓ３２０６においては、基本的に、図４４のステップＳ２０１乃至Ｓ２０６における場合とそれぞれ同様の処理が行われる。但し、ステップＳ３２０２では、ローカルデコード部３０２２において、図２７で説明したように、予測係数ＲＯＭ８８から、第２階層の、必要なクラスの予測係数が読み出され、その予測係数に基づいて、第２階層の予測値が求められて、ローカルデコード部３２３１に供給される。また、ステップＳ３２０３でも、ステップＳ３２０２における場合と同様に、ローカルデコード部３２３１において、第１階層の必要なクラスの予測係数が読み出され、その予測係数に基づいて、第１階層の予測値が求められて、誤差算出部２３に供給される。

そして、ステップＳ３２０５において、誤差情報が閾値ε以下であると判定された場合、即ち、第１階層の予測値を閾値ε以下にする第３階層の最適補正データが得られた場合、ステップＳ３２０７に進み、判定部２４は、その第３階層の最適補正データを、信号処理回路１５に出力して、処理を終了する。即ち、ローカルデコード部２０２２と同様に構成されるローカルデコード部３０２２および３２３１からは予測係数は出力されないため、ステップＳ３２０７では、最適補正データだけが出力される。

以上のようにして得られる第３階層の最適補正データによっても、上述した場合と同様に、高画質の復号画像を得ることができる。

なお、図４２の送信装置１の最適補正データ算出回路２０１が図４５に示したように構成される場合には、上述したことから、予測係数が送信されないため、図１８の受信装置４において、予測部７２または７３は、例えば、図３１または図３２に示したようにそれぞれ構成する必要がある。

以上、本発明を適用した画像処理システムについて説明したが、このような画像処理装置は、例えば、ＮＴＳＣ方式などの標準方式のテレビジョン信号を符号化する場合の他、データ量の多い、いわゆるハイビジョン方式のテレビジョン信号などを符号化する場合に、特に有効である。

なお、本実施の形態においては、１フレームの画像を対象にブロック化を行うようにしたが、ブロックは、その他、例えば、時系列に連続する複数フレームにおける、同一位置の画素を集めて構成するようにすることも可能である。

また、本実施の形態においては、誤差情報として、誤差の自乗和を用いるようにしたが、誤差情報としては、その他、例えば、誤差の絶対値和や、その３乗以上したものの和などを用いるようにすることが可能である。いずれを誤差情報として用いるかは、例えば、その収束性などに基づいて決定するようにすることが可能である。

さらに、本実施の形態では、画像を、３階層に符号化するようにしたが、階層数は、３に限定されるものではない。

また、最下位階層である第３階層の最適補正データとしては、上述した場合による他、例えば、各階層の予測値の予測誤差を求め、その総和値を所定値以下にする補正データを求めるようにすることも可能である。

さらに、例えば、図１３の実施の形態では、１フレーム単位で、正規方程式をたてて、クラスごとの予測係数を求めるようにしたが、予測係数の算出処理は、その他、例えば、１フィールド単位や複数フレーム単位で正規方程式をたてて行うようにすることも可能である。他の処理についても同様である。

また、本発明は、ハードウェアによっても、あるいは、上述した処理を行うためのアプリケーションプログラムが記録されたハードディスク等の記録媒体から、そのアプリケーションプログラムを読み出して、コンピュータに実行させることによっても、実現可能である。

本発明を適用した画像処理システムの一実施の形態の構成を示すブロック図である。図１の送信装置１の第１実施の形態の構成を示すブロック図である。図２の間引き回路１１および１２の処理を説明するための図である。図２の間引き回路１１および１２の処理を説明するための図である。図２の最適補正データ算出回路１３（１４）の第１の構成例を示すブロック図である。図５の最適補正データ算出回路１３の処理を説明するためのフローチャートである。図５の補正部２１の構成例を示すブロック図である。図７の補正部２１の動作を説明するためのフローチャートである。図５のローカルデコード部２２の構成例を示すブロック図である。図９のクラス分類用ブロック化回路４１の処理を説明するための図である。クラス分類処理を説明するための図である。ＡＤＲＣ処理を説明するための図である。図９のローカルデコード部２２の動作を説明するためのフローチャートである。図５の誤差算出部２３の構成例を示すブロック図である。図１４の誤差算出部２３の動作を説明するためのフローチャートである。図５の判定部２４の構成例を示すブロック図である。図１６の判定部２４の動作を説明するためのフローチャートである。図１の受信装置４の一実施の形態の構成を示すブロック図である。図１８の予測部７２の構成例を示すブロック図である。図１８の予測部７３の構成例を示すブロック図である。図２の最適補正データ算出回路１３（１４）の第２の構成例を示すブロック図である。図２１のローカルデコード部１０２２の構成例を示すブロック図である。図２２のローカルデコード部１０２２の処理を説明するためのフローチャートである。予測係数を求める学習処理を行う画像処理装置の構成例を示すブロック図である。図２の最適補正データ算出回路１３（１４）の第３の構成例を示すブロック図である。図２５の最適補正データ算出回路１３（１４）の処理を説明するためのフローチャートである。図２５のローカルデコード部２０２２の構成例を示すブロック図である。図２７のローカルデコード部２０２２の処理を説明するためのフローチャートである。図２５の判定部２０２４の構成例を示すブロック図である。図２９の判定部２０２４の処理を説明するためのフローチャート図１８の予測部７２の他の構成例を示すブロック図である。図１８の予測部７３の他の構成例を示すブロック図である。図１の送信装置１の第２実施の形態の構成を示すブロック図である。図３３の最適補正データ算出回路１０１（１０２）の構成例を示すブロック図である。図３４の最適補正データ算出回路１０１の動作を説明するためのフローチャートである。マッピング係数を得るための学習を行う画像処理装置の第１実施の形態の構成を示すブロック図である。図３６の画像処理装置の動作を説明するためのフローチャートである。マッピング係数を得るための学習を行う画像処理装置の第２実施の形態の構成を示すブロック図である。図３８の画像処理装置の動作を説明するためのフローチャートである。本発明による第１の階層符号化の方法を説明するための図である。本発明による第２の階層符号化の方法を説明するための図である。図１の送信装置１の第３実施の形態の構成を示すブロック図である。図４２の最適補正データ算出回路２０１の構成例を示すブロック図である。図４３の最適補正データ算出回路２０１の動作を説明するためのフローチャートである。図４２の最適補正データ算出回路２０１の他の構成例を示すブロック図である。図４５の最適補正データ算出回路２０１の動作を説明するためのフローチャートである。従来の階層符号化を行う画像符号化装置の一例の構成を示すブロック図である。従来の階層復号化を行う画像復号化装置の一例の構成を示すブロック図である。

符号の説明

１送信装置，２記録媒体，３伝送路，４受信装置，１１，１２間引き回路，１３，１４最適補正データ算出回路，１５信号処理回路，２１補正部，２２ローカルデコード部，２３誤差算出部，２４判定部，２５多重化部，３２補正回路，３３補正値ＲＯＭ，４１クラス分類用ブロック化回路，４２予測値計算用ブロック化回路，４３クラス分類適応処理回路，４４ＡＤＲＣ処理回路，４５クラス分類回路，４６適応処理回路，５１ブロック化回路，５２自乗誤差算出回路，５３，５４演算器，５５積算部，５６メモリ，６１予測係数メモリ，６２補正データメモリ，６３誤差情報メモリ，６４比較回路，６５制御回路，７１信号処理回路，７２，７３予測部，８０デコード部，８１分離部，８２クラス分類用ブロック化回路，８３予測値計算用ブロック化回路，８４ＡＤＲＣ処理回路，８５クラス分類回路，８６予測回路，８６Ａメモリ，８７，８８予測係数ＲＯＭ，８９予測回路，９１学習用ブロック化回路，９２教師用ブロック化回路，９３ＡＤＲＣ処理回路，９４クラス分類回路，９５スイッチ，９６学習データメモリ，９７カウンタ，９８教師データメモリ，９９演算回路，１００メモリ，１０１，１０２最適補正データ算出回路，１１１ブロック化回路，１１２ＡＤＲＣ処理回路，１１３クラス分類回路，１１４マッピング係数メモリ，１１５遅延回路，１１６演算回路，１２１メモリ，１２２ブロック化回路，１２３ＡＤＲＣ処理回路，１２４クラス分類回路，１２６演算回路，１２７ローカルデコード部，１２８誤差算出部，１２９判定部，１３０マッピング係数設定回路，１３１マッピング係数メモリ，１４１クラス分類用ブロック化回路，１４２予測値計算用ブロック化回路，１４３クラス分類適応処理回路，１４４ＡＤＲＣ処理回路，１４５クラス分類回路，１４６予測係数ＲＯＭ，１４７予測回路，１７０最適補正データ算出部，１７１間引き回路，１７２補正部，１７３ローカルデコード部，１７４誤差算出部，１７５判定部，１７６ラッチ回路，１７６Ａメモリ，１７７ブロック化回路，１７７Ａメモリ，１７８ＡＤＲＣ処理回路，１７９クラス分類回路，１８０メモリ，１８１演算回路，１８２メモリ，２０１最適補正データ算出回路，２２１分離部，２２２，２２３デコード部，２３１，１０２２ローカルデコード部，１２２２，１２２３デコード部，２０２２ローカルデコード部，２０２４判定部，３０２２，３２３１ローカルデコード部

Claims

画像を階層符号化する画像符号化装置であって、
第１の階層の画像を構成する画素を、それぞれを中心とした所定の位置関係となる複数の画素から構成されるクラス分類用ブロックの画素のレベル分布からなる性質に応じて所定のクラスに分類する分類手段と、
前記クラスごとに、所定のマッピング係数を記憶しているマッピング係数記憶手段と、
前記第１の階層の画像の中の、注目している前記第１の階層の画像データの画素数を少なくした第２の階層の画像データの画素に対応する位置の注目画素およびその周辺画素と、その注目画素のクラスに対応する前記マッピング係数とを用いて所定の線形、または非線形の関数による演算を行うことにより、その演算結果からなる前記第１の階層の画像データの画素数を少なくした第２の階層の画像データに符号化する符号化手段と
を備えることを特徴とする画像符号化装置。
前記符号化手段は、前記注目画素を含む、前記第１の階層の画像の前記注目画素を中心とした所定の位置関係となる複数の画素から構成されるクラス分類用ブロックの画素と、その注目画素のクラスに対応する前記マッピング係数とを用いて所定の線形、または非線形の関数による演算を行う
ことを特徴とする請求項１に記載の画像符号化装置。
前記マッピング係数は、学習用の画像データを用いて、前記第２の階層の画像から第１の階層の画像を予測した予測結果の、その第１の階層の画像に対する予測誤差が最小になるように、または所定値以下になるように学習を行うことにより得られたものである
ことを特徴とする請求項１に記載の画像符号化装置。
前記マッピング係数は、
学習用の第１の階層の画像を構成する画素を、その性質に応じて前記クラスのうちのいずれかに分類し、
前記学習用の第１の階層の画像の中の、注目している前記第１の階層の画像データの画素数を少なくした第２の階層の画像データの画素に対応する位置の注目学習画素およびその周辺画素と、その注目学習画素のクラスに対応する所定の係数とを用いて所定の線形、または非線形の関数による演算を行うことにより、その演算結果を前記学習用の第１の階層の画像の画素数を少なくした学習用の第２の階層の画像データとして算出し、
前記学習用の第２の階層の画像に基づいて、前記学習用の第１の階層の画像の予測値を予測し、
前記学習用の第１の階層の画像に対する、前記学習用の第１の階層の画像の予測値の予測誤差を算出し、
その予測誤差に基づいて、前記所定の係数を変更する
ことを、前記所定の係数が、前記予測誤差を所定値以下または最小値とする最適な値になるまで繰り返す
ことにより得られた、その最適な値の前記所定の係数である
ことを特徴とする請求項１に記載の画像符号化装置。
前記マッピング係数は、
学習用の第１の階層の画像よりも画素数の少ない学習用の第２の階層の画像を形成し、
前記学習用の第２の階層の画像を補正して、学習用補正データを出力し、
前記学習用補正データに基づいて、前記学習用の第１の階層の画像を予測して、その予測値を出力し、
前記学習用の第１の階層の画像に対する、前記学習用の第１の階層の画像の予測値の予測誤差を算出し、
その予測誤差に基づいて、前記学習用補正データの適正さを判定する
ことを、前記予測誤差が所定値以下または最小値となることで、前記学習用補正データが適正になるまで前記学習用の第２の階層の画像の補正を繰り返す
ことにより得られた、その適正になった前記学習用補正データと、前記学習用の第１の階層の画像とを用いて、その適正になった前記学習用補正データの各画素の画素値が、前記学習用の第１の階層の画像の各画素およびその周辺画素の画素値とマッピング係数との線形和と等しい関係となることを表す正規方程式を生成し、前記正規方程式を解くことにより得られる係数である
ことを特徴とする請求項１に記載の画像符号化装置。
画像を階層符号化する画像符号化方法であって、
第１の階層の画像を構成する画素を、それぞれを中心とした所定の位置関係となる複数の画素から構成されるクラス分類用ブロックの画素のレベル分布からなる性質に応じて所定のクラスに分類し、
前記クラスごとに、記憶されている所定のマッピング係数のうち、前記第１の階層の画像の中の、注目している前記第１の階層の画像データの画素数を少なくした第２の階層の画像データの画素に対応する位置の注目画素に対応するクラスの前記マッピング係数を読み出し、
そのマッピング係数と前記注目画素およびその周辺画素とを用いて所定の線形、または非線形の関数による演算を行うことにより、その演算結果からなる前記第１の階層の画像データの画素数を少なくした第２の階層の画像データに符号化する
ことを特徴とする画像符号化方法。