JP3787823B2 - 画像処理装置および画像処理方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法に関し、特に、例えば、標準解像度の画像を、高解像度の画像に変換する場合などに用いて好適な画像処理装置および画像処理方法に関する。
【０００２】
【従来の技術】
例えば、標準解像度または低解像度の画像（以下、適宜、ＳＤ画像という）を、高解像度の画像（以下、適宜、ＨＤ画像という）に変換したり、また、画像を拡大したりする場合においては、いわゆる補間フィルタなどによって、不足している画素の画素値の補間（補償）が行われるようになされている。
【０００３】
しかしながら、補間フィルタによって画素の補間を行っても、ＳＤ画像に含まれていない、ＨＤ画像の成分（高周波成分）を復元することはできないため、高解像度の画像を得ることは困難であった。
【０００４】
そこで、本件出願人は、ＳＤ画像を、そこに含まれていない高周波成分をも含むＨＤ画像に変換する画像変換装置を先に提案している。
【０００５】
この画像変換装置においては、ＳＤ画像と、所定の予測係数との線形結合により、ＨＤ画像の画素の予測値を求める適応処理を行うことで、ＳＤ画像には含まれていない高周波成分が復元されるようになされている。
【０００６】
即ち、例えば、いま、ＨＤ画像を構成する画素（以下、適宜、ＨＤ画素という）の画素値ｙの予測値Ｅ［ｙ］を、幾つかのＳＤ画素（ＳＤ画像を構成する画素）の画素値（以下、適宜、学習データという）ｘ₁，ｘ₂，・・・と、所定の予測係数ｗ₁，ｗ₂，・・・の線形結合により規定される線形１次結合モデルにより求めることを考える。この場合、予測値Ｅ［ｙ］は、次式で表すことができる。
【０００７】

【０００８】
そこで、一般化するために、予測係数ｗの集合でなる行列Ｗ、学習データの集合でなる行列Ｘ、および予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、
【数１】

で定義すると、次のような観測方程式が成立する。
【０００９】

【００１０】
そして、この観測方程式に最小自乗法を適用して、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めることを考える。この場合、教師データとなるＨＤ画素の真の画素値ｙの集合でなる行列Ｙ、およびＨＤ画素の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でなる行列Ｅを、
【数２】

で定義すると、式（２）から、次のような残差方程式が成立する。
【００１１】

【００１２】
この場合、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるための予測係数ｗ_iは、例えば、自乗誤差
【数３】

を最小にすることで求めることができる。
【００１３】
従って、上述の自乗誤差を予測係数ｗ_iで微分したものが０になる場合、即ち、次式を満たす予測係数ｗ_iが、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるため最適値ということになる。
【００１４】
【数４】

【００１５】
そこで、まず、式（３）を、予測係数ｗ_iで微分することにより、次式が成立する。
【００１６】
【数５】

【００１７】
式（４）および（５）より、式（６）が得られる。
【００１８】
【数６】

【００１９】
さらに、式（３）の残差方程式における学習データｘ、予測係数ｗ、教師データｙ、および残差ｅの関係を考慮すると、式（６）から、次のような正規方程式を得ることができる。
【００２０】
【数７】

【００２１】
式（７）の正規方程式は、求めるべき予測係数ｗの数と同じ数だけたてることができ、従って、式（７）を解くことで（但し、式（７）を解くには、式（７）において、予測係数ｗにかかる係数で構成される行列が正則である必要がある）、最適な予測係数ｗを求めることができる。なお、式（７）を解くにあたっては、例えば、掃き出し法（Gauss-Jordanの消去法）などを適用することが可能である。
【００２２】
以上のようにして、最適な予測係数ｗを求めておき、さらに、その予測係数ｗを用い、式（１）により、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求めるのが適応処理である。
【００２３】
なお、適応処理は、ＳＤ画像には含まれていない、ＨＤ画像に含まれる成分が再現される点で、補間処理とは異なる。即ち、適応処理では、式（１）だけを見る限りは、いわゆる補間フィルタを用いての補間処理と同一であるが、その補間フィルタのタップ係数に相当する予測係数ｗが、教師データｙを用いての、いわば学習により求められるため、ＨＤ画像に含まれる成分を再現することができる。即ち、容易に、高解像度の画像を得ることができる。このことから、適応処理は、いわば画像（の解像度）の創造作用がある処理ということができる。
【００２４】
図１２は、以上のような適応処理により、ＳＤ画像をＨＤ画像に変換する画像変換装置の構成例を示している。
【００２５】
ＳＤ画像は、クラス分類部２０１および適応処理部２０４に供給されるようになされている。クラス分類部２０１は、クラスタップ生成回路２０２およびクラス分類回路２０３で構成され、そこでは、適応処理により予測値を求めようとするＨＤ画素（注目しているＨＤ画素）（以下、適宜、注目画素という）が、その注目画素に対応するＳＤ画像の画素の性質に基づいて、所定のクラスにクラス分類される。
【００２６】
即ち、クラスタップ生成回路２０２では、注目画素のクラス分類を行うのに用いる。その注目画素に対応するＳＤ画素（以下、適宜、クラスタップという）として、例えば、注目画素に対して所定の位置関係にある複数のＳＤ画素が、クラス分類部２０１に供給されるＳＤ画像から抽出され、クラス分類回路２０３に供給される。クラス分類回路２０３では、クラスタップ生成回路２０２からのクラスタップを構成するＳＤ画素の画素値のパターン（画素値の分布）が検出され、そのパターンにあらかじめ割り当てられた値が、注目画素のクラスとして、適応処理部２０４に供給される。
【００２７】
具体的には、例えば、いま、ＨＤ画像が、図１３において、×印で示す画素（ＨＤ画素）で構成され、ＳＤ画像が、同図において、○印で示す画素（ＳＤ画素）で構成されるとする。なお、図１３では、ＳＤ画像が、ＨＤ画像の横または縦の画素数をそれぞれ１／２にして構成されている。ここで、図１３においては（後述する図１４乃至図１６においても同様）、左からｉ＋１番目で、上からｊ＋１番目のＳＤ画素（図中、○印で示す部分）をＸ_i,jと表し、同様に、左からｉ’＋１番目で、上からｊ’＋１番目のＨＤ画素（図中、×印で示す部分）をＹ_i',j'と表してある。この場合、ＳＤ画素Ｘ_i,jの位置と、ＨＤ画素Ｙ_2i,2jの位置とは一致する。
【００２８】
いま、あるＳＤ画素としての、例えば、Ｘ_2,2の位置と一致するＨＤ画素Ｙ_4,4を注目画素とすると、クラスタップ生成回路２０２では、そのＨＤ画素Ｙ_4,4に対応するＳＤ画素として、例えば、ＨＤ画素Ｙ_4,4との相関が高いと予想されるＨＤ画素Ｙ_4,4の位置と一致するＳＤ画素Ｘ_2,2を中心とする３×３（横×縦）のＳＤ画素Ｘ_1,1，Ｘ_2,1，Ｘ_3,1，Ｘ_1,2，Ｘ_2,2，Ｘ_3,2，Ｘ_1,3，Ｘ_2,3，Ｘ_3,3（図１３において点線で囲んである範囲のＳＤ画素）が抽出され、それが、注目画素（ＨＤ画素）Ｙ_4,4のクラスタップとされる。
【００２９】
また、例えば、Ｘ_2,2の位置と一致するＨＤ画素Ｙ_4,4の右隣のＨＤ画素Ｙ_5,4が注目画素とされた場合には、クラスタップ生成回路２０２では、そのＨＤ画素Ｙ_5,4に対応するＳＤ画素として、例えば、図１４において点線で囲んで示すように、ＨＤ画素Ｙ_4,4が注目画素とされた場合に形成されるクラスタップの中のＳＤ画素Ｘ_1,2に代えて、ＳＤ画素Ｘ_4,2を含めたものが抽出され、その９個のＳＤ画素が、注目画素（ＨＤ画素）Ｙ_5,4のクラスタップとされる。
【００３０】
さらに、例えば、Ｘ_2,2の位置と一致するＨＤ画素Ｙ_4,4の下に隣接するＨＤ画素Ｙ_4,5が注目画素とされた場合には、クラスタップ生成回路２０２では、そのＨＤ画素Ｙ_4,5に対応するＳＤ画素として、例えば、図１５において点線で囲んで示すように、ＨＤ画素Ｙ_4,4が注目画素とされた場合に形成されるクラスタップの中のＳＤ画素Ｘ_2,1に代えて、ＳＤ画素Ｘ_2,4を含めたものが抽出され、その９個のＳＤ画素が、注目画素（ＨＤ画素）Ｙ_4,5のクラスタップとされる。
【００３１】
また、例えば、Ｘ_2,2の位置と一致するＨＤ画素Ｙ_4,4の右斜め下に隣接するＨＤ画素Ｙ_5,5が注目画素とされた場合には、クラスタップ生成回路２０２では、そのＨＤ画素Ｙ_5,5に対応するＳＤ画素として、例えば、図１６において点線で囲んで示すように、ＨＤ画素Ｙ_4,4が注目画素とされた場合に形成されるクラスタップの中のＳＤ画素Ｘ_1,1に代えて、ＳＤ画素Ｘ_4,4を含めたものが抽出され、その９個のＳＤ画素が、注目画素（ＨＤ画素）Ｙ_5,5のクラスタップとされる。
【００３２】
そして、クラス分類回路２０３では、クラスタップ生成回路２０２で構成されたクラスタップとしての９個のＳＤ画素（画素値）のパターンが検出され、そのパターンに対応する値が、注目画素のクラスとして出力される。
【００３３】
このクラスは、適応処理部２０４における係数ＲＯＭ（Read Only Memory）２０７のアドレス端子（ＡＤ）に供給される。
【００３４】
ここで、画像を構成する画素には、一般的に、８ビットなどが割り当てられる。いま、ＳＤ画素に８ビットが割り当てられているとすると、例えば、図１３に示した３×３画素の正方形状のクラスタップだけを考えても、画素値のパターン数は、（２⁸）⁹通りという莫大な数となり、その後の処理の迅速化が困難となる。
【００３５】
そこで、クラス分類を行う前の前処理として、クラスタップには、それを構成するＳＤ画素のビット数を低減するための処理である、例えばＡＤＲＣ（Adaptiv Dynamic Range Coding）処理などが施される。
【００３６】
即ち、ＡＤＲＣ処理では、まず、クラスタップを構成する９個のＳＤ画素から、その画素値の最大のもの（以下、適宜、最大画素という）と最小のもの（以下、適宜、最小画素という）とが検出される。そして、最大画素の画素値ＭＡＸと最小画素の画素値ＭＩＮとの差分ＤＲ（＝ＭＡＸ−ＭＩＮ）が演算され、このＤＲをクラスタップの局所的なダイナミックレンジとし、このダイナミックレンジＤＲに基づいて、クラスタップを構成する各画素値が、元の割当ビット数より少ないＫビットに再量子化される。つまり、クラスタップを構成する各画素値から最小画素の画素値ＭＩＮが減算され、各減算値が、ＤＲ／２^Kで除算される。
【００３７】
その結果、クラスタップを構成する各画素値はＫビットで表現されるようになる。従って、例えばＫ＝１とした場合、９個のＳＤ画素の画素値のパターン数は、（２¹）⁹通りになり、ＡＤＲＣ処理を行わない場合に比較して、パターン数を非常に少ないものとすることができる。
【００３８】
一方、適応処理部２０４は、予測タップ生成回路２０５、予測演算回路２０６、および係数ＲＯＭ２０７で構成され、そこでは、適応処理が行われる。
【００３９】
即ち、予測タップ生成回路２０５では、適応処理部２０４に供給されるＳＤ画像から、予測演算回路２０６において注目画素の予測値を求めるのに用いる、その注目画素に対して所定の位置関係にある複数のＳＤ画素が抽出され、これが予測タップとして、予測演算回路２０６に供給される。
【００４０】
具体的には、例えば、ＨＤ画素Ｙ_4,4が注目画素とされ、図１３で説明したようなクラスタップが構成される場合、予測タップ生成回路２０５では、例えば、ＨＤ画素Ｙ_4,4との相関が高いと予想されるＳＤ画素として、同図に実線で囲んで示す範囲の、注目画素Ｙ_4,4の位置に一致するＳＤ画素Ｘ_2,2を中心とする５×５のＳＤ画素が抽出され、これが、注目画素（ＨＤ画素）Ｙ_4,4の予測タップとされる。
【００４１】
また、例えば、ＨＤ画素Ｙ_5,4が注目画素とされた場合には、予測タップ生成回路２０５では、例えば、図１４において実線で囲んで示すように、ＨＤ画素Ｙ_4,4が注目画素とされた場合に形成される予測タップの中のＳＤ画素Ｘ_0,2に代えて、ＳＤ画素Ｘ_5,2を含めたものが抽出され、その２５個のＳＤ画素が、注目画素（ＨＤ画素）Ｙ_5,4のクラスタップとされる。
【００４２】
さらに、例えば、ＨＤ画素Ｙ_4,5が注目画素とされた場合には、予測タップ生成回路２０５では、例えば、図１５において実線で囲んで示すように、ＨＤ画素Ｙ_4,4が注目画素とされた場合に形成される予測タップの中のＳＤ画素Ｘ_2,0に代えて、ＳＤ画素Ｘ_2,5を含めたものが抽出され、その２５個のＳＤ画素が、注目画素（ＨＤ画素）Ｙ_4,5の予測タップとされる。
【００４３】
また、例えば、ＨＤ画素Ｙ_5,5が注目画素とされた場合には、予測タップ生成回路２０５では、例えば、図１６において実線で囲んで示すように、ＨＤ画素Ｙ_4,4が注目画素とされた場合に形成されるクラスタップの中のＳＤ画素Ｘ_0,0に代えて、ＳＤ画素Ｘ_5,5を含めたものが抽出され、その２５個のＳＤ画素が、注目画素（ＨＤ画素）Ｙ_5,5の予測タップとされる。
【００４４】
そして、予測演算回路２０６には、予測タップ生成回路２０５から予測タップが供給される他、係数ＲＯＭ２０７から予測係数も供給される。
【００４５】
即ち、係数ＲＯＭ２０７は、あらかじめ学習が行われることにより求められた予測係数を、クラスごとに記憶しており、クラス分類回路２０３からクラスが供給されると、そのクラスに対応するアドレスに記憶されている予測係数を読み出し、予測演算回路２０６に供給する。
【００４６】
これにより、予測演算回路２０６には、注目画素に対応する予測タップと、その注目画素のクラスについての予測係数とが供給される。そして、予測演算回路２０６では、係数ＲＯＭ２０７からの予測係数ｗ，ｗ₂，・・・と、予測タップ生成回路６からの予測タップ（を構成するＳＤ画素）ｘ₁，ｘ₂，・・・とを用いて、式（１）に示した演算が行われることにより、注目画素（ＨＤ画素）ｙの予測値Ｅ［ｙ］が求められ、これが、ＨＤ画素の画素値として出力される。
【００４７】
以上の処理が、すべてのＨＤ画素を注目画素として行われ、これにより、ＳＤ画像がＨＤ画像に変換される。なお、クラスタップ生成回路２０２および予測タップ生成回路２０５では、同一のＨＤ画素を注目画素として処理が行われる。
【００４８】
次に、図１７は、図１２の係数ＲＯＭ２０７に記憶させる予測係数を算出する学習処理を行う学習装置の構成例を示している。
【００４９】
学習における教師データｙとなるべきＨＤ画像が、間引き回路２１１および教師データ抽出回路１４６に供給されるようになされており、間引き回路２１１では、ＨＤ画像が、例えば、その画素数が間引かれることにより少なくされ、これによりＳＤ画像とされる。即ち、間引き回路２１１では、ＨＤ画像の横または縦の画素数がそれぞれ１／２にされ、これにより、ＳＤ画像が形成される。このＳＤ画像は、クラス分類部２１２および予測タップ生成回路１４５に供給される。
【００５０】
クラス分類部２１２または予測タップ生成回路１４５では、図１２のクラス分類部２０１または予測タップ生成回路２０５における場合とそれぞれ同様の処理が行われ、これにより注目画素のクラスまたは予測タップがそれぞれ出力される。クラス分類部２１２が出力するクラスは、予測タップメモリ１４７および教師データメモリ１４８のアドレス端子（ＡＤ）に供給され、予測タップ生成回路１４５が出力する予測タップは、予測タップメモリ１４７に供給される。なお、クラス分類部２１２および予測タップ生成回路１４５では、同一のＨＤ画素を注目画素として処理が行われる。
【００５１】
予測タップメモリ１４７では、クラス分類部２１２から供給されるクラスに対応するアドレスに、予測タップ生成回路１４５から供給される予測タップが記憶される。
【００５２】
一方、教師データ抽出回路１４６では、クラス分類部２１２および予測タップ生成回路１４５において注目画素とされるＨＤ画素が、そこに供給されるＨＤ画像から抽出され、教師データとして、教師データメモリ１４８に供給される。
【００５３】
そして、教師データメモリ１４８では、クラス分類部２１２から供給されるクラスに対応するアドレスに、教師データ抽出回路１４６から供給される教師データが記憶される。
【００５４】
以上の処理が、あらかじめ学習用に用意されたすべてのＨＤ画像を構成するすべてのＨＤ画素を、順次、注目画素として行われる。
【００５５】
その結果、教師データメモリ１４８または予測タップメモリ１４７の同一のアドレスには、そのアドレスに対応するクラスのＨＤ画素、またはそのＨＤ画素にについて図１３乃至図１６において説明した予測タップを構成する位置にあるＳＤ画素が、教師データｙまたは学習データｘとして、それぞれ記憶される。
【００５６】
なお、予測タップメモリ１４７と教師データメモリ１４８においては、同一アドレスに複数の情報を記憶することができるようになされており、これにより、同一アドレスには、同一のクラスに分類される複数の学習データｘと教師データｙを記憶することができるようになされている。
【００５７】
その後、演算回路１４９は、予測タップメモリ１４７または教師データメモリ１４８から、同一アドレスに記憶されている学習データとしての予測タップまたは教師データとしてのＨＤ画素を読み出し、それらを用いて、例えば、最小自乗法によって、予測値と教師データとの間の誤差を最小にする予測係数を算出する。即ち、演算回路１４９では、クラスごとに、式（７）に示した正規方程式がたてられ、これを解くことにより予測係数が求められる。
【００５８】
以上のようにして、演算回路１４９で求められたクラスごとの予測係数が、図１２の係数ＲＯＭ２０７における、各クラスに対応するアドレスに記憶されている。
【００５９】
なお、以上のような学習処理において、予測係数を求めるのに必要な数の正規方程式が得られないクラスが生じる場合があるが、そのようなクラスについては、例えば、クラスを無視して正規方程式をたてて解くことにより得られる予測係数などが、いわばデフォルトの予測係数として用いられる。
【００６０】
【発明が解決しようとする課題】
適応処理によれば、元のＳＤ画像には含まれていない高周波成分を含んだＨＤ画像を得ることができる。また、注目画素について、クラス分類処理を行い、その結果得られるクラスに対応した予測係数を用いて適応処理を行うことで、注目画素に適した適応処理を施すことができる。
【００６１】
ところで、上述した画像変換装置（図１２）や学習装置（図１７）においては、クラスタップは、画像の特性とは無関係に、注目画素に対して、例えば、図１３乃至１６で説明したような位置関係にあるＳＤ画素によって構成される。
【００６２】
即ち、クラスタップは、図１３乃至１６で説明したように、注目画素の近くにある９個のＳＤ画素によって構成される。
【００６３】
一方、画像は、輝度値や色などが近似した画素でなる領域、即ち、所定の物体が表示された領域や、所定の色、模様を有する領域などに分割し得る。従って、上述のようなクラス分類を行うと、画像の中の異なる領域であっても、例えば、画素の変化がほとんどないような部分については、注目画素が、すべて同一のクラスに分類されることがある。
【００６４】
しかしながら、そのような部分であっても、例えば、注目画素から幾分離れたＳＤ画素をクラスタップに含めてクラス分類を行うことにより、同一のクラスに分類されていた注目画素が、異なるクラスに分類されることがある。即ち、より広い範囲のＳＤ画素でクラスタップを構成することにより、注目画素を、その注目画素にあったクラスにクラス分類することができる場合がある。
【００６５】
そして、このように、注目画素を、それにったクラスにクラス分類することができれば、注目画素に、より適した適応処理を施すことが可能となり、その結果得られるＨＤ画像の画質を向上させることが可能となる。
【００６６】
本発明は、このような状況に鑑みてなされたものであり、画質の向上を図ることができるようにするものである。
【００６７】
【課題を解決するための手段】
請求項１に記載の画像処理装置は、第１の画像を、第１の画像の画素数よりも少ない画素数で表した第２の画像と、第２の画像の画素数よりも少ない画素数で表した第３の画像とを用いて、第１の画像を求めるための処理を行う画像処理装置であって、注目している第１の画像の画素である注目画素に対応する第２および第３の画像の画素を中心とする所定領域内の画素の画素値のパターンに対応する値をそれぞれ取得し、第２の画像の所定領域内の画素の画素値のパターンに対応する値と第３の画像の所定領域内の画素の画素値のパターンに対応する値を、１つのビット列にすることにより、注目画素をビット列で表される所定のクラスに分類するクラス分類を行うクラス分類手段と、注目画素の予測値を、その注目画素のクラスに対応して予測する予測手段とを備え、予測手段は、第２および第３の画像の画素との線形結合により注目画素の予測値を算出するための予測係数を、クラスごとに記憶している予測係数記憶手段と、注目画素のクラスについての予測係数と、第２および第３の画像の画素のうち、注目画素に対して所定の位置関係にある複数の画素の画素値とを線形結合することにより、注目画素の予測値を求める予測値演算手段とを有することを特徴とする。
請求項４に記載の画像処理方法は、第１の画像を、第１の画像の画素数よりも少ない画素数で表した第２の画像と、第２の画像の画素数よりも少ない画素数で表した第３の画像とを用いて、第１の画像を求めるための処理を行う画像処理方法であって、注目している第１の画像の画素である注目画素に対応する第２および第３の画像を中心とする所定領域内の画素の画素値のパターンに対応する値をそれぞれ取得し、第２の画像の所定領域内の画素の画素値のパターンに対応する値と第３の画像の所定領域内の画素の画素値のパターンに対応する値を、１つのビット列にすることにより、注目画素をビット列で表される所定のクラスに分類し、注目画素の予測値を、その注目画素のクラスに対応して予測し、注目画素の予測値を予測する場合、第２および第３の画像の画素との線形結合により注目画素の予測値を算出するための予測係数を、クラスごとに記憶している予測係数記憶手段から取得される注目画素のクラスについての予測係数と、第２および第３の画像の画素のうち、注目画素に対して所定の位置関係にある複数の画素の画素値とを線形結合することにより、注目画素の予測値を求めることを特徴とする。
請求項５に記載の画像処理装置は、第１の画像を、第１の画像の画素数よりも少ない画素数で表した第２の画像と、第２の画像の画素数よりも少ない画素数で表した第３の画像と、第３の画像の画素数よりも少ない画素数で表した第４の画像とを用いて、第１の画像を求めるための処理を行う画像処理装置であって、注目している第１の画像の画素である注目画素を、第２乃至第４の画像のうちのいずれか複数の画像における注目画素に対応する複数の画像の画素を中心とする所定領域内の画素の画素値のパターンに対応する値をそれぞれ取得し、第２の画像の所定領域内の画素の画素値のパターンに対応する値と第３の画像の所定領域内の画素の画素値のパターンに対応する値を、１つのビット列にすることにより、ビット列で表される所定のクラスに分類するクラス分類を行うクラス分類手段と、注目画素の予測値を、その注目画素のクラスに対応して予測する予測手段とを備え、予測手段は、第２乃至第４の画像の画素との線形結合により注目画素の予測値を算出するための予測係数を、クラスごとに記憶している予測係数記憶手段と、注目画素のクラスについての予測係数と、第２乃至第４の画像の画素のうち、注目画素に対して所定の位置関係にある複数の画素の画素値とを線形結合することにより、注目画素の予測値を求める予測値演算手段とを有することを特徴とする。
請求項７に記載の画像処理方法は、第１の画像を、第１の画像の画素数よりも少ない画素数で表した第２の画像と、第２の画像の画素数よりも少ない画素数で表した第３の画像と、第３の画像の画素数よりも少ない画素数で表した第４の画像とを用いて、第１の画像を求めるための処理を行う画像処理方法であって、注目している第１の画像の画素である注目画素を、第２乃至第４の画像のうちのいずれか複数の画像における注目画素に対応する複数の画像の画素を中心とする所定領域内の画素の画素値のパターンに対応する値をそ れぞれ取得し、第２の画像の所定領域内の画素の画素値のパターンに対応する値と第３の画像の所定領域内の画素の画素値のパターンに対応する値を、１つのビット列にすることにより、ビット列で表される所定のクラスに分類し、注目画素の予測値を、その注目画素のクラスに対応して予測し、注目画素の予測値を予測する場合、第２乃至第4の画像の画素との線形結合により注目画素の予測値を算出するための予測係数を、クラスごとに記憶している予測係数記憶手段から取得される注目画素のクラスについての予測係数と、第２乃至第４の画像の画素のうち、注目画素に対して所定の位置関係にある複数の画素の画素値とを線形結合することにより、注目画素の予測値を求めることを特徴とする。
【００６９】
請求項１に記載の画像処理装置および請求項４に記載の画像処理方法においては、注目している第１の画像の画素である注目画素に対応する第２および第３の画像を中心とする所定領域内の画素の画素値のパターンに対応する値がそれぞれ取得され、第２の画像の所定領域内の画素の画素値のパターンに対応する値と第３の画像の所定領域内の画素の画素値のパターンに対応する値を、１つのビット列にすることにより、注目画素がビット列で表される所定のクラスに分類され、注目画素の予測値が、その注目画素のクラスに対応して予測される。注目画素の予測値を予測する場合、第２および第３の画像の画素との線形結合により注目画素の予測値を算出するための予測係数と、クラスごとに記憶している予測係数記憶手段から取得される注目画素のクラスについての予測係数と、第２および第３の画像の画素のうち、注目画素に対して所定の位置関係にある複数の画素の画素値とを線形結合することにより、注目画素の予測値が求められる。
請求項５に記載の画像処理装置および請求項１０に記載の画像処理方法においては、注目している第１の画像の画素である注目画素が、第２乃至第４の画像のうちのいずれか複数の画像における注目画素に対応する複数の画像の画素を中心とする所定領域内の画素の画素値のパターンに対応する値をそれぞれ取得して、第２の画像の所定領域内の画素の画素値のパターンに対応する値と第３の画像の所定領域内の画素の画素値のパターンに対応する値を、１つのビット列にすることにより、ビット列で表される所定のクラスに分類され、注目画素の予測値が、その注目画素のクラスに対応して予測される。注目画素の予測値を予測する場合、第２乃至第4の画像の画素との線形結合により注目画素の予測値を算出するための予測係数を、クラスごとに記憶している予測係数記憶手段から取得される注目画素のクラスについての予測係数と、第２乃至第４の画像の画素のうち、注目画素に対して所定の位置関係にある複数の画素の画素値とを線形結合することにより、注目画素の予測値が求められる。
【００７１】
【発明の実施の形態】
以下に、本発明の実施の形態を説明するが、その前に、特許請求の範囲に記載の発明の各手段と以下の実施の形態との対応関係を明らかにするために、各手段の後の括弧内に、対応する実施の形態（但し、一例）を付加して、本発明の特徴を記述すると、次のようになる。
【００７２】
即ち、請求項１に記載の画像処理装置は、第１の画像を、第１の画像の画素数よりも少ない画素数で表した第２の画像と、第２の画像の画素数よりも少ない画素数で表した第３の画像とを用いて、第１の画像を求めるための処理を行う画像処理装置であって、注目している第１の画像の画素である注目画素に対応する第２および第３の画像の画素を中心とする所定領域内の画素の画素値のパターンに対応する値をそれぞれ取得し、第２の画像の所定領域内の画素の画素値のパターンに対応する値と第３の画像の所定領域内の画素の画素値のパターンに対応する値を、１つのビット列にすることにより、注目画素をビット列で表される所定のクラスに分類するクラス分類を行うクラス分類手段（例えば、図１に示す多階層クラス分類部１０４や、図１１に示す多階層クラス分類部１４４など）と、注目画素の予測値を、その注目画素のクラスに対応して予測する予測手段（例えば、図１に示す適応処理部１０５など）とを備え、予測手段は、第２および第３の画像の画素との線形結合により注目画素の予測値を算出するための予測係数を、クラスごとに記憶している予測係数記憶手段（例えば、図９に示す係数ＲＯＭ１２３など）と、注目画素のクラスについての予測係数と、第２および第３の画像の画素のうち、注目画素に対して所定の位置関係にある複数の画素の画素値とを線形結合することにより、注目画素の予測値を求める予測値演算手段（例えば、図９に示す予測演算回路１２２など）とを有することを特徴とする。
【００７７】
なお、勿論この記載は、各手段を上記したものに限定することを意味するものではない。
【００７８】
図１は、本発明を適用した画像処理装置の一実施の形態の構成例を示している。
【００７９】
この画像処理装置においては、異なる画素数で構成される複数のＳＤ画像（第２や第３の画像）を処理することにより、そのＳＤ画像よりも画素数の多い（ここでは、解像度も高い）ＨＤ画像（第１の画像）が生成されるようになされている。
【００８０】
即ち、第１階層メモリ１０１、第２階層メモリ１０２、第３階層メモリ１０３には、第１乃至第３階層のＳＤ画像が記憶されている。なお、第１階層のＳＤ画像を基準とすると、第２階層のＳＤ画像は、第１階層のＳＤ画像の画素数を少なくしたものとなっており、第３階層のＳＤ画像は、第２階層のＳＤ画像の画素数を少なくしたものとなっている。
【００８１】
第１階層メモリ１０１に記憶されている第１階層のＳＤ画像、第２階層メモリ１０２に記憶されている第２階層のＳＤ画像、および第３階層メモリ１０３に記憶されている第３階層のＳＤ画像は、いずれも、多階層クラス分類部１０４に供給される。また、第１階層メモリ１０１に記憶されている第１階層のＳＤ画像は、適応処理部１０５にも供給される。
【００８２】
多階層クラス分類部１０４は、多階層クラス分類回路１０４ａ乃至１０４ｄで構成され、適応処理により予測値を求めようとするＨＤ画素である注目画素が、第１階層メモリ１０１、第２階層メモリ１０２、第３階層メモリ１０３それぞれからの第１乃至第３階層の画像を構成する画素のうちの、注目画素に対応するものを用いて、クラス分類の１つである多階層クラス分類される。
【００８３】
ここで、本実施の形態においては、例えば、第１階層のＳＤ画像の横または縦の画素数をそれぞれ２倍にした数の画素数で構成されるＨＤ画像が生成されるようになされている。この場合、図１３乃至図１６を参照して説明したことから、あるＳＤ画素（ここでは、第１階層のＳＤ画素）に対して、そのＳＤ画素と同一位置に配置されるＨＤ画素と、そのＨＤ画素の右、下、右斜め下にそれぞれ隣接する３つのＨＤ画素との合計４つのＨＤ画素を生成する必要がある。即ち、第１階層の１つのＳＤ画素に対して、４つのＨＤ画素を生成する必要がある。このため、この４つのＨＤ画素のクラス分類処理（ここでは、多階層クラス分類処理）を同時に行うために、多階層クラス分類部１０４は、４つの多階層クラス分類回路１０４ａ乃至１０４ｄで構成されている。
【００８４】
多階層クラス分類回路１０４ａ乃至１０４ｄにおける、４つの注目画素のクラス分類結果は、いずれも適応処理部１０５に供給される。適応処理部１０５は、多階層クラス分類部１０４が４つの多階層クラス分類回路１０４ａ乃至１０４ｄで構成されるのと同様の理由から、やはり、４つの適応処理回路１０５ａ乃至１０５ｄで構成されており、その４つの適応処理回路１０５ａ乃至１０５ｄそれぞれでは、多階層クラス分類回路１０４ａ乃至１０４ｄからのクラス分類結果それぞれに対応して適応処理が行われ、４つの注目画素それぞれの予測値が求められる。適応処理回路１０５ａ乃至１０５ｄにおいて求められた予測値は、ＨＤ画像メモリ１０６に供給されて記憶される。
【００８５】
即ち、ＨＤ画像メモリ１０６は、多階層クラス分類部１０４や適応処理部１０５における場合と同様に、４つのメモリ１０６ａ乃至１０６ｄで構成されている。そして、メモリ１０６ａ乃至１０６ｄにおいて、適応処理部１０５ａ乃至１０５ｄから供給される予測値が、それぞれ記憶される。
【００８６】
なお、ここでは、第１階層のあるＳＤ画素に対して、そのＳＤ画素と同一位置に配置されるＨＤ画素については、例えば、多階層クラス分類回路１０４ａまたは適応処理回路１０５ａにおいて多階層クラス分類または適応処理が行われ、その予測値が、メモリ１０６ａに記憶されるようになされている。また、第１階層のあるＳＤ画素に対して、そのＳＤ画素と同一位置に配置されるＨＤ画素の右、下、または右斜め下にそれぞれ隣接するＨＤ画素については、多階層クラス分類回路１０４ｂおよび適応処理回路１０５ｂ、多階層クラス分類回路１０４ｃおよび適応処理回路１０５ｃ、または多階層クラス分類回路１０４ｄおよび適応処理回路１０５ｄにおいてそれぞれ処理が行われ、その結果得られるそれぞれの予測値が、メモリ１０６ｂ乃至１０６ｄに記憶されるようになされている。
【００８７】
次に、多階層クラス分類部１０４および適応処理部１５の詳細について説明するが、その前に、第１階層メモリ１０１、第２階層メモリ１０２、第３階層メモリ１０３にそれぞれ記憶されている第１乃至第３階層のＳＤ画像の生成方法について説明する。
【００８８】
図２は、第１乃至第３階層のＳＤ画像を生成する記憶装置の構成例を示している。
【００８９】
この記憶装置は、例えば、１チップのＣＭＯＳ（Complementary Metal Oxide Semiconductor）などで構成され、そこに入力されるＳＤ画像を第１階層のＳＤ画像として、その第１階層のＳＤ画像よりも画素数の少ない第２のＳＤ画像、およびその第２のＳＤ画像よりも画素数の少ない第３のＳＤ画像を生成する３階層の階層符号化を行うようになされている。
【００９０】
即ち、アドレス供給回路１には、記憶装置に入力される画像を構成するＳＤ画素の水平方向または垂直方向の位置に対応したアドレスそれぞれとしての水平アドレスまたは垂直アドレスが供給されるようになされている。
【００９１】
なお、本実施の形態では、例えば、図３に示すような、水平方向が５１２画素で、垂直方向が５１２ラインで１画面が構成される画像（ディジタル画像データ）が、第１階層のＳＤ画像として入力されるものとする。従って、水平アドレスおよび垂直アドレスは、いずれも９（＝ｌｏｇ₂５１２）ビットで表される。
【００９２】
また、本実施の形態では、上述したように、第１階層のＳＤ画像の横または縦の画素数をそれぞれ２倍にしたＨＤ画像が生成されるから、そのＨＤ画像の１画面は、１０２４×１０２４画素で構成されることになる。
【００９３】
アドレス供給回路１は、そこに供給される水平アドレスおよび垂直アドレスを必要に応じて加工して、第１階層メモリ２、第２階層メモリ３、および第３階層メモリ４に供給するようになされている。なお、アドレス供給回路１には、水平アドレスおよび垂直アドレスの他、クロック（後述する図４乃至図６おいては図示せず）、Ｒ／Ｗ（Read/Write）信号、および階層フラグも供給されるようになされており、アドレス供給回路１は、そのクロックに同期して、第１階層メモリ２、第２階層メモリ３、および第３階層メモリ４にアドレスを供給するようになされている。また、アドレス供給回路１は、Ｒ／Ｗ信号や階層フラグに対応して、そこに供給される水平アドレスおよび垂直アドレスを加工するようになされている。さらに、アドレス供給回路１は、必要に応じて、所定の制御信号を、ＲＭＷ（Read Modify Write）回路５に供給するようになされている。
【００９４】
ここで、Ｒ／Ｗ信号は、記憶装置からの画像データの読み出し、または記憶装置への画像データの書き込みを指示する信号であり、階層フラグは、記憶装置に記憶された画像を読み出す場合に、第１乃至第３階層のＳＤ画像のうちのいずれを読み出すかを指示するための、例えば２ビットのフラグである。なお、画像データの書き込みは、例えば、第１階層メモリ２、第２階層メモリ３、および第３階層メモリ４に対して同時に行われるようになされており、従って、Ｒ／Ｗ信号が書き込みを表している場合は、階層フラグは無視される（意味をもたない）。また、読み出しは、第１階層メモリ２、第２階層メモリ３、第３階層メモリ４それぞれについて個別に行われるようになされており、従って、階層フラグは、読み出し時においてのみ有効となる。但し、第１階層メモリ２、第２階層メモリ３、第３階層メモリ４からの読み出しも同時に行うようにすることが可能である。この場合、階層フラグは用いる必要がない。
【００９５】
第１階層メモリ２は、アドレス供給回路１によって指定されるアドレスに、ＲＭＷ回路５から供給される画像データを記憶し、また、そのアドレスに記憶されている画像データを読み出してＲＭＷ回路５に出力するようになされている。なお、第１階層メモリ２は、第１階層のＳＤ画像、即ち、ここでは、記憶装置に入力される画像データを記憶するようになされている。また、第１階層メモリ２は、少なくとも、１画面分の第１階層のＳＤ画像、即ち、ここでは、図２に示したように、５１２×５１２画素の画像データを記憶することができるようになされている。さらに、第１階層メモリ２を構成するメモリセルは、少なくとも、第１階層のＳＤ画像を構成する画素に割り当てられたビット数と同一のデータ長を有している。即ち、第１階層のＳＤ画像を構成する画素が、例えば、８ビットで表されるとき、第１階層メモリ２を構成するメモリセルは、少なくとも８ビットのデータ長を有している。
【００９６】
第２階層メモリ３は、アドレス供給回路１によって指定されるアドレスに、ＲＭＷ回路５から供給される画像データを記憶し、また、そのアドレスに記憶されている画像データを読み出してＲＭＷ回路５に出力するようになされている。なお、第２階層メモリ３は、第２階層のＳＤ画像を記憶するようになされている。即ち、本実施の形態では、例えば、第１階層のＳＤ画像を構成する、隣接する２×２（横×縦）の４画素の加算値が、第２階層の１の画素とされるようになされており、第２階層メモリ３は、そのような画素で構成される第２階層のＳＤ画像を記憶するようになされている。また、第２階層メモリ３は、少なくとも、１画面分の第２階層のＳＤ画像を記憶することのできる記憶容量を有している。即ち、ここでは、第１階層の２×２画素から第２階層の１の画素が形成されるから、第２階層のＳＤ画像は、２５６×２５６（＝５１２／２×５１２／２）画素で構成されることになる。従って、第２階層メモリ２は、そのような数の画素数で構成される第２階層のＳＤ画像を、少なくとも記憶することができるようになされている。さらに、第２階層メモリ３を構成するメモリセルは、少なくとも、第２階層のＳＤ画像を構成する画素を桁落ちさせずに記憶することのできるデータ長を有している。即ち、本実施の形態では、第１階層の画素が８ビットで表されるから、そのような８ビットの画素の４つの加算値である第２階層の画素は１０（＝ｌｏｇ₂（２⁸＋２⁸＋２⁸＋２⁸））ビットで表されることになる。従って、第２階層メモリ３を構成するメモリセルは、少なくとも１０ビットのデータ長を有している。
【００９７】
第３階層メモリ４は、アドレス供給回路１によって指定されるアドレスに、ＲＭＷ回路５から供給される画像データを記憶し、また、そのアドレスに記憶されている画像データを読み出してＲＭＷ回路５に出力するようになされている。なお、第３階層メモリ４は、第３階層のＳＤ画像を記憶するようになされている。即ち、本実施の形態では、例えば、第２階層のＳＤ画像を構成する、隣接する２×２の４画素、従って、第１階層のＳＤ画像を構成する４×４画素の加算値が、第３階層の１の画素とされるようになされており、第３階層メモリ４は、そのような画素で構成される第３階層のＳＤ画像を記憶するようになされている。また、第３階層メモリ４は、少なくとも、１画面分の第３階層のＳＤ画像を記憶することのできる記憶容量を有している。即ち、ここでは、第２階層の２×２画素から第３階層の１の画素が形成されるから、第２階層のＳＤ画像は、１２８×１２８（＝２５６／２×２５６／２）画素で構成されることになる。従って、第３階層メモリ４は、そのような数の画素数で構成される第３階層のＳＤ画像を、少なくとも記憶することができるようになされている。さらに、第３階層メモリ４を構成するメモリセルは、少なくとも、第３階層のＳＤ画像を構成する画素を桁落ちさせずに記憶することができるデータ長を有している。即ち、本実施の形態では、第２階層の画素が、上述したように１０ビットで表されるから、そのような１０ビットの画素の４つの加算値である第３階層の画素は１２（＝ｌｏｇ₂（２¹⁰＋２¹⁰＋２¹⁰＋２¹⁰））ビットで表されることになる。従って、第３階層メモリ４を構成するメモリセルは、少なくとも１２ビットのデータ長を有している。
【００９８】
なお、第１階層メモリ２、第２階層メモリ３、および第３階層メモリ４には、クロックが供給されるようになされており、このクロックに同期して、データの読み書きが行われるようになされている。
【００９９】
ＲＭＷ回路５は、記憶装置に供給される画像データを、第１階層のＳＤ画像として、第１階層メモリ２に書き込むようになされている。また、ＲＭＷ回路５は、第１階層のＳＤ画像から第２階層のＳＤ画像を算出する処理を行い、第２階層メモリ３に書き込むようになされている。さらに、ＲＭＷ回路５は、第１階層のＳＤ画像（または第２階層のＳＤ画像）から第３階層のＳＤ画像を算出する処理を行い、第３階層メモリ４に書き込むようになされている。また、ＲＭＷ回路５は、第１階層メモリ２、第２階層メモリ３、または第３階層メモリ４にそれぞれ記憶された画像データを読み出して出力するようにもなされている。なお、ＲＭＷ回路５には、クロック、Ｒ／Ｗ信号、階層フラグ、アドレス供給回路１が出力する制御信号が供給されるようになされており、ＲＭＷ回路５は、クロックに同期し、Ｒ／Ｗ信号、階層フラグ、制御信号に基づいて各種の処理を行うようになされている。
【０１００】
次に、その動作について、図３乃至図５を参照して説明する。
【０１０１】
なお、ここでは、上述の図３に示したように、１画面が５１２×５１２画素で構成され、各画素が８ビットで表される画像データが、第１階層のＳＤ画像として記憶装置に供給されるものとする。また、画像データは、いわゆる順次走査されて供給されるものとする。
【０１０２】
さらに、第１階層のＳＤ画像を構成する画素を、その最も左上の画素をｈ（０，０）とし、以下、同様にして、左からｘ＋１番目で、上からｙ＋１番目にある画素をｈ（ｘ，ｙ）と表す。第１階層のＳＤ画像は、上述したように、５１２×５１２画素で構成されるから、ｘ，ｙは、いずれも０乃至５１１（＝２⁹−１）の範囲の整数値をとる。
【０１０３】
また、０乃至２５５（＝２⁹／２−１）の範囲の整数値をとる変数ｓ，ｔを考えると、第２階層のＳＤ画像を構成する画素は、第１階層の隣接する２×２画素ｈ（２ｓ，２ｔ）， ｈ（２ｓ＋１，２ｔ），
ｈ（２ｓ，２ｔ＋１），ｈ（２ｓ＋１，２ｔ＋１）
の加算値となるが、それをｍ（ｓ，ｔ）と表す。従って、式

が成り立つ。
【０１０４】
さらに、０乃至１２７（＝２⁹／４−１）の範囲の整数値をとる変数ｍ，ｎを考えると、第３階層のＳＤ画像を構成する画素は、第２階層の隣接する２×２画素
ｍ（２ｍ，２ｎ）， ｍ（２ｍ＋１，２ｎ），
ｍ（２ｍ，２ｎ＋１），ｍ（２ｍ＋１，２ｎ＋１）
の加算値、即ち、第１階層の隣接する４×４画素
h(4m,4n), h(4m+1,4n), h(4m+2,4n), h(4m+3,4n),
h(4m,4n+1),h(4m+1,4n+1),h(4m+2,4n+1),h(4m+3,4n+1),
h(4m,4n+2),h(4m+1,4n+2),h(4m+2,4n+2),h(4m+3,4n+2),
h(4m,4n+3),h(4m+1,4n+3),h(4m+2,4n+3),h(4m+3,4n+3)
の加算値となるが、それをｑ（ｍ，ｎ）と表す。従って、式

が成り立つ。
【０１０５】
また、アドレス供給回路１には、データの書き込み時および読み出し時のいずれの場合も、水平アドレスＨＡおよび垂直アドレスＶＡの組合せ（ＨＡ，ＶＡ）が、
（０，０），（１，０），・・・，（５１１，０），
（０，１），（１，１），・・・，（５１１，１），
・
・
・
（５１１，０），（５１１，１），・・・，（５１１，５１１）
の順（順次走査に対応する順）で、クロックに同期して供給されるものとする。
【０１０６】
さらに、９ビットの水平アドレスＨＡの各ビットを、その最下位ビットをｈａ０として、ｈａ１，ｈａ２，・・・，ｈａ８（ｈａ８は最上位ビット）と表すとともに、９ビットの垂直アドレスＶＡの各ビットも同様に、その最下位ビットをｖａ０として、ｖａ１，ｖａ２，・・・，ｖａ８（ｖａ８は最上位ビット）と表す。
【０１０７】
また、記憶装置への画像データの書き込み時には、ＲＭＷ回路５には、第１階層のＳＤ画像が、クロックに同期して順次走査されて供給され、これに伴い、アドレス供給回路１には、水平アドレスＨＡおよび垂直アドレスＶＡが、上述したように供給されるものとする。
【０１０８】
この場合、第１階層メモリ２へのアクセスは、次のようにして行われる。
【０１０９】
即ち、図４に示すように、まず書き込み時（Ｒ／Ｗ信号が書き込みを表している場合）においては、アドレス供給回路１は、そこに供給される水平アドレスＨＡおよび垂直アドレスＶＡを、そのまま、第１階層メモリ２のアドレス端子（ＡＤｈ，ＡＤｖ）に供給する。一方、ＲＭＷ回路５は、そこに供給される第１階層のＳＤ画像データ（ＳＤ画素（画素値））を、水平アドレスＨＡおよび垂直アドレスＶＡによって指定されている第１階層メモリ２のメモリセル（図示せず）に書き込む。以下、同様の処理が行われることで、５１２×５１２画素で構成される１画面分の第１階層のＳＤ画像が、第１階層メモリ２に記憶される。即ち、これにより、第１階層メモリ２のアドレス
（０，０），（１，０），・・・，（５１１，０），
（０，１），（１，１），・・・，（５１１，１），
・・・
（５１１，０），（５１１，１），・・・，（５１１，５１１）
には、第１階層の画素（画素値）
ｈ（０，０），ｈ（１，０），・・・，ｈ（５１１，０），
ｈ（０，１），ｈ（１，１），・・・，ｈ（５１１，１），
・・・
ｈ（５１１，０），ｈ（５１１，１），・・・，ｈ（５１１，５１１）
がそれぞれ記憶される。
【０１１０】
読み出し時（Ｒ／Ｗ信号が読み出しを表している場合）においては、アドレス供給回路１は、階層フラグが第１階層を表していれば、やはり、そこに供給される水平アドレスＨＡおよび垂直アドレスＶＡを、そのまま、第１階層メモリ２のアドレス端子に供給する。そして、ＲＭＷ回路５は、水平アドレスＨＡおよび垂直アドレスＶＡによって指定されている第１階層メモリ２のメモリセルに記憶されている第１階層のＳＤ画像データを読み出し、以下、同様の処理が行われることで、５１２×５１２画素で構成される１画面分の第１階層のＳＤ画像が、第１階層メモリ２から読み出される。即ち、これにより、順次走査された第１階層のＳＤ画像が出力される。
【０１１１】
次に、第２階層メモリ３へのアクセスについて説明する。
【０１１２】
まず書き込み時においては、アドレス供給回路１は、例えば、図５に示すように、そこに供給される水平アドレスＨＡの一部としての、そのうちの最下位ビットｈａ０を除く上位８ビットｈａ１乃至ｈａ８と、垂直アドレスＶＡの一部としての、最下位ビットｖａ０を除く上位８ビットｖａ１乃至ｖａ８を、第２階層メモリ３のアドレス端子に供給する。さらに、アドレス供給回路１は、水平アドレスＨＡの最下位ビットｈａ０と、垂直アドレスＶＡの最下位ビットｖａ０を、制御信号として、ＲＭＷ回路５に出力する。
【０１１３】
従って、例えば、図３にＤ１で示すような第１階層の２×２の４画素ｈ（２ｓ，２ｔ），ｈ（２ｓ＋１，２ｔ），ｈ（２ｓ，２ｔ＋１），ｈ（２ｓ＋１，２ｔ＋１）が、ＲＭＷ回路５に供給されるタイミングにおいては、いずれのタイミングでも、アドレス供給回路１は、第２階層メモリ３の同一アドレス（ｓ，ｔ）を指定する信号を、第２階層メモリ３に出力する。
【０１１４】
一方、ＲＭＷ回路５では、そこに供給される第１階層のＳＤ画像データが、演算器１３に入力される。演算器１３には、第１階層のＳＤ画像データの他、スイッチ１２の出力が供給されるようになされており、演算器１３は、それらを加算して、書き込み部１４に供給するようになされている。
【０１１５】
スイッチ１２は、ＮＯＲゲート１５の出力に対応して、端子１２ａまたは１２ｂのうちのいずれか一方を選択するようになされており、また、端子１２ａまたは１２ｂには、読み出し部１１の出力または０がそれぞれ供給されるようになされている。ＮＯＲゲート１５には、アドレス供給回路１からの水平アドレスＨＡの最下位ビットｈａ０と、垂直アドレスＶＡの最下位ビットｖａ０とが供給されるようになされており、従って、その出力は、最下位ビットｈａ０およびｖａ０がいずれも０の場合、即ち、第１階層の２×２画素ｈ（２ｓ，２ｔ），ｈ（２ｓ＋１，２ｔ），ｈ（２ｓ，２ｔ＋１），ｈ（２ｓ＋１，２ｔ＋１）のうちの左上の画素ｈ（２ｓ，２ｔ）が、演算器１３に供給されるタイミングの場合のみ、Ｈレベルとなり、他の場合はＬレベルとなるようになされている。
【０１１６】
そして、スイッチ１２は、ＮＯＲゲート１５の出力がＬレベルまたはＨレベルのとき、端子１２ａまたは１２ｂをそれぞれ選択するようになされている。
【０１１７】
また、読み出し部１１は、アドレス供給回路１が出力する信号に対応するアドレスに記憶されているデータ（記憶データ）を読み出すようになされている。
【０１１８】
従って、第１階層の２×２画素ｈ（２ｓ，２ｔ），ｈ（２ｓ＋１，２ｔ），ｈ（２ｓ，２ｔ＋１），ｈ（２ｓ＋１，２ｔ＋１）のうちの左上の画素ｈ（２ｓ，２ｔ）が演算器１３に供給されるタイミングにおいては、読み出し部１１において、第２階層メモリ３のアドレス（ｓ，ｔ）に記憶されたデータが読み出され、端子１２ａに供給されるが、この場合、水平アドレスＨＡの最下位ビットｈａ０、および垂直アドレスＶＡの最下位ビットｖａ０はいずれも０であるから、ＮＯＲゲート１５の出力はＨレベルとなり、スイッチ１２は端子１２ｂを選択する。
【０１１９】
その結果、演算器１３には、スイッチ１２を介して０が供給される。
【０１２０】
演算器１３では、この０と第１階層の画素ｈ（２ｓ，２ｔ）とが加算され、その加算値（０＋ｈ（２ｓ，２ｔ））が、書き込み部１４に供給される。書き込み部１４は、演算器１３の出力を、アドレス供給回路１が出力する信号に対応するアドレス、即ち、第２階層メモリ３のアドレス（ｓ，ｔ）に書き込む。
【０１２１】
次に、第１階層の２×２画素ｈ（２ｓ，２ｔ），ｈ（２ｓ＋１，２ｔ），ｈ（２ｓ，２ｔ＋１），ｈ（２ｓ＋１，２ｔ＋１）のうちの左上の画素ｈ（２ｓ，２ｔ）の右隣の画素ｈ（２ｓ＋１，２ｔ）が演算器１３に供給されるタイミングにおいては、読み出し部１１において、やはり、第２階層メモリ３のアドレス（ｓ，ｔ）に記憶されたデータ（ここでは、０＋ｈ（２ｓ，２ｔ））が読み出され、端子１２ａに供給される。
【０１２２】
一方、この場合、水平アドレスＨＡの最下位ビットｈａ０は１で、垂直アドレスＶＡの最下位ビットｖａ０は０となっているから、ＮＯＲゲート１５の出力はＬレベルとなり、スイッチ１２は端子１２ａを選択する。
【０１２３】
その結果、演算器１３には、スイッチ１２を介して、読み出し部１１において読み出されたデータ（記憶データ）（ここでは、０＋ｈ（２ｓ，２ｔ））が供給される。
【０１２４】
演算器１３では、スイッチ１２を介して供給されるデータと、第１階層の画素ｈ（２ｓ＋１，２ｔ）とが加算され、その加算値（０＋ｈ（２ｓ，２ｔ）＋ｈ（２ｓ＋１，２ｔ））が、書き込み部１４に供給される。書き込み部１４は、演算器１３の出力を、アドレス供給回路１が出力する信号に対応するアドレス、即ち、第２階層メモリ３のアドレス（ｓ，ｔ）に書き込む。
【０１２５】
その後、第１階層の上から２ｔ＋１ライン目の画像データの供給が開始され、第１階層の２×２画素ｈ（２ｓ，２ｔ），ｈ（２ｓ＋１，２ｔ），ｈ（２ｓ，２ｔ＋１），ｈ（２ｓ＋１，２ｔ＋１）のうちの左下の画素ｈ（２ｓ，２ｔ＋１）が、演算器１３に供給されると、読み出し部１１において、やはり、第２階層メモリ３のアドレス（ｓ，ｔ）に記憶されたデータ（ここでは、０＋ｈ（２ｓ，２ｔ）＋ｈ（２ｓ＋１，２ｔ））が読み出され、端子１２ａに供給される。
【０１２６】
一方、この場合、水平アドレスＨＡの最下位ビットｈａ０は０で、垂直アドレスＶＡの最下位ビットｖａ０は１となっているから、ＮＯＲゲート１５の出力はＬレベルとなり、スイッチ１２は端子１２ａを選択する。
【０１２７】
その結果、演算器１３には、スイッチ１２を介して、読み出し部１１において読み出されたデータ（記憶データ）（ここでは、０＋ｈ（２ｓ，２ｔ）＋ｈ（２ｓ＋１，２ｔ））が供給される。
【０１２８】
演算器１３では、スイッチ１２を介して供給されるデータと、第１階層の画素ｈ（２ｓ，２ｔ＋１）とが加算され、その加算値（０＋ｈ（２ｓ，２ｔ）＋ｈ（２ｓ＋１，２ｔ）＋ｈ（２ｓ，２ｔ＋１））が、書き込み部１４に供給される。書き込み部１４は、演算器１３の出力を、アドレス供給回路１が出力する信号に対応するアドレス、即ち、第２階層メモリ３のアドレス（ｓ，ｔ）に書き込む。
【０１２９】
次に、第１階層の２×２画素ｈ（２ｓ，２ｔ），ｈ（２ｓ＋１，２ｔ），ｈ（２ｓ，２ｔ＋１），ｈ（２ｓ＋１，２ｔ＋１）のうちの左下の画素ｈ（２ｓ，２ｔ＋１）の右隣の画素ｈ（２ｓ＋１，２ｔ＋１）が、演算器１３に供給されると、読み出し部１１において、やはり、第２階層メモリ３のアドレス（ｓ，ｔ）に記憶されたデータ（ここでは、０＋ｈ（２ｓ，２ｔ）＋ｈ（２ｓ＋１，２ｔ）＋ｈ（２ｓ，２ｔ＋１））が読み出され、端子１２ａに供給される。
【０１３０】
一方、この場合、水平アドレスＨＡの最下位ビットｈａ０および垂直アドレスＶＡの最下位ビットｖａ０は、いずれも１となっているから、ＮＯＲゲート１５の出力はＬレベルとなり、スイッチ１２は端子１２ａを選択する。
【０１３１】
その結果、演算器１３には、スイッチ１２を介して、読み出し部１１において読み出されたデータ（記憶データ）（ここでは、０＋ｈ（２ｓ，２ｔ）＋ｈ（２ｓ＋１，２ｔ）＋ｈ（２ｓ，２ｔ＋１））が供給される。
【０１３２】
演算器１３では、スイッチ１２を介して供給されるデータと、第１階層の画素ｈ（２ｓ＋１，２ｔ＋１）とが加算され、その加算値（０＋ｈ（２ｓ，２ｔ）＋ｈ（２ｓ＋１，２ｔ）＋ｈ（２ｓ，２ｔ＋１）＋ｈ（２ｓ＋１，２ｔ＋１））が、書き込み部１４に供給される。書き込み部１４は、演算器１３の出力を、アドレス供給回路１が出力する信号に対応するアドレス、即ち、第２階層メモリ３のアドレス（ｓ，ｔ）に書き込む。
【０１３３】
従って、第２階層メモリ３のアドレス（ｓ，ｔ）には、最終的には、式ｈ（２ｓ，２ｔ）＋ｈ（２ｓ＋１，２ｔ）＋ｈ（２ｓ，２ｔ＋１）＋ｈ（２ｓ＋１，２ｔ＋１）で表される加算値、即ち、上述の式（８）に示した第２階層の画素（画素値）ｍ（ｓ，ｔ）が記憶されることになる。
【０１３４】
以上のようにして、第２階層メモリ３には、２５６×２５６画素で１画面が構成される第２階層のＳＤ画像が記憶される。
【０１３５】
以上のように、第１階層のＳＤ画像データを、水平アドレスＨＡおよび垂直アドレスＶＡによって指定される第１階層メモリ２のアドレス（ＨＡ，ＶＡ）に書き込むとともに、水平アドレスＨＡおよび垂直アドレスＶＡの一部ｈａ１乃至ｈａ８およびｖａ１乃至ｖａ８によって指定される第２階層メモリのアドレスから、そこに記憶されている記憶データを読み出し、その記憶データと第１階層のＳＤ画像データとを加算する処理を行い、その加算値を記憶データが記憶されていた第２階層メモリのアドレスに書き込むようにしたので、第１階層のＳＤ画像データを記憶するのと同時に、第２階層のＳＤ画像データを生成して記憶することができる。即ち、リアルタイムで、第２階層のＳＤ画像データを得ることができる。
【０１３６】
次に、第２階層メモリ３からの第２階層のＳＤ画像の読み出しについて説明する。
【０１３７】
読み出し時においては、アドレス供給回路１は、階層フラグが第２階層を表している場合、やはり、そこに供給される水平アドレスＨＡまたは垂直アドレスＶＡのそれぞれ上位８ビットｈａ１乃至ｈａ８またはｖａ１乃至ｖａ８を、第２階層メモリ２のアドレス端子に供給するとともに、それぞれの最下位ビットｈａ０またはｖａ０を、制御信号として、ＲＭＷ回路５に出力する。
【０１３８】
一方、ＲＭＷ回路５では、読み出し部１１に対して、階層フラグ、Ｒ／Ｗ信号、およびＮＯＲゲート１５の出力が供給されるようになされており、読み出し部１１は、Ｒ／Ｗ信号が読み出しを表しており、かつ階層フラグが第２階層を表している場合には、ＮＯＲゲート１５の出力がＨレベルのときだけ、アドレス供給回路１が出力する信号に対応するアドレスに記憶されている第２階層のＳＤ画像データを読み出して出力する。
【０１３９】
即ち、上述したことから、水平アドレスＨＡと垂直アドレスＶＡとの組が（２ｓ，２ｔ），（２ｓ＋１，２ｔ），（２ｓ，２ｔ＋１），（２ｓ＋１，２ｔ＋１）の場合は、アドレス供給回路１からは、いずれも同一のアドレス（ｓ，ｔ）が出力される。従って、単純に、アドレス供給回路１が出力する信号に対応する第２階層メモリ３のアドレスからデータを読み出したのでは、同一のデータが４回重複して読み出されることになる。
【０１４０】
そこで、読み出し部１１では、水平アドレスＨＡと垂直アドレスＶＡとの組が（２ｓ，２ｔ），（２ｓ＋１，２ｔ），（２ｓ，２ｔ＋１），（２ｓ＋１，２ｔ＋１）のうちの、例えば、（２ｓ，２ｔ）となるときだけ、即ち、ＮＯＲゲート１５の出力がＨレベルのときだけ、第２階層メモリ３のアドレス（ｓ，ｔ）から、第２階層の画素（画素値）ｍ（ｓ，ｔ）を読み出すようになっている。
【０１４１】
読み出し部１１が読み出した第２階層のＳＤ画像データは、スイッチ１６に供給される。スイッチ１６は、Ｒ／Ｗ信号が読み出しを表している場合のみオンになり、他の場合はオフになっており、従って、いまの場合、スイッチ１６はオンになっているから、読み出し部１１によって読み出された第２階層のＳＤ画像データは、スイッチ１６を介して出力される。
【０１４２】
以上のようにして、第２階層メモリ３からは、そこに記憶されている２５６×２５６画素で構成される１画面分の第２階層のＳＤ画像が読み出される。即ち、これにより、順次走査された第２階層のＳＤ画像が出力される。
【０１４３】
次に、第３階層メモリ４へのアクセスについて説明する。
【０１４４】
まず書き込み時においては、アドレス供給回路１は、例えば、図６に示すように、そこに供給される水平アドレスＨＡの一部としての、そのうちの下位２ビットｈａ０およびｈａ１を除く上位７ビットｈａ２乃至ｈａ８と、垂直アドレスＶＡの一部としての、下位２ビットｖａ０およびｖａ１を除く上位７ビットｖａ２乃至ｖａ８を、第３階層メモリ４のアドレス端子に供給する。さらに、アドレス供給回路１は、水平アドレスＨＡの下位２ビットｈａ０およびｈａ１と、垂直アドレスＶＡの下位２ビットｖａ０およびｖａ１を、制御信号として、ＲＭＷ回路５に出力する。
【０１４５】
従って、例えば、図３にＤ２で示すような第１階層の４×４の１６画素ｈ（４ｍ，４ｎ），ｈ（４ｍ＋１，４ｎ），ｈ（４ｍ＋２，４ｎ），ｈ（４ｍ＋３，４ｎ），ｈ（４ｍ，４ｎ＋１），ｈ（４ｍ＋１，４ｎ＋１），ｈ（４ｍ＋２，４ｎ＋１），ｈ（４ｍ＋３，４ｎ＋１），ｈ（４ｍ，４ｎ＋２），ｈ（４ｍ＋１，４ｎ＋２），ｈ（４ｍ＋２，４ｎ＋２），ｈ（４ｍ＋３，４ｎ＋２），ｈ（４ｍ，４ｎ＋３），ｈ（４ｍ＋１，４ｎ＋３），ｈ（４ｍ＋２，４ｎ＋３），ｈ（４ｍ＋３，４ｎ＋３）が、ＲＭＷ回路５に供給されるタイミングにおいては、いずれのタイミングでも、アドレス供給回路１は、第３階層メモリ４の同一アドレス（ｍ，ｎ）を指定する信号を出力する。
【０１４６】
一方、ＲＭＷ回路５では、そこに供給される第１階層のＳＤ画像データが、演算器２３に入力される。演算器２３には、第１階層のＳＤ画像データの他、スイッチ２２の出力が供給されるようになされており、演算器２３は、それらを加算して、書き込み部２４に供給するようになされている。
【０１４７】
スイッチ２２は、ＮＯＲゲート２５の出力に対応して、端子２２ａまたは２２ｂのうちのいずれか一方を選択するようになされており、また、端子２２ａまたは２２ｂには、読み出し部２１の出力または０がそれぞれ供給されるようになされている。ＮＯＲゲート２５には、アドレス供給回路１からの水平アドレスＨＡの下位２ビットｈａ０およびｈａ１と、垂直アドレスＶＡの下位２ビットｖａ０およびｖａ１とが供給されるようになされており、従って、その出力は、下位２ビットｈａ０およびｈａ１並びにｖａ０およびｖａ１がいずれも０の場合、即ち、第１階層の４×４画素ｈ（４ｍ，４ｎ），ｈ（４ｍ＋１，４ｎ），ｈ（４ｍ＋２，４ｎ），ｈ（４ｍ＋３，４ｎ），ｈ（４ｍ，４ｎ＋１），ｈ（４ｍ＋１，４ｎ＋１），ｈ（４ｍ＋２，４ｎ＋１），ｈ（４ｍ＋３，４ｎ＋１），ｈ（４ｍ，４ｎ＋２），ｈ（４ｍ＋１，４ｎ＋２），ｈ（４ｍ＋２，４ｎ＋２），ｈ（４ｍ＋３，４ｎ＋２），ｈ（４ｍ，４ｎ＋３），ｈ（４ｍ＋１，４ｎ＋３），ｈ（４ｍ＋２，４ｎ＋３），ｈ（４ｍ＋３，４ｎ＋３）のうちの左上の画素ｈ（４ｍ，４ｎ）が、演算器２３に供給されるタイミングの場合のみ、Ｈレベルとなり、他の場合はＬレベルとなるようになされている。
【０１４８】
そして、スイッチ２２は、ＮＯＲゲート２５の出力がＬレベルまたはＨレベルのとき、端子２２ａまたは２２ｂをそれぞれ選択するようになされている。
【０１４９】
また、読み出し部２１は、アドレス供給回路１が出力する信号に対応するアドレスに記憶されているデータ（記憶データ）を読み出すようになされている。
【０１５０】
従って、第１階層の画素ｈ（４ｍ，４ｎ）が演算器２３に供給されるタイミングにおいては、読み出し部２１において、第３階層メモリ４のアドレス（ｍ，ｎ）に記憶されたデータが読み出され、端子２２ａに供給されるが、この場合、水平アドレスＨＡの下位２ビットｈａ０およびｈａ１、並びに垂直アドレスＶＡの下位２ビットｖａ０およびｖａ１はいずれも０であるから、ＮＯＲゲート２５の出力はＨレベルとなり、スイッチ２２は端子２２ｂを選択する。
【０１５１】
その結果、演算器２３には、スイッチ２２を介して０が供給される。
【０１５２】
演算器２３では、この０と第１階層の画素ｈ（４ｍ，４ｎ）とが加算され、その加算値（０＋ｈ（４ｍ，４ｎ））が、書き込み部２４に供給される。書き込み部２４は、演算器２３の出力を、アドレス供給回路１が出力する信号に対応するアドレス、即ち、第３階層メモリ４のアドレス（ｍ，ｎ）に書き込む。
【０１５３】
次に、第１階層の画素ｈ（４ｍ，４ｎ）の右隣の画素ｈ（４ｍ＋１，４ｎ）が演算器２３に供給されるタイミングにおいては、読み出し部２１において、やはり、第３階層メモリ４のアドレス（ｍ，ｎ）に記憶されたデータ（ここでは、０＋ｈ（４ｍ，４ｎ））が読み出され、端子２２ａに供給される。
【０１５４】
一方、この場合、水平アドレスＨＡの下位２ビットｈａ０またはｈａ１はそれぞれ１または０で、垂直アドレスＶＡの下位２ビットｖａ０およびｖａ１はいずれも０となっているから、ＮＯＲゲート２５の出力はＬレベルとなり、スイッチ２２は端子２２ａを選択する。
【０１５５】
その結果、演算器２３には、スイッチ２２を介して、読み出し部２１において読み出されたデータ（記憶データ）（ここでは、０＋ｈ（４ｍ，４ｎ））が供給される。
【０１５６】
演算器２３では、スイッチ２２を介して供給されるデータと、第１階層の画素ｈ（４ｍ＋１，４ｎ）とが加算され、その加算値（０＋ｈ（４ｍ，４ｎ）＋ｈ（４ｍ＋１，４ｎ））が、書き込み部２４に供給される。書き込み部２４は、演算器２３の出力を、アドレス供給回路１が出力する信号に対応するアドレス、即ち、第３階層メモリ４のアドレス（ｍ，ｎ）に書き込む。
【０１５７】
次に、第１階層の画素ｈ（４ｍ＋１，４ｎ）の右隣の画素ｈ（４ｍ＋２，４ｎ）が演算器２３に供給されるタイミングにおいては、読み出し部２１において、やはり、第３階層メモリ４のアドレス（ｍ，ｎ）に記憶されたデータ（ここでは、０＋ｈ（４ｍ，４ｎ）＋ｈ（４ｍ＋１，４ｎ））が読み出され、端子２２ａに供給される。
【０１５８】
一方、この場合、水平アドレスＨＡの下位２ビットｈａ０またはｈａ１はそれぞれ１または０で、垂直アドレスＶＡの下位２ビットｖａ０およびｖａ１はいずれも０となっているから、ＮＯＲゲート２５の出力はＬレベルとなり、スイッチ２２は端子２２ａを選択する。
【０１５９】
その結果、演算器２３には、スイッチ２２を介して、読み出し部２１において読み出されたデータ（記憶データ）（ここでは、０＋ｈ（４ｍ，４ｎ）＋ｈ（４ｍ＋１，４ｎ））が供給される。
【０１６０】
演算器２３では、スイッチ２２を介して供給されるデータと、第１階層の画素ｈ（４ｍ＋２，４ｎ）とが加算され、その加算値（０＋ｈ（４ｍ，４ｎ）＋ｈ（４ｍ＋１，４ｎ）＋ｈ（４ｍ＋２，４ｎ））が、書き込み部２４に供給される。書き込み部２４は、演算器２３の出力を、アドレス供給回路１が出力する信号に対応するアドレス、即ち、第３階層メモリ４のアドレス（ｍ，ｎ）に書き込む。
【０１６１】
以下、第１階層の画素ｈ（４ｍ＋３，４ｎ），ｈ（４ｍ，４ｎ＋１），ｈ（４ｍ＋１，４ｎ＋１），ｈ（４ｍ＋２，４ｎ＋１），ｈ（４ｍ＋３，４ｎ＋１），ｈ（４ｍ，４ｎ＋２），ｈ（４ｍ＋１，４ｎ＋２），ｈ（４ｍ＋２，４ｎ＋２），ｈ（４ｍ＋３，４ｎ＋２），ｈ（４ｍ，４ｎ＋３），ｈ（４ｍ＋１，４ｎ＋３），ｈ（４ｍ＋２，４ｎ＋３），ｈ（４ｍ＋３，４ｎ＋３）が、演算器２３に供給されるタイミングにおいては、いずれにおいても、上述の場合と同様の処理が行われ、これにより、第３階層メモリ４のアドレス（ｍ，ｎ）には、最終的には、上述の式（９）に示した第３階層の画素（画素値）ｑ（ｍ，ｎ）が記憶されることになる。
【０１６２】
以上のようにして、第３階層メモリ４には、１２８×１２８画素で１画面が構成される第３階層のＳＤ画像が記憶される。
【０１６３】
従って、第１階層のＳＤ画像データを記憶するのと同時に、第２階層のＳＤ画像データ、さらには、第３階層のＳＤ画像データを生成して記憶することができる。即ち、リアルタイムで、第２および第３階層のＳＤ画像データを得ることができる。
【０１６４】
次に、第３階層メモリ４からの第３階層のＳＤ画像の読み出しについて説明する。
【０１６５】
読み出し時においては、アドレス供給回路１は、階層フラグが第３階層を表している場合、やはり、そこに供給される水平アドレスＨＡまたは垂直アドレスＶＡのそれぞれ上位７ビットｈａ２乃至ｈａ８またはｖａ２乃至ｖａ８を、第３階層メモリ４のアドレス端子に供給するとともに、それぞれの下位２ビットｈａ０およびｈａ１またはｖａ０およびｖａ１を、制御信号として、ＲＭＷ回路５に出力する。
【０１６６】
一方、ＲＭＷ回路５では、読み出し部２１に対して、階層フラグ、Ｒ／Ｗ信号、およびＮＯＲゲート２５の出力が供給されるようになされており、読み出し部２１は、Ｒ／Ｗ信号が読み出しを表しており、階層フラグが第３階層を表している場合には、ＮＯＲゲート２５の出力がＨレベルのときだけ、アドレス供給回路１が出力する信号に対応するアドレスに記憶されている第３階層のＳＤ画像データを読み出して出力する。
【０１６７】
即ち、上述したことから、水平アドレスＨＡと垂直アドレスＶＡとの組が、（４ｍ，４ｎ），（４ｍ＋１，４ｎ），（４ｍ＋２，４ｎ），（４ｍ＋３，４ｎ），（４ｍ，４ｎ＋１），（４ｍ＋１，４ｎ＋１），（４ｍ＋２，４ｎ＋１），（４ｍ＋３，４ｎ＋１），（４ｍ，４ｎ＋２），（４ｍ＋１，４ｎ＋２），（４ｍ＋２，４ｎ＋２），（４ｍ＋３，４ｎ＋２），（４ｍ，４ｎ＋３），（４ｍ＋１，４ｎ＋３），（４ｍ＋２，４ｎ＋３），（４ｍ＋３，４ｎ＋３）の場合は、アドレス供給回路１からは、いずれも同一のアドレス（ｍ，ｎ）が出力される。従って、単純に、アドレス供給回路１が出力する信号に対応する第３階層メモリ４のアドレスからデータを読み出したのでは、同一のデータが１６回重複して読み出されることになる。
【０１６８】
そこで、読み出し部２１では、水平アドレスＨＡと垂直アドレスＶＡとの組が、上述のうちの、例えば、（４ｍ，４ｎ）となるときだけ、即ち、ＮＯＲゲート２５の出力がＨレベルのときだけ、第３階層メモリ４のアドレス（ｍ，ｎ）から、第３階層の画素（画素値）ｍ（ｍ，ｎ）を読み出すようになっている。
【０１６９】
読み出し部２１が読み出した第３階層のＳＤ画像データは、スイッチ２６に供給される。スイッチ２６は、Ｒ／Ｗ信号が読み出しを表している場合のみオンになり、他の場合はオフになっており、従って、いまの場合、スイッチ２６はオンになっているから、読み出し部２１によって読み出された第３階層のＳＤ画像データは、スイッチ２６を介して出力される。
【０１７０】
以上のようにして、第３階層メモリ４からは、そこに記憶されている１２８×１２８画素で構成される１画面分の第３階層のＳＤ画像が読み出される。即ち、これにより、順次走査された第３階層のＳＤ画像が出力される。
【０１７１】
なお、第２階層メモリ３からの第２階層のＳＤ画像データの読み出しは、上述したようにして行う他、例えば、アドレス供給回路１から、水平アドレスＨＡの下位８ビットｈａ０乃至ｈａ７と、垂直アドレスＶＡの下位８ビットｖａ０乃至ｖａ７を、第２階層メモリ３のアドレスとして与えることにより行うことも可能である。同様に、第３階層メモリ４からの第３階層のＳＤ画像データの読み出しも、アドレス供給回路１から、水平アドレスＨＡの下位７ビットｈａ０乃至ｈａ６と、垂直アドレスＶＡの下位７ビットｖａ０乃至ｖａ６を、第３階層メモリ４のアドレスとして与えることにより行うことが可能である。
【０１７２】
図１の第１階層メモリ１０１、第２階層メモリ１０２、または第３階層メモリ１０３には、以上のようにして、図２の第１階層メモリ２、第２階層メモリ３、または第３階層メモリ４に記憶された第１乃至第３階層のＳＤ画像がそれぞれ記憶されている。従って、図１の第１階層メモリ１０１、第２階層メモリ１０２、または第３階層メモリ１０３は、基本的に、図２の第１階層メモリ２、第２階層メモリ３、または第３階層メモリ４とそれぞれ同様に構成される。
【０１７３】
次に、図７は、図１の多階層クラス分類部１０４（多階層クラス分類回路１０４ａ乃至１０４ｄそれぞれ）の構成例を示している。
【０１７４】
第１階層メモリ１０１、第２階層メモリ１０２、または第３階層メモリ１０３にそれぞれ記憶されている第１乃至第３階層のＳＤ画像は、選択回路１１２に供給されるようになされている。また、第１または第２階層のＳＤ画像は、アクティビティ検出回路１１１₁または１１１₂にもそれぞれ供給されるようになされている。
【０１７５】
アクティビティ検出回路１１１₁または１１１₂は、例えば、第１または第２階層のＳＤ画像における、注目画素の位置付近にあるＳＤ画素を用いて、そのアクティビティを検出し、その検出結果を、選択回路１１２に検出するようになされている。選択回路１１２は、アクティビティ検出回路１１１₁および１１１₂からのアクティビティに基づいて、第１乃至第３階層のＳＤ画像のうちのいずれかを選択し、クラスタップ生成回路１１３に供給するようになされている。また、選択回路１１２は、第１乃至第３階層のうちのいずれを選択したかを表す、例えば、２ビットの選択信号を合成回路１１５に出力するようにもなされている。クラスタップ生成回路１１３は、選択回路１１２からの画像を用いて、注目画素のクラス分類を行うためのクラスタップを生成し、クラス分類回路１１４に供給するようになされている。クラス分類回路１１４は、クラスタップ生成回路１１３からのクラスタップを用いてクラス分類を行い、そのクラス分類結果を、合成回路１１５に供給するようになされている。合成回路１１５は、選択回路１１２からの選択信号と、クラス分類回路１１４からのクラス分類結果としてのクラスとを合成して、１つの値にし、これを、注目画素の最終的なクラス分類結果として、適応処理部１０５（図１）に供給するようになされている。
【０１７６】
次に、その動作について説明する。
【０１７７】
まず、アクティビティ検出回路１１１₁または１１１₂において、第１または第２階層のＳＤ画像における、注目画素付近のアクティビティがそれぞれ検出される。
【０１７８】
即ち、アクティビティ検出回路１１１₁では、第１階層のＳＤ画像を構成する画素のうちの、例えば、注目画素の位置に一致する画素を中心とした３×３画素の範囲におけるアクティビティが検出される。また、アクティビティ検出回路１１１₂でも、第２階層のＳＤ画像を構成する画素のうちの、例えば、注目画素の位置に一致する画素を中心とした３×３画素の範囲におけるアクティビティが検出される。
【０１７９】
ここで、第２階層のＳＤ画像は、第１階層のＳＤ画像の横または縦の画素数をそれぞれ１／２にした画像であるから、第１階層のＳＤ画像を基準に考えれば、アクティビティ検出回路１１１₂では、アクティビティ検出回路１１１₁における範囲よりも広範囲におけるアクティビティが検出される。
【０１８０】
なお、以上のように、注目画素の位置に一致する第１および第２階層のＳＤ画素を中心とする３×３画素の範囲、即ち、図１３で説明したクラスタップに対応するような正方形状の範囲のアクティビティが検出されるのは、例えば、多階層クラス分類回路１０４ａにおいてであって、他の多階層クラス分類回路１０４ｂ乃至１０４ｄでは、例えば、図１４乃至図１６で説明したクラスタップに対応するような範囲それぞれのアクティビティが検出される。
【０１８１】
アクティビティ検出回路１１１₁または１１１₂でそれぞれ検出された第１または第２階層の画像についてのアクティビティは、いずれも、選択回路１１２に供給される。選択回路１１２では、アクティビティ検出回路１１１₁および１１１₂からのアクティビティに基づいて、第１乃至第３階層のＳＤ画像のうちのいずれかが選択される。
【０１８２】
即ち、選択回路１１２は、第１階層の画像についてのアクティビティが、所定の閾値εより大きいか否かを判定する。第１階層の画像についてのアクティビティが、所定の閾値εより大きい場合、選択回路１１２は、第１階層の画像を選択し、クラスタップ生成回路１１３に供給する。
【０１８３】
また、第１階層の画像についてのアクティビティが、所定の閾値εより大きくない場合、選択回路１１２は、第２階層の画像についてのアクティビティが、所定の閾値εより大きいかどうかを判定する。第２階層の画像についてのアクティビティが、所定の閾値εより大きい場合、選択回路１１２は、第２階層の画像を選択し、クラスタップ生成回路１１３に供給する。
【０１８４】
そして、第２階層の画像についてのアクティビティが、所定の閾値εより大きくない場合、選択回路１１２は、第３階層の画像を選択し、クラスタップ生成回路１１３に供給する。
【０１８５】
さらに、選択回路１１２は、選択した階層を表す選択信号を、合成回路１１５に供給する。
【０１８６】
クラスタップ生成回路１１３では、選択回路１１２から供給される階層の画像を用いてクラスタップが生成（形成）される。
【０１８７】
即ち、選択回路１１２において第１階層のＳＤ画像が選択された場合、つまり、図８においてＲ１で示す、第１階層のＳＤ画像を構成するＳＤ画素のうちの、注目画素の位置に一致するＳＤ画素を中心とした３×３画素の範囲のアクティビティが閾値εより大きい場合には、クラスタップ生成回路１１３では、その３×３の第１階層のＳＤ画素がクラスタップとされ、クラス分類回路１１４に供給される。なお、図８において、○印は第１階層のＳＤ画素を、×印はＨＤ画素を示している。
【０１８８】
また、選択回路１１２において第２階層のＳＤ画像が選択された場合、即ち、第１階層のＳＤ画像を基準とすれば、図８においてＲ２で示す、第２階層のＳＤ画像（第１階層のＳＤ画像の横または縦の画素数をそれぞれ１／２にした画像）を構成するＳＤ画素のうちの、注目画素の位置に一致するＳＤ画素を中心とした３×３画素の範囲のアクティビティが閾値εより大きい場合には、クラスタップ生成回路１１３では、その３×３の第２階層のＳＤ画素がクラスタップとされ、クラス分類回路１１４に供給される。従って、この場合、第１階層のＳＤ画像を基準とすれば、第１階層のＳＤ画像が選択された場合における範囲の横または縦がそれぞれ４倍の範囲における９個の第２階層のＳＤ画素からクラスタップが形成される。
【０１８９】
さらに、選択回路１１２において第３階層のＳＤ画像が選択された場合、クラスタップ生成回路１１３では、第１階層のＳＤ画像を基準とすれば、図８においてＲ３で示す、第３階層のＳＤ画像（第１階層のＳＤ画像の横または縦の画素数をそれぞれ１／４にした画像）を構成するＳＤ画素のうちの、注目画素の位置に一致するＳＤ画素を中心とした３×３画素がクラスタップとされ、クラス分類回路１１４に供給される。従って、この場合、第１階層のＳＤ画像を基準とすれば、第１階層のＳＤ画像が選択された場合における範囲の横または縦がそれぞれ１６倍の範囲における９個の第３階層のＳＤ画素からクラスタップが形成される。
【０１９０】
なお、以上のように、注目画素の位置に一致する第１乃至第３階層のＳＤ画素を中心とする３×３画素の範囲、即ち、図１３で説明したような位置関係のＳＤ画素によるクラスタップが形成されるのは、例えば、多階層クラス分類回路１０４ａにおいてであって、他の多階層クラス分類回路１０４ｂ乃至１０４ｄでは、例えば、図１４乃至図１６で説明したような位置関係の画素によるクラスタップがそれぞれ形成される。
【０１９１】
クラス分類回路１１４では、クラスタップ生成回路１１３からのクラスタップを用い、図１２におけるクラス分類回路２０３における場合と同様にして、注目画素のクラス分類が行われる。このクラス分類結果は、合成回路１１５に供給される。合成回路１１５では、例えば、クラス分類回路１１４からのクラス分類結果としての値の上位ビットとして、選択回路１１２からの選択信号が付加され、それが、注目画素の最終的なクラス（クラスを表す値）として、適応処理部１０５に供給される。
【０１９２】
以上のように、第１階層のＳＤ画像を基準として、アクティビティが、ある程度の大きさ（ここでは、閾値ε）になる範囲に対応する階層の画像を用いて、注目画素をクラス分類するためのクラスタップを形成するようにしたので、そのクラスタップを用いてクラス分類を行うことにより、注目画素にあったクラスを得ることが可能となる。
【０１９３】
なお、以上においては、第１および第２階層の画像のアクティビティを検出するようにしたが、その他、第２および第３階層のアクティビティを検出するようにすることも可能である。この場合、例えば、第３階層のアクティビティが所定の閾値ε’よりも小さいときは、第３階層の画像を用いてクラスタップを形成するようにすれば良い。また、第３階層のアクティビティが所定の閾値ε’以上であるが、第２階層のアクティビティが所定の閾値ε’よりも小さい場合には、第２階層の画像を用いてクラスタップを形成するようにすれば良い。さらに、第２階層のアクティビティが所定の閾値ε’以上の場合には、第１階層の画像を用いてクラスタップを形成するようにすれば良い。
【０１９４】
次に、図９は、図１の適応処理部１０５（適応処理回路１０５ａ乃至１０５ｄそれぞれ）の構成例を示している。
【０１９５】
予測タップ生成回路１２１、予測演算回路１２２、または係数ＲＯＭ１２３は、図１２における、予測タップ生成回路２０５、予測演算回路２０６、または係数ＲＯＭ２０７とそれぞれ同様に構成されている。
【０１９６】
即ち、予測タップ生成回路１２１では、第１階層メモリ１０１（図１）から供給される第１階層のＳＤ画像から、予測演算回路１２２において注目画素の予測値を求めるのに用いる、その注目画素に対して所定の位置関係にある複数のＳＤ画素が抽出され、これが予測タップとして、予測演算回路１２２に供給される。
【０１９７】
具体的には、ここでは、例えば、図１３乃至図１６で説明したような予測タップが（適応処理回路１０５ａ乃至１０５ｄそれぞれにおける予測タップ生成回路１２１において）形成され、予測演算回路１２２に供給される。
【０１９８】
また、予測演算回路１２２には、予測タップ生成回路１２１から予測タップが供給される他、係数ＲＯＭ１２３から予測係数も供給される。
【０１９９】
即ち、係数ＲＯＭ１２３は、あらかじめ学習が行われることにより求められた予測係数を、クラスごとに記憶しており、また、そのアドレス端子（ＡＤ）には、多階層クラス分類部１０４（図１）から、注目画素のクラスが供給されるようになされている。そして、係数ＲＯＭ１２３は、多階層クラス分類部１０４からクラスが供給されると、そのクラスに対応するアドレスに記憶されている予測係数を読み出し、予測演算回路１２２に供給する。
【０２００】
これにより、予測演算回路１２２には、注目画素に対応する予測タップと、その注目画素のクラスについての予測係数とが供給される。そして、予測演算回路１２２では、係数ＲＯＭ１２３からの予測係数ｗ，ｗ₂，・・・と、予測タップ生成回路６からの予測タップ（を構成するＳＤ画素）ｘ₁，ｘ₂，・・・とを用いて、式（１）に示した演算が行われることにより、注目画素（ＨＤ画素）ｙの予測値Ｅ［ｙ］が求められ、これが、ＨＤ画素の画素値として出力される。
【０２０１】
上述したように、多階層クラス分類部１０４からは、注目画素に、よりあったクラスが供給されるので、そのクラスに対応して、以上のような適応処理を行うことにより、その結果得られるＨＤ画像の画質を向上させることが可能となる。
【０２０２】
次に、図１０は、図１の多階層クラス分類部１０４（多階層クラス分類回路１０４ａ乃至１０４ｄそれぞれ）の他の構成例を示している。
【０２０３】
第１階層メモリ１０１、第２階層メモリ１０２、または第３階層メモリ１０３に記憶されている第１乃至第３階層の画像データは、クラスタップ生成回路１３１₁乃至１３１₃にそれぞれ供給されるようになされている。
【０２０４】
クラスタップ生成回路１３１₁乃至１３１₃は、例えば、図７のクラスタップ生成回路１１３における場合と同様に、第１乃至第３階層の画像を用いて、注目画素をクラス分類するためのクラスタップを生成（形成）し、クラス分類回路１３２₁乃至１３２₃にそれぞれ供給するようになされている。クラス分類回路１３２₁乃至１３２₃は、クラスタップ生成回路１３１₁乃至１３１₃からのクラスタップを用い、例えば、図７のクラス分類回路１１４における場合と同様にして、注目画素のクラス分類を行い、そのクラスを、合成回路１３３にそれぞれ供給するようになされている。合成回路１３３は、クラス分類回路１３２₁乃至１３２₃それぞれからのクラスを合成し、その合成結果を、注目画素の最終的なクラスとして、適応処理部１０５（図１）に供給するようになされている。
【０２０５】
以上のように構成される多階層クラス分類部１０４（多階層クラス分類回路１０４ａ乃至１０４ｄそれぞれ）では、クラスタップ生成回路１３１₁乃至１３１₃において、クラスタップが、第１乃至第３階層の画像を用いてそれぞれ形成される。
【０２０６】
即ち、クラスタップ生成回路１３１₁乃至１３１₃では、例えば、図７の選択回路１１２において第１乃至第３階層の画像が選択された場合に、同図のクラスタップ生成回路１１３が形成するクラスタップと同様のクラスタップが、第１乃至第３階層の画像を用いてそれぞれ形成される。この第１乃至第３階層の画像を用いて形成されたクラスタップは、クラス分類回路１３２₁乃至１３２₃にそれぞれ供給される。
【０２０７】
クラス分類回路１３２₁乃至１３２₃では、クラスタップ生成回路１３１₁乃至１３１₃からのクラスタップを用いて、クラス分類が行われ、その結果得られる注目画素の３つのクラス（第１乃至第３階層の画像それぞれから形成されたクラスタップを用いてのクラス分類結果）は、いずれも、合成回路１３３に供給される。
【０２０８】
合成回路１３３では、クラス分類回路１３２₁乃至１３２₃それぞれからのクラスが１つに合成される。即ち、合成回路１３３は、例えば、クラス分類回路１３２₁乃至１３２₃からのクラスを表す値を、それぞれ上位、中位、下位ビットとして１つのビット列にする。そして、この値が、注目画素の最終的なクラスとして、適応処理部１０５に供給される。
【０２０９】
以上のように、第１階層乃至第３階層のＳＤ画像を用いてクラス分類を行い、そのクラス分類結果を合成したものを、注目画素の最終的なクラス分類結果とするようにしたので、即ち、等価的に、注目画素の近くにあるＳＤ画素だけでなく、注目画素から幾分離れたＳＤ画素をも用いてクラス分類を行うようにしたので、やはり、注目画素を、その注目画素にあったクラスにクラス分類することができる。さらに、そのクラスに対応して適応処理を行うことにより、その結果得られるＨＤ画像の画質を向上させることが可能となる。
【０２１０】
なお、図８において、例えば、Ｒ３で示す範囲にある第１階層のＳＤ画素すべてをクラスタップとして用いてクラス分類を行うことによっても、上述の場合と同様の効果が得られると予想されるが、この場合、範囲Ｒ３にある第１階層のＳＤ画素の数が多いので、処理の負担が莫大なものとなる。
【０２１１】
即ち、例えば、図７の実施の形態では、クラスタップ生成回路１１３において形成されるクラスタップは、図１２のクラスタップ生成回路２０２における場合と同様に、９個のＳＤ画素で構成され、さらに、そのクラスタップを用いたクラス分類結果に、２ビットの選択信号が付加されるから、単純には、２¹¹（＝２⁹×２²）に比例した数のクラスのうちのいずれかにクラス分類が行われる。
【０２１２】
また、図１０の実施の形態では、クラスタップ生成回路１１３₁乃至１１３₃それぞれにおいて、やはり、図１２のクラスタップ生成回路２０２における場合と同様に、９個のＳＤ画素で構成されるクラスタップが形成され、その３つのクラスタップを用いてクラス分類が行われた後、その３つのクラス分類結果が合成されるから、単純には、２²⁷（＝２⁹×２⁹×２⁹）に比例した数のクラスのうちのいずれかにクラス分類が行われる。
【０２１３】
これに対して、図８における範囲Ｒ３には、２８９（＝１７×１７）の第１階層のＳＤ画素が含まれるから、これによりクラスタップを形成した場合には、単純には、２²⁸⁹という莫大な値に比例した数のうちのクラスのいずれかに、クラス分類を行う必要がある。従って、この場合には、処理の負担が莫大なものとなる。
【０２１４】
次に、図１１は、図９の係数ＲＯＭ１２３に記憶させる予測係数を算出する学習処理を行う学習装置の構成例を示している。なお、図中、図１７における場合と対応する部分については、同一の符号を付してある。
【０２１５】
学習における教師データｙとなるべきＨＤ画像が、間引き回路１４１₁および教師データ抽出回路１４６に供給されるようになされており、間引き回路１４１₁では、例えば、図２の記憶装置における場合と同様にして（図２の記憶装置において、第１階層のＳＤ画像から第２階層のＳＤ画像を生成するのと同様にして）、ＨＤ画像の横または縦の画素数それぞれが１／２にされた第１階層のＳＤ画像が構成される。この第１階層のＳＤ画像は、間引き回路１４１₂、多階層クラス分類部１４４、および予測タップ生成回路１４５に供給される。
【０２１６】
間引き回路１４１₂でも、間引き回路１４１₁における場合と同様にして、第１階層のＳＤ画像の横または縦の画素数それぞれが１／２にされた第２階層のＳＤ画像が構成される。この第２階層のＳＤ画像は、間引き回路１４１₃および多階層クラス分類部１４４に供給される。間引き回路１４１₃でも、間引き回路１４１₁における場合と同様にして、第２階層のＳＤ画像の横または縦の画素数それぞれが１／２にされた第３階層のＳＤ画像が構成される。この第３階層のＳＤ画像は、多階層クラス分類部１４４に供給される。
【０２１７】
多階層クラス分類部１４４は、図７または図１０に示した多階層クラス分類部１０４と同様に構成され、そこに供給される第１乃至第３階層の画像を用いて、上述したようなクラス分類（多階層クラス分類）が行われる。このクラス分類結果としてのクラスは、予測タップメモリ１４７および教師データメモリ１４８のアドレス端子（ＡＤ）に供給される。
【０２１８】
また、予測タップ生成回路１４５では、図９の予測タップ生成回路１２１における場合と同様の処理が行われ、これにより注目画素の予測値を求めるための予測タップが、間引き回路１４１₁からの第１階層のＳＤ画像を用いて形成される。この予測タップは、予測タップメモリ１４７に供給される。
【０２１９】
予測タップメモリ１４７では、多階層クラス分類部１４４から供給されるクラスに対応するアドレスに、予測タップ生成回路１４５から供給される予測タップが記憶される。
【０２２０】
一方、教師データ抽出回路１４６では、多階層クラス分類部１４４および予測タップ生成回路１４５において注目画素とされるＨＤ画素が、そこに供給されるＨＤ画像から抽出され、教師データとして、教師データメモリ１４８に供給される。
【０２２１】
そして、教師データメモリ１４８では、多階層クラス分類部１４４から供給されるクラスに対応するアドレスに、教師データ抽出回路１４６から供給される教師データが記憶される。
【０２２２】
以上の処理が、あらかじめ学習用に用意されたすべてのＨＤ画像を構成するすべてのＨＤ画素を、順次、注目画素として行われる。
【０２２３】
その結果、教師データメモリ１４８または予測タップメモリ１４７の同一のアドレスには、そのアドレスに対応するクラスのＨＤ画素、またはそのＨＤ画素にについて図１３乃至図１６において説明した予測タップを構成する位置にあるＳＤ画素が、教師データｙまたは学習データｘとして、それぞれ記憶される。
【０２２４】
その後、演算回路１４９は、予測タップメモリ１４７または教師データメモリ１４８から、同一アドレスに記憶されている学習データとしての予測タップまたは教師データとしてのＨＤ画素を読み出し、それらを用いて、例えば、最小自乗法によって、予測値と教師データとの間の誤差を最小にする予測係数を算出する。即ち、演算回路１４９では、クラスごとに、式（７）に示した正規方程式がたてられ、これを解くことにより予測係数が求められる。
【０２２５】
以上のようにして、演算回路１４９で求められたクラスごとの予測係数が、図９の係数ＲＯＭ１２３における、そのクラスに対応するアドレスに記憶されている。
【０２２６】
なお、図７の実施の形態では、選択回路１１２において、第１乃至第３階層のＳＤ画像のうちのいずれか１つを選択し、クラスタップ生成回路１１３において、その１の階層の画像を用いてクラスタップを形成するようにしたが、その他、例えば、選択回路１１２には、第１乃至第３階層のＳＤ画像のうちの２つを選択させ、クラスタップ生成回路１１３には、その２つの階層それぞれを用いてクラスタップを形成させるようにすることができる。この場合、クラス分類回路１１４において、その２つの階層を用いて形成されたクラスタップそれぞれについてクラス分類を行わせ、合成回路１１５において、その２つのクラス分類結果を１つに合成させるようにすれば良い。
【０２２７】
また、本実施の形態では、第１乃至第３階層のＳＤ画像のうち、最も画素数の多い第１階層の画像を用いて予測タップを形成するようにしたが、予測タップは、第１乃至第３階層の画像の２以上を用いて形成するようにすることも可能である。
【０２２８】
さらに、本実施の形態では、図２の記憶装置において、第２階層メモリ３や第３階層メモリ４に対しては、第１階層メモリ２に与える水平アドレスＨＡおよび垂直アドレスＶＡの一部を与えてアクセスするようにしたが、第２階層メモリ３や第３階層メモリ４には、第１階層メモリ２に与える水平アドレスＨＡおよび垂直アドレスＶＡとは別に、専用の（独立の）アドレスを与えてアクセスするようにすることも可能である。
【０２２９】
また、本実施の形態では、図２の記憶装置において、第１階層メモリ２、第２階層メモリ３、第３階層メモリ４に対して、ＳＤ画像を構成する画素の水平または垂直方向の位置にそれぞれ対応する水平アドレスまたは垂直アドレスを与えてアクセスするようにしたが、第１階層メモリ２、第２階層メモリ３、第３階層メモリ４には、その他、例えば、時間方向に対応するアドレスをさらに与えてアクセスするようにすることなども可能である。この場合、第２や第３階層の画素は、横および縦の空間方向に散らばる第１階層の画素の他、時間方向に散らばる第１階層の画素も加算して形成されることになる。
【０２３０】
同様に、クラスタップや予測タップについても、空間方向だけでなく、時間方向に散らばるＳＤ画素も用いて形成することが可能である。
【０２３１】
さらに、図１における第１階層メモリ１０１、第２階層メモリ１０２、第３階層メモリ１０３や、図２における第１階層メモリ２、第２階層メモリ３、第３階層メモリ４は、それぞれ物理的に１つのメモリである必要はなく、それらのすべてを、１のメモリで構成することも可能である。この場合、１のメモリの記憶領域を、第１階層メモリ１０１、第２階層メモリ１０２、第３階層メモリ１０３の３つそれぞれや、第１階層メモリ２、第２階層メモリ３、第３階層メモリ４の３つそれぞれに割り当てるようにすれば良い。
【０２３２】
また、本実施の形態では、図２において、アドレス供給回路１、第１階層メモリ２、第２階層メモリ３、第３階層メモリ４、およびＲＭＷ回路５のすべてを、１チップ上に形成するようにしたが、これらは、必ずしも１チップ上に形成する必要はない。
【０２３３】
さらに、本実施の形態では、第１階層の画素のビット割当量を８ビットとし、第１階層メモリ２、第２階層メモリ３、または第３階層メモリ４のメモリセルのデータ長を、第１乃至第３階層の画素の桁落ちがないように、それぞれ８，１０、または１２ビットとしたが、第１階層メモリ２、第２階層メモリ３、および第３階層メモリ４のメモリセルのデータ長は、例えば、一律に８ビットなどとすることも可能である。但し、この場合、第２または第３階層の画素については、第１または第２階層の２×２画素の加算値の下位２ビットを切り捨てた値（この値は、加算値を４で除算したものに相当するから、平均値となる）をそれぞれ記憶させることになり、従って、桁落ちが生じるので、データの可逆性は失われることになる。
【０２３４】
また、本発明は、ノンインターレース走査される画像およびインターレース走査される画像のいずれにも適用可能である。
【０２３５】
さらに、本実施の形態では、ＳＤ画像の階層数を３としたが、階層数は２であっても良いし、あるいは、４以上であっても良い。
【０２３６】
また、本実施の形態では、下位階層の２×２の４つのＳＤ画素の加算値を、その１つ上位の上位階層のＳＤ画素（画素値）とするようにしたが、上位階層のＳＤ画素の形成の仕方は、これに限定されるものではない。
【０２３７】
さらに、本発明はハードウェアによっても、また、コンピュータに、上述の処理を行わせるようなプログラムを実行させることによっても実現可能である。
【０２３８】
また、本実施の形態では、画素（画素値）を、例えば、ＲＡＭ（Random Access Memory）などに代表されるメモリに記憶させるようにしたが、画素は、その他、例えば、磁気ディスクや、光磁気ディスク、磁気テープ、光カードなどの記録媒体に記憶（記録）させるようにすることも可能である。
【０２３９】
さらに、図１の画像処理装置と、図２の記憶装置とは、別々の装置として構成する他、一体的に構成することも可能である。
【０２４０】
また、本発明は、ＳＤ画像をＨＤ画像に変換する場合の他、例えば、画像を拡大する場合などにも適用可能である。
【０２４１】
さらに、クラスタップや予測タップを構成させるＳＤ画素の位置関係は、上述したものに限定されるものではない。
【０２４２】
【発明の効果】
本発明によれば、注目している第１の画像の画素である注目画素が、その注目画素に対応する第２および第３の画像の画素を中心とする所定領域内の画素を用いて、所定のクラスに分類される。従って、注目画素を、それに、より適したクラスに分類することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像処理装置の一実施の形態の構成例を示すブロック図である。
【図２】第１乃至第３階層のＳＤ画像を生成する記憶装置の構成例を示すブロック図である。
【図３】第１階層のＳＤ画像の１画面の構成例を示す図である。
【図４】図２の記憶装置の第１の機能的構成例を示すブロック図である。
【図５】図２の記憶装置の第２の機能的構成例を示すブロック図である。
【図６】図２の記憶装置の第３の機能的構成例を示すブロック図である。
【図７】図１の多階層クラス分類回路１０４ａ乃至１０４ｄそれぞれの第１の構成例を示すブロック図である。
【図８】図７のクラスタップ生成回路１１３が生成するクラスタップを説明するための図である。
【図９】図１の適応処理回路１０５ａ乃至１０５ｄそれぞれの構成例を示すブロック図である。
【図１０】図１の多階層クラス分類回路１０４ａ乃至１０４ｄそれぞれの第２の構成例を示すブロック図である。
【図１１】図９の係数ＲＯＭ１２３に記憶させる予測係数の学習を行う学習装置の一実施の形態の構成例を示すブロック図である。
【図１２】従来の画像変換装置の一例の構成を示すブロック図である。
【図１３】クラスタップと予測タップの形成方法を説明するための図である。
【図１４】クラスタップと予測タップの形成方法を説明するための図である。
【図１５】クラスタップと予測タップの形成方法を説明するための図である。
【図１６】クラスタップと予測タップの形成方法を説明するための図である。
【図１７】図１２の係数ＲＯＭ２０７に記憶させる予測係数の学習を行う学習装置の一例の構成を示すブロック図である。
【符号の説明】
１ アドレス供給回路， ２ 第１階層メモリ， ３ 第２階層メモリ， ４第３階層メモリ， ５ ＲＭＷ回路， １１ 読み出し部， １２ スイッチ， １２ａ，１２ｂ 端子， １３ 演算器， １４ 書き込み部， １５ ＮＯＲゲート， １６ スイッチ， ２１ 読み出し部， ２２ スイッチ， ２２ａ，２２ｂ 端子， ２３ 演算器， ２４ 書き込み部， ２５ ＮＯＲゲート， ２６ スイッチ， １０１ 第１階層メモリ， １０２ 第２階層メモリ， １０３ 第３階層メモリ， １０４ 多階層クラス分類部， １０４ａ乃至１０４ｄ 多階層クラス分類回路， １０５ 適応処理部， １０５ａ乃至１０５ｄ 適応処理回路， １０６ ＨＤ画像メモリ， １０６ａ乃至１０６ｄ メモリ， １１１₁，１１１₂ アクティビティ検出回路， １１２ 選択回路，１１３ クラスタップ生成回路， １１４ クラス分類回路， １１５ 合成回路， １２１ 予測タップ生成回路， １２２ 予測演算回路， １２３ 係数ＲＯＭ， １３１₁乃至１３１₃ クラスタップ生成回路， １３２₁乃至１３２₃ クラス分類回路， １３３ 合成回路， １４１₁乃至１４１₃ 間引き回路， １４４ 多階層クラス分類部， １４５ 予測タップ生成回路， １４６教師データ抽出回路， １４７ 予測タップメモリ， １４８ 教師データメモリ， １４９ 演算回路

Claims (7)

1. 第１の画像を、前記第１の画像の画素数よりも少ない画素数で表した第２の画像と、前記第２の画像の画素数よりも少ない画素数で表した第３の画像とを用いて、前記第１の画像を求めるための処理を行う画像処理装置であって、
   注目している前記第１の画像の画素である注目画素に対応する前記第２および第３の画像の画素を中心とする所定領域内の画素の画素値のパターンに対応する値をそれぞれ取得し、前記第２の画像の前記所定領域内の画素の画素値のパターンに対応する値と前記第３の画像の前記所定領域内の画素の画素値のパターンに対応する値を、１つのビット列にすることにより、前記注目画素を前記ビット列で表される所定のクラスに分類するクラス分類を行うクラス分類手段と、
   前記注目画素の予測値を、その注目画素のクラスに対応して予測する予測手段と
   を備え、
   前記予測手段は、
   前記第２および第３の画像の画素との線形結合により前記注目画素の予測値を算出するための予測係数を、前記クラスごとに記憶している予測係数記憶手段と、
   前記注目画素のクラスについての前記予測係数と、前記第２および第３の画像の画素のうち、前記注目画素に対して所定の位置関係にある複数の画素の画素値とを線形結合することにより、前記注目画素の予測値を求める予測値演算手段と
   を有する
   ことを特徴とする画像処理装置。
2. 前記第２および第３の画像の前記所定領域内の画素の画素値のパターンに対応する値は、前記所定領域内の画素の画素値をＡＤＲＣ処理して得られる
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第２および第３の画像は、前記第１の画像の隣接する複数画素の画素値を加算して１つの画素の画素値とすることによって、画素数が前記第１の画像より少なくされた画像である
   ことを特徴とする請求項１に記載の画像処理装置。
4. 第１の画像を、前記第１の画像の画素数よりも少ない画素数で表した第２の画像と、前記第２の画像の画素数よりも少ない画素数で表した第３の画像とを用いて、前記第１の画像を求めるための処理を行う画像処理方法であって、
   注目している前記第１の画像の画素である注目画素に対応する前記第２および第３の画像を中心とする所定領域内の画素の画素値のパターンに対応する値をそれぞれ取得し、前記第２の画像の前記所定領域内の画素の画素値のパターンに対応する値と前記第３の画像の前記所定領域内の画素の画素値のパターンに対応する値を、１つのビット列にすることにより、前記注目画素を前記ビット列で表される所定のクラスに分類し、
   前記注目画素の予測値を、その注目画素のクラスに対応して予測し、
   前記注目画素の予測値を予測する場合、前記第２および第３の画像の画素との線形結合により前記注目画素の予測値を算出するための予測係数を、前記クラスごとに記憶している予測係数記憶手段から取得される前記注目画素のクラスについての前記予測係数と、前記第２および第３の画像の画素のうち、前記注目画素に対して所定の位置関係にある複数の画素の画素値とを線形結合することにより、前記注目画素の予測値を求める
   ことを特徴とする画像処理方法。
5. 第１の画像を、前記第１の画像の画素数よりも少ない画素数で表した第２の画像と、前記第２の画像の画素数よりも少ない画素数で表した第３の画像と、前記第３の画像の画素数よりも少ない画素数で表した第４の画像とを用いて、前記第１の画像を求めるための処理を行う画像処理装置であって、
   注目している前記第１の画像の画素である注目画素を、前記第２乃至第４の画像のうちのいずれか複数の画像における前記注目画素に対応する前記複数の画像の画素を中心とする所定領域内の画素の画素値のパターンに対応する値をそれぞれ取得し、前記第２の画像の前記所定領域内の画素の画素値のパターンに対応する値と前記第３の画像の前記所定領 域内の画素の画素値のパターンに対応する値を、１つのビット列にすることにより、前記ビット列で表される所定のクラスに分類するクラス分類を行うクラス分類手段と、
   前記注目画素の予測値を、その注目画素のクラスに対応して予測する予測手段と
   を備え、
   前記予測手段は、
   前記第２乃至第４の画像の画素との線形結合により前記注目画素の予測値を算出するための予測係数を、前記クラスごとに記憶している予測係数記憶手段と、
   前記注目画素のクラスについての前記予測係数と、前記第２乃至第４の画像の画素のうち、前記注目画素に対して所定の位置関係にある複数の画素の画素値とを線形結合することにより、前記注目画素の予測値を求める予測値演算手段と
   を有する
   ことを特徴とする画像処理装置。
6. 前記第２乃至第４の画像は、前記第１の画像の隣接する複数画素の画素値を加算して１つの画素の画素値とすることによって、画素数が前記第１の画像より少なくされた画像である
   ことを特徴とする請求項５に記載の画像処理装置。
7. 第１の画像を、前記第１の画像の画素数よりも少ない画素数で表した第２の画像と、前記第２の画像の画素数よりも少ない画素数で表した第３の画像と、前記第３の画像の画素数よりも少ない画素数で表した第４の画像とを用いて、前記第１の画像を求めるための処理を行う画像処理方法であって、
   注目している前記第１の画像の画素である注目画素を、前記第２乃至第４の画像のうちのいずれか複数の画像における前記注目画素に対応する前記複数の画像の画素を中心とする所定領域内の画素の画素値のパターンに対応する値をそれぞれ取得し、前記第２の画像の前記所定領域内の画素の画素値のパターンに対応する値と前記第３の画像の前記所定領域内の画素の画素値のパターンに対応する値を、１つのビット列にすることにより、前記ビット列で表される所定のクラスに分類し、
   前記注目画素の予測値を、その注目画素のクラスに対応して予測し、
   前記注目画素の予測値を予測する場合、前記第２乃至第4の画像の画素との線形結合により前記注目画素の予測値を算出するための予測係数を、前記クラスごとに記憶している予測係数記憶手段から取得される前記注目画素のクラスについての前記予測係数と、前記第２乃至第４の画像の画素のうち、前記注目画素に対して所定の位置関係にある複数の画素の画素値とを線形結合することにより、前記注目画素の予測値を求める
   ことを特徴とする画像処理方法。

Images