JPH1155630A - 画像処理装置および画像処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 画素数の少ないＳＤ画像から、画素数の多い
ＨＤ画像を生成するにあたって、画質の良いＨＤ画像を
得ることができるようにする。 【解決手段】 メモリ１０１乃至１０３には、第１階層
のＳＤ画像、それより画素数の少ない第２階層のＳＤ画
像、さらに画素数の少ない第３階層のＳＤ画像がそれぞ
れ記憶されている。多階層クラス分類部１０４では、例
えば、第１乃至第３階層のＳＤ画像のうちのいずれかが
選択され、注目しているＨＤ画像の画素である注目画素
が、選択された階層のＳＤ画像を構成する画素であっ
て、その注目画素の付近にあるものの性質に応じて、所
定のクラスに分類される。そして、適応処理部１０５に
おいて、そのクラスに対応して、注目画素の予測値を求
める処理（適応処理）が行われる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置およ
び画像処理方法に関し、特に、例えば、標準解像度の画
像を、高解像度の画像に変換する場合などに用いて好適
な画像処理装置および画像処理方法に関する。

【０００２】

【従来の技術】例えば、標準解像度または低解像度の画
像（以下、適宜、ＳＤ画像という）を、高解像度の画像
（以下、適宜、ＨＤ画像という）に変換したり、また、
画像を拡大したりする場合においては、いわゆる補間フ
ィルタなどによって、不足している画素の画素値の補間
（補償）が行われるようになされている。

【０００３】しかしながら、補間フィルタによって画素
の補間を行っても、ＳＤ画像に含まれていない、ＨＤ画
像の成分（高周波成分）を復元することはできないた
め、高解像度の画像を得ることは困難であった。

【０００４】そこで、本件出願人は、ＳＤ画像を、そこ
に含まれていない高周波成分をも含むＨＤ画像に変換す
る画像変換装置を先に提案している。

【０００５】この画像変換装置においては、ＳＤ画像
と、所定の予測係数との線形結合により、ＨＤ画像の画
素の予測値を求める適応処理を行うことで、ＳＤ画像に
は含まれていない高周波成分が復元されるようになされ
ている。

【０００６】即ち、例えば、いま、ＨＤ画像を構成する
画素（以下、適宜、ＨＤ画素という）の画素値ｙの予測
値Ｅ［ｙ］を、幾つかのＳＤ画素（ＳＤ画像を構成する
画素）の画素値（以下、適宜、学習データという）
ｘ₁，ｘ₂，・・・と、所定の予測係数ｗ₁，ｗ₂，・・・
の線形結合により規定される線形１次結合モデルにより
求めることを考える。この場合、予測値Ｅ［ｙ］は、次
式で表すことができる。

【０００７】 Ｅ［ｙ］＝ｗ₁ｘ₁＋ｗ₂ｘ₂＋・・・ ・・・（１）

【０００８】そこで、一般化するために、予測係数ｗの
集合でなる行列Ｗ、学習データの集合でなる行列Ｘ、お
よび予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、

【数１】 で定義すると、次のような観測方程式が成立する。

【０００９】 ＸＷ＝Ｙ’ ・・・（２）

【００１０】そして、この観測方程式に最小自乗法を適
用して、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求
めることを考える。この場合、教師データとなるＨＤ画
素の真の画素値ｙの集合でなる行列Ｙ、およびＨＤ画素
の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でな
る行列Ｅを、

【数２】 で定義すると、式（２）から、次のような残差方程式が
成立する。

【００１１】 ＸＷ＝Ｙ＋Ｅ ・・・（３）

【００１２】この場合、ＨＤ画素の画素値ｙに近い予測
値Ｅ［ｙ］を求めるための予測係数ｗ_iは、例えば、自
乗誤差

【数３】 を最小にすることで求めることができる。

【００１３】従って、上述の自乗誤差を予測係数ｗ_iで
微分したものが０になる場合、即ち、次式を満たす予測
係数ｗ_iが、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］
を求めるため最適値ということになる。

【００１４】

【数４】 ・・・（４）

【００１５】そこで、まず、式（３）を、予測係数ｗ_i
で微分することにより、次式が成立する。

【００１６】

【数５】 ・・・（５）

【００１７】式（４）および（５）より、式（６）が得
られる。

【００１８】

【数６】 ・・・（６）

【００１９】さらに、式（３）の残差方程式における学
習データｘ、予測係数ｗ、教師データｙ、および残差ｅ
の関係を考慮すると、式（６）から、次のような正規方
程式を得ることができる。

【００２０】

【数７】 ・・・（７）

【００２１】式（７）の正規方程式は、求めるべき予測
係数ｗの数と同じ数だけたてることができ、従って、式
（７）を解くことで（但し、式（７）を解くには、式
（７）において、予測係数ｗにかかる係数で構成される
行列が正則である必要がある）、最適な予測係数ｗを求
めることができる。なお、式（７）を解くにあたって
は、例えば、掃き出し法（Gauss-Jordanの消去法）など
を適用することが可能である。

【００２２】以上のようにして、最適な予測係数ｗを求
めておき、さらに、その予測係数ｗを用い、式（１）に
より、ＨＤ画素の画素値ｙに近い予測値Ｅ［ｙ］を求め
るのが適応処理である。

【００２３】なお、適応処理は、ＳＤ画像には含まれて
いない、ＨＤ画像に含まれる成分が再現される点で、補
間処理とは異なる。即ち、適応処理では、式（１）だけ
を見る限りは、いわゆる補間フィルタを用いての補間処
理と同一であるが、その補間フィルタのタップ係数に相
当する予測係数ｗが、教師データｙを用いての、いわば
学習により求められるため、ＨＤ画像に含まれる成分を
再現することができる。即ち、容易に、高解像度の画像
を得ることができる。このことから、適応処理は、いわ
ば画像（の解像度）の創造作用がある処理ということが
できる。

【００２４】図１２は、以上のような適応処理により、
ＳＤ画像をＨＤ画像に変換する画像変換装置の構成例を
示している。

【００２５】ＳＤ画像は、クラス分類部２０１および適
応処理部２０４に供給されるようになされている。クラ
ス分類部２０１は、クラスタップ生成回路２０２および
クラス分類回路２０３で構成され、そこでは、適応処理
により予測値を求めようとするＨＤ画素（注目している
ＨＤ画素）（以下、適宜、注目画素という）が、その注
目画素に対応するＳＤ画像の画素の性質に基づいて、所
定のクラスにクラス分類される。

【００２６】即ち、クラスタップ生成回路２０２では、
注目画素のクラス分類を行うのに用いる。その注目画素
に対応するＳＤ画素（以下、適宜、クラスタップとい
う）として、例えば、注目画素に対して所定の位置関係
にある複数のＳＤ画素が、クラス分類部２０１に供給さ
れるＳＤ画像から抽出され、クラス分類回路２０３に供
給される。クラス分類回路２０３では、クラスタップ生
成回路２０２からのクラスタップを構成するＳＤ画素の
画素値のパターン（画素値の分布）が検出され、そのパ
ターンにあらかじめ割り当てられた値が、注目画素のク
ラスとして、適応処理部２０４に供給される。

【００２７】具体的には、例えば、いま、ＨＤ画像が、
図１３において、×印で示す画素（ＨＤ画素）で構成さ
れ、ＳＤ画像が、同図において、○印で示す画素（ＳＤ
画素）で構成されるとする。なお、図１３では、ＳＤ画
像が、ＨＤ画像の横または縦の画素数をそれぞれ１／２
にして構成されている。ここで、図１３においては（後
述する図１４乃至図１６においても同様）、左からｉ＋
１番目で、上からｊ＋１番目のＳＤ画素（図中、○印で
示す部分）をＸ_i,jと表し、同様に、左からｉ’＋１番
目で、上からｊ’＋１番目のＨＤ画素（図中、×印で示
す部分）をＹ_{i' ,j'}と表してある。この場合、ＳＤ画素
Ｘ_i,jの位置と、ＨＤ画素Ｙ_2i,2jの位置とは一致する。

【００２８】いま、あるＳＤ画素としての、例えば、Ｘ
_2,2の位置と一致するＨＤ画素Ｙ_4,4を注目画素とする
と、クラスタップ生成回路２０２では、そのＨＤ画素Ｙ
_4,4に対応するＳＤ画素として、例えば、ＨＤ画素Ｙ_4,4
との相関が高いと予想されるＨＤ画素Ｙ_4,4の位置と一
致するＳＤ画素Ｘ_2,2を中心とする３×３（横×縦）の
ＳＤ画素Ｘ_1,1，Ｘ_2,1，Ｘ_3,1，Ｘ_1,2，Ｘ_2,2，Ｘ_3,2，
Ｘ_1,3，Ｘ_2,3，Ｘ_3,3（図１３において点線で囲んであ
る範囲のＳＤ画素）が抽出され、それが、注目画素（Ｈ
Ｄ画素）Ｙ_4,4のクラスタップとされる。

【００２９】また、例えば、Ｘ_2,2の位置と一致するＨ
Ｄ画素Ｙ_4,4の右隣のＨＤ画素Ｙ_5,4が注目画素とされた
場合には、クラスタップ生成回路２０２では、そのＨＤ
画素Ｙ_5,4に対応するＳＤ画素として、例えば、図１４
において点線で囲んで示すように、ＨＤ画素Ｙ_4,4が注
目画素とされた場合に形成されるクラスタップの中のＳ
Ｄ画素Ｘ_1,2に代えて、ＳＤ画素Ｘ_4,2を含めたものが抽
出され、その９個のＳＤ画素が、注目画素（ＨＤ画素）
Ｙ_5,4のクラスタップとされる。

【００３０】さらに、例えば、Ｘ_2,2の位置と一致する
ＨＤ画素Ｙ_4,4の下に隣接するＨＤ画素Ｙ_4,5が注目画素
とされた場合には、クラスタップ生成回路２０２では、
そのＨＤ画素Ｙ_4,5に対応するＳＤ画素として、例え
ば、図１５において点線で囲んで示すように、ＨＤ画素
Ｙ_4,4が注目画素とされた場合に形成されるクラスタッ
プの中のＳＤ画素Ｘ_2,1に代えて、ＳＤ画素Ｘ_2,4を含め
たものが抽出され、その９個のＳＤ画素が、注目画素
（ＨＤ画素）Ｙ_4,5のクラスタップとされる。

【００３１】また、例えば、Ｘ_2,2の位置と一致するＨ
Ｄ画素Ｙ_4,4の右斜め下に隣接するＨＤ画素Ｙ_5,5が注目
画素とされた場合には、クラスタップ生成回路２０２で
は、そのＨＤ画素Ｙ_5,5に対応するＳＤ画素として、例
えば、図１６において点線で囲んで示すように、ＨＤ画
素Ｙ_4,4が注目画素とされた場合に形成されるクラスタ
ップの中のＳＤ画素Ｘ_1,1に代えて、ＳＤ画素Ｘ_4,4を含
めたものが抽出され、その９個のＳＤ画素が、注目画素
（ＨＤ画素）Ｙ_5,5のクラスタップとされる。

【００３２】そして、クラス分類回路２０３では、クラ
スタップ生成回路２０２で構成されたクラスタップとし
ての９個のＳＤ画素（画素値）のパターンが検出され、
そのパターンに対応する値が、注目画素のクラスとして
出力される。

【００３３】このクラスは、適応処理部２０４における
係数ＲＯＭ（Read Only Memory）２０７のアドレス端子
（ＡＤ）に供給される。

【００３４】ここで、画像を構成する画素には、一般的
に、８ビットなどが割り当てられる。いま、ＳＤ画素に
８ビットが割り当てられているとすると、例えば、図１
３に示した３×３画素の正方形状のクラスタップだけを
考えても、画素値のパターン数は、（２⁸）⁹通りという
莫大な数となり、その後の処理の迅速化が困難となる。

【００３５】そこで、クラス分類を行う前の前処理とし
て、クラスタップには、それを構成するＳＤ画素のビッ
ト数を低減するための処理である、例えばＡＤＲＣ（Ad
aptiv Dynamic Range Coding）処理などが施される。

【００３６】即ち、ＡＤＲＣ処理では、まず、クラスタ
ップを構成する９個のＳＤ画素から、その画素値の最大
のもの（以下、適宜、最大画素という）と最小のもの
（以下、適宜、最小画素という）とが検出される。そし
て、最大画素の画素値ＭＡＸと最小画素の画素値ＭＩＮ
との差分ＤＲ（＝ＭＡＸ−ＭＩＮ）が演算され、このＤ
Ｒをクラスタップの局所的なダイナミックレンジとし、
このダイナミックレンジＤＲに基づいて、クラスタップ
を構成する各画素値が、元の割当ビット数より少ないＫ
ビットに再量子化される。つまり、クラスタップを構成
する各画素値から最小画素の画素値ＭＩＮが減算され、
各減算値が、ＤＲ／２^Kで除算される。

【００３７】その結果、クラスタップを構成する各画素
値はＫビットで表現されるようになる。従って、例えば
Ｋ＝１とした場合、９個のＳＤ画素の画素値のパターン
数は、（２¹）⁹通りになり、ＡＤＲＣ処理を行わない場
合に比較して、パターン数を非常に少ないものとするこ
とができる。

【００３８】一方、適応処理部２０４は、予測タップ生
成回路２０５、予測演算回路２０６、および係数ＲＯＭ
２０７で構成され、そこでは、適応処理が行われる。

【００３９】即ち、予測タップ生成回路２０５では、適
応処理部２０４に供給されるＳＤ画像から、予測演算回
路２０６において注目画素の予測値を求めるのに用い
る、その注目画素に対して所定の位置関係にある複数の
ＳＤ画素が抽出され、これが予測タップとして、予測演
算回路２０６に供給される。

【００４０】具体的には、例えば、ＨＤ画素Ｙ_4,4が注
目画素とされ、図１３で説明したようなクラスタップが
構成される場合、予測タップ生成回路２０５では、例え
ば、ＨＤ画素Ｙ_4,4との相関が高いと予想されるＳＤ画
素として、同図に実線で囲んで示す範囲の、注目画素Ｙ
_4,4の位置に一致するＳＤ画素Ｘ_2,2を中心とする５×５
のＳＤ画素が抽出され、これが、注目画素（ＨＤ画素）
Ｙ_4,4の予測タップとされる。

【００４１】また、例えば、ＨＤ画素Ｙ_5,4が注目画素
とされた場合には、予測タップ生成回路２０５では、例
えば、図１４において実線で囲んで示すように、ＨＤ画
素Ｙ_{4, 4}が注目画素とされた場合に形成される予測タッ
プの中のＳＤ画素Ｘ_0,2に代えて、ＳＤ画素Ｘ_5,2を含め
たものが抽出され、その２５個のＳＤ画素が、注目画素
（ＨＤ画素）Ｙ_5,4のクラスタップとされる。

【００４２】さらに、例えば、ＨＤ画素Ｙ_4,5が注目画
素とされた場合には、予測タップ生成回路２０５では、
例えば、図１５において実線で囲んで示すように、ＨＤ
画素Ｙ_4,4が注目画素とされた場合に形成される予測タ
ップの中のＳＤ画素Ｘ_2,0に代えて、ＳＤ画素Ｘ_2,5を含
めたものが抽出され、その２５個のＳＤ画素が、注目画
素（ＨＤ画素）Ｙ_4,5の予測タップとされる。

【００４３】また、例えば、ＨＤ画素Ｙ_5,5が注目画素
とされた場合には、予測タップ生成回路２０５では、例
えば、図１６において実線で囲んで示すように、ＨＤ画
素Ｙ_{4, 4}が注目画素とされた場合に形成されるクラスタ
ップの中のＳＤ画素Ｘ_0,0に代えて、ＳＤ画素Ｘ_5,5を含
めたものが抽出され、その２５個のＳＤ画素が、注目画
素（ＨＤ画素）Ｙ_5,5の予測タップとされる。

【００４４】そして、予測演算回路２０６には、予測タ
ップ生成回路２０５から予測タップが供給される他、係
数ＲＯＭ２０７から予測係数も供給される。

【００４５】即ち、係数ＲＯＭ２０７は、あらかじめ学
習が行われることにより求められた予測係数を、クラス
ごとに記憶しており、クラス分類回路２０３からクラス
が供給されると、そのクラスに対応するアドレスに記憶
されている予測係数を読み出し、予測演算回路２０６に
供給する。

【００４６】これにより、予測演算回路２０６には、注
目画素に対応する予測タップと、その注目画素のクラス
についての予測係数とが供給される。そして、予測演算
回路２０６では、係数ＲＯＭ２０７からの予測係数ｗ，
ｗ₂，・・・と、予測タップ生成回路６からの予測タッ
プ（を構成するＳＤ画素）ｘ₁，ｘ₂，・・・とを用い
て、式（１）に示した演算が行われることにより、注目
画素（ＨＤ画素）ｙの予測値Ｅ［ｙ］が求められ、これ
が、ＨＤ画素の画素値として出力される。

【００４７】以上の処理が、すべてのＨＤ画素を注目画
素として行われ、これにより、ＳＤ画像がＨＤ画像に変
換される。なお、クラスタップ生成回路２０２および予
測タップ生成回路２０５では、同一のＨＤ画素を注目画
素として処理が行われる。

【００４８】次に、図１７は、図１２の係数ＲＯＭ２０
７に記憶させる予測係数を算出する学習処理を行う学習
装置の構成例を示している。

【００４９】学習における教師データｙとなるべきＨＤ
画像が、間引き回路２１１および教師データ抽出回路１
４６に供給されるようになされており、間引き回路２１
１では、ＨＤ画像が、例えば、その画素数が間引かれる
ことにより少なくされ、これによりＳＤ画像とされる。
即ち、間引き回路２１１では、ＨＤ画像の横または縦の
画素数がそれぞれ１／２にされ、これにより、ＳＤ画像
が形成される。このＳＤ画像は、クラス分類部２１２お
よび予測タップ生成回路１４５に供給される。

【００５０】クラス分類部２１２または予測タップ生成
回路１４５では、図１２のクラス分類部２０１または予
測タップ生成回路２０５における場合とそれぞれ同様の
処理が行われ、これにより注目画素のクラスまたは予測
タップがそれぞれ出力される。クラス分類部２１２が出
力するクラスは、予測タップメモリ１４７および教師デ
ータメモリ１４８のアドレス端子（ＡＤ）に供給され、
予測タップ生成回路１４５が出力する予測タップは、予
測タップメモリ１４７に供給される。なお、クラス分類
部２１２および予測タップ生成回路１４５では、同一の
ＨＤ画素を注目画素として処理が行われる。

【００５１】予測タップメモリ１４７では、クラス分類
部２１２から供給されるクラスに対応するアドレスに、
予測タップ生成回路１４５から供給される予測タップが
記憶される。

【００５２】一方、教師データ抽出回路１４６では、ク
ラス分類部２１２および予測タップ生成回路１４５にお
いて注目画素とされるＨＤ画素が、そこに供給されるＨ
Ｄ画像から抽出され、教師データとして、教師データメ
モリ１４８に供給される。

【００５３】そして、教師データメモリ１４８では、ク
ラス分類部２１２から供給されるクラスに対応するアド
レスに、教師データ抽出回路１４６から供給される教師
データが記憶される。

【００５４】以上の処理が、あらかじめ学習用に用意さ
れたすべてのＨＤ画像を構成するすべてのＨＤ画素を、
順次、注目画素として行われる。

【００５５】その結果、教師データメモリ１４８または
予測タップメモリ１４７の同一のアドレスには、そのア
ドレスに対応するクラスのＨＤ画素、またはそのＨＤ画
素にについて図１３乃至図１６において説明した予測タ
ップを構成する位置にあるＳＤ画素が、教師データｙま
たは学習データｘとして、それぞれ記憶される。

【００５６】なお、予測タップメモリ１４７と教師デー
タメモリ１４８においては、同一アドレスに複数の情報
を記憶することができるようになされており、これによ
り、同一アドレスには、同一のクラスに分類される複数
の学習データｘと教師データｙを記憶することができる
ようになされている。

【００５７】その後、演算回路１４９は、予測タップメ
モリ１４７または教師データメモリ１４８から、同一ア
ドレスに記憶されている学習データとしての予測タップ
または教師データとしてのＨＤ画素を読み出し、それら
を用いて、例えば、最小自乗法によって、予測値と教師
データとの間の誤差を最小にする予測係数を算出する。
即ち、演算回路１４９では、クラスごとに、式（７）に
示した正規方程式がたてられ、これを解くことにより予
測係数が求められる。

【００５８】以上のようにして、演算回路１４９で求め
られたクラスごとの予測係数が、図１２の係数ＲＯＭ２
０７における、各クラスに対応するアドレスに記憶され
ている。

【００５９】なお、以上のような学習処理において、予
測係数を求めるのに必要な数の正規方程式が得られない
クラスが生じる場合があるが、そのようなクラスについ
ては、例えば、クラスを無視して正規方程式をたてて解
くことにより得られる予測係数などが、いわばデフォル
トの予測係数として用いられる。

【００６０】

【発明が解決しようとする課題】適応処理によれば、元
のＳＤ画像には含まれていない高周波成分を含んだＨＤ
画像を得ることができる。また、注目画素について、ク
ラス分類処理を行い、その結果得られるクラスに対応し
た予測係数を用いて適応処理を行うことで、注目画素に
適した適応処理を施すことができる。

【００６１】ところで、上述した画像変換装置（図１
２）や学習装置（図１７）においては、クラスタップ
は、画像の特性とは無関係に、注目画素に対して、例え
ば、図１３乃至１６で説明したような位置関係にあるＳ
Ｄ画素によって構成される。

【００６２】即ち、クラスタップは、図１３乃至１６で
説明したように、注目画素の近くにある９個のＳＤ画素
によって構成される。

【００６３】一方、画像は、輝度値や色などが近似した
画素でなる領域、即ち、所定の物体が表示された領域
や、所定の色、模様を有する領域などに分割し得る。従
って、上述のようなクラス分類を行うと、画像の中の異
なる領域であっても、例えば、画素の変化がほとんどな
いような部分については、注目画素が、すべて同一のク
ラスに分類されることがある。

【００６４】しかしながら、そのような部分であって
も、例えば、注目画素から幾分離れたＳＤ画素をクラス
タップに含めてクラス分類を行うことにより、同一のク
ラスに分類されていた注目画素が、異なるクラスに分類
されることがある。即ち、より広い範囲のＳＤ画素でク
ラスタップを構成することにより、注目画素を、その注
目画素にあったクラスにクラス分類することができる場
合がある。

【００６５】そして、このように、注目画素を、それに
ったクラスにクラス分類することができれば、注目画素
に、より適した適応処理を施すことが可能となり、その
結果得られるＨＤ画像の画質を向上させることが可能と
なる。

【００６６】本発明は、このような状況に鑑みてなされ
たものであり、画質の向上を図ることができるようにす
るものである。

【００６７】

【課題を解決するための手段】請求項１に記載の画像処
理装置は、注目している第１の画像の画素である注目画
素を、その注目画素に対応する第２または第３の画像の
画素の性質に応じて、所定のクラスに分類するクラス分
類を行うクラス分類手段を備えることを特徴とする。

【００６８】請求項６に記載の画像処理方法は、注目し
ている第１の画像の画素である注目画素を、その注目画
素に対応する第２または第３の画像の画素の性質に応じ
て、所定のクラスに分類することを特徴とする。

【００６９】請求項１に記載の画像処理装置において
は、クラス分類手段が、注目している第１の画像の画素
である注目画素を、その注目画素に対応する第２または
第３の画像の画素の性質に応じて、所定のクラスに分類
するクラス分類を行うようになされている。

【００７０】請求項６に記載の画像処理方法において
は、注目している第１の画像の画素である注目画素を、
その注目画素に対応する第２または第３の画像の画素の
性質に応じて、所定のクラスに分類するようになされて
いる。

【００７１】

【発明の実施の形態】以下に、本発明の実施の形態を説
明するが、その前に、特許請求の範囲に記載の発明の各
手段と以下の実施の形態との対応関係を明らかにするた
めに、各手段の後の括弧内に、対応する実施の形態（但
し、一例）を付加して、本発明の特徴を記述すると、次
のようになる。

【００７２】即ち、請求項１に記載の画像処理装置は、
第１の画像よりも画素数の少ない第２の画像と、第２の
画像よりも画素数の少ない第３の画像とを用いて、第１
の画像を求めるための処理を行う画像処理装置であっ
て、注目している第１の画像の画素である注目画素を、
その注目画素に対応する第２または第３の画像の画素の
性質に応じて、所定のクラスに分類するクラス分類を行
うクラス分類手段（例えば、図１に示す多階層クラス分
類部１０４や、図１１に示す多階層クラス分類部１４４
など）を備えることを特徴とする。

【００７３】請求項２に記載の画像処理装置は、注目画
素の予測値を、その注目画素のクラスに対応して予測す
る予測手段（例えば、図１に示す適応処理部１０５な
ど）をさらに備えることを特徴とする。

【００７４】請求項３に記載の画像処理装置は、予測手
段が、第２または第３の画像の画素との線形結合により
注目画素の予測値を算出するための予測係数を、クラス
ごとに記憶している予測係数記憶手段（例えば、図９に
示す係数ＲＯＭ１２３など）と、注目画素のクラスにつ
いての予測係数と、第２または第３の画像の画素とか
ら、注目画素の予測値を求める予測値演算手段（例え
ば、図９に示す予測演算回路１２２など）とを有するこ
とを特徴とする。

【００７５】請求項４に記載の画像処理装置は、クラス
分類手段が、第２または第３の画像の中の注目画素に対
応する部分のアクティビティを検出するアクティビティ
検出手段（例えば、図７に示すアクティビティ検出回路
１１１₁や１１１₂など）と、アクティビティに基づい
て、第２または第３の画像を選択する選択手段（例え
ば、図７に示す選択回路１１２など）とを有し、選択手
段により選択された画像を構成する画素のうちの、注目
画素に対応するものを用いて、クラス分類を行うことを
特徴とする。

【００７６】請求項５に記載の画像処理装置は、クラス
分類手段が、第２または第３の画像を構成する画素のう
ちの、注目画素に対応するものをそれぞれ用いて、クラ
ス分類を行い、その第２または第３の画像それぞれを用
いてのクラス分類結果を合成したものを、最終的なクラ
ス分類結果とする合成手段（例えば、図１０に示す合成
回路１３３など）を有することを特徴とする。

【００７７】なお、勿論この記載は、各手段を上記した
ものに限定することを意味するものではない。

【００７８】図１は、本発明を適用した画像処理装置の
一実施の形態の構成例を示している。

【００７９】この画像処理装置においては、異なる画素
数で構成される複数のＳＤ画像（第２や第３の画像）を
処理することにより、そのＳＤ画像よりも画素数の多い
（ここでは、解像度も高い）ＨＤ画像（第１の画像）が
生成されるようになされている。

【００８０】即ち、第１階層メモリ１０１、第２階層メ
モリ１０２、第３階層メモリ１０３には、第１乃至第３
階層のＳＤ画像が記憶されている。なお、第１階層のＳ
Ｄ画像を基準とすると、第２階層のＳＤ画像は、第１階
層のＳＤ画像の画素数を少なくしたものとなっており、
第３階層のＳＤ画像は、第２階層のＳＤ画像の画素数を
少なくしたものとなっている。

【００８１】第１階層メモリ１０１に記憶されている第
１階層のＳＤ画像、第２階層メモリ１０２に記憶されて
いる第２階層のＳＤ画像、および第３階層メモリ１０３
に記憶されている第３階層のＳＤ画像は、いずれも、多
階層クラス分類部１０４に供給される。また、第１階層
メモリ１０１に記憶されている第１階層のＳＤ画像は、
適応処理部１０５にも供給される。

【００８２】多階層クラス分類部１０４は、多階層クラ
ス分類回路１０４ａ乃至１０４ｄで構成され、適応処理
により予測値を求めようとするＨＤ画素である注目画素
が、第１階層メモリ１０１、第２階層メモリ１０２、第
３階層メモリ１０３それぞれからの第１乃至第３階層の
画像を構成する画素のうちの、注目画素に対応するもの
を用いて、クラス分類の１つである多階層クラス分類さ
れる。

【００８３】ここで、本実施の形態においては、例え
ば、第１階層のＳＤ画像の横または縦の画素数をそれぞ
れ２倍にした数の画素数で構成されるＨＤ画像が生成さ
れるようになされている。この場合、図１３乃至図１６
を参照して説明したことから、あるＳＤ画素（ここで
は、第１階層のＳＤ画素）に対して、そのＳＤ画素と同
一位置に配置されるＨＤ画素と、そのＨＤ画素の右、
下、右斜め下にそれぞれ隣接する３つのＨＤ画素との合
計４つのＨＤ画素を生成する必要がある。即ち、第１階
層の１つのＳＤ画素に対して、４つのＨＤ画素を生成す
る必要がある。このため、この４つのＨＤ画素のクラス
分類処理（ここでは、多階層クラス分類処理）を同時に
行うために、多階層クラス分類部１０４は、４つの多階
層クラス分類回路１０４ａ乃至１０４ｄで構成されてい
る。

【００８４】多階層クラス分類回路１０４ａ乃至１０４
ｄにおける、４つの注目画素のクラス分類結果は、いず
れも適応処理部１０５に供給される。適応処理部１０５
は、多階層クラス分類部１０４が４つの多階層クラス分
類回路１０４ａ乃至１０４ｄで構成されるのと同様の理
由から、やはり、４つの適応処理回路１０５ａ乃至１０
５ｄで構成されており、その４つの適応処理回路１０５
ａ乃至１０５ｄそれぞれでは、多階層クラス分類回路１
０４ａ乃至１０４ｄからのクラス分類結果それぞれに対
応して適応処理が行われ、４つの注目画素それぞれの予
測値が求められる。適応処理回路１０５ａ乃至１０５ｄ
において求められた予測値は、ＨＤ画像メモリ１０６に
供給されて記憶される。

【００８５】即ち、ＨＤ画像メモリ１０６は、多階層ク
ラス分類部１０４や適応処理部１０５における場合と同
様に、４つのメモリ１０６ａ乃至１０６ｄで構成されて
いる。そして、メモリ１０６ａ乃至１０６ｄにおいて、
適応処理部１０５ａ乃至１０５ｄから供給される予測値
が、それぞれ記憶される。

【００８６】なお、ここでは、第１階層のあるＳＤ画素
に対して、そのＳＤ画素と同一位置に配置されるＨＤ画
素については、例えば、多階層クラス分類回路１０４ａ
または適応処理回路１０５ａにおいて多階層クラス分類
または適応処理が行われ、その予測値が、メモリ１０６
ａに記憶されるようになされている。また、第１階層の
あるＳＤ画素に対して、そのＳＤ画素と同一位置に配置
されるＨＤ画素の右、下、または右斜め下にそれぞれ隣
接するＨＤ画素については、多階層クラス分類回路１０
４ｂおよび適応処理回路１０５ｂ、多階層クラス分類回
路１０４ｃおよび適応処理回路１０５ｃ、または多階層
クラス分類回路１０４ｄおよび適応処理回路１０５ｄに
おいてそれぞれ処理が行われ、その結果得られるそれぞ
れの予測値が、メモリ１０６ｂ乃至１０６ｄに記憶され
るようになされている。

【００８７】次に、多階層クラス分類部１０４および適
応処理部１５の詳細について説明するが、その前に、第
１階層メモリ１０１、第２階層メモリ１０２、第３階層
メモリ１０３にそれぞれ記憶されている第１乃至第３階
層のＳＤ画像の生成方法について説明する。

【００８８】図２は、第１乃至第３階層のＳＤ画像を生
成する記憶装置の構成例を示している。

【００８９】この記憶装置は、例えば、１チップのＣＭ
ＯＳ（Complementary Metal OxideSemiconductor）など
で構成され、そこに入力されるＳＤ画像を第１階層のＳ
Ｄ画像として、その第１階層のＳＤ画像よりも画素数の
少ない第２のＳＤ画像、およびその第２のＳＤ画像より
も画素数の少ない第３のＳＤ画像を生成する３階層の階
層符号化を行うようになされている。

【００９０】即ち、アドレス供給回路１には、記憶装置
に入力される画像を構成するＳＤ画素の水平方向または
垂直方向の位置に対応したアドレスそれぞれとしての水
平アドレスまたは垂直アドレスが供給されるようになさ
れている。

【００９１】なお、本実施の形態では、例えば、図３に
示すような、水平方向が５１２画素で、垂直方向が５１
２ラインで１画面が構成される画像（ディジタル画像デ
ータ）が、第１階層のＳＤ画像として入力されるものと
する。従って、水平アドレスおよび垂直アドレスは、い
ずれも９（＝ｌｏｇ₂５１２）ビットで表される。

【００９２】また、本実施の形態では、上述したよう
に、第１階層のＳＤ画像の横または縦の画素数をそれぞ
れ２倍にしたＨＤ画像が生成されるから、そのＨＤ画像
の１画面は、１０２４×１０２４画素で構成されること
になる。

【００９３】アドレス供給回路１は、そこに供給される
水平アドレスおよび垂直アドレスを必要に応じて加工し
て、第１階層メモリ２、第２階層メモリ３、および第３
階層メモリ４に供給するようになされている。なお、ア
ドレス供給回路１には、水平アドレスおよび垂直アドレ
スの他、クロック（後述する図４乃至図６おいては図示
せず）、Ｒ／Ｗ（Read/Write）信号、および階層フラグ
も供給されるようになされており、アドレス供給回路１
は、そのクロックに同期して、第１階層メモリ２、第２
階層メモリ３、および第３階層メモリ４にアドレスを供
給するようになされている。また、アドレス供給回路１
は、Ｒ／Ｗ信号や階層フラグに対応して、そこに供給さ
れる水平アドレスおよび垂直アドレスを加工するように
なされている。さらに、アドレス供給回路１は、必要に
応じて、所定の制御信号を、ＲＭＷ（Read Modify Writ
e）回路５に供給するようになされている。

【００９４】ここで、Ｒ／Ｗ信号は、記憶装置からの画
像データの読み出し、または記憶装置への画像データの
書き込みを指示する信号であり、階層フラグは、記憶装
置に記憶された画像を読み出す場合に、第１乃至第３階
層のＳＤ画像のうちのいずれを読み出すかを指示するた
めの、例えば２ビットのフラグである。なお、画像デー
タの書き込みは、例えば、第１階層メモリ２、第２階層
メモリ３、および第３階層メモリ４に対して同時に行わ
れるようになされており、従って、Ｒ／Ｗ信号が書き込
みを表している場合は、階層フラグは無視される（意味
をもたない）。また、読み出しは、第１階層メモリ２、
第２階層メモリ３、第３階層メモリ４それぞれについて
個別に行われるようになされており、従って、階層フラ
グは、読み出し時においてのみ有効となる。但し、第１
階層メモリ２、第２階層メモリ３、第３階層メモリ４か
らの読み出しも同時に行うようにすることが可能であ
る。この場合、階層フラグは用いる必要がない。

【００９５】第１階層メモリ２は、アドレス供給回路１
によって指定されるアドレスに、ＲＭＷ回路５から供給
される画像データを記憶し、また、そのアドレスに記憶
されている画像データを読み出してＲＭＷ回路５に出力
するようになされている。なお、第１階層メモリ２は、
第１階層のＳＤ画像、即ち、ここでは、記憶装置に入力
される画像データを記憶するようになされている。ま
た、第１階層メモリ２は、少なくとも、１画面分の第１
階層のＳＤ画像、即ち、ここでは、図２に示したよう
に、５１２×５１２画素の画像データを記憶することが
できるようになされている。さらに、第１階層メモリ２
を構成するメモリセルは、少なくとも、第１階層のＳＤ
画像を構成する画素に割り当てられたビット数と同一の
データ長を有している。即ち、第１階層のＳＤ画像を構
成する画素が、例えば、８ビットで表されるとき、第１
階層メモリ２を構成するメモリセルは、少なくとも８ビ
ットのデータ長を有している。

【００９６】第２階層メモリ３は、アドレス供給回路１
によって指定されるアドレスに、ＲＭＷ回路５から供給
される画像データを記憶し、また、そのアドレスに記憶
されている画像データを読み出してＲＭＷ回路５に出力
するようになされている。なお、第２階層メモリ３は、
第２階層のＳＤ画像を記憶するようになされている。即
ち、本実施の形態では、例えば、第１階層のＳＤ画像を
構成する、隣接する２×２（横×縦）の４画素の加算値
が、第２階層の１の画素とされるようになされており、
第２階層メモリ３は、そのような画素で構成される第２
階層のＳＤ画像を記憶するようになされている。また、
第２階層メモリ３は、少なくとも、１画面分の第２階層
のＳＤ画像を記憶することのできる記憶容量を有してい
る。即ち、ここでは、第１階層の２×２画素から第２階
層の１の画素が形成されるから、第２階層のＳＤ画像
は、２５６×２５６（＝５１２／２×５１２／２）画素
で構成されることになる。従って、第２階層メモリ２
は、そのような数の画素数で構成される第２階層のＳＤ
画像を、少なくとも記憶することができるようになされ
ている。さらに、第２階層メモリ３を構成するメモリセ
ルは、少なくとも、第２階層のＳＤ画像を構成する画素
を桁落ちさせずに記憶することのできるデータ長を有し
ている。即ち、本実施の形態では、第１階層の画素が８
ビットで表されるから、そのような８ビットの画素の４
つの加算値である第２階層の画素は１０（＝ｌｏｇ
₂（２⁸＋２⁸＋２⁸＋２⁸））ビットで表されることにな
る。従って、第２階層メモリ３を構成するメモリセル
は、少なくとも１０ビットのデータ長を有している。

【００９７】第３階層メモリ４は、アドレス供給回路１
によって指定されるアドレスに、ＲＭＷ回路５から供給
される画像データを記憶し、また、そのアドレスに記憶
されている画像データを読み出してＲＭＷ回路５に出力
するようになされている。なお、第３階層メモリ４は、
第３階層のＳＤ画像を記憶するようになされている。即
ち、本実施の形態では、例えば、第２階層のＳＤ画像を
構成する、隣接する２×２の４画素、従って、第１階層
のＳＤ画像を構成する４×４画素の加算値が、第３階層
の１の画素とされるようになされており、第３階層メモ
リ４は、そのような画素で構成される第３階層のＳＤ画
像を記憶するようになされている。また、第３階層メモ
リ４は、少なくとも、１画面分の第３階層のＳＤ画像を
記憶することのできる記憶容量を有している。即ち、こ
こでは、第２階層の２×２画素から第３階層の１の画素
が形成されるから、第２階層のＳＤ画像は、１２８×１
２８（＝２５６／２×２５６／２）画素で構成されるこ
とになる。従って、第３階層メモリ４は、そのような数
の画素数で構成される第３階層のＳＤ画像を、少なくと
も記憶することができるようになされている。さらに、
第３階層メモリ４を構成するメモリセルは、少なくと
も、第３階層のＳＤ画像を構成する画素を桁落ちさせず
に記憶することができるデータ長を有している。即ち、
本実施の形態では、第２階層の画素が、上述したように
１０ビットで表されるから、そのような１０ビットの画
素の４つの加算値である第３階層の画素は１２（＝ｌｏ
ｇ₂（２^{1 0}＋２¹⁰＋２¹⁰＋２¹⁰））ビットで表されるこ
とになる。従って、第３階層メモリ４を構成するメモリ
セルは、少なくとも１２ビットのデータ長を有してい
る。

【００９８】なお、第１階層メモリ２、第２階層メモリ
３、および第３階層メモリ４には、クロックが供給され
るようになされており、このクロックに同期して、デー
タの読み書きが行われるようになされている。

【００９９】ＲＭＷ回路５は、記憶装置に供給される画
像データを、第１階層のＳＤ画像として、第１階層メモ
リ２に書き込むようになされている。また、ＲＭＷ回路
５は、第１階層のＳＤ画像から第２階層のＳＤ画像を算
出する処理を行い、第２階層メモリ３に書き込むように
なされている。さらに、ＲＭＷ回路５は、第１階層のＳ
Ｄ画像（または第２階層のＳＤ画像）から第３階層のＳ
Ｄ画像を算出する処理を行い、第３階層メモリ４に書き
込むようになされている。また、ＲＭＷ回路５は、第１
階層メモリ２、第２階層メモリ３、または第３階層メモ
リ４にそれぞれ記憶された画像データを読み出して出力
するようにもなされている。なお、ＲＭＷ回路５には、
クロック、Ｒ／Ｗ信号、階層フラグ、アドレス供給回路
１が出力する制御信号が供給されるようになされてお
り、ＲＭＷ回路５は、クロックに同期し、Ｒ／Ｗ信号、
階層フラグ、制御信号に基づいて各種の処理を行うよう
になされている。

【０１００】次に、その動作について、図３乃至図５を
参照して説明する。

【０１０１】なお、ここでは、上述の図３に示したよう
に、１画面が５１２×５１２画素で構成され、各画素が
８ビットで表される画像データが、第１階層のＳＤ画像
として記憶装置に供給されるものとする。また、画像デ
ータは、いわゆる順次走査されて供給されるものとす
る。

【０１０２】さらに、第１階層のＳＤ画像を構成する画
素を、その最も左上の画素をｈ（０，０）とし、以下、
同様にして、左からｘ＋１番目で、上からｙ＋１番目に
ある画素をｈ（ｘ，ｙ）と表す。第１階層のＳＤ画像
は、上述したように、５１２×５１２画素で構成される
から、ｘ，ｙは、いずれも０乃至５１１（＝２⁹−１）
の範囲の整数値をとる。

【０１０３】また、０乃至２５５（＝２⁹／２−１）の
範囲の整数値をとる変数ｓ，ｔを考えると、第２階層の
ＳＤ画像を構成する画素は、第１階層の隣接する２×２
画素 ｈ（２ｓ，２ｔ）， ｈ（２ｓ＋１，２ｔ），ｈ（２
ｓ，２ｔ＋１），ｈ（２ｓ＋１，２ｔ＋１） の加算値となるが、それをｍ（ｓ，ｔ）と表す。従っ
て、式 m(s,t)=h(2s,2t)+h(2s+1,2t)+h(2s,2t+1)+h(2s+1,2t+1) ・・・（８） が成り立つ。

【０１０４】さらに、０乃至１２７（＝２⁹／４−１）
の範囲の整数値をとる変数ｍ，ｎを考えると、第３階層
のＳＤ画像を構成する画素は、第２階層の隣接する２×
２画素 ｍ（２ｍ，２ｎ）， ｍ（２ｍ＋１，２ｎ），ｍ（２
ｍ，２ｎ＋１），ｍ（２ｍ＋１，２ｎ＋１） の加算値、即ち、第１階層の隣接する４×４画素 h(4m,4n), h(4m+1,4n), h(4m+2,4n), h(4m+3,4n),h
(4m,4n+1),h(4m+1,4n+1),h(4m+2,4n+1),h(4m+3,4n+1),h
(4m,4n+2),h(4m+1,4n+2),h(4m+2,4n+2),h(4m+3,4n+2),h
(4m,4n+3),h(4m+1,4n+3),h(4m+2,4n+3),h(4m+3,4n+3) の加算値となるが、それをｑ（ｍ，ｎ）と表す。従っ
て、式 q(m,n)=m(2m,2n)+m(2m+1,2n)+m(2m,2n+1)+m(2m+1,2n+1) =h(4m,4n)+h(4m+1,4n)+h(4m+2,4n)+h(4m+3,4n) +h(4m,4n+1)+h(4m+1,4n+1)+h(4m+2,4n+1)+h(4m+3,4n+1) +h(4m,4n+2)+h(4m+1,4n+2)+h(4m+2,4n+2)+h(4m+3,4n+2) +h(4m,4n+3)+h(4m+1,4n+3)+h(4m+2,4n+3)+h(4m+3,4n+3) ・・・（９） が成り立つ。

【０１０５】また、アドレス供給回路１には、データの
書き込み時および読み出し時のいずれの場合も、水平ア
ドレスＨＡおよび垂直アドレスＶＡの組合せ（ＨＡ，Ｖ
Ａ）が、 （０，０），（１，０），・・・，（５１１，０）， （０，１），（１，１），・・・，（５１１，１）， ・ ・ ・ （５１１，０），（５１１，１），・・・，（５１１，
５１１） の順（順次走査に対応する順）で、クロックに同期して
供給されるものとする。

【０１０６】さらに、９ビットの水平アドレスＨＡの各
ビットを、その最下位ビットをｈａ０として、ｈａ１，
ｈａ２，・・・，ｈａ８（ｈａ８は最上位ビット）と表
すとともに、９ビットの垂直アドレスＶＡの各ビットも
同様に、その最下位ビットをｖａ０として、ｖａ１，ｖ
ａ２，・・・，ｖａ８（ｖａ８は最上位ビット）と表
す。

【０１０７】また、記憶装置への画像データの書き込み
時には、ＲＭＷ回路５には、第１階層のＳＤ画像が、ク
ロックに同期して順次走査されて供給され、これに伴
い、アドレス供給回路１には、水平アドレスＨＡおよび
垂直アドレスＶＡが、上述したように供給されるものと
する。

【０１０８】この場合、第１階層メモリ２へのアクセス
は、次のようにして行われる。

【０１０９】即ち、図４に示すように、まず書き込み時
（Ｒ／Ｗ信号が書き込みを表している場合）において
は、アドレス供給回路１は、そこに供給される水平アド
レスＨＡおよび垂直アドレスＶＡを、そのまま、第１階
層メモリ２のアドレス端子（ＡＤｈ，ＡＤｖ）に供給す
る。一方、ＲＭＷ回路５は、そこに供給される第１階層
のＳＤ画像データ（ＳＤ画素（画素値））を、水平アド
レスＨＡおよび垂直アドレスＶＡによって指定されてい
る第１階層メモリ２のメモリセル（図示せず）に書き込
む。以下、同様の処理が行われることで、５１２×５１
２画素で構成される１画面分の第１階層のＳＤ画像が、
第１階層メモリ２に記憶される。即ち、これにより、第
１階層メモリ２のアドレス （０，０），（１，０），・・・，（５１１，０）， （０，１），（１，１），・・・，（５１１，１）， ・・・ （５１１，０），（５１１，１），・・・，（５１１，
５１１） には、第１階層の画素（画素値） ｈ（０，０），ｈ（１，０），・・・，ｈ（５１１，
０）， ｈ（０，１），ｈ（１，１），・・・，ｈ（５１１，
１）， ・・・ ｈ（５１１，０），ｈ（５１１，１），・・・，ｈ（５
１１，５１１） がそれぞれ記憶される。

【０１１０】読み出し時（Ｒ／Ｗ信号が読み出しを表し
ている場合）においては、アドレス供給回路１は、階層
フラグが第１階層を表していれば、やはり、そこに供給
される水平アドレスＨＡおよび垂直アドレスＶＡを、そ
のまま、第１階層メモリ２のアドレス端子に供給する。
そして、ＲＭＷ回路５は、水平アドレスＨＡおよび垂直
アドレスＶＡによって指定されている第１階層メモリ２
のメモリセルに記憶されている第１階層のＳＤ画像デー
タを読み出し、以下、同様の処理が行われることで、５
１２×５１２画素で構成される１画面分の第１階層のＳ
Ｄ画像が、第１階層メモリ２から読み出される。即ち、
これにより、順次走査された第１階層のＳＤ画像が出力
される。

【０１１１】次に、第２階層メモリ３へのアクセスにつ
いて説明する。

【０１１２】まず書き込み時においては、アドレス供給
回路１は、例えば、図５に示すように、そこに供給され
る水平アドレスＨＡの一部としての、そのうちの最下位
ビットｈａ０を除く上位８ビットｈａ１乃至ｈａ８と、
垂直アドレスＶＡの一部としての、最下位ビットｖａ０
を除く上位８ビットｖａ１乃至ｖａ８を、第２階層メモ
リ３のアドレス端子に供給する。さらに、アドレス供給
回路１は、水平アドレスＨＡの最下位ビットｈａ０と、
垂直アドレスＶＡの最下位ビットｖａ０を、制御信号と
して、ＲＭＷ回路５に出力する。

【０１１３】従って、例えば、図３にＤ１で示すような
第１階層の２×２の４画素ｈ（２ｓ，２ｔ），ｈ（２ｓ
＋１，２ｔ），ｈ（２ｓ，２ｔ＋１），ｈ（２ｓ＋１，
２ｔ＋１）が、ＲＭＷ回路５に供給されるタイミングに
おいては、いずれのタイミングでも、アドレス供給回路
１は、第２階層メモリ３の同一アドレス（ｓ，ｔ）を指
定する信号を、第２階層メモリ３に出力する。

【０１１４】一方、ＲＭＷ回路５では、そこに供給され
る第１階層のＳＤ画像データが、演算器１３に入力され
る。演算器１３には、第１階層のＳＤ画像データの他、
スイッチ１２の出力が供給されるようになされており、
演算器１３は、それらを加算して、書き込み部１４に供
給するようになされている。

【０１１５】スイッチ１２は、ＮＯＲゲート１５の出力
に対応して、端子１２ａまたは１２ｂのうちのいずれか
一方を選択するようになされており、また、端子１２ａ
または１２ｂには、読み出し部１１の出力または０がそ
れぞれ供給されるようになされている。ＮＯＲゲート１
５には、アドレス供給回路１からの水平アドレスＨＡの
最下位ビットｈａ０と、垂直アドレスＶＡの最下位ビッ
トｖａ０とが供給されるようになされており、従って、
その出力は、最下位ビットｈａ０およびｖａ０がいずれ
も０の場合、即ち、第１階層の２×２画素ｈ（２ｓ，２
ｔ），ｈ（２ｓ＋１，２ｔ），ｈ（２ｓ，２ｔ＋１），
ｈ（２ｓ＋１，２ｔ＋１）のうちの左上の画素ｈ（２
ｓ，２ｔ）が、演算器１３に供給されるタイミングの場
合のみ、Ｈレベルとなり、他の場合はＬレベルとなるよ
うになされている。

【０１１６】そして、スイッチ１２は、ＮＯＲゲート１
５の出力がＬレベルまたはＨレベルのとき、端子１２ａ
または１２ｂをそれぞれ選択するようになされている。

【０１１７】また、読み出し部１１は、アドレス供給回
路１が出力する信号に対応するアドレスに記憶されてい
るデータ（記憶データ）を読み出すようになされてい
る。

【０１１８】従って、第１階層の２×２画素ｈ（２ｓ，
２ｔ），ｈ（２ｓ＋１，２ｔ），ｈ（２ｓ，２ｔ＋
１），ｈ（２ｓ＋１，２ｔ＋１）のうちの左上の画素ｈ
（２ｓ，２ｔ）が演算器１３に供給されるタイミングに
おいては、読み出し部１１において、第２階層メモリ３
のアドレス（ｓ，ｔ）に記憶されたデータが読み出さ
れ、端子１２ａに供給されるが、この場合、水平アドレ
スＨＡの最下位ビットｈａ０、および垂直アドレスＶＡ
の最下位ビットｖａ０はいずれも０であるから、ＮＯＲ
ゲート１５の出力はＨレベルとなり、スイッチ１２は端
子１２ｂを選択する。

【０１１９】その結果、演算器１３には、スイッチ１２
を介して０が供給される。

【０１２０】演算器１３では、この０と第１階層の画素
ｈ（２ｓ，２ｔ）とが加算され、その加算値（０＋ｈ
（２ｓ，２ｔ））が、書き込み部１４に供給される。書
き込み部１４は、演算器１３の出力を、アドレス供給回
路１が出力する信号に対応するアドレス、即ち、第２階
層メモリ３のアドレス（ｓ，ｔ）に書き込む。

【０１２１】次に、第１階層の２×２画素ｈ（２ｓ，２
ｔ），ｈ（２ｓ＋１，２ｔ），ｈ（２ｓ，２ｔ＋１），
ｈ（２ｓ＋１，２ｔ＋１）のうちの左上の画素ｈ（２
ｓ，２ｔ）の右隣の画素ｈ（２ｓ＋１，２ｔ）が演算器
１３に供給されるタイミングにおいては、読み出し部１
１において、やはり、第２階層メモリ３のアドレス
（ｓ，ｔ）に記憶されたデータ（ここでは、０＋ｈ（２
ｓ，２ｔ））が読み出され、端子１２ａに供給される。

【０１２２】一方、この場合、水平アドレスＨＡの最下
位ビットｈａ０は１で、垂直アドレスＶＡの最下位ビッ
トｖａ０は０となっているから、ＮＯＲゲート１５の出
力はＬレベルとなり、スイッチ１２は端子１２ａを選択
する。

【０１２３】その結果、演算器１３には、スイッチ１２
を介して、読み出し部１１において読み出されたデータ
（記憶データ）（ここでは、０＋ｈ（２ｓ，２ｔ））が
供給される。

【０１２４】演算器１３では、スイッチ１２を介して供
給されるデータと、第１階層の画素ｈ（２ｓ＋１，２
ｔ）とが加算され、その加算値（０＋ｈ（２ｓ，２ｔ）
＋ｈ（２ｓ＋１，２ｔ））が、書き込み部１４に供給さ
れる。書き込み部１４は、演算器１３の出力を、アドレ
ス供給回路１が出力する信号に対応するアドレス、即
ち、第２階層メモリ３のアドレス（ｓ，ｔ）に書き込
む。

【０１２５】その後、第１階層の上から２ｔ＋１ライン
目の画像データの供給が開始され、第１階層の２×２画
素ｈ（２ｓ，２ｔ），ｈ（２ｓ＋１，２ｔ），ｈ（２
ｓ，２ｔ＋１），ｈ（２ｓ＋１，２ｔ＋１）のうちの左
下の画素ｈ（２ｓ，２ｔ＋１）が、演算器１３に供給さ
れると、読み出し部１１において、やはり、第２階層メ
モリ３のアドレス（ｓ，ｔ）に記憶されたデータ（ここ
では、０＋ｈ（２ｓ，２ｔ）＋ｈ（２ｓ＋１，２ｔ））
が読み出され、端子１２ａに供給される。

【０１２６】一方、この場合、水平アドレスＨＡの最下
位ビットｈａ０は０で、垂直アドレスＶＡの最下位ビッ
トｖａ０は１となっているから、ＮＯＲゲート１５の出
力はＬレベルとなり、スイッチ１２は端子１２ａを選択
する。

【０１２７】その結果、演算器１３には、スイッチ１２
を介して、読み出し部１１において読み出されたデータ
（記憶データ）（ここでは、０＋ｈ（２ｓ，２ｔ）＋ｈ
（２ｓ＋１，２ｔ））が供給される。

【０１２８】演算器１３では、スイッチ１２を介して供
給されるデータと、第１階層の画素ｈ（２ｓ，２ｔ＋
１）とが加算され、その加算値（０＋ｈ（２ｓ，２ｔ）
＋ｈ（２ｓ＋１，２ｔ）＋ｈ（２ｓ，２ｔ＋１））が、
書き込み部１４に供給される。書き込み部１４は、演算
器１３の出力を、アドレス供給回路１が出力する信号に
対応するアドレス、即ち、第２階層メモリ３のアドレス
（ｓ，ｔ）に書き込む。

【０１２９】次に、第１階層の２×２画素ｈ（２ｓ，２
ｔ），ｈ（２ｓ＋１，２ｔ），ｈ（２ｓ，２ｔ＋１），
ｈ（２ｓ＋１，２ｔ＋１）のうちの左下の画素ｈ（２
ｓ，２ｔ＋１）の右隣の画素ｈ（２ｓ＋１，２ｔ＋１）
が、演算器１３に供給されると、読み出し部１１におい
て、やはり、第２階層メモリ３のアドレス（ｓ，ｔ）に
記憶されたデータ（ここでは、０＋ｈ（２ｓ，２ｔ）＋
ｈ（２ｓ＋１，２ｔ）＋ｈ（２ｓ，２ｔ＋１））が読み
出され、端子１２ａに供給される。

【０１３０】一方、この場合、水平アドレスＨＡの最下
位ビットｈａ０および垂直アドレスＶＡの最下位ビット
ｖａ０は、いずれも１となっているから、ＮＯＲゲート
１５の出力はＬレベルとなり、スイッチ１２は端子１２
ａを選択する。

【０１３１】その結果、演算器１３には、スイッチ１２
を介して、読み出し部１１において読み出されたデータ
（記憶データ）（ここでは、０＋ｈ（２ｓ，２ｔ）＋ｈ
（２ｓ＋１，２ｔ）＋ｈ（２ｓ，２ｔ＋１））が供給さ
れる。

【０１３２】演算器１３では、スイッチ１２を介して供
給されるデータと、第１階層の画素ｈ（２ｓ＋１，２ｔ
＋１）とが加算され、その加算値（０＋ｈ（２ｓ，２
ｔ）＋ｈ（２ｓ＋１，２ｔ）＋ｈ（２ｓ，２ｔ＋１）＋
ｈ（２ｓ＋１，２ｔ＋１））が、書き込み部１４に供給
される。書き込み部１４は、演算器１３の出力を、アド
レス供給回路１が出力する信号に対応するアドレス、即
ち、第２階層メモリ３のアドレス（ｓ，ｔ）に書き込
む。

【０１３３】従って、第２階層メモリ３のアドレス
（ｓ，ｔ）には、最終的には、式ｈ（２ｓ，２ｔ）＋ｈ
（２ｓ＋１，２ｔ）＋ｈ（２ｓ，２ｔ＋１）＋ｈ（２ｓ
＋１，２ｔ＋１）で表される加算値、即ち、上述の式
（８）に示した第２階層の画素（画素値）ｍ（ｓ，ｔ）
が記憶されることになる。

【０１３４】以上のようにして、第２階層メモリ３に
は、２５６×２５６画素で１画面が構成される第２階層
のＳＤ画像が記憶される。

【０１３５】以上のように、第１階層のＳＤ画像データ
を、水平アドレスＨＡおよび垂直アドレスＶＡによって
指定される第１階層メモリ２のアドレス（ＨＡ，ＶＡ）
に書き込むとともに、水平アドレスＨＡおよび垂直アド
レスＶＡの一部ｈａ１乃至ｈａ８およびｖａ１乃至ｖａ
８によって指定される第２階層メモリのアドレスから、
そこに記憶されている記憶データを読み出し、その記憶
データと第１階層のＳＤ画像データとを加算する処理を
行い、その加算値を記憶データが記憶されていた第２階
層メモリのアドレスに書き込むようにしたので、第１階
層のＳＤ画像データを記憶するのと同時に、第２階層の
ＳＤ画像データを生成して記憶することができる。即
ち、リアルタイムで、第２階層のＳＤ画像データを得る
ことができる。

【０１３６】次に、第２階層メモリ３からの第２階層の
ＳＤ画像の読み出しについて説明する。

【０１３７】読み出し時においては、アドレス供給回路
１は、階層フラグが第２階層を表している場合、やは
り、そこに供給される水平アドレスＨＡまたは垂直アド
レスＶＡのそれぞれ上位８ビットｈａ１乃至ｈａ８また
はｖａ１乃至ｖａ８を、第２階層メモリ２のアドレス端
子に供給するとともに、それぞれの最下位ビットｈａ０
またはｖａ０を、制御信号として、ＲＭＷ回路５に出力
する。

【０１３８】一方、ＲＭＷ回路５では、読み出し部１１
に対して、階層フラグ、Ｒ／Ｗ信号、およびＮＯＲゲー
ト１５の出力が供給されるようになされており、読み出
し部１１は、Ｒ／Ｗ信号が読み出しを表しており、かつ
階層フラグが第２階層を表している場合には、ＮＯＲゲ
ート１５の出力がＨレベルのときだけ、アドレス供給回
路１が出力する信号に対応するアドレスに記憶されてい
る第２階層のＳＤ画像データを読み出して出力する。

【０１３９】即ち、上述したことから、水平アドレスＨ
Ａと垂直アドレスＶＡとの組が（２ｓ，２ｔ），（２ｓ
＋１，２ｔ），（２ｓ，２ｔ＋１），（２ｓ＋１，２ｔ
＋１）の場合は、アドレス供給回路１からは、いずれも
同一のアドレス（ｓ，ｔ）が出力される。従って、単純
に、アドレス供給回路１が出力する信号に対応する第２
階層メモリ３のアドレスからデータを読み出したので
は、同一のデータが４回重複して読み出されることにな
る。

【０１４０】そこで、読み出し部１１では、水平アドレ
スＨＡと垂直アドレスＶＡとの組が（２ｓ，２ｔ），
（２ｓ＋１，２ｔ），（２ｓ，２ｔ＋１），（２ｓ＋
１，２ｔ＋１）のうちの、例えば、（２ｓ，２ｔ）とな
るときだけ、即ち、ＮＯＲゲート１５の出力がＨレベル
のときだけ、第２階層メモリ３のアドレス（ｓ，ｔ）か
ら、第２階層の画素（画素値）ｍ（ｓ，ｔ）を読み出す
ようになっている。

【０１４１】読み出し部１１が読み出した第２階層のＳ
Ｄ画像データは、スイッチ１６に供給される。スイッチ
１６は、Ｒ／Ｗ信号が読み出しを表している場合のみオ
ンになり、他の場合はオフになっており、従って、いま
の場合、スイッチ１６はオンになっているから、読み出
し部１１によって読み出された第２階層のＳＤ画像デー
タは、スイッチ１６を介して出力される。

【０１４２】以上のようにして、第２階層メモリ３から
は、そこに記憶されている２５６×２５６画素で構成さ
れる１画面分の第２階層のＳＤ画像が読み出される。即
ち、これにより、順次走査された第２階層のＳＤ画像が
出力される。

【０１４３】次に、第３階層メモリ４へのアクセスにつ
いて説明する。

【０１４４】まず書き込み時においては、アドレス供給
回路１は、例えば、図６に示すように、そこに供給され
る水平アドレスＨＡの一部としての、そのうちの下位２
ビットｈａ０およびｈａ１を除く上位７ビットｈａ２乃
至ｈａ８と、垂直アドレスＶＡの一部としての、下位２
ビットｖａ０およびｖａ１を除く上位７ビットｖａ２乃
至ｖａ８を、第３階層メモリ４のアドレス端子に供給す
る。さらに、アドレス供給回路１は、水平アドレスＨＡ
の下位２ビットｈａ０およびｈａ１と、垂直アドレスＶ
Ａの下位２ビットｖａ０およびｖａ１を、制御信号とし
て、ＲＭＷ回路５に出力する。

【０１４５】従って、例えば、図３にＤ２で示すような
第１階層の４×４の１６画素ｈ（４ｍ，４ｎ），ｈ（４
ｍ＋１，４ｎ），ｈ（４ｍ＋２，４ｎ），ｈ（４ｍ＋
３，４ｎ），ｈ（４ｍ，４ｎ＋１），ｈ（４ｍ＋１，４
ｎ＋１），ｈ（４ｍ＋２，４ｎ＋１），ｈ（４ｍ＋３，
４ｎ＋１），ｈ（４ｍ，４ｎ＋２），ｈ（４ｍ＋１，４
ｎ＋２），ｈ（４ｍ＋２，４ｎ＋２），ｈ（４ｍ＋３，
４ｎ＋２），ｈ（４ｍ，４ｎ＋３），ｈ（４ｍ＋１，４
ｎ＋３），ｈ（４ｍ＋２，４ｎ＋３），ｈ（４ｍ＋３，
４ｎ＋３）が、ＲＭＷ回路５に供給されるタイミングに
おいては、いずれのタイミングでも、アドレス供給回路
１は、第３階層メモリ４の同一アドレス（ｍ，ｎ）を指
定する信号を出力する。

【０１４６】一方、ＲＭＷ回路５では、そこに供給され
る第１階層のＳＤ画像データが、演算器２３に入力され
る。演算器２３には、第１階層のＳＤ画像データの他、
スイッチ２２の出力が供給されるようになされており、
演算器２３は、それらを加算して、書き込み部２４に供
給するようになされている。

【０１４７】スイッチ２２は、ＮＯＲゲート２５の出力
に対応して、端子２２ａまたは２２ｂのうちのいずれか
一方を選択するようになされており、また、端子２２ａ
または２２ｂには、読み出し部２１の出力または０がそ
れぞれ供給されるようになされている。ＮＯＲゲート２
５には、アドレス供給回路１からの水平アドレスＨＡの
下位２ビットｈａ０およびｈａ１と、垂直アドレスＶＡ
の下位２ビットｖａ０およびｖａ１とが供給されるよう
になされており、従って、その出力は、下位２ビットｈ
ａ０およびｈａ１並びにｖａ０およびｖａ１がいずれも
０の場合、即ち、第１階層の４×４画素ｈ（４ｍ，４
ｎ），ｈ（４ｍ＋１，４ｎ），ｈ（４ｍ＋２，４ｎ），
ｈ（４ｍ＋３，４ｎ），ｈ（４ｍ，４ｎ＋１），ｈ（４
ｍ＋１，４ｎ＋１），ｈ（４ｍ＋２，４ｎ＋１），ｈ
（４ｍ＋３，４ｎ＋１），ｈ（４ｍ，４ｎ＋２），ｈ
（４ｍ＋１，４ｎ＋２），ｈ（４ｍ＋２，４ｎ＋２），
ｈ（４ｍ＋３，４ｎ＋２），ｈ（４ｍ，４ｎ＋３），ｈ
（４ｍ＋１，４ｎ＋３），ｈ（４ｍ＋２，４ｎ＋３），
ｈ（４ｍ＋３，４ｎ＋３）のうちの左上の画素ｈ（４
ｍ，４ｎ）が、演算器２３に供給されるタイミングの場
合のみ、Ｈレベルとなり、他の場合はＬレベルとなるよ
うになされている。

【０１４８】そして、スイッチ２２は、ＮＯＲゲート２
５の出力がＬレベルまたはＨレベルのとき、端子２２ａ
または２２ｂをそれぞれ選択するようになされている。

【０１４９】また、読み出し部２１は、アドレス供給回
路１が出力する信号に対応するアドレスに記憶されてい
るデータ（記憶データ）を読み出すようになされてい
る。

【０１５０】従って、第１階層の画素ｈ（４ｍ，４ｎ）
が演算器２３に供給されるタイミングにおいては、読み
出し部２１において、第３階層メモリ４のアドレス
（ｍ，ｎ）に記憶されたデータが読み出され、端子２２
ａに供給されるが、この場合、水平アドレスＨＡの下位
２ビットｈａ０およびｈａ１、並びに垂直アドレスＶＡ
の下位２ビットｖａ０およびｖａ１はいずれも０である
から、ＮＯＲゲート２５の出力はＨレベルとなり、スイ
ッチ２２は端子２２ｂを選択する。

【０１５１】その結果、演算器２３には、スイッチ２２
を介して０が供給される。

【０１５２】演算器２３では、この０と第１階層の画素
ｈ（４ｍ，４ｎ）とが加算され、その加算値（０＋ｈ
（４ｍ，４ｎ））が、書き込み部２４に供給される。書
き込み部２４は、演算器２３の出力を、アドレス供給回
路１が出力する信号に対応するアドレス、即ち、第３階
層メモリ４のアドレス（ｍ，ｎ）に書き込む。

【０１５３】次に、第１階層の画素ｈ（４ｍ，４ｎ）の
右隣の画素ｈ（４ｍ＋１，４ｎ）が演算器２３に供給さ
れるタイミングにおいては、読み出し部２１において、
やはり、第３階層メモリ４のアドレス（ｍ，ｎ）に記憶
されたデータ（ここでは、０＋ｈ（４ｍ，４ｎ））が読
み出され、端子２２ａに供給される。

【０１５４】一方、この場合、水平アドレスＨＡの下位
２ビットｈａ０またはｈａ１はそれぞれ１または０で、
垂直アドレスＶＡの下位２ビットｖａ０およびｖａ１は
いずれも０となっているから、ＮＯＲゲート２５の出力
はＬレベルとなり、スイッチ２２は端子２２ａを選択す
る。

【０１５５】その結果、演算器２３には、スイッチ２２
を介して、読み出し部２１において読み出されたデータ
（記憶データ）（ここでは、０＋ｈ（４ｍ，４ｎ））が
供給される。

【０１５６】演算器２３では、スイッチ２２を介して供
給されるデータと、第１階層の画素ｈ（４ｍ＋１，４
ｎ）とが加算され、その加算値（０＋ｈ（４ｍ，４ｎ）
＋ｈ（４ｍ＋１，４ｎ））が、書き込み部２４に供給さ
れる。書き込み部２４は、演算器２３の出力を、アドレ
ス供給回路１が出力する信号に対応するアドレス、即
ち、第３階層メモリ４のアドレス（ｍ，ｎ）に書き込
む。

【０１５７】次に、第１階層の画素ｈ（４ｍ＋１，４
ｎ）の右隣の画素ｈ（４ｍ＋２，４ｎ）が演算器２３に
供給されるタイミングにおいては、読み出し部２１にお
いて、やはり、第３階層メモリ４のアドレス（ｍ，ｎ）
に記憶されたデータ（ここでは、０＋ｈ（４ｍ，４ｎ）
＋ｈ（４ｍ＋１，４ｎ））が読み出され、端子２２ａに
供給される。

【０１５８】一方、この場合、水平アドレスＨＡの下位
２ビットｈａ０またはｈａ１はそれぞれ１または０で、
垂直アドレスＶＡの下位２ビットｖａ０およびｖａ１は
いずれも０となっているから、ＮＯＲゲート２５の出力
はＬレベルとなり、スイッチ２２は端子２２ａを選択す
る。

【０１５９】その結果、演算器２３には、スイッチ２２
を介して、読み出し部２１において読み出されたデータ
（記憶データ）（ここでは、０＋ｈ（４ｍ，４ｎ）＋ｈ
（４ｍ＋１，４ｎ））が供給される。

【０１６０】演算器２３では、スイッチ２２を介して供
給されるデータと、第１階層の画素ｈ（４ｍ＋２，４
ｎ）とが加算され、その加算値（０＋ｈ（４ｍ，４ｎ）
＋ｈ（４ｍ＋１，４ｎ）＋ｈ（４ｍ＋２，４ｎ））が、
書き込み部２４に供給される。書き込み部２４は、演算
器２３の出力を、アドレス供給回路１が出力する信号に
対応するアドレス、即ち、第３階層メモリ４のアドレス
（ｍ，ｎ）に書き込む。

【０１６１】以下、第１階層の画素ｈ（４ｍ＋３，４
ｎ），ｈ（４ｍ，４ｎ＋１），ｈ（４ｍ＋１，４ｎ＋
１），ｈ（４ｍ＋２，４ｎ＋１），ｈ（４ｍ＋３，４ｎ
＋１），ｈ（４ｍ，４ｎ＋２），ｈ（４ｍ＋１，４ｎ＋
２），ｈ（４ｍ＋２，４ｎ＋２），ｈ（４ｍ＋３，４ｎ
＋２），ｈ（４ｍ，４ｎ＋３），ｈ（４ｍ＋１，４ｎ＋
３），ｈ（４ｍ＋２，４ｎ＋３），ｈ（４ｍ＋３，４ｎ
＋３）が、演算器２３に供給されるタイミングにおいて
は、いずれにおいても、上述の場合と同様の処理が行わ
れ、これにより、第３階層メモリ４のアドレス（ｍ，
ｎ）には、最終的には、上述の式（９）に示した第３階
層の画素（画素値）ｑ（ｍ，ｎ）が記憶されることにな
る。

【０１６２】以上のようにして、第３階層メモリ４に
は、１２８×１２８画素で１画面が構成される第３階層
のＳＤ画像が記憶される。

【０１６３】従って、第１階層のＳＤ画像データを記憶
するのと同時に、第２階層のＳＤ画像データ、さらに
は、第３階層のＳＤ画像データを生成して記憶すること
ができる。即ち、リアルタイムで、第２および第３階層
のＳＤ画像データを得ることができる。

【０１６４】次に、第３階層メモリ４からの第３階層の
ＳＤ画像の読み出しについて説明する。

【０１６５】読み出し時においては、アドレス供給回路
１は、階層フラグが第３階層を表している場合、やは
り、そこに供給される水平アドレスＨＡまたは垂直アド
レスＶＡのそれぞれ上位７ビットｈａ２乃至ｈａ８また
はｖａ２乃至ｖａ８を、第３階層メモリ４のアドレス端
子に供給するとともに、それぞれの下位２ビットｈａ０
およびｈａ１またはｖａ０およびｖａ１を、制御信号と
して、ＲＭＷ回路５に出力する。

【０１６６】一方、ＲＭＷ回路５では、読み出し部２１
に対して、階層フラグ、Ｒ／Ｗ信号、およびＮＯＲゲー
ト２５の出力が供給されるようになされており、読み出
し部２１は、Ｒ／Ｗ信号が読み出しを表しており、階層
フラグが第３階層を表している場合には、ＮＯＲゲート
２５の出力がＨレベルのときだけ、アドレス供給回路１
が出力する信号に対応するアドレスに記憶されている第
３階層のＳＤ画像データを読み出して出力する。

【０１６７】即ち、上述したことから、水平アドレスＨ
Ａと垂直アドレスＶＡとの組が、（４ｍ，４ｎ），（４
ｍ＋１，４ｎ），（４ｍ＋２，４ｎ），（４ｍ＋３，４
ｎ），（４ｍ，４ｎ＋１），（４ｍ＋１，４ｎ＋１），
（４ｍ＋２，４ｎ＋１），（４ｍ＋３，４ｎ＋１），
（４ｍ，４ｎ＋２），（４ｍ＋１，４ｎ＋２），（４ｍ
＋２，４ｎ＋２），（４ｍ＋３，４ｎ＋２），（４ｍ，
４ｎ＋３），（４ｍ＋１，４ｎ＋３），（４ｍ＋２，４
ｎ＋３），（４ｍ＋３，４ｎ＋３）の場合は、アドレス
供給回路１からは、いずれも同一のアドレス（ｍ，ｎ）
が出力される。従って、単純に、アドレス供給回路１が
出力する信号に対応する第３階層メモリ４のアドレスか
らデータを読み出したのでは、同一のデータが１６回重
複して読み出されることになる。

【０１６８】そこで、読み出し部２１では、水平アドレ
スＨＡと垂直アドレスＶＡとの組が、上述のうちの、例
えば、（４ｍ，４ｎ）となるときだけ、即ち、ＮＯＲゲ
ート２５の出力がＨレベルのときだけ、第３階層メモリ
４のアドレス（ｍ，ｎ）から、第３階層の画素（画素
値）ｍ（ｍ，ｎ）を読み出すようになっている。

【０１６９】読み出し部２１が読み出した第３階層のＳ
Ｄ画像データは、スイッチ２６に供給される。スイッチ
２６は、Ｒ／Ｗ信号が読み出しを表している場合のみオ
ンになり、他の場合はオフになっており、従って、いま
の場合、スイッチ２６はオンになっているから、読み出
し部２１によって読み出された第３階層のＳＤ画像デー
タは、スイッチ２６を介して出力される。

【０１７０】以上のようにして、第３階層メモリ４から
は、そこに記憶されている１２８×１２８画素で構成さ
れる１画面分の第３階層のＳＤ画像が読み出される。即
ち、これにより、順次走査された第３階層のＳＤ画像が
出力される。

【０１７１】なお、第２階層メモリ３からの第２階層の
ＳＤ画像データの読み出しは、上述したようにして行う
他、例えば、アドレス供給回路１から、水平アドレスＨ
Ａの下位８ビットｈａ０乃至ｈａ７と、垂直アドレスＶ
Ａの下位８ビットｖａ０乃至ｖａ７を、第２階層メモリ
３のアドレスとして与えることにより行うことも可能で
ある。同様に、第３階層メモリ４からの第３階層のＳＤ
画像データの読み出しも、アドレス供給回路１から、水
平アドレスＨＡの下位７ビットｈａ０乃至ｈａ６と、垂
直アドレスＶＡの下位７ビットｖａ０乃至ｖａ６を、第
３階層メモリ４のアドレスとして与えることにより行う
ことが可能である。

【０１７２】図１の第１階層メモリ１０１、第２階層メ
モリ１０２、または第３階層メモリ１０３には、以上の
ようにして、図２の第１階層メモリ２、第２階層メモリ
３、または第３階層メモリ４に記憶された第１乃至第３
階層のＳＤ画像がそれぞれ記憶されている。従って、図
１の第１階層メモリ１０１、第２階層メモリ１０２、ま
たは第３階層メモリ１０３は、基本的に、図２の第１階
層メモリ２、第２階層メモリ３、または第３階層メモリ
４とそれぞれ同様に構成される。

【０１７３】次に、図７は、図１の多階層クラス分類部
１０４（多階層クラス分類回路１０４ａ乃至１０４ｄそ
れぞれ）の構成例を示している。

【０１７４】第１階層メモリ１０１、第２階層メモリ１
０２、または第３階層メモリ１０３にそれぞれ記憶され
ている第１乃至第３階層のＳＤ画像は、選択回路１１２
に供給されるようになされている。また、第１または第
２階層のＳＤ画像は、アクティビティ検出回路１１１₁
または１１１₂にもそれぞれ供給されるようになされて
いる。

【０１７５】アクティビティ検出回路１１１₁または１
１１₂は、例えば、第１または第２階層のＳＤ画像にお
ける、注目画素の位置付近にあるＳＤ画素を用いて、そ
のアクティビティを検出し、その検出結果を、選択回路
１１２に検出するようになされている。選択回路１１２
は、アクティビティ検出回路１１１₁および１１１₂から
のアクティビティに基づいて、第１乃至第３階層のＳＤ
画像のうちのいずれかを選択し、クラスタップ生成回路
１１３に供給するようになされている。また、選択回路
１１２は、第１乃至第３階層のうちのいずれを選択した
かを表す、例えば、２ビットの選択信号を合成回路１１
５に出力するようにもなされている。クラスタップ生成
回路１１３は、選択回路１１２からの画像を用いて、注
目画素のクラス分類を行うためのクラスタップを生成
し、クラス分類回路１１４に供給するようになされてい
る。クラス分類回路１１４は、クラスタップ生成回路１
１３からのクラスタップを用いてクラス分類を行い、そ
のクラス分類結果を、合成回路１１５に供給するように
なされている。合成回路１１５は、選択回路１１２から
の選択信号と、クラス分類回路１１４からのクラス分類
結果としてのクラスとを合成して、１つの値にし、これ
を、注目画素の最終的なクラス分類結果として、適応処
理部１０５（図１）に供給するようになされている。

【０１７６】次に、その動作について説明する。

【０１７７】まず、アクティビティ検出回路１１１₁ま
たは１１１₂において、第１または第２階層のＳＤ画像
における、注目画素付近のアクティビティがそれぞれ検
出される。

【０１７８】即ち、アクティビティ検出回路１１１₁で
は、第１階層のＳＤ画像を構成する画素のうちの、例え
ば、注目画素の位置に位置に一致する画素を中心とした
３×３画素の範囲におけるアクティビティが検出され
る。また、アクティビティ検出回路１１１₂でも、第２
階層のＳＤ画像を構成する画素のうちの、例えば、注目
画素の位置に位置に一致する画素を中心とした３×３画
素の範囲におけるアクティビティが検出される。

【０１７９】ここで、第２階層のＳＤ画像は、第１階層
のＳＤ画像の横または縦の画素数をそれぞれ１／２にし
た画像であるから、第１階層のＳＤ画像を基準に考えれ
ば、アクティビティ検出回路１１１₂では、アクティビ
ティ検出回路１１１₁における範囲よりも広範囲におけ
るアクティビティが検出される。

【０１８０】なお、以上のように、注目画素の位置に一
致する第１および第２階層のＳＤ画素を中心とする３×
３画素の範囲、即ち、図１３で説明したクラスタップに
対応するような正方形状の範囲のアクティビティが検出
されるのは、例えば、多階層クラス分類回路１０４ａに
おいてであって、他の多階層クラス分類回路１０４ｂ乃
至１０４ｄでは、例えば、図１４乃至図１６で説明した
クラスタップに対応するような範囲それぞれのアクティ
ビティが検出される。

【０１８１】アクティビティ検出回路１１１₁または１
１１₂でそれぞれ検出された第１または第２階層の画像
についてのアクティビティは、いずれも、選択回路１１
２に供給される。選択回路１１２では、アクティビティ
検出回路１１１₁および１１１₂からのアクティビティに
基づいて、第１乃至第３階層のＳＤ画像のうちのいずれ
かが選択される。

【０１８２】即ち、選択回路１１２は、第１階層の画像
についてのアクティビティが、所定の閾値εより大きい
か否かを判定する。第１階層の画像についてのアクティ
ビティが、所定の閾値εより大きい場合、選択回路１１
２は、第１階層の画像を選択し、クラスタップ生成回路
１１３に供給する。

【０１８３】また、第１階層の画像についてのアクティ
ビティが、所定の閾値εより大きくない場合、選択回路
１１２は、第２階層の画像についてのアクティビティ
が、所定の閾値εより大きいかどうかを判定する。第２
階層の画像についてのアクティビティが、所定の閾値ε
より大きい場合、選択回路１１２は、第２階層の画像を
選択し、クラスタップ生成回路１１３に供給する。

【０１８４】そして、第２階層の画像についてのアクテ
ィビティが、所定の閾値εより大きくない場合、選択回
路１１２は、第３階層の画像を選択し、クラスタップ生
成回路１１３に供給する。

【０１８５】さらに、選択回路１１２は、選択した階層
を表す選択信号を、合成回路１１５に供給する。

【０１８６】クラスタップ生成回路１１３では、選択回
路１１２から供給される階層の画像を用いてクラスタッ
プが生成（形成）される。

【０１８７】即ち、選択回路１１２において第１階層の
ＳＤ画像が選択された場合、つまり、図８においてＲ１
で示す、第１階層のＳＤ画像を構成するＳＤ画素のうち
の、注目画素の位置に位置に一致するＳＤ画素を中心と
した３×３画素の範囲のアクティビティが閾値εより大
きい場合には、クラスタップ生成回路１１３では、その
３×３の第１階層のＳＤ画素がクラスタップとされ、ク
ラス分類回路１１４に供給される。なお、図８におい
て、○印は第１階層のＳＤ画素を、×印はＨＤ画素を示
している。

【０１８８】また、選択回路１１２において第２階層の
ＳＤ画像が選択された場合、即ち、第１階層のＳＤ画像
を基準とすれば、図８においてＲ２で示す、第２階層の
ＳＤ画像（第１階層のＳＤ画像の横または縦の画素数を
それぞれ１／２にした画像）を構成するＳＤ画素のうち
の、注目画素の位置に位置に一致するＳＤ画素を中心と
した３×３画素の範囲のアクティビティが閾値εより大
きい場合には、クラスタップ生成回路１１３では、その
３×３の第２階層のＳＤ画素がクラスタップとされ、ク
ラス分類回路１１４に供給される。従って、この場合、
第１階層のＳＤ画像を基準とすれば、第１階層のＳＤ画
像が選択された場合における範囲の横または縦がそれぞ
れ４倍の範囲における９個の第２階層のＳＤ画素からク
ラスタップが形成される。

【０１８９】さらに、選択回路１１２において第３階層
のＳＤ画像が選択された場合、クラスタップ生成回路１
１３では、第１階層のＳＤ画像を基準とすれば、図８に
おいてＲ３で示す、第３階層のＳＤ画像（第１階層のＳ
Ｄ画像の横または縦の画素数をそれぞれ１／４にした画
像）を構成するＳＤ画素のうちの、注目画素の位置に位
置に一致するＳＤ画素を中心とした３×３画素がクラス
タップとされ、クラス分類回路１１４に供給される。従
って、この場合、第１階層のＳＤ画像を基準とすれば、
第１階層のＳＤ画像が選択された場合における範囲の横
または縦がそれぞれ１６倍の範囲における９個の第３階
層のＳＤ画素からクラスタップが形成される。

【０１９０】なお、以上のように、注目画素の位置に一
致する第１乃至第３階層のＳＤ画素を中心とする３×３
画素の範囲、即ち、図１３で説明したような位置関係の
ＳＤ画素によるクラスタップが形成されるのは、例え
ば、多階層クラス分類回路１０４ａにおいてであって、
他の多階層クラス分類回路１０４ｂ乃至１０４ｄでは、
例えば、図１４乃至図１６で説明したような位置関係の
画素によるクラスタップがそれぞれ形成される。

【０１９１】クラス分類回路１１４では、クラスタップ
生成回路１１３からのクラスタップを用い、図１２にお
けるクラス分類回路２０３における場合と同様にして、
注目画素のクラス分類が行われる。このクラス分類結果
は、合成回路１１５に供給される。合成回路１１５で
は、例えば、クラス分類回路１１４からのクラス分類結
果としての値の上位ビットとして、選択回路１１２から
の選択信号が付加され、それが、注目画素の最終的なク
ラス（クラスを表す値）として、適応処理部１０５に供
給される。

【０１９２】以上のように、第１階層のＳＤ画像を基準
として、アクティビティが、ある程度の大きさ（ここで
は、閾値ε）になる範囲に対応する階層の画像を用い
て、注目画素をクラス分類するためのクラスタップを形
成するようにしたので、そのクラスタップを用いてクラ
ス分類を行うことにより、注目画素にあったクラスを得
ることが可能となる。

【０１９３】なお、以上においては、第１および第２階
層の画像のアクティビティを検出するようにしたが、そ
の他、第２および第３階層のアクティビティを検出する
ようにすることも可能である。この場合、例えば、第３
階層のアクティビティが所定の閾値ε’よりも小さいと
きは、第３階層の画像を用いてクラスタップを形成する
ようにすれば良い。また、第３階層のアクティビティが
所定の閾値ε’以上であるが、第２階層のアクティビテ
ィが所定の閾値ε’よりも小さい場合には、第２階層の
画像を用いてクラスタップを形成するようにすれば良
い。さらに、第２階層のアクティビティが所定の閾値
ε’以上の場合には、第１階層の画像を用いてクラスタ
ップを形成するようにすれば良い。

【０１９４】次に、図９は、図１の適応処理部１０５
（適応処理回路１０５ａ乃至１０５ｄそれぞれ）の構成
例を示している。

【０１９５】予測タップ生成回路１２１、予測演算回路
１２２、または係数ＲＯＭ１２３は、図１２における、
予測タップ生成回路２０５、予測演算回路２０６、また
は係数ＲＯＭ２０７とそれぞれ同様に構成されている。

【０１９６】即ち、予測タップ生成回路１２１では、第
１階層メモリ１０１（図１）から供給される第１階層の
ＳＤ画像から、予測演算回路１２２において注目画素の
予測値を求めるのに用いる、その注目画素に対して所定
の位置関係にある複数のＳＤ画素が抽出され、これが予
測タップとして、予測演算回路１２２に供給される。

【０１９７】具体的には、ここでは、例えば、図１３乃
至図１６で説明したような予測タップが（適応処理回路
１０５ａ乃至１０５ｄそれぞれにおける予測タップ生成
回路１２１において）形成され、予測演算回路１２２に
供給される。

【０１９８】また、予測演算回路１２２には、予測タッ
プ生成回路１２１から予測タップが供給される他、係数
ＲＯＭ１２３から予測係数も供給される。

【０１９９】即ち、係数ＲＯＭ１２３は、あらかじめ学
習が行われることにより求められた予測係数を、クラス
ごとに記憶しており、また、そのアドレス端子（ＡＤ）
には、多階層クラス分類部１０４（図１）から、注目画
素のクラスが供給されるようになされている。そして、
係数ＲＯＭ１２３は、多階層クラス分類部１０４からク
ラスが供給されると、そのクラスに対応するアドレスに
記憶されている予測係数を読み出し、予測演算回路１２
２に供給する。

【０２００】これにより、予測演算回路１２２には、注
目画素に対応する予測タップと、その注目画素のクラス
についての予測係数とが供給される。そして、予測演算
回路１２２では、係数ＲＯＭ１２３からの予測係数ｗ，
ｗ₂，・・・と、予測タップ生成回路６からの予測タッ
プ（を構成するＳＤ画素）ｘ₁，ｘ₂，・・・とを用い
て、式（１）に示した演算が行われることにより、注目
画素（ＨＤ画素）ｙの予測値Ｅ［ｙ］が求められ、これ
が、ＨＤ画素の画素値として出力される。

【０２０１】上述したように、多階層クラス分類部１０
４からは、注目画素に、よりあったクラスが供給される
ので、そのクラスに対応して、以上のような適応処理を
行うことにより、その結果得られるＨＤ画像の画質を向
上させることが可能となる。

【０２０２】次に、図１０は、図１の多階層クラス分類
部１０４（多階層クラス分類回路１０４ａ乃至１０４ｄ
それぞれ）の他の構成例を示している。

【０２０３】第１階層メモリ１０１、第２階層メモリ１
０２、または第３階層メモリに記憶されている第１乃至
第３階層の画像データは、クラスタップ生成回路１３１
₁乃至１３１₃にそれぞれ供給されるようになされてい
る。

【０２０４】クラスタップ生成回路１３１₁乃至１３１₃
は、例えば、図７のクラスタップ生成回路１１３におけ
る場合と同様に、第１乃至第３階層の画像を用いて、注
目画素をクラス分類するためのクラスタップを生成（形
成）し、クラス分類回路１３２₁乃至１３２₃にそれぞれ
供給するようになされている。クラス分類回路１３２₁
乃至１３２₃は、クラスタップ生成回路１３１₁乃至１３
１₃からのクラスタップを用い、例えば、図７のクラス
分類回路１１４における場合と同様にして、注目画素の
クラス分類を行い、そのクラスを、合成回路１３３にそ
れぞれ供給するようになされている。合成回路１３３
は、クラス分類回路１３２₁乃至１３２₃それぞれからの
クラスを合成し、その合成結果を、注目画素の最終的な
クラスとして、適応処理部１０５（図１）に供給するよ
うになされている。

【０２０５】以上のように構成される多階層クラス分類
部１０４（多階層クラス分類回路１０４ａ乃至１０４ｄ
それぞれ）では、クラスタップ生成回路１３１₁乃至１
３１_３において、クラスタップが、第１乃至第３階層の
画像を用いてそれぞれ形成される。

【０２０６】即ち、クラスタップ生成回路１３１_１乃至
１３１₃では、例えば、図７の選択回路１１２において
第１乃至第３階層の画像が選択された場合に、同図のク
ラスタップ生成回路１１３が形成するクラスタップと同
様のクラスタップが、第１乃至第３階層の画像を用いて
それぞれ形成される。この第１乃至第３階層の画像を用
いて形成されたクラスタップは、クラス分類回路１３２
₁乃至１３２₃にそれぞれ供給される。

【０２０７】クラス分類回路１３２₁乃至１３２₃では、
クラスタップ生成回路１３１₁乃至１３１₃からのクラス
タップを用いて、クラス分類が行われ、その結果得られ
る注目画素の３つのクラス（第１乃至第３階層の画像そ
れぞれから形成されたクラスタップを用いてのクラス分
類結果）は、いずれも、合成回路１３３に供給される。

【０２０８】合成回路１３３では、クラス分類回路１３
２₁乃至１３２₃それぞれからのクラスが１つに合成され
る。即ち、合成回路１３３は、例えば、クラス分類回路
１３２₁乃至１３２₃からのクラスを表す値を、それぞれ
上位、中位、下位ビットとして１つのビット列にする。
そして、この値が、注目画素の最終的なクラスとして、
適応処理部１０５に供給される。

【０２０９】以上のように、第１階層乃至第３階層のＳ
Ｄ画像を用いてクラス分類を行い、そのクラス分類結果
を合成したものを、注目画素の最終的なクラス分類結果
とするようにしたので、即ち、等価的に、注目画素の近
くにあるＳＤ画素だけでなく、注目画素から幾分離れた
ＳＤ画素をも用いてクラス分類を行うようにしたので、
やはり、注目画素を、その注目画素にあったクラスにク
ラス分類することができる。さらに、そのクラスに対応
して適応処理を行うことにより、その結果得られるＨＤ
画像の画質を向上させることが可能となる。

【０２１０】なお、図８において、例えば、Ｒ３で示す
範囲にある第１階層のＳＤ画素すべてをクラスタップと
して用いてクラス分類を行うことによっても、上述の場
合と同様の効果が得られると予想されるが、この場合、
範囲Ｒ３にある第１階層のＳＤ画素の数が多いので、処
理の負担が莫大なものとなる。

【０２１１】即ち、例えば、図７の実施の形態では、ク
ラスタップ生成回路１１３において形成されるクラスタ
ップは、図１２のクラスタップ生成回路２０２における
場合と同様に、９個のＳＤ画素で構成され、さらに、そ
のクラスタップを用いたクラス分類結果に、２ビットの
選択信号が付加されるから、単純には、２¹¹（＝２⁹×
２²）に比例した数のクラスのうちのいずれかにクラス
分類が行われる。

【０２１２】また、図１０の実施の形態では、クラスタ
ップ生成回路１１３₁乃至１１３₃それぞれにおいて、や
はり、図１２のクラスタップ生成回路２０２における場
合と同様に、９個のＳＤ画素で構成されるクラスタップ
が形成され、その３つのクラスタップを用いてクラス分
類が行われた後、その３つのクラス分類結果が合成され
るから、単純には、２²⁷（＝２⁹×２⁹×２⁹）に比例し
た数のクラスのうちのいずれかにクラス分類が行われ
る。

【０２１３】これに対して、図８における範囲Ｒ３に
は、２８９（＝１７×１７）の第１階層のＳＤ画素が含
まれるから、これによりクラスタップを形成した場合に
は、単純には、２²⁸⁹という莫大な値に比例した数のう
ちのクラスのいずれかに、クラス分類を行う必要があ
る。従って、この場合には、処理の負担が莫大なものと
なる。

【０２１４】次に、図１１は、図９の係数ＲＯＭ１２３
に記憶させる予測係数を算出する学習処理を行う学習装
置の構成例を示している。なお、図中、図１７における
場合と対応する部分については、同一の符号を付してあ
る。

【０２１５】学習における教師データｙとなるべきＨＤ
画像が、間引き回路１４１₁および教師データ抽出回路
１４６に供給されるようになされており、間引き回路１
４１₁では、例えば、図２の記憶装置における場合と同
様にして（図２の記憶装置において、第１階層のＳＤ画
像から第２階層のＳＤ画像を生成するのと同様にし
て）、ＨＤ画像の横または縦の画素数それぞれが１／２
にされた第１階層のＳＤ画像が構成される。この第１階
層のＳＤ画像は、間引き回路１４１₂、多階層クラス分
類部１４４、および予測タップ生成回路１４５に供給さ
れる。

【０２１６】間引き回路１４１₂でも、間引き回路１４
１₁における場合と同様にして、第１階層のＳＤ画像の
横または縦の画素数それぞれが１／２にされた第２階層
のＳＤ画像が構成される。この第２階層のＳＤ画像は、
間引き回路１４１₃および多階層クラス分類部１４４に
供給される。間引き回路１４１₃でも、間引き回路１４
１₁における場合と同様にして、第２階層のＳＤ画像の
横または縦の画素数それぞれが１／２にされた第３階層
のＳＤ画像が構成される。この第３階層のＳＤ画像は、
多階層クラス分類部１４４に供給される。

【０２１７】多階層クラス分類部１４４は、図７または
図１０に示した多階層クラス分類部１０４と同様に構成
され、そこに供給される第１乃至第３階層の画像を用い
て、上述したようなクラス分類（多階層クラス分類）が
行われる。このクラス分類結果としてのクラスは、予測
タップメモリ１４７および教師データメモリ１４８のア
ドレス端子（ＡＤ）に供給される。

【０２１８】また、予測タップ生成回路１４５では、図
９の予測タップ生成回路１２１における場合と同様の処
理が行われ、これにより注目画素の予測値を求めるため
の予測タップが、間引き回路１４１₁からの第１階層の
ＳＤ画像を用いて形成される。この予測タップは、予測
タップメモリ１４７に供給される。

【０２１９】予測タップメモリ１４７では、多階層クラ
ス分類部１４４から供給されるクラスに対応するアドレ
スに、予測タップ生成回路１４５から供給される予測タ
ップが記憶される。

【０２２０】一方、教師データ抽出回路１４６では、多
階層クラス分類部１４４および予測タップ生成回路１４
５において注目画素とされるＨＤ画素が、そこに供給さ
れるＨＤ画像から抽出され、教師データとして、教師デ
ータメモリ１４８に供給される。

【０２２１】そして、教師データメモリ１４８では、多
階層クラス分類部１４４から供給されるクラスに対応す
るアドレスに、教師データ抽出回路１４６から供給され
る教師データが記憶される。

【０２２２】以上の処理が、あらかじめ学習用に用意さ
れたすべてのＨＤ画像を構成するすべてのＨＤ画素を、
順次、注目画素として行われる。

【０２２３】その結果、教師データメモリ１４８または
予測タップメモリ１４７の同一のアドレスには、そのア
ドレスに対応するクラスのＨＤ画素、またはそのＨＤ画
素にについて図１３乃至図１６において説明した予測タ
ップを構成する位置にあるＳＤ画素が、教師データｙま
たは学習データｘとして、それぞれ記憶される。

【０２２４】その後、演算回路１４９は、予測タップメ
モリ１４７または教師データメモリ１４８から、同一ア
ドレスに記憶されている学習データとしての予測タップ
または教師データとしてのＨＤ画素を読み出し、それら
を用いて、例えば、最小自乗法によって、予測値と教師
データとの間の誤差を最小にする予測係数を算出する。
即ち、演算回路１４９では、クラスごとに、式（７）に
示した正規方程式がたてられ、これを解くことにより予
測係数が求められる。

【０２２５】以上のようにして、演算回路１４９で求め
られたクラスごとの予測係数が、図９の係数ＲＯＭ１２
３における、そのクラスに対応するアドレスに記憶され
ている。

【０２２６】なお、図７の実施の形態では、選択回路１
１２において、第１乃至第３階層のＳＤ画像のうちのい
ずれか１つを選択し、クラスタップ生成回路１１３にお
いて、その１の階層の画像を用いてクラスタップを形成
するようにしたが、その他、例えば、選択回路１１２に
は、第１乃至第３階層のＳＤ画像のうちの２つを選択さ
せ、クラスタップ生成回路１１３には、その２つの階層
それぞれを用いてクラスタップを形成させるようにする
ことができる。この場合、クラス分類回路１１４におい
て、その２つの階層を用いて形成されたクラスタップそ
れぞれについてクラス分類を行わせ、合成回路１１５に
おいて、その２つのクラス分類結果を１つに合成させる
ようにすれば良い。

【０２２７】また、本実施の形態では、第１乃至第３階
層のＳＤ画像のうち、最も画素数の多い第１階層の画像
を用いて予測タップを形成するようにしたが、予測タッ
プは、第１乃至第３階層の画像の２以上を用いて形成す
るようにすることも可能である。

【０２２８】さらに、本実施の形態では、図２の記憶装
置において、第２階層メモリ３や第３階層メモリ４に対
しては、第１階層メモリ２に与える水平アドレスＨＡお
よび垂直アドレスＶＡの一部を与えてアクセスするよう
にしたが、第２階層メモリ３や第３階層メモリ４には、
第１階層メモリ２に与える水平アドレスＨＡおよび垂直
アドレスＶＡとは別に、専用の（独立の）アドレスを与
えてアクセスするようにすることも可能である。

【０２２９】また、本実施の形態では、図２の記憶装置
において、第１階層メモリ２、第２階層メモリ３、第３
階層メモリ４に対して、ＳＤ画像を構成する画素の水平
または垂直方向の位置にそれぞれ対応する水平アドレス
または垂直アドレスを与えてアクセスするようにした
が、第１階層メモリ２、第２階層メモリ３、第３階層メ
モリ４には、その他、例えば、時間方向に対応するアド
レスをさらに与えてアクセスするようにすることなども
可能である。この場合、第２や第３階層の画素は、横お
よび縦の空間方向に散らばる第１階層の画素の他、時間
方向に散らばる第１階層の画素も加算して形成されるこ
とになる。

【０２３０】同様に、クラスタップや予測タップについ
ても、空間方向だけでなく、時間方向に散らばるＳＤ画
素も用いて形成することが可能である。

【０２３１】さらに、図１における第１階層メモリ１０
１、第２階層メモリ１０２、第３階層メモリ１０３や、
図２における第１階層メモリ２、第２階層メモリ３、第
３階層メモリ４は、それぞれ物理的に１つのメモリであ
る必要はなく、それらのすべてを、１のメモリで構成す
ることも可能である。この場合、１のメモリの記憶領域
を、第１階層メモリ１０１、第２階層メモリ１０２、第
３階層メモリ１０３の３つそれぞれや、第１階層メモリ
２、第２階層メモリ３、第３階層メモリ４の３つそれぞ
れに割り当てるようにすれば良い。

【０２３２】また、本実施の形態では、図２において、
アドレス供給回路１、第１階層メモリ２、第２階層メモ
リ３、第３階層メモリ４、およびＲＭＷ回路５のすべて
を、１チップ上に形成するようにしたが、これらは、必
ずしも１チップ上に形成する必要はない。

【０２３３】さらに、本実施の形態では、第１階層の画
素のビット割当量を８ビットとし、第１階層メモリ２、
第２階層メモリ３、または第３階層メモリ４のメモリセ
ルのデータ長を、第１乃至第３階層の画素の桁落ちがな
いように、それぞれ８，１０、または１２ビットとした
が、第１階層メモリ２、第２階層メモリ３、および第３
階層メモリ４のメモリセルのデータ長は、例えば、一律
に８ビットなどとすることも可能である。但し、この場
合、第２または第３階層の画素については、第１または
第２階層の２×２画素の加算値の下位２ビットを切り捨
てた値（この値は、加算値を４で除算したものに相当す
るから、平均値となる）をそれぞれ記憶させることにな
り、従って、桁落ちが生じるので、データの可逆性は失
われることになる。

【０２３４】また、本発明は、ノンインターレース走査
される画像およびインターレース走査される画像のいず
れにも適用可能である。

【０２３５】さらに、本実施の形態では、ＳＤ画像の階
層数を３としたが、階層数は２であっても良いし、ある
いは、４以上であっても良い。

【０２３６】また、本実施の形態では、下位階層の２×
２の４つのＳＤ画素の加算値を、その１つ上位の上位階
層のＳＤ画素（画素値）とするようにしたが、上位階層
のＳＤ画素の形成の仕方は、これに限定されるものでは
ない。

【０２３７】さらに、本発明はハードウェアによって
も、また、コンピュータに、上述の処理を行わせるよう
なプログラムを実行させることによっても実現可能であ
る。

【０２３８】また、本実施の形態では、画素（画素値）
を、例えば、ＲＡＭ（Random Access Memory）などに代
表されるメモリに記憶させるようにしたが、画素は、そ
の他、例えば、磁気ディスクや、光磁気ディスク、磁気
テープ、光カードなどの記録媒体に記憶（記録）させる
ようにすることも可能である。

【０２３９】さらに、図１の画像処理装置と、図２の記
憶装置とは、別々の装置として構成する他、一体的に構
成することも可能である。

【０２４０】また、本発明は、ＳＤ画像をＨＤ画像に変
換する場合の他、例えば、画像を拡大する場合などにも
適用可能である。

【０２４１】さらに、クラスタップや予測タップを構成
させるＳＤ画素の位置関係は、上述したものに限定され
るものではない。

【０２４２】

【発明の効果】請求項１に記載の画像処理装置および請
求項６に記載の画像処理方法によれば、注目している第
１の画像の画素である注目画素が、その注目画素に対応
する第２または第３の画像の画素の性質に応じて、所定
のクラスに分類される。従って、注目画素を、それに、
より適したクラスに分類することが可能となる。

【図面の簡単な説明】

【図１】本発明を適用した画像処理装置の一実施の形態
の構成例を示すブロック図である。

【図２】第１乃至第３階層のＳＤ画像を生成する記憶装
置の構成例を示すブロック図である。

【図３】第１階層のＳＤ画像の１画面の構成例を示す図
である。

【図４】図２の記憶装置の第１の機能的構成例を示すブ
ロック図である。

【図５】図２の記憶装置の第２の機能的構成例を示すブ
ロック図である。

【図６】図２の記憶装置の第３の機能的構成例を示すブ
ロック図である。

【図７】図１の多階層クラス分類回路１０４ａ乃至１０
４ｄそれぞれの第１の構成例を示すブロック図である。

【図８】図７のクラスタップ生成回路１１３が生成する
クラスタップを説明するための図である。

【図９】図１の適応処理回路１０５ａ乃至１０５ｄそれ
ぞれの構成例を示すブロック図である。

【図１０】図１の多階層クラス分類回路１０４ａ乃至１
０４ｄそれぞれの第２の構成例を示すブロック図であ
る。

【図１１】図９の係数ＲＯＭ１２３に記憶させる予測係
数の学習を行う学習装置の一実施の形態の構成例を示す
ブロック図である。

【図１２】従来の画像変換装置の一例の構成を示すブロ
ック図である。

【図１３】クラスタップと予測タップの形成方法を説明
するための図である。

【図１４】クラスタップと予測タップの形成方法を説明
するための図である。

【図１５】クラスタップと予測タップの形成方法を説明
するための図である。

【図１６】クラスタップと予測タップの形成方法を説明
するための図である。

【図１７】図１２の係数ＲＯＭ２０７に記憶させる予測
係数の学習を行う学習装置の一例の構成を示すブロック
図である。

【符号の説明】

１ アドレス供給回路， ２ 第１階層メモリ， ３
第２階層メモリ， ４第３階層メモリ， ５ ＲＭＷ回
路， １１ 読み出し部， １２ スイッチ， １２
ａ，１２ｂ 端子， １３ 演算器， １４ 書き込み
部， １５ ＮＯＲゲート， １６ スイッチ， ２１
読み出し部， ２２ スイッチ， ２２ａ，２２ｂ
端子， ２３ 演算器， ２４ 書き込み部， ２５
ＮＯＲゲート， ２６ スイッチ， １０１ 第１階層
メモリ， １０２ 第２階層メモリ， １０３ 第３階
層メモリ， １０４ 多階層クラス分類部， １０４ａ
乃至１０４ｄ 多階層クラス分類回路， １０５ 適応
処理部， １０５ａ乃至１０５ｄ 適応処理回路， １
０６ ＨＤ画像メモリ， １０６ａ乃至１０６ｄメモ
リ， １１１₁，１１１₂ アクティビティ検出回路，
１１２ 選択回路，１１３ クラスタップ生成回路，
１１４ クラス分類回路， １１５ 合成回路， １２
１ 予測タップ生成回路， １２２ 予測演算回路，
１２３ 係数ＲＯＭ， １３１₁乃至１３１₃ クラスタ
ップ生成回路， １３２₁乃至１３２₃ クラス分類回
路， １３３ 合成回路， １４１₁乃至１４１₃ 間引
き回路， １４４ 多階層クラス分類部， １４５ 予
測タップ生成回路， １４６教師データ抽出回路， １
４７ 予測タップメモリ， １４８ 教師データメモ
リ， １４９ 演算回路

Claims (6)

【特許請求の範囲】
1. 【請求項１】 第１の画像よりも画素数の少ない第２の
   画像と、前記第２の画像よりも画素数の少ない第３の画
   像とを用いて、前記第１の画像を求めるための処理を行
   う画像処理装置であって、 注目している前記第１の画像の画素である注目画素を、
   その注目画素に対応する前記第２または第３の画像の画
   素の性質に応じて、所定のクラスに分類するクラス分類
   を行うクラス分類手段を備えることを特徴とする画像処
   理装置。
2. 【請求項２】 前記注目画素の予測値を、その注目画素
   のクラスに対応して予測する予測手段をさらに備えるこ
   とを特徴とする請求項１に記載の画像処理装置。
3. 【請求項３】 前記予測手段は、 前記第２または第３の画像の画素との線形結合により前
   記注目画素の予測値を算出するための予測係数を、前記
   クラスごとに記憶している予測係数記憶手段と、 前記注目画素のクラスについての前記予測係数と、前記
   第２または第３の画像の画素とから、前記注目画素の予
   測値を求める予測値演算手段とを有することを特徴とす
   る請求項２に記載の画像処理装置。
4. 【請求項４】 前記クラス分類手段は、 前記第２または第３の画像の中の前記注目画素に対応す
   る部分のアクティビティを検出するアクティビティ検出
   手段と、 前記アクティビティに基づいて、前記第２または第３の
   画像を選択する選択手段とを有し、 前記選択手段により選択された画像を構成する画素のう
   ちの、前記注目画素に対応するものを用いて、前記クラ
   ス分類を行うことを特徴とする請求項１に記載の画像処
   理装置。
5. 【請求項５】 前記クラス分類手段は、 前記第２または第３の画像を構成する画素のうちの、前
   記注目画素に対応するものをそれぞれ用いて、前記クラ
   ス分類を行い、 その第２または第３の画像それぞれを用いてのクラス分
   類結果を合成したものを、最終的なクラス分類結果とす
   る合成手段を有することを特徴とする請求項１に記載の
   画像処理装置。
6. 【請求項６】 第１の画像よりも画素数の少ない第２の
   画像と、前記第２の画像よりも画素数の少ない第３の画
   像とを用いて、前記第１の画像を求めるための処理を行
   う画像処理方法であって、 注目している前記第１の画像の画素である注目画素を、
   その注目画素に対応する前記第２または第３の画像の画
   素の性質に応じて、所定のクラスに分類することを特徴
   とする画像処理方法。