JPH11317927A

JPH11317927A - 記憶装置およびデータ処理方法

Info

Publication number: JPH11317927A
Application number: JP12321798A
Authority: JP
Inventors: Tetsujiro Kondo; 哲二郎近藤; Hideo Nakaya; 秀雄中屋
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1998-05-06
Filing date: 1998-05-06
Publication date: 1999-11-16
Anticipated expiration: 2018-05-06
Also published as: JP3879110B2

Abstract

(57)【要約】【課題】外付けの回路を用いずに、画像のアクティビ
ティを得る。【解決手段】メモリ１３_kに、第ｋ階層の画像が書き
込まれる。その後、メモリ１３_kから、第ｋ階層の画像
が読み出され、アクティビティ算出回路１５_kにおい
て、第ｋ階層の２×２画素から、第ｋ＋１階層の１画素
が求められ、メモリ１３_k+1に書き込まれる。さらに、
メモリ１３_kまたは１３_k+1から、第ｋ階層または第ｋ＋
１階層の画像がそれぞれ読み出され、アクティビティ算
出回路１５_kにおいて、それらの画像から、第ｋ階層の
アクティビティが算出される。そして、その第ｋ階層の
アクティビティが、第ｋ階層の画像に替えて、メモリ１
３_kに書き込まれる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、記憶装置およびデ
ータ処理方法に関し、特に、例えば、画像を階層符号化
して記憶する場合に用いて好適な記憶装置およびデータ
処理方法に関する。

【０００２】

【従来の技術】例えば、図７に示すように、高解像度の
画像データ（原画像）を、最下位階層または第１の階層
の画像データとして、それより画素数の少ない第２の階
層の画像データを形成し、さらに、それより画素数の少
ない第３の階層の画像データを形成し、以下、同様にし
て、所定の最上位階層（図７では、第Ｋ階層）までの画
像データを形成する符号化手法がある。このような符号
化は、階層符号化と呼ばれ、各階層の画像データは、そ
の階層に対応した解像度（画素数）のモニタで表示され
る。従って、ユーザ側では、階層符号化された画像デー
タのうち、自身が有するモニタの解像度に対応するもの
を選択することで、その画像データを視聴することがで
きる。なお、上位階層の画素（画像データ）は、例え
ば、下位階層の画像を構成する画素の幾つかを加算する
ことで求められる。

【０００３】ところで、ある解像度の画像データを最下
位階層（第１階層）の画像データとして、上位階層の画
像データを、順次形成し、それらのすべてを、そのまま
記憶や伝送などする場合には、最下位階層の画像データ
だけを記憶等する場合に比較して、上位階層の画像デー
タの分だけ、記憶容量や伝送容量が余計に必要となる。

【０００４】そこで、そのような記憶容量等の増加を低
減する階層符号化方法を、本件出願人は先に提案してい
る。

【０００５】即ち、例えば、いま、下位階層の画像を構
成する２×２画素（横×縦）を１ブロックとして、その
ブロックを構成する４画素の加算値を、上位階層の画素
（画素値）とする階層符号化を行う場合においては、図
８（Ａ）に示すように、下位階層（図８では、第ｋ階
層）の画像を構成する２×２画素ｘ₁，ｘ₂，ｘ₃，ｘ₄の
加算値ｙが求められ、これが、上位階層（図８では、第
ｋ＋１階層）の画素（画素値）とされる。下位階層の画
像の他のブロックについても、同様にして４画素の加算
値が求められ、これにより、上位階層の画像が形成され
る。

【０００６】この場合、上位階層の画素ｙと、その画素
ｙを求めるのに用いた下位階層の４画素ｘ₁乃至ｘ₄を、
全部記憶などさせたのでは、上述のように、上位階層の
画素ｙの分だけ余分に記憶容量等が必要となる。

【０００７】そこで、図８（Ａ）に示すように、上位階
層の画素ｙを、下位階層の２×２画素ｘ₁乃至ｘ₄のうち
の、例えば、右下の画素ｘ₄と置き換える。これによ
り、下位階層は、画素ｘ₁乃至ｘ₃およびｙで構成される
ことになる。

【０００８】以上のようにすることで、全画素数は２×
２の４画素となり、元の下位階層の画素数と変わらな
い。従って、この場合、記憶容量等の増加を低減するこ
とができる。

【０００９】一方、以上のような階層符号化において、
画素ｙと替えられた画素ｘ₄の復号は、次のようにして
行うことができる。

【００１０】即ち、画素ｙは、画素ｘ₁乃至ｘ₄の加算値
であるから、式ｙ＝ｘ₁＋ｘ₂＋ｘ₃＋ｘ₄が成り立つ。従
って、画素ｘ₄は、図８（Ｂ）に示すように、画素ｙか
ら、画素ｘ₁乃至ｘ₃を減算することで、即ち、式ｘ₄＝
ｙ−（ｘ₁＋ｘ₂＋ｘ₃）を演算することで求めることが
できる。

【００１１】ここで、以上のような階層符号化により得
られる画素数は、上述のように、下位階層の画素数と変
わらないが、上位階層の画素ｙは、図９に示すように、
ＬＳＢ（Least Significant Bit）を揃えた形で、下位
階層の４つの画素ｘ₁乃至ｘ₄を加算することにより求め
られるため、そのデータ長（ビット長）は、画素ｘ₁乃
至ｘ₄それぞれと比較して、２ビットだけ長くなる。

【００１２】なお、上位階層の画素ｙを、下位階層の４
つの画素ｘ₁乃至ｘ₄の加算値ではなく、例えば、平均値
とすることで、上述のようなデータ長の増加を避けるこ
とができるが、この場合には、データの可逆性は失われ
る（上述の式ｘ₄＝ｙ−（ｘ₁＋ｘ₂＋ｘ₃）によって、下
位階層の画素ｘ₄の正確な値を求めることができなくな
る）。

【００１３】

【発明が解決しようとする課題】ところで、以上のよう
に、下位階層の画素の加算値（あるいは、平均値など）
を、上位階層のデータとする階層符号化を行う１チップ
の記憶装置を、本件出願人は先に提案しているが（例え
ば、特願平９−１７８０１０号（平成９年７月３日出
願））、この記憶装置が出力するのは、各階層の画像を
構成する画素であるため、例えば、解像度の低い画像
が、徐々に、解像度の高い画像に変化していくような表
示（以下、適宜、プログレッシブ表示という）を行うに
は、記憶装置の外部で、画像のアクティビティを計算す
る必要があった。

【００１４】即ち、プログレッシブ表示は、例えば、上
位階層の画像（解像度の低い画像）に、下位階層の画像
（解像度の高い画像）のアクティビティを加算すること
で実現することができる。具体的には、例えば、上述の
ように、下位階層の４つの画素ｘ₁乃至ｘ₄を加算値ｙ
を、上位階層の１画素とする場合においては、下位階層
の画素ｘ_i（ここでは、ｉ＝１，２，３，４）のアクテ
ィビティｚ_iは、例えば、式ｚ_i＝４ｘ_i−ｙと表すこと
ができる。この場合、下位階層の画素ｘ_iは、式ｘ_i＝
（ｙ＋ｚ_i）／４で求めることができる。従って、最上
位階層の画像に、その１つ下の階層のアクティビティを
加算し、その結果得られる画像に、さらにその１つ下の
階層のアクティビティを加算し、以下、同様にして、順
次、下位階層のアクティビティを加算していくことで、
解像度の低い最上位階層の画像を、徐々に、解像度の高
い画像に変化させていくことができる。

【００１５】以上から、記憶装置が、各階層の画像を構
成する画素を出力する場合において、プログレッシブ表
示を行うときには、外部の回路で、式ｚ_i＝４ｘ_i−ｙを
演算し、アクティビティを求める必要があり、このよう
に外部の回路を用いる場合には、記憶装置の処理速度が
制限され、また、その全体が大型化する課題があった。

【００１６】本発明は、このような状況に鑑みてなされ
たものであり、外付けの回路を用いなくても、画像のア
クティビティを得ることができるようにするものであ
る。

【００１７】

【課題を解決するための手段】本発明の記憶装置は、下
位階層の画像から上位階層の画像データを求める上位階
層算出手段と、下位階層の画像のアクティビティを算出
するアクティビティ算出手段と、下位階層のアクティビ
ティを記憶するアクティビティ記憶手段と、上位階層の
画像を記憶する画像記憶手段とを備え、上位階層算出手
段、アクティビティ算出手段、アクティビティ記憶手
段、および画像記憶手段が１チップ上に形成されている
ことを特徴とする。

【００１８】本発明のデータ処理方法は、アクティビテ
ィ記憶手段に、下位階層の画像を書き込み、アクティビ
ティ記憶手段から、下位階層の画像を読み出し、下位階
層の画像から上位階層の画像を求め、画像記憶手段に、
上位階層の画像を書き込み、アクティビティ記憶手段か
ら、下位階層の画像を読み出すとともに、画像記憶手段
から、上位階層の画像を読み出し、その下位階層および
上位階層の画像から、下位階層のアクティビティを算出
し、下位階層のアクティビティを、下位階層の画像に替
えて、アクティビティ記憶手段に書き込むことを特徴と
する。

【００１９】本発明の記憶装置においては、上位階層算
出手段は、下位階層の画像から上位階層の画像データを
求め、アクティビティ算出手段は、下位階層の画像のア
クティビティを算出するようになされている。アクティ
ビティ記憶手段は、下位階層のアクティビティを記憶
し、画像記憶手段は、上位階層の画像を記憶するように
なされている。そして、上位階層算出手段、アクティビ
ティ算出手段、アクティビティ記憶手段、および画像記
憶手段が１チップ上に形成されている。

【００２０】本発明のデータ処理方法においては、アク
ティビティ記憶手段に、下位階層の画像を書き込み、ア
クティビティ記憶手段から、下位階層の画像を読み出
し、下位階層の画像から上位階層の画像を求め、画像記
憶手段に、上位階層の画像を書き込み、アクティビティ
記憶手段から、下位階層の画像を読み出すとともに、画
像記憶手段から、上位階層の画像を読み出し、その下位
階層および上位階層の画像から、下位階層のアクティビ
ティを算出し、下位階層のアクティビティを、下位階層
の画像に替えて、アクティビティ記憶手段に書き込むよ
うになされている。

【００２１】

【発明の実施の形態】図１は、本発明を適用した階層メ
モリのアーキテクチャの概要を示している。

【００２２】階層メモリでは、ある隣接する２つの階層
である第ｋ階層と第ｋ＋１階層に注目した場合、演算器
１において、下位階層である第ｋ階層の、例えば、２×
２画素ｘ₁乃至ｘ₄の加算値（総和）が求められ、これ
が、上位階層である第ｋ＋１階層の画素ｙとされる。第
ｋ階層の、他の２×２画素についても、同様にしてそれ
らの加算値が求められ、これにより、第ｋ＋１階層の、
他の画素が求められる。

【００２３】さらに、階層メモリでは、演算器２_iにお
いて（ｉ＝１，２，３，４）、例えば、第ｋ階層の画素
ｘ_iが、第ｋ＋１階層の１画素ｙを求めるのに用いた第
ｋ階層の画素の数である４倍され（例えば、２ビット左
シフトされ）、その４倍された画素ｘ_iから、第ｋ＋１
階層の画素ｙが減算されることで、即ち、式ｚ_i＝４ｘ_i
−ｙが演算されることで、第ｋ階層の画素ｘ_iのアクテ
ィビティｚ_iが求められる。従って、階層メモリでは、
図２（Ａ）に示すように、第ｋ階層の画素ｘ₁，ｘ₂，ｘ
₃，ｘ₄それぞれと、第ｋ＋１階層の画素ｙとの差分を、
ＭＳＢ（Most Significant Bit）を揃えた形で求めるこ
とにより、図２（Ｂ）に示すように、第ｋ階層のアクテ
ィビティｚ₁，ｚ₂，ｚ₃，ｚ₄が求められる。第ｋ階層
の、他の画素のアクティビティも、同様にして求められ
る。

【００２４】ここで、前述したように、第ｋ＋１階層の
画素ｙのビット数は、第ｋ階層の画素ｘ₁，ｘ₂，ｘ₃，
ｘ₄それぞれより２ビットだけ多くなる（図２
（Ａ））。また、第ｋ階層のアクティビティｚ_iは、第
ｋ階層の画素ｘ_iと第ｋ＋１階層の画素ｙとを用いた減
算を行うことにより求められるため、そのビット数は、
第ｋ＋１階層の画素ｙのビット数に、符号ビットとなる
１ビットを加えたビット数となる。なお、第ｋ階層のア
クティビティｚ_iの値は、０付近に集中するため、それ
に割り当てるビット数は、第ｋ＋１階層の画素のビット
数と同一であっても、基本的に大きな問題は生じない。
但し、可逆性を完全に維持するためには（第ｋ階層のア
クティビティと、第ｋ＋１階層の画素とから、第ｋ階層
の画素の正確な値を求めるためには）、第ｋ階層のアク
ティビティｚ_iに割り当てるビット数は、第ｋ＋１階層
の画素ｙのビット数に１を加えたビット数とする必要が
ある。

【００２５】以上のようにして、下位階層の画像から、
上位階層の画像を求め、さらに、下位階層および上位階
層の画像を用いて、下位階層のアクティビティを求める
ことを繰り返すことで、図３に示すように、最上位階層
（図３では、第Ｋ階層）のデータだけが、第Ｋ−１階層
の２×２画素単位の加算値でなり、第Ｋ−１階層以下の
階層のデータが、各階層のアクティビティでなる階層符
号化結果を得ることができる。

【００２６】階層メモリでは、この最上位階層（第Ｋ階
層）の画素と、第Ｋ−１階層以下の階層それぞれのアク
ティビティとが記憶される。

【００２７】次に、図４は、階層メモリの構成例を示し
ている。

【００２８】いま、例えば、階層メモリが、Ｋ階層まで
の階層符号化が可能なものとすると、階層メモリは、１
個のデコーダ１０，Ｋ−１個のセレクタ１１₁乃至１１
_K-1，Ｋ個のライトバッファ１２₁乃至１２_K，Ｋ個のメ
モリ１３₁乃至１３_K，Ｋ個のリードバッファ１４₁乃至
１４_K，Ｋ−１個のアクティビティ算出回路１５₁乃至１
５_K _-1、１個の制御部３１で構成される。なお、これら
は、例えば、すべて１チップのＣＭＯＳ（Complementar
y Metal Oxide Semiconductor）上などに構成に形成さ
れており、従って、階層メモリは、１のＩＣ（Integrat
ed Circuit）またはＬＳＩ（Large Scale IC）として構
成されている。

【００２９】デコーダ１０には、例えば、階層符号化対
象の原画像を構成する各画素の位置に対応するアドレス
が供給されるようになされており、デコーダ１０は、そ
のアドレスを必要に応じて加工し、さらに、所定のタイ
ミングで、メモリ１３_k（ｋ＝１，２，・・・，Ｋ）に
供給するようになされている。即ち、これにより、メモ
リ１３_kには、データの書き込みまたは読み出しの対象
となるアドレスが与えられるようになされている。

【００３０】セレクタ１１_k（ｋ＝１，２，・・・，Ｋ
−１）は、そこに供給されるセレクト信号Ｓ_k（ｋ＝
１，２，・・・，Ｋ−１）に対応して、その入力端子Ｉ
１またはＩ２に供給されるデータのうちのいずれか一方
を選択し、ライトバッファ１２_kに供給するようになさ
れている。なお、セレクタ１１₁を除くセレクタ１１_kの
入力端子Ｉ１またはＩ２には、アクティビティ算出回路
１５_k-1の出力またはアクティビティ算出回路１５_kの出
力が、それぞれ供給されるようになされている。また、
セレクタ１１₁の入力端子Ｉ１またはＩ２には、階層符
号化対象の原画像またはアクティビティ算出回路１５₁
の出力が、それぞれ供給されるようになされている。

【００３１】ライトバッファ１２_k（ｋ＝１，２，・・
・，Ｋ）は、セレクタ１１_kから供給されるデータを一
時記憶し、そのデータに対応するアドレスが、デコーダ
１０からメモリ１３_kに供給されるのを待って、記憶し
たデータを、メモリ１３_kに供給して記憶させるように
なされている。なお、ライトバッファ１２_Kには、アク
ティビティ算出回路１５_K-1の出力が、直接供給される
ようになされている。

【００３２】メモリ１３_k（ｋ＝１，２，・・・，Ｋ）
（画像記憶手段）（アクティビティ記憶手段）は、ライ
トバッファ１２_kから供給されるデータを、デコーダ１
０から供給されるアドレスに、第ｋ階層のデータとして
記憶するようになされている。また、メモリ１３_kは、
デコーダ１０から供給されるアドレスに記憶されている
データを読み出し、リードバッファ１４_kに供給するよ
うにもなされている。リードバッファ１４_k（ｋ＝１，
２，・・・，Ｋ）は、メモリ１３_kから読み出されたデ
ータを一時記憶し、アクティビティ算出回路１５_k-1お
よび１５_kに供給し、または、第ｋ階層のデータとして
出力するようになされている。なお、リードバッファ１
４₁は、メモリ１３₁から読み出されたデータを、アクテ
ィビティ算出回路１５₁にのみ供給するか、または第１
階層（ここでは、最下位階層）のデータとして出力する
ようになされている。また、リードバッファ１４_Kは、
メモリ１３_Kから読み出されたデータを、アクティビテ
ィ算出回路１５_k-1のみに供給するか、または第Ｋ階層
（ここでは、最上位階層）のデータとして出力するよう
になされている。

【００３３】アクティビティ算出回路１５_k（ｋ＝１，
２，・・・，Ｋ−１）（上位階層算出手段）（アクティ
ビティ算出手段）は、リードバッファ１４_kから供給さ
れる第ｋ階層のデータを用いて、第ｋ＋１階層のデータ
を算出し、セレクタ１１_k+1の入力端子Ｉ１に供給する
（但し、アクティビティ算出回路１５_K-1は、第Ｋ階層
のデータを、ライトバッファ１２_Kに供給する）ように
なされている。また、アクティビティ算出回路１５
_kは、リードバッファ１４_kから供給される第ｋ階層のデ
ータと、リードバッファ１４_k+1から供給される第ｋ＋
１階層のデータとを用いて、第ｋ階層のアクティビティ
を算出し、セレクタ１１_kの入力端子Ｉ２に供給するよ
うになされている。

【００３４】即ち、アクティビティ算出回路１５_kは、
シフタ２１_k、セレクタ２２_k、および演算器２３_kで構
成されている。シフタ２１_kは、リードバッファ１４_kか
ら供給される第ｋ階層のデータを、例えば、２ビットだ
け左シフトすることにより４倍し、セレクタ２２_kの入
力端子Ｉ２に供給するようになされている。そして、セ
レクタ２２_kの入力端子Ｉ１には、リードバッファ１４_k
から第ｋ階層のデータが供給されるようになされてお
り、セレクタ２２_kは、そこに供給されるセレクト信号
ＳＥＬ_k（ｋ＝１，２，・・・，Ｋ−１）に対応して、
入力端子Ｉ１またはＩ２に供給されるデータのうちのい
ずれか一方を選択し、演算器２３_kの入力端子Ｉ１に供
給するようになされている。演算器２３_kの入力端子Ｉ
２には、リードバッファ１４₂から第ｋ＋１階層のデー
タが供給されるようになされており、演算器２３_kは、
その入力端子Ｉ１またはＩ２に供給されるデータを用
い、制御信号Ａ／Ｓ（Add/Sub）にしたがって加算また
は減算を行い、その加算結果または減算結果を出力する
ようになされている。

【００３５】制御部３１は、セレクト信号Ｓ_k，ＳＥ
Ｌ_k、制御信号Ａ／Ｓなどを、必要なブロックに与え、
また、その他の必要な処理を行うようになされている。

【００３６】次に、図５のフローチャートを参照して、
図４の階層メモリにおけるデータの書き込み処理につい
て説明する。

【００３７】階層符号化の対象となる原画像が供給され
ると、まず最初に、ステップＳ１において、制御部３１
は、階層をカウントする変数ｎを１に初期化する。そし
て、ステップＳ２に進み、原画像を構成する各画素が、
メモリ１３₁の対応するアドレスに記憶される。即ち、
階層符号化の対象となる原画像は、セレクタ１１₁の入
力端子Ｉ１に供給される。このとき、制御部３１は、入
力端子Ｉ１を選択するように指示するセレクト信号Ｓ₁
をセレクタ１１₁に与えるようになされており、これに
より、原画像を構成する画素は、セレクタ１１₁で選択
され、ライトバッファ１２₁を介して、メモリ１３₁に供
給されて記憶される。

【００３８】以上のようにして、メモリ１３₁に、第１
階層の画像としての原画像を構成するすべての画素が記
憶されると、ステップＳ３に進み、アクティビティ算出
処理が行われ、書き込み処理を終了する。

【００３９】即ち、アクティビティ算出処理では、まず
最初に、アクティビティ算出回路１５₁において、メモ
リ１３₁に記憶された第１階層の画像から、図１で説明
したようにして、第２階層の画像が求められ、メモリ１
３₂に記憶される。さらに、アクティビティ算出回路１
５₁は、メモリ１３₁に記憶された第１階層の画像と、メ
モリ１３₂に記憶された第２階層の画像とを用い、図１
で説明したようにして、第１階層のアクティビティを求
める。この第１階層のアクティビティは、アクティビテ
ィ算出回路１５₁から、セレクタ１１₁およびライトバッ
ファ１２₁を介して、メモリ１３₁に供給され、既に記憶
されている第１階層の画像に替えて書き込まれる。

【００４０】そして、アクティビティ算出回路１５₂に
おいて、メモリ１３₂に記憶された第２階層の画像か
ら、上述の場合と同様に、第３階層の画像が求められ、
メモリ１３₃に記憶される。さらに、アクティビティ算
出回路１５₂は、メモリ１３₂に記憶された第２階層の画
像と、メモリ１３₃に記憶された第３階層の画像とを用
いて、上述の場合と同様に、第２階層のアクティビティ
を求める。この第２階層のアクティビティは、アクティ
ビティ算出回路１５₂から、セレクタ１１₂およびライト
バッファ１２₂を介して、メモリ１３₂に供給され、既に
記憶されている第２階層の画像に替えて書き込まれる。

【００４１】以下、同様にして、第４階層以上の階層の
画像および第３階層以上の階層のアクティビティが、順
次求められていく。そして、いま、Ｎ階層（Ｎ≦Ｋ）の
階層符号化を行うとすると、最終的に、メモリ１３₁乃
至１３_N-1には、第１乃至第Ｎ−１階層のアクティビテ
ィがそれぞれ書き込まれ、メモリ１３_Nには、第Ｎ階層
（最上位階層）の画像が書き込まれる。

【００４２】次に、図６のフローチャートを参照して、
図５のステップＳ３におけるアクティビティ算出処理に
ついて、さらに説明する。

【００４３】アクティビティ算出処理では、まず最初
に、ステップＳ１１において、第ｎ階層の画像を構成す
る画素を記憶しているメモリ１３_nに対して、第ｎ＋１
階層の１画素を求めるのに用いる２×２画素のブロック
を構成する４画素ｘ₁，ｘ₂，ｘ₃，ｘ₄が記憶されている
アドレスが、デコーダ１０によって与えられ、これによ
り、メモリ１３_nから、第ｎ階層の画素ｘ₁，ｘ₂，ｘ₃，
ｘ₄が順次読み出され、リードバッファ１４_nを介して、
アクティビティ算出回路１５_nに供給される。

【００４４】アクティビティ算出回路１５_nでは、ステ
ップＳ１２において、第ｎ階層の４画素ｘ₁，ｘ₂，
ｘ₃，ｘ₄の加算値ｙが求められる。即ち、リードバッフ
ァ１４_nを介して供給される第ｎ階層の４画素ｘ₁，
ｘ₂，ｘ₃，ｘ₄は、セレクタ２２_nの入力端子Ｉ１に供給
される。このとき、制御部３１は、入力端子Ｉ１を選択
するように指示するセレクト信号ＳＥＬ_nを、セレクタ
２２_nに与えるようになされており、従って、セレクタ
２２_nでは、その入力端子Ｉ１に供給される第ｎ階層の
４画素ｘ₁，ｘ₂，ｘ₃，ｘ₄が選択され、演算器２３_nの
入力端子Ｉ１に供給される。

【００４５】このとき、制御部３１は、入力端子Ｉ１に
供給されるデータの加算を行うように指示する制御信号
Ａ／Ｓを、演算器２３_nに与えるようになされており、
従って、演算器２３_nでは、その入力端子Ｉ１に供給さ
れる第ｎ階層の４画素ｘ₁，ｘ₂，ｘ₃，ｘ₄の加算値ｙが
求められ、即ち、式ｙ＝ｘ₁＋ｘ₂＋ｘ₃＋ｘ₄にしたがっ
た演算が行われ、その結果得られる加算値ｙが、セレク
タ１１_n+1の入力端子Ｉ１に供給される。

【００４６】このとき、制御部３１は、入力端子Ｉ１を
選択するように指示するセレクト信号Ｓ_n+1を、セレク
タ１１_n+1に与えており、従って、セレクタ１１_n+1で
は、その入力端子Ｉ１に供給される加算値ｙが選択さ
れ、ライトバッファ１２_n+1を介して、メモリ１３_n+1に
供給される。

【００４７】このとき、デコーダ１０は、メモリ１３
_n+1に対して、第ｎ階層の４画素ｘ₁，ｘ₂，ｘ₃，ｘ₄か
ら求められる第ｎ＋１階層の画素に対応するアドレスを
与えており、これにより、ステップＳ１３において、第
ｎ階層の４画素ｘ₁，ｘ₂，ｘ₃，ｘ₄の加算値ｙは、第ｎ
＋１階層の画素として、メモリ１３_n+1の対応するアド
レスに記憶される。

【００４８】ここで、メモリ１３₁乃至１３_kそれぞれに
対しては、デコーダ１０から必要なアドレスが供給され
るものとし、以下では、アドレスについての記載は、適
宜省略する。

【００４９】その後、ステップＳ１４において、制御部
３１は、画素数をカウントする変数ｉを１に初期化し、
ステップＳ１５に進む。ステップＳ１５では、メモリ１
３_nから第ｎ階層の画素ｘ_iが読み出されるとともに、そ
の画素ｘ_iを用いて求められた第ｎ＋１階層の画素（加
算値ｙ）が、メモリ１３_n+1から読み出される。メモリ
１３_nから読み出された第ｎ階層の画素ｘ_i、またはメモ
リ１３_n+1から読み出された第ｎ＋１階層の画素ｙは、
リードバッファ１４_nまたは１４_n+1をそれぞれ介して、
いずれも、アクティビティ算出回路１５_nに供給され
る。

【００５０】アクティビティ算出回路１５_nでは、ステ
ップＳ１６において、そこに供給される第ｎ階層の画素
ｘ_iおよび第ｎ＋１階層の画素ｙを用いて、第ｎ階層の
画素ｘ_iのアクティビティｚ_iが求められる。

【００５１】即ち、第ｎ階層の画素ｘ_iは、シフタ２１_n
に供給され、２ビット左シフトされることで、４倍にさ
れた後、セレクタ２２_nの入力端子Ｉ２に供給される。
このとき、制御部３１は、入力端子Ｉ２を選択するよう
に指示するセレクト信号ＳＥＬ_nを、セレクタ２２_nに与
えるようになされており、従って、セレクタ２２_nで
は、その入力端子Ｉ２に供給される第ｎ階層の画素ｘ_i
を４倍したものが選択され、演算器２３_nの入力端子Ｉ
１に供給される。

【００５２】一方、第ｎ＋１階層の画素ｙは、演算器２
３_nの入力端子Ｉ２に供給される。そして、このとき、
制御部３１は、入力端子Ｉ１に供給されるデータから、
入力端子Ｉ２に供給されるデータを減算するように指示
する制御信号Ａ／Ｓを、演算器２３_nに与えるようにな
されており、従って、演算器２３_nでは、その入力端子
Ｉ１に供給される第ｎ階層の画素ｘ_iを４倍したものか
ら、第ｎ＋１階層の画素ｙが減算され、第ｎ階層の画素
ｘ_iのアクティビティｚ_iが求められる。即ち、演算器２
３_nでは、式ｚ_i＝４ｘ_i−ｙにしたがった演算が行わ
れ、その結果得られる画素ｘ_iのアクティビティｚ_iが、
セレクタ１１_nの入力端子Ｉ２に供給される。

【００５３】このとき、制御部３１は、入力端子Ｉ２を
選択するように指示するセレクト信号Ｓ_nを、セレクタ
１１_nに与えており、従って、セレクタ１１_nでは、その
入力端子Ｉ２に供給されるアクティビティｚ_iが選択さ
れ、ライトバッファ１２_nを介して、メモリ１３_nに供給
される。これにより、ステップＳ１７において、画素ｘ
_iのアクティビティｚ_iが、画素ｘ_iに替えて、メモリ１
３_nに書き込まれる。

【００５４】その後、ステップＳ１８に進み、制御部３
１において、変数ｉが１だけインクリメントされ、ステ
ップＳ１９に進み、変数ｉが４より大きいかどうかが判
定される。ステップＳ１９において、変数ｉが４より大
きくないと判定された場合、ステップＳ１５に戻り、同
様の処理を繰り返す。

【００５５】また、ステップＳ１９において、変数ｉが
４より大きいと判定された場合、即ち、第ｎ階層の４画
素ｘ₁，ｘ₂，ｘ₃，ｘ₄それぞれのアクティビティｚ₁，
ｚ₂，ｚ₃，ｚ₄の算出が終了した場合、ステップＳ２０
に進み、第ｎ階層を構成する、２×２画素のブロックす
べてについて、ステップＳ１１乃至Ｓ１９の処理を行っ
たかどうかが判定される。ステップＳ２０において、第
ｎ階層を構成する、２×２画素のブロックすべてについ
て、まだ処理を行っていないと判定された場合、ステッ
プＳ１１に戻り、まだ、処理を行っていないブロック
を、新たに処理対象として、ステップＳ１１以下の処理
を繰り返す。

【００５６】また、ステップＳ２０において、第ｎ階層
を構成する、２×２画素のブロックすべてについて、処
理を行ったと判定された場合、ステップＳ２１に進み、
制御部３１において、変数ｎが１だけインクリメントさ
れる。そして、ステップＳ２２に進み、制御部３１にお
いて、変数ｎが、最上位階層であるＮに等しいかどうか
が判定される。ステップＳ２２において、変数ｎが、最
上位階層であるＮに等しくないと判定された場合、ステ
ップＳ２３に進み、アクティビティ算出処理が行われ、
リターンする。即ち、図６に示したアクティビティ算出
処理が再帰的に呼び出される。

【００５７】一方、ステップＳ２２において、変数ｎ
が、最上位階層であるＮに等しいと判定された場合、ス
テップＳ２３をスキップしてリターンする。

【００５８】以上により、メモリ１３₁乃至１３_N-1に
は、第１階層乃至第Ｎ−１階層のアクティビティが書き
込まれ、メモリ１３_Nには、第Ｎ階層の画像を構成する
画素（画素値）が書き込まれる。

【００５９】次に、以上のようにして書き込まれた第１
階層乃至第Ｎ−１階層のアクティビティ、および第Ｎ階
層の画像を構成する画素の読み出し処理について説明す
る。

【００６０】読み出し時においては、所望のメモリ１３
_k（ここでは、ｋ＝１，２，・・・，Ｎ）に対して、デ
コーダ１０からアドレスを与えることで、そのメモリ１
３_kから、第ｋ階層のデータが読み出され、リードバッ
ファ１４_kを介して、階層メモリから出力される。

【００６１】即ち、本実施の形態では、第１階層乃至第
Ｎ−１階層のデータとしては、第１階層乃至第Ｎ−１階
層のアクティビティが、第Ｎ階層のデータとしては、第
Ｎ階層の画像を構成する画素（第Ｎ−１階層の２×２画
素の加算値）が、それぞれ出力される。

【００６２】従って、外付けの回路を用いずに、画像の
アクティビティを得ることができるので、プログレッシ
ブ表示を、容易に行うことができる。即ち、まず最初
に、第Ｎ階層のデータをメモリ１３_Nから読み出して表
示し、その後、第Ｎ−１階層のデータをメモリ１３_N-1
から読み出して、表示画像（いまの場合、第Ｎ階層の画
像）に加算する。次に、第Ｎ−１階層のデータを読み出
して、表示画像（いまの場合、第Ｎ−１階層の画像）に
加算する。以下、同様にして、第Ｎ−２階層以下の階層
のデータを順次読み出して、表示画像に加算していくこ
とにより、表示画像は、解像度の低い画像から、徐々
に、解像度の高い画像に変化していく。

【００６３】さらに、上述したように、アクティビティ
は、０付近に集中するため、例えば、非線形量子化やエ
ントロピー符号化などを施すことにより、そのデータ量
を効率的に削減することができる。

【００６４】なお、図４において、メモリ１３₁乃至１
３_Kは、それぞれ物理的に１つのメモリである必要はな
く、それらのすべてを、１のメモリで構成することも可
能である。この場合、メモリ１３₁乃至１３_Kそれぞれに
対して、１のメモリの所定の記憶領域を割り当てるよう
にすれば良い。

【００６５】また、本実施の形態では、図４の階層メモ
リを構成する各ブロックを、１チップ上に構成するよう
にしたが、これらの各ブロックは、それぞれ独立のチッ
プで構成することも可能であるし、そのうちの２以上
を、独立のチップで構成することも可能である。

【００６６】さらに、本発明は、インターレース走査さ
れる画像およびノンインターレース走査される画素のい
ずれにも適用可能である。

【００６７】また、本実施の形態では、下位階層の隣接
する２×２の４画素の加算値を、その１つ上位の上位階
層の画素（画素値）とするようにしたが、上位階層の画
素は、下位階層の２×２画素以外のＭ画素から生成する
ことも可能である（但し、Ｍは２以上）。

【００６８】さらに、図４の階層メモリは、基本的に
は、ハードウェアによって実現されるが、コンピュータ
に、上述の処理を行わせるようなプログラムを実行させ
ることによっても実現可能である。

【００６９】また、本実施の形態では、各階層のデータ
を、例えば、ＲＡＭ（Random Access Memory）などに代
表されるメモリに記憶させるようにしたが、各階層のデ
ータは、その他、例えば、磁気ディスクや、光磁気ディ
スク、磁気テープ、光カードなどの記録媒体に記憶（記
録）させるようにすることも可能である。

【００７０】さらに、階層メモリからのデータの読み出
しは、１の階層についてだけ行うことも可能であるし、
２以上の階層について同時に行うことも可能である。

【００７１】また、本実施の形態では、第ｋ階層の画素
が、すべて、メモリ１３_kに記憶された後に、第ｋ＋１
階層の画素を求めるようにしたが、その他、例えば、第
ｋ＋１階層の画素の算出は、その画素を求めるのに必要
な第ｋ階層の２×２画素がメモリ１３_kに記憶された時
点で行うようにすることも可能である。

【００７２】さらに、本実施の形態では、メモリ１３₁
乃至１３_N-1には、第１乃至第Ｎ−１階層のデータとし
て、対応する階層のアクティビティをそれぞれ記憶させ
るようにしたが、メモリ１３₁乃至１３_N-1には、従来の
階層符号化における場合と同様に、第１乃至第Ｎ−１階
層の画素をそれぞれ記憶させるようにすることも可能で
ある。これは、図６で説明したアクティビティ算出処理
において、ステップＳ１４乃至Ｓ１９の処理をスキップ
するようにすることで行うことが可能である。

【００７３】また、図４の階層メモリにおいては、前述
したように、上位階層の画素ｙを、下位階層の２×２画
素ｘ₁乃至ｘ₄のうちの、例えば、右下の画素ｘ₄と置き
換えて記憶するようにすることも可能である。これは、
セレクタ１１₁に対するセレクト信号Ｓ₁の与え方と、メ
モリ１３₁に対するアドレスの与え方とを制御すること
で行うことができる。

【００７４】さらに、画像のアクティビティの計算方法
は、上述したものに限定されるものではない。

【００７５】また、本実施の形態では、図６のアクティ
ビティ算出処理を再帰的に行うことにより、各階層のデ
ータを、順次求めるようにしたが、アクティビティ算出
処理は、アクティビティ算出回路１５₁乃至１５_K-1それ
ぞれにおいて、並列に行うことも可能である。

【００７６】また、本実施の形態では、Ｋ−１個のアク
ティビティ算出回路１５₁乃至１５_K _-1を設けるようにし
たが、アクティビティ算出回路は、１つだけでも良い。
但し、この場合、各階層のアクティビティを並列に求め
るのは困難となる。

【００７７】

【発明の効果】以上の如く、本発明の記憶装置によれ
ば、下位階層の画像から上位階層の画像データを求める
上位階層算出手段と、下位階層の画像のアクティビティ
を算出するアクティビティ算出手段と、下位階層のアク
ティビティを記憶するアクティビティ記憶手段と、上位
階層の画像を記憶する画像記憶手段とが１チップ上に形
成されているので、アクティビティを求めて記憶する記
憶装置を小型に構成することが可能となる。

【００７８】また、本発明のデータ処理方法によれば、
アクティビティ記憶手段に、下位階層の画像が書き込ま
れ、アクティビティ記憶手段から、下位階層の画像が読
み出される。さらに、下位階層の画像から上位階層の画
像が求められ、画像記憶手段に、上位階層の画像が書き
込まれる。また、アクティビティ記憶手段から、下位階
層の画像が読み出されるとともに、画像記憶手段から、
上位階層の画像が読み出され、その下位階層および上位
階層の画像から、下位階層のアクティビティが算出され
る。そして、下位階層のアクティビティが、下位階層の
画像に替えて、アクティビティ記憶手段に書き込まれ
る。従って、外付けの回路を用いなくても、画像のアク
ティビティを得ることが可能となる。

【図面の簡単な説明】

【図１】本発明を適用した階層メモリの一実施の形態の
概要を説明するための図である。

【図２】図１の階層メモリの動作を説明するためのずで
ある。

【図３】図１の階層メモリによる階層符号化結果を示す
図である。

【図４】図１の階層メモリの詳細構成例を示すブロック
図である。

【図５】図４の階層メモリの書き込み処理を説明するた
めのフローチャートである。

【図６】図５のステップＳ３の処理の詳細を説明するた
めのフローチャートである。

【図７】従来の階層符号化を説明するための図である。

【図８】本件出願人が先に提案した階層符号化を説明す
るための図である。

【図９】従来の階層符号化により得られる上位階層の画
素のビット数を説明するための図である。

【符号の説明】

１，２₁乃至２₄ 演算器，１０デコーダ，１１₁
乃至１１_K-1 セレクタ，１２₁乃至１２_K ライトバ
ッファ，１３₁乃至１３_K メモリ（画像記憶手段）
（アクティビティ記憶手段），１４₁乃至１４_K リー
ドバッファ，１５₁乃至１５_K-1 アクティビティ算出
回路（上位階層算出手段）（アクティビティ算出手
段），２１₁乃至２１_K-1 シフタ，２２₁乃至２２
_K-1 セレクタ，２３₁乃至２３_K-1 演算器

Claims

【特許請求の範囲】

【請求項１】画像を階層符号化して記憶する記憶装置
であって、下位階層の画像から上位階層の画像を求める上位階層算
出手段と、前記下位階層の画像のアクティビティを算出するアクテ
ィビティ算出手段と、前記下位階層のアクティビティを記憶するアクティビテ
ィ記憶手段と、前記上位階層の画像を記憶する画像記憶手段とを備え、前記上位階層算出手段、アクティビティ算出手段、アク
ティビティ記憶手段、および画像記憶手段が１チップ上
に形成されていることを特徴とする記憶装置。
【請求項２】前記上位階層算出手段は、前記下位階層
の画像のＭ画素から、前記上位階層の画像の１画素を求
めることを特徴とする請求項１に記載の記憶装置。
【請求項３】前記アクティビティ算出手段は、前記下
位階層の画像のＭ画素それぞれのアクティビティを、そ
のＭ画素から求められた前記上位階層の画像の１画素を
用いて求めることを特徴とする請求項２に記載の記憶装
置。
【請求項４】下位階層の画像のアクティビティを記憶
するアクティビティ記憶手段と、上位階層の画像を記憶する画像記憶手段とを１チップ上
に備え、画像を階層符号化して記憶する記憶装置におけ
るデータ処理方法であって、前記アクティビティ記憶手段に、前記下位階層の画像を
書き込み、前記アクティビティ記憶手段から、前記下位階層の画像
を読み出し、前記下位階層の画像から前記上位階層の画像を求め、前記画像記憶手段に、前記上位階層の画像を書き込み、前記アクティビティ記憶手段から、前記下位階層の画像
を読み出すとともに、前記画像記憶手段から、前記上位
階層の画像を読み出し、その下位階層および上位階層の
画像から、前記下位階層のアクティビティを算出し、前記下位階層のアクティビティを、前記下位階層の画像
に替えて、前記アクティビティ記憶手段に書き込むこと
を特徴とするデータ処理方法。
【請求項５】前記下位階層の画像のＭ画素から、前記
上位階層の画像の１画素を求めることを特徴とする請求
項４に記載のデータ処理方法。
【請求項６】前記下位階層の画像のＭ画素それぞれの
アクティビティを、そのＭ画素から求められた前記上位
階層の画像の１画素を用いて求めることを特徴とする請
求項５に記載のデータ処理方法。