JP3176421B2 - 画像データ復元装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、符号化された多値画像
データを復元する画像復元装置に係わり、特に複数の階
層に分けて符号化された多値画像データの復元を効果的
に行える画像復元装置に関する。

【０００２】

【従来の技術】画像データ、特に中間調画像やカラー画
像のデータは、文字・数値データに比べてその情報量
（データ量）が桁違いに大きいため、そのデータを蓄積
したりまたは高速・高品質で伝送するためには、各画像
毎の階調値を高能率（高効率）に符号化する必要があ
る。

【０００３】また、画像データベースの検索等において
は、利用者がより早く画像の概要を認識できるように、
粗い画像から順次高品質の画像へと段階的に画質を向上
させていく、高速復元表示が可能ないわゆる階層復元表
示（この階層は、画像の解像度により分類される）を可
能とする多値画像データの階層的符号化方法が検討され
ている。そして、さらに、このように階層的に符号化さ
れた多値画像データの効率的な伝送、復元等を実現し、
効率的な画像データベース検索等を実現するために、伝
送装置、復元装置等に対して効率的に画像データの符号
データを供給する制御方式の開発が強く望まれている。

【０００４】ところで、画像データの高能率な圧縮方式
として、例えば適応離散コサイン変換（Adaptive Discr
ete Cosine Transform，以下、ＡＤＣＴと略称する）符
号化方式が知られている。

【０００５】このＡＤＣＴ符号化方式は、例えば 256×
256 画素または512 ×512 画素等の２次元の原画像デー
タを、例えば８×８画素の複数個のブロックに分割し、
各ブロックの画信号（階調値あるいは濃度値等）を２次
元離散コサイン変換（２次元Discrete Cosine Tranfor
m，以下２次元ＤＣＴと略称する）により空間周波数分
布の係数に変換し、その係数を視覚に適応した閾値で量
子化し、その求まった量子化係数を符号表の一つである
統計的に求めたハフマン・テーブルにより可変長符号化
するものである。

【０００６】ここで、画信号２３を８×８画素のブロッ
クに分割して、各ブロックの画信号をＡＤＣＴ方式によ
り階層符号化して蓄積する回路の基本ブロック図を図１
１に示し、その図１１を参照してその符号化動作を説明
する。

【０００７】まず、画信号２３は、図１２に示すように
８×８画素構成の８×８個のブロックに分割されて２次
元ＤＣＴ変換部２４に入力される。尚、図１２に示すブ
ロックの各画素の値は、階調値を示す。

【０００８】２次元ＤＣＴ変換部２４では、入力された
各ブロック内の８×８画素の各階調値を、２次元ＤＣＴ
により直交変換して図１３に示す空間周波数分布の８×
８個の２次元ＤＣＴ係数Ｆ（ｕ，ｖ），（０≦ｕ≦７，
０≦ｖ≦７）に変換し線形量子化部２５に出力する。２
次元ＤＣＴ係数Ｆ（ｕ，ｖ）は、ｕまたはｖの値が小さ
いほど、空間周波数が低く解像度の低いスペクトル成分
を表わし、ｕまたはｖの値が大きくなるほど、空間周波
数が高く、解像度の高いスペクトル成分を表わす。ま
た、Ｆ（０，０）は、直流成分を示す。

【０００９】線形量子化部２５では、入力される２次元
ＤＣＴ係数Ｆ（ｕ，ｖ）を視覚実験により決められた閾
値で構成される量子化マトリクス２６を参照して線形量
子化する。この量子化の結果、図１４に示すように、閾
値以下の２次元ＤＣＴ係数Ｆ（ｕ，ｖ）は０となり、Ｄ
Ｃ（直流）成分（「５」）とわずかのＡＣ（交流）成分
のみが値を持つ量子化係数が生成される。

【００１０】次に、図１４に示すように２次元的に配列
された量子化係数は、図１５に示す１，２，３・・・6
1,62,63,64 の数字が割当られた順にジグザグスキャン
されることにより、１次元のデータ列に変換されて、可
変長符号化部２７に入力される。

【００１１】可変長符号化部２７は、ＤＣ成分について
は前ブロックのＤＣ成分との差分を可変長符号化する。
また、ＡＣ成分については有効係数（値が０でない係
数）の値とそこまでの無効係数（値が０の係数）のラン
の長さ（零ラン長）を可変長符号化する。そして、次に
ＤＣ，ＡＣ各成分は、画像ごとの統計量をもとに作成す
るハフマン・テーブルで構成する符号表２８を用いて符
号化され、符号データ格納部２９に格納される。このと
き、符号データは粗い画像を復元するのに必要なデータ
が第１階層、順次より精細な画像を復元するために順次
付加するデータを第２階層、第３階層、・・・というよ
うに階層的な符号データの形式で格納される。すなわ
ち、前記２次元ＤＣＴ係数Ｆ（ｕ，ｖ）の次数（ｕ，
ｖ）の低い空間周波数の低い成分に対応するものから順
に区切られて階層的に格納される。

【００１２】このようにして、階層に分けて格納された
符号データは、低い階層からより高い階層へ、すなわち
粗い画像からより精細な画像へと順次復元されていく。
尚、このように標本化された多値画像の全画素を適当な
数の画素から成る複数のブロックに分割し、各ブロック
ごとに、標本値から成る数値列を２次元ＤＣＴ等により
直交変換して、ブロック数に等しい数の直交変換係数を
得、その直交変換係数を所定のルールで量子化すること
を一般に変換符号化（Transform Coding）という。

【００１３】この階層に分けて符号化された符号データ
から画像データを復元する方法を、図１６、図１７、図
１８、及び図１９を参照しながら説明する。図１６は、
従来の階層に分けて符号化された符号データ（階層符号
データ）から画像を階層復元する装置の構成を示すブロ
ック図である。

【００１４】従来技術においては、まず図１６に示した
符号データ格納部１１０に格納された多数の画像の階層
符号データを、符号データ供給部１２０で、第１の画像
の第１階層の符号データから階層順に順次選択する。符
号データ供給部１２０により選択された上記第１画像の
第１階層の符号データは、画像復元部１３０に供給さ
れ、その画像復元部１３０で画像データ（表示用画像デ
ータ）に復元される。そして、その復元された画像デー
タは、画像出力部１４０に伝送されて、第１画像の第１
階層が表示される。

【００１５】上述のようにして、第１画像の第１階層の
符号データが画像データに復元終了された後、次に、符
号データ供給部１２０により符号データ格納部１１０内
の第１画像の第２階層の符号データが選択され、上記と
同様の手順で前記第１階層の符号データと第２階層の符
号データを用いた前画像よりも精細な画像が画像出力部
１４０に表示される。

【００１６】ここで、図１７に示す上記画像復元部１３
０のブロック図及び図１７のフローチャートを参照しな
がら、上記画像復元部１３０の動作を説明する。画像復
元部１３０は、まず、上記符号データ供給部１２０から
供給される第１画像の第１階層の符号データを復元する
（Ｓ１）。すなわち、まず、上記符号データ供給部１２
０から、上記第１画像の第１階層復元用の符号データを
先頭ブロックから順に可変長復号部１３１に入力し、可
変長復号部１３１は、各ブロックの第１画像の第１階層
復元用の符号データを、復号表１３２を参照しつつ、固
定長のデータ（量子化係数）に復元する。可変長復号部
１３１で復元された各ブロックの量子化係数は、逆量子
化部１３３により逆量子化マトリクス１３４を用いて逆
量子化され、その逆量子化により得られた各ブロックの
２次元ＤＣＴ係数は逆ＤＣＴ変換部１３６に出力され
る。逆ＤＣＴ変換部１３６は、第１画像の第１階層の各
ブロックの２次元ＤＣＴ係数を逆ＤＣＴ変換して階調デ
ータ（画像データ）に変換して画像出力部１４０に伝送
し、画像出力部１４０は、第１画像の第１階層を表示す
る。

【００１７】上述のようにして、画像復元部１３０は、
第１画像の第１階層の全ブロックの符号データを復元終
了した後、引き続き符号データ供給部１２０から供給
（伝送）されてくる第１画像の第２，第３，・・・の各
階層の全ブロックの符号データを階層順に全て復元す
る。そして、第１画像について全階層の符号データを復
元した後、さらに第２画像を同様の手順で第１階層から
順次より高い階層へと復元していく（Ｓ２）。

【００１８】このように、画像復元部１３０は、第１，
第２，・・・の各画像の階層分けされた符号データを符
号データ供給部１２０から第１階層から順次、より高い
階層へと階層別に入力し、第１，第２，・・・の各画像
を階層復元表示するための画像信号を階層復元してい
く。そして、画像復元部１３０は、全ての画像について
階層復元が終了したと判断すると（Ｓ３，ＮＯ）、画像
出力部１４０への画像信号の伝送を終了する。

【００１９】図１９は、５階層に分けて符号化された３
種類の画像の符号データを、上記画像復元部１３０によ
り画像データに階層復元する場合の動作を説明する図で
ある。

【００２０】同図に示すように、画像復元部１３０は符
号データ供給部１２０から供給される第１、第２、及び
第３画像の３種類の画像の第１階層から第５階層までの
符号データを基に、上記各画像について第１階層から第
５階層までの画像データを順次復元し、復元が終了する
毎にそれらの復元した画像データを画像出力部１４０に
伝送する。

【００２１】ところで、上記各画像の各階層の符号デー
タは可変長であるので、データ長の長い階層の符号デー
タ（第１画像の第１階層１−１、第３画像の第１階層３
−１、第３画像の第２階層３−２、第３画像の第５階層
３−５）を画像データに復元する処理時間は、他の階層
の符号データを画像データに復元するよりも長くなる。
換言すれば、復元表示されるまでの時間が長くなる。

【００２２】

【発明が解決しようとする課題】上述したように、従来
は、階層に分けて符号化された符号データの画像データ
への復元を、各画像について全ての階層について行って
いた。

【００２３】したがって、このような画像データ復元方
式を用いた画像データ復元装置や画像データ伝送装置で
は、１つの画像について全階層の符号データの供給が終
了するまで、次の画像の復元や供給を行うことはできな
かった。このため、効率的な画像データベース検索等は
困難であった。

【００２４】本発明は、利用者が画像データベース等に
おける画像の検索を、利用者が満足する画質を提供しな
がら、従来よりも高速に行うことを可能にする画像デー
タ復元装置を実現することを目的とする。

【００２５】

【課題を解決するための手段】図１は、本発明の原理ブ
ロック図である。本発明は、原画像が複数の階層に分け
て符号化された符号データを符号データ供給手段から供
給を受けて、画像データを階層復元する画像復元装置を
前提とする。

【００２６】第１の発明は、以下の各手段１、２、３を
有する。復元手段１は、前記符号データ供給手段から供
給される符号データを階層毎に所定段階のデータまで復
元する。

【００２７】判断手段２は、復元手段１により復元され
たデータを基に、次階層以降の符号データも復元するか
否かを判断する。通知手段３は、判断手段２の判断結果
に基づき、前記符号データ供給手段に復元手段１に対す
る次階層以降の符号データの供給の中止または継続を通
知する。

【００２８】前記復元手段１及び前記判断手段２は、例
えば、請求項２記載のように、前記符号データが、原画
像の画像データに対して直交変換することにより得られ
た直交変換係数を量子化した符号データであった場合、
復元手段１は、前記符号データ供給手段から供給される
前記符号データに対して逆量子化を行うことにより直交
変換係数を復元し、判断手段２は、復元手段１により復
元された直交変換係数を基に次階層以降の復元を行うか
否かを判断するようにしてもよい。

【００２９】また、前記符号データが上述のようにして
符号化されたものであった場合、請求項３記載のように
前記復元手段１は前記符号データ供給手段から供給され
る前記符号データに対して逆量子化を行って直交変換係
数を復元し、さらにその直交変換係数を用いて逆直交変
換を行って画像データを復元し、判断手段２は、復元手
段１により復元された画像データを基に次階層以降の符
号データも復元するか否かを判断するようにしても良
い。

【００３０】また、請求項４に記載する第２の発明は、
上記復元手段１、上記判断手段２、及び上記通知手段３
に加え、下記の検出手段４を有する。検出手段４は、予
め設定された最小階層まで画像データの復元が終了した
か否かを検出する。そして、この場合、復元手段１は、
検出手段４の検出結果に基づき、前記符号データを最小
限、前記最小階層まで復元する。

【００３１】

【作用】第１の発明においては、復元手段１は符号デー
タ供給手段から、原画像の階層分けされた符号データを
第１、第２、・・・階層と、順次、低次の階層からより
高次の階層へと順に供給を受ける。

【００３２】そして、復元手段１は、その階層分けされ
た符号データを、第１階層から順に、所定段階のデータ
（例えば、直交変換係数または画像データ）まで復元す
る。判断手段２は、その復元手段１から出力される上記
所定段階まで復元されたデータを基に、例えば電力値
（前記直交変換係数の場合）または二乗平均値（前記画
像データの場合）の大きさを、例えば、予め決められた
基準値（下限値）と比較する等の方法により、現在表示
されている画像の画質の程度を推測して、より精細な画
像表示が必要か否か、すなわち、次階層の画像表示が必
要か否かを判断する。

【００３３】通知手段３は、判断手段２が次階層の画像
表示が必要であると判断した場合には、前記符号データ
供給手段に対し、次階層の復元表示に必要な符号データ
を復元手段１に対し供給するように指示するが、判断手
段２が次階層の画像表示が不要であると判断した場合に
は、前記符号データ供給手段に対し次階層以降の符号デ
ータの復元手段１への供給を中止するように指示する。

【００３４】このように、階層分けされた符号データか
ら画像データへの階層復元は、ある階層において、復元
画像がある決められた画質（例えば、利用者が満足する
画質）まで達した段階で中止される。そして、利用者の
要求に応じて、次画像の画像データの階層復元を開始す
るか、または画像データの復元を中止する。

【００３５】したがって、利用者は、画像データベース
等の検索において、所望する画像を従来よりも高速に見
つけ出すことができるようになる。

【００３６】

【実施例】以下、図面を参照しながら本発明の実施例を
説明する。図２は、本発明の一実施例の画像データ復元
装置の基本構成を示す図である。

【００３７】画像復元部２０１は、特に図示しない符号
データ供給部から供給されてくるある画像の階層分けさ
れた符号化データをその画像を構成する各画素の階調デ
ータに復元し、それらの階調データを画像出力部２０２
に伝送する。

【００３８】画像出力部２０２は、上記画像復元部２０
１から伝送されてくるある画像の各画素の階調データを
前階層の復元表示に用いられた対応する各画素の階調デ
ータに加算し、その加算により得られた全画面の階調デ
ータを用いて新たな階層の画像を表示する（階層復元表
示）。

【００３９】制御条件評価部２０３は、上記画像復元部
２０１が上記画像出力部２０２に伝送する一画面の各画
素の階調データを入力し、その入力データに基づき画像
出力部２０２が表示する画像の精細度を判断する。そし
て、その画像の精細度がまだ所定以上の画質を満足して
いないと判断した場合には、符号要求指示部３０４に対
し、次階層の復元・表示用の符号データの供給を要求す
る。

【００４０】符号要求指示部２０４は、制御条件評価部
２０３から上記要求を入力する毎に、前記符号データ供
給部に対し、次階層の符号データを画像復元部２０１に
供給するよう指示する。

【００４１】次に、上記構成の画像データ復元装置の動
作を図３のフローチャートを参照しながら説明する。ま
ず、画像復元部２０１は、前記符号データ供給部から第
１画像の第１階層表示用の符号データの供給を受け、そ
の符号データから第１画像の第１階層の画像３−１の各
画素の階調データ（画像データ）を復元し、その階調デ
ータを画像出力部２０２及び制御条件評価部２０３に出
力する（ＳＡ１）。

【００４２】画像表示部２０２は、上記階調データの入
力により、第１画像の第１階層の画面１−１を表示す
る。一方、制御条件評価部２０３は、上記階調データの
入力により、その階調データを用いて、画像出力部２０
２により表示される第１画像の第１階層の画像１−１の
精細度（画質）を評価し（ＳＡ２）、さらに次階層（こ
の場合、第２階層）のより精細な画像を表示する必要が
あると判断すると（ＳＡ３，ＹＥＳ）、符号要求指示部
２０４に対し、第１画像の第２階層表示用の符号データ
を供給するように要求（指示）する（ＳＡ４）。

【００４３】符号要求指示部２０４は、その要求に応じ
て、前記符号データ供給部に対して第１画像の第２階層
表示用の符号データを画像復元部２０１に対して供給す
るように要求する。

【００４４】前記符号データ供給部は、この要求を受け
取ると、第１画像の第２階層の画面表示用の符号データ
を画像復元部２０１に供給する。画像復元部２０１は、
その供給される符号データを用いて第１画像の第２階層
の表示画面の各画素の階調データ（画像データ）を復元
し、その階調データを画像出力部２０２と制御条件評価
部２０３に出力する（ＳＡ１）。

【００４５】このようにして、第１画像の各階層の表示
毎に、制御条件評価部２０３により所定以上の画質を満
足する画像であるか否かが検出される。そして、制御条
件評価部２０３は、ある階層で所定以上の画質で画像表
示が行われたと判断すると（ＳＡ３，ＮＯ）、次に表示
すべき画像（次画像）が在るか否かを調べ、次画像が在
る場合には、符号要求指示部２０４に対して、次画像の
第１階層表示用の符号データを供給するように要求す
る。符号要求指示部２０４は、この要求を受けて、前記
符号データ供給部に次画像の第１階層の画面表示用の符
号データを供給するように要求（指示）する。

【００４６】このようにして、各画像について所定以上
の画質が満足される階層まで、階層復元表示が行われ
る。図４に、上記実施例により行われる階層分けされた
符号データから画像データを復元する処理の一例を示
す。

【００４７】尚、第１画像から第５画像は、全て５階層
までの階層復元表示が可能になっている。同図に示す例
では、第１画像は第３階層の画面１−３まで、第２画像
は第４階層の画面２−４まで、第３画像は第２階層の画
面３−２まで、第４画像は第４階層の画面４−４まで、
そして第５画像は第３階層の画面５−３まで階層復元表
示がなされる。このように、各画像毎に同一階層であっ
ても画質が異なるため、第３画像のように第２階層で所
定画質以上の画面表示がなされる場合は、直ちに第４画
像の第１階層の表示に移行する。

【００４８】また、第２画像や第４画像のように、第４
階層まで表示しなければ所定以上の画質が得られない場
合には、第４階層まで階層復元表示を行う。図５は、前
記図２に示す画像データ復元装置のより詳細なブロック
構成図である。

【００４９】この画像データ復元装置は、直交変換に２
次元ＤＣＴ変換を用いた符号化方式（例えば、ＡＤＣＴ
方式）により生成された階層分けされた符号データを復
元するものである。

【００５０】画像復元部２０１は、前述した図１７に示
す画像復元部１３０と全く同様なブロック構成となって
おり、各ブロックの機能も同一符号が付与されたブロッ
クについては同じである。ただ、逆量子化部１３３の出
力する２次元ＤＣＴ係数が逆ＤＣＴ変換部１３６以外
に、制御条件評価部２０３にも出力されている点が異な
る。

【００５１】制御条件評価部２０３は、電力算出部２０
３Ａと条件比較部２０３Ｂとから成り、現在階層復元表
示されている画像の次階層の符号データを復元を行うか
それとも次画像の第１階層の表示に移行すべきかを判断
する。

【００５２】電力算出部２０３Ａは、画像復元部２０１
内の逆量子化部１３３から入力されるある階層の２次元
ＤＣＴ係数の電力を算出し、その電力値を条件比較部２
０３Ｂに出力する。

【００５３】条件比較部２０３Ｂは、その入力される電
力値により、上記逆量子化部１３３から出力される２次
元ＤＣＴ係数が画像の画質向上にどの程度寄与するかを
評価し、現在画像出力部２０２が表示している画像の次
階層以降の表示を中止するか否かを判断する。

【００５４】一般的に、多くの階層に分割した場合、最
終階層に近づくほど、それらの階層表示用の符号データ
を逆量子化することにより得られる２次元ＤＣＴ係数の
電力は小さな値になる。したがって、２次元ＤＣＴ係数
の電力値が小さいと評価された階層の次の階層の表示用
の符号データを復元することにより得られる画像データ
の画質向上への寄与は、さらに小さくなるものと推測で
きる。本実施例では、この特性を考慮し、復元したある
階層の画像データによる画質向上へ寄与が小さい場合に
はその階層以降に復元表示を行っても画質の向上の変化
は小さいものと判断し、次階層以降の符号データの復元
を中止するために、符号要求指示部２０４から前記符号
データ供給部に対して、次階層表示用の符号データの供
給を中止するよう指示する。

【００５５】一方、２次元ＤＣＴ係数の電力が所定値以
上の場合には、さらに、画質の向上が望めるので、次階
層表示用の符号データの供給を、符号要求指示部２０４
から前記符号データ供給部に対し指示して、符号データ
の復元を継続し、より精細な次階層の画像の復元表示を
行う。

【００５６】次に、条件比較部２０３の一構成例を図６
に示す。同図において、最小階層数格納部２０３１は、
画像復元部２０１が全ての画像について最低限、階層復
元すべき最小階層数ｄを格納する。

【００５７】この最小階層数ｄは、例えば予め複数の画
像について階層復元表示を行うことにより統計的に求め
る。復元階層数格納部２０３２は、現在までに復元され
ている階層数ｃを格納する。

【００５８】下限格納部２０３３は、続いて次の階層復
元を行うか否かの基準となる電力下限値ａを格納する。
比較部２０３４は、電力算出部２０３Ａが逆量子化部１
３３から入力されるある階層の復元表示用の２次元ＤＣ
Ｔ係数を用いて算出した電力値ｂと、上記下限格納部２
０３３に格納されている電力下限値ａとを比較し、ｂ＞
ａであれば符号要求指示部２０４に前記符号データ供給
部に対し、次階層の復元表示に必要な符号データを画像
復元部２０１に供給するよう指示する（階層復元継続指
示）と共に、復元階層格納部２０２２に対しその格納値
を“１”インクリメント（増加）するように指示する。
一方、比較部２０３４は、ｂ≦ａであれば、階層数比較
部２０３５に対し、階層数比較の要求を指示する。

【００５９】階層数比較部２０３５は、復元階層数格納
部２０３２に格納されている現在までに復元されている
階層数ｃと最小階層数格納部２０３１に格納されている
最低限必要な最小復元階層数ｄとを比較し、ｃ≧ｄであ
れば符号要求指示部２０４に対し次階層以降の階層復元
用の符号データの供給を中止する旨を指示する。一方、
階層数比較部２０３５は、ｃ＜ｄであれば、符号要求指
示部２０４に対し次階層の復元表示用の符号データを画
像復元部２０１に供給するよう前記符号データ供給部に
対し要求するように指示する。

【００６０】次に、上記図５及び図６に示す構成の第１
実施例の画像データ復元装置の動作の一例を、図７のフ
ローチャートを参照しながら説明する。まず、条件比較
部２０３Ｂ内の最小階層数格納部２０３１及び下限格納
部２０３３内に、それぞれ、全画像について最低限復元
すべき階層数ｃ及び各画像について階層復元を継続すべ
きか否かの基準となる各階層復元用の符号データから復
元される２次元ＤＣＴ係数の電力下限値ａを格納すると
共に、復元階層数格納部２０３２に“０”を格納する
（ＳＢ１）。

【００６１】続いて、画像復元部２０１は、前記符号デ
ータ供給部から供給される第１画像の第１階層復元用の
符号データから第１画像の第１階層画面１−１の各画素
の階調データを復元し、それらの各画素の階調データを
画像出力部２０２へ出力する。また、このとき、画像復
元部２０１内の逆量子化部１３３は、上記第１画像の第
１階層画面の各画素の階調データを復元するために用い
られる全ての２次元ＤＣＴ係数を制御条件評価部２０３
内の電力算出部２０３Ａに出力する（ＳＢ２）。

【００６２】ここで、画像復元部２０１の上記処理ＳＢ
２におけるより詳細な動作を説明する。可変長復号部１
３１は、前記符号データ供給部から供給される第１画像
の第１階層の符号データを、復号表１３２を参照して固
定長の量子化係数に変換し逆量子化部１３３に出力す
る。逆量子化部１３３は、入力される固定長の量子化係
数を逆量子化マトリクス１３４を用いて逆量子化し、第
１画像の第１階層復元用の２次元ＤＣＴ係数を逆ＤＣＴ
変換部１３６及び制御条件評価部２０３内の電力算出部
２０３Ａへ出力する。逆ＤＣＴ変換部１３６は、上記第
１画像の第１階層復元用の２次元ＤＣＴ係数を用いて逆
２次元ＤＣＴ変換を行い、第１画像の第１階層画面１−
１の各画素の階調データを復元し、それらの階調データ
を画像出力部２０２へ出力する。

【００６３】画像出力部２０２は、入力される第１画像
の第１階層画面１−１の画像データ（各画素の階調デー
タ）を用いて、第１画像の第１階層画面１−１を表示す
る（ＳＢ３）。

【００６４】続いて、制御条件評価部内２０３内の電力
算出部２０３Ａは、上記逆量子化部１３３から入力され
る第１画像の第１階層画面１−１復元用の全ての２次元
ＤＣＴ係数から第１画像の第１階層画面１−１全体での
画像データ（階調データ）の電力値ｂを算出し、条件比
較部２０３Ｂに出力する（ＳＢ４）。

【００６５】条件比較部２０３Ｂ内の比較部２０３４
は、その入力される電力値ｂと下限格納部２０３３内に
格納されている最小限電力値ａとを比較し、ｂ＞ａ（変
化量大に対応）であれば（ＳＢ５，ＹＥＳ）、符号要求
指示部２０４に階層復元の継続を指示すると共に、復元
階層数格納部２０３２にインクリメントを指示する（Ｓ
Ｂ６）。

【００６６】このことにより、復元階層数格納部２０２
２は“１”を格納すると共に、符号要求指示部２０４
は、前記符号データ供給部に第１画像の第２階層復元用
の符号データを画像復元部２０１に供給するように要求
する。これを受けて、前記符号データ供給部は、第１画
像の第２階層画面１−２復元用の符号データを画像復元
部２０１に供給する。

【００６７】画像復元部２０１は、上記供給を受けて、
上記符号データから第１画像の第２階層画面１−２復元
用の画像データ（各画素の階調データ）を復元し、その
画像データを画像出力部２０２に出力すると共に、逆量
子化部１３３から上記画像データの復元に用いられた全
ての２次元ＤＣＴ係数を制御条件比較部２０３内の電力
算出部２０３Ａへ出力する（ＳＢ２）。

【００６８】画像出力部２０２は、画像復元部２０１の
逆ＤＣＴ変換部１３６から上記第１画像の第２階層画面
１−２復元用の画像データを入力すると、その画像デー
タを前記第１画像の第１階層画面１−１の画像データに
付加し（画面の対応する画素同士の画像データ（階調デ
ータ）を加算する）、第１画像の第２階層画面１−２を
表示する（ＳＢ３）。

【００６９】また、電力算出部２０３Ａは、画像復元部
２０１内の逆量子化部１３３から第１画像の第２階層復
元用の２次元ＤＣＴ係数を入力すると、その２次元ＤＣ
Ｔ係数から第１画像の第１階層画面１−１の表示と第１
画像の第２階層画面１−２の表示との間の電力の増加量
ｂを算出し、その電力増加量ｂを条件比較部２０３に出
力する（ＳＢ４）。

【００７０】そして、上述したようにして、再び、条件
比較部２０４Ｂの比較部２０３４により上記電力増加量
ｂと下限格納部２０３３に格納されている下限電力値ａ
とが比較されｂ＞ａであれば、前述した処理ＳＢ６が行
われた後、再び前記処理ＳＢ２に戻り、第１画像の第３
階層画面１−３を表示するための処理が行われる（ＳＢ
３）。

【００７１】そして、制御条件評価部２０３の電力算出
部２０３Ａにより、第１画像の第２階層の画面１−２の
表示から第１画像の第３階層画面１−３の表示との間の
電力増加量ｂが算出され（ＳＢ４）、条件比較部２０３
Ｂ内の比較部２０３４は、その電力増加量ｂが最小限電
力値ａ以下であれば（ｂ≦ａ）、階層数比較部２０３５
に階層数比較要求を出力する（ＳＢ５，ＮＯ）。

【００７２】階層数比較部２０３５は、復元階層数格納
部２０３２に格納されている第１画像の今までに表示さ
れた階層数ｃ（この場合“３”）と下限格納部３０３３
に格納されている全画像において最小限表示が必要な階
層数ｄ（この場合“２”とする）とを比較し、ｃ≧ｄで
あると判別すると（ＳＢ７，ＹＥＳ）、符号要求指示部
２０４に対し、次の階層復元用の符号データの供給停止
を指示する。

【００７３】上記動作により、第１画像が第１階層から
の粗い画像から利用者が画像をはっきりと識別できるよ
り精細な第３階層の画像へと階層復元・表示される。次
に、特に図示していないキーボードやマウス等の入力装
置を介して利用者が入力した指示データを入力し、その
指示データを解釈して、利用者が次の画像を選択してい
ると判断すると（ＳＢ８，ＹＥＳ）、その利用者の選択
した画像の階層分けされた符号データに対し上述したよ
うな第１画像の階層分けされた符号データに対する処理
と同様の処理を行い、その選択された画像を所定階層ま
で復元表示する。

【００７４】一方、上記処理ＳＢ８で、オペレータが画
像選択の終了を指示していると判断した場合には（ＳＢ
８，ＮＯ）、直ちに画像の階層復元を中止する。また、
前記処理ＳＢ５で電力増加量ｂ＞最小限電力値ａであっ
ても、まだ最低階層数ｄ（例えば“２”）までの階層復
元表示が終了していなければ、次階層の復元表示に移行
する（ＳＢ７，ＮＯ）。

【００７５】このように、第１実施例では、電力算出部
２０３Ａから出力されるある階層の画面から次の階層の
画面までの電力増加量ｂと、統計的に求めた電力増加量
の基準値である最小限電力値ａとを基に、下記の、
の処理を行っている。

【００７６】ｂ＞ａ：復元した階層による画像の変化
が大きく、まだ画質が安定していない。したがって、符
号要求指示部２０４に対し、次階層の符号データの供給
を指示する。

【００７７】ｂ≦ａ：復元した階層による画像の変化
が小さく、画質が安定してきており、既に所定以上の画
質で画像が表示されている。したがって、符号要求指示
部２０４に対し、次階層以降の符号データの供給停止を
指示する。

【００７８】このことにより、図４に示すように、例え
ば第２画像については第４階層までの復元表示を行い、
第３階層については第２階層までの復元表示を行う。
尚、上記の図７のフローチャートに示す例では、電力増
加量ｂと最小限電力量ａとの比較を行い、ｂ≦ａである
と判断した後、所定階層数以上の復元表示が終了したか
否かを判別する処理ＳＢ７を行っているが、この判別処
理ＳＢ７を、図８のフローチャートに示すように所定階
層の復元表示処理ＳＢ３が終了した後に行うようにして
もよい。

【００７９】この場合には、最初に階層数を比較するた
め、最小階層数までの階層復元表示までは、画質変化の
比較量の演算（処理ＳＢ４及び処理ＳＢ５）を省略で
き、画像表示の高速化が可能になる。

【００８０】上記のような処理を可能とする条件比較部
２０３Ｂ′を有する第２実施例のブロック構成を図９に
示す。次に、図１０は、本発明の第３の実施例の画像デ
ータ復元装置のシステム構成図である。

【００８１】先の第１及び第２の実施例では逆量子化に
より得られた直交変換係数（２次元ＤＣＴ係数）を用い
て得られる電力値で復元階層数を決定するようにしてい
たが、本発明はこれに限定されるものではなく、画像デ
ータ（画像の各画素の階調データ）に復元した後に復元
階層数を決定するようにすることも可能である。図１０
に示す第３の実施例は、そのような方法を用いた画像デ
ータ復元装置の例であるである。

【００８２】続いて、その第３実施例の構成及び動作を
説明する。画像復元部２０１’内では、送られてきた１
階層分の符号データを可変長復号部１３１で固定長デー
タ（量子化係数）に復号し、その復号された量子化係数
を逆量子化部１１３で２次元ＤＣＴ係数に戻す。この
後、さらにその１階層分の２次元ＤＣＴ係数に対して逆
ＤＣＴ変換部１３５で逆２次元ＤＣＴ変換を行い画像デ
ータ（階調データ）に復元する。この逆ＤＣＴ変換部１
３５から出力されるのは、１階層分の符号データから復
元される画像の階調値の変化分である。この復元された
１階層分の画像データ（画面の各画素の階調データ）
は、画像出力部３００内の画像再構成部３０１で前階層
までの符号データから復元された画像データ（現画面の
対応する各画素の階調データ）に加算され、その加算に
より得られた画像データを基に次階層の復元画像が、画
像表示部３０２に表示される。

【００８３】一方、前記逆ＤＣＴ変換部１３５で逆２次
元ＤＣＴ変換が行われ画像データ（画面の全画素の階調
データ）に復元された１階層分の符号データから復元さ
れた画像データ、すなわち新たに表示される階層の画像
の現在表示されている画像に対する階調値の変化分は、
画像出力部３００内の画像構成部３０１に出力されると
同時に、制御条件評価部３０３にも出力され、制御条件
評価部３０３により、次に表示する階層の画像の画質向
上への影響度が評価される。

【００８４】この評価の方法を、次に説明する。制御条
件評価部３０３は、画像復元部２０１の逆ＤＣＴ変換部
１３５から出力される前記１階層分の符号データを復元
することにより得られた、現在、画像表示部３０２に表
示されている画像に付加される画像データ（画像の各画
素に加算される階調データの総和）を、まず二乗平均値
算出部３０３Ａで処理する。

【００８５】この二乗平均値算出部３０３Ａは、画像復
元部２０１で新たに復元された画像データによる、現
在、画像表示部３０２に表示されている階層の画像に対
する、画像表示部３０２に次に表示される次階層の画像
の階調レベルの変化が、１画素あたり、どの程度になる
かを算出する。この二乗平均値算出部３０３Ａにより算
出される値は、上記復元した画像データが、現在、画像
表示部３０２に表示されている画像の画質向上にどの程
度寄与するかを評価する基準となる値であり、二重平均
値算出部３０３Ａは、この値を条件比較部３０３Ｂに出
力する。

【００８６】条件比較部３０３Ｂは、二乗平均値算出部
３０３Ａから出力される上記算出値に基づき、次階層の
復元表示を行うか、または新たに次の画像の表示に移る
かを判断し、その判断結果に応じて、符号要求指示部２
０４に対し、前記第１実施例の画像データ復元装置の条
件比較部２０３Ｂが符号要求指示部２０４に対して行っ
たのと同様な指示を行う。

【００８７】この第３実施例の条件比較部３０３も、前
記第１実施例の条件比較部２０４と同様に、最小階層数
格納部、復元階層数格納部、階層数比較部等を設けるこ
とにより、復元する画像の画質を所定画質までに制限
し、復元表示する階層数を画像に応じて変化させるよう
な構成にすることは容易である。

【００８８】尚、この第３実施例は、先の第１及び第２
実施例では実現することが困難である画像復元部２０
１′のＬＳＩによる１チップ化が容易に実現できるとい
う利点を有している。

【００８９】ところで、上記実施例では、画像データの
直交変換を、離散コサイン変換（ＤＣＴ）によって行っ
ているが、本発明は、これに限定されることなく、離散
サイン変換（ＤＳＴ）、離散ルジャンドル（Legendre)
変換、アダマール（Hadamard) 変換、ハール(Harr)変
換、カルーネン・レーベ変換、スラント変換等の他の直
交変換を用いて符号化された符号データの復元を行う画
像データ復元装置にも適用可能なものである。

【００９０】また、本発明は直交変換により符号化され
た符号データに限定されるものでもない。また、さら
に、次階層以降の階層復元を行うか否かを判断する値
も、電力値や二乗平均値に限定されるものではなく、そ
の他の画像データの特性に係わる他のデータを用いて、
上記判断を行うようにしても良い。

【００９１】

【発明の効果】以上説明したように、本発明では、階層
符号データを復元する際に、復元過程の所定段階で得ら
れるデータを基に、既に所定以上の画質で画像表示がな
されているか否かを判断し、既に所定以上の画質で画像
表示がなされていると判断した場合には、次階層以降の
階層符号データの復元を中止し、利用者の指示等に応じ
て、直ちに、次画像の第１階層の符号データの復元を開
始するので、利用者は、画像データベース等において、
所望する画像を従来よりも高速に検索することが可能に
なる。

【図面の簡単な説明】

【図１】本発明の原理ブロック図である。

【図２】本発明の実施例の画像データ復元装置の基本構
成を示す図である。

【図３】図２に示す実施例の動作を説明するフローチャ
ートである。

【図４】図２に示す実施例により行われる画像データの
復元処理の一例を示す図である。

【図５】本発明の第１実施例の画像データ復元装置の構
成を示すブロック図である。

【図６】制御条件評価部の一構成例を示す図である。

【図７】第１実施例の画像データ復元装置の動作の一例
を説明するフローチャートである。

【図８】第２実施例の画像データ復元装置の動作の一例
を説明するフローチャートである。

【図９】本発明の第２実施例の画像データ復元装置の構
成を示すブロック図である。

【図１０】本発明の第３実施例画像データ復元装置の構
成を示すブロック図である。

【図１１】ＡＤＣＴ方式による画像データの階層符号化
装置のブロック図である。

【図１２】原画像信号のあるブロックの各画素の階調値
を示す図である。

【図１３】２次元ＤＣＴ変換部により得られた各ブロッ
クの２次元ＤＣＴ係数の値を示す図である。

【図１４】２次元ＤＣＴ係数を量子化することにより得
られた任意の１ブロック内の量子化係数の値を示す図で
ある。

【図１５】量子化係数のジグザグスキャンの順序を説明
する図である。

【図１６】従来の画像復元装置の構成を説明するブロッ
ク図である。

【図１７】従来の画像復元部の構成を示すブロック図で
ある。

【図１８】従来の画像データ復元装置の動作を説明する
フローチャートである。

【図１９】従来の階層符号データの復元方法を説明する
図である。

【符号の説明】

１ 復元手段 ２ 判断手段 ３ 通知手段 ４ 検出手段

フロントページの続き (56)参考文献 特開 平１−240074（ＪＰ，Ａ) 特開 平５−167861（ＪＰ，Ａ) 特開 平４−307870（ＪＰ，Ａ) 特開 平４−292077（ＪＰ，Ａ) 特開 平５−199417（ＪＰ，Ａ) 特許2863348（ＪＰ，Ｂ２) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 1/41 - 1/419 G06T 9/00 H04N 7/30

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】 原画像が複数の階層に分けて符号化され
   た符号データを符号データ供給手段から供給を受けて、
   画像データを階層復元する画像復元装置において、 前記符号データ供給手段から供給される符号データを階
   層毎に所定段階のデータまで復元する復元手段（１）
   と、 該復元手段（１）により復元されたデータを基に、次階
   層以降の符号データも復元するか否かを判断する判断手
   段（２）と、 該判断手段（２）の判断結果に基づき、前記符号データ
   供給手段に前記復元手段（１）に対する次階層以降の符
   号データの供給の中止または継続を通知する通知手段
   （３）と、 を有することを特徴とする画像データ復元装置。
2. 【請求項２】 前記符号データは、原画像の画像データ
   に対して直交変換することにより得られた直交変換係数
   を量子化した符号データであり、 前記復元手段（１）は、前記符号データ供給手段から供
   給される前記符号データに対して逆量子化を行うことに
   より直交変換係数を復元し、 前記判断手段（２）は、前記復元手段（１）により復元
   された直交変換係数を基に次階層以降の復元を行うか否
   かを判断することを特徴とする請求項１記載の画像デー
   タ復元装置。
3. 【請求項３】 前記符号データは、原画像の画像データ
   に対して直交変換することにより得られた直交変換係数
   を量子化した符号データであり、 前記復元手段（１）は前記符号データ供給手段から供給
   される前記符号データに対して逆量子化を行って直交変
   換係数を復元し、さらにその直交変換係数を用いて逆直
   交変換を行って画像データを復元し、 前記判断手段（２）は、前記復元手段（１）により復元
   された画像データを基に次階層以降の符号データも復元
   するか否かを判断することを特徴とする請求項１記載の
   画像データ復元装置。
4. 【請求項４】 さらに、 予め設定された最小階層まで画像データの復元が終了し
   たか否かを検出する検出手段（４）を有し、 前記復元手段（１）は、前記検出手段（４）の検出結果
   に基づき、前記符号データを、最小限、前記最小階層ま
   で復元することを特徴とする請求項１、２または３記載
   の画像データ復元装置。