JP3922919B2 - 静止画像伸長装置及び静止画像伸長方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、静止画像伸長装置及び静止画像伸長方法に関し、より詳細には静止画像又は連続する静止画像からなる動画像を伸長する静止画像伸長装置及び静止画像伸長方法に関する。
【０００２】
【従来の技術】
近年、高精細画像の普及が著しい。これは、デジタルスチルカメラやスキャナ等の入力デバイス、インクジェットプリンタやディスプレイ等の出力デバイスにおける高精細化に拠るところが大きい。そして、こうした高精細静止画像を扱う画像圧縮伸長アルゴリズムとして、現在のところ、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）が最も広く使われている。空間領域の冗長度を除去するために、二次元離散コサイン変換を用いている。
【０００３】
この方式の基本機能は「静止画像を圧縮し伸長する」ことだけである。圧縮ファイルの状態で画像を操作したり、伸長する時に特定領域だけを見たりすることはできない。また、階層を持たない「フラットな構造」として画像を扱っている。従って、画像に新たな処理を加えるためには、符号データは必ず完全に復号化される必要がある。
【０００４】
【発明が解決しようとする課題】
上述の従来技術には、画像の画素数が増えるに従って、符号化された画像データを伸長して画像を表示する際の必要な所要時間が増大するといった解決すべき課題がある。この課題は、原画像の高精細化や大面積化が進むにつれて、無視できないレベルになりつつある。
【０００５】
図２７には、ＪＰＥＧで圧縮された非常に大きな静止画像を伸長する時に要する時間を、縮小率に対して表した図である。ここでいう縮小率とは、矩形原画像の縦又は横の画素数に対する、表示画像領域の縦又は横の画素数の比を意味している。この例では、原画像として、７４Ｍピクセルのカラー画像（ＲＧＢ：２４ビット）を用いた。縦軸の表示時間は、ＪＰＥＧ伸長動作を行うデバイス（ＭＰＵ／ＤＳＰ／ＡＳＩＣ／等）に依存するので注意する必要がある。
【０００６】
ここで特徴的なのは、ＪＰＥＧ圧縮画像を伸長するのに要する時間が、縮小率とは無関係に一定の値をとるということである。この理由は、上述のごとくＪＰＥＧ方式で符号化されたデータは、縮小率に関わり無く、必ず完全に復号化されるからである。
【０００７】
通常、こうした大きい画像の全画素をディスプレイに表示することは、表示デバイスの表示可能画素数に制約があるので難しい。実際には、画面上に縮小して表示することにより対処している。しかし、従来のＪＰＥＧアルゴリズムでは、縮小画像を表示させる場合においても、原画像全てを伸長し全画素値を求め、そこから間引き処理を行ってディスプレイ上に表示していた。原画像の全画素値を求めるために要する伸長処理時間は、画像のピクセル数に比例して増大する。ＭＰＵの性能やメモリの容量にも依るが、この例では、画像が表示されるまでに、数分から数十分の時間を要している。このことは、大規模・高精細画像の扱いを、非常に難しいものとしている。
【０００８】
本発明は、上述のごとき実状に鑑みてなされたものであり、符号データの縮小表示に費やされる伸長時間を短縮することが可能な、すなわち、静止画像として或いは連続した静止画像からなる動画像として符号化された大規模・高精細画像を、表示デバイス上の指定された表示領域に高速で表示することが可能な、静止画像伸長装置及び静止画像伸長方法を提供することをその目的とする。
【０００９】
【課題を解決するための手段】
請求項１の発明は、符号列を入力する符号列入力手段と、該符号列入力手段で入力した符号列のウェーブレット係数値を格納するウェーブレット係数値格納手段と、該ウェーブレット係数値格納手段で格納したウェーブレット係数を復号化する係数復号化手段と、該係数復号化手段で復号化された後のウェーブレット係数値を逆量子化する係数値逆量子化手段と、該係数値逆量子化手段で逆量子化した係数値を画素値に変換する逆ウェーブレット変換手段と、該逆ウェーブレット変換手段で画素値に変換し伸長した後の画素値を格納する画素値格納手段と、該画素値格納手段で格納した伸長画像を表示デバイスに出力する伸長画像出力手段とを有する静止画像伸長装置において、特定のＬＬサブバンドまでの伸長動作を行う伸長処理制限手段を有し、該伸長処理制限手段は、コンポーネントがＲ（赤）Ｇ（緑）Ｂ（青）、Ｙ（輝度）Ｕ（青の色差）Ｖ（赤の色差）、Ｙ（輝度）Ｃｂ（青の色差）Ｃｒ（赤の色差）のいずれかで構成されている色空間において、伸長するコンポーネントを指定するコンポーネント指定手段を有することを特徴としたものである。
【００１０】
請求項２の発明は、請求項１の発明において、前記伸長処理制限手段は、特定ＬＬサブバンドまでの伸長動作を行う途中で生成したＬＬサブバンドの画素値を記憶する手段を有することを特徴としたものである。
【００１１】
請求項３の発明は、請求項１又は２の発明において、前記伸長処理制限手段は、前記表示デバイス上で表示領域の縦方向と横方向の長さを画素数単位で指定し、指定された表示領域で表示可能なデコンポジションレベルを計算する表示領域指定手段、及び／又は、前記表示デバイス上で表示する画像のデコンポジションレベルを指定するデコンポジション指定手段を有することを特徴としたものである。
【００１３】
請求項４の発明は、請求項１乃至３のいずれか１の発明において、前記伸長処理制限手段は、未伸長フレーム数を指定する手段と未伸長フレームの符号データを記憶する手段とを有することを特徴としたものである。
【００１４】
請求項５の発明は、請求項１乃至３のいずれか１の発明において、前記伸長処理制限手段は、既伸長フレーム数を指定する手段と既伸長フレームの符号データを記憶する手段とを有することを特徴としたものである。
請求項６の発明は、符号列を入力する符号列入力ステップと、該入力した符号列のウェーブレット係数値を格納するウェーブレット係数値格納ステップと、該格納したウェーブレット係数を復号化する係数復号化ステップと、該復号化された後のウェーブレット係数値を逆量子化する係数値逆量子化ステップと、該逆量子化した係数値を画素値に変換する逆ウェーブレット変換ステップと、該逆ウェーブレット変換ステップで画素値に変換し伸長した後の画素値を格納する画素値格納ステップと、該画素値格納ステップで格納した伸長画像を表示デバイスに出力する伸長画像出力ステップとを含む静止画像伸長方法において、特定のＬＬサブバンドまでの伸長動作を行う伸長処理制限ステップを含み、該伸長処理制限ステップは、コンポーネントがＲ（赤）Ｇ（緑）Ｂ（青）、Ｙ（輝度）Ｕ（青の色差）Ｖ（赤の色差）、Ｙ（輝度）Ｃｂ（青の色差）Ｃｒ（赤の色差）のいずれかで構成されている色空間において、伸長するコンポーネントを指定するコンポーネント指定ステップを含むことを特徴としたものである。
請求項７の発明は、請求項６の発明において、前記伸長処理制限ステップは、特定ＬＬサブバンドまでの伸長動作を行う途中で生成したＬＬサブバンドの画素値を記憶するステップを含むことを特徴としたものである。
請求項８の発明は、請求項６又は７の発明において、前記伸長処理制限ステップは、前記表示デバイス上で表示領域の縦方向と横方向の長さを画素数単位で指定し、指定された表示領域で表示可能なデコンポジションレベルを計算する表示領域指定ステップ、及び／又は、前記表示デバイス上で表示する画像のデコンポジションレベルを指定するデコンポジション指定ステップを含むことを特徴としたものである。
請求項９の発明は、請求項６乃至８のいずれか１の発明において、前記伸長処理制限ステップは、未伸長フレーム数を指定するステップと未伸長フレームの符号データを記憶するステップとを含むことを特徴としたものである。
請求項１０の発明は、請求項６乃至８のいずれか１の発明において、前記伸長処理制限ステップは、既伸長フレーム数を指定するステップと既伸長フレームの符号データを記憶するステップとを含むことを特徴としたものである。
【００１５】
【発明の実施の形態】
まず、本発明の重要な部分を構成する「階層符号化アルゴリズム」及び「ＪＰＥＧ２０００アルゴリズム」について簡単に説明する。
図１は、ＪＰＥＧ２０００の基本となる階層符号化アルゴリズムを説明するための図である。この階層符号化アルゴリズムは、２次元ウェーブレット変換・逆変換部２、量子化・逆量子化部３、エントロピー符号化・復号化部４、タグ処理部５で構成されている。ＪＰＥＧアルゴリズムと比較して、最も大きく異なる点の一つは変換方法である。ＪＰＥＧでは離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を、階層符号化圧縮伸長アルゴリズムでは離散ウェーブレット変換（ＤＷＴ：Ｄｉｓｃｒｅｔｅ ＷａｖｅｌｅｔＴｒａｎｓｆｏｒｍ）を、各々用いている。ＤＷＴはＤＣＴに比べて、高圧縮領域における画質が良いという長所が、ＪＰＥＧの後継アルゴリズムであるＪＰＥＧ２０００で採用された大きな理由の一つとなっている。また、他の大きな相違点は、後者では、最終段に符号形成をおこなうために、タグ処理部５と呼ばれる機能ブロックが追加されていることである。この部分で、圧縮動作時には圧縮データがコードストリームとして生成され、伸長動作時には伸長に必要なコードストリームの解釈が行われる。そして、コードストリームによって、ＪＰＥＧ２０００は様々な便利な機能を実現できるようになった。
【００１６】
例えば、図２はデコンポジションレベル数が３の場合の、各デコンポジションレベルにおけるサブバンドを示す図であるが、図２に示したブロックベースでのＤＷＴにおけるオクターブ分割の階層に対応した任意の階層で、静止画像の圧縮伸長処理を停止させることができる。なお、ここでの「デコンポジション」に関し、ＪＰＥＧ２０００ ＰａｒｔＩ ＦＤＩＳ（Final Draft international Standard）には、以下のように定義されている。
decomposition level：
A collection of wavelet subbands where each coefficient has the same spatial impact or span with respect to the source component samples. These include the HL,LH,and HH subbands of the same two dimensional subband decomposition. For the last decomposition level the LL subband is also included.
【００１７】
なお、図１において、原画像の入出力部分には、色空間変換部１が接続されることが多い。例えば、原色系のＲ（赤）／Ｇ（緑）／Ｂ（青）の各コンポーネントからなるＲＧＢ表色系や、補色系のＹ（黄）／Ｍ（マゼンタ）／Ｃ（シアン）の各コンポーネントからなるＹＭＣ表色系から、ＹＵＶ或いはＹＣｂＣｒ表色系への変換又は逆の変換を行う部分がこれに相当する。
【００１８】
以下、ＪＰＥＧ２０００アルゴリズムについて、詳細に説明する。
図３は、タイル分割されたカラー画像の各コンポーネントの例を示す図である。カラー画像は、一般に図３に示すように、原画像の各コンポーネント７_Ｒ，７_Ｇ，７_Ｂ（ここではＲＧＢ原色系）が、矩形をした領域（タイル）７_Ｒｔ，７_Ｇｔ，７_Ｂｔによって分割される。そして、個々のタイル、例えば、Ｒ００，Ｒ０１，．．．，Ｒ１５／Ｇ００，Ｇ０１，．．．，Ｇ１５／Ｂ００，Ｂ０１，．．．，Ｂ１５が、圧縮伸長プロセスを実行する際の基本単位となる。従って、圧縮伸長動作は、コンポーネント毎、そしてタイル毎に、独立に行なわれる。
【００１９】
符号化時には、各コンポーネントの各タイルのデータが、図１の色空間変換部１に入力され、色空間変換を施されたのち、２次元ウェーブレット変換部２で２次元ウェーブレット変換（順変換）が適用されて周波数帯に空間分割される。
【００２０】
図２には、デコンポジションレベル数が３の場合の、各デコンポジションレベルにおけるサブバンドを示している。すなわち、原画像のタイル分割によって得られたタイル原画像（０ＬＬ）（デコンポジションレベル０（６_０））に対して、２次元ウェーブレット変換を施し、デコンポジションレベル１（６_１）に示すサブバンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）を分離する。そして引き続き、この階層における低周波成分１ＬＬに対して、２次元ウェーブレット変換を施し、デコンポジションレベル２（６_２）に示すサブバンド（２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨ）を分離する。順次同様に、低周波成分２ＬＬに対しても、２次元可逆ウェーブレット変換を施し、デコンポジションレベル３（６_３）に示すサブバンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）を分離する。
【００２１】
更に図２では、各デコンポジションレベルにおいて符号化の対象となるサブバンドを、グレーで表してある。例えば、デコンポジションレベル数を３とした時、グレーで示したサブバンド（３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨ）が符号化対象となり、３ＬＬサブバンドは符号化されない。
【００２２】
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図１の量子化部３で対象ビット周辺のビットからコンテキストが生成される。
図４は、プレシンクトとコードブロックの関係を説明するための図である。量子化の処理が終わったウェーブレット係数は、個々のサブバンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図４に示したように、一つのプレシンクト、例えばプレシンクト８_ｐ４は、空間的に一致した３つの矩形領域からなっている。プレシンクト８_ｐ６も同様である。なお、ここで原画像８はデコンポジションレベル１でタイル８_ｔ０，８_ｔ１，８_ｔ２，８_ｔ３の４つのタイルに分割されている。更に、個々のプレシンクトは、重複しない矩形の「コードブロック」（プレシンクト８_ｐ４に対してはコードブロック８_４ｂ０，８_４ｂ１，．．．）に分けられる。これは、エントロピーコーディングを行う際の基本単位となる。符号化効率を上げるために、係数値をビットプレーン単位に分解し、画素或いはコードブロック毎にビットプレーンに順序付けを行い、１又は複数のビットプレーンからなる層（レイヤ）を構成することもある。すなわち係数値のビットプレーンから、その有意性に基づいた層（レイヤ）を構成し、そのレイヤごとに符号化を行う。最も有意なレイヤである最上位レイヤ（ＭＳＢ）とその下位レイヤを数レイヤだけ符号化し、最も有意でないレイヤ（ＭＬＢ）を含んだそれ以外のレイヤをトランケートすることもある。
【００２３】
エントロピー符号化部４では、コンテキストと対象ビットから確率推定によって、各コンポーネントのタイルに対する符号化を行う。こうして、原画像の全てのコンポーネントについて、タイル単位で符号化処理が行われる。
【００２４】
最後にタグ処理部５は、エントロピーコーダ部からの全符号化データを１本のコードストリームに結合するとともに、それにタグを付加する処理を行う。図５には、コードストリームの構造を簡単に示している。コードストリームの先頭と各タイルを構成する部分タイルの先頭にはヘッダ（それぞれ、メインヘッダ９_ｈ及びタイル部ヘッダ９_ｔｈ）と呼ばれるタグ情報が付加され、その後に、各タイルの符号化データ（ビットストリーム９_ｂ）が続く。そして、コードストリームの終端には、再びタグ（ＥＯＣタグ９_ｅ）が置かれる。
【００２５】
一方、復号化時には、符号化時とは逆に、各コンポーネントの各タイルのコードストリームから画像データを生成する。図１を用いて簡単に説明する。この場合、タグ処理部５は、外部より入力したコードストリームに付加されたタグ情報を解釈し、コードストリームを各コンポーネントの各タイルのコードストリームに分解し、その各コンポーネントの各タイルのコードストリーム毎に復号化処理が行われる。コードストリーム内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、逆量子化部３で、その対象ビット位置の周辺ビット（既に復号化を終えている）の並びからコンテキストが生成される。エントロピー復号化部４で、このコンテキストとコードストリームから確率推定によって復号化を行い対象ビットを生成し、それを対象ビットの位置に書き込む。
【００２６】
このようにして復号化されたデータは各周波数帯域毎に空間分割されているため、これを２次元ウェーブレット逆変換部２で２次元ウェーブレット逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間逆変換部１によって元の表色系のデータに変換される。
【００２７】
以下、本発明の実施の形態を示す。
図６は、本発明による静止画像伸長装置の構成を説明するための図で、図中、１０は静止画像伸長装置（画像伸長装置と略す）である。
大規模・高精細静止画像或いは動画像を高速に縮小表示することが可能なよう、すなわち静止画像として或いは連続した静止画像からなる動画像（複数の静止画像で連続するフレームを構成する動画像）として符号化された大規模・高精細画像を、表示デバイス上の指定された表示領域に高速で表示することが可能なよう、本発明においては、階層化ウェーブレット変換係数のうち低周波ＬＬサブバンドの値だけを用いて画像を伸長することを特徴としている。
【００２８】
本発明による画像伸長装置１０は、符号列入力手段１１，ウェーブレット係数値格納手段１２，係数復号化手段１３，係数値逆量子化手段１４，逆ウェーブレット変換手段１５，画素値格納手段１６，伸長画像出力手段１７に加え、伸長処理制限手段１８を備えるものとする。符号列入力手段１１では、符号データである符号列を入力する。ウェーブレット係数値格納手段１２では、符号列入力手段１１で入力した符号列のウェーブレット係数値を格納する。係数復号化手段１３では、ウェーブレット係数値格納手段１２で格納したウェーブレット係数を復号化する。係数値逆量子化手段１４では、係数復号化手段１３で復号化された後のウェーブレット係数値を逆量子化する。逆ウェーブレット変換手段１５では、係数値逆量子化手段１４で逆量子化した係数値を画素値に変換する。画素値格納手段１６では、逆ウェーブレット変換手段１５で画素値に変換し伸長した後の画素値を格納する。伸長画像出力手段１７では、画素値格納手段１６で格納した伸長画像を表示デバイスに出力する。伸長処理制限手段１８は、上述の各手段１１〜１７を制御し、特定のＬＬサブバンドまでの伸長動作を行うようにする手段である。本発明は、ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ ＦＣＤ １５４４４−１）で規定される方式により符号化されたコードストリームに適用することが可能である。
【００２９】
本発明によれば、階層化ウェーブレット変換係数のうち、階層レベルの深いＬＬサブバンド係数値だけを利用することにより、全ての階層を伸長した場合に比べて伸長動作に要する時間を大幅に削減することが可能となる。すなわち、原画像と画像表示領域との大きさの比が大きい程、従来の圧縮画像（例えばＪＰＥＧ圧縮画像）を伸長するのに要していた時間との差が、格段に大きくなる。特に大規模・高精細な静止画像を扱う衛星写真／航空写真／医療画像／学術研究写真／文化財写真／等の分野で、この高速表示の長所が大いに生かされると考えられる。また、Ｍｏｔｉｏｎ静止画像の表示においては、コマ落ちのないスムースな動きを再現することができる。また、サムネイル動画を見ながら短時間でコンテンツを検索することもできるようになる。また、伸長される符号列をＪＰＥＧ２０００形式にしておく、ファイルの互換性等煩わしいことを気にすることなく、高精細な静止画像をストレスを感じることなく短時間で確認したり、或いは、滑らかな動きの動画像を楽しむことができるようになる。
【００３０】
伸長処理制限手段１８としては、特定ＬＬサブバンドまでの伸長動作を行う途中で生成したＬＬサブバンドの画素値を記憶する手段を備えるよう構成し、複数のＬＬサブバンドまでの伸長動作を可能とすることが好ましい。伸長動作を行う過程で生成した指定階層よりも更に深い階層のＬＬサブバンドの画素値を記憶しておくので、異なったサイズの複数の画像を同時に表示させることができる。
【００３１】
図７は、本発明による静止画像伸長装置の他の構成を説明するための図で、図中、１０′は静止画像伸長装置（画像伸長装置と略す）である。
ここで示す構成例の画像伸長装置１０′においては、伸長処理制限手段１８に、表示領域指定手段１８ａ及び／又はデコンポジション指定手段１８ｂを備えるよう構成している。表示領域指定手段１８ａでは、表示デバイス上で表示領域の縦方向と横方向の長さを画素数単位で指定し、指定された表示領域で表示可能なデコンポジションレベルを計算する。デコンポジション指定手段１８ｂでは、表示デバイス上で表示する画像のデコンポジションレベルを指定する。この伸長処理制限手段１８によれば、特定サブバンドを指定することなく、表示領域のみを指定するだけで、自動的にどのデコンポジションレベルまで伸長動作を行うかを計算してくれるので、使い勝手はかなり改善される。
【００３２】
本発明の他の実施形態として、伸長処理制限手段１８には、伸長画像の画素値を補間或いは間引する変倍処理の有無を指定する手段と、その変倍処理を行う変倍手段とを有するようにしてもよい。変倍処理を無しと指定した場合には、縮小率は１／２のべき乗に、同じく変倍処理を有りと指定した場合には、縮小率は任意に選ぶことができるようにしてもよい。縮小率が１／２のべき乗の時には、更に次の３種類の表示方法を選択することができる。すなわち、（１）特定ＬＬサブバンドが表示デバイス上に指定された表示領域に最も近いＬＬサブバンドであるような表示方法、（２）特定ＬＬサブバンドが表示デバイス上に指定された表示領域より大きい直近のＬＬサブバンドであるような表示方法、（３）特定サブバンドが表示デバイス上に指定された表示領域より小さい直近のＬＬサブバンドであるような表示方法から選択すればよい。これらの伸長処理制限手段１８によれば、表示デバイス上に指定された表示画像領域に近い「１／２のべき乗の縮小率」で縮小表示することができる。また、変倍処理を行うことを選択すれば、表示領域にちょうど収まる大きさで画像を縮小表示することができる。
【００３３】
本発明の他の実施形態として、伸長処理制限手段１８には、伸長領域、伸長コンポーネント、伸長動作順序のいずれかを指定する手段を有するようにしてもよい。伸長領域の指定に関し、タイル或いはプレシンクト単位で伸長領域を指定するようにしてもよい。コンポーネントの指定に関し、コンポーネントがＲ（赤）Ｇ（緑）Ｂ（青）、Ｙ（輝度）Ｕ（青の色差）Ｖ（赤の色差）、Ｙ（輝度）Ｃｂ（青の色差）Ｃｒ（赤の色差）のいずれかで構成されている色空間において、伸長するコンポーネントを指定するようにしてもよい。領域やコンポーネントを指定することにより、画像伸長装置１０（１０′）の伸長動作は必要最小限に抑えられるので、更なる高速表示が可能となる。また、伸長動作順序の指定に関し、伸長動作が最大デコンポジションレベル或いは最小レイヤから始まるよう伸長動作の順序を指定してもよいし、伸長動作が優先順位を高く指定した領域から始まるよう順序を指定してもよい。伸長装置１０（１０′）の動作順序を指定することにより、画像の表示過程を変えることができる。これらの伸長処理制限手段１８によれば、伸長する領域やコンポーネント、そして伸長する順序を指定することにより、表示速度を更に速くするとともに、真っ先に見たい領域を優先させて表示させることができるようになる。この特長を生かして、画像コンテンツ検索の能率と精度を、より一層高めることができる。
【００３４】
また、本発明の他の実施形態として、伸長処理制限手段１８は、画像伸長装置１０（１０′）を構成する入力Ｉ／Ｏ、或いはウェーブレット係数値格納メモリが、指定したレベルよりも浅い階層レベルのウェーブレット係数値が画像伸長装置内の復号器以降のブロックに入らないよう制限する手段として構成してもよい。すなわち、伸長処理制限手段１８において、符号列入力手段１１が、特定ＬＬサブバンドまでの入力動作を行うように制御するか、係数値格納手段１２が、特定ＬＬサブバンドまでのウェーブレット係数値の格納動作を行うように制御するようにしてもよい。これらの伸長処理制限手段１８によれば、伸長装置１０（１０′）に入るコードストリーム量を減らすことができるので、伸長装置内のメモリを有効に使うことができる。また、復号器／逆量子化器／逆ウェーブレット変換器も、必要最小限の動作のみを行うので、スループットが上がるのはもちろん、デバイスの消費電力を抑制することにもつながる。このことは、携帯機器において重要である。
【００３５】
また、本発明の他の実施形態として、縮小表示の更なる高速化或いは更なる高機能化を行うために、伸長処理制限手段１８として、伸長動作を並列化する手段や未伸長フレーム或いは既伸長フレームの符号データを記憶する手段を備えるようにしてもよい。前者の伸長処理制限手段１８は、表示速度の向上をハードウエア側から支援するものである。すなわち、伸長動作をタイル毎、コンポーネント毎、或いはフレーム毎に並列化することにより、更なる高速化を実現することができる。後者の伸長処理制限手段１８は、未伸長フレーム数を指定する手段と未伸長フレームの符号データを記憶する手段からなるか、既伸長フレーム数を指定する手段と既伸長フレームの符号データを記憶する手段とからなるものとする。これらの伸長処理制限手段１８によれば、高速表示に更なる機能を追加することができる。動画像を停止させて静止画像に、更に静止画像の縮小率を落として特定領域の詳細表示に変えることができる。また、既に表示させた画像を過去にさかのぼって再度表示させることもできる。
【００３６】
上述した各実施形態の画像伸長装置を組み合わせれば、大量の静止画像或いは動画像のコンテンツを、短時間に詳細かつ正確に検索することができる。情報量が爆発的に増えつつある現代において、本発明の持つ効果は非常に大きいと考えられる。
【００３７】
以上、本発明の静止画像伸長装置の各実施形態を説明してきたが、本発明は、符号列を入力するステップ、ウェーブレット係数値を格納するステップ、ウェーブレット係数を復号化するステップ、復号化後のウェーブレット係数値を逆量子化するステップ、係数値を画素値に変換する逆ウェーブレット変換ステップ、伸長後の画素値を格納するステップ、伸長画像を表示デバイスに出力するステップと、これらの各伸長ステップを特定ＬＬサブバンドまでの伸長動作を行うよう制御する制御ステップとを含む静止画像伸長方法としての形態も採りうる。さらに、コンピュータを静止画像伸長装置（又は該装置の各手段）として機能させるための、或いはコンピュータに静止画像伸長方法の処理手順を実行させるためのプログラムとしても、或いは、そのプログラムを記録したコンピュータ読み取り可能な記録媒体としての形態も可能である。
【００３８】
本発明による静止画像伸長の機能を実現するためのプログラムやデータを記憶した記録媒体の実施形態を説明する。記録媒体としては、具体的には、ＣＤ−ＲＯＭ、光磁気ディスク、ＤＶＤ−ＲＯＭ、ＦＤ、フラッシュメモリ、メモリスティック、及びその他各種ＲＯＭやＲＡＭ等が想定でき、これら記録媒体に上述した本発明の各実施形態における機能をコンピュータに実行させ、静止画像伸長の機能を実現するためのプログラムを記録して流通させることにより、当機能の実現を容易にする。そしてコンピュータ等の情報処理装置に上記のごとくの記録媒体を装着して情報処理装置によりプログラムを読み出すか、若しくは情報処理装置が備えている記録媒体に当プログラムを記憶させておき、必要に応じて読み出すことにより、本発明に係わる静止画像伸長の機能を実行することができる。
【００３９】
以下、本発明に係る静止画像伸長装置の適用例を説明する。
図８は、本発明の一実施形態に係る静止画像伸長装置の構成例を説明するためのブロック図で、図中、２０は静止画像伸長装置を示す。図８に示した実施例は、静止画像を「１／２のべき乗の縮小率」で高速に縮小表示することを目的とした、画像伸長装置である。ここでは、伸長色空間はＲＧＢであり、伸長処理動作は、ＲＧＢ各コンポーネント毎並列に進められるものを例示する。画像伸長装置２０で処理する符号列は、データ蓄積装置４２の蓄積手段４１に蓄積された符号データをネットワーク４０を介して取得することにより得られ、また、画像伸長装置２０におけるデータ及び制御データはそれぞれデータバス及びコントロールバスを介して伝送される。画像伸長装置２０は、符号列を受け取るためのＩ／Ｏポート２１、コードをＩ／Ｏポート２１から入力させるための入力手段としてのコードＩ／Ｏ２２、及び伸長した画像を出力する出力手段としてのイメージＩ／Ｏ２８を備え、さらに、コンポーネント（ここではＲＧＢで例示）毎に、ＤＷＴ係数値ａ（ｕ，ｖ）を格納するウェーブレット係数格納手段としてのメモリ２３_１，２３_２，２３_３、復号化手段としての復号器２４_１，２４_２，２４_３、逆量子化手段としての逆量子化器２５_１，２５_２，２５_３、逆ウェーブレット変換手段としての逆ＤＷＴ２６_１，２６_２，２６_３、画素値Ｉ（ｘ、ｙ）を格納する画素値格納手段としてのメモリ２７_１，２７_２，２７_３、を備えるものとする。
【００４０】
コードＩ／Ｏ２２では、符号化された静止画像であるコードストリームを入力し、そのタグ処理を行った後、復号前のウェーブレット係数値はメモリ２３に格納される。続いて、このウェーブレット係数値の復号化処理と逆量子化処理そして逆ウェーブレット変換が、各々、復号器２４及び逆量子化器２５、そして逆ウェーブレット変換器２６で順次行われる。一連の処理により得られた伸長画像の画素値は、バッファメモリ２７に格納され、最後にイメージＩ／Ｏ２８で色変換処理を施され、表示画像データとして、低周波ＬＬサブバンドの係数値から伸長して得られた画素値が、表示デバイス４３に出力される。一方、最適なデコンポジションレベルは、表示領域指定手段３３により表示デバイス４３上に指定された表示領域と原画像サイズの比から求められる縮小率に基づいて、デコンポジションレベル指定手段３２により決められる。このようにして、縮小した動画を高速で表示することができる。なお、上述したように表示領域指定手段３３を設けず、デコンポジションレベル指定手段３２でレベルを指定するようにしてもよい。
【００４１】
図９は、本発明に係る静止画像伸長装置を用いて、特定ＬＬサブバンドまでの伸長動作を行った時の、表示までに要した時間を示す図である。
図９には、図８を参照して説明した静止画像伸長装置を用いて、特定ＬＬサブバンドまでの伸長動作を行った時の、表示までに要した時間を示している。なお、この例における符号データは、ＪＰＥＧ２０００方式によりエンコードされたコードストリームである。階層の深いサブバンドほど、言い換えると、縮小率が大きい領域ほど、ＪＰＥＧ方式に対する本発明の優位性が大きくなる。この傾向は、原画像が大規模・高精細になるに従い、ますます顕著に表れる。縮小率が１０以上になると、本発明を使うと、従来のＪＰＥＧ方式で圧縮したデータを伸長する場合に比較して、約１桁速く静止画像の縮小表示ができることがわかる。
【００４２】
図１０は、本発明に係る静止画像伸長装置において、原画像を指定した表示領域内に高速で縮小表示させる場合の具体例を示す図である。
図１０には、原画像５１のサイズが３２００ピクセル（横）×２４００ピクセル（縦）、表示デバイス４３の表示領域５３が１６０ピクセル（横）×１２０ピクセル（縦）の場合について、具体的例を示している。この表示領域５３の大きさは、図９中に矢印で示したように、縮小率が１／１６と１／３２の間にある。特定ＬＬサブバンドの選び方としては３通りある。すなわち、表示領域５３より大きい直近のＬＬサブバンドであれば図１０の上段、表示領域５３より小さい直近のＬＬサブバンドであれば図１０の下段、更に、表示領域５３に最も近いＬＬサブバンドであれば図１０の上段、に各々示す結果となる。なお、図１０中、５２，５２′は各々上段，下段におけるＬＬサブバンド選択による伸長画像を示す。
【００４３】
図１１は、本発明に係る静止画像伸長装置において、原画像を指定した表示領域内に高速で縮小表示させる場合の、特定ＬＬサブバンドの決め方を説明するための図である。
図１１の具体例では、横と縦の画素数が２０４８ピクセル×１５３６ピクセルの原画像６１を、３２０（横）ピクセル×２４０ピクセル（縦）の表示領域６３に縮小表示する場合を示している。階層数計算表６２に基づき、表示領域６３の画素数に一番近い画素数をもつデコンポジションレベル（レベル３）、表示領域６３の画素数以下で一番近い画素数をもつデコンポジションレベル（レベル２）、表示領域６３の画素数以上で一番近い画素数をもつデコンポジションレベル（レベル３）をそれぞれ算出している。
【００４４】
図１２は、本発明に係る静止画像伸長装置において、特定のＬＬサブバンドまでの伸長動作しか行わないように、伸長装置を構成する機能モジュール制御の仕組を示す図である。基本的な原理を説明すると、ＣＰＵ２９′は、符号データ入力部のコードＩ／Ｏ２２とウェーブレット係数値を格納するメモリ２３に対して、指定されたデコンポジションレベルまでの伸長必要な符号データのみを入力或いは格納させ、指定されたデコンポジションレベルに達したら、以降の不要な符号データの入力或いは格納動作を停止させる、というものである。このように、伸長する最小階層数を制限することにより、大規模・高精細静止画像を高速に表示させることができる。
【００４５】
図１３は、連続する静止画像のそれぞれをフレームとする動画像を、高速表示させる例を示す図である。
図１３に示す動画像の０ＬＬは、原画像そのものである。この例では、階層型ウェーブレット変換による特定ＬＬサブバンドを低周波側の２ＬＬにすることにより、短時間のうちに伸長動作が終了するので、縮小率１／４の動画サムネイル画像を、伸長動作を行うデバイスであるＭＰＵやＤＳＰ或いは専用ＬＳＩに負荷をかけることなく、コマ落ちの無いスムースな画質で見ることができる。更にまた、特定ＬＬサブバンドである２ＬＬまでの伸長動作を行う途中で生成した３ＬＬサブバンドの画素値を別に記憶しておけば、同一ディスプレイ４３上で同時に、縮小率１／４と１／８の複数の動画サムネイル画像を見ることも可能である。場合によっては、普段は縮小率１／４の大きな画像は隠しておき、縮小率１／８の小さな画像を常に表示させて、必要がある場合にのみ縮小率１／４の画像を表示させる使い方も考えられる。このように、縮小率が大きい程、伸長に必要なコードストリーム量が急激に小さくなるので、大規模・高精細な画像を高速にデコードし表示することができる。
【００４６】
図１４は、本発明の一実施形態に係る静止画像伸長装置の他の構成例を説明するためのブロック図で、図中、２０′は静止画像伸長装置を示す。図１４に示した実施例は、図８の実施例と異なり、静止画像を「１／２のべき乗の縮小率」以外で高速に縮小表示することを目的とした、画像伸長装置である。図８と異なるのは、新たに変倍有無指定手段３４と変倍手段３５という、二つの機能モジュールが追加された点である。変倍については、拡大処理するのは、指定されたデコンポジションレベルから導かれた「１／２のべき乗の縮小率」の表示領域が、指定された表示領域よりも小さい場合、一方、縮小処理するのは、指定されたデコンポジションレベルから導かれた「１／２のべき乗の縮小率」の表示領域が、指定された表示領域よりも大きい場合である。拡大或いは縮小処理は、従来から広く知られている補間法或いは間引き法を使うことができる。
【００４７】
既に示した図１１の例に、変倍処理を適用してみると、特定ＬＬサブバンドとして３ＬＬの場合、表示サイズは指定された表示画像領域よりも小さいので補間法を、２ＬＬの場合は間引き法を、各々変倍処理に使うことになる。
【００４８】
図１５は、本発明に係る静止画像伸長装置で、伸長領域を画像中心部に限定して表示させた時の様子を説明するための図、図１６は、図１５のコードストリームを示す図である。
図１５には、あらかじめ伸長する領域を指定することにより、伸長動作時間を短縮した例の一つとして、特定領域表示用画像データを表示させる例として画像の中心領域だけを伸長し表示させる例を示している。１６個のタイル領域に分割された原画像のＲ，Ｇ，Ｂ成分データ７０_Ｒ，７０_Ｇ，７０_Ｂのそれぞれに対し、原画像の中心部分に該当する伸長領域７０_Ｒｄ，７０_Ｇｄ，７０_Ｂｄ（タイル番号０５，０６，０９，１０）のみを伸長して伸長画像７１を生成する。したがって、ここでは、元のコードストリーム７０′において、これら４つのタイル以外（非伸長領域）の符号、すなわち符号７０′_Ｒｄ，７０′_Ｇｄ，７０′_Ｂｄ以外の符号を伸長しなければよい。具体的には、コードストリーム７０′の先頭にあるヘッダ７０′ｓに記述されている情報を読み取り、優先的に伸長を行うタイルに相当する符合部分にアクセスし、順次、タイル単位で伸長を進めていく。このように、原画像から伸長させる領域を限定し、表示に要する時間を短縮することができる。通常、画像の中心付近に重要な情報が含まれている場合が多いので、この方法は有効である。
【００４９】
図１７は、本発明に係る静止画像伸長装置で、伸長コンポーネントを輝度成分に限定して表示させた時の様子を説明するための図、図１８は、図１７のコードストリームを示す図である。
図１７には、グレイスケール表示用画像データを表示させる例としてカラー原画像をグレイスケールで伸長し表示させる例を示している。符号列のコンポーネント数を、三つから一つに減らせばよい。すなわち、最初のＹ，Ｕ，Ｖ成分７３_Ｙ，７３_Ｕ，７３_Ｖから、輝度成分７３_Ｙのみを伸長する処理を行わせる。図１８を参照すると、コードストリーム７３′（ＳＯＣ７３′_Ｓ，７３′_Ｙ，７３′_Ｕ，７３′_Ｖ，ＥＯＣの順）のうち、ＵＶ成分に相当する符号以外を伸長する。カラー原画像のＹＵＶ成分のうち、Ｙ成分のみを縮小表示の際に伸長するので、表示される画像はカラーからグレーになる。そして、表示速度はカラー表示させていた時に比べて向上する。コードストリーム中の輝度成分に対応する符号へのアクセスは、ヘッダ情報に基づいて行われる。
【００５０】
図１９は、本発明に係る静止画像伸長装置で、動作順序を階層順にして表示させた時に画像の現れる様子を示す図である。
図１９には、符号列の符号の並び順を「階層順」にして表示させた時の伸長過程を示している。デコンポジションレベル数の大きいウェーブレット係数値から順次復号されていくので、初めのうちはぼやけていた画像が、次第にくっきりと浮かび上がってくるように見え、最終的に画像７５が表示されることとなる。他の並べ方としては、「レイヤ順」が挙げられる。
【００５１】
図２０は、本発明に係る静止画像伸長装置で、タイルの表示順序を並べ替えた時の様子を説明するための図である。
図２０に示す例では、符号列の各タイル領域に相当する符号部の表示順序を、「ラスタ順」から「渦巻き順」にしている。コードストリーム７６′のヘッダ７６′_Ｓ内部に書かれている、タイルをデコードする順番を、ラスタ順（タイル番号０１，０２，０３，．．．１４，１５の順）から渦巻き順（タイル番号０５，０６，１０，０９，０８，０４，００，０１，０２，０３，０７，１１，１５，１４，１３，１２の順）に置き換えるだけでも良いが、表示速度を落とさないようにするためには、更に、コードストリーム本体の各タイルに相当する符号を入れ替えることが望ましい。ここでは、コードストリーム７６′（ＳＯＣ７６′_Ｓをヘッダとする）に対して後者の処理まで行った結果のコードストリーム７７′（ＳＯＣ７７′_Ｓをヘッダとする）を示している。画像の中心部から周辺に向かって表示領域を広げていくこの方法は、図１５（高速閲覧）のところでも述べたように、情報量が画像の中心部に集中しているという性質を利用したものである。
【００５２】
なお、図１９と図２０に示した例でも明らかなように、伸長動作順序を指定するには、コードストリームのタグ情報を解釈し、優先順位を高く設定した符号箇所に先にアクセスすれば、一応、指定した伸長動作順序に表示をさせることができる。しかし、これだけでは、符号へのアクセスが煩雑になり、トータルで見た場合、伸長速度が低下することも考えられる。そうした事態を避けるのに有効な方法は、伸長装置の手前で、コードストリーム中のパケット列を操作する手段を設けて、コードストリーム自身を、より適切な形に作り変えることである。上述の符号列７７′は、パケットを操作して作った新たなコードストリームであり、これにより、タイルの表示順序をラスタ順から渦巻き順に変えても、表示速度は低下することはない。
【００５３】
図２１は、本発明に係る静止画像伸長装置を使って、複数の動画像を同一表示デバイス上に高速で縮小表示させている様子を示す図である。
図２１の例は、画像伸長装置２０″を使って、複数の動画像（データ蓄積装置４２_Ｐ，４２_Ｑ，４２_Ｒの各蓄積手段４１_Ｐ，４１_Ｑ，４１_Ｒ）に格納された動画像を同一表示デバイス４３上に高速で縮小表示させている様子を表している。ここでの特徴は、画像伸長装置に専用ＬＳＩ２９″を用い、動画フレーム毎に並列に動作させている点である。一つのチップに必要な数の伸長ブロック２０_Ｐ，２０_Ｑ，２０_Ｒが収まりきらない場合は、複数個のＬＳＩを並列に使用することになる。この例では、動画のフレーム毎に伸長動作の並列化を適用したが、この他に、タイル毎、或いはコンポーネント毎に伸長処理の並列化を行うことができる。大規模・高精細静止画像の表示速度を、更にスピードアップ場合には、非常に有効な方法であると思われる。
【００５４】
図２２は、本発明の一実施形態に係る画像提供システムを説明するための図で、本発明に係る静止画像伸長装置を様々なサイズのディスプレイに応用した例を示す図である。
図２２には、本発明による静止画像伸長を応用して、同一画像コンテンツを、様々なサイズのディスプレイで見る場合について示している。携帯機器であるＰＤＡ８９や携帯電話９２の表示デバイス９１，９４とＬＳＩは、各々、物理的形状と消費電力の面から強い制約を受けている。したがって、前者については、データ蓄積装置８１のデータ蓄積手段８２に蓄積された原画像に比べ表示領域の差が大きいので、縮小率を上げて表示することができる。また、後者に関しては、余分な動作を抑えることが重要である。両者の要求を満たす解は、画像コンテンツのうち、深い階層のＬＬサブバンド係数だけを、モバイル機器用に使うことである。図中に示した符号列作成装置８６は、小面積ディスプレイに最適化した深いサブバンドだけを抽出したコードストリームを生成する機能を持っている。この例では、符号列作成装置８６を二段に接続して、縮小率の異なる機器に対応している。ここではＰＤＡ８９用の符号列を作成する符号列作成装置８７でデコンポジションレベル２までの符号列を作成し、携帯電話９２用の符号列を作成する符号列作成装置８８でデコンポジションレベル３までの符号列を作成する。したがって、コンテンツの符号データは、ＰＣ８３用としてそのままネットワーク８０を介して伝送、ＰＤＡ８９用，携帯電話９２用としてそれぞれ、デコンポジションレベル２，３の新たな符号列が符号列作成装置８７，８８により作成されて無線で送信されることとなる。復号動作も最小限になるので、全ての階層を伸長する場合に比べて電力消費も少なく抑えることができる。ＰＣ８３では埋め込まれた画像伸長装置８４で伝送データを伸長する。一方、携帯電話９２やＰＤＡ８９は、符号列作成装置８６からの出力を無線で受信することにより、ＰＤＡ８９や携帯電話９２上のディスプレイ９１，９４に、埋め込まれた画像伸長装置９０，９３により伸長し、画像コンテンツを高速に表示させることができる。なお、携帯電話，ＰＤＡ，ＰＣ等に符号列作成装置が埋め込まれていてもよい。
【００５５】
図２３は、本発明の他の実施形態に係る静止画像伸長装置の構成を説明するためのブロック図で、図２４は、タイムシフト機能を説明するための図である。
図２３は、指定された数の未伸長或いは既伸長フレーム数の符号データを記憶する符号列記憶装置としてのハードディスクドライブ装置３６を備えた、画像伸長装置の例を示している。符号列記憶装置３６は未伸長フレームを記憶する記憶手段３７₁と既伸長フレームを記憶する記憶手段３７₂を備え、各々の記憶手段３７₁，３７₂はフレーム数指定手段３８₁，３８₂と連結している。この伸長装置２０″′の具体的な使い方の一つとしては、動画像表示におけるタイムシフト機能がある。これは、表示フレームを現在から過去の任意のフレームに戻すことであり、図２４にその概念を時系列に並べたフレーム７８として簡単に示した。動画表示において、もう一度詳しく内容を確認したい場合に、そのフレームに戻って再度動画表示をさせることができる。更には、特定フレームで動画表示を静止画表示に変更し、次いで縮小表示率を小さくすることにより、より詳細に画像を検討することもできるようになる。
【００５６】
また、ネットワーク上の符号データ蓄積装置から画像データが送られてくる場合、動画の未伸長フレーム或いは静止画像の未伸長画像を、あらかじめ符号データ蓄積装置３６に記憶しておけば、通信状態が不安定な場合でも安定して伸長画像を表示することができる。
【００５７】
図２５は、本発明の他の実施形態に係る画像提供システムを示す図である。
図２５に示したのは、本発明の静止画像伸長装置に、上述した並列化を行う手段及び符号データを記憶する手段（符号データ記憶装置１０６）を導入して作製した、「高性能画像検索装置」としての画像提供システムである。このシステムは、多くの画像コンテンツを短時間に詳しく検索することが可能なシステムである。ここでは、画像伸長装置１０４の前段に検索に適した符号列を準備する符号列作成装置１０５を設けているので、画像伸長装置１０４は煩雑なヘッダ情報の解釈や符号列中の特定符号部への複雑なアクセスを避けることができ、結果として、伸長動作を高速化することができる。なお、データ蓄積装置群１０１は、図示したように画像データを種類別に格納する手段１０１_１，１０１_２，１０１_３，．．．に分散させて格納していてもよい。
【００５８】
図２６は、本発明の一実施形態に係る静止画像伸長方法を説明するためのフロー図である。
例として、表示デバイス上に指定された画像表示領域に、画素値を高速で縮小表示させる方法を説明する。まず、最も深い階層（デコンポジション・レベル数が最大である階層）から順次、浅い階層に進んで行き、指定された階層を越えない範囲でウェーブレット係数値を取り入れ、復号化以降の処理を行っている。すなわち、まず、表示デバイス上の表示領域を指定し（ステップＳ１）、デコンポジションレベルを指定するかを判断する（ステップＳ２）。ステップＳ２でＹＥＳの場合、指定を行い（ステップＳ３）、画像が指定値を超えるものであれば（ステップＳ４でＹＥＳ）、レベルをデクリメントして指定値を超えないようになるまで処理を行う。ステップＳ２でＮＯの場合はステップＳ３，Ｓ４の処理は行わない。次にコードストリームを入力し（ステップＳ５）、ウェーブレット係数値をメモリに格納する（ステップＳ６）。その後、復号化処理（ステップＳ７）、逆量子化処理（ステップＳ８）、逆ウェーブレット変換処理（ステップＳ９）を行い、画素値をメモリに格納する（ステップＳ１０）。そしてその画素値を出力し（ステップＳ１１）、変倍の有無を確認（ステップＳ１２）後、必要に応じて変倍処理（ステップＳ１３）を行い、表示デバイスに出力して（ステップＳ１４）処理を終了する。なお、階層数の指定の方法には三種類あり、表示領域より大きい直近、表示領域より小さい直近、そして表示領域に最も近いもの、これらの中から選ぶことができる。
【００５９】
【発明の効果】
本発明によれば、階層化ウェーブレット変換係数のうち、階層レベルの深いＬＬサブバンド係数値だけを利用することにより、全ての階層を伸長した場合に比べて伸長動作に要する時間を大幅に削減することが可能となる。すなわち、原画像と画像表示領域との大きさの比が大きい程、従来の圧縮画像（例えばＪＰＥＧ圧縮画像）を伸長するのに要していた時間との差が、格段に大きくなる。
【図面の簡単な説明】
【図１】 ＪＰＥＧ２０００の基本となる階層符号化アルゴリズムを説明するための図である。
【図２】 デコンポジションレベル数が３の場合の、各デコンポジションレベルにおけるサブバンドを示す図である。
【図３】 図３は、タイル分割されたカラー画像の各コンポーネントの例を示す図である。
【図４】 プレシンクトとコードブロックの関係を説明するための図である。
【図５】 コードストリームの構造を簡単に示す図である。
【図６】 本発明による静止画像伸長装置の構成を説明するための図である。
【図７】 本発明による静止画像伸長装置の他の構成を説明するための図である。
【図８】 本発明の一実施形態に係る静止画像伸長装置の構成例を説明するためのブロック図である。
【図９】 本発明に係る静止画像伸長装置を用いて、特定ＬＬサブバンドまでの伸長動作を行った時の、表示までに要した時間を示す図である。
【図１０】 本発明に係る静止画像伸長装置において、原画像を指定した表示領域内に高速で縮小表示させる場合の具体例を示す図である。
【図１１】 本発明に係る静止画像伸長装置において、原画像を指定した表示領域内に高速で縮小表示させる場合の、特定ＬＬサブバンドの決め方を説明するための図である。
【図１２】 本発明に係る静止画像伸長装置において、特定のＬＬサブバンドまでの伸長動作しか行わないように、伸長装置を構成する機能モジュール制御の仕組を示す図である。
【図１３】 連続する静止画像のそれぞれをフレームとする動画像を、高速表示させる例を示す図である。
【図１４】 本発明の一実施形態に係る静止画像伸長装置の他の構成例を説明するためのブロック図である。
【図１５】 本発明に係る静止画像伸長装置である。
【図１６】 図１５のコードストリームを示す図である。
【図１７】 本発明に係る静止画像伸長装置で伸長コンポーネントを輝度成分に限定して表示させた時の様子を説明するための図である。
【図１８】 図１７のコードストリームを示す図である。
【図１９】 本発明に係る静止画像伸長装置で、動作順序を階層順にして表示させた時に画像の現れる様子を示す図である。
【図２０】 本発明に係る静止画像伸長装置で、タイルの表示順序を並べ替えた時の様子を説明するための図である。
【図２１】 本発明に係る静止画像伸長装置を使って、複数の動画像を同一表示デバイス上に高速で縮小表示させている様子を示す図である。
【図２２】 本発明の一実施形態に係る画像提供システムを説明するための図で、本発明に係る静止画像伸長装置を様々なサイズのディスプレイに応用した例を示す図である。
【図２３】 本発明の他の実施形態に係る静止画像伸長装置の構成を説明するためのブロック図である。
【図２４】 タイムシフト機能を説明するための図である。
【図２５】 本発明の他の実施形態に係る画像提供システムを示す図である。
【図２６】 本発明の一実施形態に係る静止画像伸長方法を説明するためのフロー図である。
【図２７】 図２７には、ＪＰＥＧで圧縮された非常に大きな静止画像を伸長する時に要する時間を、縮小率に対して表した図である。
【符号の説明】
１…色空間変換・逆変換部、２…２次元ウェーブレット変換・逆変換部、３…量子化・逆量子化部、４…エントロピー符号化・復号化部、５…タグ処理部、８，５１，６１…原画像、１０，１０′，２０′，２０″，８４，９０，９３，１０４…静止画像伸長装置（画像伸長装置）、１１…符号列入力手段、１２…ウェーブレット係数値格納手段、１３…係数復号化手段、１４…係数値逆量子化手段、１５…逆ウェーブレット変換手段、１６…画素値格納手段、１７…伸長画像出力手段、１８…伸長処理制限手段、１８ａ…表示領域指定手段、１８ｂ…デコンポジション指定手段、２０…静止画像伸長装置、２１…Ｉ／Ｏポート、２２…コードＩ／Ｏ、２８…イメージＩ／Ｏ、２３，２３_１，２３_２，２３_３…メモリ、２４，２４_１，２４_２，２４_３…復号器、２５，２５_１，２５_２，２５_３…逆量子化器、２６，２６_１，２６_２，２６_３…逆ウェーブレット変換器、２７，２７_１，２７_２，２７_３…バッファメモリ、２９′…ＣＰＵ、２９″…専用ＬＳＩ、３２…デコンポジションレベル指定手段、３３…表示領域指定手段、３６…ハードディスクドライブ装置、４０，８０…ネットワーク、４１…蓄積手段、４２…データ蓄積装置、４３…表示デバイス、６３…表示領域、７０′，７３′，７６′，７７′…コードストリーム、７５…画像、７８…フレーム、８１…データ蓄積装置、８２…データ蓄積手段、８３…ＰＣ、８６，８７，８８，１０５…符号列作成装置、８９…ＰＤＡ、９１，９４…表示デバイス、９２…携帯電話、１００…ネットワーク、１０１…データ蓄積装置群、１０２…高性能画像検索装置、１０３…ディスプレイ。

Claims (10)

1. 符号列を入力する符号列入力手段と、該符号列入力手段で入力した符号列のウェーブレット係数値を格納するウェーブレット係数値格納手段と、該ウェーブレット係数値格納手段で格納したウェーブレット係数を復号化する係数復号化手段と、該係数復号化手段で復号化された後のウェーブレット係数値を逆量子化する係数値逆量子化手段と、該係数値逆量子化手段で逆量子化した係数値を画素値に変換する逆ウェーブレット変換手段と、該逆ウェーブレット変換手段で画素値に変換し伸長した後の画素値を格納する画素値格納手段と、該画素値格納手段で格納した伸長画像を表示デバイスに出力する伸長画像出力手段とを有する静止画像伸長装置において、特定のＬＬサブバンドまでの伸長動作を行う伸長処理制限手段を有し、該伸長処理制限手段は、コンポーネントがＲ（赤）Ｇ（緑）Ｂ（青）、Ｙ（輝度）Ｕ（青の色差）Ｖ（赤の色差）、Ｙ（輝度）Ｃｂ（青の色差）Ｃｒ（赤の色差）のいずれかで構成されている色空間において、伸長するコンポーネントを指定するコンポーネント指定手段を有することを特徴とする静止画像伸長装置。
2. 前記伸長処理制限手段は、特定ＬＬサブバンドまでの伸長動作を行う途中で生成したＬＬサブバンドの画素値を記憶する手段を有することを特徴とする請求項１記載の静止画像伸長装置。
3. 前記伸長処理制限手段は、前記表示デバイス上で表示領域の縦方向と横方向の長さを画素数単位で指定し、指定された表示領域で表示可能なデコンポジションレベルを計算する表示領域指定手段、及び／又は、前記表示デバイス上で表示する画像のデコンポジションレベルを指定するデコンポジション指定手段を有することを特徴とする請求項１又は２記載の静止画像伸長装置。
4. 前記伸長処理制限手段は、未伸長フレーム数を指定する手段と未伸長フレームの符号データを記憶する手段とを有することを特徴とする請求項１乃至３のいずれか１記載の静止画像伸長装置。
5. 前記伸長処理制限手段は、既伸長フレーム数を指定する手段と既伸長フレームの符号データを記憶する手段とを有することを特徴とする請求項１乃至３のいずれか１記載の静止画像伸長装置。
6. 符号列を入力する符号列入力ステップと、該入力した符号列のウェーブレット係数値を格納するウェーブレット係数値格納ステップと、該格納したウェーブレット係数を復号化する係数復号化ステップと、該復号化された後のウェーブレット係数値を逆量子化する係数値逆量子化ステップと、該逆量子化した係数値を画素値に変換する逆ウェーブレット変換ステップと、該逆ウェーブレット変換ステップで画素値に変換し伸長した後の画素値を格納する画素値格納ステップと、該画素値格納ステップで格納した伸長画像を表示デバイスに出力する伸長画像出力ステップとを含む静止画像伸長方法において、特定のＬＬサブバンドまでの伸長動作を行う伸長処理制限ステップを含み、該伸長処理制限ステップは、コンポーネントがＲ（赤）Ｇ（緑）Ｂ（青）、Ｙ（輝度）Ｕ（青の色差）Ｖ（赤の色差）、Ｙ（輝度）Ｃｂ（青の色差）Ｃｒ（赤の色差）のいずれかで構成されている色空間において、伸長するコンポーネントを指定するコンポーネント指定ステップを含むことを特徴とする静止画像伸長方法。
7. 前記伸長処理制限ステップは、特定ＬＬサブバンドまでの伸長動作を行う途中で生成したＬＬサブバンドの画素値を記憶するステップを含むことを特徴とする請求項６記載の静止画像伸長方法。
8. 前記伸長処理制限ステップは、前記表示デバイス上で表示領域の縦方向と横方向の長さを画素数単位で指定し、指定された表示領域で表示可能なデコンポジションレベルを計算する表示領域指定ステップ、及び／又は、前記表示デバイス上で表示する画像のデコンポジションレベルを指定するデコンポジション指定ステップを含むことを特徴とする請求項６又は７記載の静止画像伸長方法。
9. 前記伸長処理制限ステップは、未伸長フレーム数を指定するステップと未伸長フレームの符号データを記憶するステップとを含むことを特徴とする請求項６乃至８のいずれか１記載の静止画像伸長方法。
10. 前記伸長処理制限ステップは、既伸長フレーム数を指定するステップと既伸長フレームの符号データを記憶するステップとを含むことを特徴とする請求項６乃至８のいずれか１記載の静止画像伸長方法。

Images