JP4349816B2 - 画像処理装置、画像圧縮装置、画像処理方法、画像圧縮方法、プログラム、及び記録媒体 - Google Patents
画像処理装置、画像圧縮装置、画像処理方法、画像圧縮方法、プログラム、及び記録媒体 Download PDFInfo
- Publication number
- JP4349816B2 JP4349816B2 JP2003037919A JP2003037919A JP4349816B2 JP 4349816 B2 JP4349816 B2 JP 4349816B2 JP 2003037919 A JP2003037919 A JP 2003037919A JP 2003037919 A JP2003037919 A JP 2003037919A JP 4349816 B2 JP4349816 B2 JP 4349816B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- code
- size
- code size
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/115—Selection of the code volume for a coding unit prior to coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/164—Feedback from the receiver or from the transmission channel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
- H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
- H04N19/647—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission using significance based coding, e.g. Embedded Zerotrees of Wavelets [EZW] or Set Partitioning in Hierarchical Trees [SPIHT]
Description
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置、画像圧縮装置、画像処理方法、画像圧縮方法、プログラム、及び記録媒体に関する。
【０００２】
【従来の技術】
近年、高精細画像の普及が著しい。これは、デジタルスチルカメラやスキャナ等の入力デバイス、インクジェットプリンタやディスプレイ等の出力デバイスにおける高精細化に拠るところが大きい。そして、こうした高精細静止画像を扱う画像圧縮伸張アルゴリズムとして、現在のところ、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）が最も広く使われている。ＪＰＥＧでは、空間領域の冗長度を除去するために、二次元離散コサイン変換を用いている。
【０００３】
この方式の基本機能は「静止画像を圧縮し伸張する」ことだけである。圧縮ファイルの状態で画像を操作したり、伸張する時に特定領域だけを見たりすることはできない。また、階層を持たない「フラットな構造」として画像を扱っている。従って、画像に新たな処理を加えるためには、符号データは必ず完全に復号化される必要がある。
【０００４】
ＪＰＥＧアルゴリズムにおいては、画像の高精細化や大規模化に伴い、すなわち原画像の画素数が増えるに従い、符号化された画像データを伸張し画像値を表示デバイス上に画像として表示させるのに必要な時間も、並行して増えていく。最近は、入力デバイスの高性能化によって原画像の高精細化や大面積化が進み、無視できないレベルになりつつある。また、衛星・航空写真や医療・科学分野の画像、そして文化財を記録した画像を扱う分野においては、既に解決すべき不具合として認識されている。なお、ＪＰＥＧ圧縮画像を伸張する際には、それに要する時間が、縮小率とは無関係に一定の値をとるという特徴があるが、この理由は、上述したように、ＪＰＥＧ方式で符号化されたデータは縮小率に関わり無く必ず完全に復号化されるからである。
【０００５】
通常、こうした大きい画像の全画素をディスプレイに表示することは、表示デバイスの表示可能画素数に制約があるので難しい。実際には、画面上に縮小して表示することにより対処している。しかし、従来のＪＰＥＧアルゴリズムでは、縮小画像を表示させる場合においても、原画像全てを伸張し全画素値を求め、そこから間引き処理を行ってディスプレイ上に表示していた。原画像の全画素値を求めるために要する伸張処理時間は、画像のピクセル数に比例して増大する。ＭＰＵの性能やメモリの容量にも依るが、例えば、画像が表示されるまでに、数分から数十分の時間を要している。
【０００６】
また、ＪＰＥＧアルゴリズムにおいては、完全な復号処理を行わなくても使い手にとって十分な情報を得られる場合でも、従来のＪＰＥＧ方式では復号処理を全て行わなければならず、伸張時に伸張する画像領域や色成分或いは伸張動作順序を指定できない。例えば、カラー画像をグレイスケールの画像で表示したい、或る特定領域の画像だけを見たい、サムネイルの大きさで見たい、画像コンテンツを高速に閲覧したい、Ｍｏｔｉｏｎ静止画像の早送り表示を見たい、等々の要求に応えることは、従来のＪＰＥＧアルゴリズムでは困難である。従来のＪＰＥＧアルゴリズムでは、まず原画像を圧縮した符号データに対し、完全な伸張を行った画像データを生成する。その後、その画像データをグレイスケール表示用の画像データ、特定領域表示用の画像データ、サムネイル表示用の画像データなどに変換することにより、所望の表示画像を得る。
【０００７】
上述のごとき問題を解決するために、本出願人は、符号データの表示に費やされる伸張時間の短縮が可能な、すなわち、静止画像として或いは静止画像の連続としての動画像として符号化された高精細画像データを、高速に縮小表示することが可能な、静止画像の符号列を作成する符号列作成装置、該装置を用いた画像伸張システム、画像伸張装置、及び画像提供システム、符号列作成方法、画像伸張方法、コンピュータ読み取り可能なプログラム、及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体を提案している。これらの発明における符号列作成機能は、伸張する画像領域や色成分或いは伸張動作順序の指定により画像伸張を効率的にする、すなわち伸張動作を限定することを可能とするものでもある。
【０００８】
一方、画像表示装置においては、画像のサムネイルを表示することがよくある。従来技術によるサムネイルの表示においては、画像全体を伸張し、必要解像度に落とし、表示する方法や、サムネイル画像を別に保持しておく方法などがある。いずれの場合も、ＪＰＥＧの規格に基づいて、その基本機能や場合によっては拡張機能を用いた画像の圧縮・伸張が行われる。拡張機能としては、例えば本出願人が提案した上述の発明のごとき技術が適用される。なお、サムネイル画像とは、画像を所望の符号サイズに要約して出力（表示，印刷，伝送等）する画像を指す。
【０００９】
【発明が解決しようとする課題】
しかしながら、サムネイルの表示，印刷，伝送等、サムネイルの出力を、画像全体を伸張し必要解像度に落としてから行う方法を採用すると、サムネイル画像が出力されるまでにかなりの時間を要する。
【００１０】
また、サムネイル画像を別に保存しておき、出力する際にその保存した画像を行う読み出して行う方法では、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）などで標準化されているように、保存するサムネイル画像（小画像）のデータそのものを主画像の圧縮データのヘッダ部分に格納しておくことが一般的であり、出力速度は速くなるが、圧縮データの容量が大きくなってしまう。
【００１１】
本発明は、上述のごとき実情に鑑みてなされたものであり、画像データを出力媒体に合わせた形態に変換する処理を高速化するために、データ容量を大きくすることなく且つサムネイル画像を高速に出力する可能な圧縮画像データを生成するための対応関係を生成する、画像処理装置、画像圧縮装置、画像処理方法、画像圧縮方法、コンピュータ読み取り可能なプログラム、並びに、そのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することをその目的とする。
【００１２】
また、本発明は、画像データを出力媒体に合わせた形態に変換する処理を高速化するために、データ容量を大きくすることなく且つサムネイル画像を高速に出力する可能な圧縮画像データを生成するための対応関係を生成し、その対応関係に基づいて、圧縮データを変更する或いは変更するための情報を生成する、画像処理装置、画像圧縮装置、画像処理方法、画像圧縮方法、コンピュータ読み取り可能なプログラム、並びに、そのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することを他の目的とする。
【００１３】
【課題を解決するための手段】
ＪＰＥＧの次世代の画像符号化方式として提案されているＪＰＥＧ２０００方式（ＩＳＯ／ＩＥＣ ＦＣＤ １５４４４−１）では、画像を高精細な状態で保存しておき、その画像符号データから特定の解像度の画像や特定の画質を持つ画像を取り出すことなどが可能である。ＪＰＥＧ２０００画像に対し、必要な画像データ量に応じて、その都度データを走査し最適なサイズを検出する方法を採用すると、複雑な処理を有し、その処理に時間を取られ、動画のリアルタイム処理など高速な処理に対応できないこともある。
【００１４】
したがって、本発明においては、画像データを出力媒体（表示，印刷，伝送等）に合わせた形態に変換する処理を高速化するために、結果としてサムネイル画像の高速出力（表示，印刷，伝送）が可能となるような圧縮画像データを生成するための対応関係を生成し、符号への埋め込みを行っている。なお、サムネイル画像とは、画像を所望の符号サイズに要約して出力する画像を指し、ここでいう要約とはデータ量が何らかの手段により縮小されたることを指す。また、以下では、符号への埋め込みの代わりに単に記憶するようにした参考例も説明する。本発明は、ＪＰＥＧ２０００符号のように、解像度，位置，画質，色コンポーネントなどで、画像を容易に切り出すことが可能である符号データにおいて、低解像度データ以外のデータをサムネイルとして用いる場合などに有益である。
【００２５】
請求項１の発明は、画像の圧縮符号データを生成する画像圧縮装置において、少なくとも１種類の符号サイズを設定する符号サイズ設定手段と、該設定された符号サイズに合う画質レベルを算出する画質レベル算出手段と、圧縮画像の符号データを複数の画質レベルに分割する分割手段と、該画質レベル毎に符号サイズを算出する符号サイズ算出手段と、前記画質レベル算出手段で算出された画質レベルと前記符号サイズ算出手段で算出された符号サイズとから、画質と符号サイズとの対応関係を符号中に埋め込む埋め込み手段と、を有することを特徴としたものである。
【００２６】
請求項２の発明は、請求項１の発明において、前記符号サイズ設定手段は、データ伝送用の伝送路の形態、データ伝送用の伝送路の容量、画像表示装置の種類、画像表示装置の表示解像度、画像表示装置の処理速度、のいずれかに基づいて、少なくとも１種類の符号サイズを設定することを特徴としたものである。
【００２７】
請求項３の発明は、請求項１又は２の発明において、前記画質レベルはレイヤであることを特徴としたものである。
【００３０】
請求項４の発明は、画像の圧縮符号データを生成する画像圧縮装置において、圧縮画像の符号データを複数の色コンポーネントに分割する分割手段と、該コンポーネント毎に符号サイズを算出する符号サイズ算出手段と、該算出されたコンポーネント毎の符号サイズから、コンポーネントと符号サイズとの対応関係を符号中に埋め込む埋め込み手段と、を有することを特徴としたものである。
【００３２】
請求項５の発明は、画像の圧縮符号データを生成する画像圧縮装置において、圧縮画像の符号データを複数のパケットに分割する分割手段と、該パケット毎に符号サイズを算出する符号サイズ算出手段と、該算出されたパケット単位の符号サイズから、パケットと符号サイズとの対応関係を符号中に埋め込む埋め込み手段と、を有することを特徴としたものである。
【００３４】
請求項６の発明は、請求項１乃至５のいずれか１記載の画像圧縮装置で生成された圧縮符号データを処理する画像処理装置であって、所望の符号サイズを設定する所望符号サイズ設定手段と、前記画像圧縮装置で生成された圧縮符号データに埋め込まれた対応関係に基づいて、前記圧縮符号データを前記所望サイズ設定手段で設定された所望のサイズに変更する変更手段と、を有することを特徴としたものである。
【００３６】
請求項７の発明は、請求項１乃至５のいずれか１記載の画像圧縮装置で生成された圧縮符号データを処理する画像処理装置であって、所望の符号サイズを設定する所望符号サイズ設定手段と、前記画像圧縮装置で生成された圧縮符号データに埋め込まれた対応関係に基づいて、前記所望サイズ設定手段で設定されたサイズに合わせてトランケート位置を算出する位置算出手段と、該算出されたトランケート位置の情報を記憶する位置情報記憶手段と、を有することを特徴としたものである。
【００４７】
請求項８の発明は、画像の圧縮符号データを生成する画像圧縮方法において、少なくとも１種類の符号サイズを設定する符号サイズ設定ステップと、該設定された符号サイズに合う画質レベルを算出する画質レベル算出ステップと、圧縮画像の符号データを複数の画質レベルに分割する分割ステップと、該画質レベル毎に符号サイズを算出する符号サイズ算出ステップと、前記画質レベル算出ステップで算出された画質レベルと前記符号サイズ算出ステップで算出された符号サイズとから、画質と符号サイズとの対応関係を符号中に埋め込む埋め込みステップと、を有することを特徴としたものである。
【００４８】
請求項９の発明は、請求項８の発明において、前記符号サイズ設定ステップは、データ伝送用の伝送路の形態、データ伝送用の伝送路の容量、画像表示装置の種類、画像表示装置の表示解像度、画像表示装置の処理速度、のいずれかに基づいて、少なくとも１種類の符号サイズを設定することを特徴としたものである。
【００４９】
請求項１０の発明は、請求項８又は９の発明において、前記画質レベルはレイヤであることを特徴としたものである。
【００５２】
請求項１１の発明は、画像の圧縮符号データを生成する画像圧縮方法において、圧縮画像の符号データを複数の色コンポーネントに分割する分割ステップと、該コンポーネント毎に符号サイズを算出する符号サイズ算出ステップと、該算出されたコンポーネント毎の符号サイズから、コンポーネントと符号サイズとの対応関係を符号中に埋め込む埋め込みステップと、を有することを特徴としたものである。
【００５４】
請求項１２の発明は、画像の圧縮符号データを生成する画像圧縮方法において、圧縮画像の符号データを複数のパケットに分割する分割ステップと、該パケット毎に符号サイズを算出する符号サイズ算出ステップと、該算出されたパケット単位の符号サイズから、パケットと符号サイズとの対応関係を符号中に埋め込む埋め込みステップと、を有することを特徴としたものである。
【００５６】
請求項１３の発明は、請求項８乃至１２のいずれか１記載の画像圧縮方法で生成された圧縮符号データを処理する画像処理方法であって、所望の符号サイズを設定する所望符号サイズ設定ステップと、前記画像圧縮方法で生成された圧縮符号データに埋め込まれた対応関係に基づいて、前記圧縮符号データを前記所望サイズ設定ステップで設定された所望のサイズに変更する変更ステップと、を有することを特徴としたものである。
【００５８】
請求項１４の発明は、請求項８乃至１２のいずれか１記載の画像圧縮方法で生成された圧縮符号データを処理する画像処理方法であって、所望の符号サイズを設定する所望符号サイズ設定ステップと、前記画像圧縮方法で生成された圧縮符号データに埋め込まれた対応関係に基づいて、前記所望サイズ設定ステップで設定されたサイズに合わせてトランケート位置を算出する位置算出ステップと、該算出されたトランケート位置の情報を記憶する位置情報記憶ステップと、を有することを特徴としたものである。
【００５９】
請求項１５の発明は、請求項６又は７記載の画像処理装置として、或いは、請求項１乃至５のいずれか１記載の画像圧縮装置として、コンピュータを機能させるためのプログラムである。
【００６０】
請求項１６の発明は、請求項１３又は１４記載の画像処理方法、或いは、請求項８乃至１２のいずれか１記載の画像圧縮方法を、コンピュータに実行させるためのプログラムである。
【００６１】
請求項１７の発明は、請求項１５又は１６記載のプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００６２】
【発明の実施の形態】
以下、本発明の各実施形態において処理される符号化データ（以下、圧縮符号データとも呼ぶ）が、ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ ＦＣＤ １５４４４−１）の静止画像の符号化データと、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ ＦＣＤ １５４４４−３）の動画像の符号化データであるとして説明を行う。Ｍｏｔｉｏｎ−ＪＰＥＧ２０００は、連続した複数の静止画像のそれぞれをフレームとして動画像を扱い、各フレームの符号化データはＪＰＥＧ２０００に準拠しており、ファイルフォーマットがＪＰＥＧ２０００と一部異なるのみである。
【００６３】
ＪＰＥＧ２０００は、２００１年に国際標準になったＪＰＥＧ後継の画像圧縮伸張方式であり、そのアルゴリズムについては、例えば書籍「次世代画像符号化方式 ＪＰＥＧ２０００」（野水泰之著、株式会社トリケップス）などに詳しいが、以下の実施の形態の説明に必要な範囲でＪＰＥＧ２０００のアルゴリズムについて説明する。
【００６４】
図１は、ＪＰＥＧ２０００の基本となる階層符号化・復号化アルゴリズムを説明するためのブロック図で、本発明の一実施形態に係る画像処理装置を説明するためのブロック図でもある。
ＪＰＥＧ２０００の基本となる階層符号化・復号化アルゴリズムは、２次元ウェーブレット変換・逆変換部２、量子化・逆量子化部３、エントロピー符号化・復号化部４、タグ処理部５で構成されている。色空間変換・逆変換部（色変換・逆変換部）１からの入力又は色空間変換・逆変換部１への出力として、さらにはタグ処理部５からの入力又はタグ処理部５への出力として、２次元ウェーブレット変換・逆変換部２，量子化・逆量子化部３，エントロピー符号化・復号化部４のそれぞれが備えられている。各部は正逆方向で別構成としても良いことは言及するまでもないが、各部における処理はコンポーネント毎に実行するような構成としてもよい。
【００６５】
図２は、ＪＰＥＧ２０００のアルゴリズムを説明するための簡略化されたフロー図である。
図１に示すＪＰＥＧ２０００での圧縮・伸張の処理の概要としては、圧縮時には、ステップＳ１，Ｓ２において色空間変換がなされた各コンポーネントをウェーブレット変換してウェーブレット係数を求め（ステップＳ３）、プログレッシブサブビットプレーン符号化（ステップＳ４）、エントロピー符号化（ステップＳ５）が施される。一方、伸張時には、ステップＳ５，Ｓ６においてエントロピー復号、逆量子化を経て得られたコンポーネント毎のウェーブレット係数に対して、逆ウェーブレット変換が施され（ステップＳ３）、その後逆色変換がなされて（ステップＳ２）、原画像のＲＧＢ画素値に戻る（ステップＳ１）といった流れになる。
【００６６】
以下、ＪＰＥＧ２０００アルゴリズムの特徴について、詳細に説明する。
ＪＰＥＧ２０００アルゴリズムが、ＪＰＥＧアルゴリズムと比較して最も大きく異なる点の一つは、変換方法である。ＪＰＥＧでは離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を、ＪＰＥＧ２０００の階層符号化圧縮伸張アルゴリズムでは離散ウェーブレット変換（ＤＷＴ：Ｄｉｓｃｒｅｔｅ Ｗａｖｅｌｅｔ Ｔｒａｎｓｆｏｒｍ）を、各々用いている。ＤＷＴはＤＣＴに比べて、高圧縮領域における画質が良いという長所が、ＪＰＥＧの後継アルゴリズムであるＪＰＥＧ２０００で採用された大きな理由の一つとなっている。また、他の大きな相違点は、後者では、最終段に符号形成をおこなうために、タグ処理部５と呼ばれる機能ブロックが追加されていることである。この部分で、圧縮動作時には圧縮データがコードストリームとして生成され、伸張動作時には伸張に必要なコードストリームの解釈が行われる。そして、コードストリームによって、ＪＰＥＧ２０００は様々な便利な機能を実現できるようになった。ＪＰＥＧ２０００のアルゴリズムは高圧縮率（低ビットレート）での画質が良好であるほか、多くの特徴を有する。
【００６７】
その１つが、符号化データの符号の削除（トランケーション）によるポスト量子化によって、再圧縮を行うことなく全体の符号量を調整できることである。この符号削除は、タイルやプレシンクトなどの領域、コンポーネント、デコンポジションレベル（もしくは解像度レベル）、ビットプレーン、サブビットプレーン、パケット、マルチレイヤ構成の場合にはレイヤなど、多様な単位で行うことができる。
【００６８】
例えば、図３はデコンポジションレベル数が３の場合の、各デコンポジションレベルにおけるサブバンドを示す図であるが、図３に示したブロックベースでのＤＷＴにおけるオクターブ分割の階層に対応した任意の階層で、静止画像の圧縮伸張処理を停止させることができる。なお、デコンポジションレベルと解像度レベルとの関係であるが、各サブバンドに対し、３ＬＬの解像度レベルが０、３ＨＬ，３ＬＨ，３ＨＨの解像度レベルが１、２ＨＬ，２ＬＨ，２ＨＨの解像度レベルが２、１ＨＬ，１ＬＨ，１ＨＨの解像度レベルが３となっている。また、ここでの「デコンポジション」に関し、ＪＰＥＧ２０００ ＰａｒｔI ＦＤＩＳ（Final Draft international Standard）には、以下のように定義されている。
【００６９】
decomposition level：
A collection of wavelet subbands where each coefficient has the same spatial impact or span with respect to the source component samples. These include the HL,LH,and HH subbands of the same two dimensional subband decomposition. For the last decomposition level the LL subband is also included.
【００７０】
もう１つは、符号化データのレイヤの再構成を符号状態のままで行うことができることである。もう１つは、あるプログレッション順序の符号化コードを、符号状態のままで別のプログレッション順序の符号化データに再構成することが可能であることである。もう１つは、マルチレイヤの符号化データを、符号状態のまま、レイヤ単位で２以上の符号化コードに分割可能であることである。
【００７１】
以下、ＪＰＥＧ２０００アルゴリズムについて、順を追って詳細に説明する。
原画像の入出力部分には、図１のように色空間変換部１が接続されることが多い。例えば、原色系のＲ（赤）／Ｇ（緑）／Ｂ（青）の各コンポーネントからなるＲＧＢ表色系や、補色系のＹ（黄）／Ｍ（マゼンタ）／Ｃ（シアン）の各コンポーネントからなるＹＭＣ表色系から、ＹＵＶ或いはＹＣｂＣｒ表色系への変換又は逆の変換を行う部分がこれに相当する。
【００７２】
図４は、タイル分割されたカラー画像の各コンポーネントの例を示す図である。
カラー画像は、一般に図４に示すように、原画像の各コンポーネント７Ｒ，７Ｇ，７Ｂ（ここではＲＧＢ原色系）が、矩形をした領域（タイル）７Ｒｔ，７Ｇｔ，７Ｂｔによって分割される。そして、個々のタイル、例えば、Ｒ００，Ｒ０１，．．．，Ｒ１５／Ｇ００，Ｇ０１，．．．，Ｇ１５／Ｂ００，Ｂ０１，．．．，Ｂ１５が、圧縮伸張プロセスを実行する際の基本単位となる。このように、圧縮処理の対象となる画像データ（動画を扱う場合には各フレームの画像データ）は、コンポーネント毎にタイルと呼ばれる重複しない矩形領域に分割され、コンポーネント毎にタイルを単位として処理される。すなわち、圧縮伸張動作は、コンポーネント毎、そしてタイル毎に、独立に行なわれる。ただし、タイルサイズを画像サイズと同一にすること、つまりタイル分割を行わないことも可能である。
【００７３】
このように、符号化時には、各コンポーネントの各タイルのデータが、圧縮率の向上を目的として図１の色空間変換部１に入力され、ＲＧＢデータやＣＭＹデータからＹＣｒＣｂデータへの色空間変換を施されたのち、色空間変換後の各コンポーネントの各タイル画像に対し２次元ウェーブレット変換部２で２次元ウェーブレット変換（順変換）が適用されて周波数帯に空間分割される。なお、この色空間変換が省かれる場合もある。
【００７４】
図３を参照して、デコンポジションレベル数が３の場合の、２次元ウェーブレット変換部２での処理を説明する。２次元ウェーブレット変換部２では、まず、原画像のタイル分割によって得られたタイル原画像（０ＬＬ）（デコンポジションレベル０（６０））に対して２次元ウェーブレット変換を施し、デコンポジションレベル１（６１）に示すサブバンド１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨを分離する。すなわち、原画像タイル（６０）がデコンポジションレベル１（６１）に示すサブバンドに分割される。そして引き続き、この階層における低周波成分１ＬＬに対して、２次元ウェーブレット変換を施し、デコンポジションレベル２（６２）に示すサブバンド２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨを分離する。順次同様に、低周波成分２ＬＬに対しても、２次元可逆ウェーブレット変換を施し、デコンポジションレベル３（６３）に示すサブバンド３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨを分離する。ここで、各デコンポジションレベルにおいて符号化の対象となるサブバンドは、例えば、デコンポジションレベル数を３とした時、サブバンド３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨが符号化対象となり、３ＬＬサブバンドは符号化されない。
【００７５】
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図１の量子化部３で対象ビット周辺のビットからコンテキストが生成される。つまり、上述したような低周波成分（ＬＬサブバンド係数）の再帰的分割（オクターブ分割）により得られたウェーブレット係数は、サブバンド毎に量子化・逆量子化部３にて量子化されることとなる。ＪＰＥＧ２０００ではロスレス（可逆）圧縮とロッシー（非可逆）圧縮のいずれも可能であり、ロスレス圧縮の場合には量子化ステップ幅は常に１であり、この段階では量子化されない。量子化の処理が終わったウェーブレット係数は、例えば８ｂｉｔの原画像に対し１２ｂｉｔに増える。
【００７６】
続いて、エントロピー符号化部４では、コンテキストと対象ビットから確率推定によって、各コンポーネントのタイルに対する符号化を行う。こうして、原画像の全てのコンポーネントについて、タイル単位で符号化処理が行われる。量子化後の各サブバンド係数に対するこのエントロピー符号化には、ブロック分割、係数モデリング及び２値算術符号化からなるＥＢＣＯＴ（Ｅｍｂｅｄｄｅｄ Ｂｌｏｃｋ Ｃｏｄｉｎｇ ｗｉｔｈ Ｏｐｔｉｍｉｚｅｄ Ｔｒｕｎｃａｔｉｏｎ）と呼ばれる符号化方式が用いられ、量子化後の各サブバンド係数のビットプレーンが上位プレーンから下位プレーンへ向かって、コードブロックと呼ばれるブロック毎に符号化される。
【００７７】
最後にタグ処理部５は、符号形成プロセスを行う。タグ処理部５で行う符号形成プロセスにおいては、エントロピー符号化部４からの全符号化データを１本のコードストリームに結合するとともに、それにタグを付加する処理を行う。タグ処理部５では、まず、エントロピー符号化部４で生成されたコードブロックの符号をまとめてパケットが生成され、ここで生成されたパケットがプログレッション順序に従って並べられるとともに必要なタグ情報が付加されることにより、所定のフォーマットの符号化データが作成される。なお、ＪＰＥＧ２０００では、符号順序制御に関して、解像度レベル、プレシンクト（ｐｏｓｉｔｉｏｎ）、レイヤ、コンポーネント（色成分）の組み合わせによる５種類のプログレッション順序が定義されている。
【００７８】
ここで、エントロピー符号化部４におけるエントロピー符号化、及びタグ処理部５における符号形成プロセスの詳細を例を挙げて説明する。
量子化の処理が終わったウェーブレット係数は、個々のサブバンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。更に、個々のプレシンクトは、重複しない矩形の「コードブロック」に分けられる。
【００７９】
ここで、プレシンクト、コードブロック、パケット、レイヤについて簡単に説明する。画像≧タイル≧サブバンド≧プレシンクト≧コードブロックの大きさ関係がある。
プレシンクトとは、サブバンドの矩形領域で、同じデコンポジションレベルのＨＬ，ＬＨ，ＨＨサブバンドの空間的に同じ位置にある３つの領域の組が１つのプレシンクトとして扱われる。ただし、ＬＬサブバンドでは、１つの領域が１つのプレシンクトとして扱われる。プレシンクトのサイズをサブバンドと同じサイズにすることも可能である。また、プレシンクトを分割した矩形領域がコードブロックである。プレシンクトに含まれる全てのコードブロックの符号の一部（例えば最上位から３ビット目までの３枚のビットプレーンの符号）を取り出して集めたものがパケットである。符号が空（から）のパケットも許される。コードブロックの符号をまとめてパケットを生成し、所望のプログレッション順序に従ってパケットを並べることにより符号データを形成する。なお、後述するが、図９の各タイルに関するＳＯＤ以下の部分がパケットの集合である。全てのプレシンクト（つまり、全てのコードブロック、全てのサブバンド）のパケットを集めると、画像全域の符号の一部（例えば、画像全域のウェーブレット係数の最上位のビットプレーンから３枚目までのビットプレーンの符号）ができるが、これがレイヤである（ただし、次に示す例のように、必ずしも全てのプレシンクトのパケットをレイヤに含めなくともよい）。したがって、伸張時に復号されるレイヤ数が多いほど再生画像の画質は向上する。つまり、レイヤは画質の単位とも言える。全てのレイヤを集めると、画像全域の全てのビットプレーンの符号になる。
【００８０】
図５は、プレシンクトとコードブロックの関係を説明するための図である。また、図６乃至図８は、デコンポジションレベル数が２（解像度レベル数＝３）の場合のパケットとレイヤの一例を示す図で、図６は一般的なレイヤ構成例を、図７は複数の機器のそれぞれに応じたサムネイル出力が可能なレイヤ構成例を、図８は伝送路容量に応じたサムネイル出力が可能なレイヤ構成例を、それぞれ示している。
【００８１】
量子化の処理が終わったウェーブレット係数は、個々のサブバンド毎にプレシンクトに分割されるが、図５に示したように、一つのプレシンクト（例えばプレシンクト８ｐ４）は、空間的に一致した３つの矩形領域からなっている。プレシンクト８ｐ６も同様である。すなわち、図５中のプレシンクトと記された空間的に同じ位置にある３つの領域の組が１つのプレシンクトとして扱われる。なお、ここで原画像８はデコンポジションレベル１でタイル８ｔ０，８ｔ１，８ｔ２，８ｔ３の４つのタイルに分割されている。更に、個々のプレシンクトは、重複しない矩形の「コードブロック」（プレシンクト８ｐ４に対してはコードブロック８４ｂ０，８４ｂ１，．．．）に分けられる。これは、エントロピー符号化部４にてエントロピーコーディングを行う際の基本単位となる。
【００８２】
符号化効率を上げるために、図６乃至図８で後に例示するように、係数値をビットプレーン単位に分解し、画素或いはコードブロック毎にビットプレーンに順序付けを行い、１又は複数のビットプレーンからなる層（レイヤ）を構成することもある。すなわち係数値のビットプレーンから、その有意性に基づいた層（レイヤ）を構成し、そのレイヤごとに符号化を行う。最も有意なレイヤである最上位レイヤ（ＭＳＢ）とその下位レイヤを数レイヤだけ符号化し、最も有意でないレイヤ（ＭＬＢ）を含んだそれ以外のレイヤをトランケートすることもある。
【００８３】
図６を参照して、デコンポジションレベル数＝２（解像度レベル数＝３）の場合のパケットとレイヤの構成例（レイヤ数＝１０）を示す。図中の縦長の小さな矩形がパケットであり、その内部に示した数字はパケット番号である。レイヤを濃淡を付けた横長矩形領域として図示してある。すなわち、この例では、パケット番号０〜５１のパケットの符号からなるレイヤ０、パケット番号５２〜７２のパケットの符号からなるレイヤ１、パケット番号７３〜９３のパケットの符号からなるレイヤ２、パケット番号９４〜１１４のパケットの符号からなるレイヤ３、パケット番号１１５〜１３５のパケットの符号からなるレイヤ４、パケット番号１３６〜１５６のパケットの符号からなるレイヤ５、パケット番号１５７〜１７７のパケットの符号からなるレイヤ６、パケット番号１７８〜１９８のパケットの符号からなるレイヤ７、パケット番号１９９〜２１５のパケットの符号からなるレイヤ８、及び、残りのパケット番号２１６〜２２８のパケットの符号からなるレイヤ９の１０レイヤに分割されている。なお、パケットとプレシンクトとの対応関係などは、プログレッション順序の違いやレイヤ分割数等により様々に変化するものであり、上に示したレイヤ構成はあくまで一例である。
【００８４】
図７を参照して、複数の機器のそれぞれに応じたサムネイル出力が可能なレイヤ構成例を説明する。この例では、図６の構成例と同様のレイヤ構成をとるが、本発明の特徴部分として後述する対応関係情報であって、記録媒体や圧縮符号データのヘッダ部分に記録しておくための対応関係情報として、同一の濃淡で示したパケット番号２，１０，１８，２６，５４，７５のパケットの符号からなるサムネイル情報（パケット番号２，１０，１８，２６，５４，７５）を、例えばデジタルカメラのサムネイル出力用に対応させておく。同様に、画像ビューワソフトのサムネイル表示用に、情報「パケット番号９６，１１７」を対応させておく。また、同様に、携帯電話における表示用に、情報「２ＬＬ」を対応させておく。
【００８５】
図８を参照して、デコンポジションレベル数＝２（解像度レベル数＝３）の場合のパケットとレイヤの構成例として、伝送路容量に応じたサムネイル出力が可能なレイヤ構成例（レイヤ数＝１３）を説明する。この例では、同一の濃淡で示したパケット番号０〜３のパケットの符号からなるレイヤ０、同一の濃淡で示したパケット番号４〜１１のパケットの符号からなるレイヤ１、同一の濃淡で示したパケット番号４〜７，１２〜１９のパケットの符号からなるレイヤ２、同一の濃淡で示したパケット番号１２〜１５，２０〜５１のパケットの符号からなるレイヤ３、同一の濃淡で示したパケット番号５２〜７２のパケットの符号からなるレイヤ４、同一の濃淡で示したパケット番号７３〜９３のパケットの符号からなるレイヤ５、同一の濃淡で示したパケット番号９４〜１１４のパケットの符号からなるレイヤ６、同一の濃淡で示したパケット番号１１５〜１３５のパケットの符号からなるレイヤ７、同一の濃淡で示したパケット番号１３６〜１５６のパケットの符号からなるレイヤ８、同一の濃淡で示したパケット番号１５７〜１７７のパケットの符号からなるレイヤ９、同一の濃淡で示したパケット番号１７８〜１９８のパケットの符号からなるレイヤ１０、同一の濃淡で示したパケット番号１９９〜２１５のパケットの符号からなるレイヤ１１、及び、同一の濃淡で示した残りのパケット番号２１６〜２２８のパケットの符号からなるレイヤ１２の１３レイヤに分割されている。なお、パケットとプレシンクトとの対応関係などは、プログレッション順序の違いやレイヤ分割数等により様々に変化するものであり、上に示したレイヤ構成はあくまで一例である。
【００８６】
図６乃至図８のいずれのレイヤ構成例も、パケットとして、符号データを分割しておき、パケット番号の小さいものから順番に所定サイズになるまでパケットを追加していき、所定サイズになったところまでを１レイヤとしている。また、ここで示したレイヤ構成例では、サブビットプレーンとして１ｂｉｔをＲｅｆｉｎｅｍｅｎｔ，Ｓｉｇｎｉｆｉｃａｎｔ，Ｃｌｅａｎｕｐの３つに分割した例を示しているが、サブビットプレーンでさらに細かく分割しておけば、より細かい制御が可能である。さらに、パケットの優先度の順番を入れ替えることにより、解像度を重視した順番、画質を重視した順番、位置を重視した順番などに変更可能となる。なお、図６乃至図８で示したレイヤ構成例は、図２のステップＳ５と共に図示したものに対応している。
【００８７】
図９には、符号形成プロセスにて生成されるＪＰＥＧ２０００の符号化データのフォーマット（コードストリームの構造）を簡単に示している。この符号化データは、各種のタグ情報が付加されている。すなわち、図９に見られるように、符号化データは、コードストリームの始まりを示すＳＯＣマーカ９ｓで始まり、その後に符号化パラメータや量子化パラメータ等を記述したメインヘッダ（Ｍａｉｎ Ｈｅａｄｅｒ）９ｈが続き、その後に各タイル毎の符号データが続く。各タイル毎の符号データは、ＳＯＴマーカ９ｓｔで始まり、タイルヘッダ（Ｔｉｌｅ Ｈｅａｄｅｒ）９ｔｈ、ＳＯＤマーカ９ｓｄ、タイルデータ（Ｔｉｌｅ Ｄａｔａ；符号化データ（ビットストリーム９ｂ））で構成される。そして、コードストリームの終端（最後のタイルデータの後）には、再び、終了を示すタグ（ＥＯＣタグ９ｅ）が置かれる。
【００８８】
図１０は、図９のメインヘッダの構成を示す図である。
図１０に示すように、図９のメインヘッダ９ｈは、画像とタイルのサイズ（ＳＩＺ）に続いて、デフォルト符号スタイル（ＣＯＤ；必須）、符号スタイル成分（ＣＯＣ）、デフォルト量子化（ＱＣＤ；必須）、量子化成分（ＱＣＣ）、ＲＯＩ（ＲＧＮ）、デフォルトプログレッシブ順序（ＰＯＣ）、集約パケット（ＰＰＭ）、タイル長（ＴＬＭ）、パケット長（ＰＬＭ）、色定義（ＣＲＧ）、コメント（ＣＯＭ）から構成される。ＳＩＺ及び必須と示したマーカセグメント（ＣＯＤ，ＱＣＤ）以外は、オプションとなる。
【００８９】
図１１は、ＪＰＥＧ２０００の基本方式のファイルフォーマットの構成を示す図である。
ＪＰＥＧ２０００の基本方式のファイルフォーマットはＪＰ２ファイルフォーマットと称し、図９で説明したＪＰＥＧ２０００符号フォーマットを包含するものであり、画像データやメタデータ、階調数や色空間等の画像の性質を表す情報、知的所有権情報等の情報を含むことを目的としたフォーマットである。ＪＰ２ファイルフォーマットで構成されたＪＰ２ファイルの情報構造は、ｂｏｘと称する情報の区切りから構成され、ｍｅｔａｄａｔａと称するアプリケーションに特化した情報を含む。ＪＰ２ファイルの情報構造は、図１１に実線（必須）と破線（オプション）で示すように、ＪＰＥＧ２０００ Ｓｉｇｎａｔｕｒｅ ｂｏｘ，Ｆｉｌｅ Ｔｙｐｅ ｂｏｘ，ＪＰ２ Ｈｅａｄｅｒ ｂｏｘ，Ｃｏｎｔｉｇｕｏｕｓ Ｃｏｄｅｓｔｒｅａｍ ｂｏｘからなる。詳細は図示の通りである。
【００９０】
一方、復号化時には、符号化時とは逆に、各コンポーネントの各タイルのコードストリームから画像データを生成する。図１を用いて簡単に説明する。この場合、タグ処理部５は、外部より入力したコードストリームに付加されたタグ情報を解釈し、コードストリームを各コンポーネントの各タイルのコードストリームに分解し、その各コンポーネントの各タイルのコードストリーム毎に復号化処理が行われる。コードストリーム内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、逆量子化部３で、その対象ビット位置の周辺ビット（既に復号化を終えている）の並びからコンテキストが生成される。エントロピー復号化部４で、このコンテキストとコードストリームから確率推定によって復号化を行い対象ビットを生成し、それを対象ビットの位置に書き込む。
【００９１】
このようにして復号化されたデータは各周波数帯域毎に空間分割されているため、これを２次元ウェーブレット逆変換部２で２次元ウェーブレット逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間逆変換部１によって元の表色系のデータに変換される。
【００９２】
以下、本発明の実施の形態について詳細に説明する。
図１２は、本発明の画像処理装置を説明するための参考例の機能ブロック図で、図１３は、図１２における画像処理方法を説明するためのフロー図である。なお、図１３は、本発明の画像処理方法の手順を説明するための参考例のフロー図でもある。
【００９３】
ここで説明する参考例の画像処理装置は、画像処理用のデータを作成する装置であり、分割手段，符号サイズ算出手段，記憶手段を有するものとする。図１２では、画像処理装置２０が、画像読込部２１、分割手段をもつ画質分割部２２、符号サイズ算出手段をもつ符号サイズ算出部２３、記憶手段をもつ符号サイズ記録部２４より構成されているものとして説明する。
【００９４】
分割手段では、圧縮画像の符号データを複数の画質レベルに分割する。ここで、画質レベルがレイヤであるようにしてもよい。符号サイズ算出手段ではその画質レベル毎に符号サイズを算出する。記憶手段では、算出された画質レベル毎の符号サイズから、画質と符号サイズとの対応関係を記憶する。これらの手段により、画質と画質毎の符号サイズとの対応関係（対応関係の情報）を生成することができる。
【００９５】
画像圧縮装置２０は、画像データ（圧縮画像の符号データ）を画像読込部（符号読込部ともいえる）２１で読み込み（ステップＳ１１）、画質分割部２２で圧縮画像の符号データを複数の画質レベルに分割する（ステップＳ１２）。続いて、符号サイズ算出部２３にてその画質レベル毎に符号サイズを算出する（ステップＳ１３）。次に、符号サイズ記録部２４にて、符号サイズ算出部２３で算出された画質レベル毎の符号サイズから、画質と符号サイズとの対応関係を記憶する（ステップＳ１４）。ここで記憶は、ＲＡＭやＲＯＭなどの各種記録媒体に対して実行すればよい。
【００９６】
図１４は、図１２の画像処理装置において記録する対応関係の一例を示す図である。
画像処理装置２０では対応関係を記憶することとなるが、画質レベルがレイヤである場合の対応関係の例を、図１４の対応表３０で示す。図１４で示す対応表３０は、伝送路容量（ｂｐｓ）３１と画質レベル３２との対応表であり、伝送路容量（ｂｐｓ）が５．６Ｋの伝送路に対してはレイヤ１０（最重要レイヤ）、同様に、１Ｍに対してレイヤ７（例えばレイヤ７〜０をトランケートする；以下同様）、８Ｍに対してレイヤ５、１０Ｍに対してレイヤ４、１００Ｍに対してレイヤ２、１Ｇに対してレイヤ０、がそれぞれ対応している。ここでは、許容所要時間の目標値を設定しておき、各速度に対し、画質レベルを設定するとよい。なお、画質レベル３２として図１４に例示するレイヤとしては、例えば図６乃至図８のレイヤ構成例に基づくものとするが、レイヤの表記に関しては設定によるものとする。
【００９７】
なお、レイヤ構成に関し、レイヤ構成前では、各サブバンドの各プレシンクト毎に１パケット（例えば１ｂｉｔ目〜１２ｂｉｔ目までの１２ｂｉｔ分）が割り当てられている。レイヤの構成の方法としては、例えば、５．６Ｋの伝送路に対しては、最もデータ容量の小さい画像として切り出せるように、それに適したようなサイズになるように、最も重要な所からそのサイズになる所までのパケットのみを選んでレイヤ０とし、次に１Ｍの伝送路に適した画像サイズも同様に適したサイズになる所までのパケットを積算して求め、これをレイヤ１とする。同様にして続くレイヤも構成していく。
【００９８】
図１２は、本発明の一実施形態に係る画像圧縮装置の構成例を説明するための機能ブロック図でもあり、図１２を再度参照して本発明に係る画像圧縮装置を説明する。
本発明に係る画像圧縮装置は、画像の圧縮符号データを生成する装置であり、上述した分割手段及び符号サイズ算出手段と、記憶手段の代替手段としての埋め込み手段とを有するものとする。埋め込み手段では、符号サイズ算出手段で算出された画質レベル毎の符号サイズから、画質と符号サイズとの対応関係を符号中に埋め込む。この埋め込み手段としては、まず記憶或いは一時記憶を行ってから符号中に対応関係を埋め込むようにしてもよい。図１２で示す画像圧縮装置２０は、上述の画像処理装置において符号サイズ記録部が符号サイズ埋込部２４に入れ替わった構成をもつものとする。
【００９９】
符号サイズ埋込部２４では、符号データ形成時に、例えば、画像読込部２１で読み込んだ圧縮符号データ或いは画質分割部２２で分割した符号データに対し、そのヘッダ部分に対応関係をサムネイル情報として埋め込むようにしてもよい。
【０１００】
また、サムネイル情報の埋め込み場所（記録場所）の候補例としては、図１０におけるＣＯＭマーカ、図１１におけるファイルフォーマットＸＭＬｂｏｘｅｓ、同じくファイルフォーマットＵＵＩＤｂｏｘｅｓなどが挙げられるが、他の記録場所を採用してもよい。ＸＭＬの記述例を以下に示す。
【０１０１】
【０１０２】
図１２乃至図１４を参照して、説明した画像処理装置及び画像圧縮装置においては、複数の画質レベルに分割し、結果として画質と符号サイズとの対応関係を求めたが、画質レベルの代わりに、矩形領域を採用してもよい。ここでの分割手段は、圧縮画像の符号データを複数の矩形領域に分割することとなる。そして、符号サイズ算出手段でその矩形領域毎に符号サイズを算出し、埋め込み手段（参考例では、記憶手段）で、算出された矩形領域毎の符号サイズから、領域と符号サイズとの対応関係を生成して符号中に埋め込む（参考例では、記憶する）。また、分割手段は、タイル，プレシンクト，コードブロックのいずれかに基づいて符号データを矩形領域に分割する手段を有するようにしてもよい。すなわち、分割する領域が、タイル，プレシンクト，コードブロックのいずれかであるようにしてもよい。
【０１０３】
また、画質レベルの代わりに、色コンポーネントを採用してもよい。ここでの分割手段は、圧縮画像の符号データを複数の色コンポーネントに分割することとなる。そして、符号サイズ算出手段でそのコンポーネント毎に符号サイズを算出し、埋め込み手段（参考例では、記憶手段）で、算出されたコンポーネント毎の符号サイズから、コンポーネントと符号サイズとの対応関係を生成して符号中に埋め込む（参考例では、記憶する）。
【０１０４】
また、画質レベルの代わりに、解像度レベルを採用してもよい。ここでの分割手段は、圧縮画像の符号データを複数の解像度レベルに分割することとなる。そして、符号サイズ算出手段でその解像度レベル毎に符号サイズを算出し、埋め込み手段（参考例では、記憶手段）で、算出された解像度レベル毎の符号サイズから、解像度と符号サイズとの対応関係を生成して符号中に埋め込む（参考例では、記憶する）。
【０１０５】
また、画質レベルの代わりに、パケットを採用してもよい。ここでの分割手段は、圧縮画像の符号データを複数のパケットに分割することとなる。そして、符号サイズ算出手段でそのパケット毎に符号サイズを算出し、埋め込み手段（参考例では、記憶手段）で、算出されたパケット単位の符号サイズから、パケットと符号サイズとの対応関係を生成して符号中に埋め込む（参考例では、記憶する）。
【０１０６】
図１５は、本発明の一実施形態に係る画像処理装置の構成例を説明するための機能ブロック図で、図１６は、図１５における画像処理方法を説明するためのフロー図である。なお、図１６は、本発明の一実施形態に係る画像処理方法の手順例を説明するためのフロー図でもある。また、図１５は、本発明の一実施形態に係る画像圧縮装置の構成例を説明するための機能ブロック図でもある。
【０１０７】
本発明の一実施形態に係る画像処理装置は、画像処理用のデータを作成する装置であり、符号サイズ設定手段，画質レベル算出手段，分割手段，符号サイズ算出手段，埋め込み手段を有するものとする。ここでは埋め込み手段の代わりに記憶手段を備えた参考例を説明するが、この記憶手段の代わりに埋め込み手段を備える構成については上述した通りである。図１５では、画像処理装置２０′が、画像読込部２１、分割手段をもつ画質分割部２２、符号サイズ算出手段をもつ符号サイズ算出部２３、記憶手段をもつ符号サイズ記録部２４、符号サイズ設定手段をもつ符号サイズ設定部２５、画質レベル算出手段をもつ画質レベル算出部２６より構成されているものとして説明する。
【０１０８】
符号サイズ設定手段では、少なくとも１種類の符号サイズ（例は後述する）を設定し、画質レベル算出手段では、設定された符号サイズに合う画質レベルを算出する。また、分割手段では、圧縮画像の符号データを複数の画質レベルに分割する。ここで、画質レベルがレイヤであるようにしてもよい。符号サイズ算出手段ではその画質レベル毎に符号サイズを算出する。記憶手段では、画質レベル算出手段で算出された画質レベルと符号サイズ算出手段で算出された符号サイズとから、画質と符号サイズとの対応関係（対応関係の情報）を記憶する。これらの手段により、画質と画質毎の符号サイズとの対応関係を生成することができる。
【０１０９】
画像圧縮装置２０′は、画像データ（圧縮画像の符号データ）を画像読込部（符号読込部ともいえる）２１で読み込み（ステップＳ２１）、画質分割部２２で圧縮画像の符号データを複数の画質レベルに分割する（ステップＳ２４）。続いて、符号サイズ算出部２３にてその画質レベル毎に符号サイズを算出する（ステップＳ２５）。また、ステップＳ２１，Ｓ２４，Ｓ２５との順序は問わないが、符号サイズ設定部２５で少なくとも１種類の符号サイズを設定し（ステップＳ２２）、画質レベル算出部２６で、設定された符号サイズに合う画質レベルを算出する（ステップＳ２３）。そして、符号サイズ記録部２４にて、画質レベル算出部２６で算出された画質レベルと符号サイズ算出部２３で算出された符号サイズとから、画質と符号サイズとの対応関係を記憶する（ステップＳ２６）。ここで記憶は、ＲＡＭやＲＯＭなどの各種記録媒体に対して実行すればよい。
【０１１０】
符号サイズ設定手段では、データ伝送用の伝送路の形態、データ伝送用の伝送路の容量、画像表示装置の種類、画像表示装置の表示解像度、画像表示装置の処理速度、のいずれかに基づいて、少なくとも１種類の符号サイズを設定するようにしてもよい。
【０１１１】
設定する符号サイズがデータ伝送用の伝送路の形態である例としては、例えば、設定する符号サイズとして、「イーサネット（Ｒ）（１００Ｍ）」，「イーサネット（Ｒ）（１Ｇ）」，「イーサネット（Ｒ）（１０Ｍ）」，「光ケーブル（１．１Ｇ）」，「ＡＤＳＬ（８Ｍ）」，「ダイヤルアップ（５．６Ｋ）」などの中から、１種類を少なくとも設定することを意味する。また、設定する符号サイズがデータ伝送用の伝送路の容量である例としては、例えば、「１００Ｍ（イーサネット（Ｒ））」，「１．１Ｇ（光ケーブル）」，「８Ｍ（ＡＤＳＬ）」，「５．６Ｋ（ダイヤルアップ）」などの中から、１種類を少なくとも設定することを意味する。また、設定する符号サイズが画像表示装置の種類である例としては、「携帯電話」，「ＣＲＴ」，「プリンタ」など中から、１種類を少なくとも設定することを意味する。また、設定する符号サイズが画像表示装置の表示解像度である例としては、「ＶＧＡ」，「ＸＶＧＡ」，「ＱＣＩＦ」中から、１種類を少なくとも設定することを意味する。さらに、設定する符号サイズが画像表示装置の処理速度である例としては、ＣＰＵのクロックが「５００ＭＨｚ」，「１ＧＨｚ」，「２ＧＨｚ」など中から、１種類を少なくとも設定することを意味する。ここではメモリの容量も加味するようにしてもよい。
【０１１２】
また、同様に、本発明の一実施形態に係る画像圧縮装置として、画質レベルの代わりに、色コンポーネント，解像度レベル，パケットを採用してもよく、この説明も、図１５及び図１６で説明した画像圧縮装置に関する説明に、図１２乃至図１４に係わる説明を適用することで可能であるので省略する。
【０１１３】
以上、本発明の画像圧縮装置を説明してきたが、この画像圧縮装置では、最終的に、対応関係を符号中に埋め込む処理（参考例では「対応関係を保存する処理」）を行った。次に、これらの処理に続く符号のトランケート処理を行う画像処理装置について説明する。なお、以下の説明においても、上記記憶手段及びそれによる「対応関係を保存する処理」は参考例に過ぎず、本発明ではその代わりに、上記埋め込み手段を備え、「対応関係を符号中に埋め込む処理」を行うものとする。
【０１１４】
図１７は、本発明の他の実施形態に係る画像処理装置の構成例を説明するための機能ブロック図で、図１８は、図１７における画像処理方法を説明するためのフロー図である。なお、図１８は、本発明の他の実施形態に係る画像処理方法の手順例を説明するためのフロー図でもある。
【０１１５】
本発明の他の実施形態に係る画像処理装置は、図１２乃至図１４で説明した各実施形態の画像処理装置において、所望符号サイズ設定手段及び変更手段を備えるものとする。図１７では、画像処理装置２０″が、画像読込部２１、分割手段をもつ画質分割部２２、符号サイズ算出手段をもつ符号サイズ算出部２３、記憶手段をもつ符号サイズ記録部２４、所望符号サイズ設定手段をもつ所望符号サイズ設定部２７、変更手段をもつ符号サイズ変更部２８より構成されているものとして説明する。
【０１１６】
所望符号サイズ設定手段では、所望の符号サイズを設定する。変更手段では、記憶手段に記憶された対応関係に基づいて、圧縮符号データを所望サイズ設定手段で設定された所望のサイズに変更する。すなわち、本実施形態に係る画像処理装置では、符号サイズを設定する手段と、記憶された対応関係に関する情報を元に、符号データを所望のサイズに変更（トランケート）する。
【０１１７】
画像圧縮装置２０″は、画像データ（圧縮画像の符号データ）を画像読込部（符号読込部ともいえる）２１で読み込み（ステップＳ３１）、画質分割部２２で圧縮画像の符号データを複数の画質レベルに分割する（ステップＳ３２）。続いて、符号サイズ算出部２３にてその画質レベル毎に符号サイズを算出する（ステップＳ３３）。そして、符号サイズ記録部２４にて、符号サイズ算出部２３で算出された画質レベル毎の符号サイズとから、画質と符号サイズとの対応関係を記憶する（ステップＳ３４）。ここで記憶は、ＲＡＭやＲＯＭなどの各種記録媒体に対して実行すればよい。ステップ３４の後、所望符号サイズ設定部２７で設定された所望符号サイズに基づき、圧縮画像データを変更する（ステップＳ３５）。
【０１１８】
なお、本実施形態で説明している画像処理装置は、図１５及び図１６で説明した各実施形態の画像処理装置において、所望符号サイズ設定手段及び変更手段を備える形態を採用してもよいが、同様に適用可能であり、その詳細な説明を省略する。ステップＳ３１〜Ｓ３３に前後又は並行して、符号サイズ設定部で少なくとも１種類の符号サイズを設定し、画質レベル算出部で、設定された符号サイズに合う画質レベルを算出しておき、ステップＳ３４の段階でその画質レベルをも鑑みて対応関係を記憶し、記憶した対応関係に基づいて符号サイズ変更部２８で符号サイズを変更するようにすればよい。
【０１１９】
また、本発明の他の実施形態に係る画像処理装置として、図１２乃至図１６を参照して説明した各実施形態に係る画像圧縮装置で生成された圧縮符号データを処理するものとしてもよい。この画像処理装置は、画像圧縮装置で生成された圧縮符号データに埋め込まれた対応関係に基づいて、変更手段により、圧縮符号データを所望サイズ設定手段で設定された所望のサイズに変更するようにするとよい。この実施形態においても、埋め込まれた対応関係に関する情報を元に、符号データを所望のサイズに変更（トランケート）する。
【０１２０】
図１９は、本発明の他の実施形態に係る画像処理装置の構成例を説明するための機能ブロック図で、図２０は、図１９における画像処理方法を説明するためのフロー図である。なお、図２０は、本発明の他の実施形態に係る画像処理方法の手順例を説明するためのフロー図でもある。
【０１２１】
本発明の他の実施形態に係る画像処理装置は、図１２乃至図１４で説明した各実施形態の画像処理装置において、所望符号サイズ設定手段，位置算出手段，位置情報記憶手段を備えるものとする。図１９では、画像処理装置２０″′が、画像読込部２１、分割手段をもつ画質分割部２２、符号サイズ算出手段をもつ符号サイズ算出部２３、記憶手段をもつ符号サイズ記録部２４、所望符号サイズ設定手段をもつ所望符号サイズ設定部２７、位置算出手段及び位置情報記憶手段をもつトランケート情報作成部２９より構成されているものとして説明する。
【０１２２】
所望符号サイズ設定手段では、所望の符号サイズを設定する。位置算出手段では、記憶手段に記憶された対応関係に基づいて、所望サイズ設定手段で設定されたサイズに合わせてトランケート位置を算出する。位置情報記憶手段では、そこで算出されたトランケート位置の情報を記憶する。本実施形態に係る画像処理装置では、設定要求に応じ、随時、トランケート情報を付加してトランケート情報を作成する。すなわち、トランケート情報は、図１７及び図１８で説明した実施形態のように変更する（予め作成しておく）わけではなく、トランケート要求に合わせ、その都度、作成するようにしている。
【０１２３】
画像圧縮装置２０″′は、画像データ（圧縮画像の符号データ）を画像読込部（符号読込部ともいえる）２１で読み込み（ステップＳ４１）、画質分割部２２で圧縮画像の符号データを複数の画質レベルに分割する（ステップＳ４２）。続いて、符号サイズ算出部２３にてその画質レベル毎に符号サイズを算出する（ステップＳ４３）。そして、符号サイズ記録部２４にて、符号サイズ算出部２３で算出された画質レベル毎の符号サイズとから、画質と符号サイズとの対応関係を記憶する（ステップＳ４４）。ここで記憶は、ＲＡＭやＲＯＭなどの各種記録媒体に対して実行すればよい。ステップ４４の後、所望符号サイズ設定部２７で設定の要求が有るか否かを判定し（ステップＳ４５）、要求がなければ処理を終了し、要求が有れば、所望符号サイズ設定を行い（ステップＳ４６）、トランケート情報作成部２９にて、トランケート位置を算出し（ステップＳ４７）、トランケート位置を記録して（ステップＳ４８）、処理を終了する。
【０１２４】
なお、本実施形態で説明している画像処理装置は、図１５及び図１６で説明した各実施形態の画像処理装置とにおいて、所望符号サイズ設定手段，位置算出手段，位置情報記憶手段を備える形態を採用してもよいが、同様に適用可能であり、その詳細な説明を省略する。ステップＳ４１〜Ｓ４３に前後又は並行して、符号サイズ設定部で少なくとも１種類の符号サイズを設定し、画質レベル算出部で、設定された符号サイズに合う画質レベルを算出しておき、ステップＳ４４の段階でその画質レベルをも鑑みて対応関係を記憶し、記憶した対応関係に基づいて、トランケート情報作成部２９でトランケート情報を作成するようにすればよい。
【０１２５】
また、本発明の他の実施形態に係る画像処理装置として、図１２乃至図１６を参照して説明した各実施形態に係る画像圧縮装置で生成された圧縮符号データを処理するものとしてもよい。この画像処理装置は、画像圧縮装置で生成された圧縮符号データに埋め込まれた対応関係に基づいて、位置算出手段により、所望サイズ設定手段で設定されたサイズに合わせてトランケート位置を算出し、算出されたトランケート位置の情報を位置情報記憶手段で記憶するようにするとよい。この実施形態においても、設定要求に応じ、随時、トランケート情報を付加してトランケート情報を作成する。
【０１２６】
ここで、上述した各実施形態に係る画像処理装置（トランケート機能を含む装置）によってトランケートされた後の圧縮画像データを伸張して出力した結果の例を説明する。
図２１は、原画像の一例を示す図で、図２２は、図２１の原画像を本発明に係る画像処理装置で処理し、伸張側の画像処理装置で出力した結果の画像を示す図である。
【０１２７】
図２１の原画像４０に対し、対応関係から低解像度画像を指定した場合、図２２（Ａ）の画像４１のように出力される。同様に、例えば、対応関係から１コンポーネントを指定した場合には図２２（Ｂ）の画像４２が出力され、対応関係からレイヤ０のみを指定した場合には図２２（Ｃ）の画像４３が出力され、対応関係から中心部タイルを指定した場合には図２２（Ｄ）の画像４４が出力される。
【０１２８】
本実施形態に係る画像処理装置及び画像圧縮装置によれば、圧縮された画像データのデータ容量を大きくすることなく且つ画像データのサムネイルを高速に出力する可能な圧縮画像データを生成するための対応関係を生成することが可能となり、これにより画像データを出力媒体に合わせた形態に変換する処理を高速化することも可能となる。例えば、圧縮符号データのヘッダ情報や画像処理装置内の記録媒体に、この対応関係を記録するなどしておくとよい。これにより、この対応関係を圧縮符号データのヘッダ部分に組み込んで画像を配信する、或いはこの対応関係を圧縮符号データとは別途配信するなどの画像配信システムも提供できる。
【０１２９】
また、本発明に係る画像処理装置（トランケート機能付き）によれば、圧縮された画像データのデータ容量を大きくすることなく且つ画像データのサムネイルを高速に出力する可能な圧縮画像データを生成するための対応関係を生成し、その対応関係に基づいて、圧縮データを変更する或いは変更するための情報を生成することが可能となり、これにより画像データを出力媒体に合わせた形態に変換する処理を高速化することも可能となる。これにより、この変更するための情報を圧縮符号データのヘッダ部分に組み込んで画像を配信する、或いはこの変更するための情報を圧縮符号データとは別途配信する、或いは変更（トランケート）後の圧縮符号データとして配信するなどの画像配信システムも提供できる。
【０１３０】
以上、本発明の画像処理装置、画像圧縮装置、及び画像圧縮装置（トランケート機能付き）を中心に各実施形態を説明してきたが、本発明は、一部フロー図としても説明したように、それらの装置における処理手順を含んでなる画像処理方法、画像圧縮方法、画像処理方法（トランケート処理付き）としても、或いは、コンピュータをそれら装置として又はそれらの装置の各手段として機能させるための、又はコンピュータにそれら方法を実行させるためのプログラム（それらの処理内容が実装されているコンピュータプログラム）としても、或いは、そのプログラムを記録したコンピュータ読み取り可能な記録媒体（それらの処理内容が記録されているコンピュータ読み取り可能な情報記録媒体）としての形態も可能である。また、このプログラムや記録媒体により、上述の各実施形態に対応した処理によって、画像データ全体の容量を多くすることなく、サムネイル画像を生成するための対応関係を生成することなどが可能なシステムなど、上述した装置と同様の効果を持ったシステムを提供することができる。これらのプログラムや記録媒体は、上述した実施形態に加え、後述する実施例を元に容易に実施できることは明らかである。
【０１３１】
本発明による画像処理又は画像圧縮又はトランケート機能付き画像処理の機能を実現するためのプログラムやデータを記憶した記録媒体の実施形態を説明する。記録媒体としては、具体的には、ＣＤ−ＲＯＭ、光磁気ディスク、ＤＶＤ−ＲＯＭ、ＦＤ、フラッシュメモリ、及びその他各種ＲＯＭやＲＡＭ等が想定でき、これら記録媒体に上述した本発明の各実施形態に係る機能をコンピュータに実行させ、画像の処理，圧縮，処理（トランケート処理付き）のいずれか１又は複数の機能を実現するためのプログラムを記録して流通させることにより、当該機能の実現を容易にする。そしてコンピュータ（汎用コンピュータやその他の機器）等の情報処理装置に上記のごとくの記録媒体を装着して情報処理装置によりプログラムを読み出し、そのまま起動させるか機器に伝送するか、若しくは情報処理装置が備えている記憶媒体に当該プログラムを記憶させておき、必要に応じて読み出すことにより、本発明に関わる機能を実行することができる。
【０１３２】
ここで上述した各実施形態に適用可能な装置の構成例を説明する。
図２３は、本発明に係る画像処理装置又は画像圧縮装置の一構成例を示す図である。
ここで例示する本発明に係る画像処理装置は、データバス５３を介して、ＲＡＭ５１，ＣＰＵ５２，ＨＤＤ５４が接続された構成となっており、以下の流れで、原画像の画像データ（圧縮符号データ）から、対応関係データが生成され、ＨＤＤ５４に保存されることとなる。本発明に係る画像圧縮装置の場合、対応関係データが埋め込まれた圧縮符号データが生成され、ＨＤＤ５４に保存されることとなるが、この説明は省略する。トランケート機能付きの画像処理装置についても同様に説明を省略する。
【０１３３】
ＨＤＤ５４上に記録された原画像の画像データ（又は圧縮された画像データ）が、ＣＰＵ５２からの命令によってＲＡＭ５１上に読み込まれる（ｉ）。次に、ＣＰＵ５２はＲＡＭ５１上の画像データを読み込み、本発明に係る対応関係作成処理を適用して対応関係データを生成する（ｉｉ）。ＣＰＵ５２は、生成された対応関係データをＲＡＭ５１上の別の領域に書き込む（ｉｉｉ）。ＣＰＵ５２からの命令によって、対応関係データがＨＤＤ５４上に記録される（ｉｖ）。
【０１３４】
【発明の効果】
本発明によれば、圧縮された画像データのデータ容量を大きくすることなく且つ画像データのサムネイルを高速に出力する可能な圧縮画像データを生成するための対応関係を生成することが可能となり、これにより画像データを出力媒体に合わせた形態に変換する処理を高速化することも可能となる。
【０１３５】
また、本発明によれば、圧縮された画像データのデータ容量を大きくすることなく且つ画像データのサムネイルを高速に出力する可能な圧縮画像データを生成するための対応関係を生成し、その対応関係に基づいて、圧縮データを変更する或いは変更するための情報を生成することが可能となり、これにより画像データを出力媒体に合わせた形態に変換する処理を高速化することも可能となる。
【図面の簡単な説明】
【図１】 ＪＰＥＧ２０００の基本となる階層符号化・復号化アルゴリズムを説明するためのブロック図である。
【図２】 ＪＰＥＧ２０００のアルゴリズムを説明するための簡略化されたフロー図である。
【図３】 デコンポジションレベル数が３の場合の、各デコンポジションレベルにおけるサブバンドを示す図である。
【図４】 タイル分割されたカラー画像の各コンポーネントの例を示す図である。
【図５】 プレシンクトとコードブロックの関係を説明するための図である。
【図６】 デコンポジションレベル数が２（解像度レベル数＝３）の場合のパケットとレイヤの一例を示す図で、一般的なレイヤ構成例を示す図である。
【図７】 デコンポジションレベル数が２（解像度レベル数＝３）の場合のパケットとレイヤの一例を示す図で、複数の機器のそれぞれに応じたサムネイル出力が可能なレイヤ構成例を示す図である。
【図８】 デコンポジションレベル数が２（解像度レベル数＝３）の場合のパケットとレイヤの一例を示す図で、伝送路容量に応じたサムネイル出力が可能なレイヤ構成例を示す図である。
【図９】 符号形成プロセスにて生成されるＪＰＥＧ２０００の符号化データのフォーマット（コードストリームの構造）を簡単に示す図である。
【図１０】 図９のメインヘッダの構成を示す図である。
【図１１】 ＪＰＥＧ２０００の基本方式のファイルフォーマットの構成を示す図である。
【図１２】 本発明の画像処理装置を説明するための参考例の機能ブロック図である。
【図１３】 図１２における画像処理方法を説明するためのフロー図で、本発明の画像処理方法の手順を説明するための参考例のフロー図でもある。
【図１４】 図１２の画像圧縮装置において記録する対応関係の一例を示す図である。
【図１５】 本発明の一実施形態に係る画像処理装置の構成例を説明するための機能ブロック図である。
【図１６】 図１５における画像処理方法を説明するためのフロー図で、本発明の一実施形態に係る画像処理方法の手順例を説明するためのフロー図でもある。
【図１７】 本発明の他の実施形態に係る画像処理装置の構成例を説明するための機能ブロック図である。
【図１８】 図１７における画像処理方法を説明するためのフロー図で、本発明の他の実施形態に係る画像処理方法の手順例を説明するためのフロー図でもある。
【図１９】 本発明の他の実施形態に係る画像処理装置の構成例を説明するための機能ブロック図である。
【図２０】 図１９における画像処理方法を説明するためのフロー図で、本発明の他の実施形態に係る画像処理方法の手順例を説明するためのフロー図でもある。
【図２１】 原画像の一例を示す図である。
【図２２】 図２１の原画像を本発明に係る画像処理装置で処理し、伸張側の画像処理装置で出力した結果の画像を示す図である。
【図２３】 本発明に係る画像処理装置又は画像圧縮装置の一構成例を示す図である。
【符号の説明】
１…色空間変換・逆変換部、２…２次元ウェーブレット変換・逆変換部、３…量子化・逆量子化部、４…エントロピー符号化・復号化部、５…タグ処理部、２０，２０′…画像処理装置（画像圧縮装置）、２０″，２０″′…画像処理装置、２１…画像読込部、２２…画質分割部、２３…符号サイズ算出部、２４…符号サイズ記録部（符号サイズ埋込部）、２５…符号サイズ設定部、２６…画質レベル算出部、２７…所望符号サイズ設定部、２８…符号サイズ変更部、２９…トランケート情報作成部、５１…ＲＡＭ、５２…ＣＰＵ、５３…データバス、５４…ＨＤＤ。
【発明の属する技術分野】
本発明は、画像処理装置、画像圧縮装置、画像処理方法、画像圧縮方法、プログラム、及び記録媒体に関する。
【０００２】
【従来の技術】
近年、高精細画像の普及が著しい。これは、デジタルスチルカメラやスキャナ等の入力デバイス、インクジェットプリンタやディスプレイ等の出力デバイスにおける高精細化に拠るところが大きい。そして、こうした高精細静止画像を扱う画像圧縮伸張アルゴリズムとして、現在のところ、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）が最も広く使われている。ＪＰＥＧでは、空間領域の冗長度を除去するために、二次元離散コサイン変換を用いている。
【０００３】
この方式の基本機能は「静止画像を圧縮し伸張する」ことだけである。圧縮ファイルの状態で画像を操作したり、伸張する時に特定領域だけを見たりすることはできない。また、階層を持たない「フラットな構造」として画像を扱っている。従って、画像に新たな処理を加えるためには、符号データは必ず完全に復号化される必要がある。
【０００４】
ＪＰＥＧアルゴリズムにおいては、画像の高精細化や大規模化に伴い、すなわち原画像の画素数が増えるに従い、符号化された画像データを伸張し画像値を表示デバイス上に画像として表示させるのに必要な時間も、並行して増えていく。最近は、入力デバイスの高性能化によって原画像の高精細化や大面積化が進み、無視できないレベルになりつつある。また、衛星・航空写真や医療・科学分野の画像、そして文化財を記録した画像を扱う分野においては、既に解決すべき不具合として認識されている。なお、ＪＰＥＧ圧縮画像を伸張する際には、それに要する時間が、縮小率とは無関係に一定の値をとるという特徴があるが、この理由は、上述したように、ＪＰＥＧ方式で符号化されたデータは縮小率に関わり無く必ず完全に復号化されるからである。
【０００５】
通常、こうした大きい画像の全画素をディスプレイに表示することは、表示デバイスの表示可能画素数に制約があるので難しい。実際には、画面上に縮小して表示することにより対処している。しかし、従来のＪＰＥＧアルゴリズムでは、縮小画像を表示させる場合においても、原画像全てを伸張し全画素値を求め、そこから間引き処理を行ってディスプレイ上に表示していた。原画像の全画素値を求めるために要する伸張処理時間は、画像のピクセル数に比例して増大する。ＭＰＵの性能やメモリの容量にも依るが、例えば、画像が表示されるまでに、数分から数十分の時間を要している。
【０００６】
また、ＪＰＥＧアルゴリズムにおいては、完全な復号処理を行わなくても使い手にとって十分な情報を得られる場合でも、従来のＪＰＥＧ方式では復号処理を全て行わなければならず、伸張時に伸張する画像領域や色成分或いは伸張動作順序を指定できない。例えば、カラー画像をグレイスケールの画像で表示したい、或る特定領域の画像だけを見たい、サムネイルの大きさで見たい、画像コンテンツを高速に閲覧したい、Ｍｏｔｉｏｎ静止画像の早送り表示を見たい、等々の要求に応えることは、従来のＪＰＥＧアルゴリズムでは困難である。従来のＪＰＥＧアルゴリズムでは、まず原画像を圧縮した符号データに対し、完全な伸張を行った画像データを生成する。その後、その画像データをグレイスケール表示用の画像データ、特定領域表示用の画像データ、サムネイル表示用の画像データなどに変換することにより、所望の表示画像を得る。
【０００７】
上述のごとき問題を解決するために、本出願人は、符号データの表示に費やされる伸張時間の短縮が可能な、すなわち、静止画像として或いは静止画像の連続としての動画像として符号化された高精細画像データを、高速に縮小表示することが可能な、静止画像の符号列を作成する符号列作成装置、該装置を用いた画像伸張システム、画像伸張装置、及び画像提供システム、符号列作成方法、画像伸張方法、コンピュータ読み取り可能なプログラム、及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体を提案している。これらの発明における符号列作成機能は、伸張する画像領域や色成分或いは伸張動作順序の指定により画像伸張を効率的にする、すなわち伸張動作を限定することを可能とするものでもある。
【０００８】
一方、画像表示装置においては、画像のサムネイルを表示することがよくある。従来技術によるサムネイルの表示においては、画像全体を伸張し、必要解像度に落とし、表示する方法や、サムネイル画像を別に保持しておく方法などがある。いずれの場合も、ＪＰＥＧの規格に基づいて、その基本機能や場合によっては拡張機能を用いた画像の圧縮・伸張が行われる。拡張機能としては、例えば本出願人が提案した上述の発明のごとき技術が適用される。なお、サムネイル画像とは、画像を所望の符号サイズに要約して出力（表示，印刷，伝送等）する画像を指す。
【０００９】
【発明が解決しようとする課題】
しかしながら、サムネイルの表示，印刷，伝送等、サムネイルの出力を、画像全体を伸張し必要解像度に落としてから行う方法を採用すると、サムネイル画像が出力されるまでにかなりの時間を要する。
【００１０】
また、サムネイル画像を別に保存しておき、出力する際にその保存した画像を行う読み出して行う方法では、Ｅｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）などで標準化されているように、保存するサムネイル画像（小画像）のデータそのものを主画像の圧縮データのヘッダ部分に格納しておくことが一般的であり、出力速度は速くなるが、圧縮データの容量が大きくなってしまう。
【００１１】
本発明は、上述のごとき実情に鑑みてなされたものであり、画像データを出力媒体に合わせた形態に変換する処理を高速化するために、データ容量を大きくすることなく且つサムネイル画像を高速に出力する可能な圧縮画像データを生成するための対応関係を生成する、画像処理装置、画像圧縮装置、画像処理方法、画像圧縮方法、コンピュータ読み取り可能なプログラム、並びに、そのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することをその目的とする。
【００１２】
また、本発明は、画像データを出力媒体に合わせた形態に変換する処理を高速化するために、データ容量を大きくすることなく且つサムネイル画像を高速に出力する可能な圧縮画像データを生成するための対応関係を生成し、その対応関係に基づいて、圧縮データを変更する或いは変更するための情報を生成する、画像処理装置、画像圧縮装置、画像処理方法、画像圧縮方法、コンピュータ読み取り可能なプログラム、並びに、そのプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することを他の目的とする。
【００１３】
【課題を解決するための手段】
ＪＰＥＧの次世代の画像符号化方式として提案されているＪＰＥＧ２０００方式（ＩＳＯ／ＩＥＣ ＦＣＤ １５４４４−１）では、画像を高精細な状態で保存しておき、その画像符号データから特定の解像度の画像や特定の画質を持つ画像を取り出すことなどが可能である。ＪＰＥＧ２０００画像に対し、必要な画像データ量に応じて、その都度データを走査し最適なサイズを検出する方法を採用すると、複雑な処理を有し、その処理に時間を取られ、動画のリアルタイム処理など高速な処理に対応できないこともある。
【００１４】
したがって、本発明においては、画像データを出力媒体（表示，印刷，伝送等）に合わせた形態に変換する処理を高速化するために、結果としてサムネイル画像の高速出力（表示，印刷，伝送）が可能となるような圧縮画像データを生成するための対応関係を生成し、符号への埋め込みを行っている。なお、サムネイル画像とは、画像を所望の符号サイズに要約して出力する画像を指し、ここでいう要約とはデータ量が何らかの手段により縮小されたることを指す。また、以下では、符号への埋め込みの代わりに単に記憶するようにした参考例も説明する。本発明は、ＪＰＥＧ２０００符号のように、解像度，位置，画質，色コンポーネントなどで、画像を容易に切り出すことが可能である符号データにおいて、低解像度データ以外のデータをサムネイルとして用いる場合などに有益である。
【００２５】
請求項１の発明は、画像の圧縮符号データを生成する画像圧縮装置において、少なくとも１種類の符号サイズを設定する符号サイズ設定手段と、該設定された符号サイズに合う画質レベルを算出する画質レベル算出手段と、圧縮画像の符号データを複数の画質レベルに分割する分割手段と、該画質レベル毎に符号サイズを算出する符号サイズ算出手段と、前記画質レベル算出手段で算出された画質レベルと前記符号サイズ算出手段で算出された符号サイズとから、画質と符号サイズとの対応関係を符号中に埋め込む埋め込み手段と、を有することを特徴としたものである。
【００２６】
請求項２の発明は、請求項１の発明において、前記符号サイズ設定手段は、データ伝送用の伝送路の形態、データ伝送用の伝送路の容量、画像表示装置の種類、画像表示装置の表示解像度、画像表示装置の処理速度、のいずれかに基づいて、少なくとも１種類の符号サイズを設定することを特徴としたものである。
【００２７】
請求項３の発明は、請求項１又は２の発明において、前記画質レベルはレイヤであることを特徴としたものである。
【００３０】
請求項４の発明は、画像の圧縮符号データを生成する画像圧縮装置において、圧縮画像の符号データを複数の色コンポーネントに分割する分割手段と、該コンポーネント毎に符号サイズを算出する符号サイズ算出手段と、該算出されたコンポーネント毎の符号サイズから、コンポーネントと符号サイズとの対応関係を符号中に埋め込む埋め込み手段と、を有することを特徴としたものである。
【００３２】
請求項５の発明は、画像の圧縮符号データを生成する画像圧縮装置において、圧縮画像の符号データを複数のパケットに分割する分割手段と、該パケット毎に符号サイズを算出する符号サイズ算出手段と、該算出されたパケット単位の符号サイズから、パケットと符号サイズとの対応関係を符号中に埋め込む埋め込み手段と、を有することを特徴としたものである。
【００３４】
請求項６の発明は、請求項１乃至５のいずれか１記載の画像圧縮装置で生成された圧縮符号データを処理する画像処理装置であって、所望の符号サイズを設定する所望符号サイズ設定手段と、前記画像圧縮装置で生成された圧縮符号データに埋め込まれた対応関係に基づいて、前記圧縮符号データを前記所望サイズ設定手段で設定された所望のサイズに変更する変更手段と、を有することを特徴としたものである。
【００３６】
請求項７の発明は、請求項１乃至５のいずれか１記載の画像圧縮装置で生成された圧縮符号データを処理する画像処理装置であって、所望の符号サイズを設定する所望符号サイズ設定手段と、前記画像圧縮装置で生成された圧縮符号データに埋め込まれた対応関係に基づいて、前記所望サイズ設定手段で設定されたサイズに合わせてトランケート位置を算出する位置算出手段と、該算出されたトランケート位置の情報を記憶する位置情報記憶手段と、を有することを特徴としたものである。
【００４７】
請求項８の発明は、画像の圧縮符号データを生成する画像圧縮方法において、少なくとも１種類の符号サイズを設定する符号サイズ設定ステップと、該設定された符号サイズに合う画質レベルを算出する画質レベル算出ステップと、圧縮画像の符号データを複数の画質レベルに分割する分割ステップと、該画質レベル毎に符号サイズを算出する符号サイズ算出ステップと、前記画質レベル算出ステップで算出された画質レベルと前記符号サイズ算出ステップで算出された符号サイズとから、画質と符号サイズとの対応関係を符号中に埋め込む埋め込みステップと、を有することを特徴としたものである。
【００４８】
請求項９の発明は、請求項８の発明において、前記符号サイズ設定ステップは、データ伝送用の伝送路の形態、データ伝送用の伝送路の容量、画像表示装置の種類、画像表示装置の表示解像度、画像表示装置の処理速度、のいずれかに基づいて、少なくとも１種類の符号サイズを設定することを特徴としたものである。
【００４９】
請求項１０の発明は、請求項８又は９の発明において、前記画質レベルはレイヤであることを特徴としたものである。
【００５２】
請求項１１の発明は、画像の圧縮符号データを生成する画像圧縮方法において、圧縮画像の符号データを複数の色コンポーネントに分割する分割ステップと、該コンポーネント毎に符号サイズを算出する符号サイズ算出ステップと、該算出されたコンポーネント毎の符号サイズから、コンポーネントと符号サイズとの対応関係を符号中に埋め込む埋め込みステップと、を有することを特徴としたものである。
【００５４】
請求項１２の発明は、画像の圧縮符号データを生成する画像圧縮方法において、圧縮画像の符号データを複数のパケットに分割する分割ステップと、該パケット毎に符号サイズを算出する符号サイズ算出ステップと、該算出されたパケット単位の符号サイズから、パケットと符号サイズとの対応関係を符号中に埋め込む埋め込みステップと、を有することを特徴としたものである。
【００５６】
請求項１３の発明は、請求項８乃至１２のいずれか１記載の画像圧縮方法で生成された圧縮符号データを処理する画像処理方法であって、所望の符号サイズを設定する所望符号サイズ設定ステップと、前記画像圧縮方法で生成された圧縮符号データに埋め込まれた対応関係に基づいて、前記圧縮符号データを前記所望サイズ設定ステップで設定された所望のサイズに変更する変更ステップと、を有することを特徴としたものである。
【００５８】
請求項１４の発明は、請求項８乃至１２のいずれか１記載の画像圧縮方法で生成された圧縮符号データを処理する画像処理方法であって、所望の符号サイズを設定する所望符号サイズ設定ステップと、前記画像圧縮方法で生成された圧縮符号データに埋め込まれた対応関係に基づいて、前記所望サイズ設定ステップで設定されたサイズに合わせてトランケート位置を算出する位置算出ステップと、該算出されたトランケート位置の情報を記憶する位置情報記憶ステップと、を有することを特徴としたものである。
【００５９】
請求項１５の発明は、請求項６又は７記載の画像処理装置として、或いは、請求項１乃至５のいずれか１記載の画像圧縮装置として、コンピュータを機能させるためのプログラムである。
【００６０】
請求項１６の発明は、請求項１３又は１４記載の画像処理方法、或いは、請求項８乃至１２のいずれか１記載の画像圧縮方法を、コンピュータに実行させるためのプログラムである。
【００６１】
請求項１７の発明は、請求項１５又は１６記載のプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００６２】
【発明の実施の形態】
以下、本発明の各実施形態において処理される符号化データ（以下、圧縮符号データとも呼ぶ）が、ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ ＦＣＤ １５４４４−１）の静止画像の符号化データと、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ ＦＣＤ １５４４４−３）の動画像の符号化データであるとして説明を行う。Ｍｏｔｉｏｎ−ＪＰＥＧ２０００は、連続した複数の静止画像のそれぞれをフレームとして動画像を扱い、各フレームの符号化データはＪＰＥＧ２０００に準拠しており、ファイルフォーマットがＪＰＥＧ２０００と一部異なるのみである。
【００６３】
ＪＰＥＧ２０００は、２００１年に国際標準になったＪＰＥＧ後継の画像圧縮伸張方式であり、そのアルゴリズムについては、例えば書籍「次世代画像符号化方式 ＪＰＥＧ２０００」（野水泰之著、株式会社トリケップス）などに詳しいが、以下の実施の形態の説明に必要な範囲でＪＰＥＧ２０００のアルゴリズムについて説明する。
【００６４】
図１は、ＪＰＥＧ２０００の基本となる階層符号化・復号化アルゴリズムを説明するためのブロック図で、本発明の一実施形態に係る画像処理装置を説明するためのブロック図でもある。
ＪＰＥＧ２０００の基本となる階層符号化・復号化アルゴリズムは、２次元ウェーブレット変換・逆変換部２、量子化・逆量子化部３、エントロピー符号化・復号化部４、タグ処理部５で構成されている。色空間変換・逆変換部（色変換・逆変換部）１からの入力又は色空間変換・逆変換部１への出力として、さらにはタグ処理部５からの入力又はタグ処理部５への出力として、２次元ウェーブレット変換・逆変換部２，量子化・逆量子化部３，エントロピー符号化・復号化部４のそれぞれが備えられている。各部は正逆方向で別構成としても良いことは言及するまでもないが、各部における処理はコンポーネント毎に実行するような構成としてもよい。
【００６５】
図２は、ＪＰＥＧ２０００のアルゴリズムを説明するための簡略化されたフロー図である。
図１に示すＪＰＥＧ２０００での圧縮・伸張の処理の概要としては、圧縮時には、ステップＳ１，Ｓ２において色空間変換がなされた各コンポーネントをウェーブレット変換してウェーブレット係数を求め（ステップＳ３）、プログレッシブサブビットプレーン符号化（ステップＳ４）、エントロピー符号化（ステップＳ５）が施される。一方、伸張時には、ステップＳ５，Ｓ６においてエントロピー復号、逆量子化を経て得られたコンポーネント毎のウェーブレット係数に対して、逆ウェーブレット変換が施され（ステップＳ３）、その後逆色変換がなされて（ステップＳ２）、原画像のＲＧＢ画素値に戻る（ステップＳ１）といった流れになる。
【００６６】
以下、ＪＰＥＧ２０００アルゴリズムの特徴について、詳細に説明する。
ＪＰＥＧ２０００アルゴリズムが、ＪＰＥＧアルゴリズムと比較して最も大きく異なる点の一つは、変換方法である。ＪＰＥＧでは離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を、ＪＰＥＧ２０００の階層符号化圧縮伸張アルゴリズムでは離散ウェーブレット変換（ＤＷＴ：Ｄｉｓｃｒｅｔｅ Ｗａｖｅｌｅｔ Ｔｒａｎｓｆｏｒｍ）を、各々用いている。ＤＷＴはＤＣＴに比べて、高圧縮領域における画質が良いという長所が、ＪＰＥＧの後継アルゴリズムであるＪＰＥＧ２０００で採用された大きな理由の一つとなっている。また、他の大きな相違点は、後者では、最終段に符号形成をおこなうために、タグ処理部５と呼ばれる機能ブロックが追加されていることである。この部分で、圧縮動作時には圧縮データがコードストリームとして生成され、伸張動作時には伸張に必要なコードストリームの解釈が行われる。そして、コードストリームによって、ＪＰＥＧ２０００は様々な便利な機能を実現できるようになった。ＪＰＥＧ２０００のアルゴリズムは高圧縮率（低ビットレート）での画質が良好であるほか、多くの特徴を有する。
【００６７】
その１つが、符号化データの符号の削除（トランケーション）によるポスト量子化によって、再圧縮を行うことなく全体の符号量を調整できることである。この符号削除は、タイルやプレシンクトなどの領域、コンポーネント、デコンポジションレベル（もしくは解像度レベル）、ビットプレーン、サブビットプレーン、パケット、マルチレイヤ構成の場合にはレイヤなど、多様な単位で行うことができる。
【００６８】
例えば、図３はデコンポジションレベル数が３の場合の、各デコンポジションレベルにおけるサブバンドを示す図であるが、図３に示したブロックベースでのＤＷＴにおけるオクターブ分割の階層に対応した任意の階層で、静止画像の圧縮伸張処理を停止させることができる。なお、デコンポジションレベルと解像度レベルとの関係であるが、各サブバンドに対し、３ＬＬの解像度レベルが０、３ＨＬ，３ＬＨ，３ＨＨの解像度レベルが１、２ＨＬ，２ＬＨ，２ＨＨの解像度レベルが２、１ＨＬ，１ＬＨ，１ＨＨの解像度レベルが３となっている。また、ここでの「デコンポジション」に関し、ＪＰＥＧ２０００ ＰａｒｔI ＦＤＩＳ（Final Draft international Standard）には、以下のように定義されている。
【００６９】
decomposition level：
A collection of wavelet subbands where each coefficient has the same spatial impact or span with respect to the source component samples. These include the HL,LH,and HH subbands of the same two dimensional subband decomposition. For the last decomposition level the LL subband is also included.
【００７０】
もう１つは、符号化データのレイヤの再構成を符号状態のままで行うことができることである。もう１つは、あるプログレッション順序の符号化コードを、符号状態のままで別のプログレッション順序の符号化データに再構成することが可能であることである。もう１つは、マルチレイヤの符号化データを、符号状態のまま、レイヤ単位で２以上の符号化コードに分割可能であることである。
【００７１】
以下、ＪＰＥＧ２０００アルゴリズムについて、順を追って詳細に説明する。
原画像の入出力部分には、図１のように色空間変換部１が接続されることが多い。例えば、原色系のＲ（赤）／Ｇ（緑）／Ｂ（青）の各コンポーネントからなるＲＧＢ表色系や、補色系のＹ（黄）／Ｍ（マゼンタ）／Ｃ（シアン）の各コンポーネントからなるＹＭＣ表色系から、ＹＵＶ或いはＹＣｂＣｒ表色系への変換又は逆の変換を行う部分がこれに相当する。
【００７２】
図４は、タイル分割されたカラー画像の各コンポーネントの例を示す図である。
カラー画像は、一般に図４に示すように、原画像の各コンポーネント７Ｒ，７Ｇ，７Ｂ（ここではＲＧＢ原色系）が、矩形をした領域（タイル）７Ｒｔ，７Ｇｔ，７Ｂｔによって分割される。そして、個々のタイル、例えば、Ｒ００，Ｒ０１，．．．，Ｒ１５／Ｇ００，Ｇ０１，．．．，Ｇ１５／Ｂ００，Ｂ０１，．．．，Ｂ１５が、圧縮伸張プロセスを実行する際の基本単位となる。このように、圧縮処理の対象となる画像データ（動画を扱う場合には各フレームの画像データ）は、コンポーネント毎にタイルと呼ばれる重複しない矩形領域に分割され、コンポーネント毎にタイルを単位として処理される。すなわち、圧縮伸張動作は、コンポーネント毎、そしてタイル毎に、独立に行なわれる。ただし、タイルサイズを画像サイズと同一にすること、つまりタイル分割を行わないことも可能である。
【００７３】
このように、符号化時には、各コンポーネントの各タイルのデータが、圧縮率の向上を目的として図１の色空間変換部１に入力され、ＲＧＢデータやＣＭＹデータからＹＣｒＣｂデータへの色空間変換を施されたのち、色空間変換後の各コンポーネントの各タイル画像に対し２次元ウェーブレット変換部２で２次元ウェーブレット変換（順変換）が適用されて周波数帯に空間分割される。なお、この色空間変換が省かれる場合もある。
【００７４】
図３を参照して、デコンポジションレベル数が３の場合の、２次元ウェーブレット変換部２での処理を説明する。２次元ウェーブレット変換部２では、まず、原画像のタイル分割によって得られたタイル原画像（０ＬＬ）（デコンポジションレベル０（６０））に対して２次元ウェーブレット変換を施し、デコンポジションレベル１（６１）に示すサブバンド１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨを分離する。すなわち、原画像タイル（６０）がデコンポジションレベル１（６１）に示すサブバンドに分割される。そして引き続き、この階層における低周波成分１ＬＬに対して、２次元ウェーブレット変換を施し、デコンポジションレベル２（６２）に示すサブバンド２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨを分離する。順次同様に、低周波成分２ＬＬに対しても、２次元可逆ウェーブレット変換を施し、デコンポジションレベル３（６３）に示すサブバンド３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨを分離する。ここで、各デコンポジションレベルにおいて符号化の対象となるサブバンドは、例えば、デコンポジションレベル数を３とした時、サブバンド３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨが符号化対象となり、３ＬＬサブバンドは符号化されない。
【００７５】
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図１の量子化部３で対象ビット周辺のビットからコンテキストが生成される。つまり、上述したような低周波成分（ＬＬサブバンド係数）の再帰的分割（オクターブ分割）により得られたウェーブレット係数は、サブバンド毎に量子化・逆量子化部３にて量子化されることとなる。ＪＰＥＧ２０００ではロスレス（可逆）圧縮とロッシー（非可逆）圧縮のいずれも可能であり、ロスレス圧縮の場合には量子化ステップ幅は常に１であり、この段階では量子化されない。量子化の処理が終わったウェーブレット係数は、例えば８ｂｉｔの原画像に対し１２ｂｉｔに増える。
【００７６】
続いて、エントロピー符号化部４では、コンテキストと対象ビットから確率推定によって、各コンポーネントのタイルに対する符号化を行う。こうして、原画像の全てのコンポーネントについて、タイル単位で符号化処理が行われる。量子化後の各サブバンド係数に対するこのエントロピー符号化には、ブロック分割、係数モデリング及び２値算術符号化からなるＥＢＣＯＴ（Ｅｍｂｅｄｄｅｄ Ｂｌｏｃｋ Ｃｏｄｉｎｇ ｗｉｔｈ Ｏｐｔｉｍｉｚｅｄ Ｔｒｕｎｃａｔｉｏｎ）と呼ばれる符号化方式が用いられ、量子化後の各サブバンド係数のビットプレーンが上位プレーンから下位プレーンへ向かって、コードブロックと呼ばれるブロック毎に符号化される。
【００７７】
最後にタグ処理部５は、符号形成プロセスを行う。タグ処理部５で行う符号形成プロセスにおいては、エントロピー符号化部４からの全符号化データを１本のコードストリームに結合するとともに、それにタグを付加する処理を行う。タグ処理部５では、まず、エントロピー符号化部４で生成されたコードブロックの符号をまとめてパケットが生成され、ここで生成されたパケットがプログレッション順序に従って並べられるとともに必要なタグ情報が付加されることにより、所定のフォーマットの符号化データが作成される。なお、ＪＰＥＧ２０００では、符号順序制御に関して、解像度レベル、プレシンクト（ｐｏｓｉｔｉｏｎ）、レイヤ、コンポーネント（色成分）の組み合わせによる５種類のプログレッション順序が定義されている。
【００７８】
ここで、エントロピー符号化部４におけるエントロピー符号化、及びタグ処理部５における符号形成プロセスの詳細を例を挙げて説明する。
量子化の処理が終わったウェーブレット係数は、個々のサブバンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。更に、個々のプレシンクトは、重複しない矩形の「コードブロック」に分けられる。
【００７９】
ここで、プレシンクト、コードブロック、パケット、レイヤについて簡単に説明する。画像≧タイル≧サブバンド≧プレシンクト≧コードブロックの大きさ関係がある。
プレシンクトとは、サブバンドの矩形領域で、同じデコンポジションレベルのＨＬ，ＬＨ，ＨＨサブバンドの空間的に同じ位置にある３つの領域の組が１つのプレシンクトとして扱われる。ただし、ＬＬサブバンドでは、１つの領域が１つのプレシンクトとして扱われる。プレシンクトのサイズをサブバンドと同じサイズにすることも可能である。また、プレシンクトを分割した矩形領域がコードブロックである。プレシンクトに含まれる全てのコードブロックの符号の一部（例えば最上位から３ビット目までの３枚のビットプレーンの符号）を取り出して集めたものがパケットである。符号が空（から）のパケットも許される。コードブロックの符号をまとめてパケットを生成し、所望のプログレッション順序に従ってパケットを並べることにより符号データを形成する。なお、後述するが、図９の各タイルに関するＳＯＤ以下の部分がパケットの集合である。全てのプレシンクト（つまり、全てのコードブロック、全てのサブバンド）のパケットを集めると、画像全域の符号の一部（例えば、画像全域のウェーブレット係数の最上位のビットプレーンから３枚目までのビットプレーンの符号）ができるが、これがレイヤである（ただし、次に示す例のように、必ずしも全てのプレシンクトのパケットをレイヤに含めなくともよい）。したがって、伸張時に復号されるレイヤ数が多いほど再生画像の画質は向上する。つまり、レイヤは画質の単位とも言える。全てのレイヤを集めると、画像全域の全てのビットプレーンの符号になる。
【００８０】
図５は、プレシンクトとコードブロックの関係を説明するための図である。また、図６乃至図８は、デコンポジションレベル数が２（解像度レベル数＝３）の場合のパケットとレイヤの一例を示す図で、図６は一般的なレイヤ構成例を、図７は複数の機器のそれぞれに応じたサムネイル出力が可能なレイヤ構成例を、図８は伝送路容量に応じたサムネイル出力が可能なレイヤ構成例を、それぞれ示している。
【００８１】
量子化の処理が終わったウェーブレット係数は、個々のサブバンド毎にプレシンクトに分割されるが、図５に示したように、一つのプレシンクト（例えばプレシンクト８ｐ４）は、空間的に一致した３つの矩形領域からなっている。プレシンクト８ｐ６も同様である。すなわち、図５中のプレシンクトと記された空間的に同じ位置にある３つの領域の組が１つのプレシンクトとして扱われる。なお、ここで原画像８はデコンポジションレベル１でタイル８ｔ０，８ｔ１，８ｔ２，８ｔ３の４つのタイルに分割されている。更に、個々のプレシンクトは、重複しない矩形の「コードブロック」（プレシンクト８ｐ４に対してはコードブロック８４ｂ０，８４ｂ１，．．．）に分けられる。これは、エントロピー符号化部４にてエントロピーコーディングを行う際の基本単位となる。
【００８２】
符号化効率を上げるために、図６乃至図８で後に例示するように、係数値をビットプレーン単位に分解し、画素或いはコードブロック毎にビットプレーンに順序付けを行い、１又は複数のビットプレーンからなる層（レイヤ）を構成することもある。すなわち係数値のビットプレーンから、その有意性に基づいた層（レイヤ）を構成し、そのレイヤごとに符号化を行う。最も有意なレイヤである最上位レイヤ（ＭＳＢ）とその下位レイヤを数レイヤだけ符号化し、最も有意でないレイヤ（ＭＬＢ）を含んだそれ以外のレイヤをトランケートすることもある。
【００８３】
図６を参照して、デコンポジションレベル数＝２（解像度レベル数＝３）の場合のパケットとレイヤの構成例（レイヤ数＝１０）を示す。図中の縦長の小さな矩形がパケットであり、その内部に示した数字はパケット番号である。レイヤを濃淡を付けた横長矩形領域として図示してある。すなわち、この例では、パケット番号０〜５１のパケットの符号からなるレイヤ０、パケット番号５２〜７２のパケットの符号からなるレイヤ１、パケット番号７３〜９３のパケットの符号からなるレイヤ２、パケット番号９４〜１１４のパケットの符号からなるレイヤ３、パケット番号１１５〜１３５のパケットの符号からなるレイヤ４、パケット番号１３６〜１５６のパケットの符号からなるレイヤ５、パケット番号１５７〜１７７のパケットの符号からなるレイヤ６、パケット番号１７８〜１９８のパケットの符号からなるレイヤ７、パケット番号１９９〜２１５のパケットの符号からなるレイヤ８、及び、残りのパケット番号２１６〜２２８のパケットの符号からなるレイヤ９の１０レイヤに分割されている。なお、パケットとプレシンクトとの対応関係などは、プログレッション順序の違いやレイヤ分割数等により様々に変化するものであり、上に示したレイヤ構成はあくまで一例である。
【００８４】
図７を参照して、複数の機器のそれぞれに応じたサムネイル出力が可能なレイヤ構成例を説明する。この例では、図６の構成例と同様のレイヤ構成をとるが、本発明の特徴部分として後述する対応関係情報であって、記録媒体や圧縮符号データのヘッダ部分に記録しておくための対応関係情報として、同一の濃淡で示したパケット番号２，１０，１８，２６，５４，７５のパケットの符号からなるサムネイル情報（パケット番号２，１０，１８，２６，５４，７５）を、例えばデジタルカメラのサムネイル出力用に対応させておく。同様に、画像ビューワソフトのサムネイル表示用に、情報「パケット番号９６，１１７」を対応させておく。また、同様に、携帯電話における表示用に、情報「２ＬＬ」を対応させておく。
【００８５】
図８を参照して、デコンポジションレベル数＝２（解像度レベル数＝３）の場合のパケットとレイヤの構成例として、伝送路容量に応じたサムネイル出力が可能なレイヤ構成例（レイヤ数＝１３）を説明する。この例では、同一の濃淡で示したパケット番号０〜３のパケットの符号からなるレイヤ０、同一の濃淡で示したパケット番号４〜１１のパケットの符号からなるレイヤ１、同一の濃淡で示したパケット番号４〜７，１２〜１９のパケットの符号からなるレイヤ２、同一の濃淡で示したパケット番号１２〜１５，２０〜５１のパケットの符号からなるレイヤ３、同一の濃淡で示したパケット番号５２〜７２のパケットの符号からなるレイヤ４、同一の濃淡で示したパケット番号７３〜９３のパケットの符号からなるレイヤ５、同一の濃淡で示したパケット番号９４〜１１４のパケットの符号からなるレイヤ６、同一の濃淡で示したパケット番号１１５〜１３５のパケットの符号からなるレイヤ７、同一の濃淡で示したパケット番号１３６〜１５６のパケットの符号からなるレイヤ８、同一の濃淡で示したパケット番号１５７〜１７７のパケットの符号からなるレイヤ９、同一の濃淡で示したパケット番号１７８〜１９８のパケットの符号からなるレイヤ１０、同一の濃淡で示したパケット番号１９９〜２１５のパケットの符号からなるレイヤ１１、及び、同一の濃淡で示した残りのパケット番号２１６〜２２８のパケットの符号からなるレイヤ１２の１３レイヤに分割されている。なお、パケットとプレシンクトとの対応関係などは、プログレッション順序の違いやレイヤ分割数等により様々に変化するものであり、上に示したレイヤ構成はあくまで一例である。
【００８６】
図６乃至図８のいずれのレイヤ構成例も、パケットとして、符号データを分割しておき、パケット番号の小さいものから順番に所定サイズになるまでパケットを追加していき、所定サイズになったところまでを１レイヤとしている。また、ここで示したレイヤ構成例では、サブビットプレーンとして１ｂｉｔをＲｅｆｉｎｅｍｅｎｔ，Ｓｉｇｎｉｆｉｃａｎｔ，Ｃｌｅａｎｕｐの３つに分割した例を示しているが、サブビットプレーンでさらに細かく分割しておけば、より細かい制御が可能である。さらに、パケットの優先度の順番を入れ替えることにより、解像度を重視した順番、画質を重視した順番、位置を重視した順番などに変更可能となる。なお、図６乃至図８で示したレイヤ構成例は、図２のステップＳ５と共に図示したものに対応している。
【００８７】
図９には、符号形成プロセスにて生成されるＪＰＥＧ２０００の符号化データのフォーマット（コードストリームの構造）を簡単に示している。この符号化データは、各種のタグ情報が付加されている。すなわち、図９に見られるように、符号化データは、コードストリームの始まりを示すＳＯＣマーカ９ｓで始まり、その後に符号化パラメータや量子化パラメータ等を記述したメインヘッダ（Ｍａｉｎ Ｈｅａｄｅｒ）９ｈが続き、その後に各タイル毎の符号データが続く。各タイル毎の符号データは、ＳＯＴマーカ９ｓｔで始まり、タイルヘッダ（Ｔｉｌｅ Ｈｅａｄｅｒ）９ｔｈ、ＳＯＤマーカ９ｓｄ、タイルデータ（Ｔｉｌｅ Ｄａｔａ；符号化データ（ビットストリーム９ｂ））で構成される。そして、コードストリームの終端（最後のタイルデータの後）には、再び、終了を示すタグ（ＥＯＣタグ９ｅ）が置かれる。
【００８８】
図１０は、図９のメインヘッダの構成を示す図である。
図１０に示すように、図９のメインヘッダ９ｈは、画像とタイルのサイズ（ＳＩＺ）に続いて、デフォルト符号スタイル（ＣＯＤ；必須）、符号スタイル成分（ＣＯＣ）、デフォルト量子化（ＱＣＤ；必須）、量子化成分（ＱＣＣ）、ＲＯＩ（ＲＧＮ）、デフォルトプログレッシブ順序（ＰＯＣ）、集約パケット（ＰＰＭ）、タイル長（ＴＬＭ）、パケット長（ＰＬＭ）、色定義（ＣＲＧ）、コメント（ＣＯＭ）から構成される。ＳＩＺ及び必須と示したマーカセグメント（ＣＯＤ，ＱＣＤ）以外は、オプションとなる。
【００８９】
図１１は、ＪＰＥＧ２０００の基本方式のファイルフォーマットの構成を示す図である。
ＪＰＥＧ２０００の基本方式のファイルフォーマットはＪＰ２ファイルフォーマットと称し、図９で説明したＪＰＥＧ２０００符号フォーマットを包含するものであり、画像データやメタデータ、階調数や色空間等の画像の性質を表す情報、知的所有権情報等の情報を含むことを目的としたフォーマットである。ＪＰ２ファイルフォーマットで構成されたＪＰ２ファイルの情報構造は、ｂｏｘと称する情報の区切りから構成され、ｍｅｔａｄａｔａと称するアプリケーションに特化した情報を含む。ＪＰ２ファイルの情報構造は、図１１に実線（必須）と破線（オプション）で示すように、ＪＰＥＧ２０００ Ｓｉｇｎａｔｕｒｅ ｂｏｘ，Ｆｉｌｅ Ｔｙｐｅ ｂｏｘ，ＪＰ２ Ｈｅａｄｅｒ ｂｏｘ，Ｃｏｎｔｉｇｕｏｕｓ Ｃｏｄｅｓｔｒｅａｍ ｂｏｘからなる。詳細は図示の通りである。
【００９０】
一方、復号化時には、符号化時とは逆に、各コンポーネントの各タイルのコードストリームから画像データを生成する。図１を用いて簡単に説明する。この場合、タグ処理部５は、外部より入力したコードストリームに付加されたタグ情報を解釈し、コードストリームを各コンポーネントの各タイルのコードストリームに分解し、その各コンポーネントの各タイルのコードストリーム毎に復号化処理が行われる。コードストリーム内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、逆量子化部３で、その対象ビット位置の周辺ビット（既に復号化を終えている）の並びからコンテキストが生成される。エントロピー復号化部４で、このコンテキストとコードストリームから確率推定によって復号化を行い対象ビットを生成し、それを対象ビットの位置に書き込む。
【００９１】
このようにして復号化されたデータは各周波数帯域毎に空間分割されているため、これを２次元ウェーブレット逆変換部２で２次元ウェーブレット逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間逆変換部１によって元の表色系のデータに変換される。
【００９２】
以下、本発明の実施の形態について詳細に説明する。
図１２は、本発明の画像処理装置を説明するための参考例の機能ブロック図で、図１３は、図１２における画像処理方法を説明するためのフロー図である。なお、図１３は、本発明の画像処理方法の手順を説明するための参考例のフロー図でもある。
【００９３】
ここで説明する参考例の画像処理装置は、画像処理用のデータを作成する装置であり、分割手段，符号サイズ算出手段，記憶手段を有するものとする。図１２では、画像処理装置２０が、画像読込部２１、分割手段をもつ画質分割部２２、符号サイズ算出手段をもつ符号サイズ算出部２３、記憶手段をもつ符号サイズ記録部２４より構成されているものとして説明する。
【００９４】
分割手段では、圧縮画像の符号データを複数の画質レベルに分割する。ここで、画質レベルがレイヤであるようにしてもよい。符号サイズ算出手段ではその画質レベル毎に符号サイズを算出する。記憶手段では、算出された画質レベル毎の符号サイズから、画質と符号サイズとの対応関係を記憶する。これらの手段により、画質と画質毎の符号サイズとの対応関係（対応関係の情報）を生成することができる。
【００９５】
画像圧縮装置２０は、画像データ（圧縮画像の符号データ）を画像読込部（符号読込部ともいえる）２１で読み込み（ステップＳ１１）、画質分割部２２で圧縮画像の符号データを複数の画質レベルに分割する（ステップＳ１２）。続いて、符号サイズ算出部２３にてその画質レベル毎に符号サイズを算出する（ステップＳ１３）。次に、符号サイズ記録部２４にて、符号サイズ算出部２３で算出された画質レベル毎の符号サイズから、画質と符号サイズとの対応関係を記憶する（ステップＳ１４）。ここで記憶は、ＲＡＭやＲＯＭなどの各種記録媒体に対して実行すればよい。
【００９６】
図１４は、図１２の画像処理装置において記録する対応関係の一例を示す図である。
画像処理装置２０では対応関係を記憶することとなるが、画質レベルがレイヤである場合の対応関係の例を、図１４の対応表３０で示す。図１４で示す対応表３０は、伝送路容量（ｂｐｓ）３１と画質レベル３２との対応表であり、伝送路容量（ｂｐｓ）が５．６Ｋの伝送路に対してはレイヤ１０（最重要レイヤ）、同様に、１Ｍに対してレイヤ７（例えばレイヤ７〜０をトランケートする；以下同様）、８Ｍに対してレイヤ５、１０Ｍに対してレイヤ４、１００Ｍに対してレイヤ２、１Ｇに対してレイヤ０、がそれぞれ対応している。ここでは、許容所要時間の目標値を設定しておき、各速度に対し、画質レベルを設定するとよい。なお、画質レベル３２として図１４に例示するレイヤとしては、例えば図６乃至図８のレイヤ構成例に基づくものとするが、レイヤの表記に関しては設定によるものとする。
【００９７】
なお、レイヤ構成に関し、レイヤ構成前では、各サブバンドの各プレシンクト毎に１パケット（例えば１ｂｉｔ目〜１２ｂｉｔ目までの１２ｂｉｔ分）が割り当てられている。レイヤの構成の方法としては、例えば、５．６Ｋの伝送路に対しては、最もデータ容量の小さい画像として切り出せるように、それに適したようなサイズになるように、最も重要な所からそのサイズになる所までのパケットのみを選んでレイヤ０とし、次に１Ｍの伝送路に適した画像サイズも同様に適したサイズになる所までのパケットを積算して求め、これをレイヤ１とする。同様にして続くレイヤも構成していく。
【００９８】
図１２は、本発明の一実施形態に係る画像圧縮装置の構成例を説明するための機能ブロック図でもあり、図１２を再度参照して本発明に係る画像圧縮装置を説明する。
本発明に係る画像圧縮装置は、画像の圧縮符号データを生成する装置であり、上述した分割手段及び符号サイズ算出手段と、記憶手段の代替手段としての埋め込み手段とを有するものとする。埋め込み手段では、符号サイズ算出手段で算出された画質レベル毎の符号サイズから、画質と符号サイズとの対応関係を符号中に埋め込む。この埋め込み手段としては、まず記憶或いは一時記憶を行ってから符号中に対応関係を埋め込むようにしてもよい。図１２で示す画像圧縮装置２０は、上述の画像処理装置において符号サイズ記録部が符号サイズ埋込部２４に入れ替わった構成をもつものとする。
【００９９】
符号サイズ埋込部２４では、符号データ形成時に、例えば、画像読込部２１で読み込んだ圧縮符号データ或いは画質分割部２２で分割した符号データに対し、そのヘッダ部分に対応関係をサムネイル情報として埋め込むようにしてもよい。
【０１００】
また、サムネイル情報の埋め込み場所（記録場所）の候補例としては、図１０におけるＣＯＭマーカ、図１１におけるファイルフォーマットＸＭＬｂｏｘｅｓ、同じくファイルフォーマットＵＵＩＤｂｏｘｅｓなどが挙げられるが、他の記録場所を採用してもよい。ＸＭＬの記述例を以下に示す。
【０１０１】
図１２乃至図１４を参照して、説明した画像処理装置及び画像圧縮装置においては、複数の画質レベルに分割し、結果として画質と符号サイズとの対応関係を求めたが、画質レベルの代わりに、矩形領域を採用してもよい。ここでの分割手段は、圧縮画像の符号データを複数の矩形領域に分割することとなる。そして、符号サイズ算出手段でその矩形領域毎に符号サイズを算出し、埋め込み手段（参考例では、記憶手段）で、算出された矩形領域毎の符号サイズから、領域と符号サイズとの対応関係を生成して符号中に埋め込む（参考例では、記憶する）。また、分割手段は、タイル，プレシンクト，コードブロックのいずれかに基づいて符号データを矩形領域に分割する手段を有するようにしてもよい。すなわち、分割する領域が、タイル，プレシンクト，コードブロックのいずれかであるようにしてもよい。
【０１０３】
また、画質レベルの代わりに、色コンポーネントを採用してもよい。ここでの分割手段は、圧縮画像の符号データを複数の色コンポーネントに分割することとなる。そして、符号サイズ算出手段でそのコンポーネント毎に符号サイズを算出し、埋め込み手段（参考例では、記憶手段）で、算出されたコンポーネント毎の符号サイズから、コンポーネントと符号サイズとの対応関係を生成して符号中に埋め込む（参考例では、記憶する）。
【０１０４】
また、画質レベルの代わりに、解像度レベルを採用してもよい。ここでの分割手段は、圧縮画像の符号データを複数の解像度レベルに分割することとなる。そして、符号サイズ算出手段でその解像度レベル毎に符号サイズを算出し、埋め込み手段（参考例では、記憶手段）で、算出された解像度レベル毎の符号サイズから、解像度と符号サイズとの対応関係を生成して符号中に埋め込む（参考例では、記憶する）。
【０１０５】
また、画質レベルの代わりに、パケットを採用してもよい。ここでの分割手段は、圧縮画像の符号データを複数のパケットに分割することとなる。そして、符号サイズ算出手段でそのパケット毎に符号サイズを算出し、埋め込み手段（参考例では、記憶手段）で、算出されたパケット単位の符号サイズから、パケットと符号サイズとの対応関係を生成して符号中に埋め込む（参考例では、記憶する）。
【０１０６】
図１５は、本発明の一実施形態に係る画像処理装置の構成例を説明するための機能ブロック図で、図１６は、図１５における画像処理方法を説明するためのフロー図である。なお、図１６は、本発明の一実施形態に係る画像処理方法の手順例を説明するためのフロー図でもある。また、図１５は、本発明の一実施形態に係る画像圧縮装置の構成例を説明するための機能ブロック図でもある。
【０１０７】
本発明の一実施形態に係る画像処理装置は、画像処理用のデータを作成する装置であり、符号サイズ設定手段，画質レベル算出手段，分割手段，符号サイズ算出手段，埋め込み手段を有するものとする。ここでは埋め込み手段の代わりに記憶手段を備えた参考例を説明するが、この記憶手段の代わりに埋め込み手段を備える構成については上述した通りである。図１５では、画像処理装置２０′が、画像読込部２１、分割手段をもつ画質分割部２２、符号サイズ算出手段をもつ符号サイズ算出部２３、記憶手段をもつ符号サイズ記録部２４、符号サイズ設定手段をもつ符号サイズ設定部２５、画質レベル算出手段をもつ画質レベル算出部２６より構成されているものとして説明する。
【０１０８】
符号サイズ設定手段では、少なくとも１種類の符号サイズ（例は後述する）を設定し、画質レベル算出手段では、設定された符号サイズに合う画質レベルを算出する。また、分割手段では、圧縮画像の符号データを複数の画質レベルに分割する。ここで、画質レベルがレイヤであるようにしてもよい。符号サイズ算出手段ではその画質レベル毎に符号サイズを算出する。記憶手段では、画質レベル算出手段で算出された画質レベルと符号サイズ算出手段で算出された符号サイズとから、画質と符号サイズとの対応関係（対応関係の情報）を記憶する。これらの手段により、画質と画質毎の符号サイズとの対応関係を生成することができる。
【０１０９】
画像圧縮装置２０′は、画像データ（圧縮画像の符号データ）を画像読込部（符号読込部ともいえる）２１で読み込み（ステップＳ２１）、画質分割部２２で圧縮画像の符号データを複数の画質レベルに分割する（ステップＳ２４）。続いて、符号サイズ算出部２３にてその画質レベル毎に符号サイズを算出する（ステップＳ２５）。また、ステップＳ２１，Ｓ２４，Ｓ２５との順序は問わないが、符号サイズ設定部２５で少なくとも１種類の符号サイズを設定し（ステップＳ２２）、画質レベル算出部２６で、設定された符号サイズに合う画質レベルを算出する（ステップＳ２３）。そして、符号サイズ記録部２４にて、画質レベル算出部２６で算出された画質レベルと符号サイズ算出部２３で算出された符号サイズとから、画質と符号サイズとの対応関係を記憶する（ステップＳ２６）。ここで記憶は、ＲＡＭやＲＯＭなどの各種記録媒体に対して実行すればよい。
【０１１０】
符号サイズ設定手段では、データ伝送用の伝送路の形態、データ伝送用の伝送路の容量、画像表示装置の種類、画像表示装置の表示解像度、画像表示装置の処理速度、のいずれかに基づいて、少なくとも１種類の符号サイズを設定するようにしてもよい。
【０１１１】
設定する符号サイズがデータ伝送用の伝送路の形態である例としては、例えば、設定する符号サイズとして、「イーサネット（Ｒ）（１００Ｍ）」，「イーサネット（Ｒ）（１Ｇ）」，「イーサネット（Ｒ）（１０Ｍ）」，「光ケーブル（１．１Ｇ）」，「ＡＤＳＬ（８Ｍ）」，「ダイヤルアップ（５．６Ｋ）」などの中から、１種類を少なくとも設定することを意味する。また、設定する符号サイズがデータ伝送用の伝送路の容量である例としては、例えば、「１００Ｍ（イーサネット（Ｒ））」，「１．１Ｇ（光ケーブル）」，「８Ｍ（ＡＤＳＬ）」，「５．６Ｋ（ダイヤルアップ）」などの中から、１種類を少なくとも設定することを意味する。また、設定する符号サイズが画像表示装置の種類である例としては、「携帯電話」，「ＣＲＴ」，「プリンタ」など中から、１種類を少なくとも設定することを意味する。また、設定する符号サイズが画像表示装置の表示解像度である例としては、「ＶＧＡ」，「ＸＶＧＡ」，「ＱＣＩＦ」中から、１種類を少なくとも設定することを意味する。さらに、設定する符号サイズが画像表示装置の処理速度である例としては、ＣＰＵのクロックが「５００ＭＨｚ」，「１ＧＨｚ」，「２ＧＨｚ」など中から、１種類を少なくとも設定することを意味する。ここではメモリの容量も加味するようにしてもよい。
【０１１２】
また、同様に、本発明の一実施形態に係る画像圧縮装置として、画質レベルの代わりに、色コンポーネント，解像度レベル，パケットを採用してもよく、この説明も、図１５及び図１６で説明した画像圧縮装置に関する説明に、図１２乃至図１４に係わる説明を適用することで可能であるので省略する。
【０１１３】
以上、本発明の画像圧縮装置を説明してきたが、この画像圧縮装置では、最終的に、対応関係を符号中に埋め込む処理（参考例では「対応関係を保存する処理」）を行った。次に、これらの処理に続く符号のトランケート処理を行う画像処理装置について説明する。なお、以下の説明においても、上記記憶手段及びそれによる「対応関係を保存する処理」は参考例に過ぎず、本発明ではその代わりに、上記埋め込み手段を備え、「対応関係を符号中に埋め込む処理」を行うものとする。
【０１１４】
図１７は、本発明の他の実施形態に係る画像処理装置の構成例を説明するための機能ブロック図で、図１８は、図１７における画像処理方法を説明するためのフロー図である。なお、図１８は、本発明の他の実施形態に係る画像処理方法の手順例を説明するためのフロー図でもある。
【０１１５】
本発明の他の実施形態に係る画像処理装置は、図１２乃至図１４で説明した各実施形態の画像処理装置において、所望符号サイズ設定手段及び変更手段を備えるものとする。図１７では、画像処理装置２０″が、画像読込部２１、分割手段をもつ画質分割部２２、符号サイズ算出手段をもつ符号サイズ算出部２３、記憶手段をもつ符号サイズ記録部２４、所望符号サイズ設定手段をもつ所望符号サイズ設定部２７、変更手段をもつ符号サイズ変更部２８より構成されているものとして説明する。
【０１１６】
所望符号サイズ設定手段では、所望の符号サイズを設定する。変更手段では、記憶手段に記憶された対応関係に基づいて、圧縮符号データを所望サイズ設定手段で設定された所望のサイズに変更する。すなわち、本実施形態に係る画像処理装置では、符号サイズを設定する手段と、記憶された対応関係に関する情報を元に、符号データを所望のサイズに変更（トランケート）する。
【０１１７】
画像圧縮装置２０″は、画像データ（圧縮画像の符号データ）を画像読込部（符号読込部ともいえる）２１で読み込み（ステップＳ３１）、画質分割部２２で圧縮画像の符号データを複数の画質レベルに分割する（ステップＳ３２）。続いて、符号サイズ算出部２３にてその画質レベル毎に符号サイズを算出する（ステップＳ３３）。そして、符号サイズ記録部２４にて、符号サイズ算出部２３で算出された画質レベル毎の符号サイズとから、画質と符号サイズとの対応関係を記憶する（ステップＳ３４）。ここで記憶は、ＲＡＭやＲＯＭなどの各種記録媒体に対して実行すればよい。ステップ３４の後、所望符号サイズ設定部２７で設定された所望符号サイズに基づき、圧縮画像データを変更する（ステップＳ３５）。
【０１１８】
なお、本実施形態で説明している画像処理装置は、図１５及び図１６で説明した各実施形態の画像処理装置において、所望符号サイズ設定手段及び変更手段を備える形態を採用してもよいが、同様に適用可能であり、その詳細な説明を省略する。ステップＳ３１〜Ｓ３３に前後又は並行して、符号サイズ設定部で少なくとも１種類の符号サイズを設定し、画質レベル算出部で、設定された符号サイズに合う画質レベルを算出しておき、ステップＳ３４の段階でその画質レベルをも鑑みて対応関係を記憶し、記憶した対応関係に基づいて符号サイズ変更部２８で符号サイズを変更するようにすればよい。
【０１１９】
また、本発明の他の実施形態に係る画像処理装置として、図１２乃至図１６を参照して説明した各実施形態に係る画像圧縮装置で生成された圧縮符号データを処理するものとしてもよい。この画像処理装置は、画像圧縮装置で生成された圧縮符号データに埋め込まれた対応関係に基づいて、変更手段により、圧縮符号データを所望サイズ設定手段で設定された所望のサイズに変更するようにするとよい。この実施形態においても、埋め込まれた対応関係に関する情報を元に、符号データを所望のサイズに変更（トランケート）する。
【０１２０】
図１９は、本発明の他の実施形態に係る画像処理装置の構成例を説明するための機能ブロック図で、図２０は、図１９における画像処理方法を説明するためのフロー図である。なお、図２０は、本発明の他の実施形態に係る画像処理方法の手順例を説明するためのフロー図でもある。
【０１２１】
本発明の他の実施形態に係る画像処理装置は、図１２乃至図１４で説明した各実施形態の画像処理装置において、所望符号サイズ設定手段，位置算出手段，位置情報記憶手段を備えるものとする。図１９では、画像処理装置２０″′が、画像読込部２１、分割手段をもつ画質分割部２２、符号サイズ算出手段をもつ符号サイズ算出部２３、記憶手段をもつ符号サイズ記録部２４、所望符号サイズ設定手段をもつ所望符号サイズ設定部２７、位置算出手段及び位置情報記憶手段をもつトランケート情報作成部２９より構成されているものとして説明する。
【０１２２】
所望符号サイズ設定手段では、所望の符号サイズを設定する。位置算出手段では、記憶手段に記憶された対応関係に基づいて、所望サイズ設定手段で設定されたサイズに合わせてトランケート位置を算出する。位置情報記憶手段では、そこで算出されたトランケート位置の情報を記憶する。本実施形態に係る画像処理装置では、設定要求に応じ、随時、トランケート情報を付加してトランケート情報を作成する。すなわち、トランケート情報は、図１７及び図１８で説明した実施形態のように変更する（予め作成しておく）わけではなく、トランケート要求に合わせ、その都度、作成するようにしている。
【０１２３】
画像圧縮装置２０″′は、画像データ（圧縮画像の符号データ）を画像読込部（符号読込部ともいえる）２１で読み込み（ステップＳ４１）、画質分割部２２で圧縮画像の符号データを複数の画質レベルに分割する（ステップＳ４２）。続いて、符号サイズ算出部２３にてその画質レベル毎に符号サイズを算出する（ステップＳ４３）。そして、符号サイズ記録部２４にて、符号サイズ算出部２３で算出された画質レベル毎の符号サイズとから、画質と符号サイズとの対応関係を記憶する（ステップＳ４４）。ここで記憶は、ＲＡＭやＲＯＭなどの各種記録媒体に対して実行すればよい。ステップ４４の後、所望符号サイズ設定部２７で設定の要求が有るか否かを判定し（ステップＳ４５）、要求がなければ処理を終了し、要求が有れば、所望符号サイズ設定を行い（ステップＳ４６）、トランケート情報作成部２９にて、トランケート位置を算出し（ステップＳ４７）、トランケート位置を記録して（ステップＳ４８）、処理を終了する。
【０１２４】
なお、本実施形態で説明している画像処理装置は、図１５及び図１６で説明した各実施形態の画像処理装置とにおいて、所望符号サイズ設定手段，位置算出手段，位置情報記憶手段を備える形態を採用してもよいが、同様に適用可能であり、その詳細な説明を省略する。ステップＳ４１〜Ｓ４３に前後又は並行して、符号サイズ設定部で少なくとも１種類の符号サイズを設定し、画質レベル算出部で、設定された符号サイズに合う画質レベルを算出しておき、ステップＳ４４の段階でその画質レベルをも鑑みて対応関係を記憶し、記憶した対応関係に基づいて、トランケート情報作成部２９でトランケート情報を作成するようにすればよい。
【０１２５】
また、本発明の他の実施形態に係る画像処理装置として、図１２乃至図１６を参照して説明した各実施形態に係る画像圧縮装置で生成された圧縮符号データを処理するものとしてもよい。この画像処理装置は、画像圧縮装置で生成された圧縮符号データに埋め込まれた対応関係に基づいて、位置算出手段により、所望サイズ設定手段で設定されたサイズに合わせてトランケート位置を算出し、算出されたトランケート位置の情報を位置情報記憶手段で記憶するようにするとよい。この実施形態においても、設定要求に応じ、随時、トランケート情報を付加してトランケート情報を作成する。
【０１２６】
ここで、上述した各実施形態に係る画像処理装置（トランケート機能を含む装置）によってトランケートされた後の圧縮画像データを伸張して出力した結果の例を説明する。
図２１は、原画像の一例を示す図で、図２２は、図２１の原画像を本発明に係る画像処理装置で処理し、伸張側の画像処理装置で出力した結果の画像を示す図である。
【０１２７】
図２１の原画像４０に対し、対応関係から低解像度画像を指定した場合、図２２（Ａ）の画像４１のように出力される。同様に、例えば、対応関係から１コンポーネントを指定した場合には図２２（Ｂ）の画像４２が出力され、対応関係からレイヤ０のみを指定した場合には図２２（Ｃ）の画像４３が出力され、対応関係から中心部タイルを指定した場合には図２２（Ｄ）の画像４４が出力される。
【０１２８】
本実施形態に係る画像処理装置及び画像圧縮装置によれば、圧縮された画像データのデータ容量を大きくすることなく且つ画像データのサムネイルを高速に出力する可能な圧縮画像データを生成するための対応関係を生成することが可能となり、これにより画像データを出力媒体に合わせた形態に変換する処理を高速化することも可能となる。例えば、圧縮符号データのヘッダ情報や画像処理装置内の記録媒体に、この対応関係を記録するなどしておくとよい。これにより、この対応関係を圧縮符号データのヘッダ部分に組み込んで画像を配信する、或いはこの対応関係を圧縮符号データとは別途配信するなどの画像配信システムも提供できる。
【０１２９】
また、本発明に係る画像処理装置（トランケート機能付き）によれば、圧縮された画像データのデータ容量を大きくすることなく且つ画像データのサムネイルを高速に出力する可能な圧縮画像データを生成するための対応関係を生成し、その対応関係に基づいて、圧縮データを変更する或いは変更するための情報を生成することが可能となり、これにより画像データを出力媒体に合わせた形態に変換する処理を高速化することも可能となる。これにより、この変更するための情報を圧縮符号データのヘッダ部分に組み込んで画像を配信する、或いはこの変更するための情報を圧縮符号データとは別途配信する、或いは変更（トランケート）後の圧縮符号データとして配信するなどの画像配信システムも提供できる。
【０１３０】
以上、本発明の画像処理装置、画像圧縮装置、及び画像圧縮装置（トランケート機能付き）を中心に各実施形態を説明してきたが、本発明は、一部フロー図としても説明したように、それらの装置における処理手順を含んでなる画像処理方法、画像圧縮方法、画像処理方法（トランケート処理付き）としても、或いは、コンピュータをそれら装置として又はそれらの装置の各手段として機能させるための、又はコンピュータにそれら方法を実行させるためのプログラム（それらの処理内容が実装されているコンピュータプログラム）としても、或いは、そのプログラムを記録したコンピュータ読み取り可能な記録媒体（それらの処理内容が記録されているコンピュータ読み取り可能な情報記録媒体）としての形態も可能である。また、このプログラムや記録媒体により、上述の各実施形態に対応した処理によって、画像データ全体の容量を多くすることなく、サムネイル画像を生成するための対応関係を生成することなどが可能なシステムなど、上述した装置と同様の効果を持ったシステムを提供することができる。これらのプログラムや記録媒体は、上述した実施形態に加え、後述する実施例を元に容易に実施できることは明らかである。
【０１３１】
本発明による画像処理又は画像圧縮又はトランケート機能付き画像処理の機能を実現するためのプログラムやデータを記憶した記録媒体の実施形態を説明する。記録媒体としては、具体的には、ＣＤ−ＲＯＭ、光磁気ディスク、ＤＶＤ−ＲＯＭ、ＦＤ、フラッシュメモリ、及びその他各種ＲＯＭやＲＡＭ等が想定でき、これら記録媒体に上述した本発明の各実施形態に係る機能をコンピュータに実行させ、画像の処理，圧縮，処理（トランケート処理付き）のいずれか１又は複数の機能を実現するためのプログラムを記録して流通させることにより、当該機能の実現を容易にする。そしてコンピュータ（汎用コンピュータやその他の機器）等の情報処理装置に上記のごとくの記録媒体を装着して情報処理装置によりプログラムを読み出し、そのまま起動させるか機器に伝送するか、若しくは情報処理装置が備えている記憶媒体に当該プログラムを記憶させておき、必要に応じて読み出すことにより、本発明に関わる機能を実行することができる。
【０１３２】
ここで上述した各実施形態に適用可能な装置の構成例を説明する。
図２３は、本発明に係る画像処理装置又は画像圧縮装置の一構成例を示す図である。
ここで例示する本発明に係る画像処理装置は、データバス５３を介して、ＲＡＭ５１，ＣＰＵ５２，ＨＤＤ５４が接続された構成となっており、以下の流れで、原画像の画像データ（圧縮符号データ）から、対応関係データが生成され、ＨＤＤ５４に保存されることとなる。本発明に係る画像圧縮装置の場合、対応関係データが埋め込まれた圧縮符号データが生成され、ＨＤＤ５４に保存されることとなるが、この説明は省略する。トランケート機能付きの画像処理装置についても同様に説明を省略する。
【０１３３】
ＨＤＤ５４上に記録された原画像の画像データ（又は圧縮された画像データ）が、ＣＰＵ５２からの命令によってＲＡＭ５１上に読み込まれる（ｉ）。次に、ＣＰＵ５２はＲＡＭ５１上の画像データを読み込み、本発明に係る対応関係作成処理を適用して対応関係データを生成する（ｉｉ）。ＣＰＵ５２は、生成された対応関係データをＲＡＭ５１上の別の領域に書き込む（ｉｉｉ）。ＣＰＵ５２からの命令によって、対応関係データがＨＤＤ５４上に記録される（ｉｖ）。
【０１３４】
【発明の効果】
本発明によれば、圧縮された画像データのデータ容量を大きくすることなく且つ画像データのサムネイルを高速に出力する可能な圧縮画像データを生成するための対応関係を生成することが可能となり、これにより画像データを出力媒体に合わせた形態に変換する処理を高速化することも可能となる。
【０１３５】
また、本発明によれば、圧縮された画像データのデータ容量を大きくすることなく且つ画像データのサムネイルを高速に出力する可能な圧縮画像データを生成するための対応関係を生成し、その対応関係に基づいて、圧縮データを変更する或いは変更するための情報を生成することが可能となり、これにより画像データを出力媒体に合わせた形態に変換する処理を高速化することも可能となる。
【図面の簡単な説明】
【図１】 ＪＰＥＧ２０００の基本となる階層符号化・復号化アルゴリズムを説明するためのブロック図である。
【図２】 ＪＰＥＧ２０００のアルゴリズムを説明するための簡略化されたフロー図である。
【図３】 デコンポジションレベル数が３の場合の、各デコンポジションレベルにおけるサブバンドを示す図である。
【図４】 タイル分割されたカラー画像の各コンポーネントの例を示す図である。
【図５】 プレシンクトとコードブロックの関係を説明するための図である。
【図６】 デコンポジションレベル数が２（解像度レベル数＝３）の場合のパケットとレイヤの一例を示す図で、一般的なレイヤ構成例を示す図である。
【図７】 デコンポジションレベル数が２（解像度レベル数＝３）の場合のパケットとレイヤの一例を示す図で、複数の機器のそれぞれに応じたサムネイル出力が可能なレイヤ構成例を示す図である。
【図８】 デコンポジションレベル数が２（解像度レベル数＝３）の場合のパケットとレイヤの一例を示す図で、伝送路容量に応じたサムネイル出力が可能なレイヤ構成例を示す図である。
【図９】 符号形成プロセスにて生成されるＪＰＥＧ２０００の符号化データのフォーマット（コードストリームの構造）を簡単に示す図である。
【図１０】 図９のメインヘッダの構成を示す図である。
【図１１】 ＪＰＥＧ２０００の基本方式のファイルフォーマットの構成を示す図である。
【図１２】 本発明の画像処理装置を説明するための参考例の機能ブロック図である。
【図１３】 図１２における画像処理方法を説明するためのフロー図で、本発明の画像処理方法の手順を説明するための参考例のフロー図でもある。
【図１４】 図１２の画像圧縮装置において記録する対応関係の一例を示す図である。
【図１５】 本発明の一実施形態に係る画像処理装置の構成例を説明するための機能ブロック図である。
【図１６】 図１５における画像処理方法を説明するためのフロー図で、本発明の一実施形態に係る画像処理方法の手順例を説明するためのフロー図でもある。
【図１７】 本発明の他の実施形態に係る画像処理装置の構成例を説明するための機能ブロック図である。
【図１８】 図１７における画像処理方法を説明するためのフロー図で、本発明の他の実施形態に係る画像処理方法の手順例を説明するためのフロー図でもある。
【図１９】 本発明の他の実施形態に係る画像処理装置の構成例を説明するための機能ブロック図である。
【図２０】 図１９における画像処理方法を説明するためのフロー図で、本発明の他の実施形態に係る画像処理方法の手順例を説明するためのフロー図でもある。
【図２１】 原画像の一例を示す図である。
【図２２】 図２１の原画像を本発明に係る画像処理装置で処理し、伸張側の画像処理装置で出力した結果の画像を示す図である。
【図２３】 本発明に係る画像処理装置又は画像圧縮装置の一構成例を示す図である。
【符号の説明】
１…色空間変換・逆変換部、２…２次元ウェーブレット変換・逆変換部、３…量子化・逆量子化部、４…エントロピー符号化・復号化部、５…タグ処理部、２０，２０′…画像処理装置（画像圧縮装置）、２０″，２０″′…画像処理装置、２１…画像読込部、２２…画質分割部、２３…符号サイズ算出部、２４…符号サイズ記録部（符号サイズ埋込部）、２５…符号サイズ設定部、２６…画質レベル算出部、２７…所望符号サイズ設定部、２８…符号サイズ変更部、２９…トランケート情報作成部、５１…ＲＡＭ、５２…ＣＰＵ、５３…データバス、５４…ＨＤＤ。
Claims (17)
- 画像の圧縮符号データを生成する画像圧縮装置において、少なくとも１種類の符号サイズを設定する符号サイズ設定手段と、該設定された符号サイズに合う画質レベルを算出する画質レベル算出手段と、圧縮画像の符号データを複数の画質レベルに分割する分割手段と、該画質レベル毎に符号サイズを算出する符号サイズ算出手段と、前記画質レベル算出手段で算出された画質レベルと前記符号サイズ算出手段で算出された符号サイズとから、画質と符号サイズとの対応関係を符号中に埋め込む埋め込み手段と、を有することを特徴とする画像圧縮装置。
- 前記符号サイズ設定手段は、データ伝送用の伝送路の形態、データ伝送用の伝送路の容量、画像表示装置の種類、画像表示装置の表示解像度、画像表示装置の処理速度、のいずれかに基づいて、少なくとも１種類の符号サイズを設定することを特徴とする請求項１記載の画像圧縮装置。
- 前記画質レベルはレイヤであることを特徴とする請求項１又は２記載の画像圧縮装置。
- 画像の圧縮符号データを生成する画像圧縮装置において、圧縮画像の符号データを複数の色コンポーネントに分割する分割手段と、該コンポーネント毎に符号サイズを算出する符号サイズ算出手段と、該算出されたコンポーネント毎の符号サイズから、コンポーネントと符号サイズとの対応関係を符号中に埋め込む埋め込み手段と、を有することを特徴とする画像圧縮装置。
- 画像の圧縮符号データを生成する画像圧縮装置において、圧縮画像の符号データを複数のパケットに分割する分割手段と、該パケット毎に符号サイズを算出する符号サイズ算出手段と、該算出されたパケット単位の符号サイズから、パケットと符号サイズとの対応関係を符号中に埋め込む埋め込み手段と、を有することを特徴とする画像圧縮装置。
- 請求項１乃至５のいずれか１記載の画像圧縮装置で生成された圧縮符号データを処理する画像処理装置であって、所望の符号サイズを設定する所望符号サイズ設定手段と、前記画像圧縮装置で生成された圧縮符号データに埋め込まれた対応関係に基づいて、前記圧縮符号データを前記所望サイズ設定手段で設定された所望のサイズに変更する変更手段と、を有することを特徴とする画像処理装置。
- 請求項１乃至５のいずれか１記載の画像圧縮装置で生成された圧縮符号データを処理する画像処理装置であって、所望の符号サイズを設定する所望符号サイズ設定手段と、前記画像圧縮装置で生成された圧縮符号データに埋め込まれた対応関係に基づいて、前記所望サイズ設定手段で設定されたサイズに合わせてトランケート位置を算出する位置算出手段と、該算出されたトランケート位置の情報を記憶する位置情報記憶手段と、を有することを特徴とする画像処理装置。
- 画像の圧縮符号データを生成する画像圧縮方法において、少なくとも１種類の符号サイズを設定する符号サイズ設定ステップと、該設定された符号サイズに合う画質レベルを算出する画質レベル算出ステップと、圧縮画像の符号データを複数の画質レベルに分割する分割ステップと、該画質レベル毎に符号サイズを算出する符号サイズ算出ステップと、前記画質レベル算出ステップで算出された画質レベルと前記符号サイズ算出ステップで算出された符号サイズとから、画質と符号サイズとの対応関係を符号中に埋め込む埋め込みステップと、を有することを特徴とする画像圧縮方法。
- 前記符号サイズ設定ステップは、データ伝送用の伝送路の形態、データ伝送用の伝送路の容量、画像表示装置の種類、画像表示装置の表示解像度、画像表示装置の処理速度、のいずれかに基づいて、少なくとも１種類の符号サイズを設定することを特徴とする請求項８記載の画像圧縮方法。
- 前記画質レベルはレイヤであることを特徴とする請求項８又は９記載の画像圧縮方法。
- 画像の圧縮符号データを生成する画像圧縮方法において、圧縮画像の符号データを複数の色コンポーネントに分割する分割ステップと、該コンポーネント毎に符号サイズを算出する符号サイズ算出ステップと、該算出されたコンポーネント毎の符号サイズから、コンポーネントと符号サイズとの対応関係を符号中に埋め込む埋め込みステップと、を有することを特徴とする画像圧縮方法。
- 画像の圧縮符号データを生成する画像圧縮方法において、圧縮画像の符号データを複数のパケットに分割する分割ステップと、該パケット毎に符号サイズを算出する符号サイズ算出ステップと、該算出されたパケット単位の符号サイズから、パケットと符号サイズとの対応関係を符号中に埋め込む埋め込みステップと、を有することを特徴とする画像圧縮方法。
- 請求項８乃至１２のいずれか１記載の画像圧縮方法で生成された圧縮符号データを処理する画像処理方法であって、所望の符号サイズを設定する所望符号サイズ設定ステップと、前記画像圧縮方法で生成された圧縮符号データに埋め込まれた対応関係に基づいて、前記圧縮符号データを前記所望サイズ設定ステップで設定された所望のサイズに変更する変更ステップと、を有することを特徴とする画像処理方法。
- 請求項８乃至１２のいずれか１記載の画像圧縮方法で生成された圧縮符号データを処理する画像処理方法であって、所望の符号サイズを設定する所望符号サイズ設定ステップと、前記画像圧縮方法で生成された圧縮符号データに埋め込まれた対応関係に基づいて、前記所望サイズ設定ステップで設定されたサイズに合わせてトランケート位置を算出する位置算出ステップと、該算出されたトランケート位置の情報を記憶する位置情報記憶ステップと、を有することを特徴とする画像処理方法。
- 請求項６又は７記載の画像処理装置として、或いは、請求項１乃至５のいずれか１記載の画像圧縮装置として、コンピュータを機能させるためのプログラム。
- 請求項１３又は１４記載の画像処理方法、或いは、請求項８乃至１２のいずれか１記載の画像圧縮方法を、コンピュータに実行させるためのプログラム。
- 請求項１５又は１６記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003037919A JP4349816B2 (ja) | 2003-02-17 | 2003-02-17 | 画像処理装置、画像圧縮装置、画像処理方法、画像圧縮方法、プログラム、及び記録媒体 |
| US10/781,551 US7406202B2 (en) | 2003-02-17 | 2004-02-17 | Image processing apparatus, image compression apparatus, image processing method, image compression method, program, and recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003037919A JP4349816B2 (ja) | 2003-02-17 | 2003-02-17 | 画像処理装置、画像圧縮装置、画像処理方法、画像圧縮方法、プログラム、及び記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004248144A JP2004248144A (ja) | 2004-09-02 |
| JP4349816B2 true JP4349816B2 (ja) | 2009-10-21 |
Family
ID=33022578
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003037919A Expired - Fee Related JP4349816B2 (ja) | 2003-02-17 | 2003-02-17 | 画像処理装置、画像圧縮装置、画像処理方法、画像圧縮方法、プログラム、及び記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7406202B2 (ja) |
| JP (1) | JP4349816B2 (ja) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7289357B2 (en) * | 2003-08-13 | 2007-10-30 | Nantero, Inc. | Isolation structure for deflectable nanotube elements |
| WO2005084164A2 (en) * | 2003-08-13 | 2005-09-15 | Nantero, Inc. | Nanotube-based switching elements and logic circuits |
| JP4443165B2 (ja) * | 2003-08-20 | 2010-03-31 | 株式会社リコー | 画像圧縮装置及び画像圧縮方法 |
| JP4530274B2 (ja) * | 2005-01-11 | 2010-08-25 | 株式会社リコー | 符号処理装置、符号処理方法、プログラム及び情報記録媒体 |
| US7653085B2 (en) * | 2005-04-08 | 2010-01-26 | Qualcomm Incorporated | Methods and apparatus for enhanced delivery of content over data network |
| US7974193B2 (en) | 2005-04-08 | 2011-07-05 | Qualcomm Incorporated | Methods and systems for resizing multimedia content based on quality and rate information |
| JP2007142640A (ja) * | 2005-11-16 | 2007-06-07 | Mitsubishi Electric Corp | 情報無線伝送システム |
| US7672539B2 (en) * | 2005-12-15 | 2010-03-02 | General Instrument Corporation | Method and apparatus for scaling selected areas of a graphics display |
| US20070201388A1 (en) * | 2006-01-31 | 2007-08-30 | Qualcomm Incorporated | Methods and systems for resizing multimedia content based on quality and rate information |
| US8582905B2 (en) | 2006-01-31 | 2013-11-12 | Qualcomm Incorporated | Methods and systems for rate control within an encoding device |
| JP4400589B2 (ja) * | 2006-03-28 | 2010-01-20 | セイコーエプソン株式会社 | 画像供給装置、及び画像圧縮方式決定方法 |
| US8135223B2 (en) | 2007-03-16 | 2012-03-13 | Ricoh Company, Ltd. | Image processing apparatus and method of image processing |
| US7554467B2 (en) * | 2007-07-31 | 2009-06-30 | Novell, Inc. | Network content in dictionary-based (DE)compression |
| JP4907487B2 (ja) * | 2007-10-24 | 2012-03-28 | 株式会社リコー | 画像処理装置、画像処理方法及び該方法を実行させるためのプログラムを格納したコンピュータ読み取り可能な記録媒体 |
| KR20110027589A (ko) * | 2009-09-09 | 2011-03-16 | 삼성전자주식회사 | 전자 장치에서 정보를 삽입하고 공유하는 방법 및 장치 |
| JP2010263653A (ja) * | 2010-07-22 | 2010-11-18 | Mitsubishi Electric Corp | 情報無線伝送システム |
| JP6187067B2 (ja) | 2013-09-13 | 2017-08-30 | 株式会社リコー | 座標検出システム、情報処理装置、プログラム、記憶媒体、座標検出方法 |
| JP6669617B2 (ja) * | 2016-09-12 | 2020-03-18 | ルネサスエレクトロニクス株式会社 | 動画像処理システム |
| GB2605931B (en) * | 2017-10-18 | 2023-05-10 | Frank Donnelly Stephen | Entropy and value based packet truncation |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0529965A3 (en) * | 1991-08-23 | 1993-12-08 | Levien Raphael L | High speed screening of images |
| US5663721A (en) * | 1995-03-20 | 1997-09-02 | Compaq Computer Corporation | Method and apparatus using code values and length fields for compressing computer data |
| US6141698A (en) * | 1997-01-29 | 2000-10-31 | Network Commerce Inc. | Method and system for injecting new code into existing application code |
| JP3797458B2 (ja) | 1998-10-27 | 2006-07-19 | 株式会社リコー | データ圧縮装置 |
| US7129860B2 (en) * | 1999-01-29 | 2006-10-31 | Quickshift, Inc. | System and method for performing scalable embedded parallel data decompression |
| JP2001285645A (ja) | 2000-01-25 | 2001-10-12 | Canon Inc | 画像入力装置、画像処理装置、画像入力方法、画像処理方法、及び画像入力システム |
| JP4170555B2 (ja) * | 2000-02-28 | 2008-10-22 | 株式会社東芝 | 映像符号化装置及び映像符号化方法 |
| US6359548B1 (en) * | 2000-10-16 | 2002-03-19 | Unisys Corporation | Data compression and decompression method and apparatus with embedded filtering of infrequently encountered strings |
| JP3702778B2 (ja) | 2000-11-27 | 2005-10-05 | ソニー株式会社 | 画像符号化装置及び方法 |
| JP4067281B2 (ja) | 2001-02-20 | 2008-03-26 | 三洋電機株式会社 | 画像処理方法とその方法を利用可能な画像符号化装置および画像復号装置 |
| JP2002315000A (ja) | 2001-04-12 | 2002-10-25 | Megafusion Corp | データ伝送装置 |
| JP2003037740A (ja) | 2001-05-16 | 2003-02-07 | Konica Corp | 電子機器及びデジタルスチルカメラ |
-
2003
- 2003-02-17 JP JP2003037919A patent/JP4349816B2/ja not_active Expired - Fee Related
-
2004
- 2004-02-17 US US10/781,551 patent/US7406202B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004248144A (ja) | 2004-09-02 |
| US20040213466A1 (en) | 2004-10-28 |
| US7406202B2 (en) | 2008-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4349816B2 (ja) | 画像処理装置、画像圧縮装置、画像処理方法、画像圧縮方法、プログラム、及び記録媒体 | |
| US7440624B2 (en) | Image compression apparatus, image decompression apparatus, image compression method, image decompression method, program, and recording medium | |
| US7164804B2 (en) | Method and apparatus for eliminating flicker by quantizing values based on previous quantization | |
| JP4064196B2 (ja) | クライアントコンピュータ、サーバコンピュータ、プログラム、記憶媒体、画像データ処理システム及び画像データ処理方法 | |
| JP4093405B2 (ja) | 画像処理装置、プログラム及び記憶媒体 | |
| JP3922919B2 (ja) | 静止画像伸長装置及び静止画像伸長方法 | |
| JP2004088425A (ja) | 符号変換装置、符号変換方法、プログラム及び記憶媒体 | |
| EP1296287A2 (en) | Image information code processing system | |
| JP2004254298A (ja) | 画像処理装置、プログラム及び記憶媒体 | |
| JP4073333B2 (ja) | 画像圧縮装置及び画像圧縮方法 | |
| JP3914197B2 (ja) | 情報処理装置、情報処理方法、プログラム及びコンピュータ読取り可能な記録媒体 | |
| JP3704515B2 (ja) | 画像伸張装置及びその方法 | |
| JP2005092007A (ja) | 画像処理システム、画像処理方法、プログラム及び情報記録媒体 | |
| JP4208122B2 (ja) | データ処理装置及びデータ処理方法 | |
| JP4489474B2 (ja) | 画像処理装置、プログラムおよび記録媒体 | |
| JP2004289374A (ja) | 画像処理装置、画像処理方法、プログラム、及び記録媒体 | |
| JP4059399B2 (ja) | 画像処理装置、画像処理システム、画像出力制御方法、プログラム、及び、記録媒体 | |
| JP2004247891A (ja) | 画像圧縮装置、画像処理装置、画像伸張装置、画像圧縮方法、画像処理方法、画像伸張方法、プログラム、及び記録媒体 | |
| JP2004254035A (ja) | 撮影リスト情報記録装置、画像入力装置、撮影リスト情報記録方法、画像入力方法、プログラム、及び記録媒体 | |
| JP2004254101A (ja) | 画像処理装置、画像処理方法、プログラム、及び記録媒体 | |
| JP4052952B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記憶媒体 | |
| JP4374063B2 (ja) | 画像処理装置、プログラム及び記憶媒体 | |
| JP4036363B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP4093870B2 (ja) | 画像処理装置、プログラムおよび記憶媒体 | |
| JP3961966B2 (ja) | 不要部除去装置、画像処理装置、プログラム、記憶媒体及び不要部除去方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050707 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070518 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070529 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070727 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081007 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081204 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090721 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090721 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120731 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120731 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130731 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |