JP3928859B2 - 画像処理装置、画像処理方法、プログラム及び記録媒体 - Google Patents
画像処理装置、画像処理方法、プログラム及び記録媒体 Download PDFInfo
- Publication number
- JP3928859B2 JP3928859B2 JP2002326368A JP2002326368A JP3928859B2 JP 3928859 B2 JP3928859 B2 JP 3928859B2 JP 2002326368 A JP2002326368 A JP 2002326368A JP 2002326368 A JP2002326368 A JP 2002326368A JP 3928859 B2 JP3928859 B2 JP 3928859B2
- Authority
- JP
- Japan
- Prior art keywords
- post
- quantization
- encoded data
- condition
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/162—User input
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
- H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
- H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
- H04N19/645—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission by grouping of coefficients into blocks after the transform
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
- H04N9/8047—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction using transform coding
Description
【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラ、その他の画像処理装置に係り、特に、ＪＰＥＧ２０００の符号化データのようなポスト量子化が可能な符号化データを処理する画像処理装置に関する。
【０００２】
【従来の技術】
画像処理装置においては、画像データは、その記録又は伝送に先だって圧縮符号化されるのが普通である。
【０００３】
そのような画像処理装置の例としてデジタルカメラなどの電子カメラ装置について述べると、画像を記録するための記録媒体の利用効率を向上させるため、撮影された静止画像又は動画像のデータは圧縮符号化されてから記録媒体に記録される。その圧縮符号化方式としては、静止画像の圧縮符号化にはＪＰＥＧが、動画像の圧縮符号化にはＭＰＥＧが一般に用いられている。
【０００４】
ＪＰＥＧなどの圧縮符号化方式では、記録媒体に記録済みの画像の符号化データのデータ量を削減したい場合（圧縮率を上げたい場合）には、符号化データを復号伸長し、再生された画像データを、量子化パラメータなどを変更して再度圧縮符号化する必要があり、その際に余計な画像劣化が生じる。このような再圧縮に伴う画像劣化（ジェネレーション的な画像劣化）を避けるために、デジタルカメラなどにおいては、撮影に先立って圧縮率を指定するのが一般的である。通常、この圧縮率の指定は、画質モード（高画質、普通、エコノミーなど）の選択により行われる。
【０００５】
しかし、ＪＰＥＧのような可変長符号化方式は、量子化の程度によって任意の圧縮率を得ることが可能であるにもかかわらず、前述のようにいくつかの画質モードに対応した圧縮率に限定することはユーザの自由度を著しく損ねている。例えば、高画質モードでは圧縮率が低すぎるが、普通モードでは画像劣化の程度を許容できないというような場合でも、ユーザは、そのいずれかの画質モードを選択せざるを得ない。しかも、ジェネレーション的な画像劣化を避けるために、撮影に先立って、その画質モードの選択を行わなければならないのである。
【０００６】
画質モードの選択により圧縮率（つまり、圧縮符号化のパラメータ）を設定するのではなく、ＪＰＥＧによる圧縮符号化のパラメータをユーザが直接的に設定する装置及び方法が特許文献１に記載されている。ここに記載されている装置及び方法においては、複数の解像度パラメータに従って画像の解像度変換が行われ、解像度変換後の画像が表示され、ユーザがその１つの画像を選択することにより解像度パラメータが設定される。サブサンプリング・パラメータ、量子化テーブル・パラメータについても、同様の手順により、ユーザによりパラメータが設定される。そして、設定された全てのパラメータを用いてＪＰＥＧによる圧縮符号化が行われ、その符号化データが復号伸長されて表示され、表示された画像からユーザは各パラメータの設定の可否を確認する。
【０００７】
このように装置及び方法によれば、圧縮符号化のパラメータを（したがって圧縮率を）ユーザがより自由に設定することができる。しかし、ＪＰＥＧを前提とすると、パラメータ設定の際に原画像データもしくは原ＤＣＴ係数などを保持する大容量のワークメモリを必要とする。
【０００８】
ＪＰＥＧやＭＰＥＧに代わる圧縮符号化方式として、ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ ＦＣＤ １５４４４−１）とＭｏｔｉｏｎ−ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ ＦＣＤ １５４４４−３）が注目されている（例えば、非特許文献１を参照）。なお、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００は連続した複数の静止画像のそれぞれをフレームとして動画像を扱うが、個々のフレームに関してはＪＰＥＧ２０００に準拠している。ＪＰＥＧ２０００は多くの特長を有するが、その１つは、符号化データの符号の廃棄（ポスト量子化）により、符号状態のままデータ量もしくは圧縮率の調整が可能であることである。このポスト量子化によりデータ量を削減し圧縮率を上げても、圧縮率を上げたことによる画像劣化は生じるが、復号伸長して再び圧縮符号化を行う場合のようなジェネレーション的な余分な画像劣化は生じない。
【０００９】
ＪＰＥＧ２０００の符号化データに対し、レイヤ、解像度レベル、又はコンポーネントを単位としたポスト量子化を行うことにより、画像メモリの空き容量を確保するメモリ管理方法及び装置が特許文献２に記載されている。ポスト量子化では、原画像データを利用しないため大容量のワークメモリは不要である。
【００１０】
【特許文献１】
特開平８−３３９４５２号公報
【特許文献１】
特開２００１−３２０５８８号公報
【非特許文献１】
野水泰之著、「次世代画像符号化方式 ＪＰＥＧ２０００」、株式会社トリケップス、２００１年２月１３日
【００１１】
【発明が解決しようとする課題】
ここまでの説明から理解されるように、画像の符号化データを扱うデジタルカメラ、その他の画像処理装置においては、符号化データのデータ量もしくは圧縮率の調整をユーザ側で任意に行えることが望まれる。その調整の際に、予めユーザ側で画像の劣化の程度を確認できることが望ましい。その調整により、ジェネレーション的な画像劣化が生じないことが望ましい。デジタルカメラとなどでは、撮影前、撮影後の任意の時点で、符号化データ量もしくは圧縮率の調整を行えることが望ましい。さらに、その調整のための処理に大容量のワークメモリを必要としないことが望ましい。
【００１２】
本発明は、以上の観点に鑑みてなされたものであり、ＪＰＥＧ２０００のようなポスト量子化が可能な圧縮符号化方式が用いられるデジタルカメラ、その他の画像処理装置において、ユーザが最適なポスト量子化条件を容易に設定できるようにし、また、設定したポスト量子化条件に従って符号化データのポスト量子化を実行できるようにすることにある。
【００１３】
【課題を解決するための手段】
ＪＰＥＧ２０００の符号化データのようなポスト量子化が可能な符号化データは、必然的に部分的な復号伸長が可能である。本発明は、この部分的な復号伸長が可能であることに着目し、ユーザが、ポスト量子化による画像劣化の程度を予め確認しながらポスト量子化条件を任意に設定し、設定した条件で符号化データのポスト量子化を実行できるようにするものであり、以下に述べるような特徴を有する。
【００１４】
すなわち、本発明の１つの特徴は、請求項１に記載のように、符号化データを入力する符号化データ入力手段と、ユーザがポスト量子化条件を設定するための条件設定手段と、前記符号化データ入力手段により入力された符号化データに対し、前記条件設定手段によって設定されたポスト量子化条件に従った部分的復号伸長を行うことにより、当該符号化データをポスト量子化することなく、当該ポスト量子化条件に従って当該符号化データをポスト量子化した後の符号化データを復号伸長することにより再生される画像データと同じ画像データを再生する部分的復号伸長手段と、前記部分的復号伸長により再生された画像データを表示する表示手段とを有し、前記ポスト量子化条件は、画像の位置とコンポーネントのうちの少なくとも１つに関する条件である画像処理装置にある。
【００１５】
本発明のもう１つの特徴は、請求項２に記載のように、請求項１に記載の構成において、前記部分的復号伸長手段は、前記符号化データ入力手段により入力された符号化データに適用された圧縮符号化アルゴリズムに準拠したデコーダと、前記条件設定手段によって設定されたポスト量子化条件に従って前記デコーダの復号伸長動作を制御することにより、前記デコーダに当該符号化データの当該ポスト量子化条件に従った部分的復号伸長を行わせる手段とからなることにある。
【００１６】
本発明のもう１つの特徴は、請求項３に記載のように、請求項１に記載の構成において、前記部分的復号伸長手段は、前記符号化データ入力手段により入力された符号化データに適用された圧縮符号化アルゴリズムに準拠したデコーダと、前記条件設定手段によって設定されたポスト量子化条件に従って当該符号化データのヘッダ情報を書き換えることにより、前記デコーダに当該符号化データの当該ポスト量子化条件に従った部分的復号伸長を行わせる手段とからなることにある。
【００１７】
本発明のもう１つの特徴は、請求項４に記載のように、請求項１に記載の構成に加え、ユーザからの指示に従って、前記符号化データ入力手段により入力された符号化データに対し、前記条件設定手段により設定されたポスト量子化条件に従ったポスト量子化を行うポスト量子化手段を有することにある。
【００１８】
本発明のもう１つの特徴は、請求項５に記載のように、請求項１に記載の構成に加え、前記条件設定手段により設定されたポスト量子化条件を保存する条件保存手段を有し、前記条件設定手段により、前記条件保存手段に保存されているポスト量子化条件の１つをポスト量子化条件として設定可能であることにある。
【００１９】
本発明のもう１つの特徴は、請求項６に記載のように、請求項１に記載の構成に加え、前記条件設定手段により設定されたポスト量子化条件を保存する条件保存手段と、前記条件保存手段に保存されているポスト量子化条件の１つをユーザが選択するための条件選択手段と、前記条件選択手段により選択されたポスト量子化条件に従って前記符号化データ入力手段により入力された符号化データのポスト量子化を行うポスト量子化手段とを有することにある。
【００２０】
本発明のもう１つの特徴は、請求項７に記載のように、請求項５又は６に記載の構成に加え、前記条件保存手段に保存されているポスト量子化条件と前記条件設定手段により設定されたポスト量子化条件とを平均化する手段を有し、この平均化する手段により平均化されたポスト量子化条件が前記条件保存手段に保存されることにある。
【００２１】
本発明のもう１つの特徴は、請求項８に記載のように、請求項１に記載の構成において、前記条件設定手段により設定されたポスト量子化条件に従ってポスト量子化が行われた場合の圧縮率が前記表示手段に表示されることにある。
【００２２】
本発明のもう１つの特徴は、請求項９に記載のように、請求項１に記載の構成に加え、ユーザの指示に従って前記表示手段に表示される画像の拡大、縮小又はスクロールを行うための手段を有することにある。
【００２３】
本発明のもう１つの特徴は、請求項１０に記載のように、請求項９に記載の構成において、前記表示手段に画像の表示倍率が表示されることにある。
【００２４】
本発明のもう１つの特徴は、請求項１１に記載のように、請求項１乃至１０のいずれか１項に記載の構成に加え、静止画像又は動画像を撮影するための撮像手段と、前記撮影手段により撮影された画像データを圧縮符号化してポスト量子化が可能な符号化データを生成するエンコーダとを有することにある。
【００２５】
本発明のもう１つの特徴は、請求項１２に記載のように、請求項１に記載の構成に加え、外部装置より符号化データを受信し、また、前記条件設定手段により設定されたポスト量子化条件を外部装置へ送信するための通信手段を有することにある。
【００２６】
本発明のもう１つの特徴は、請求項１３に記載のように、請求項１乃至１２のいずれか１項に記載の構成において、符号化データはＪＰＥＧ２０００の符号化データであることにある。
【００２７】
本発明のもう１つの特徴は、請求項１４に記載のように、符号化データを入力する符号化データ入力ステップと、ユーザがポスト量子化条件を設定する条件設定ステップと、前記符号化データ入力ステップにより入力された符号化データに対し、前記条件設定ステップによって設定されたポスト量子化条件に従った部分的復号伸長を行うことにより、当該符号化データをポスト量子化することなく、当該ポスト量子化条件に従って当該符号化データをポスト量子化した後の符号化データを復号伸長することにより再生される画像データと同じ画像データを再生する部分的復号伸長ステップと、前記部分的復号伸長ステップにより再生された画像データを表示するステップとを含み、前記ポスト量子化条件は、画像の位置とコンポーネントのうちの少なくとも１つに関する条件である画像処理方法にある。
【００２８】
本発明のもう１つの特徴は、請求項１５に記載のように、請求項１４に記載の構成において、前記部分的復号伸長ステップは、前記符号化データ入力ステップにより入力された符号化データに適用された圧縮符号化アルゴリズムに準拠したデコーダの復号伸長動作を、前記条件設定ステップによって設定されたポスト量子化条件に従って制御することにより、前記デコーダに当該符号化データの当該ポスト量子化条件に従って部分的復号伸長を行わせることにある。
【００２９】
本発明のもう１つの特徴は、請求項１６に記載のように、請求項１４に記載の構成において、前記部分的復号伸長ステップは、前記条件設定ステップによって設定されたポスト量子化条件に従って、前記符号化データ入力ステップによって入力された符号化データのヘッダ情報を書き換えることにより、当該符号化データに適用された圧縮符号化アルゴリズムに準拠したデコーダに、当該符号化データの当該ポスト量子化条件に従った部分的復号伸長を行わせることにある。
【００３０】
本発明のもう１つの特徴は、請求項１７に記載のように、請求項１４に記載の構成に加え、ユーザからの指示に従って、前記符号化データ入力ステップにより入力された符号化データに対し、前記条件設定ステップにより設定されたポスト量子化条件に従ったポスト量子化を行うポスト量子化ステップを含むことにある。
【００３１】
本発明のもう１つの特徴は、請求項１８に記載のように、請求項１４に記載の構成に加え、前記条件設定ステップにより設定されたポスト量子化条件を保存する条件保存ステップと、前記条件保存ステップにより保存されたポスト量子化条件の１つをユーザが選択するための条件選択ステップと、前記条件選択ステップにより選択されたポスト量子化条件に従って前記符号化データ入力ステップにより入力された符号化データのポスト量子化を行うポスト量子化ステップとを含むことにある。
【００３２】
本発明のもう１つの特徴は、請求項１９に記載のように、請求項１４に記載の構成に加え、ある装置より符号化データを受信するステップと、前記条件設定ステップにより設定されたポスト量子化条件を前記装置へ送信するステップを含むことにある。
【００３３】
【発明の実施の形態】
以下に説明する実施の形態においては、ＪＰＥＧ２０００の符号化データ、又は、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００の符号化データを処理対象とする。Ｍｏｔｉｏｎ−ＪＰＥＧ２０００では連続する複数の静止画像のそれぞれをフレームとして動画像を扱い、各フレームの符号化データはＪＰＥＧ２０００に準拠している。
【００３４】
ＪＰＥＧ２０００に関しては例えば前記非特許文献１に詳しいが、以下に説明する本発明の実施の形態の理解を容易にするためＪＰＥＧ２０００について概説する。
【００３５】
図１はＪＰＥＧ２０００のアルゴリズムを説明するための簡略化されたブロック図である。圧縮符号化の対象となる画像データ（動画像を扱う場合には各フレームの画像データ）は、コンポーネント毎にタイルと呼ばれる重複しない矩形領域に分割され、コンポーネント毎にタイルを単位として処理される。ただし、タイルサイズを画像サイズと同一にすること、つまりタイル分割を行わないことも可能である。
【００３６】
タイル画像は、圧縮率の向上を目的として、ＲＧＢデータやＣＭＹデータからＹＣｒＣｂデータへの色空間変換が施される（ステップＳ１）。この色空間変換が省かれる場合もある。
【００３７】
色空間変換後の各コンポーネントの各タイル画像に対し２次元ウェーブレット変換（離散ウェーブレット変換：ＤＷＴ）が実行される（ステップＳ２）。
【００３８】
図２はデコンポジション・レベル数が３の場合のウェーブレット変換の説明図である。図２（ａ）に示すタイル画像（デコンポジションレベル０）に対する２次元ウェーブレット変換により、図２（ｂ）に示すような１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨの各サブバンドに分割される。１ＬＬサブバンドの係数に対し２次元ウェーブレット変換が適用されることにより、図２（ｃ）に示すように２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨのサブバンドに分割される。２ＬＬサブバンドの係数に対し２次元ウェーブレット変換が適用されることにより、図２（ｄ）に示すように３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨのサブバンドに分割される。デコンポジションレベルと解像度レベルとの関係であるが、図２（ｄ）の各サブバンドに括弧で囲んで示した数字が、そのサブバンドの解像度レベルを示している。
【００３９】
このような低周波成分（ＬＬサブバンド係数）の再帰的分割（オクターブ分割）により得られたウェーブレット係数は、サブバンド毎に量子化される（ステップＳ３）。ＪＰＥＧ２０００ではロスレス（可逆）圧縮とロッシー（非可逆）圧縮のいずれも可能であり、ロスレス圧縮の場合には量子化ステップ幅は常に１であり、この段階では量子化されない。
【００４０】
量子化後の各サブバンド係数はエントロピー符号化される（ステップＳ４）。このエントロピー符号化には、ブロック分割、係数モデリング及び２値算術符号化からなるＥＢＣＯＴ（Embedded Block Coding with Optimized Truncation）と呼ばれる符号化方式が用いられ、量子化後の各サブバンド係数のビットプレーンが上位プレーンから下位プレーンへ向かって、コードブロックと呼ばれるブロック毎に符号化される。
【００４１】
最後の２つのステップＳ５，Ｓ６は符号形成プロセスである。まず、ステップＳ５において、ステップＳ４で生成されたコードブロックの符号をまとめてパケットが作成される。次のステップＳ６において、ステップＳ５で生成されたパケットがプログレッション順序に従って並べられるとともに必要なタグ情報が付加されることにより、所定のフォーマットの符号化データが作成される。ＪＰＥＧ２０００では、符号順序制御に関して、解像度レベル、位置（プリシンクト)、レイヤ、コンポーネント（色成分)の組み合わせによる５種類のプログレッション順序が定義されている。
【００４２】
ＪＰＥＧ２０００においては、基本的に、全てのビットプレーンをエントロピー符号化し、前記符号形成プロセスで不要な符号をすてるという手順をとる。したがって、エントロピー符号化過程では、全コードブロックに関し、ビットプレーン符号化を行った結果得られた符号量を保持しておくことができる（なお、より詳しくは、ＪＰＥＧ２０００においては、１つのビットプレーンを３つのサブビットプレーンに分割して符号化する）。
【００４３】
このようにして生成されるＪＰＥＧ２０００の符号化データのフォーマットを図３に示す。図３に見られるように、符号化データはその始まりを示すＳＯＣマーカと呼ばれるタグで始まり、その後に符号化パラメータや量子化パラメータ等を記述したメインヘッダ(Main Header)と呼ばれるタグ情報が続き、その後に各タイル毎の符号データが続く。各タイル毎の符号データは、ＳＯＴマーカと呼ばれるタグで始まり、タイルヘッダ(Tile Header)と呼ばれるタグ情報、ＳＯＤマーカと呼ばれるタグ、各タイルの符号列を内容とするタイルデータ（Tile Data）で構成される。最後のタイルデータの後に、終了を示すＥＯＣマーカと呼ばれるタグが置かれる。
【００４４】
ＪＰＥＧ２０００の符号化データに付加されるタグ及びタグ情報の概要について説明する。図５にメインヘッダの構成を示す。ＳＩＺ，ＣＯＤ，ＱＣＤの各マーカセグメントは必須であるが、他のマーカセグメントはオプションである。
図６にタイルヘッダの構成を示す。（ａ）はタイルデータの先頭に付加されるヘッダであり、（ｂ）はタイル内が複数に分割されている場合に分割されたタイル部分列の先頭に付加されるヘッダである。タイルヘッダでは必須のマーカセグメントはなく、すべてオプションである。
図７に、マーカ及びマーカセグメントの一覧表を示す。図８にＳＯＴマーカセグメントの構成を示す。図９にＳＩＺマーカセグメントの構成を示す。図１０にＣＯＤマーカセグメントの構成を示す。図１１にＣＯＣマーカセグメントの構成を示す。図１２にＱＣＤマーカセグメントの構成を示す。図１３にＱＣＣマーカセグメントの構成を示す。
【００４５】
ここで、プリシンクト、コードブロック、パケット、レイヤについて簡単に説明する。画像≧タイル≧サブバンド≧プリシンクト≧コードブロックの大きさ関係がある。
【００４６】
プリシンクトとは、サブバンドの矩形領域で、同じデコンポジションレベルのＨＬ，ＬＨ，ＨＨサブバンドの空間的に同じ位置にある３つの領域の組が１つのプリシンクトとして扱われる。ただし、ＬＬサブバンドでは、１つの領域が１つのプリシンクトとして扱われる。プリシンクトのサイズをサブバンドと同じサイズにすることも可能である。また、プリシンクトを分割した矩形領域がコードブロックである。図４にデコンポジションレベル１における１つのプリシンクトとコードブロックを例示した。図中のプリシンクトと記された空間的に同じ位置にある３つの領域の組が１つのプリシンクトとして扱われる。
【００４７】
プリシンクトに含まれる全てのコードブロックの符号の一部（例えば最上位から３ビット目までの３枚のビットプレーンの符号）を取り出して集めたものがパケットである。符号が空（から）のパケットも許される。コードブロックの符号をまとめてパケットを生成し、所望のプログレッション順序に従ってパケットを並べることにより符号化データを形成する。図３の各タイルに関するＳＯＤ以下の部分がパケットの集合である。
【００４８】
全てのプリシンクト（つまり、全てのコードブロック、全てのサブバンド）のパケットを集めると、画像全域の符号の一部（例えば、画像全域のウェーブレット係数の最上位のビットプレーンから３枚目までのビットプレーンの符号）ができるが、これがレイヤである。したがって、伸長時に復号されるレイヤ数が多いほど再生画像の画質は向上する。つまり、レイヤは画質の単位と言える。全てのレイヤを集めると、画像全域の全てのビットプレーンの符号になる。
【００４９】
なお、パケットは、本体であるパケットデータ（符号）にパケットヘッダを付加した構成である。パケットヘッダには、パケットデータの長さ、符号パス数、０ビットプレーン数などの情報が含まれる。
【００５０】
ＪＰＥＧ２０００においてはＬＲＣＰ、ＲＬＣＰ、ＲＰＣＬ、ＰＣＲＬ、ＣＰＲＬの５つのプログレッション順序が定義されている。ここで、Ｌはレイヤ、Ｒは解像度レベル、Ｃはコンポーネント、Ｐはプリシンクト（位置)である。
【００５１】
ＬＲＣＰプログレッションの場合、Ｌ，Ｒ，Ｃ，Ｐの順にネストされた次のようなforループ
for(レイヤ)｛
for(解像度レベル)｛
for(コンポーネント)｛
for(プリシンクト)｛
パケットを配置：符号化時
パケットを解釈：復号時
｝
｝
｝
｝
の順でパケットのハンドリング（符号化時にはパケットの配置、復号時にはパケットの解釈）が行われる。したがって、復号時には、レイヤ数をより少ない値に設定するならば、そのレイヤ数までのレイヤまでのパケットだけをハンドリングさせ、符号化データを画質の観点から部分的に復号伸長することができる。デコーダにおいて、一番外側のforループを制御することにより、例えば、解像度レベルのforループを制御することにより、一部の解像度レベルのパケットのみ復号伸長させることもできる。
【００５２】
具体例を示せば、画像サイズ＝１００×１００画素（タイル分割なし）、レイヤ数＝２、解像度レベル数＝３（レベル０〜２）、コンポーネント数＝３、プリシンクトサイズ＝３２×３２、ＬＲＣＰプログレッションの場合における３６個のパケットは、図１４のような順に解釈される。この例で、レイヤ数＝１にセットするならば、図中の「終了」の段階で復号伸長動作を終了させることができる。また、ＪＰＥＧ２０００は符号化データの符号廃棄による圧縮（ポスト量子化）が可能である。この例のような復号伸長が行われる符号化データへとポスト量子化を行う場合には、「終了」の後のパケットが廃棄され、最後にＥＯＣマーカが付加され、また必要なマーカセグメントの書き換えが行われる。
【００５３】
なお、パケットヘッダには、レイヤ番号や解像度レベルなどは記述されていない。復号時に、そのパケットがどのレイヤのどの解像度レベルのものかは、ＣＯＤマーカセグメントに記述されたプログレッション順序から前記forループを形成し、そのパケットがどのforループ内でハンドリングされたかで決定される。
【００５４】
また、ＲＬＣＰプログレッションの場合には、
for(解像度レベル)｛
for(レイヤ)｛
for(コンポーネント)｛
for(プリシンクト)｛
パケットを配置：符号化時
パケットを解釈：復号時
｝
｝
｝
｝
という順で、パケットのハンドリングがなされる。したがって、復号時に、解像度レベル数をより少ない値に設定するならば、その解像度レベル数までのパケットだけをハンドリングさせ、符号化データを解像度の観点から部分的に復号伸長することができる。この場合でも、デコーダにおいて例えばレイヤのforループを制御することにより、一部レイヤのパケットだけを復号伸長させるようなことも可能である。デコーダは、当然にパケットの区切りを判別でき、かつ、forループの実行位置によって、当該パケットがどのレイヤ・解像度・コンポーネント・プリシンクトのものかを判別できる。したがって、当該パケットが部分復号に必要なものか、それとも不要なものか（復号せずに単に次のパケットに到達するまで読み飛ばせばよいだけのものか）を判別できるからである。
【００５５】
具体例を示せば、画像サイズ＝１００×１００画素（タイル分割なし）、レイヤ数＝２、解像度レベル数＝３（レベル０〜２）、コンポーネント数＝３、プリシンクトサイズ＝３２×３２の場合における３６個のパケットは、図１５のような順に解釈される。この例で、解像度レベル数＝２にセットするならば、図中の「終了」の段階で復号伸長動作を終了させることができる。また、この例のよう復号伸長が行われる符号化データへとポスト量子化を行う場合には、「終了」の後のパケットが廃棄され、最後にＥＯＣマーカが付加され、また、必要なマーカセグメントの書き換えが行われる。
【００５６】
また、上に述べたプログレッション順序のforループとは別に、タイルに関するループも存在する。ＪＰＥＧ２０００の標準には規定されていないが、デコーダ側では通常、
while(タイルがある限り)｛
for(解像度レベル)｛
for(レイヤ)｛
for(コンポーネント)｛
for(プリシンクト)｛
パケットを解釈
｝
｝
｝
｝
｝
というような構成をとる。タイルヘッダのＳＯＴマーカセグメントにはタイル番号が記述され、メインヘッダのＳＩＺマーカセグメントにはタイルサイズと画像サイズが記述されている。よって、例えば、その画像のサイズを１／２に書き換えると、デコーダは、そのサイズの範囲に入るだけの数のタイルがあると判断し、その数内のタイル番号を有するタイルの符号をデコードしようとするのが通常である。つまり、画像の一部領域の符号のみ復号伸長させることができる。
【００５７】
ここでマルチレイヤ構成の符号化データの生成方法に説明する。前述したようにＪＰＥＧ２０００のエンコーダでは、１つのビットプレーンを３つのサブビットプレーンに分割して符号化するが、簡単のために「サブバンド毎のビットプレーン単位」でのエントロピー符号化結果を保持することとして説明する。図１６に、エントロピー符号化結果の一例を示す。図中の数字は符号量（単位：バイト）を示す。全体の符号量は２６５５３バイトである。
【００５８】
この例においては、このような符号を１０レイヤに分割するものとし、１レイヤあたりの符号量をほぼ等しくする方法をとるものとする。１レイヤあたりの基準となる符号量は２６５５バイトとなる。
【００５９】
この例では、「サブバンド毎のビットプレーン単位」に予め序列を設ける。これはいわば「サブバンド毎のビットプレーン単位」の符号の重要度に相当するものである。この重要度は、場合に応じて，画質的観点やPSNR的観点等から決定することができる。また、ラグランジェの未定定数法を使用する典型的なラグランジェレート制御法では，「符号量/その符号を捨てたときの符号化誤差（量子化誤差）の増分」という指標を用いて、上記序列付けを行う。この例では、主に画質的観点から、図１７に示すように０（最重要）〜８３までの序列付けを行っている。
【００６０】
この例においては、上記序列順に従って符号量を順に加算し、加算結果が１レイヤあたりの基準符号量をこえたところまでを１つのレイヤとする、という方法でレイヤを形成し、図１８に示すようなレイヤ０〜９が形成される。
【００６１】
なお、１つのレイヤに含まれるパケットはプリシンクトの数だけ存在するが、図１８のレイヤ０のように、あるプリシンクト内の符号（この例では１HL〜１HHの符号）を含まないレイヤが生じることがある。このようなレイヤについては、符号として"空のパケット"を配置することにより、全てのレイヤに含まれるパケットの数を合わせるよう規定されている。本来、パケットは”番号”を持たないが、説明の便宜上”仮想パケット番号”を想定する。本例のレイヤを構成する「サブバンド毎のビットプレーン単位の符号」と、その「サブバンド毎のビットプレーン単位の符号」がどのパケットに含まれるかを仮想パケット番号を用いて示した図が図１９である。
【００６２】
《実施の形態１》 図２０は、本発明の１つの実施の形態を説明するためのブロック図である。この実施の形態は、デジタルスチルカメラやデジタルビデオカメラなどの電子カメラ装置である。
【００６３】
図２０において、１００は光学レンズ、絞り機構、シャッター機構などから構成される一般的な撮像光学系である。１０１はＣＣＤ型又はＭＯＳ型のイメージャであり、撮像光学系１００により結像される光学像を色分解してから光量に応じた電気信号に変換する。１０２はイメージャ１０１の出力信号をサンプリングしてデジタル信号に変換するＣＤＳ・Ａ／Ｄ変換部であり、相関二重サンプリング（ＣＤＳ）回路とＡ／Ｄ変換回路からなる。
【００６４】
１０３は画像プロセッサであり、例えばプログラム（マイクロコード）で制御される高速のデジタル信号プロセッサからなる。この画像プロセッサ１０３は、ＣＤＳ・Ａ／Ｄ変換部１０２より入力する画像データに対するガンマ補正処理、ホワイトバランス調整処理、エッジ強調などのためのエンハンス処理のような信号処理のほか、イメージャ１０１、ＣＤＳ・Ａ／Ｄ変換部１０２、表示装置１０４を制御し、また、オートフォーカス制御、自動露出制御、ホワイトバランス調整などのための情報の検出などを行う。表示装置１０４は例えば液晶表示装置であり、モニタリング画像（スルー画像）や撮影画像などの画像の表示、その他の情報の表示などに利用される。
【００６５】
以上に説明した撮像光学系１００、イメージャ１０１、ＣＤＳ・Ａ／Ｄ変換部１０２及び画像プロセッサ１０３は、静止画像又は動画像を撮影して画像データを取得する撮像手段を構成している。
【００６６】
１０８はＪＰＥＧ２０００準拠のエンコーダであり、これは撮影された画像データの圧縮符号化処理に利用される。１０９はＪＰＥＧ２０００準拠のデコーダであり、ＪＰＥＧ２０００準拠の符号化データの伸長復号処理に利用される。なお、このデコーダは、後述のポスト量子化条件を設定するためのプレビュー動作時における符号化データの部分的復号伸長にも利用される。１１０は符号化データのポスト量子化処理を行うためのポスト量子化処理部である。前述のように、ＪＰＥＧ２０００のエンコーダ１０８は、エントロピー符号化後の符号形成プロセスで不要な符号を廃棄したり符号の並びを制御する機能を一般に備えているため、その機能をポスト量子化処理部１０９として利用することも可能である。
【００６７】
１１１はプレビュー制御部であり、後述のポスト量子化条件を設定するための動作において、様々な条件でポスト量子化した符号化データを復号伸長した場合に得られる画像と同じ画像を、ポスト量子化前の符号化データの部分的復号伸長により再生させるための制御を行う手段である。すなわち、このプレビュー制御部１１１とデコーダ１０９とにより、ポスト量子化条件設定のための符号化データの部分的復号伸長を行う手段を構成する。
【００６８】
この実施の形態においては、プレビュー制御部１１１は、デコーダ１０９の内部動作を直接制御することによって、符号化データの部分的復号伸長を行わせる。ただし、後述するように、デコーダ１０９を直接的に制御する代わりに、プレビュー制御部１１１で、符号化データのヘッダ情報の書き換えを行うことにより、デコーダ１０９で符号化データの部分的な復号伸長を行わせることも可能であり、そのような態様も本発明に包含される。
【００６９】
１１２は記録媒体１１３に対する情報の書き込み／読み出しを行う媒体記録部である。この媒体記録部１１２により、静止画像撮影時には画像の符号化データはＪＰＥＧ２０００のファイル形式の画像ファイルとして記録媒体１１３に記録され、動画像撮影時には画像の符号化データはＭｏｔｉｏｎ−ＪＰＥＧ２０００のファイル形式の画像ファイルとして記録媒体１１３に記録される。記録媒体１１３は例えば各種メモリカードである。１１４はインターフェース部である。この電子カメラ装置は、インターフェース部１１４を介し、外部のパソコンなどと有線又は無線の伝送路あるいはネットワークを通じ情報の交換を行うことができる。
【００７０】
１０６はシステムコントローラであり、例えばマイクロコンピュータからなる。このシステムコントローラ１０６は、操作部１０７から入力されるユーザの操作情報や画像プロセッサ１０３から与えられる情報などに応答して、撮像光学系１００のシャッター機構、絞り機構、ズーミング機構の、画像プロセッサ１０３、エンコーダ１０８、デコーダ１０９、ポスト量子化処理部１１０、プレビュー制御部１１１、媒体記録部１１２などの制御を行う。１０５はメモリであり、画像データやその符号化データなどの一時記憶域、画像プロセッサ１０３やシステムコントローラ１０６、エンコーダ１０８、デコーダ１０９、ポスト量子化処理部１１０、プレビュー制御部１１１、媒体記録部１１２などの作業記憶域として利用される。
【００７１】
操作部１０７は、電子カメラ装置の操作のための一般的な操作ボタン（スイッチ）のほかに、ユーザがポスト量子化条件を任意に設定するための手段としての操作ボタン、例えば、レイヤ数の増減を指示するためのＬ（＋），Ｌ（−）ボタン、解像度の増減を指示するためのＲ（＋），Ｒ（−）ボタン、コンポーネント数の増減を指示するためのＣ（＋），Ｃ（−）ボタン、タイル数の増減を指示するためのＰ（＋），Ｐ（−）ボタンなどを備える。これ以外に、表示画像の拡大／縮小やスクロールを指示するためのボタンなども備える。
【００７２】
なお、エンコーダ１０８、デコーダ１０９、ポスト量子化処理部１１０、プレビュー制御部１１１の全部又はその一部の機能を、システムコントローラ１０６と同じマイクロコンピュータ又は別のマイクロコンピュータを利用しプログラムによって実現することも可能である。
【００７３】
この電子カメラ装置は、様々な動作モードを選択することができるが、本発明に固有の動作モードについて以下に説明する。
【００７４】
まず、新規に撮影した画像又は記録済みの画像の１枚毎に、ユーザがポスト量子化条件を設定する動作モードＡについて説明する。図２１は、この動作モードを説明するためのフローチャートである。ここに示される動作の流れはシステムコントローラ１０６によって制御される。
【００７５】
まず、１枚の画像の符号化データがメモリ１０５に取り込まれる（ステップＳ１００）。
具体的には、例えば、ユーザが操作部１０７のレリーズボタンを押して画像を１枚撮影する。その画像データがエンコーダ１０８によりロスレスで（又はロスレスに近い低圧縮率で）圧縮符号化され、得られた符号化データがメモリ１０５に書き込まれる。
あるいは、記録媒体１１３に記録されている１枚の画像の符号化データが媒体記録部１１２により読み出されてメモリ１０５に書き込まれる。この際の画像の選択方法であるが、例えば、記録媒体１１３に記録済みの画像のサムネールを表示部１０４に表示させ、ユーザが操作部１０７の操作によって表示部１０４の画面上のカーソルを希望する画像に移動させてから、操作部１０７より選択を指示するような一般的な方法を採用できる。
【００７６】
前ステップで取り込まれた符号化データの全符号がデコーダ１０９により復号伸長される（ステップＳ１０５）。再生された画像データは、メモリ１０５に記憶されるとともに、画像プロセッサ１０３により表示装置１０４に表示される（ステップＳ１１０）。
【００７７】
システムコントローラ１０６は、操作部１０７によるユーザからの指示の入力を待ち（ステップＳ１１５）、指示が入力されるとその指示内容に応じて動作の流れを制御する（ステップＳ１１６）。
【００７８】
入力された指示が拡大／縮小又はスクロールの指示であるときには、それに対応した指令がシステムコントローラ１０６より画像プロセッサ１０３に与えられ、画像プロセッサ１０３において対応した制御が行われ（ステップＳ１２０）、表示部１０４の画面上の画像が拡大、縮小又はスクロールされる（ステップＳ１２０）。このように表示画像の拡大／縮小／スクロールのための手段を含むため、ユーザは画像の希望する位置を必要な倍率で表示させ、その状態を確認することができる。
【００７９】
入力された指示が、ポスト量子化条件の設定のためのレイヤ、解像度、コンポーネント又はタイルの増減に関する指示であるときには、それに対応した指令がシステムコントローラ１０６よりプレビュー制御部１１１に与えられ、プレビュー制御部１１１の制御下で、現在のポスト量子化条件に従った符号化データの部分的復号伸長がデコーダ１０９により行われ（ステップＳ１２５）、再生された画像データが表示部１０４に表示される（ステップＳ１１０）。これがプレビュー動作である。
【００８０】
ステップＳ１２５について具体的に説明する。この実施の形態においては、ポスト量子化条件として、レイヤ数（画質）、解像度レベル数、コンポーネント数及びタイル（位置）に関する条件を単独で又は複数組み合わせて、ユーザが任意に設定することができる。
【００８１】
まず、操作部１０７のＬ（−）ボタンの押下によりレイヤ数を減らす指示が入力された場合について説明する。前述したように、デコーダ１０９においては、プログレッション順序に対応したネストされたループを回してパケットを解釈しながら復号伸長を行う。レイヤ数を減らす指示が入力された場合には、プレビュー制御部１１１は、レイヤのループの回数を、現在の回数より１又は所定値だけ減らす制御を行うことにより、符号化データをより少ないレイヤ数のものとして部分的に復号伸長させる。例えば、３０レイヤの符号化データの場合に、１回目のレイヤ数減少指示の入力によって復号伸長されるレイヤ数は２９に減らされ、２回目の入力によって復号伸長されるレイヤ数は２８に減らされる、等々である。これとは逆に、操作部１０７のＬ（＋）ボタンの押下によりレイヤ数を増やす指示が入力された場合には、プレビュー制御部１１１は、デコーダ１０９におけるレイヤのループの回数を現在の回数より１又は所定値だけ増加させる制御を行う。
【００８２】
このようなプレビュー動作により、ポスト量子化を行う前に、レイヤ数を変更するポスト量子化を行った場合と同じ画像を符号化データの部分的復号伸長により再生表示し、ユーザはレイヤ数を減らすポスト量子化を行ったときの画像の劣化の状況を予め確認することができる。
【００８３】
参考のために、１０レイヤ構成の符号化データについて、全レイヤ、上位７レイヤ、上位３レイヤをそれぞれ復号伸長した画像の例を図２６に示す。この画像の例において、復号伸長されるレイヤ数が少なくなるにつれて顔のテクスチャが失われていくのが分かるであろう。
【００８４】
なお、表示部１０４の画面に、全レイヤ数と現在表示中のレイヤ数を示すインジケータを表示し、このインジケータを操作することにより復号伸長すべきレイヤ数を指定する（レイヤに関するポスト量子化条件を設定する）ような方法も可能であり、このようなインターフェースも本発明に包含される。
【００８５】
操作部１０７のＲ（−）ボタンの押下により解像度を下げる指示が入力された場合には、プレビュー制御部１１１は、デコーダ１０９における解像度のループの回数を現在の回数より１又は所定値だけ減らす制御を行うことにより、符号化データをより解像度の低いものとして部分的に復号伸長させる。これと逆に、Ｒ（＋）ボタンの押下により解像度を上げる指示が入力された場合には、プレビュー制御部１１１は、デコーダ１０９における解像度のループの回数を現在の回数より１又は所定値だけ増加させる制御を行う。
【００８６】
このようなプレビュー動作により、ポスト量子化を行う前に、解像度を変更するポスト量子化を行った場合と同じ画像を符号化データの部分的復号伸長により再生表示し、ユーザは解像度を変更するポスト量子化を行った場合の画像劣化の様子を前もって確認することができる。
【００８７】
なお、表示部１０４の画面に、全解像度レベル数と現在表示中の解像度レベル数とを示すインジケータを表示し、このインジケータを操作することにより復号伸長すべき解像度レベル数を指定する（解像度に関するポスト量子化条件を設定する）ような方法も可能であり、このようなインターフェースも本発明に包含される。
【００８８】
操作部１０７のＰ（−）ボタン又はＰ（＋）ボタンの押下によりタイル数を減少又は増加させる指示が入力された場合には、プレビュー制御部１１１は、復号伸長されるタイル数を減少又は増加させるようにデコーダ１０９におけるタイルのループを制御する。この制御の具体例を次に示す。
【００８９】
例えば、画像が図２２（ａ）に示すように５×５のタイルに分割されて圧縮符号化された符号化データを考える。タイル数減少指示の１回目の入力で、図２２（ｂ）に網掛けして示した０番、５番、１０番、１５番、２０番のタイルのパケットが復号伸長されないように、デコーダ１０９におけるタイルのループが制御される。タイル数減少指示の２回目の入力で、図２２（ｃ）に網掛けして示したタイルのパケットが復号伸長されないようにデコーダ１０９におけるタイルのループが制御される。３回目の入力で図２２（ｄ）に網掛けして示したタイルのパケットが復号伸長されないようにループが制御され、４回目の入力で図２２（ｅ）に網掛けして示したタイルのパケットが復号伸長されないようにループが制御される。以下同様に画像の外側より右回りに復号伸長されるパケットが減少する。タイル数増加指示が入力された場合には、タイル数減少指示の場合と丁度逆に復号伸長されるタイル数を増加させるようにタイルのループが制御される。
【００９０】
このようなプレビュー動作により、ポスト量子化を行う前に、タイル数を変更する（タイル単位でのクリッピングを行う）ポスト量子化を行った場合と同じ画像が、符号化データの部分的復号伸長により再生表示され、ユーザはポスト量子化後の画像の様子を予め確認することができる。
【００９１】
なお、ここではタイル数の増減を指示したが、例えば、表示装置１０４の画面上に画像に重ねてタイル分割線を表示し、画面上でユーザが特定の１つ以上のタイルを指定し、あるいは、ユーザがタイル番号などで特定の１つ以上のタイルを指定することにより、タイルに関するポスト量子化条件を設定するようにしてもよく、このようなインターフェースも本発明に包含される。
【００９２】
また、画像の「位置（position）」としてはタイルのほかにプリシンクトがある。このプリシンクト単位の符号廃棄によるポスト量子化も可能であるので、プリシンクトを指定したプレビュー動作も可能であり、そのような態様も本発明に包含される。
【００９３】
操作部１０７のＣ（−）ボタンの押下によりコンポーネント数減少指示が入力された場合には、プレビュー制御部１１１は、輝度のパケットのみが復号伸長されるようにデコーダ１０９のコンポーネントのループを制御する。つまり、モノクロ画像が再生され表示されることになる。この後に、Ｃ（＋）ボタンの押下によりコンポーネント数増加指示が入力された場合には、プレビュー制御部１１１は、輝度及び色差のパケットが復号伸長されるようにデコーダ１０９のコンポーネントのループを制御する。したがって、カラー画像が再生され表示されることになる。
【００９４】
このようなプレビュー動作により、ポスト量子化を行う前に、コンポーネント数を変更するポスト量子化を行った場合と同じ画像を符号化データの部分的復号伸長により再生表示し、ユーザはコンポーネント数を変更するポスト量子化を行った場合の画像の様子を予め確認することができる。
【００９５】
プレビュー制御部１１１は、以上に述べたような部分的復号伸長の制御パラメータ（これはポスト量子化条件でもある）をメモリ１０５上の制御パラメータ一時記憶領域に保持しており、それら制御パラメータに従ってデコーダ１０９を制御する。そして、例えば、レイヤ数の増減指示が入力された時には、レイヤに関連する制御パラメータのみを更新し、他の制御パラメータはそのまま保持する。例えば、レイヤ数を減少させる指示を入力し復号伸長されるレイヤ数を減少させた後に、解像度を下げる指示を入力するならば、現在のレイヤ数を維持しつつ、さらに解像度を下げた復号伸長が行われるようにデコーダ１０９は制御される。したがって、プレビュー動作により、レイヤ、解像度、コンポーネント、タイル（あるいはプリシンクト）のうちの１つ又は複数の要素を変更するポスト量子化を行った場合の画像の様子を予め確認することができる。
【００９６】
以上に述べたプレビュー動作により、様々な条件でのポスト量子化後の画像と同じ画像を表示部１０４に表示させることができる。ユーザは、必要に応じて表示画像の拡大／縮小やスクロールを行って、ポスト量子化による画像の劣化などを容易に確認することができる。この際、ユーザの判断のための補助的な情報、例えば、現在の画像の圧縮率や表示倍率なども表示部１０４に表示される。表示倍率が表示されると、ユーザは、現在のポスト量子化条件で、どの程度の表示倍率まで画像の劣化が目立たないか判断することができる。圧縮率が表示されると、圧縮率と画像劣化との関係を容易に確認することができる。
【００９７】
ユーザは、プレビュー動作で満足な結果が得られたと判断したときは、操作部１０７より画像保存指示を入力することができる。この指示が入力された場合には、ポスト量子処理部１１０により、メモリ１０５上の制御パラメータ一時記憶域に保存されている制御パラメータ、つまりユーザにより設定されたポスト量子化条件に従って符号化データのポスト量子化処理が実行される（ステップＳ１３５）。このポスト量子化後の符号化データは、現在表示されている画像とレイヤ数、解像度レベル数、タイル数及びコンポーネント数が同じものであり、その符号化データを復号伸長するならば現在表示されている画像と同じ画像が再生される。ポスト量子化後の符号化データは、媒体記録部１１２により記録媒体１１３に記録される（ステップＳ１３６）。このポスト量子化の具体例については後述する。
【００９８】
ユーザは、設定したポスト量子化条件を保存したい場合には、制御部１０７より条件登録指示を入力する。この指示が入力されると、システムコントローラ１０６によって、メモリ１０５上の制御パラメータ一時記憶域に保存されている制御パラメータ、すなわちポスト量子化条件が、メモリ１０５上の条件保存領域に書き込まれる（ステップＳ１４０）。このように、この電子カメラ装置はユーザにより設定されたポスト量子化条件を保存する手段を有する。
【００９９】
なお、条件保存領域に、制御パラメータとともに、又は制御パラメータに代えて、圧縮率を記録することもできる。例えば、マルチレイヤの符号化データで下位レイヤから符号を廃棄するポスト量子化を行うような場合や、シングルレイヤの符号化データでパケットのサブビットプレーンの符号を廃棄するポスト量子化を行う場合には、ポスト量子化条件として圧縮率が分かれば、その圧縮率になるまでポスト量子化を行うことが可能であるからである。圧縮率をポスト量子化条件として登録する態様も本発明に含まれる。
【０１００】
ユーザは、制御部１０７より条件呼び出し指示を入力することにより、メモリ１０５上の条件保存領域に保存されている制御パラメータつまりポスト量子化条件を呼び出して利用することができる。この条件呼び出し指示が入力された場合には、システムコントローラ１０６により、条件保存領域に保存されている制御パラメータつまりポスト量子化条件の内容が画像プロセッサ１０３に渡され、表示部１０４に表示される（ステップＳ１３０）。その表示形式はユーザに分かりやすい形式が好ましい。例えば、
(1)１７レイヤ／３０レイヤ
(2)解像度レベル４まで
(3)１７レイヤ／３０レイヤ，解像度レベル４まで
(4)１６タイル／２５タイル
(5)モノクロ
(6)圧縮率（＝符号量／全ビットプレーンの符号量）
というような形で表示される。ここで、条件（１）は３０レイヤ中の上位１７レイヤの符号のみ残すポスト量子化を意味する。条件（２）は解像度レベル５以上の符号を廃棄するポスト量子化を意味する。条件（３）は３０レイヤ中の上位１７レイヤの、解像度レベル０〜４の符号のみ残すポスト量子化を意味する。条件（４）は例えば外側のタイルから順に符号を廃棄し、２５個のタイル中の１６タイルの符号を残すポスト量子化を意味する。条件（５）は色差の符号を廃棄するポスト量子化を意味する。条件（６）は、この圧縮率となるまで、レイヤ単位又はサブビットプレーン単位で符号を廃棄するポスト量子化を意味する。
【０１０１】
ユーザが、操作部１０７を介して表示部１０４に表示されたポスト量子化条件の１つを選択すると、システムコントローラ１０６により選択されたポスト量子化条件すなわち制御パラメータがメモリ１０５上の制御パラメータ一時記憶域に書き込まれる（ステップＳ１３１）。つまり、ユーザは保存されている制御パラメータすなわちポスト量子化条件を呼び出し、それを設定することができる。このポスト量子化条件に従ってプレビュー制御部１１１によりデコーダ１０９の動作が制御され、当該ポスト量子化条件でポスト量子化を行った場合と同じ画像データが再生され（ステップＳ１２５）、それが表示部１０４に表示される（ステップＳ１１０）。この後、ユーザは前述したようなポスト量子化条件の変更を行うことも可能であり、また、画像保存を指示することもできる。
【０１０２】
ユーザは、別の画像の符号化データの処理を必要とする場合には操作部１０７より継続指示を入力する。この指示が入力された場合には、システムコントローラ１０６は、ステップＳ１００の制御に戻る。ユーザは本動作モードを終了させたい場合には、終了指示を操作部１０７より入力する。この指示の入力によりシステムコントローラ１０６は本動作モードを終了させる。
【０１０３】
ここで、条件保存のステップＳ１４０についてさらに説明する。ユーザは、条件保存指示を入力した際、あるいは、この動作モードＡの開始時に画質モード（高画質、エコノミーなど）を指定することができる。画質モードが指定された場合には、ステップＳ１４０において、システムコントローラ１０６は、ポスト量子化条件（制御パラメータ）を画質モード別に分類して１０５上の条件保存領域に保存させる。このように画質モード別にポスト量子化条件を登録すると、ステップＳ１３０，Ｓ１３１に関連して説明したようなポスト量子化条件の選択を行う場合に便利である。
【０１０４】
このような画質モード別の条件登録が行われる場合には、同じ画質モードに同種のポスト量子化条件が追加登録される時に、そのポスト量子化条件を平均化する処理を行うように予め設定することもできる。このように設定された場合、例えば、ある画質モードに関し、ポスト量子化条件として圧縮率が既に登録されている時に圧縮率の登録指示があると、システムコントローラ１０６は、既に登録されている圧縮率と追加される圧縮率を平均した圧縮率を算出し、その平均圧縮率によって条件保存領域上の圧縮率を書き換える。このような平均化によれば、ユーザが同じ画質モードを指定し、何枚かの画像についてプレビュー動作によりポスト量子化条件の設定、登録を行うことにより、画像の違いによる影響の少ないポスト量子化条件を登録することができる。なお、登録されたポスト量子化条件の中の１つを、ユーザがデフォルトとして設定したり、あるいは、最後に使用されたポスト量子化条件又は最も多く使用されたポスト量子化条件が自動的にデフォルトになるように構成したりすることも可能であり、特に平均化されたポスト量子化条件はデフォルトとして好適である。
【０１０５】
なお、この実施の形態においては、Ｌ（＋），Ｌ（−）ボタンの押下によりレイヤ数を増減するが、例えばＬ（−）ボタンが一度押下されると、現在のレイヤ数より少ない、いくつかのレイヤ数それぞれに対応した部分的復号伸長を連続的に実行し、再生されたいくつかの画像を表示部１０４に並べて表示し、そのいずれかの画像をユーザが選択することによりレイヤ数を設定するような構成とすることも可能である。解像度レベル数、タイル数についても同様である。このような態様も本発明に当然に包含される。
【０１０６】
次にステップＳ１３５におけるポスト量子化処理について説明する。前述のように、ポスト量子化処理においては、不要なパケットの符号を廃棄し、必要に応じて残ったパケットの並べ替えを行い、末尾のパケットの後にＥＯＣマーカを付けるほか、ヘッダ情報の書き換えが必要となる。次に、比較的単純なポスト量子化の具体例をいくつか説明する。
【０１０７】
まず、ＬＲＣＰプログレッションの符号化データの下位ｎレイヤのパケットを廃棄するポスト量子化では、下位のｎレイヤのパケットが廃棄される。ＣＯＤマーカセグメント（図１０）のＳＧcodに記載されているレイヤ数が、ｎだけ減じた値に変更される。
【０１０８】
ＲＬＣＰプログレッション又はＲＰＣＬプログレッションの符号化データの解像度レベル数をｎだけ減じるポスト量子化では、下位のｎレベル分のパケットが廃棄される。ＳＩＺマーカセグメント（図９）のＸsiz，Ｙsiz，ＸＴsiz，ＹＴsizが、元の値の２^n分の１の値に書き換えられる（ここで、２^nは２のｎ乗を意味する）。ＣＯＤマーカセグメント（図１０）のＳＰcodに記述されているデコンポジション数がｎだけ減じた値に書き換えられる。また、ＳＰcodのプリシンクトサイズの最後のｎバイトのエントリが削除される（プリシンクトサイズ＝サブバンドサイズのマキシムプリシンクトの場合は、この書き換えは不要）。ＱＣＤマーカセグメント（図１２）のＬqcdの値が３ｎだけ減じた値に書き換えられる（ただし、derived量子化された符号化データならこの書き換えは不要。expounded量子化された符号化データなら６ｎを減じた値に書き換えられる）。ＱＣＤマーカセグメントのＳＰqcdの最後の３ｎバイト分のエントリが削除される（ただし、derived量子化された符号化データなら削除不要。expounded量子化された符号化データなら６ｎバイト分のエントリが削除される）。ＣＯＣマーカセグメント（図１１）が存在するときには、そのＬcocとＳＰcocも、ＣＯＤマーカセグメントのＬcod及びＳＰcodと同様に書き換えられる。ＱＣＣマーカセグメント（図１３）が存在するときには、そのＬqcc及びＳＰqccも、ＱＣＤマーカセグメントのＬqcd及びＳＰqcdと同様に書き換えられる。
【０１０９】
ＣＰＲＬプログレッションの符号化データのコンポーネント数をｎ減らすポスト量子化では、不要なコンポーネントのパケットが廃棄されるほか、ＳＩＺマーカセグメント（図９）のＬsizの値が３ｎを減じた値に、Ｃsizの値がｎを減じた値にそれぞれ書き換えられる。また、ＳＩＺマーカセグメントのＳziz，ＸＲsiz，ＹＲsizの最後のｎコンポーネント分のエントリが削除される。また、ＣＯＤマーカセグメント（図１０）のＳＧcodの色変換のバイトが”１”ならば”０”に書き換えられる。なお、ＪＰＥＧ２０００では最初の３コンポーネントにのみ色変換を施す仕様であり、例えば４コンポーネント中の最初の３コンポーネントが残る場合にはＳＧcod
の色変換のバイトは”１”のままでよい。
【０１１０】
任意のプログレッションの符号化データのタイル数をｎ減らすポスト量子化では、不要なｎ個のタイルのパケットが廃棄されるとともに、ＳＩＺマーカセグメントのＸsiz，Ｙsizの値が、タイル数の減少により縮小した画像サイズに相当する値に書き換えられる。また、残されるタイルへの番号の割当て変更が必要な場合は、ＳＯＴマーカセグメント（図８）のＩsotの書き換えが行われる。
【０１１１】
さて、前述のように、プレビュー動作時に、プレビュー制御部１１１でデコーダ１０９のループ制御を行う代わりに、符号化データのヘッダ情報を書き換えることにより、デコーダ１０９で同様の部分的復号伸長を行わせることも可能であり、かかる態様も本発明に包含される。この態様について簡単に説明する。
【０１１２】
例えば、ＬＲＣＰプログレッションの符号化データのレイヤ数をｎ減らし、下位のｎレイヤを除外した部分的復号伸長を行う場合には、ポスト量子化で説明したようにＣＯＤマーカセグメントのＳＧcodのレイヤ数をｎだけ減じた値に書き換える。このような書き換え後の符号化データをデコーダ１０９に入力すると、特別のループ制御を行うことなく、下位ｎレイヤを廃棄するポスト量子化を行った場合と同じ画像が再生される。
【０１１３】
また、任意のプログレッション順序の符号化データのタイル数を減らした部分的符号化伸長は、ポスト量子化の場合と同様のヘッダ情報の書き換えにより可能である。例えば、図２２（ａ）に示すような５×５タイルに分割された符号化データについて、図２２（ｂ）に示すようにタイル数を減じた部分的復号化伸長を行う場合には、復号伸長されるべき２０個のタイルにラスタ順に０から番号を付け直し、復号伸長されるべきでない５個のタイルに、２０番〜２４番のタイル番号を付け直し、付け直したタイル番号にＳＯＴマーカのＩsotを書き換え、また、復号伸長されるべき２０個のタイルからなる画像のサイズに、ＳＩＺマーカセグメントのＸsiz，Ｙsizを書き換える。
【０１１４】
ＲＬＣＰ又はＲＰＣＬプログレッションの符号化データの解像度レベル数を減らす場合と、ＣＰＲＬプログレッションの符号化データのコンポーネント数を減らす場合には、ポスト量子化と同様のヘッダ情報の書き換えを行うことにより、対応したポスト量子化を行った場合と同じ画像が再生される。
【０１１５】
ただし、このようなヘッダ情報の書き換えによるプレビュー方法は、デコーダ１０９の内部のループ制御を行う方法に比べると制約がある。つまり、デコーダ１０９においては、前述のようなプログレッション順序に対応したネストされたループによりパケットが解釈されるため、ヘッダ情報の書き換えにより復号伸長を制御できるのは最も外側のループに関連した要素に限定される。つまり、ＬＲＣＰプログレッションの符号化データで可能なのはレイヤ数を減らす復号伸長のみ、ＲＬＣＰ又はＲＰＣＬプログレッションの符号化データで可能なのは解像度レベル数を減らした復号伸長のみ、ＣＰＲＬプログレッションの符号化データで可能なのはコンポーネント数を減らした復号伸長のみである。これ以外の要素に関連したヘッダ情報の書き換えを行うと、デコーダ１０９の実装にもよるが、復号伸長動作でエラーが起きる可能性が高い。ただし、タイル数を減らした復号伸長は、プログレッション順序に関係なく可能である。
【０１１６】
次に、新規に撮影する画像又は記録済み画像について、予め設定された条件でポスト量子化を連続的に行うモードＢについて説明する。図２３は、この動作モードを説明するためのフローチャートである。
【０１１７】
まず、システムコントローラ１０６は、メモリ１０４上の条件保存領域に保存されているポスト量子化条件（制御パラメータ）を読み出し、その内容を画像プロセッサ１０３に渡し表示部１０４に表示させる（ステップＳ２００）。ユーザは、操作部１０７を操作することにより、表示部１０４に表示されたポスト量子化条件の１つを選択することができる。システムコントローラ１０６は、ユーザにより選択されたポスト量子化条件（制御パラメータ）をメモリ１０５上の制御パラメータ一時記憶域に書き込む（ステップＳ２０５）。
【０１１８】
次に、ユーザは、処理対象が新規撮影画像であるか記録済み画像であるかを指示する。記録済み画像が処理対象であるならば（ステップＳ２０６，Ｙｅｓ）、記録媒体１１３に記録されている画像のサムネールが表示部１０４に表示され、ユーザは処理したい１つ以上の画像（静止画像又は動画像）を選択することができる（ステップＳ２０７）。
【０１１９】
記録済み画像の処理が指定された場合には、システムコントローラ１０６の制御により、ユーザに選択された１つの画像（静止画撮影された画像又は動画像の１つのフレーム画像）の符号化データが記録媒体１１３から読み出されてメモリ１０５に転送され（ステップＳ２１０）、この符号化データはポスト量子化処理部１１０によりメモリ１０５上の制御パラメータ一時記憶域に書き込まれたポスト量子化条件に従ってポスト量子化され（ステップＳ２１５）、ポスト量子化後の符号化データは媒体記録部１１２により記録媒体１１３上の元の符号化データに上書きされる（ステップＳ２２０）。ユーザにより選択された画像（静止画像又は選択された動画像のフレーム画像）が残っている場合には、その各画像についてステップＳ２１０，Ｓ２１５，Ｓ２２０が繰り返される。ユーザに選択された全ての画像（動画像の全てのフレーム画像）についてポスト量子化が終了すると（ステップＳ２２５，Ｙｅｓ）、このモードの動作は終了する。このような記録済み画像の連続的なポスト量子化は、例えば、記録媒体１１３の空き容量を増加させたいような場合に便利である。
【０１２０】
新規に撮影する画像の処理が指定された場合には、静止画像撮影操作又は動画像撮影操作により撮影された画像データは、エンコーダ１０８によりロスレスで（又はロスレスに近い低圧縮率で）圧縮され、その符号化データがメモリ１０５に書き込まれる（ステップＳ２１０）。この符号化データは、ポスト量子化処理部１１０により、設定されたポスト量子化条件に従ってポスト量子化され（ステップＳ２１５）、ポスト量子化後の符号化データは媒体記録部１１２により画像ファイルとして記録媒体１１３に記録される（ステップＳ２２０）。撮影された各画像（各フレーム）の符号化データについてステップＳ２１０，Ｓ２１５，Ｓ２２０が繰り返し実行される。ユーザから終了指示が入力されると（ステップＳ２２５，Ｙｅｓ）、このモードの動作は終了する。
【０１２１】
ここまでは、デジタルカメラやデジタルビデオカメラのような電子カメラ装置に関連して本発明を説明した。しかし、電子カメラ装置に限らず、画像の符号化データを扱う画像処理装置全般に本発明を適用可能であることは明らかである。また、図２１又は図２３に沿って説明した処理手順すなわち処理方法は、パソコンなどのコンピュータ上でプログラムにより実行することも可能である。そのためのプログラム、及び、同プログラムが記録された各種記録（記憶）媒体も本発明に包含される。
【０１２２】
《実施の形態２》 図２４は、本発明の別の実施の形態を説明するためのブロック図である。
【０１２３】
この実施の形態に係る画像処理装置２００は、ネットワーク（ＬＡＮ、インターネットなど）２３０との通信インターフェース２１５を有し、ネットワーク２３０上のサーバ２５０より画像の符号化データをダウンロードする機能を有する。画像処理装置２００は、さらに、装置全体の制御のためのシステムコントローラ２０６、ユーザ入力のための操作部２０７、画像などの表示のための表示部２０４、画像の符号化データの復号伸長のためのＪＰＥＧ２０００準拠のデコーダ２０９、図２０中のプレビュー制御部１１１と同様のプレビュー制御部２１１、画像やプログラムなどを格納するためのハードディスクなどの大容量記憶装置２１２、画像の符号化データなどのデータやプログラムの一時的記憶のためのメモリ２０５を有する。
【０１２４】
この画像処理装置２００は、具体的には例えばパソコンなどのコンピュータであり、システムコントローラ２０６、プレビュー制御部２１１、デコーダ２０９などはコンピュータのハードウェア資源を利用しプログラムにより実現される。この場合、操作部２０７はコンピュータのユーザ入力装置として一般的なキーボードやマウスなどである。
【０１２５】
サーバ２５０は、インターネット上のＷＷＷサーバなどと同様の機能を持つもので、大容量記憶装置２５１内にロスレスで（又はロスレスに近い低圧縮率で）圧縮符号化された大量の画像の符号化データを蓄積している。また、サーバ２５０は、符号化データのポスト量子化処理を実行するためのポスト量子化手段２５２を備えている。
【０１２６】
図２５は、この画像処理装置２００の動作を説明するための簡略化されたフローチャートである。このフローチャートに沿って動作を説明する。ここに示す動作の流れはシステムコントローラ２０６により制御される。
【０１２７】
ステップＳ３００： 画像処理装置２００は、プレビュー動作によるポスト量子化条件設定のために１つの静止画像（又は動画像の１つのフレーム画像）の符号化データをサーバ２５０よりダウンロードする。このダウンロードの手続きは、一般的なブラウザを利用したＷＷＷサーバーからの画像のダウンロードと同様でよい。
【０１２８】
ステップＳ３０５： ダウンロードされた画像の符号化データはメモリ２０５に一時的に記憶されるとともに、デコーダ２０９で復号伸長され、再生された画像データが表示部２０４に表示される。
【０１２９】
ステップＳ３１０： 図２１中のステップＳ１２５などに関連して説明したと同様のプレビュー動作によるポスト量子化条件の設定作業が実行される。この際、プレビュー制御部２１１は、図２０中のプレビュー制御部１１１と同様なデコーダ２０９のループ制御あるいは符号化データのヘッダ情報の書き換えを行う。なお、予め登録されたポスト量子化条件の１つを設定することも可能である。
【０１３０】
ステップＳ３１５： ポスト量子化条件が設定されると、これが通信インターフェース部２１５を介してネットワーク２３０上のサーバ２５０に通知される。サーバ２５０側では、このポスト量子化条件がポスト量子化手段２５２に設定される。
【０１３１】
ステップＳ３２０： 画像処理装置２００からサーバ２５０に対し、必要な画像のダウンロード要求が発行される。サーバ２５０においては、その画像の符号化データのポスト量子化処理が、ポスト量子化手段２５２で、設定されたポスト量子化条件に従って実行され、ポスト量子化後の符号化データが画像処理装置２００へ送信される。画像処理装置２００においては、ダウンロードされた画像の符号化データがメモリ２０５又は大容量記憶装置２１２に格納される。
【０１３２】
以上の手順により、画像処理装置２００のユーザは、望ましいポスト量子化条件でポスト量子化された画像の符号化データを取り込み、必要に応じてデコーダ２０９で復号伸長し表示部２０４に画像を表示させることができる。
【０１３３】
なお、上に説明したような構成のサーバ２５０も本発明に包含される。また、図２５を参照して説明した処理手順もしくは本発明による処理方法をコンピュータ上で実行するためのプログラム、及び、同プログラムが記録された各種記録（記憶）媒体も本発明に包含される。
【０１３４】
以上、ＪＰＥＧ２０００のフォーマットの符号化データを処理するものとして説明した。しかし、同様の部分的復号伸長及びポスト量子化が可能なフォーマットの符号化データであれば、ＪＰＥＧ２０００以外のアルゴリズムにより圧縮符号化された符号化データを対象とする画像処理装置にも本発明を適用可能であることは明白である。
【０１３５】
【発明の効果】
以上に説明したように、本発明の画像処理装置及び方法においては、
（１）ユーザにより設定されたポスト量子化条件に従った符号化データの部分的復号伸長により、そのポスト量子化条件に従ったポスト量子化を行った後の画像が表示される。符号が廃棄されるポスト量子化が実際に実行されるわけではないので、ポスト量子化条件を何度でも変更することができる。したがって、ユーザは、様々なポスト量子化条件によるポスト量子化の結果を予め確認しながら、最適なポスト量子化条件を容易に設定することができる。そして、設定した条件で符号化データのポスト量子化を実行させることにより、ジェネレーション的な画像劣化を生じさせることなく圧縮率を調整することができる。
（２）ポスト量子化以前の符号化データをロスレスもしくはロスレスに近い低圧縮率の符号化データとするならば、極めて低い圧縮率から高い圧縮率まで、圧縮率をユーザが任意に調整することができる。そして、ポスト量子化はジェネレーション的な画像劣化を生じないため、例えばデジタルカメラなどにおいて、ポスト量子化条件の設定、換言すれば圧縮率の設定を、画像の撮影前後の任意の時点で行うことができる。
（３）ポスト量子化条件の設定のための符号化データの部分的復号伸長及びポスト量子化では原画像データを操作しないため、大容量のワークメモリを必要としない。
（４）ポスト量子化条件の設定の際に、保存されているポスト量子化条件を呼び出すことにより、ユーザはより効率的にポスト量子化条件を設定することができる。
（５）ポスト量子化条件の設定の際に圧縮率が表示されるため、ユーザは画像劣化の程度と圧縮率との関連を容易に確認することができる。
（６）ポスト量子化条件の設定の際に、ユーザは、表示される画像の拡大／縮小／スクロールにより、設定したポスト量子化条件での画像劣化の確認を容易確実に行うことができる。
（７）ポスト量子化条件の設定の際に画像の表示倍率が表示されるため、ユーザは、設定したポスト量子化条件で、どの程度までの倍率まで画像劣化が目立たないか容易に確認することができる。
（８）ポスト量子化条件を平均化して保存することができるため、ユーザは何枚かの画像についてポスト量子化条件の設定、保存を行うことにより、画像の違いによる影響の少ないポスト量子化条件を保存することができる。
（９）画像の位置、コンポーネントの観点からのポスト量子化条件の設定が可能である。
（１０）保存されているポスト量子化条件から選択したポスト量子化条件により符号化データのポスト量子化を行わせることができる。したがって、新たに撮影される多数枚の画像の符号化データのポスト量子化や、記録媒体の空き容量確保などのための記録済み画像の符号化データのポスト量子化などを、その都度、ポスト量子化条件の設定作業を行うことなく、迅速に行うことができる。
（１１）ネットワーク上のサーバなどにユーザが希望するポスト量子化条件を送信することにより、ユーザが希望する条件で予めポスト量子化された符号化データをサーバなどから取り込むことができる、等々の効果を得られる。
【図面の簡単な説明】
【図１】 ＪＰＥＧ２０００のアルゴリズムを説明するためのブロック図である。
【図２】 ２次元ウェーブレット変換を説明するための図である。
【図３】 符号化データのフォーマットを説明するための図である。
【図４】 プリシンクトとコードブロックの説明図である。
【図５】 メインヘッダの構成を示す図である。
【図６】 タイルヘッダの構成を示す図である。
【図７】 マーカ及びマーカセグメントの一覧表を示す図である。
【図８】 ＳＯＴマーカセグメントの構成を示す図である。
【図９】 ＳＩＺマーカセグメントの構成を示す図である。
【図１０】 ＣＯＤマーカセグメントの構成を示す図である。
【図１１】 ＣＯＣマーカセグメントの構成を示す図である。
【図１２】 ＱＣＤマーカセグメントの構成を示す図である。
【図１３】 ＱＣＣマーカセグメントの構成を示す図である。
【図１４】 ＬＲＣＰプログレッションの符号化データにおけるパケットの順列とその部分的復号伸長の説明図である。
【図１５】 ＲＬＣＰプログレッションの符号化データにおけるパケットの順列とその部分的復号伸長の説明図である。
【図１６】 サブバンド毎のビットプレーン単位のエントロピー符号化結果を例示する図である。
【図１７】 サブバンド毎のビットプレーン単位の符号の序列付けを例示する図である。
【図１８】 レイヤ構成を例示する図である。
【図１９】 レイヤとパケットの関連を示す図である。
【図２０】 本発明の実施の形態１を説明するためのブロック図である。
【図２１】 実施の形態１における動作モードＡを説明するためのフローチャートである。
【図２２】 タイル数に関するポスト量子化条件の設定を説明するための図である。
【図２３】 実施の形態１における動作モードＢを説明するためのフローチャートである。
【図２４】 本発明の実施の形態２を説明するためのブロック図である。
【図２５】 実施の形態２における動作を説明するためのフローチャートである。
【図２６】 １０レイヤ構成の符号化データの全レイヤ、上位７レイヤ、上位３レイヤをそれぞれ復号伸長した画像の例を示す図である。
【符号の説明】
１００ 撮像光学系
１０１ イメージャ
１０２ ＣＤＳ・Ａ／Ｄ変換部
１０３ 画像プロセッサ
１０４ 表示部
１０５ メモリ
１０６ システムコントローラ
１０７ 操作部
１０８ エンコーダ
１０９ デコーダ
１１０ ポスト量子化部
１１１ プレビュー制御部
１１２ 媒体記録部
１１３ 記録媒体
２０４ 表示部
２０５ メモリ
２０６ システムコントローラ
２０７ 操作部
２０９ デコーダ
２１５ 通信インターフェース部
２３０ ネットワーク
２５０ サーバ
２５２ ポスト量子化手段
【発明の属する技術分野】
本発明は、デジタルカメラ、その他の画像処理装置に係り、特に、ＪＰＥＧ２０００の符号化データのようなポスト量子化が可能な符号化データを処理する画像処理装置に関する。
【０００２】
【従来の技術】
画像処理装置においては、画像データは、その記録又は伝送に先だって圧縮符号化されるのが普通である。
【０００３】
そのような画像処理装置の例としてデジタルカメラなどの電子カメラ装置について述べると、画像を記録するための記録媒体の利用効率を向上させるため、撮影された静止画像又は動画像のデータは圧縮符号化されてから記録媒体に記録される。その圧縮符号化方式としては、静止画像の圧縮符号化にはＪＰＥＧが、動画像の圧縮符号化にはＭＰＥＧが一般に用いられている。
【０００４】
ＪＰＥＧなどの圧縮符号化方式では、記録媒体に記録済みの画像の符号化データのデータ量を削減したい場合（圧縮率を上げたい場合）には、符号化データを復号伸長し、再生された画像データを、量子化パラメータなどを変更して再度圧縮符号化する必要があり、その際に余計な画像劣化が生じる。このような再圧縮に伴う画像劣化（ジェネレーション的な画像劣化）を避けるために、デジタルカメラなどにおいては、撮影に先立って圧縮率を指定するのが一般的である。通常、この圧縮率の指定は、画質モード（高画質、普通、エコノミーなど）の選択により行われる。
【０００５】
しかし、ＪＰＥＧのような可変長符号化方式は、量子化の程度によって任意の圧縮率を得ることが可能であるにもかかわらず、前述のようにいくつかの画質モードに対応した圧縮率に限定することはユーザの自由度を著しく損ねている。例えば、高画質モードでは圧縮率が低すぎるが、普通モードでは画像劣化の程度を許容できないというような場合でも、ユーザは、そのいずれかの画質モードを選択せざるを得ない。しかも、ジェネレーション的な画像劣化を避けるために、撮影に先立って、その画質モードの選択を行わなければならないのである。
【０００６】
画質モードの選択により圧縮率（つまり、圧縮符号化のパラメータ）を設定するのではなく、ＪＰＥＧによる圧縮符号化のパラメータをユーザが直接的に設定する装置及び方法が特許文献１に記載されている。ここに記載されている装置及び方法においては、複数の解像度パラメータに従って画像の解像度変換が行われ、解像度変換後の画像が表示され、ユーザがその１つの画像を選択することにより解像度パラメータが設定される。サブサンプリング・パラメータ、量子化テーブル・パラメータについても、同様の手順により、ユーザによりパラメータが設定される。そして、設定された全てのパラメータを用いてＪＰＥＧによる圧縮符号化が行われ、その符号化データが復号伸長されて表示され、表示された画像からユーザは各パラメータの設定の可否を確認する。
【０００７】
このように装置及び方法によれば、圧縮符号化のパラメータを（したがって圧縮率を）ユーザがより自由に設定することができる。しかし、ＪＰＥＧを前提とすると、パラメータ設定の際に原画像データもしくは原ＤＣＴ係数などを保持する大容量のワークメモリを必要とする。
【０００８】
ＪＰＥＧやＭＰＥＧに代わる圧縮符号化方式として、ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ ＦＣＤ １５４４４−１）とＭｏｔｉｏｎ−ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ ＦＣＤ １５４４４−３）が注目されている（例えば、非特許文献１を参照）。なお、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００は連続した複数の静止画像のそれぞれをフレームとして動画像を扱うが、個々のフレームに関してはＪＰＥＧ２０００に準拠している。ＪＰＥＧ２０００は多くの特長を有するが、その１つは、符号化データの符号の廃棄（ポスト量子化）により、符号状態のままデータ量もしくは圧縮率の調整が可能であることである。このポスト量子化によりデータ量を削減し圧縮率を上げても、圧縮率を上げたことによる画像劣化は生じるが、復号伸長して再び圧縮符号化を行う場合のようなジェネレーション的な余分な画像劣化は生じない。
【０００９】
ＪＰＥＧ２０００の符号化データに対し、レイヤ、解像度レベル、又はコンポーネントを単位としたポスト量子化を行うことにより、画像メモリの空き容量を確保するメモリ管理方法及び装置が特許文献２に記載されている。ポスト量子化では、原画像データを利用しないため大容量のワークメモリは不要である。
【００１０】
【特許文献１】
特開平８−３３９４５２号公報
【特許文献１】
特開２００１−３２０５８８号公報
【非特許文献１】
野水泰之著、「次世代画像符号化方式 ＪＰＥＧ２０００」、株式会社トリケップス、２００１年２月１３日
【００１１】
【発明が解決しようとする課題】
ここまでの説明から理解されるように、画像の符号化データを扱うデジタルカメラ、その他の画像処理装置においては、符号化データのデータ量もしくは圧縮率の調整をユーザ側で任意に行えることが望まれる。その調整の際に、予めユーザ側で画像の劣化の程度を確認できることが望ましい。その調整により、ジェネレーション的な画像劣化が生じないことが望ましい。デジタルカメラとなどでは、撮影前、撮影後の任意の時点で、符号化データ量もしくは圧縮率の調整を行えることが望ましい。さらに、その調整のための処理に大容量のワークメモリを必要としないことが望ましい。
【００１２】
本発明は、以上の観点に鑑みてなされたものであり、ＪＰＥＧ２０００のようなポスト量子化が可能な圧縮符号化方式が用いられるデジタルカメラ、その他の画像処理装置において、ユーザが最適なポスト量子化条件を容易に設定できるようにし、また、設定したポスト量子化条件に従って符号化データのポスト量子化を実行できるようにすることにある。
【００１３】
【課題を解決するための手段】
ＪＰＥＧ２０００の符号化データのようなポスト量子化が可能な符号化データは、必然的に部分的な復号伸長が可能である。本発明は、この部分的な復号伸長が可能であることに着目し、ユーザが、ポスト量子化による画像劣化の程度を予め確認しながらポスト量子化条件を任意に設定し、設定した条件で符号化データのポスト量子化を実行できるようにするものであり、以下に述べるような特徴を有する。
【００１４】
すなわち、本発明の１つの特徴は、請求項１に記載のように、符号化データを入力する符号化データ入力手段と、ユーザがポスト量子化条件を設定するための条件設定手段と、前記符号化データ入力手段により入力された符号化データに対し、前記条件設定手段によって設定されたポスト量子化条件に従った部分的復号伸長を行うことにより、当該符号化データをポスト量子化することなく、当該ポスト量子化条件に従って当該符号化データをポスト量子化した後の符号化データを復号伸長することにより再生される画像データと同じ画像データを再生する部分的復号伸長手段と、前記部分的復号伸長により再生された画像データを表示する表示手段とを有し、前記ポスト量子化条件は、画像の位置とコンポーネントのうちの少なくとも１つに関する条件である画像処理装置にある。
【００１５】
本発明のもう１つの特徴は、請求項２に記載のように、請求項１に記載の構成において、前記部分的復号伸長手段は、前記符号化データ入力手段により入力された符号化データに適用された圧縮符号化アルゴリズムに準拠したデコーダと、前記条件設定手段によって設定されたポスト量子化条件に従って前記デコーダの復号伸長動作を制御することにより、前記デコーダに当該符号化データの当該ポスト量子化条件に従った部分的復号伸長を行わせる手段とからなることにある。
【００１６】
本発明のもう１つの特徴は、請求項３に記載のように、請求項１に記載の構成において、前記部分的復号伸長手段は、前記符号化データ入力手段により入力された符号化データに適用された圧縮符号化アルゴリズムに準拠したデコーダと、前記条件設定手段によって設定されたポスト量子化条件に従って当該符号化データのヘッダ情報を書き換えることにより、前記デコーダに当該符号化データの当該ポスト量子化条件に従った部分的復号伸長を行わせる手段とからなることにある。
【００１７】
本発明のもう１つの特徴は、請求項４に記載のように、請求項１に記載の構成に加え、ユーザからの指示に従って、前記符号化データ入力手段により入力された符号化データに対し、前記条件設定手段により設定されたポスト量子化条件に従ったポスト量子化を行うポスト量子化手段を有することにある。
【００１８】
本発明のもう１つの特徴は、請求項５に記載のように、請求項１に記載の構成に加え、前記条件設定手段により設定されたポスト量子化条件を保存する条件保存手段を有し、前記条件設定手段により、前記条件保存手段に保存されているポスト量子化条件の１つをポスト量子化条件として設定可能であることにある。
【００１９】
本発明のもう１つの特徴は、請求項６に記載のように、請求項１に記載の構成に加え、前記条件設定手段により設定されたポスト量子化条件を保存する条件保存手段と、前記条件保存手段に保存されているポスト量子化条件の１つをユーザが選択するための条件選択手段と、前記条件選択手段により選択されたポスト量子化条件に従って前記符号化データ入力手段により入力された符号化データのポスト量子化を行うポスト量子化手段とを有することにある。
【００２０】
本発明のもう１つの特徴は、請求項７に記載のように、請求項５又は６に記載の構成に加え、前記条件保存手段に保存されているポスト量子化条件と前記条件設定手段により設定されたポスト量子化条件とを平均化する手段を有し、この平均化する手段により平均化されたポスト量子化条件が前記条件保存手段に保存されることにある。
【００２１】
本発明のもう１つの特徴は、請求項８に記載のように、請求項１に記載の構成において、前記条件設定手段により設定されたポスト量子化条件に従ってポスト量子化が行われた場合の圧縮率が前記表示手段に表示されることにある。
【００２２】
本発明のもう１つの特徴は、請求項９に記載のように、請求項１に記載の構成に加え、ユーザの指示に従って前記表示手段に表示される画像の拡大、縮小又はスクロールを行うための手段を有することにある。
【００２３】
本発明のもう１つの特徴は、請求項１０に記載のように、請求項９に記載の構成において、前記表示手段に画像の表示倍率が表示されることにある。
【００２４】
本発明のもう１つの特徴は、請求項１１に記載のように、請求項１乃至１０のいずれか１項に記載の構成に加え、静止画像又は動画像を撮影するための撮像手段と、前記撮影手段により撮影された画像データを圧縮符号化してポスト量子化が可能な符号化データを生成するエンコーダとを有することにある。
【００２５】
本発明のもう１つの特徴は、請求項１２に記載のように、請求項１に記載の構成に加え、外部装置より符号化データを受信し、また、前記条件設定手段により設定されたポスト量子化条件を外部装置へ送信するための通信手段を有することにある。
【００２６】
本発明のもう１つの特徴は、請求項１３に記載のように、請求項１乃至１２のいずれか１項に記載の構成において、符号化データはＪＰＥＧ２０００の符号化データであることにある。
【００２７】
本発明のもう１つの特徴は、請求項１４に記載のように、符号化データを入力する符号化データ入力ステップと、ユーザがポスト量子化条件を設定する条件設定ステップと、前記符号化データ入力ステップにより入力された符号化データに対し、前記条件設定ステップによって設定されたポスト量子化条件に従った部分的復号伸長を行うことにより、当該符号化データをポスト量子化することなく、当該ポスト量子化条件に従って当該符号化データをポスト量子化した後の符号化データを復号伸長することにより再生される画像データと同じ画像データを再生する部分的復号伸長ステップと、前記部分的復号伸長ステップにより再生された画像データを表示するステップとを含み、前記ポスト量子化条件は、画像の位置とコンポーネントのうちの少なくとも１つに関する条件である画像処理方法にある。
【００２８】
本発明のもう１つの特徴は、請求項１５に記載のように、請求項１４に記載の構成において、前記部分的復号伸長ステップは、前記符号化データ入力ステップにより入力された符号化データに適用された圧縮符号化アルゴリズムに準拠したデコーダの復号伸長動作を、前記条件設定ステップによって設定されたポスト量子化条件に従って制御することにより、前記デコーダに当該符号化データの当該ポスト量子化条件に従って部分的復号伸長を行わせることにある。
【００２９】
本発明のもう１つの特徴は、請求項１６に記載のように、請求項１４に記載の構成において、前記部分的復号伸長ステップは、前記条件設定ステップによって設定されたポスト量子化条件に従って、前記符号化データ入力ステップによって入力された符号化データのヘッダ情報を書き換えることにより、当該符号化データに適用された圧縮符号化アルゴリズムに準拠したデコーダに、当該符号化データの当該ポスト量子化条件に従った部分的復号伸長を行わせることにある。
【００３０】
本発明のもう１つの特徴は、請求項１７に記載のように、請求項１４に記載の構成に加え、ユーザからの指示に従って、前記符号化データ入力ステップにより入力された符号化データに対し、前記条件設定ステップにより設定されたポスト量子化条件に従ったポスト量子化を行うポスト量子化ステップを含むことにある。
【００３１】
本発明のもう１つの特徴は、請求項１８に記載のように、請求項１４に記載の構成に加え、前記条件設定ステップにより設定されたポスト量子化条件を保存する条件保存ステップと、前記条件保存ステップにより保存されたポスト量子化条件の１つをユーザが選択するための条件選択ステップと、前記条件選択ステップにより選択されたポスト量子化条件に従って前記符号化データ入力ステップにより入力された符号化データのポスト量子化を行うポスト量子化ステップとを含むことにある。
【００３２】
本発明のもう１つの特徴は、請求項１９に記載のように、請求項１４に記載の構成に加え、ある装置より符号化データを受信するステップと、前記条件設定ステップにより設定されたポスト量子化条件を前記装置へ送信するステップを含むことにある。
【００３３】
【発明の実施の形態】
以下に説明する実施の形態においては、ＪＰＥＧ２０００の符号化データ、又は、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００の符号化データを処理対象とする。Ｍｏｔｉｏｎ−ＪＰＥＧ２０００では連続する複数の静止画像のそれぞれをフレームとして動画像を扱い、各フレームの符号化データはＪＰＥＧ２０００に準拠している。
【００３４】
ＪＰＥＧ２０００に関しては例えば前記非特許文献１に詳しいが、以下に説明する本発明の実施の形態の理解を容易にするためＪＰＥＧ２０００について概説する。
【００３５】
図１はＪＰＥＧ２０００のアルゴリズムを説明するための簡略化されたブロック図である。圧縮符号化の対象となる画像データ（動画像を扱う場合には各フレームの画像データ）は、コンポーネント毎にタイルと呼ばれる重複しない矩形領域に分割され、コンポーネント毎にタイルを単位として処理される。ただし、タイルサイズを画像サイズと同一にすること、つまりタイル分割を行わないことも可能である。
【００３６】
タイル画像は、圧縮率の向上を目的として、ＲＧＢデータやＣＭＹデータからＹＣｒＣｂデータへの色空間変換が施される（ステップＳ１）。この色空間変換が省かれる場合もある。
【００３７】
色空間変換後の各コンポーネントの各タイル画像に対し２次元ウェーブレット変換（離散ウェーブレット変換：ＤＷＴ）が実行される（ステップＳ２）。
【００３８】
図２はデコンポジション・レベル数が３の場合のウェーブレット変換の説明図である。図２（ａ）に示すタイル画像（デコンポジションレベル０）に対する２次元ウェーブレット変換により、図２（ｂ）に示すような１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨの各サブバンドに分割される。１ＬＬサブバンドの係数に対し２次元ウェーブレット変換が適用されることにより、図２（ｃ）に示すように２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨのサブバンドに分割される。２ＬＬサブバンドの係数に対し２次元ウェーブレット変換が適用されることにより、図２（ｄ）に示すように３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨのサブバンドに分割される。デコンポジションレベルと解像度レベルとの関係であるが、図２（ｄ）の各サブバンドに括弧で囲んで示した数字が、そのサブバンドの解像度レベルを示している。
【００３９】
このような低周波成分（ＬＬサブバンド係数）の再帰的分割（オクターブ分割）により得られたウェーブレット係数は、サブバンド毎に量子化される（ステップＳ３）。ＪＰＥＧ２０００ではロスレス（可逆）圧縮とロッシー（非可逆）圧縮のいずれも可能であり、ロスレス圧縮の場合には量子化ステップ幅は常に１であり、この段階では量子化されない。
【００４０】
量子化後の各サブバンド係数はエントロピー符号化される（ステップＳ４）。このエントロピー符号化には、ブロック分割、係数モデリング及び２値算術符号化からなるＥＢＣＯＴ（Embedded Block Coding with Optimized Truncation）と呼ばれる符号化方式が用いられ、量子化後の各サブバンド係数のビットプレーンが上位プレーンから下位プレーンへ向かって、コードブロックと呼ばれるブロック毎に符号化される。
【００４１】
最後の２つのステップＳ５，Ｓ６は符号形成プロセスである。まず、ステップＳ５において、ステップＳ４で生成されたコードブロックの符号をまとめてパケットが作成される。次のステップＳ６において、ステップＳ５で生成されたパケットがプログレッション順序に従って並べられるとともに必要なタグ情報が付加されることにより、所定のフォーマットの符号化データが作成される。ＪＰＥＧ２０００では、符号順序制御に関して、解像度レベル、位置（プリシンクト)、レイヤ、コンポーネント（色成分)の組み合わせによる５種類のプログレッション順序が定義されている。
【００４２】
ＪＰＥＧ２０００においては、基本的に、全てのビットプレーンをエントロピー符号化し、前記符号形成プロセスで不要な符号をすてるという手順をとる。したがって、エントロピー符号化過程では、全コードブロックに関し、ビットプレーン符号化を行った結果得られた符号量を保持しておくことができる（なお、より詳しくは、ＪＰＥＧ２０００においては、１つのビットプレーンを３つのサブビットプレーンに分割して符号化する）。
【００４３】
このようにして生成されるＪＰＥＧ２０００の符号化データのフォーマットを図３に示す。図３に見られるように、符号化データはその始まりを示すＳＯＣマーカと呼ばれるタグで始まり、その後に符号化パラメータや量子化パラメータ等を記述したメインヘッダ(Main Header)と呼ばれるタグ情報が続き、その後に各タイル毎の符号データが続く。各タイル毎の符号データは、ＳＯＴマーカと呼ばれるタグで始まり、タイルヘッダ(Tile Header)と呼ばれるタグ情報、ＳＯＤマーカと呼ばれるタグ、各タイルの符号列を内容とするタイルデータ（Tile Data）で構成される。最後のタイルデータの後に、終了を示すＥＯＣマーカと呼ばれるタグが置かれる。
【００４４】
ＪＰＥＧ２０００の符号化データに付加されるタグ及びタグ情報の概要について説明する。図５にメインヘッダの構成を示す。ＳＩＺ，ＣＯＤ，ＱＣＤの各マーカセグメントは必須であるが、他のマーカセグメントはオプションである。
図６にタイルヘッダの構成を示す。（ａ）はタイルデータの先頭に付加されるヘッダであり、（ｂ）はタイル内が複数に分割されている場合に分割されたタイル部分列の先頭に付加されるヘッダである。タイルヘッダでは必須のマーカセグメントはなく、すべてオプションである。
図７に、マーカ及びマーカセグメントの一覧表を示す。図８にＳＯＴマーカセグメントの構成を示す。図９にＳＩＺマーカセグメントの構成を示す。図１０にＣＯＤマーカセグメントの構成を示す。図１１にＣＯＣマーカセグメントの構成を示す。図１２にＱＣＤマーカセグメントの構成を示す。図１３にＱＣＣマーカセグメントの構成を示す。
【００４５】
ここで、プリシンクト、コードブロック、パケット、レイヤについて簡単に説明する。画像≧タイル≧サブバンド≧プリシンクト≧コードブロックの大きさ関係がある。
【００４６】
プリシンクトとは、サブバンドの矩形領域で、同じデコンポジションレベルのＨＬ，ＬＨ，ＨＨサブバンドの空間的に同じ位置にある３つの領域の組が１つのプリシンクトとして扱われる。ただし、ＬＬサブバンドでは、１つの領域が１つのプリシンクトとして扱われる。プリシンクトのサイズをサブバンドと同じサイズにすることも可能である。また、プリシンクトを分割した矩形領域がコードブロックである。図４にデコンポジションレベル１における１つのプリシンクトとコードブロックを例示した。図中のプリシンクトと記された空間的に同じ位置にある３つの領域の組が１つのプリシンクトとして扱われる。
【００４７】
プリシンクトに含まれる全てのコードブロックの符号の一部（例えば最上位から３ビット目までの３枚のビットプレーンの符号）を取り出して集めたものがパケットである。符号が空（から）のパケットも許される。コードブロックの符号をまとめてパケットを生成し、所望のプログレッション順序に従ってパケットを並べることにより符号化データを形成する。図３の各タイルに関するＳＯＤ以下の部分がパケットの集合である。
【００４８】
全てのプリシンクト（つまり、全てのコードブロック、全てのサブバンド）のパケットを集めると、画像全域の符号の一部（例えば、画像全域のウェーブレット係数の最上位のビットプレーンから３枚目までのビットプレーンの符号）ができるが、これがレイヤである。したがって、伸長時に復号されるレイヤ数が多いほど再生画像の画質は向上する。つまり、レイヤは画質の単位と言える。全てのレイヤを集めると、画像全域の全てのビットプレーンの符号になる。
【００４９】
なお、パケットは、本体であるパケットデータ（符号）にパケットヘッダを付加した構成である。パケットヘッダには、パケットデータの長さ、符号パス数、０ビットプレーン数などの情報が含まれる。
【００５０】
ＪＰＥＧ２０００においてはＬＲＣＰ、ＲＬＣＰ、ＲＰＣＬ、ＰＣＲＬ、ＣＰＲＬの５つのプログレッション順序が定義されている。ここで、Ｌはレイヤ、Ｒは解像度レベル、Ｃはコンポーネント、Ｐはプリシンクト（位置)である。
【００５１】
ＬＲＣＰプログレッションの場合、Ｌ，Ｒ，Ｃ，Ｐの順にネストされた次のようなforループ
for(レイヤ)｛
for(解像度レベル)｛
for(コンポーネント)｛
for(プリシンクト)｛
パケットを配置：符号化時
パケットを解釈：復号時
｝
｝
｝
｝
の順でパケットのハンドリング（符号化時にはパケットの配置、復号時にはパケットの解釈）が行われる。したがって、復号時には、レイヤ数をより少ない値に設定するならば、そのレイヤ数までのレイヤまでのパケットだけをハンドリングさせ、符号化データを画質の観点から部分的に復号伸長することができる。デコーダにおいて、一番外側のforループを制御することにより、例えば、解像度レベルのforループを制御することにより、一部の解像度レベルのパケットのみ復号伸長させることもできる。
【００５２】
具体例を示せば、画像サイズ＝１００×１００画素（タイル分割なし）、レイヤ数＝２、解像度レベル数＝３（レベル０〜２）、コンポーネント数＝３、プリシンクトサイズ＝３２×３２、ＬＲＣＰプログレッションの場合における３６個のパケットは、図１４のような順に解釈される。この例で、レイヤ数＝１にセットするならば、図中の「終了」の段階で復号伸長動作を終了させることができる。また、ＪＰＥＧ２０００は符号化データの符号廃棄による圧縮（ポスト量子化）が可能である。この例のような復号伸長が行われる符号化データへとポスト量子化を行う場合には、「終了」の後のパケットが廃棄され、最後にＥＯＣマーカが付加され、また必要なマーカセグメントの書き換えが行われる。
【００５３】
なお、パケットヘッダには、レイヤ番号や解像度レベルなどは記述されていない。復号時に、そのパケットがどのレイヤのどの解像度レベルのものかは、ＣＯＤマーカセグメントに記述されたプログレッション順序から前記forループを形成し、そのパケットがどのforループ内でハンドリングされたかで決定される。
【００５４】
また、ＲＬＣＰプログレッションの場合には、
for(解像度レベル)｛
for(レイヤ)｛
for(コンポーネント)｛
for(プリシンクト)｛
パケットを配置：符号化時
パケットを解釈：復号時
｝
｝
｝
｝
という順で、パケットのハンドリングがなされる。したがって、復号時に、解像度レベル数をより少ない値に設定するならば、その解像度レベル数までのパケットだけをハンドリングさせ、符号化データを解像度の観点から部分的に復号伸長することができる。この場合でも、デコーダにおいて例えばレイヤのforループを制御することにより、一部レイヤのパケットだけを復号伸長させるようなことも可能である。デコーダは、当然にパケットの区切りを判別でき、かつ、forループの実行位置によって、当該パケットがどのレイヤ・解像度・コンポーネント・プリシンクトのものかを判別できる。したがって、当該パケットが部分復号に必要なものか、それとも不要なものか（復号せずに単に次のパケットに到達するまで読み飛ばせばよいだけのものか）を判別できるからである。
【００５５】
具体例を示せば、画像サイズ＝１００×１００画素（タイル分割なし）、レイヤ数＝２、解像度レベル数＝３（レベル０〜２）、コンポーネント数＝３、プリシンクトサイズ＝３２×３２の場合における３６個のパケットは、図１５のような順に解釈される。この例で、解像度レベル数＝２にセットするならば、図中の「終了」の段階で復号伸長動作を終了させることができる。また、この例のよう復号伸長が行われる符号化データへとポスト量子化を行う場合には、「終了」の後のパケットが廃棄され、最後にＥＯＣマーカが付加され、また、必要なマーカセグメントの書き換えが行われる。
【００５６】
また、上に述べたプログレッション順序のforループとは別に、タイルに関するループも存在する。ＪＰＥＧ２０００の標準には規定されていないが、デコーダ側では通常、
while(タイルがある限り)｛
for(解像度レベル)｛
for(レイヤ)｛
for(コンポーネント)｛
for(プリシンクト)｛
パケットを解釈
｝
｝
｝
｝
｝
というような構成をとる。タイルヘッダのＳＯＴマーカセグメントにはタイル番号が記述され、メインヘッダのＳＩＺマーカセグメントにはタイルサイズと画像サイズが記述されている。よって、例えば、その画像のサイズを１／２に書き換えると、デコーダは、そのサイズの範囲に入るだけの数のタイルがあると判断し、その数内のタイル番号を有するタイルの符号をデコードしようとするのが通常である。つまり、画像の一部領域の符号のみ復号伸長させることができる。
【００５７】
ここでマルチレイヤ構成の符号化データの生成方法に説明する。前述したようにＪＰＥＧ２０００のエンコーダでは、１つのビットプレーンを３つのサブビットプレーンに分割して符号化するが、簡単のために「サブバンド毎のビットプレーン単位」でのエントロピー符号化結果を保持することとして説明する。図１６に、エントロピー符号化結果の一例を示す。図中の数字は符号量（単位：バイト）を示す。全体の符号量は２６５５３バイトである。
【００５８】
この例においては、このような符号を１０レイヤに分割するものとし、１レイヤあたりの符号量をほぼ等しくする方法をとるものとする。１レイヤあたりの基準となる符号量は２６５５バイトとなる。
【００５９】
この例では、「サブバンド毎のビットプレーン単位」に予め序列を設ける。これはいわば「サブバンド毎のビットプレーン単位」の符号の重要度に相当するものである。この重要度は、場合に応じて，画質的観点やPSNR的観点等から決定することができる。また、ラグランジェの未定定数法を使用する典型的なラグランジェレート制御法では，「符号量/その符号を捨てたときの符号化誤差（量子化誤差）の増分」という指標を用いて、上記序列付けを行う。この例では、主に画質的観点から、図１７に示すように０（最重要）〜８３までの序列付けを行っている。
【００６０】
この例においては、上記序列順に従って符号量を順に加算し、加算結果が１レイヤあたりの基準符号量をこえたところまでを１つのレイヤとする、という方法でレイヤを形成し、図１８に示すようなレイヤ０〜９が形成される。
【００６１】
なお、１つのレイヤに含まれるパケットはプリシンクトの数だけ存在するが、図１８のレイヤ０のように、あるプリシンクト内の符号（この例では１HL〜１HHの符号）を含まないレイヤが生じることがある。このようなレイヤについては、符号として"空のパケット"を配置することにより、全てのレイヤに含まれるパケットの数を合わせるよう規定されている。本来、パケットは”番号”を持たないが、説明の便宜上”仮想パケット番号”を想定する。本例のレイヤを構成する「サブバンド毎のビットプレーン単位の符号」と、その「サブバンド毎のビットプレーン単位の符号」がどのパケットに含まれるかを仮想パケット番号を用いて示した図が図１９である。
【００６２】
《実施の形態１》 図２０は、本発明の１つの実施の形態を説明するためのブロック図である。この実施の形態は、デジタルスチルカメラやデジタルビデオカメラなどの電子カメラ装置である。
【００６３】
図２０において、１００は光学レンズ、絞り機構、シャッター機構などから構成される一般的な撮像光学系である。１０１はＣＣＤ型又はＭＯＳ型のイメージャであり、撮像光学系１００により結像される光学像を色分解してから光量に応じた電気信号に変換する。１０２はイメージャ１０１の出力信号をサンプリングしてデジタル信号に変換するＣＤＳ・Ａ／Ｄ変換部であり、相関二重サンプリング（ＣＤＳ）回路とＡ／Ｄ変換回路からなる。
【００６４】
１０３は画像プロセッサであり、例えばプログラム（マイクロコード）で制御される高速のデジタル信号プロセッサからなる。この画像プロセッサ１０３は、ＣＤＳ・Ａ／Ｄ変換部１０２より入力する画像データに対するガンマ補正処理、ホワイトバランス調整処理、エッジ強調などのためのエンハンス処理のような信号処理のほか、イメージャ１０１、ＣＤＳ・Ａ／Ｄ変換部１０２、表示装置１０４を制御し、また、オートフォーカス制御、自動露出制御、ホワイトバランス調整などのための情報の検出などを行う。表示装置１０４は例えば液晶表示装置であり、モニタリング画像（スルー画像）や撮影画像などの画像の表示、その他の情報の表示などに利用される。
【００６５】
以上に説明した撮像光学系１００、イメージャ１０１、ＣＤＳ・Ａ／Ｄ変換部１０２及び画像プロセッサ１０３は、静止画像又は動画像を撮影して画像データを取得する撮像手段を構成している。
【００６６】
１０８はＪＰＥＧ２０００準拠のエンコーダであり、これは撮影された画像データの圧縮符号化処理に利用される。１０９はＪＰＥＧ２０００準拠のデコーダであり、ＪＰＥＧ２０００準拠の符号化データの伸長復号処理に利用される。なお、このデコーダは、後述のポスト量子化条件を設定するためのプレビュー動作時における符号化データの部分的復号伸長にも利用される。１１０は符号化データのポスト量子化処理を行うためのポスト量子化処理部である。前述のように、ＪＰＥＧ２０００のエンコーダ１０８は、エントロピー符号化後の符号形成プロセスで不要な符号を廃棄したり符号の並びを制御する機能を一般に備えているため、その機能をポスト量子化処理部１０９として利用することも可能である。
【００６７】
１１１はプレビュー制御部であり、後述のポスト量子化条件を設定するための動作において、様々な条件でポスト量子化した符号化データを復号伸長した場合に得られる画像と同じ画像を、ポスト量子化前の符号化データの部分的復号伸長により再生させるための制御を行う手段である。すなわち、このプレビュー制御部１１１とデコーダ１０９とにより、ポスト量子化条件設定のための符号化データの部分的復号伸長を行う手段を構成する。
【００６８】
この実施の形態においては、プレビュー制御部１１１は、デコーダ１０９の内部動作を直接制御することによって、符号化データの部分的復号伸長を行わせる。ただし、後述するように、デコーダ１０９を直接的に制御する代わりに、プレビュー制御部１１１で、符号化データのヘッダ情報の書き換えを行うことにより、デコーダ１０９で符号化データの部分的な復号伸長を行わせることも可能であり、そのような態様も本発明に包含される。
【００６９】
１１２は記録媒体１１３に対する情報の書き込み／読み出しを行う媒体記録部である。この媒体記録部１１２により、静止画像撮影時には画像の符号化データはＪＰＥＧ２０００のファイル形式の画像ファイルとして記録媒体１１３に記録され、動画像撮影時には画像の符号化データはＭｏｔｉｏｎ−ＪＰＥＧ２０００のファイル形式の画像ファイルとして記録媒体１１３に記録される。記録媒体１１３は例えば各種メモリカードである。１１４はインターフェース部である。この電子カメラ装置は、インターフェース部１１４を介し、外部のパソコンなどと有線又は無線の伝送路あるいはネットワークを通じ情報の交換を行うことができる。
【００７０】
１０６はシステムコントローラであり、例えばマイクロコンピュータからなる。このシステムコントローラ１０６は、操作部１０７から入力されるユーザの操作情報や画像プロセッサ１０３から与えられる情報などに応答して、撮像光学系１００のシャッター機構、絞り機構、ズーミング機構の、画像プロセッサ１０３、エンコーダ１０８、デコーダ１０９、ポスト量子化処理部１１０、プレビュー制御部１１１、媒体記録部１１２などの制御を行う。１０５はメモリであり、画像データやその符号化データなどの一時記憶域、画像プロセッサ１０３やシステムコントローラ１０６、エンコーダ１０８、デコーダ１０９、ポスト量子化処理部１１０、プレビュー制御部１１１、媒体記録部１１２などの作業記憶域として利用される。
【００７１】
操作部１０７は、電子カメラ装置の操作のための一般的な操作ボタン（スイッチ）のほかに、ユーザがポスト量子化条件を任意に設定するための手段としての操作ボタン、例えば、レイヤ数の増減を指示するためのＬ（＋），Ｌ（−）ボタン、解像度の増減を指示するためのＲ（＋），Ｒ（−）ボタン、コンポーネント数の増減を指示するためのＣ（＋），Ｃ（−）ボタン、タイル数の増減を指示するためのＰ（＋），Ｐ（−）ボタンなどを備える。これ以外に、表示画像の拡大／縮小やスクロールを指示するためのボタンなども備える。
【００７２】
なお、エンコーダ１０８、デコーダ１０９、ポスト量子化処理部１１０、プレビュー制御部１１１の全部又はその一部の機能を、システムコントローラ１０６と同じマイクロコンピュータ又は別のマイクロコンピュータを利用しプログラムによって実現することも可能である。
【００７３】
この電子カメラ装置は、様々な動作モードを選択することができるが、本発明に固有の動作モードについて以下に説明する。
【００７４】
まず、新規に撮影した画像又は記録済みの画像の１枚毎に、ユーザがポスト量子化条件を設定する動作モードＡについて説明する。図２１は、この動作モードを説明するためのフローチャートである。ここに示される動作の流れはシステムコントローラ１０６によって制御される。
【００７５】
まず、１枚の画像の符号化データがメモリ１０５に取り込まれる（ステップＳ１００）。
具体的には、例えば、ユーザが操作部１０７のレリーズボタンを押して画像を１枚撮影する。その画像データがエンコーダ１０８によりロスレスで（又はロスレスに近い低圧縮率で）圧縮符号化され、得られた符号化データがメモリ１０５に書き込まれる。
あるいは、記録媒体１１３に記録されている１枚の画像の符号化データが媒体記録部１１２により読み出されてメモリ１０５に書き込まれる。この際の画像の選択方法であるが、例えば、記録媒体１１３に記録済みの画像のサムネールを表示部１０４に表示させ、ユーザが操作部１０７の操作によって表示部１０４の画面上のカーソルを希望する画像に移動させてから、操作部１０７より選択を指示するような一般的な方法を採用できる。
【００７６】
前ステップで取り込まれた符号化データの全符号がデコーダ１０９により復号伸長される（ステップＳ１０５）。再生された画像データは、メモリ１０５に記憶されるとともに、画像プロセッサ１０３により表示装置１０４に表示される（ステップＳ１１０）。
【００７７】
システムコントローラ１０６は、操作部１０７によるユーザからの指示の入力を待ち（ステップＳ１１５）、指示が入力されるとその指示内容に応じて動作の流れを制御する（ステップＳ１１６）。
【００７８】
入力された指示が拡大／縮小又はスクロールの指示であるときには、それに対応した指令がシステムコントローラ１０６より画像プロセッサ１０３に与えられ、画像プロセッサ１０３において対応した制御が行われ（ステップＳ１２０）、表示部１０４の画面上の画像が拡大、縮小又はスクロールされる（ステップＳ１２０）。このように表示画像の拡大／縮小／スクロールのための手段を含むため、ユーザは画像の希望する位置を必要な倍率で表示させ、その状態を確認することができる。
【００７９】
入力された指示が、ポスト量子化条件の設定のためのレイヤ、解像度、コンポーネント又はタイルの増減に関する指示であるときには、それに対応した指令がシステムコントローラ１０６よりプレビュー制御部１１１に与えられ、プレビュー制御部１１１の制御下で、現在のポスト量子化条件に従った符号化データの部分的復号伸長がデコーダ１０９により行われ（ステップＳ１２５）、再生された画像データが表示部１０４に表示される（ステップＳ１１０）。これがプレビュー動作である。
【００８０】
ステップＳ１２５について具体的に説明する。この実施の形態においては、ポスト量子化条件として、レイヤ数（画質）、解像度レベル数、コンポーネント数及びタイル（位置）に関する条件を単独で又は複数組み合わせて、ユーザが任意に設定することができる。
【００８１】
まず、操作部１０７のＬ（−）ボタンの押下によりレイヤ数を減らす指示が入力された場合について説明する。前述したように、デコーダ１０９においては、プログレッション順序に対応したネストされたループを回してパケットを解釈しながら復号伸長を行う。レイヤ数を減らす指示が入力された場合には、プレビュー制御部１１１は、レイヤのループの回数を、現在の回数より１又は所定値だけ減らす制御を行うことにより、符号化データをより少ないレイヤ数のものとして部分的に復号伸長させる。例えば、３０レイヤの符号化データの場合に、１回目のレイヤ数減少指示の入力によって復号伸長されるレイヤ数は２９に減らされ、２回目の入力によって復号伸長されるレイヤ数は２８に減らされる、等々である。これとは逆に、操作部１０７のＬ（＋）ボタンの押下によりレイヤ数を増やす指示が入力された場合には、プレビュー制御部１１１は、デコーダ１０９におけるレイヤのループの回数を現在の回数より１又は所定値だけ増加させる制御を行う。
【００８２】
このようなプレビュー動作により、ポスト量子化を行う前に、レイヤ数を変更するポスト量子化を行った場合と同じ画像を符号化データの部分的復号伸長により再生表示し、ユーザはレイヤ数を減らすポスト量子化を行ったときの画像の劣化の状況を予め確認することができる。
【００８３】
参考のために、１０レイヤ構成の符号化データについて、全レイヤ、上位７レイヤ、上位３レイヤをそれぞれ復号伸長した画像の例を図２６に示す。この画像の例において、復号伸長されるレイヤ数が少なくなるにつれて顔のテクスチャが失われていくのが分かるであろう。
【００８４】
なお、表示部１０４の画面に、全レイヤ数と現在表示中のレイヤ数を示すインジケータを表示し、このインジケータを操作することにより復号伸長すべきレイヤ数を指定する（レイヤに関するポスト量子化条件を設定する）ような方法も可能であり、このようなインターフェースも本発明に包含される。
【００８５】
操作部１０７のＲ（−）ボタンの押下により解像度を下げる指示が入力された場合には、プレビュー制御部１１１は、デコーダ１０９における解像度のループの回数を現在の回数より１又は所定値だけ減らす制御を行うことにより、符号化データをより解像度の低いものとして部分的に復号伸長させる。これと逆に、Ｒ（＋）ボタンの押下により解像度を上げる指示が入力された場合には、プレビュー制御部１１１は、デコーダ１０９における解像度のループの回数を現在の回数より１又は所定値だけ増加させる制御を行う。
【００８６】
このようなプレビュー動作により、ポスト量子化を行う前に、解像度を変更するポスト量子化を行った場合と同じ画像を符号化データの部分的復号伸長により再生表示し、ユーザは解像度を変更するポスト量子化を行った場合の画像劣化の様子を前もって確認することができる。
【００８７】
なお、表示部１０４の画面に、全解像度レベル数と現在表示中の解像度レベル数とを示すインジケータを表示し、このインジケータを操作することにより復号伸長すべき解像度レベル数を指定する（解像度に関するポスト量子化条件を設定する）ような方法も可能であり、このようなインターフェースも本発明に包含される。
【００８８】
操作部１０７のＰ（−）ボタン又はＰ（＋）ボタンの押下によりタイル数を減少又は増加させる指示が入力された場合には、プレビュー制御部１１１は、復号伸長されるタイル数を減少又は増加させるようにデコーダ１０９におけるタイルのループを制御する。この制御の具体例を次に示す。
【００８９】
例えば、画像が図２２（ａ）に示すように５×５のタイルに分割されて圧縮符号化された符号化データを考える。タイル数減少指示の１回目の入力で、図２２（ｂ）に網掛けして示した０番、５番、１０番、１５番、２０番のタイルのパケットが復号伸長されないように、デコーダ１０９におけるタイルのループが制御される。タイル数減少指示の２回目の入力で、図２２（ｃ）に網掛けして示したタイルのパケットが復号伸長されないようにデコーダ１０９におけるタイルのループが制御される。３回目の入力で図２２（ｄ）に網掛けして示したタイルのパケットが復号伸長されないようにループが制御され、４回目の入力で図２２（ｅ）に網掛けして示したタイルのパケットが復号伸長されないようにループが制御される。以下同様に画像の外側より右回りに復号伸長されるパケットが減少する。タイル数増加指示が入力された場合には、タイル数減少指示の場合と丁度逆に復号伸長されるタイル数を増加させるようにタイルのループが制御される。
【００９０】
このようなプレビュー動作により、ポスト量子化を行う前に、タイル数を変更する（タイル単位でのクリッピングを行う）ポスト量子化を行った場合と同じ画像が、符号化データの部分的復号伸長により再生表示され、ユーザはポスト量子化後の画像の様子を予め確認することができる。
【００９１】
なお、ここではタイル数の増減を指示したが、例えば、表示装置１０４の画面上に画像に重ねてタイル分割線を表示し、画面上でユーザが特定の１つ以上のタイルを指定し、あるいは、ユーザがタイル番号などで特定の１つ以上のタイルを指定することにより、タイルに関するポスト量子化条件を設定するようにしてもよく、このようなインターフェースも本発明に包含される。
【００９２】
また、画像の「位置（position）」としてはタイルのほかにプリシンクトがある。このプリシンクト単位の符号廃棄によるポスト量子化も可能であるので、プリシンクトを指定したプレビュー動作も可能であり、そのような態様も本発明に包含される。
【００９３】
操作部１０７のＣ（−）ボタンの押下によりコンポーネント数減少指示が入力された場合には、プレビュー制御部１１１は、輝度のパケットのみが復号伸長されるようにデコーダ１０９のコンポーネントのループを制御する。つまり、モノクロ画像が再生され表示されることになる。この後に、Ｃ（＋）ボタンの押下によりコンポーネント数増加指示が入力された場合には、プレビュー制御部１１１は、輝度及び色差のパケットが復号伸長されるようにデコーダ１０９のコンポーネントのループを制御する。したがって、カラー画像が再生され表示されることになる。
【００９４】
このようなプレビュー動作により、ポスト量子化を行う前に、コンポーネント数を変更するポスト量子化を行った場合と同じ画像を符号化データの部分的復号伸長により再生表示し、ユーザはコンポーネント数を変更するポスト量子化を行った場合の画像の様子を予め確認することができる。
【００９５】
プレビュー制御部１１１は、以上に述べたような部分的復号伸長の制御パラメータ（これはポスト量子化条件でもある）をメモリ１０５上の制御パラメータ一時記憶領域に保持しており、それら制御パラメータに従ってデコーダ１０９を制御する。そして、例えば、レイヤ数の増減指示が入力された時には、レイヤに関連する制御パラメータのみを更新し、他の制御パラメータはそのまま保持する。例えば、レイヤ数を減少させる指示を入力し復号伸長されるレイヤ数を減少させた後に、解像度を下げる指示を入力するならば、現在のレイヤ数を維持しつつ、さらに解像度を下げた復号伸長が行われるようにデコーダ１０９は制御される。したがって、プレビュー動作により、レイヤ、解像度、コンポーネント、タイル（あるいはプリシンクト）のうちの１つ又は複数の要素を変更するポスト量子化を行った場合の画像の様子を予め確認することができる。
【００９６】
以上に述べたプレビュー動作により、様々な条件でのポスト量子化後の画像と同じ画像を表示部１０４に表示させることができる。ユーザは、必要に応じて表示画像の拡大／縮小やスクロールを行って、ポスト量子化による画像の劣化などを容易に確認することができる。この際、ユーザの判断のための補助的な情報、例えば、現在の画像の圧縮率や表示倍率なども表示部１０４に表示される。表示倍率が表示されると、ユーザは、現在のポスト量子化条件で、どの程度の表示倍率まで画像の劣化が目立たないか判断することができる。圧縮率が表示されると、圧縮率と画像劣化との関係を容易に確認することができる。
【００９７】
ユーザは、プレビュー動作で満足な結果が得られたと判断したときは、操作部１０７より画像保存指示を入力することができる。この指示が入力された場合には、ポスト量子処理部１１０により、メモリ１０５上の制御パラメータ一時記憶域に保存されている制御パラメータ、つまりユーザにより設定されたポスト量子化条件に従って符号化データのポスト量子化処理が実行される（ステップＳ１３５）。このポスト量子化後の符号化データは、現在表示されている画像とレイヤ数、解像度レベル数、タイル数及びコンポーネント数が同じものであり、その符号化データを復号伸長するならば現在表示されている画像と同じ画像が再生される。ポスト量子化後の符号化データは、媒体記録部１１２により記録媒体１１３に記録される（ステップＳ１３６）。このポスト量子化の具体例については後述する。
【００９８】
ユーザは、設定したポスト量子化条件を保存したい場合には、制御部１０７より条件登録指示を入力する。この指示が入力されると、システムコントローラ１０６によって、メモリ１０５上の制御パラメータ一時記憶域に保存されている制御パラメータ、すなわちポスト量子化条件が、メモリ１０５上の条件保存領域に書き込まれる（ステップＳ１４０）。このように、この電子カメラ装置はユーザにより設定されたポスト量子化条件を保存する手段を有する。
【００９９】
なお、条件保存領域に、制御パラメータとともに、又は制御パラメータに代えて、圧縮率を記録することもできる。例えば、マルチレイヤの符号化データで下位レイヤから符号を廃棄するポスト量子化を行うような場合や、シングルレイヤの符号化データでパケットのサブビットプレーンの符号を廃棄するポスト量子化を行う場合には、ポスト量子化条件として圧縮率が分かれば、その圧縮率になるまでポスト量子化を行うことが可能であるからである。圧縮率をポスト量子化条件として登録する態様も本発明に含まれる。
【０１００】
ユーザは、制御部１０７より条件呼び出し指示を入力することにより、メモリ１０５上の条件保存領域に保存されている制御パラメータつまりポスト量子化条件を呼び出して利用することができる。この条件呼び出し指示が入力された場合には、システムコントローラ１０６により、条件保存領域に保存されている制御パラメータつまりポスト量子化条件の内容が画像プロセッサ１０３に渡され、表示部１０４に表示される（ステップＳ１３０）。その表示形式はユーザに分かりやすい形式が好ましい。例えば、
(1)１７レイヤ／３０レイヤ
(2)解像度レベル４まで
(3)１７レイヤ／３０レイヤ，解像度レベル４まで
(4)１６タイル／２５タイル
(5)モノクロ
(6)圧縮率（＝符号量／全ビットプレーンの符号量）
というような形で表示される。ここで、条件（１）は３０レイヤ中の上位１７レイヤの符号のみ残すポスト量子化を意味する。条件（２）は解像度レベル５以上の符号を廃棄するポスト量子化を意味する。条件（３）は３０レイヤ中の上位１７レイヤの、解像度レベル０〜４の符号のみ残すポスト量子化を意味する。条件（４）は例えば外側のタイルから順に符号を廃棄し、２５個のタイル中の１６タイルの符号を残すポスト量子化を意味する。条件（５）は色差の符号を廃棄するポスト量子化を意味する。条件（６）は、この圧縮率となるまで、レイヤ単位又はサブビットプレーン単位で符号を廃棄するポスト量子化を意味する。
【０１０１】
ユーザが、操作部１０７を介して表示部１０４に表示されたポスト量子化条件の１つを選択すると、システムコントローラ１０６により選択されたポスト量子化条件すなわち制御パラメータがメモリ１０５上の制御パラメータ一時記憶域に書き込まれる（ステップＳ１３１）。つまり、ユーザは保存されている制御パラメータすなわちポスト量子化条件を呼び出し、それを設定することができる。このポスト量子化条件に従ってプレビュー制御部１１１によりデコーダ１０９の動作が制御され、当該ポスト量子化条件でポスト量子化を行った場合と同じ画像データが再生され（ステップＳ１２５）、それが表示部１０４に表示される（ステップＳ１１０）。この後、ユーザは前述したようなポスト量子化条件の変更を行うことも可能であり、また、画像保存を指示することもできる。
【０１０２】
ユーザは、別の画像の符号化データの処理を必要とする場合には操作部１０７より継続指示を入力する。この指示が入力された場合には、システムコントローラ１０６は、ステップＳ１００の制御に戻る。ユーザは本動作モードを終了させたい場合には、終了指示を操作部１０７より入力する。この指示の入力によりシステムコントローラ１０６は本動作モードを終了させる。
【０１０３】
ここで、条件保存のステップＳ１４０についてさらに説明する。ユーザは、条件保存指示を入力した際、あるいは、この動作モードＡの開始時に画質モード（高画質、エコノミーなど）を指定することができる。画質モードが指定された場合には、ステップＳ１４０において、システムコントローラ１０６は、ポスト量子化条件（制御パラメータ）を画質モード別に分類して１０５上の条件保存領域に保存させる。このように画質モード別にポスト量子化条件を登録すると、ステップＳ１３０，Ｓ１３１に関連して説明したようなポスト量子化条件の選択を行う場合に便利である。
【０１０４】
このような画質モード別の条件登録が行われる場合には、同じ画質モードに同種のポスト量子化条件が追加登録される時に、そのポスト量子化条件を平均化する処理を行うように予め設定することもできる。このように設定された場合、例えば、ある画質モードに関し、ポスト量子化条件として圧縮率が既に登録されている時に圧縮率の登録指示があると、システムコントローラ１０６は、既に登録されている圧縮率と追加される圧縮率を平均した圧縮率を算出し、その平均圧縮率によって条件保存領域上の圧縮率を書き換える。このような平均化によれば、ユーザが同じ画質モードを指定し、何枚かの画像についてプレビュー動作によりポスト量子化条件の設定、登録を行うことにより、画像の違いによる影響の少ないポスト量子化条件を登録することができる。なお、登録されたポスト量子化条件の中の１つを、ユーザがデフォルトとして設定したり、あるいは、最後に使用されたポスト量子化条件又は最も多く使用されたポスト量子化条件が自動的にデフォルトになるように構成したりすることも可能であり、特に平均化されたポスト量子化条件はデフォルトとして好適である。
【０１０５】
なお、この実施の形態においては、Ｌ（＋），Ｌ（−）ボタンの押下によりレイヤ数を増減するが、例えばＬ（−）ボタンが一度押下されると、現在のレイヤ数より少ない、いくつかのレイヤ数それぞれに対応した部分的復号伸長を連続的に実行し、再生されたいくつかの画像を表示部１０４に並べて表示し、そのいずれかの画像をユーザが選択することによりレイヤ数を設定するような構成とすることも可能である。解像度レベル数、タイル数についても同様である。このような態様も本発明に当然に包含される。
【０１０６】
次にステップＳ１３５におけるポスト量子化処理について説明する。前述のように、ポスト量子化処理においては、不要なパケットの符号を廃棄し、必要に応じて残ったパケットの並べ替えを行い、末尾のパケットの後にＥＯＣマーカを付けるほか、ヘッダ情報の書き換えが必要となる。次に、比較的単純なポスト量子化の具体例をいくつか説明する。
【０１０７】
まず、ＬＲＣＰプログレッションの符号化データの下位ｎレイヤのパケットを廃棄するポスト量子化では、下位のｎレイヤのパケットが廃棄される。ＣＯＤマーカセグメント（図１０）のＳＧcodに記載されているレイヤ数が、ｎだけ減じた値に変更される。
【０１０８】
ＲＬＣＰプログレッション又はＲＰＣＬプログレッションの符号化データの解像度レベル数をｎだけ減じるポスト量子化では、下位のｎレベル分のパケットが廃棄される。ＳＩＺマーカセグメント（図９）のＸsiz，Ｙsiz，ＸＴsiz，ＹＴsizが、元の値の２^n分の１の値に書き換えられる（ここで、２^nは２のｎ乗を意味する）。ＣＯＤマーカセグメント（図１０）のＳＰcodに記述されているデコンポジション数がｎだけ減じた値に書き換えられる。また、ＳＰcodのプリシンクトサイズの最後のｎバイトのエントリが削除される（プリシンクトサイズ＝サブバンドサイズのマキシムプリシンクトの場合は、この書き換えは不要）。ＱＣＤマーカセグメント（図１２）のＬqcdの値が３ｎだけ減じた値に書き換えられる（ただし、derived量子化された符号化データならこの書き換えは不要。expounded量子化された符号化データなら６ｎを減じた値に書き換えられる）。ＱＣＤマーカセグメントのＳＰqcdの最後の３ｎバイト分のエントリが削除される（ただし、derived量子化された符号化データなら削除不要。expounded量子化された符号化データなら６ｎバイト分のエントリが削除される）。ＣＯＣマーカセグメント（図１１）が存在するときには、そのＬcocとＳＰcocも、ＣＯＤマーカセグメントのＬcod及びＳＰcodと同様に書き換えられる。ＱＣＣマーカセグメント（図１３）が存在するときには、そのＬqcc及びＳＰqccも、ＱＣＤマーカセグメントのＬqcd及びＳＰqcdと同様に書き換えられる。
【０１０９】
ＣＰＲＬプログレッションの符号化データのコンポーネント数をｎ減らすポスト量子化では、不要なコンポーネントのパケットが廃棄されるほか、ＳＩＺマーカセグメント（図９）のＬsizの値が３ｎを減じた値に、Ｃsizの値がｎを減じた値にそれぞれ書き換えられる。また、ＳＩＺマーカセグメントのＳziz，ＸＲsiz，ＹＲsizの最後のｎコンポーネント分のエントリが削除される。また、ＣＯＤマーカセグメント（図１０）のＳＧcodの色変換のバイトが”１”ならば”０”に書き換えられる。なお、ＪＰＥＧ２０００では最初の３コンポーネントにのみ色変換を施す仕様であり、例えば４コンポーネント中の最初の３コンポーネントが残る場合にはＳＧcod
の色変換のバイトは”１”のままでよい。
【０１１０】
任意のプログレッションの符号化データのタイル数をｎ減らすポスト量子化では、不要なｎ個のタイルのパケットが廃棄されるとともに、ＳＩＺマーカセグメントのＸsiz，Ｙsizの値が、タイル数の減少により縮小した画像サイズに相当する値に書き換えられる。また、残されるタイルへの番号の割当て変更が必要な場合は、ＳＯＴマーカセグメント（図８）のＩsotの書き換えが行われる。
【０１１１】
さて、前述のように、プレビュー動作時に、プレビュー制御部１１１でデコーダ１０９のループ制御を行う代わりに、符号化データのヘッダ情報を書き換えることにより、デコーダ１０９で同様の部分的復号伸長を行わせることも可能であり、かかる態様も本発明に包含される。この態様について簡単に説明する。
【０１１２】
例えば、ＬＲＣＰプログレッションの符号化データのレイヤ数をｎ減らし、下位のｎレイヤを除外した部分的復号伸長を行う場合には、ポスト量子化で説明したようにＣＯＤマーカセグメントのＳＧcodのレイヤ数をｎだけ減じた値に書き換える。このような書き換え後の符号化データをデコーダ１０９に入力すると、特別のループ制御を行うことなく、下位ｎレイヤを廃棄するポスト量子化を行った場合と同じ画像が再生される。
【０１１３】
また、任意のプログレッション順序の符号化データのタイル数を減らした部分的符号化伸長は、ポスト量子化の場合と同様のヘッダ情報の書き換えにより可能である。例えば、図２２（ａ）に示すような５×５タイルに分割された符号化データについて、図２２（ｂ）に示すようにタイル数を減じた部分的復号化伸長を行う場合には、復号伸長されるべき２０個のタイルにラスタ順に０から番号を付け直し、復号伸長されるべきでない５個のタイルに、２０番〜２４番のタイル番号を付け直し、付け直したタイル番号にＳＯＴマーカのＩsotを書き換え、また、復号伸長されるべき２０個のタイルからなる画像のサイズに、ＳＩＺマーカセグメントのＸsiz，Ｙsizを書き換える。
【０１１４】
ＲＬＣＰ又はＲＰＣＬプログレッションの符号化データの解像度レベル数を減らす場合と、ＣＰＲＬプログレッションの符号化データのコンポーネント数を減らす場合には、ポスト量子化と同様のヘッダ情報の書き換えを行うことにより、対応したポスト量子化を行った場合と同じ画像が再生される。
【０１１５】
ただし、このようなヘッダ情報の書き換えによるプレビュー方法は、デコーダ１０９の内部のループ制御を行う方法に比べると制約がある。つまり、デコーダ１０９においては、前述のようなプログレッション順序に対応したネストされたループによりパケットが解釈されるため、ヘッダ情報の書き換えにより復号伸長を制御できるのは最も外側のループに関連した要素に限定される。つまり、ＬＲＣＰプログレッションの符号化データで可能なのはレイヤ数を減らす復号伸長のみ、ＲＬＣＰ又はＲＰＣＬプログレッションの符号化データで可能なのは解像度レベル数を減らした復号伸長のみ、ＣＰＲＬプログレッションの符号化データで可能なのはコンポーネント数を減らした復号伸長のみである。これ以外の要素に関連したヘッダ情報の書き換えを行うと、デコーダ１０９の実装にもよるが、復号伸長動作でエラーが起きる可能性が高い。ただし、タイル数を減らした復号伸長は、プログレッション順序に関係なく可能である。
【０１１６】
次に、新規に撮影する画像又は記録済み画像について、予め設定された条件でポスト量子化を連続的に行うモードＢについて説明する。図２３は、この動作モードを説明するためのフローチャートである。
【０１１７】
まず、システムコントローラ１０６は、メモリ１０４上の条件保存領域に保存されているポスト量子化条件（制御パラメータ）を読み出し、その内容を画像プロセッサ１０３に渡し表示部１０４に表示させる（ステップＳ２００）。ユーザは、操作部１０７を操作することにより、表示部１０４に表示されたポスト量子化条件の１つを選択することができる。システムコントローラ１０６は、ユーザにより選択されたポスト量子化条件（制御パラメータ）をメモリ１０５上の制御パラメータ一時記憶域に書き込む（ステップＳ２０５）。
【０１１８】
次に、ユーザは、処理対象が新規撮影画像であるか記録済み画像であるかを指示する。記録済み画像が処理対象であるならば（ステップＳ２０６，Ｙｅｓ）、記録媒体１１３に記録されている画像のサムネールが表示部１０４に表示され、ユーザは処理したい１つ以上の画像（静止画像又は動画像）を選択することができる（ステップＳ２０７）。
【０１１９】
記録済み画像の処理が指定された場合には、システムコントローラ１０６の制御により、ユーザに選択された１つの画像（静止画撮影された画像又は動画像の１つのフレーム画像）の符号化データが記録媒体１１３から読み出されてメモリ１０５に転送され（ステップＳ２１０）、この符号化データはポスト量子化処理部１１０によりメモリ１０５上の制御パラメータ一時記憶域に書き込まれたポスト量子化条件に従ってポスト量子化され（ステップＳ２１５）、ポスト量子化後の符号化データは媒体記録部１１２により記録媒体１１３上の元の符号化データに上書きされる（ステップＳ２２０）。ユーザにより選択された画像（静止画像又は選択された動画像のフレーム画像）が残っている場合には、その各画像についてステップＳ２１０，Ｓ２１５，Ｓ２２０が繰り返される。ユーザに選択された全ての画像（動画像の全てのフレーム画像）についてポスト量子化が終了すると（ステップＳ２２５，Ｙｅｓ）、このモードの動作は終了する。このような記録済み画像の連続的なポスト量子化は、例えば、記録媒体１１３の空き容量を増加させたいような場合に便利である。
【０１２０】
新規に撮影する画像の処理が指定された場合には、静止画像撮影操作又は動画像撮影操作により撮影された画像データは、エンコーダ１０８によりロスレスで（又はロスレスに近い低圧縮率で）圧縮され、その符号化データがメモリ１０５に書き込まれる（ステップＳ２１０）。この符号化データは、ポスト量子化処理部１１０により、設定されたポスト量子化条件に従ってポスト量子化され（ステップＳ２１５）、ポスト量子化後の符号化データは媒体記録部１１２により画像ファイルとして記録媒体１１３に記録される（ステップＳ２２０）。撮影された各画像（各フレーム）の符号化データについてステップＳ２１０，Ｓ２１５，Ｓ２２０が繰り返し実行される。ユーザから終了指示が入力されると（ステップＳ２２５，Ｙｅｓ）、このモードの動作は終了する。
【０１２１】
ここまでは、デジタルカメラやデジタルビデオカメラのような電子カメラ装置に関連して本発明を説明した。しかし、電子カメラ装置に限らず、画像の符号化データを扱う画像処理装置全般に本発明を適用可能であることは明らかである。また、図２１又は図２３に沿って説明した処理手順すなわち処理方法は、パソコンなどのコンピュータ上でプログラムにより実行することも可能である。そのためのプログラム、及び、同プログラムが記録された各種記録（記憶）媒体も本発明に包含される。
【０１２２】
《実施の形態２》 図２４は、本発明の別の実施の形態を説明するためのブロック図である。
【０１２３】
この実施の形態に係る画像処理装置２００は、ネットワーク（ＬＡＮ、インターネットなど）２３０との通信インターフェース２１５を有し、ネットワーク２３０上のサーバ２５０より画像の符号化データをダウンロードする機能を有する。画像処理装置２００は、さらに、装置全体の制御のためのシステムコントローラ２０６、ユーザ入力のための操作部２０７、画像などの表示のための表示部２０４、画像の符号化データの復号伸長のためのＪＰＥＧ２０００準拠のデコーダ２０９、図２０中のプレビュー制御部１１１と同様のプレビュー制御部２１１、画像やプログラムなどを格納するためのハードディスクなどの大容量記憶装置２１２、画像の符号化データなどのデータやプログラムの一時的記憶のためのメモリ２０５を有する。
【０１２４】
この画像処理装置２００は、具体的には例えばパソコンなどのコンピュータであり、システムコントローラ２０６、プレビュー制御部２１１、デコーダ２０９などはコンピュータのハードウェア資源を利用しプログラムにより実現される。この場合、操作部２０７はコンピュータのユーザ入力装置として一般的なキーボードやマウスなどである。
【０１２５】
サーバ２５０は、インターネット上のＷＷＷサーバなどと同様の機能を持つもので、大容量記憶装置２５１内にロスレスで（又はロスレスに近い低圧縮率で）圧縮符号化された大量の画像の符号化データを蓄積している。また、サーバ２５０は、符号化データのポスト量子化処理を実行するためのポスト量子化手段２５２を備えている。
【０１２６】
図２５は、この画像処理装置２００の動作を説明するための簡略化されたフローチャートである。このフローチャートに沿って動作を説明する。ここに示す動作の流れはシステムコントローラ２０６により制御される。
【０１２７】
ステップＳ３００： 画像処理装置２００は、プレビュー動作によるポスト量子化条件設定のために１つの静止画像（又は動画像の１つのフレーム画像）の符号化データをサーバ２５０よりダウンロードする。このダウンロードの手続きは、一般的なブラウザを利用したＷＷＷサーバーからの画像のダウンロードと同様でよい。
【０１２８】
ステップＳ３０５： ダウンロードされた画像の符号化データはメモリ２０５に一時的に記憶されるとともに、デコーダ２０９で復号伸長され、再生された画像データが表示部２０４に表示される。
【０１２９】
ステップＳ３１０： 図２１中のステップＳ１２５などに関連して説明したと同様のプレビュー動作によるポスト量子化条件の設定作業が実行される。この際、プレビュー制御部２１１は、図２０中のプレビュー制御部１１１と同様なデコーダ２０９のループ制御あるいは符号化データのヘッダ情報の書き換えを行う。なお、予め登録されたポスト量子化条件の１つを設定することも可能である。
【０１３０】
ステップＳ３１５： ポスト量子化条件が設定されると、これが通信インターフェース部２１５を介してネットワーク２３０上のサーバ２５０に通知される。サーバ２５０側では、このポスト量子化条件がポスト量子化手段２５２に設定される。
【０１３１】
ステップＳ３２０： 画像処理装置２００からサーバ２５０に対し、必要な画像のダウンロード要求が発行される。サーバ２５０においては、その画像の符号化データのポスト量子化処理が、ポスト量子化手段２５２で、設定されたポスト量子化条件に従って実行され、ポスト量子化後の符号化データが画像処理装置２００へ送信される。画像処理装置２００においては、ダウンロードされた画像の符号化データがメモリ２０５又は大容量記憶装置２１２に格納される。
【０１３２】
以上の手順により、画像処理装置２００のユーザは、望ましいポスト量子化条件でポスト量子化された画像の符号化データを取り込み、必要に応じてデコーダ２０９で復号伸長し表示部２０４に画像を表示させることができる。
【０１３３】
なお、上に説明したような構成のサーバ２５０も本発明に包含される。また、図２５を参照して説明した処理手順もしくは本発明による処理方法をコンピュータ上で実行するためのプログラム、及び、同プログラムが記録された各種記録（記憶）媒体も本発明に包含される。
【０１３４】
以上、ＪＰＥＧ２０００のフォーマットの符号化データを処理するものとして説明した。しかし、同様の部分的復号伸長及びポスト量子化が可能なフォーマットの符号化データであれば、ＪＰＥＧ２０００以外のアルゴリズムにより圧縮符号化された符号化データを対象とする画像処理装置にも本発明を適用可能であることは明白である。
【０１３５】
【発明の効果】
以上に説明したように、本発明の画像処理装置及び方法においては、
（１）ユーザにより設定されたポスト量子化条件に従った符号化データの部分的復号伸長により、そのポスト量子化条件に従ったポスト量子化を行った後の画像が表示される。符号が廃棄されるポスト量子化が実際に実行されるわけではないので、ポスト量子化条件を何度でも変更することができる。したがって、ユーザは、様々なポスト量子化条件によるポスト量子化の結果を予め確認しながら、最適なポスト量子化条件を容易に設定することができる。そして、設定した条件で符号化データのポスト量子化を実行させることにより、ジェネレーション的な画像劣化を生じさせることなく圧縮率を調整することができる。
（２）ポスト量子化以前の符号化データをロスレスもしくはロスレスに近い低圧縮率の符号化データとするならば、極めて低い圧縮率から高い圧縮率まで、圧縮率をユーザが任意に調整することができる。そして、ポスト量子化はジェネレーション的な画像劣化を生じないため、例えばデジタルカメラなどにおいて、ポスト量子化条件の設定、換言すれば圧縮率の設定を、画像の撮影前後の任意の時点で行うことができる。
（３）ポスト量子化条件の設定のための符号化データの部分的復号伸長及びポスト量子化では原画像データを操作しないため、大容量のワークメモリを必要としない。
（４）ポスト量子化条件の設定の際に、保存されているポスト量子化条件を呼び出すことにより、ユーザはより効率的にポスト量子化条件を設定することができる。
（５）ポスト量子化条件の設定の際に圧縮率が表示されるため、ユーザは画像劣化の程度と圧縮率との関連を容易に確認することができる。
（６）ポスト量子化条件の設定の際に、ユーザは、表示される画像の拡大／縮小／スクロールにより、設定したポスト量子化条件での画像劣化の確認を容易確実に行うことができる。
（７）ポスト量子化条件の設定の際に画像の表示倍率が表示されるため、ユーザは、設定したポスト量子化条件で、どの程度までの倍率まで画像劣化が目立たないか容易に確認することができる。
（８）ポスト量子化条件を平均化して保存することができるため、ユーザは何枚かの画像についてポスト量子化条件の設定、保存を行うことにより、画像の違いによる影響の少ないポスト量子化条件を保存することができる。
（９）画像の位置、コンポーネントの観点からのポスト量子化条件の設定が可能である。
（１０）保存されているポスト量子化条件から選択したポスト量子化条件により符号化データのポスト量子化を行わせることができる。したがって、新たに撮影される多数枚の画像の符号化データのポスト量子化や、記録媒体の空き容量確保などのための記録済み画像の符号化データのポスト量子化などを、その都度、ポスト量子化条件の設定作業を行うことなく、迅速に行うことができる。
（１１）ネットワーク上のサーバなどにユーザが希望するポスト量子化条件を送信することにより、ユーザが希望する条件で予めポスト量子化された符号化データをサーバなどから取り込むことができる、等々の効果を得られる。
【図面の簡単な説明】
【図１】 ＪＰＥＧ２０００のアルゴリズムを説明するためのブロック図である。
【図２】 ２次元ウェーブレット変換を説明するための図である。
【図３】 符号化データのフォーマットを説明するための図である。
【図４】 プリシンクトとコードブロックの説明図である。
【図５】 メインヘッダの構成を示す図である。
【図６】 タイルヘッダの構成を示す図である。
【図７】 マーカ及びマーカセグメントの一覧表を示す図である。
【図８】 ＳＯＴマーカセグメントの構成を示す図である。
【図９】 ＳＩＺマーカセグメントの構成を示す図である。
【図１０】 ＣＯＤマーカセグメントの構成を示す図である。
【図１１】 ＣＯＣマーカセグメントの構成を示す図である。
【図１２】 ＱＣＤマーカセグメントの構成を示す図である。
【図１３】 ＱＣＣマーカセグメントの構成を示す図である。
【図１４】 ＬＲＣＰプログレッションの符号化データにおけるパケットの順列とその部分的復号伸長の説明図である。
【図１５】 ＲＬＣＰプログレッションの符号化データにおけるパケットの順列とその部分的復号伸長の説明図である。
【図１６】 サブバンド毎のビットプレーン単位のエントロピー符号化結果を例示する図である。
【図１７】 サブバンド毎のビットプレーン単位の符号の序列付けを例示する図である。
【図１８】 レイヤ構成を例示する図である。
【図１９】 レイヤとパケットの関連を示す図である。
【図２０】 本発明の実施の形態１を説明するためのブロック図である。
【図２１】 実施の形態１における動作モードＡを説明するためのフローチャートである。
【図２２】 タイル数に関するポスト量子化条件の設定を説明するための図である。
【図２３】 実施の形態１における動作モードＢを説明するためのフローチャートである。
【図２４】 本発明の実施の形態２を説明するためのブロック図である。
【図２５】 実施の形態２における動作を説明するためのフローチャートである。
【図２６】 １０レイヤ構成の符号化データの全レイヤ、上位７レイヤ、上位３レイヤをそれぞれ復号伸長した画像の例を示す図である。
【符号の説明】
１００ 撮像光学系
１０１ イメージャ
１０２ ＣＤＳ・Ａ／Ｄ変換部
１０３ 画像プロセッサ
１０４ 表示部
１０５ メモリ
１０６ システムコントローラ
１０７ 操作部
１０８ エンコーダ
１０９ デコーダ
１１０ ポスト量子化部
１１１ プレビュー制御部
１１２ 媒体記録部
１１３ 記録媒体
２０４ 表示部
２０５ メモリ
２０６ システムコントローラ
２０７ 操作部
２０９ デコーダ
２１５ 通信インターフェース部
２３０ ネットワーク
２５０ サーバ
２５２ ポスト量子化手段
Claims (21)
- 符号化データを入力する符号化データ入力手段と、
ユーザがポスト量子化条件を設定するための条件設定手段と、
前記符号化データ入力手段により入力された符号化データに対し、前記条件設定手段によって設定されたポスト量子化条件に従った部分的復号伸長を行うことにより、当該符号化データをポスト量子化することなく、当該ポスト量子化条件に従って当該符号化データをポスト量子化した後の符号化データを復号伸長することにより再生される画像データと同じ画像データを再生する部分的復号伸長手段と、
前記部分的復号伸長により再生された画像データを表示する表示手段とを有し、
前記ポスト量子化条件は、画像の位置とコンポーネントのうちの少なくとも１つに関する条件であることを特徴とする画像処理装置。 - 請求項１に記載の画像処理装置において、
前記部分的復号伸長手段は、前記符号化データ入力手段により入力された符号化データに適用された圧縮符号化アルゴリズムに準拠したデコーダと、前記条件設定手段によって設定されたポスト量子化条件に従って前記デコーダの復号伸長動作を制御することにより、前記デコーダに当該符号化データの当該ポスト量子化条件に従った部分的復号伸長を行わせる手段と、からなることを特徴とする画像処理装置。 - 請求項１に記載の画像処理装置において、
前記部分的復号伸長手段は、前記符号化データ入力手段により入力された符号化データに適用された圧縮符号化アルゴリズムに準拠したデコーダと、前記条件設定手段によって設定されたポスト量子化条件に従って当該符号化データのヘッダ情報を書き換えることにより、前記デコーダに当該符号化データの当該ポスト量子化条件に従った部分的復号伸長を行わせる手段と、からなることを特徴とする画像処理装置。 - ユーザからの指示に従って、前記符号化データ入力手段により入力された符号化データに対し、前記条件設定手段により設定されたポスト量子化条件に従ったポスト量子化を行うポスト量子化手段をさらに有することを特徴とする請求項１に記載の画像処理装置。
- 前記条件設定手段により設定されたポスト量子化条件を保存する条件保存手段をさらに有し、
前記条件設定手段により、前記条件保存手段に保存されているポスト量子化条件の１つをポスト量子化条件として設定できることを特徴とする請求項１に記載の画像処理装置。 - 前記条件設定手段により設定されたポスト量子化条件を保存する条件保存手段と、
前記条件保存手段に保存されているポスト量子化条件の１つをユーザが選択するための条件選択手段と、
前記条件選択手段により選択されたポスト量子化条件に従って前記符号化データ入力手段により入力された符号化データのポスト量子化を行うポスト量子化手段と、
をさらに有することを特徴とする請求項１に記載の画像処理装置。 - 前記条件保存手段に保存されているポスト量子化条件と前記条件設定手段により設定されたポスト量子化条件とを平均化する手段をさらに有し、この平均化する手段により平均化されたポスト量子化条件が前記条件保存手段に保存されることを特徴とする請求項５又は６に記載の画像処理装置。
- 請求項１に記載の画像処理装置において、
前記条件設定手段により設定されたポスト量子化条件に従ってポスト量子化が行われた場合の圧縮率が前記表示手段に表示されることを特徴とする画像処理装置。 - ユーザの指示に従って、前記表示手段に表示される画像の拡大、縮小又はスクロールを行うための手段をさらに有することを特徴とする請求項１に記載の画像処理装置。
- 請求項９に記載の画像処理装置において、
前記表示手段に画像の表示倍率が表示されることを特徴とする画像処理装置。 - 静止画像又は動画像を撮影するための撮像手段と、
前記撮影手段により撮影された画像データを圧縮符号化してポスト量子化が可能な符号化データを生成するエンコーダと、
をさらに有することを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。 - 外部装置より符号化データを受信し、また、前記条件設定手段により設定されたポスト量子化条件を外部装置へ送信するための通信手段をさらに有することを特徴とする請求項１に記載の画像処理装置。
- 請求項１乃至１２のいずれか１項に記載の画像処理装置において、符号化データはＪＰＥＧ２０００の符号化データであることを特徴とする画像処理装置。
- 符号化データを入力する符号化データ入力ステップと、
ユーザがポスト量子化条件を設定する条件設定ステップと、
前記符号化データ入力ステップにより入力された符号化データに対し、前記条件設定ステップによって設定されたポスト量子化条件に従った部分的復号伸長を行うことにより、当該符号化データをポスト量子化することなく、当該ポスト量子化条件に従って当該符号化データをポスト量子化した後の符号化データを復号伸長することにより再生される画像データと同じ画像データを再生する部分的復号伸長ステップと、
前記部分的復号伸長ステップにより再生された画像データを表示するステップとを含み、
前記ポスト量子化条件は、画像の位置とコンポーネントのうちの少なくとも１つに関する条件であることを特徴とする画像処理方法。 - 請求項１４に記載の画像処理方法において、
前記部分的復号伸長ステップは、前記符号化データ入力ステップにより入力された符号化データに適用された圧縮符号化アルゴリズムに準拠したデコーダの復号伸長動作を、前記条件設定ステップによって設定されたポスト量子化条件に従って制御することにより、前記デコーダに当該符号化データの当該ポスト量子化条件に従った部分的復号伸長を行わせることを特徴とする画像処理方法。 - 請求項１４に記載の画像処理方法において、
前記部分的復号伸長ステップは、前記条件設定ステップによって設定されたポスト量子化条件に従って、前記符号化データ入力ステップによって入力された符号化データのヘッダ情報を書き換えることにより、当該符号化データに適用された圧縮符号化アルゴリズムに準拠したデコーダに、当該符号化データの当該ポスト量子化条件に従った部分的復号伸長を行わせることを特徴とする画像処理方法。 - ユーザからの指示に従って、前記符号化データ入力ステップにより入力された符号化データに対し、前記条件設定ステップにより設定されたポスト量子化条件に従ったポスト量子化を行うポスト量子化ステップをさらに含むことを特徴とする請求項１４に記載の画像処理方法。
- 前記条件設定ステップにより設定されたポスト量子化条件を保存する条件保存ステップと、
前記条件保存ステップにより保存されたポスト量子化条件の１つをユーザが選択する条件選択ステップと、
前記条件選択ステップにより選択されたポスト量子化条件に従って前記符号化データ入力ステップにより入力された符号化データのポスト量子化を行うポスト量子化ステップと、
をさらに含むことを特徴とする請求項１４に記載の画像処理方法。 - ある装置より符号化データを受信するステップと、
前記条件設定ステップにより設定されたポスト量子化条件を前記装置へ送信するステップとをさらに含むことを特徴とする請求項１４に記載の画像処理方法。 - 請求項１４乃至１９のいずれか１項に記載の画像処理方法の処理ステップをコンピュータに実行させるプログラム。
- 請求項２０に記載のプログラムが記録された、コンピュータが読み取り可能な記録媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002326368A JP3928859B2 (ja) | 2002-11-11 | 2002-11-11 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
| US10/706,598 US7505630B2 (en) | 2002-11-11 | 2003-11-11 | Image processing apparatus, image processing method, program, and recording medium that allow setting of most appropriate post-quantization condition |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002326368A JP3928859B2 (ja) | 2002-11-11 | 2002-11-11 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004165760A JP2004165760A (ja) | 2004-06-10 |
| JP3928859B2 true JP3928859B2 (ja) | 2007-06-13 |
Family
ID=32677009
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002326368A Expired - Fee Related JP3928859B2 (ja) | 2002-11-11 | 2002-11-11 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7505630B2 (ja) |
| JP (1) | JP3928859B2 (ja) |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4450591B2 (ja) * | 2003-09-16 | 2010-04-14 | 株式会社リコー | 情報編集装置、表示制御方法およびプログラム |
| JP4578197B2 (ja) * | 2004-09-29 | 2010-11-10 | 三洋電機株式会社 | 画像表示装置 |
| JP4822396B2 (ja) | 2005-03-29 | 2011-11-24 | 株式会社メガチップス | 画像強調装置 |
| JP4618676B2 (ja) * | 2005-04-28 | 2011-01-26 | 株式会社リコー | 構造化文書符号の転送方法、画像処理システム、サーバ装置、プログラム及び情報記録媒体 |
| JP4650236B2 (ja) * | 2005-11-25 | 2011-03-16 | 富士ゼロックス株式会社 | データ圧縮装置、データ圧縮方法、及びデータ圧縮プログラム |
| US8059712B2 (en) | 2006-01-13 | 2011-11-15 | Adobe Systems Incorporated | Independently adjusting the quality levels for luminance and chrominance channels in a digital image |
| JP4789192B2 (ja) | 2006-04-12 | 2011-10-12 | 株式会社リコー | 符号処理装置、プログラム及び情報記録媒体 |
| US7675550B1 (en) | 2006-04-28 | 2010-03-09 | Ambarella, Inc. | Camera with high-quality still capture during continuous video capture |
| US9179046B1 (en) * | 2006-04-28 | 2015-11-03 | Ambarella, Inc. | Camera with high-quality still capture during continuous video capture |
| JP4904914B2 (ja) * | 2006-05-17 | 2012-03-28 | ソニー株式会社 | ストリーム生成装置、撮像装置、およびストリーム生成方法 |
| JP2008017441A (ja) | 2006-06-06 | 2008-01-24 | Ricoh Co Ltd | データ処理装置とデータ処理方法とプログラム |
| CN101491076B (zh) * | 2006-07-13 | 2011-05-04 | 日本电气株式会社 | 编码和译码装置以及编码方法和译码方法 |
| JP2008236075A (ja) * | 2007-03-16 | 2008-10-02 | Ricoh Co Ltd | 撮像装置およびその画像データ記録方法 |
| US8135223B2 (en) * | 2007-03-16 | 2012-03-13 | Ricoh Company, Ltd. | Image processing apparatus and method of image processing |
| JP4907487B2 (ja) * | 2007-10-24 | 2012-03-28 | 株式会社リコー | 画像処理装置、画像処理方法及び該方法を実行させるためのプログラムを格納したコンピュータ読み取り可能な記録媒体 |
| JP5359302B2 (ja) * | 2008-03-18 | 2013-12-04 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
| JP5167944B2 (ja) * | 2008-05-15 | 2013-03-21 | 株式会社リコー | 情報処理装置、情報処理方法、プログラム及び記録媒体 |
| JP5521334B2 (ja) | 2009-01-29 | 2014-06-11 | 株式会社リコー | 撮像装置及び撮像方法 |
| JP5413080B2 (ja) * | 2009-09-15 | 2014-02-12 | 株式会社リコー | 画像処理装置及び画像処理方法 |
| WO2011084639A2 (en) | 2009-12-16 | 2011-07-14 | Red. Com, Inc. | Resolution based formatting of compressed image data |
| JP6187067B2 (ja) | 2013-09-13 | 2017-08-30 | 株式会社リコー | 座標検出システム、情報処理装置、プログラム、記憶媒体、座標検出方法 |
| US10581936B2 (en) | 2016-09-15 | 2020-03-03 | Ricoh Company, Ltd. | Information processing terminal, management system, communication system, information processing method, and recording medium |
| JP6907881B2 (ja) * | 2017-10-24 | 2021-07-21 | オムロン株式会社 | 画像処理装置、画像処理プログラム |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05219332A (ja) | 1992-02-01 | 1993-08-27 | Ricoh Co Ltd | 画像伝送方式 |
| JPH07115545A (ja) | 1993-10-20 | 1995-05-02 | Fuji Xerox Co Ltd | 画像符号化装置 |
| JPH08339452A (ja) | 1995-06-13 | 1996-12-24 | Canon Inc | 画像処理装置及びその方法 |
| JPH11122573A (ja) | 1997-10-13 | 1999-04-30 | Sony Corp | 静止画撮像装置 |
| JP2000090608A (ja) * | 1998-09-16 | 2000-03-31 | Sony Corp | 磁気ディスク装置 |
| US6259741B1 (en) * | 1999-02-18 | 2001-07-10 | General Instrument Corporation | Method of architecture for converting MPEG-2 4:2:2-profile bitstreams into main-profile bitstreams |
| EP1067798A3 (en) * | 1999-06-30 | 2005-11-30 | Media Glue Corporation | Apparatus, method and computer program product for transcoding a coded moving picture sequence |
| FI107495B (fi) * | 1999-08-13 | 2001-08-15 | Nokia Multimedia Network Termi | Menetelmä ja järjestely koodatun digitaalisen kuvabittivirran volyymin tai tahdin pienentämiseksi |
| JP2001069508A (ja) | 1999-08-27 | 2001-03-16 | Ricoh Co Ltd | 画像蓄積方法、画像蓄積装置及び記録媒体 |
| AUPQ618500A0 (en) | 2000-03-13 | 2000-04-06 | Canon Kabushiki Kaisha | Memory management of compressed images data |
| FR2813742A1 (fr) * | 2000-09-05 | 2002-03-08 | Koninkl Philips Electronics Nv | Methode de conversion de flux binaires |
| TW567728B (en) * | 2001-02-20 | 2003-12-21 | Sanyo Electric Co | Method and apparatus for decoding graphic image |
| JP2002281382A (ja) | 2001-03-19 | 2002-09-27 | Fuji Photo Film Co Ltd | 画像処理装置およびその処理方法 |
| US6950463B2 (en) * | 2001-06-13 | 2005-09-27 | Microsoft Corporation | Non-compensated transcoding of a video stream |
| JP3615162B2 (ja) * | 2001-07-10 | 2005-01-26 | 日本電気株式会社 | 画像符号化方法及び画像符号化装置 |
| US7170938B1 (en) * | 2001-08-21 | 2007-01-30 | Cisco Systems Canada Co. | Rate control method for video transcoding |
-
2002
- 2002-11-11 JP JP2002326368A patent/JP3928859B2/ja not_active Expired - Fee Related
-
2003
- 2003-11-11 US US10/706,598 patent/US7505630B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20040131264A1 (en) | 2004-07-08 |
| JP2004165760A (ja) | 2004-06-10 |
| US7505630B2 (en) | 2009-03-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3928859B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
| JP4148462B2 (ja) | 画像処理装置、電子カメラ装置及び画像処理方法 | |
| US8705621B2 (en) | Method and apparatus for scalable compression of video | |
| US7626733B2 (en) | Image-processing apparatus, an image-processing method, a program, and a memory medium | |
| JP3783956B2 (ja) | 画像記録装置及び画像データ選択方法 | |
| JP4773661B2 (ja) | ピクチャー及びビデオ記憶管理システム及び方法 | |
| JP4392783B2 (ja) | 動画再生システム、動画送信装置、動画送信方法、プログラム、及び、記録媒体 | |
| US7440624B2 (en) | Image compression apparatus, image decompression apparatus, image compression method, image decompression method, program, and recording medium | |
| US7310447B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| JP2004088425A (ja) | 符号変換装置、符号変換方法、プログラム及び記憶媒体 | |
| JP2004274758A (ja) | Ｊｐｐ−ストリームからｊｐｅｇ２０００符号ストリームへの変換方法及び変換装置 | |
| JP4349816B2 (ja) | 画像処理装置、画像圧縮装置、画像処理方法、画像圧縮方法、プログラム、及び記録媒体 | |
| JP2006295886A (ja) | 画像処理システム、プログラムおよび記録媒体 | |
| JP2004172766A (ja) | 画像閲覧装置、画像閲覧保存方法、プログラム及び記録媒体 | |
| JP4073333B2 (ja) | 画像圧縮装置及び画像圧縮方法 | |
| JP4208122B2 (ja) | データ処理装置及びデータ処理方法 | |
| JP4129913B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP4036363B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP4289565B2 (ja) | 画像記録装置 | |
| JP4475513B2 (ja) | 画像処理装置、プログラム、及び、記録媒体 | |
| JP4055994B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
| JP4471310B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP2004214740A (ja) | 動画像符号化装置 | |
| JP2004104306A (ja) | 撮像装置、編集装置、プログラム及び記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050221 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061108 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070109 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070228 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070301 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110316 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120316 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130316 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140316 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |