JP3783956B2 - 画像記録装置及び画像データ選択方法 - Google Patents
画像記録装置及び画像データ選択方法 Download PDFInfo
- Publication number
- JP3783956B2 JP3783956B2 JP2003198587A JP2003198587A JP3783956B2 JP 3783956 B2 JP3783956 B2 JP 3783956B2 JP 2003198587 A JP2003198587 A JP 2003198587A JP 2003198587 A JP2003198587 A JP 2003198587A JP 3783956 B2 JP3783956 B2 JP 3783956B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- data
- amount reduction
- bit planes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000010187 selection method Methods 0.000 title claims description 20
- 230000009467 reduction Effects 0.000 claims description 153
- 238000013139 quantization Methods 0.000 claims description 110
- 238000012545 processing Methods 0.000 claims description 60
- 238000000034 method Methods 0.000 claims description 53
- 230000000007 visual effect Effects 0.000 claims description 51
- 238000006243 chemical reaction Methods 0.000 claims description 50
- 238000001454 recorded image Methods 0.000 claims description 32
- 238000011946 reduction process Methods 0.000 claims description 24
- 238000007906 compression Methods 0.000 description 49
- 230000006835 compression Effects 0.000 description 48
- 230000006837 decompression Effects 0.000 description 23
- 230000008569 process Effects 0.000 description 21
- 230000009466 transformation Effects 0.000 description 21
- 238000004364 calculation method Methods 0.000 description 17
- 101000746142 Homo sapiens RNA polymerase-associated protein CTR9 homolog Proteins 0.000 description 13
- 101000759808 Homo sapiens Testis-expressed basic protein 1 Proteins 0.000 description 13
- 102100023292 Testis-expressed basic protein 1 Human genes 0.000 description 13
- 230000008859 change Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 239000003550 marker Substances 0.000 description 12
- 230000006866 deterioration Effects 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- 230000002441 reversible effect Effects 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 8
- 108010084680 Heterogeneous-Nuclear Ribonucleoprotein K Proteins 0.000 description 6
- 102100023482 Mitogen-activated protein kinase 14 Human genes 0.000 description 6
- 230000000875 corresponding effect Effects 0.000 description 6
- 238000000354 decomposition reaction Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 230000002427 irreversible effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000011038 discontinuous diafiltration by volume reduction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 108050001326 26S Proteasome regulatory subunit 6A Proteins 0.000 description 1
- 102100029510 26S proteasome regulatory subunit 6A Human genes 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 230000009978 visual deterioration Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N1/333—Mode signalling or mode changing; Handshaking therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/41—Bandwidth or redundancy reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/162—User input
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N2201/333—Mode signalling or mode changing; Handshaking therefor
- H04N2201/33307—Mode signalling or mode changing; Handshaking therefor of a particular mode
- H04N2201/33342—Mode signalling or mode changing; Handshaking therefor of a particular mode of transmission mode
- H04N2201/33357—Compression mode
Description
【０００１】
【発明の属する技術分野】
本発明は、画像データを記録媒体に記録する電子カメラ装置、その他の画像記録装置に係り、特に、この種の画像記録装置において記録媒体の空き容量を確保するための技術に関する。
【０００２】
【従来の技術】
デジタルスチルカメラなどの電子カメラ装置では、一般に、記録媒体の空き容量が不足した場合に、記録済みの画像データを消去することにより空き容量を確保する。この画像データの消去は、画像を１枚ずつ選択して行うか、又は、全部を一括して行うことができる。しかし、１枚ずつ選択して消去する方法は手間がかかり、他方、画像データを一括して消去する方法は、手間がかからないが残したい画像データがある場合に不都合である。
【０００３】
記録済みの画像データの消去をより効率的に行い、かつ、残したい画像データを保存できるようにするため、連写された画像データ、ブラケット撮影された画像データ、パノラマ撮影された画像データなど、関連性の強い画像データ群をグループとして管理し、また、残したい画像データにプロテクト指定をしておき、あるグループに属した画像データを選択して消去を指示すると、同じグループ内の画像データを、プロテクト指定されているものを除き一括消去する技術が特許文献１に記載されている。
【０００４】
また、記録済みの画像データを消去するのではなく、画像データのデータ量を削減することによって記録媒体の空き容量を確保する、もう１つのアプローチがある。
【０００５】
例えば、選択した画像データをより高い圧縮率で再圧縮し、あるいは画像の一部をトリミングすることにより、データ量を削減する技術が特許文献２に記載されている。マルチレイヤ構成の符号化方式を採用し、符号データをレイヤ単位で削除することにより画像データのデータ量を削減する技術が特許文献３に記載されている。記録済みの画像データを再圧縮し、又は符号データのまま一部符号を廃棄することにより、データ量を削減して記録画像枚数に応じた空き容量を確保する技術が特許文献４に記載されている。この従来技術では、さらに、データ量削減により確保した空き容量に見合うように新規の画像データの圧縮率を制御する。
【０００６】
この新規画像データの圧縮率の制御に関しては、高精細モードでは空き容量が不足するときに、より圧縮率の高い中間モードに自動的に切り替える技術が特許文献５に記載されている。
【０００７】
また、特許文献６には、放射線画像を管理するシステムにおいて、保存されている画像データの非関心領域の符号の廃棄と再圧縮の組み合わせによりデータ量を削減する技術が記載されている。また、複写機において、カラー画像データを白黒画像データに変換することによってデータ量を削減する技術が特許文献７に記載されている。
【０００８】
【発明が解決しようとする課題】
記録済みの画像データのデータ量を削減することにより記録媒体の空き容量を確保する方法は、残したい画像データが完全に失われることがない点で画像データを消去する方法に比べ有利である。しかし、データ量削減を行うべき画像データの選択はユーザにまかせられており、特許文献４にも最大データ量の画像データを選択することが述べられているに過ぎない。
【０００９】
よって、本発明の主たる目的は、電子カメラ装置、その他の画像記録装置において、ユーザ（撮影者）に負担をかけることなく、かつ、ユーザの満足を得られるように、より合理的に画像データを選択してデータ量削減を実施できるようにすることである。この目的及びその他の目的について、以下に実施の形態に関連し具体的に説明する。
【００１０】
【特許文献１】
特開２００２−４４６０１号公報
【特許文献２】
特開平８−９３１２号
【特許文献３】
特開２００１−３２０５８８号公報
【特許文献４】
特開２００１−２３１００９号公報
【特許文献５】
特許第３２２９１４４号公報
【特許文献６】
特開２００１−２１８０６２号公報
【特許文献７】
特開２００１−３０９１３８号公報
【非特許文献１】
野水泰之，「次世代画像符号化方式 ＪＰＥＧ２０００」，
株式会社トリケップス，２００１年２月１３日
【非特許文献２】
J.Katto and Y.Yasuda,“Performance evaluation of subband coding
and optimization of its filter coefficients,”
Journal of Visual Communication and Image Representation,
vol.2，pp.303-313,Dec.1991
【００１１】
【課題を解決するための手段】
記録済み画像データに対しデータ量削減処理を自動的に実施する場合の一番の問題点は、ユーザ（撮影者）が画質の低下を容認できるか否かである。したがって、撮影者の高い満足度を得るためには、画質を考慮して、データ量削減処理を実施する画像データを選択できるようにするのが望ましい。また、ユーザ（撮影者）の意思もしくは嗜好を反映させることも、ユーザの高い満足度を得るためには重要である。
【００１２】
本発明は、以上のような観点に立って前記目的を達成しようとするものであり、以下に記載するような特徴を有するものである。
【００１３】
請求項１記載の発明は、ビットプレーン符号化された画像データを記録媒体に記録する手段と、前記記録媒体に記録済みの画像データのデータ量削減余力を判断するための特定の情報を取得する手段と、前記取得する手段により取得された情報に基づき特定の判断基準によりデータ量削減余力が大きいと判断される画像データを優先的に選択する手段と、前記選択する手段で選択された画像データに対しデータ量削減処理を実施する手段とを有し、前記取得する手段は、記録済みの画像データのサブバンドごとの視覚的な重み付けをした現符号量及びロスレス符号量を取得し、前記選択する手段は、前記サブバンドごとの視覚的な重み付けをした現符号量及びロスレス符号量の比（現符号量／ロスレス符号量）の大きい画像データを、データ量削減余力が大きいと判断することを特徴とする画像記録装置である。
【００１４】
請求項２記載の発明は、ビットプレーン符号化された画像データを記録媒体に記録する手段と、前記記録媒体に記録済みの画像データのデータ量削減余力を判断するための特定の情報を取得する手段と、前記取得する手段により取得された情報に基づき特定の判断基準によりデータ量削減余力が大きいと判断される画像データを優先的に選択する手段と、前記選択する手段で選択された画像データに対しデータ量削減処理を実施する手段とを有し、前記取得する手段は、記録済みの画像データの現符号量及び非ゼロビットプレーンの総数を取得し、前記選択する手段は、前記現符号量と非ゼロビットプレーンの総数の比（現符号量／非ゼロビットプレーンの総数）の大きい画像データを、データ量削減余力が大きいと判断することを特徴とする画像記録装置である。
【００１５】
請求項３記載の発明は、ビットプレーン符号化された画像データを記録媒体に記録する手段と、前記記録媒体に記録済みの画像データのデータ量削減余力を判断するための特定の情報を取得する手段と、前記取得する手段により取得された情報に基づき特定の判断基 準によりデータ量削減余力が大きいと判断される画像データを優先的に選択する手段と、前記選択する手段で選択された画像データに対しデータ量削減処理を実施する手段とを有し、前記取得する手段は、記録済みの画像データの破棄されたビットプレーン数又はサブビットプレーン数の総和を取得し、前記選択する手段は、前記破棄されたビットプレーン数又はサブビットプレーン数の総和の小さい画像データを、データ量削減余力が大きいと判断することを特徴とする画像記録装置である。
【００１６】
請求項４記載の発明は、請求項３記載の発明に係る画像記録装置において、前記破棄されたビットプレーン数又はサブビットプレーン数の総和は、量子化ステップ数を考慮して算出されることを特徴とする画像記録装置である。
【００１７】
請求項５記載の発明は、請求項３記載の発明に係る画像記録装置において、前記破棄されたビットプレーン数又はサブビットプレーン数の総和は、サブバンドゲインを考慮して算出されることを特徴とする画像記録装置である。
【００１８】
請求項６記載の発明は、請求項３記載の発明に係る画像記録装置において、前記破棄されたビットプレーン数又はサブビットプレーン数の総和は、逆コンポ−ネント変換のゲインを考慮して算出されることを特徴とする画像記録装置である。
【００１９】
請求項７記載の発明は、請求項３記載の発明に係る画像記録装置において、前記破棄されたビットプレーン数又はサブビットプレーン数の総和は、周波数ごとの視覚特性を考慮して算出されることを特徴とする画像記録装置である。
【００２０】
請求項８記載の発明は、画像データを記録媒体に記録する手段と、前記記録媒体に記録済みの画像データのデータ量削減余力を判断するための特定の情報を取得する手段と、前記取得する手段により取得された情報に基づき特定の判断基準によりデータ量削減余力が大きいと判断される画像データを優先的に選択する手段と、前記選択する手段で選択された画像データに対しデータ量削減処理を実施する手段とを有し、前記取得する手段は、記録済みの画像データの量子化誤差の総和を取得し、前記選択する手段は、前記量子化誤差の総和の小さい画像データを、データ量削減余力が大きいと判断することを特徴とする画像記録装置である。
【００２１】
請求項９記載の発明は、請求項８記載の発明に係る画像記録装置において、前記画像データはビットプレーン符号化されたものであり、前記量子化誤差の総和は、破棄されたビットプレーン数又はサブビットプレーン数と、量子化ステップ数とを考慮して算出されることを特徴とする画像記録装置である。
【００２２】
請求項１０記載の発明は、請求項８記載の発明に係る画像記録装置において、前記量子化誤差の総和はサブバンドゲインを考慮して算出されることを特徴とする画像記録装置である。
【００２３】
請求項１１記載の発明は、請求項８記載の発明に係る画像記録装置において、前記量子化誤差の総和は、逆コンポ−ネント変換のゲインを考慮して算出されることを特徴とする画像記録装置である。
【００２４】
請求項１２記載の発明は、請求項８記載の発明に係る画像記録装置において、前記量子化誤差の総和は、周波数ごとの視覚特性を考慮して算出されることを特徴とする画像記録装置である。
【００２５】
請求項１３記載の発明は、ビットプレーン符号化された画像データを記録媒体に記録す る手段と、前記記録媒体に記録済みの画像データのデータ量削減余力を判断するための特定の情報を取得する手段と、前記取得する手段により取得された情報に基づき、特定の判断基準によりデータ量削減余力が大きいと判断される画像データを優先的に選択する手段と、前記選択する手段で選択された画像データに対しデータ量削減処理を実施する手段とを有し、前記取得する手段は、記録済みの画像データの非ゼロビットプレーンの総数を取得し、前記選択する手段は、前記非ゼロビットプレーンの総数の少ない画像データを、データ量削減余力が大きいと判断することを特徴とする画像記録装置である。
【００２６】
請求項１４記載の発明は、請求項３又は８記載の発明に係る画像記録装置において、動画の画像データの相互間では、前記総和の平均値又は最小値の小さい動画の画像データがデータ量削減余力が大きいと判断されることを特徴とする画像記録装置である。
【００２７】
請求項１５記載の発明は、記録媒体に記録されたビットプレーン符号化された画像データの中から、データ量削減処理を実施すべき画像データを選択する画像データ選択方法であって、画像データのデータ量削減余力を判断するための特定の情報を取得するステップと、前記取得するステップにより取得された情報に基づき特定の判断基準によりデータ量削減余力が大きいと判断される画像データを優先的に選択するステップとを有し、前記取得するステップは、画像データのサブバンドごとの視覚的な重み付けをした現符号量及びロスレス符号量を取得し、前記選択するステップは、前記サブバンドごとの視覚的な重み付けをした現符号量及びロスレス符号量の比（現符号量／ロスレス符号量）の大きい画像データを、データ量削減余力が大きいと判断することを特徴とする画像データ選択方法である。
【００２８】
請求項１６記載の発明は、記録媒体に記録されたビットプレーン符号化された画像データの中から、データ量削減処理を実施すべき画像データを選択する画像データ選択方法であって、画像データのデータ量削減余力を判断するための特定の情報を取得するステップと、前記取得するステップにより取得された情報に基づき特定の判断基準によりデータ量削減余力が大きいと判断される画像データを優先的に選択するステップとを有し、前記取得するステップは、画像データの現符号量及び非ゼロビットプレーンの総数を取得し、前記選択するステップは、前記現符号量と非ゼロビットプレーンの総数の比（現符号量／非ゼロビットプレーンの総数）の大きい画像データを、データ量削減余力が大きいと判断することを特徴とする画像データ選択方法である。
【００２９】
請求項１７記載の発明は、記録媒体に記録されたビットプレーン符号化された画像データの中から、データ量削減処理を実施すべき画像データを選択する画像データ選択方法であって、画像データのデータ量削減余力を判断するための特定の情報を取得するステップと、前記取得するステップにより取得された情報に基づき特定の判断基準によりデータ量削減余力が大きいと判断される画像データを優先的に選択するステップとを有し、前記取得するステップは、画像データの非ゼロビットプレーンの総数を取得し、前記選択するステップは、前記非ゼロビットプレーンの総数の少ない画像データを、データ量削減余力が大きいと判断することを特徴とする画像データ選択方法である。
【００３０】
請求項１８記載の発明は、記録媒体に記録されたビットプレーン符号化された画像データの中から、データ量削減処理を実施すべき画像データを選択する画像データ選択方法であって、画像データのデータ量削減余力を判断するための特定の情報を取得するステップと、前記取得するステップにより取得された情報に基づき特定の判断基準によりデータ量削減余力が大きいと判断される画像データを優先的に選択するステップとを有し、前記取得するステップは、画像データの破棄されたビットプレーン数又はサブビットプレーン数の総和を取得し、前記選択するステップは、前記破棄されたビットプレーン数又はサブビットプレーン数の総和の小さい画像データを、データ量削減余力が大きいと判断すること を特徴とする画像データ選択方法である。
【００３１】
請求項１９記載の発明は、記録媒体に記録された画像データの中からデータ量削減処理を実施すべき画像データを選択する画像データ選択方法であって、画像データのデータ量削減余力を判断するための特定の情報を取得するステップと、前記取得するステップにより取得された情報に基づき特定の判断基準によりデータ量削減余力が大きいと判断される画像データを優先的に選択するステップとを有し、前記取得するステップは、画像データの量子化誤差の総和を取得し、前記選択するステップは、前記量子化誤差の総和の小さい画像データを、データ量削減余力が大きいと判断することを特徴とする画像データ選択方法である。
【００３２】
請求項２０記載の発明は、記録媒体に記録された画像データの中からデータ量削減処理を実施すべき画像データを選択する画像データ選択方法であって、画像データのデータ量削減余力を判断するための特定の情報を取得するステップと、前記取得するステップにより取得された情報に基づき特定の判断基準によりデータ量削減余力が大きいと判断される画像データを優先的に選択するステップとを有し、前記選択するステップにおけるデータ量削減余力の判断のための基準を複数の基準より選択可能であることを特徴とする画像データ選択方法である。
【００３３】
【発明の実施の形態】
以下、添付図面を参照し、本発明の実施の形態について詳細に説明する。
【００３４】
図１は本発明の実施の形態を説明するための簡略化されたブロック図である。本実施の形態は、撮像手段により被写界の静止画撮影又は動画撮影を行い、静止画像又は動画のフレーム画像を入力し、その画像データを圧縮して記録媒体に記録する電子カメラ装置である。ここでは、静止画撮影を主機能とした所謂デジタルスチルカメラとして説明するが、動画撮影を主機能とした所謂デジタルビデオカメラを除外することを意図するものではない。なお、本発明は、パソコン、光ディスク装置などの機器、ネットワークなどから静止画又は動画の画像データを入力し、その画像データを記録媒体に記録する画像記録装置全般に適用し得るものである。また、本実施の形態は、本発明の画像データ選択方法の実施の形態でもある。
【００３５】
図１において、１００は撮像手段（より一般的には画像入力手段）であり、撮像光学系１０２、イメージセンサ１０４、アナログ信号処理部１０６、アナログ・デジタル変換部１０８、画像プロセッサ１１０、メモリ１１４、表示装置１１２、操作部１２４及びシステムコントローラ１２２から構成される。
【００３６】
被写界の光学像が撮像光学系１０２によりイメージセンサ１０４に結像され、電気信号に変換される。撮像光学系１０２は光学レンズ、絞り機構、シャッター機構などから構成される。イメージセンサ１０４は、結像された光学像を色フィルタにより色分解し、各色成分の光量に応じた画像信号を出力するもので、一般にＣＣＤ型もしくはＭＯＳ型のイメージセンサが用いられる。
【００３７】
イメージセンサから出力される画像信号は、アナログ信号処理部１０６で相関二重サンプリング、ガンマ補正、ホワイトバランス調整などの処理を施されたのち、アナログ・デジタル変換部１０８でデジタル画像データに変換されて画像プロセッサ１１０に入力される。画像プロセッサ１１０は、画像データに対するエッジ強調処理などの画像処理を行うほか、イメージセンサ１０４、アナログ信号処理部１０６、アナログ・デジタル変換部１０８、表示装置１１２の制御、オートフォーカス制御や自動露出制御などのための情報の検出などを行う。この画像プロセッサ１１０は、１フレーム以上の画像データなどを一時的に保存するためのメモリ１１４を有する。表示装置１１２は、例えば液晶表示装置であり、モニタリング時の撮影画像（スルー画像）や記録画像、各種情報の表示に利用される。なお、ガンマ補正やホワイトバランス調整などの処理を画像プロセッサ１１０で行う構成としてもよく、そのような態様も本発明に包含される。
【００３８】
システムコントローラ１２２は、操作部１２４から入力される操作情報や画像プロセッサ１１０から与えられる情報などに応答して、撮像光学系１０２のシャッター機構、絞り機構、ズーミング機構の制御、画像プロセッサ１１０の制御など、撮像手段１００に関する制御を行うほか、後述のように画像データの圧縮／伸長、記録／読み出し、記録された画像データのデータ量削減などに関する制御を行う。
【００３９】
撮像手段１００により撮影された（入力された）画像データは、圧縮されたのち所定のファイル形式の画像ファイルとして各種メモリカードなどの記録媒体１７０に記録される。このような画像データの圧縮及び伸長のために画像圧縮／伸長部１５０が設けられ、また、圧縮された画像データの記録媒体１７０への記録又は記録された画像データの読み出しのためにファイル管理部１６６が設けられている。画像ファイルの記録又は読み出しは、ファイル管理部１６６の制御によりインターフェース部１６８を介して行われる。また、本発明においては、記録された画像データに対するデータ量削減処理が行われるが、その処理の管理及び処理対象の画像データの選択のためにデータ量削減管理部１６２が設けられている。また、データ量削減処理及び画像ファイルの記録／読み出し処理に関連した情報を記憶するための管理情報記憶部１６４が設けられている。このような画像データの圧縮／伸長、画像ファイルの記録／再生、記録済み画像データのデータ量削減に関連した全体的な動作はシステムコントローラ１２２によって統御される。
【００４０】
画像圧縮／伸長部１５０としては、画像データの再圧縮を行うことなく符号データの操作によりデータ量を調整可能な画像圧縮アルゴリズムを利用する構成のものが好ましいが、再圧縮を必要とする画像圧縮アルゴリズムを排除するものではない。本実施の形態にあっては、画像圧縮／伸長部１５０は、ＪＰＥＧ２０００準拠の画像圧縮アルゴリズムを利用する構成であり、ＤＣレベル・色空間変換部１５２、２次元ウェーブレット変換部１５４、量子化部１５６、エントロピー符号化部１５８、符号生成部１６０からなる。
【００４１】
ＪＰＥＧ２０００は、その基本方式（ＪＰＥＧ２０００ Ｐａｒｔ１）の標準化作業を終了し２００１年１月に勧告されている。その拡張方式であるモーション（Motion）ＪＰＥＧ２０００（ＪＰＥＧ２０００ Ｐａｒｔ３）の勧告化も目前である。このモーションＪＰＥＧ２０００は、動画を静止画の系列として扱うが、各フレーム画像に対する圧縮アルゴリズムは基本方式そのものであり、基本方式との違いはファイル形式が一部異なるのみである。ＪＰＥＧ２０００の画像圧縮アルゴリズムについては、例えば、非特許文献１などに詳しいが、その概略を以下に説明する。
【００４２】
圧縮処理の対象となる画像データ（動画を扱う場合には各フレーム画像データ）は、各コンポーネント毎にタイルと呼ばれる重複しない矩形領域に分割されてＤＣレベル・色空間変換換部１５２に入力される。
【００４３】
ＤＣレベル・色空間変換部１５２においては、圧縮率の向上を目的として、入力画像データに対しレベルシフト操作と色空間変換処理を施す。レベルシフトは、ＲＧＢ値のような符号無し整数値からダイナミックレンジの半分を減算する操作である。入力画像データが例えばＹＣｒＣｂデータの場合、Ｃｒ，Ｃｂコンポーネントのような符号付き整数値に対してレベルシフトは行われない。色空間変換処理は、入力画像データがＲＧＢデータやＣＭＹデータの場合に、ＹＣｒＣｂデータに変換する処理である。なお、このＤＣレベル変換及び色空間変換を画像プロセッサ１１０で行う構成とすることも可能である。
【００４４】
ＤＣレベル・色空間変換部１５２により処理後の各コンポーネントの各タイルの画像データは、２次元ウェーブレット変換部１５４により２次元のウェーブレット変換（離散ウェーブレット変換：ＤＷＴ）を施される。
【００４５】
図２はデコンポジション・レベル数が３の場合のウェーブレット変換の説明図である。図２（ａ）に示すタイル画像に対する２次元ウェーブレット変換により、図２（ｂ）に示すような１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨの各サブバンドに分割される。１ＬＬサブバンドの係数に対し２次元ウェーブレット変換が適用されることにより、図２（ｃ）に示すような２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨのサブバンドに分割される。２ＬＬサブバンドの係数に対し２次元ウェーブレット変換が適用されることにより、図２（ｄ）に示すような３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨのサブバンドに分割される。
【００４６】
このような低周波成分（ＬＬサブバンド係数）の再帰的分割（オクターブ分割）により得られた各サブバンドの係数は、量子化部１５６によって量子化された後にエントロピー符号化部１５８により符号化される。ＪＰＥＧ２０００では可逆圧縮（ロスレス圧縮）と非可逆圧縮（ロシィ圧縮）のいずれも可能であり、可逆圧縮の場合には量子化ステップ幅は常に１であり、この段階では実質的に量子化されない。
【００４７】
エントロピー符号化部１５８はウェーブレット係数のエントロピー符号化を行う。このエントロピー符号化には、ブロック分割、係数モデリング及び２値算術符号化からなるＥＢＣＯＴ（Embedded Block Coding with Optimized Truncation）と呼ばれるブロックベースのビットプレーン符号化方式が用いられる。符号化対象となるウェーブレット係数は正負の符号を持つ整数であり、それらを決められた順序で走査しながら、係数を絶対値表現したものに対し上位ビットから下位ビットへとビットプレーン単位で符号化処理が実行される。
【００４８】
エントロピー符号化部１５８で生成された符号列は符号生成部１６０に送られる。符号生成部１６０において、算術符号化された符号列を最終的に必要な順序に並べ替え、また、必要に応じて一部符号の廃棄（ポスト量子化）を行い、１本のビットストリームとして出力する。
【００４９】
画像圧縮／伸長部１５０より出力される符号データ（圧縮データ）は図３に示すような構造である。図３に見るように、符号データは、ＳＯＣマーカから始まり、その後に符号化のパラメータや量子化のパラメータ等を記述したメインヘッダが続き、その後に各タイル毎のデータが続く。各タイルのデータは、ＳＯＴマーカで始まり、タイルヘッダ、ＳＯＤマーカ、タイルデータ（符号列）で構成される。最後のタイルデータの後に、終了を示すＥＯＣマーカが置かれる。
【００５０】
このＪＰＥＧ２０００の画像圧縮アルゴリズムは高圧縮率（低ビットレート）での画質が良好であるほか、多くの特徴を有する。その１つが、符号化後に、下位ビットプレーンの符号の廃棄（切り捨て：トランケーション）による量子化（ポスト量子化）であり、再圧縮を行うことなく全体の符号量（圧縮率）を調整できる。ＪＰＥＧ２０００では、コードブロック単位もしくはプリシンクト単位で係数のビットプレーンに順序付けを行い、任意の数のビットプレーンからなるレイヤを構成することができる。複数レイヤ構成をとる場合には下位のレイヤからレイヤ単位でのポスト量子化が可能である。
【００５１】
符号データの伸長処理は圧縮処理と逆の処理となる。符号生成部１６０によって符号データのタグ情報が解釈され、符号データは各コンポーネントの各タイルの符号列に分解され、この符号列はエントロピー符号化部１５８によってタグ情報に基づく順番でウェーブレット係数に復号される。復号されたウェーブレット係数は量子化部１５６で逆量子化を施されたのち、２次元ウエーブレット変換部１５４で２次元ウェーブレット逆変換を施されることにより、各コンポーネントの各タイルの画像が再生される。各コンポーネントの各タイル画像は、ＤＣレベル・色空間変換部１５２で圧縮時と逆の変換処理を施されてから出力される。この各コンポーネントの各タイル画像が画像プロセッサ１１０において統合されることにより、圧縮された画像が復元されることになる。
【００５２】
さて、ＪＰＥＧ２０００では、ビットプレーン符号化を採用しているため、ウェーブレット係数の符号化に際して、係数の最大値を予想し、その最大値に相当する「符号化すべきビットプレーン数の最大値(最大ビットプレーン数)」を計算する。この最大ビットプレーン数は、符号化時にヘッダに埋め込まれ、次に述べるように、符号のヘッダから算出可能である。
【００５３】
図３に示したメインヘッダは図９に示す構成であり、必須のマーカセグメントとしてQCDマーカセグメントが含まれている。
【００５４】
このQCDマーカセグメントの構成と内容は図１０と図１１に示す通りである。量子化スタイルのパラメータSqcd、量子化ステップサイズのパラメータSPqcdの内容は図１２乃至図１４に示すとおりである。SPqcdからεｂ及び保護ビット数を読み出すことができる。
【００５５】
また、画像が複数のコンポ−ネントから成り、メインヘッダにＱＣＣマーカセグメントが存在する場合には、ＱＣＣマーカセグメントのパラメータSPqccから当該コンポ−ネントに対応したεｂを読み出すことができる。
【００５６】
ウェーブレット変換では、その変換を施す毎に、ウェーブレット係数のビット数(＝ビットプレーン数)が増加していき、かつ、その増加量はサブバンドHL，LH，HH毎に異なる。この増加量のうち、サブバンドに共通な分の値を「保護ビット数」と呼び、サブバンドごとに異なる分を本明細書中では便宜的に「ゲインビット」とよぶ。「ゲインビット」は、デコンポジションレベルによらず、LLでは０、HL及びLHでは１、HHでは２と規定されている。
【００５７】
また、εｂは符号化時に算出される量である。ＪＰＥＧ２０００におけるウェーブレット変換としては５×３変換又は９×７変換が規定されているが、５ｘ３変換の場合、εｂは次式により求められる。
【００５８】
εｂ＝Rb＋(色変換により増加したビットプレーン数) 式(1)
ここで、Rb＝（原データのビット数）＋（ゲインビット数）
【００５９】
また、９ｘ７変換の場合、εｂは、次の式（２）（サブバンド毎の量子化ステップ数△bの式）と、図１４中のμbとから求められる。
【００６０】
Δｂ＝２（Ｒｂ−εｂ）*(1+μb／2１１) 式(2)
ここでRb＝（原データのビット数）＋（ゲインビット数）
【００６１】
なお、５×３変換の場合、線形量子化はしない仕様である(すなわち、量子化ステップ数＝１)。
【００６２】
以上をもとに、最大ビットプレーン数は
最大ビットプレーン数＝Ｒｂ＋(色変換により増加したビットプレーン数)
−（線形量子化で減少するビットプレーン数）−１
で算出され、５×３変換、９×７変換のいずれの場合も次式で表される。
【００６３】
最大ビットプレーン数＝εb＋保護ビット数−１ 式(3)
【００６４】
JPEG2000では、原データに対してDCレベルシフトを行うため、例えば0〜255の正の数を-128〜+127の数として扱う。この場合、-128〜+127の数を「極性１ビット，絶対値７ビット」として扱うため、式(3)中の「−１」が生じる。
【００６５】
次に、「ゼロビットプレーン数」及び「符号化されたビットプレーン数」と、その読み出し方について説明する。
【００６６】
最大ビットプレーン数は前記式(3)式により算出されるが、全てのコードブロックにおいて（少なくとも１つの係数は）前記式(3)式による最大ビットプレーン数に達するとは限らず、実際には、それに達しないコードブロックがある。つまり、あるコードブロックにおいては、ビットプレーンの上位側が０で埋まっているのである。
【００６７】
よって、コードブロック単位で、（最大ビットプレーン数）と（実際のビットプレーン数）の差を「０ビットプレーン数」と呼ぶ。０ビットプレーン数は、パケットヘッダ中にコードブロックごとに記述されている。
【００６８】
図３に示したタイルデータは、図１５の上段に示すように複数のパケットと呼ばれる単位からなり、各パケットは図１５の下段に示すようにパケットヘッダとパケットデータとから成る。
【００６９】
各パケットのパケットヘッダには
(1)当該パケットが空かどうか(当該パケットにサブビットプレーンの符号が全く含まれていない)
(2)当該パケットにいくつのコードブロックが含まれているか
(3)当該パケットに含まれる各コードブロックに対応したゼロビットプレーン数(ゼロビットプレーン数はコードブロック毎にカウントする)
(4)当該パケットに含まれる各コードブロック毎の、当該パケットに含まれる符号化されたサブビットプレーン数
(5)当該パケットに含まれる各コードブロック毎の、当該パケットに含まれるエントロピー符号長
の情報が記述されている。
【００７０】
したがって、パケットヘッダの内容を読み出すことによって、各コードブロック毎の「ゼロビットプレーン数」が分かる。よって、前記式(3)から、パケットヘッダより取得したゼロビットプレーン数を減じれば、各コードブロック毎の「非ゼロビットプレーン数」が分かる。また、符号化されたサブビットプレーン数はパケットヘッダより直接読み取ることができ、したがって、各コードブロック毎の「符号化されたビットプレーン数」も計算できる。
【００７１】
なお、符号がマルチレイヤ構成の場合、同一のコードブロックのビットプレーンが幾つかのレイヤに分けられて符号化される（例：符号化すべきビットプレーンが９枚だった場合、レイヤＡに含まれるパケットには５枚分、レイヤＢに含まれるパケットには残りの４枚分の符号が入る)。したがって、パケットヘッダ中のサブビットプレーン数を各コードブロックごとに積算し、当該コードブロックに関し符号化されたサブビットプレーン数の合計を求める必要がある。
【００７２】
サブビットプレーンとは、一部の例外を除き、ビットプレーンを仮想的に３枚に分割したものであり、
非ゼロサブビットプレーン数＝１＋３×（非ゼロビットプレーン数―１） 式(4)
である。最上位の非ゼロビットプレーンは３枚に分割しないため、上記「一部の例外」が生じる。
【００７３】
JPEG2000の符号化処理は、概ね図１６に示す流れで行われ、符号形成プロセスと呼ばれる右端の２つのブロックで、パケットと呼ばれる符号単位を所望の順序に並べる作業がなされる。
【００７４】
ここで、画像、タイル、サブバンド、プリシンクト、コードブロックの関係、並びに、パケットとレイヤの関係について整理する。
【００７５】
物理的な大きさの序列は、
画像≧タイル＞サブバンド≧プリシンクト≧コードブロック
である。
【００７６】
タイルとは画像を矩形に分割したものであり、分割数＝１の場合、
画像＝タイル
である。
【００７７】
プリシンクトとは、サブバンドを矩形に分割したもので、画像中の大まかな場所(position)を表すものである。ＨＬ，ＬＨ，ＨＨの各サブバンドを分割したプリシンクトについては、各サブバンドの対応位置のプリシンクト（合計３個）がひとまとまりとして扱われる。ただし、ＬＬサブバンドを分割したプリシンクトは、１つでひとまとまりとして扱われる。プリシンクトはサブバンドと同じサイズにすることもできる。
【００７８】
プリシンクトをさらに矩形に分割したものがコードブロックである。
【００７９】
デコンポジション回数が３の場合について、タイル、サブバンド、プリシンクト、コードブロックの関係を図１７に模式的に示す。
【００８０】
プリシンクトに含まれる全てのコードブロックから、符号の一部を取り出して集めたもの（例えば、全てのコードブロックのMSBから３枚目までのビットプレーンの符号を集めたもの）がパケットである。上記“一部”は“空”（から）でもいいので、パケットの中身が符号的には“空(から)”ということもある。
【００８１】
全てのプリシンクト（＝全てコードブロック＝全てのサブバンド）のパケットを集めると、画像全域の符号の一部（例えば、画像全域のウェーブレット係数の、MSBから３枚目までのビットプレーンの符号）ができるが、これがレイヤである。レイヤは、大まかには、画像全体のビットプレーンの符号の一部であるから、復号されるレイヤ数が増えれば画質は上がる。したがって、レイヤはいわば画質の単位である。すべてのレイヤを集めると、画像全域の全てのビットプレーンの符号になる。
【００８２】
ウェーブレット変換の階層数(デコンポジションレベル)＝２，プリシンクトサイズ＝サブバンドサイズ、としたときのレイヤ構成の例を図１８に示す。各レイヤに含まれる、いくつかのパケットを図１９に太線で囲んで示す。パケットは、プリシンクトを単位とするものであるから、プリシンクト＝サブバンドとした場合には、パケットはＨＬ〜ＨＨサブバンドをまたいだものとなる。
【００８３】
図１６に関連して述べた「符号形成プロセス」において、レイヤ単位あるいはパケット単位での符号の破棄（トランケーション）すなわちポスト量子化が可能である。また、符号生成後において、あるパケットに関してビットプレーンのエントロピー符号を部分的に捨てて、当該パケットのパケットヘッダの生成をやり直すと言ったことも可能である。
【００８４】
次に、「サブバンドゲイン」について説明する。復号時の逆ウェーブレット変換においては、サブバンドごとに「周波数係数値が信号値に逆変換された場合の倍率」が異なり、この倍率の二乗をサブバンドゲイン（Gsbと表記）という。量子化によって周波数係数に生じた誤差△eは、信号への逆変換によってサブバンドゲインの平方根倍され、√Gsb・△eとなる。
【００８５】
以下、５×３変換の場合を例にして、サブバンドゲインの算出法を説明する（詳細は非特許文献２に記載されている）。
【００８６】
５×３ウェーブレット変換の逆変換は、インターリーブされた係数の配列に対して、まず水平方向に、Ｘ座標が偶数（ｘ=2i）の係数C(2i)を中心に逆ローパスフィルタを施し、次にＸ座標が奇数（ｘ=2i+1）の係数C(2i+1)を中心に逆ハイパスフィルタを施す(これを全てのＹ座標について行う)。ここで、逆ローパスフィルタ，逆ハイパスフィルタは順に式（５）、式（６）で表される。
【００８７】
P(2i)=C(2i)−floor（(C(2i-1)+C(2i+1)+2)/4） 式(5)
P(2i+1)=C(2i+1)＋floor（(P(2i)+P(2i+2))/2） 式(6)
ここでfloor（Ａ）はＡのフロア関数（実数Ａを、Ａを越えず、かつ、Ａに最も近い整数に置換する関数）である。
【００８８】
式（５）、式（６）のフロア関数をはずして次の近似式を得る。
P(2i)=C(2i)−1/4・C(2i-1)−1/4・C(2i+1)−1/2 式(7)
P(2i+1)=C(2i+1)＋P(2i)/2+P(2i+2)/2
=−1/8・C(2i-1)＋1/2・C(2i)＋3/4・C(2i+1)＋1/2・C(2i+2)
−1/8・C(2i+3)−1/2
式(8)
また、式（７）（８）から下の５つの式を得る。
P(2i-1)=−1/8・C(2i-3)＋1/2・C(2i-2)＋3/4・C(2i-1)＋1/2・C(2i)
−1/8・C(2i+1)−1/2
P(2i) =C(2i)−1/4・C(2i-1)−1/4・C(2i+1)−1/2
P(2i+1)=−1/8・C(2i-1)＋1/2・C(2i)＋3/4・C(2i+1)＋1/2・C(2i+2)
−1/8・C(2i+3)−1/2
P(2i+2)=C(2i+2)−1/4・C(2i+1)−1/4・C(2i+3)−1/2
P(2i+3)=−1/8・C(2i+1)＋1/2・C(2i+2)＋3/4・C(2i+3)＋1/2・C(2i+4)
−1/8・C(2i+5)−1/2
【００８９】
今、奇数位置のハイパス係数C(2i+1)に量子化誤差１が生じた場合、上の５つの式は、該誤差がP(2i-1)からP(2i+3)の５画素に影響を及ぼすことを示し、これら５つの誤差が独立であると仮定すると、該５画素に生じる誤差の二乗和の平方根は
√(（-1/8）２＋（-1/4）２＋（3/4）２＋（-1/4）２＋（-1/8）２)＝0.85
である。つまり、ハイパス係数の誤差１が、画素値のエラー0.85に変換されるのである。これが逆ハイパスフィルタ１回分のゲインの平方根である。
【００９０】
同様に、偶数位置のローパス係数C(2i)に量子化誤差１が生じた場合、上式は、該誤差がP(2i-1)からP(2i+1)の３画素に影響を及ぼすことを示し、該３画素に生じる誤差は
√(（1/2）２＋1２＋（1/2）２)＝1.2
である。つまり、ローパス係数の誤差１が、画素値の誤差1.2に変換されるのである。これが逆ローパスフィルタ１回分のゲインの平方根である。
【００９１】
２次元の逆ウェーブレット変換の場合、LL係数の逆変換には逆ローパスフィルタを２回かける必要があるため、LL係数に量子化誤差１が生じた場合、画素に生じる誤差は
1.2×1.2
となる。同様に、HL係数の逆変換には逆ローパスフィルタ、逆ハイパスフィルタを１回ずつかける必要があるため、HL係数に量子化誤差１が生じた場合、画素に生じる誤差は
1.2×0.85
となる。
【００９２】
同様の計算を行うと、デコンポジションレベル５の場合、各サブバンドの係数に生じた単位量子化誤差が画素に与えるエラーの二乗和の平方根（＝サブバンドゲインの平方根）は図２０及び図２１に示す値となる。ただし、図２０は９×７逆変換の場合であり、図２１は５ｘ３逆変換の場合である。
【００９３】
なお、サブバンドゲインは、正規直交変換でない周波数変換では常に問題となるものであり、ウェーブレット変換以外の周波数変換を用いる符号化においても同様な考え方が適用できる。
【００９４】
JPEG2000では、コンポーネント変換（色空間変換）として以下のような可逆のＲＣＴ(Reversible multiple component transformation)と、非可逆のＩＣＴ(Irreversible multiple component transformation)が用いられる。
【００９５】
ＲＣＴの順変換と逆変換は次式で表される。
順変換
Y0(x,y)=floor((I0(x,y)+2*(I1(x,y)+I2(x,y))/4)
Y1(x,y)=I2(x,y)-I1(x,y)
Y2(x,y)=I0(x,y)-I1(x,y) 式(9)
逆変換
I1(x,y)=Y0(x,y)-floor((Y2(x,y)+Y1(x,y))/4)
I0(x,y)=Y2(x,y)+I1(x,y)
I2(x,y)=Y1(x,y)+I1(x,y) 式(10)
上式中のＩは原信号、Ｙは変換後の信号を示す。ＲＧＢ信号を例にすれば、Ｉ信号は０＝Ｒ，１＝Ｇ，２＝Ｂ、Ｙ信号は０＝Ｙ，１＝Ｃｂ，２＝Ｃｒと表される。
【００９６】
ＩＣＴの順変換と逆変換は次式で表される。
順変換
Y0(x,y)=0.299*I0(x,y)+0.587*I1(x,y)+0.144*I2(x,y)
Y1(x,y)=-0.16875*I0(x,y)-0.33126*I1(x,y)+0.5*I2(x,y)
Y2(x,y)=0.5*I0x,y)-0.41869*I1(x,y)-0.08131*I2(x,y) 式(11)
逆変換
I0(x,y)=Y0(x,y)+1.402*Y2(x,y)
I1(x,y)=Y0(x,y)-0.34413*Y1(x,y)-0.71414*Y2(x,y)
I2(x,y)=Y0(x,y)+1.772*Y1(x,y) 式(12)
式中のＩは原信号、Ｙは変換後の信号を示す。ＲＧＢ信号を例にすれば、Ｉ信号は０＝Ｒ，１＝Ｇ，２＝Ｂ、Ｙ信号は、０＝Ｙ，１＝Ｃｂ，２＝Ｃｒと表される。
【００９７】
このような逆RCTや逆ICTのゲインについて説明する。これらゲインも同様に、各コンポ−ネントに生じた単位誤差によるRGB値のエラーの二乗和である。これらは、サブバンドゲインを導出する場合と同様、RCTやICTの逆変換の式中の定数の二乗和として算出される。よって、逆ICTと逆RCTのゲインの平方根は図２２と図２３に示すような値となる。
【００９８】
以下、図１に示した電子カメラ装置の動作について説明する。
【００９９】
《静止画撮影時の動作》
【０１００】
静止画撮影時の動作の一例を図４のフローチャートを参照して説明する。操作部１２４に含まれる不図示のレリーズボタン（静止画撮影指示ボタン）が押下されると、静止画撮影指示がシステムコントローラ１２２より画像プロセッサ１１０に与えられ、画像プロセッサ１１０は静止画撮影の条件でイメージセンサ１０４を駆動する。撮影された画像データは、画像プロセッサ１１０より各コンポーネント毎にタイル分割されて画像圧縮／伸長部１１６へ送られ、圧縮処理される（ステップＳ１００）。画像圧縮／伸長部１５０においては、エントロピー符号化部１５８の段階まではロスレス圧縮を行い、符号生成部１６０で画質モード（高画質、標準画質、エコノミー画質など）に応じたポスト量子化を行う。画質モードは撮影者（ユーザ）により操作部１２４を介して予め設定され、また、設定されない場合はデフォルトの画質モードが選ばれ、これがシステムコントローラ１２２によって画像圧縮／伸長部１５０に指定される。なお、高画質モード時にポスト量子化を行わないことも可能であり、そのような態様も本発明に包含される。
【０１０１】
この符号化処理時に、ファイル管理部１６６は、その圧縮された画像データのデータ量削減余力を判断するための情報（データ量削減処理の序列を決定するための情報）として、例えば、ロスレス符号量、ポスト量子化後の符号量（現符号量）、非ゼロビットプレーンの総数、画質モード、画像サイズなどを取得する。
ロスレス符号量とポスト量子化後の符号量は符号生成部１６０より取得することができる。サブバンドごとに視覚的な重み付けをしたロスレス符号量とポスト量子化後を取得してもよく、これも本発明に包含される。非ゼロビットプレーンの総数は、符号データのパケットヘッダからゼロビットプレーン数を取得し、それを総ビットプレーン数から差し引くことにより求めることができる。非ゼロビットプレーンの総数又はゼロビットプレーン数を、符号生成部１６０で求めてファイル管理部１６６に与えるようにしてもよい。画像サイズと画質モードは、システムコントローラ１２２より指定されるが、符号データのメインヘッダから取得することもできる。なお、これらの情報を必ずしも全部取得する必要はなく、画像データのデータ量削減余力の判断のために必要な一部の情報のみ取得するようにしてもよい。データ量削減余力の判断のために利用する情報と、その取得方法については更に後述する。
【０１０２】
ファイル管理部１６６は、画像圧縮／伸長部１５０より出力された符号データをＪＰＥＧ２０００の画像ファイルとして記録媒体１７０に記録し（ステップＳ１０２）、記録終了後に管理情報記憶部１６４上のファイル管理情報を更新する（ステップＳ１０４）。このファイル管理情報にはステップＳ１００において取得された情報も含まれる。撮影者は撮影直後又は任意の時点で、記録済み画像ファイルに対し「お気に入り指定」「モノクロ化容認指定」「サイズ変更容認指定」を行うことができる。これら指定の情報もファイル管理情報に含まれる。各画像ファイルに対しデータ量削減処理が適用された回数を示す情報もファイル管理情報に含まれる。また、記録媒体１７０の空き容量を示す情報もファイル管理情報に含まれる。また、静止画の画像ファイルであるか動画の画像ファイルかの区別を示す情報もファイル管理情報に含まれる。
【０１０３】
なお、管理情報記録部１６４として、記録媒体１７０上の特定の記憶領域を割り当てることもできる。このようにすると、記録媒体１７０を交換した場合にも同媒体上の画像ファイルに関するファイル管理情報及び削減序列リストを改めて生成する必要がない。また、管理情報記憶部１６４上のファイ管理情報及び削減序列リストのコピーを記憶媒体１７０に記録してもよい。このようにすると、記録媒体１７０を交換したときに、記録媒体１７０上の画像ファイルを参照することなく、ファイル管理情報及び削減序列リストのコピーを読み出すだけで管理情報記憶部１６４上にファイル管理情報及び削減序列リストを復元することができる利点がある。
【０１０４】
データ量削減管理部１６２は、管理情報記録部１６４上のファイル管理情報中の特定の情報を参照し、その情報に基づき特定の判断基準により今回追加された画像ファイルのデータ量削減余力を判断することによって、そのデータ量削減序列を決定し、管理情報記録部１６４上の削減序列リストを更新する（ステップＳ１０６）。この削減序列リストは、データ量削減序列（順番）に従って全ての（又はデータ量削減余力の大きい上位Ｎ個の）画像ファイルのインデックスを並べたリストである。データ量削減序列は、基本的には、画質的観点からデータ量削減余力の大きいものを優先するように決定される。データ量削減余力の具体的な判断基準の例は次の通りである。
【０１０５】
基準１：［現符号量／ロスレス符号量］が大きい画像ファイルを優先する。
この比は現時点での情報量の削減度合を示すため、この比が大きい画像ファイルはデータ量削減余力が大きいからである。ここで、「ロスレス符号量」とは、狭義のロスレス符号量のみならず、「係数をビットプレーンに変換した後、全てのビットプレーンを符号化した場合の符号量」という意味である。したがって、９×７変換の場合は、「係数の線形量子化後、全てのビットプレーンを符号化した場合の符号量」になる。
【０１０６】
基準２：［（サブバンドごとに視覚的な重み付けをして計算した現符号量）／（サブバンドごとに視覚的な重み付けをして計算したロスレス符号量）］が大きい画像ファイルを優先する。
この比は、上記基準１の比の分母子を視覚的に有効な情報量として正規化したものである。
【０１０７】
基準３：［現符号量／非ゼロビットプレーンの総数］の大きい画像ファイルを優先する。
非ゼロビットプレーンの総数が多いということはウェーブレット係数の絶対値が大きい、したがってロスレス符号量が大きいからである。
【０１０８】
基準４：［画像サイズ］の大きい画像ファイルを優先する。
サイズの大きい画像は冗長度が大きいので、データ量削減による画質劣化は少ないからである。
【０１０９】
基準５：［非ゼロビットプレーンの総数］が少ない画像を優先する。
非ゼロビットプレーンの総数が少ない画像は高周波成分が少なく、手振れなどによる撮影失敗の可能性が高いので、データ量削減による画質劣化が問題になりにくいからである。
【０１１０】
基準６.１：［破棄（トランケート）されたサブビットプレーン数又はビットプレーン数の総和］が小さい画像ファイルを優先する。
［破棄されたサブビットプレーン数又はビットプレーン数の総和］は、削除されたビットの総数を示し、原データ中から削減されたデータ量を直接的に示す指標となるからである。
【０１１１】
基準６.２：［量子化ステップ数を考慮した、破棄されたサブビットプレーン数又はビットプレーン数の総和］が小さい画像ファイルを優先する。
［量子化ステップ数を考慮した、破棄されたサブビットプレーン数又はビットプレーン数の総和］は、削除されたビットの総数を示し、原データ中から削減されたデータ量を直接的に示す指標となるからである。
【０１１２】
基準６.３：［サブバンドゲインを考慮した、破棄されたサブビットプレーン数又はビットプレーン数の総和］が小さい画像ファイルを優先する。
［サブバンドゲインを考慮した、破棄されたサブビットプレーン数又はビットプレーン数の総和］は、逆周波数変換後の、削除されたビットの総数を示し、原データ中から削減されたデータ量を直接的に示す指標となるからである。
【０１１３】
基準６.４：［コンポ−ネント変換のゲインを考慮した、破棄されたサブビットプレーン数又はビットプレーン数の総和］が小さい画像ファイルを優先する。
［コンポ−ネント変換のゲインを考慮した、破棄されたサブビットプレーン数又はビットプレーン数の総和」は、逆コンポ−ネント変換後の、削除されたビットの総数を示し、原データ中から削減されたデータ量を直接的に示す指標となるからである。
【０１１４】
基準６.５：［周波数毎の視覚特性を考慮した、破棄されたサブビットプレーン数又はビットプレーン数の総和］が小さい画像ファイルを優先する。
［周波数毎の視覚特性を考慮した、破棄されたサブビットプレーン数又はビットプレーン数の総和」は、削除されたビットの総数に視覚的な重み付けをした量を示し、視覚的な劣化を示す指標となるからである。
【０１１５】
基準７．１：［破棄されたサブビットプレーン又はビットプレーンによる量子化誤差の総和］が小さい画像ファイルを優先する。
［量子化誤差の総和］は、原データの劣化量を直接的に示す指標となるからである。
【０１１６】
基準７.２：［量子化ステップ数を考慮した、破棄されたサブビットプレーン又はビットプレーンによる量子化誤差の総和］が小さい画像ファイルを優先する。
［量子化ステップ数を考慮した量子化誤差の総和」は、原データの劣化量を直接的に示す指標となるからである。
【０１１７】
基準７．３：［サブバンドゲインを考慮した、破棄されたサブビットプレーン又はビットプレーンによる量子化誤差の総和］が小さい画像ファイルを優先する。
［サブバンドゲインを考慮した量子化誤差の総和］は、逆周波数変換後の原データの劣化量を直接的に示す指標となるからである。
【０１１８】
基準７．４：［コンポ−ネント変換ゲインを考慮した、破棄されたサブビットプレーン又はビットプレーンによる量子化誤差の総和］が小さい画像ファイルを優先する。
［コンポ−ネント変換ゲインを考慮した量子化誤差の総和］は、逆コンポ−ネント変換後の原データの劣化量を直接的に示す指標となるからである。
【０１１９】
基準７．５：［周波数毎の視覚特性を考慮した、破棄されたサブビットプレーン又はビットプレーンによる量子化誤差の総和］が小さい画像ファイルを優先する。
［周波数毎の視覚特性を考慮した量子化誤差の総和］は、原データの劣化に視覚的な重み付けをした量を示し、視覚的な劣化を示す指標となるからである。
【０１２０】
基準８：高画質モードで撮影された画像ファイルを優先する。
高画質モードで撮影された画像はもともと高画質であるため、データ量削減を行ったとしても良好な画質を維持できるからである。
【０１２１】
基準９：［データ量削減処理が適用された回数］の少ない画像ファイルを優先する。
適用回数が少ない画像ファイルは、適用回数が多い画像ファイルに比べ、一般に画質が良好であるからである。
【０１２２】
基準10：動画の画像ファイルを静止画の画像ファイルより優先する。
動画は、一般に静止画ほど高画質を要求されないからである。
【０１２３】
基準11：動画の画像ファイルの相互間では［フレームの前記基準１又は３の比の平均値あるいは最大値］の大きいものを優先する。
基準12：動画内のフレームの間では、前記基準１、２又は３の比の大きいフレームを優先する。
【０１２４】
基準13：動画の画像ファイルの相互間では［フレームの前記基準6.1又は7.1の総和の平均値又は最小値］の小さいものを優先する。
【０１２５】
基準14：動画内のフレームの間では、前記基準6.1又は7.1の総和の小さいフレームを優先する。
【０１２６】
以上の基準は画質的観点に立った判断基準であるが、本実施の態様においては、次の判断基準も適用できる。
【０１２７】
基準15：撮影者により「サイズ変更容認指定」又は「モノクロ化容認指定」の指定がなされた画像ファイルを優先する。
これは撮影者の意思に基づく基準である。これら指定のある画像ファイルは、撮影者がデータ量削減を容認したうえで、その削減方法を指定しているからである。なお、撮影者の「お気に入り指定」のある画像ファイルは、撮影者が画質低下を望まないことを表明したもの、つまりプロテクト指定したものであるからデータ量削除対象から除外される。
【０１２８】
基準16：記録された日付の古い画像ファイルを優先する。
これは記録時期に基づく基準である。通常、古い画像は、撮影者が重視しているのであれば「お気に入り指定」がなされるか、既に別の記録媒体にコピーされている可能性が高いからである。
【０１２９】
以上に述べたことを基礎として、前記判断基準に用いられる値の具体的な算出方法の例について順に説明する。
【０１３０】
まず、「非ゼロビットプレーンの総数」であるが、この値は符号化すべきビットの総数を示すため、原画像のデータ量の多寡を示す指標となる。よって、「原符号量/非ゼロビットプレーンの総数」は、原画像に対するデータ削減の度合いを示す指標になる。その算出であるが、例えば、
最大ビットプレーン数:MBP
当該コードブロックのゼロビットプレーン数:ZBP
当該コードブロックに含まれる係数の数:N
として、
［非ゼロビット数の総数］＝ΣΣΣ｛（MBP―ZBP）×N｝
により算出される。
この式中のΣΣΣはコンポーネント、サブバンド、コードブロックそれぞれについて総和をとることを意味する。すなわち、[｛（最大ビットプレーン数−コードブロックごとのゼロビットプレーン数）×当該コードブロックに含まれる係数の数｝の全サブバンドに関する総和]の全コンポ−ネントに関する総和が求められる。この値は、いわば“全ウェーブレット係数に関する非ゼロビットプレーンの総和”的なものである。ただし、この例では、Ｎを乗じているので、求められる値は、非ゼロビットプレーン数の総和というよりは、“非ゼロビット数”の総和と呼ぶべきかもしれない。
【０１３１】
次に、「破棄(トランケート)されたサブビットプレーン数の総和」であるが、この値は削除されたビットの総数を示すため、直接、原データ中から削減されたデータ量を示す指標となる。その算出であるが、例えば
当該コードブロックの非ゼロサブビットプレーン数:NZSBP
当該コードブロックに関して符号化されたサブビットプレーン数:CSBP
当該コードブロックに含まれる係数の数:N
として、
［破棄されたサブビットプレーン数の総和］＝ΣΣΣ｛（NZSBP−CSBP）×N｝
により算出される。
すなわち、[｛（非ゼロサブビットプレーン数−符号化されたサブビットプレーン数）×当該コードブロックに含まれる係数の数｝の全サブバンドに関する総和]の全コンポ−ネントに関する総和である。
【０１３２】
次に、「破棄されたビットプレーン数の総和」であるが、この値は、同じく削除されたビットの総数を示すため，同様に直接，原データ中から削減されたデータ量を示す指標となる。この算出であるが、例えば
当該コードブロックの非ゼロビットプレーン数:NZBP
当該コードブロックに関して符号化されたビットプレーン数:CBP
当該コードブロックに含まれる係数の数:N
として、
［破棄されたビットプレーン数の総和］＝ΣΣΣ｛（NZBP−CBP）×N｝
により算出される。
すなわち、[｛（非ゼロビットプレーン数−符号化されたビットプレーン数）×当該コードブロックに含まれる係数の数｝の全サブバンドに関する総和]の全コンポ−ネントに関する総和である。
【０１３３】
前述のように、サブビットプレーン数はビットプレーン数の概ね３倍であるから、ここでは簡易に、CBP＝（CSBP/３）を整数に切り上げた値、としている。
【０１３４】
また、線形量子化が使用されている場合、上記［破棄されたサブビットプレーン数」にさらに線形量子化を加味し、以下のような「量子化ステップ数を考慮した、破棄されたサブビットプレーン数の総和」が算出される。この算出であるが、例えば、
当該コードブロックの非ゼロサブビットプレーン数:NZSBP
当該コードブロックに関して符号化されたサブビットプレーン数:CSBP
当該コードブロックが含まれるサブバンドの量子化ステップ数:Ｑ
当該コードブロックに関し、線形量子化も含めて破棄されたサブビットプレーン数:TSBP
当該コードブロックに含まれる係数の数:N
として、
［量子化ステップ数を考慮した、破棄されたサブビットプレーン数の総和］
＝ΣΣΣ｛TSBP×Ｎ｝
(ただし、TSBP＝NZSBP−CSBP−QSBP、QSBP＝３log２（Q））
により算出される。
量子化ステップ数Qによる係数の量子化は、log２（Q）枚のビットプレーンの破棄、すなわち３log２（Q）枚サブビットプレーンの破棄に相当するからである。５×３逆変換の場合も、Q=１とすればこの例をそのまま適用可能である。
【０１３５】
このような線形量子化も考慮した、「量子化ステップ数を考慮した、破棄されたサブビットプレーン数の総和」は、やはり直接、原データ中から削減されたデータ量を示す指標となる。
【０１３６】
同様に、破棄されたビットプレーン数に、さらに線形量子化を加味した、「量子化ステップ数を考慮した、破棄されたビットプレーン数の総和」も算出する。
その算出であるが、例えば
当該コードブロックの非ゼロビットプレーン数:NZBP
当該コードブロックに関して符号化されたビットプレーン数:CBP
当該コードブロックが含まれるサブバンドの量子化ステップ数:Ｑ
当該コードブロックに関して、線形量子化も含めて破棄されたビットプレーン数:TBP
当該コードブロックに含まれる係数の数:N
として、
［量子化ステップ数を考慮した、破棄されたビットプレーン数の総和］
＝ΣΣΣ｛TBP×N｝
（ただし、TBP＝NZBP−CBP−QBP、QBP＝log２（Q））
により算出される。量子化ステップ数Qによる係数の量子化は、log2（Q）枚のビットプレーンの破棄にあたるからである。５×３逆変換の場合も、Q=１とすればこの例をそのまま適用可能である。
【０１３７】
こうした、線形量子化も考慮した「破棄されたビットプレーン数の総和」は、やはり直接、原データ中から削減されたデータ量を示す指標となる。
【０１３８】
また、先に述べたように、ウェーブレット逆変換では、係数がRGB値に戻る際には√Gsb倍される。これは、RGBに戻る際に、破棄されたサブビットプレーンの枚数が3log２（√Gsb）枚増えることを意味する(これは、ビットプレーン換算ではlog２（√Gsb）枚増えることにあたる)。このGsbを考慮しない「破棄されたサブビットプレーン数又はビットプレーン数の総和」でも、例えば共通のデコンポジションレベルの符号同士で比較する場合等は、削減されたデータ量の指標として使用可能である。しかし，Gsbの値はサブバンドによって異なるため、Gsbを考慮した「破棄されたサブビットプレーン数又はビットプレーン数の総和」の方が、より一般的なデータ削減量の指標となるので、その算出について次に述べる。
【０１３９】
まず、「サブバンドゲインを考慮した、破棄されたサブビットプレーン数の総和」の算出であるが、例えば、
当該コードブロックの非ゼロサブビットプレーン数:NZSBP
当該コードブロックに関して符号化されたサブビットプレーン数:CSBP
当該コードブロックが含まれるサブバンドの量子化ステップ数:Ｑ
当該コードブロックが含まれるサブバンドのサブバンドゲイン:Gsb
当該コードブロックに関して，線形量子化も含めて破棄されたサブビットプレーン数:TSBP
当該コードブロックに含まれる係数の数:N
として、
［サブバンドゲインを考慮した、破棄されたサブビットプレーン数の総和］
＝ΣΣΣ｛TSBP×Ｎ｝
（ただし、TSBP＝NZSBP−CSBP―QSBP―GSBP、
GSBP＝３log２（√Gsb）、QSBP＝３log２（Q））
により算出される。５×３逆変換の場合も、Q=１とすればこの例がそのまま適用可能である。
【０１４０】
また同様に、「サブバンドゲインを考慮した、破棄されたビットプレーン数の総和」が算出される。その算出であるが、例えば、
当該コードブロックの非ゼロビットプレーン数:NZBP
当該コードブロックに関して符号化されたビットプレーン数:CBP
当該コードブロックが含まれるサブバンドの量子化ステップ数:Ｑ
当該コードブロックに関して、線形量子化も含めて破棄されたビットプレーン数:TBP
当該コードブロックに含まれる係数の数:N
として、
［サブバンドゲインを考慮した、破棄されたビットプレーン数の総和］
＝ΣΣΣ｛TBP×Ｎ｝
（ただし、TBP＝NZBP−CBP−QBP−GBP、
QBP＝log２（Q）、GBP＝log２（√Gsb））
により算出される。５×３逆変換の場合も、Q=１とすればこの例がそのまま適用可能である。
【０１４１】
さて、よく知られているように、人間の視覚特性は、低周波数領域に敏感であるが高周波数領域に鈍感であるので、低周波サブバンドの量子化誤差には敏感で、高周波サブバンドの量子化誤差には鈍感であることとなりる。したがって、視覚的には、低周波サブバンドほど量子化ステップ数を小さくし、高周波サブバンドほど量子化ステップ数を大きくするのが望ましいことになる。これを言い換えれば、低周波サブバンドほど破棄（トランケート）されるビットプレーン数を少なくし、高周波サブバンドほど破棄されるビットプレーン数を多くするのが望ましいことになる。
【０１４２】
JPEG2000の標準書に、上記視覚特性を加味した、周波数毎のサブバンドのデータの視覚的重要性を示す「Visual Weight」という量が示されている。この「Visual Weight」は、画像への観察距離(Viewing distance)によって何種類か用意されているが、９×７変換の場合の一例を図２４に示す。「Visual Weight」の値が大きいサブバンドほど、視覚的に重要であることを示す。
【０１４３】
JPEG2000の標準書には、「Visual Weight」の使用法として、サブバンドごとの標準的な量子化ステップ数を「Visual Weight」で除算することにより、視覚的に適切な量子化ステップ数を得る方法が記載されている。これは、破棄されたサブビットプレーンから見れば、破棄（トランケート）量にサブバンド毎の重み付けを行うことによって、さらに一般的な、視覚特性を反映したデータ削減量の指標が得られることを意味している。量子化ステップ数を重みｗで除算するということは、係数にｗを乗算することになるので、破棄するサブビットプレーン数を３log２（ｗ）枚だけ減らしたことになる。
【０１４４】
よって、「周波数毎の視覚特性を考慮した、破棄されたサブビットプレーン数の総和」として、［サブバンドゲイン及び「Visual Weight」を考慮した、破棄されたサブビットプレーン数の総和］を用いることができる。その算出であるが、例えば、
当該コードブロックの非ゼロサブビットプレーン数:NZSBP
当該コードブロックに関して符号化されたサブビットプレーン数:CSBP
当該コードブロックが含まれるサブバンドの量子化ステップ数:Ｑ
当該コードブロックが含まれるサブバンドのサブバンドゲイン:Gsb
当該コードブロックが含まれるサブバンドのVisual Weight:W
当該コードブロックに関して、線形量子化等も含めて破棄されたサブビットプレーン数:TSBP
当該コードブロックに含まれる係数の数:N
として、
［サブバンドゲインと「Visual Weight」を考慮した、
破棄されたサブビットプレーン数の総和］＝ΣΣΣ｛TSBP×Ｎ｝
（ただし、QSBP＝３log２（Q）、GSBP＝３log２（√Gsb）、
WSBP＝３log２（W）、TSBP＝NZSBP−CSBP−QSBP−GSBP＋WSBP）
により算出される。５×３逆変換の場合も、Q=１とすれば本例がそのまま適用可能である。
【０１４５】
また同様に、「周波数毎の視覚特性を考慮した、破棄されたビットプレーン数の総和」として、［サブバンドゲイン及び「Visual Weight」を考慮した、破棄されたビットプレーン数の総和］を用いることができる。その算出であるが、
えば、
当該コードブロックの非ゼロサブビットプレーン数:NZBP
当該コードブロックに関して符号化されたサブビットプレーン数:CBP
当該コードブロックが含まれるサブバンドの量子化ステップ数:Ｑ
当該コードブロックが含まれるサブバンドのVisual Weight:W
当該コードブロックに関して、線形量子化等も含めて破棄されたビットプレーン数:TBP
当該コードブロックに含まれる係数の数:N
として、
［サブバンドゲインと「Visual Weight」を考慮した、
破棄されたビットプレーン数の総和］＝ΣΣΣ｛ＴＢＰ×Ｎ｝
（ただし，QBP＝log２（Q），GBP＝log２（√Gsb），WBP＝log２（W），
TBP＝NZBP−CBP−QBP−GBP＋WBP）
により算出される。５×３逆変換の場合も、Q=１とすれば本例がそのまま適用可能である。
【０１４６】
さて，以上では、破棄（トランケート）されたビットプレーン数又はサブビットプレーン数を指標としてきたが、これは量子化誤差を指標としてきたと言い換えることもできる。
ビットプレーンｎ枚の破棄は、量子化ステップ数＝（２のｎ乗）による線形量子化と等価であり、この場合の平均的な量子化誤差は、量子化ステップ数の半分の、２のn-1乗になるからである。同様に、サブビットプレーンｎ枚の破棄は量子化ステップ数＝（２のｎ/3乗）による線形量子化と等価であり、この場合の平均的な量子化誤差は、量子化ステップ数の半分の、２の（n/3-1）乗になるからである。そしてこれに「Visual Weight」を組み合わせることにより、視覚特性を反映した、さらに一般的なデータ削減量の指標が得られることになる。
【０１４７】
よって，破棄されたサブビットプレーン数に、サブバンドゲインとVisual Weightを加味することにより、視覚的な誤差の総和」を算出することができる。その算出であるが、例えば、
当該コードブロックの非ゼロサブビットプレーン数:NZSBP
当該コードブロックに関して符号化されたサブビットプレーン数:CSBP
当該コードブロックが含まれるサブバンドの量子化ステップ数:Ｑ
当該コードブロックが含まれるサブバンドのサブバンドゲイン:Gsb
当該コードブロックが含まれるサブバンドのVisual Weight:W
当該コードブロックに関して、線形量子化を含めない、破棄されたサブビットプレーン数:TSBP
当該コードブロックに含まれる係数の数:N
として、
［視覚的な誤差の総和］＝ΣΣΣ｛（２＾(TSBP/3−１)）×√Gsb／（Q/W）×N｝
（ただし、TSBP＝NZSBP―CSBP、^はべき乗を示す）
により算出される。５×３逆変換の場合も、Q=１とすれば本例がそのまま適用可能である。
【０１４８】
また、誤差の総和を二乗和として求めることも可能であり、その場合は、
［視覚的な誤差の総和］＝ΣΣΣ｛（２＾(２TSBP/3−２)）×Gsb／（Q/W）^2×N｝
（ただし、TSBP＝NZSBP−CSBP、^はべき乗を示す）
により算出される。
【０１４９】
同様に、破棄されたビットプレーン数に、サブバンドゲインとVisual Weightを加味した、視覚的な誤差の総和」を算出することができる。その算出であるが、例えば、
当該コードブロックの非ゼロビットプレーン数:NZBP
当該コードブロックに関して符号化されたビットプレーン数:CBP
当該コードブロックが含まれるサブバンドの量子化ステップ数:Ｑ
当該コードブロックが含まれるサブバンドのサブバンドゲイン:Gsb
当該コードブロックが含まれるサブバンドのVisual Weight:W
当該コードブロックに関して、線形量子化を含めない、破棄されたビットプレーン数：TBP
当該コードブロックに含まれる係数の数:N
として、
［視覚的な誤差の総和］＝ΣΣΣ｛（２＾(TBP−１)）×√Gsb／（Q/W）×N｝
（ただし、TBP＝NZBP−CBP、^はべき乗を示す）
により算出される。５×３逆変換の場合も、Q=１とすれば本例がそのまま適用可能である。
【０１５０】
この誤差の総和を二乗和として求めることも可能であり、その場合は、
［視覚的な誤差の総和］＝ΣΣΣ｛（２＾(２TBP−２)）×Gsb／（Q/W）^2×N｝
（ただし、TBP＝NZBP−CBP、^はべき乗を示す）
により算出される。
【０１５１】
なお、コンポ−ネント変換が導入される場合には、誤差の総和の算出に、上記サブバンドゲインGsbの他に逆コンポ−ネント変換のゲインGctをコンポ−ネント毎に考慮する事も可能である。この場合、Gsbの代わりにGsb×Gctを用いればよいので、その算出例の説明は省略する。また、５ｘ３変換用のVisual Weightであるが、Ｙ成分については図２４に示した９ｘ７変換用の値を用いることができ、Cb，Cr成分については図２４に示した９×７変換用の値を1/2にした値を用いることができる。
【０１５２】
また、現符号量及びロスレス符号量に対し、サブバンドごとのVisual Weightを反映させ、［視覚特性を反映した（視覚的な重み付けをした）現符号量及びロスレス符号量］を算出することができる。その算出は、
当該サブバンドのロスレス符号量:LSLEN
当該サブバンドの現在の符号量:CURLEN
当該サブバンドのVisual Weight:W
として、
［視覚特性を反映したロスレス符号量］＝ΣΣ（LSLEN×W）
[視覚特性を反映した現在の符号量］＝ΣΣ（CURLEN×W）
により行うことができる。上記２式中のΣΣはコンポ−ネント、サブバンドそれぞれについて総和をとることを意味する。
【０１５３】
図１に示す電子カメラ装置の説明に戻る。
【０１５４】
前記の基準のどれをいくつ適用するかは、撮影者によって指定することができる。この指定は、例えば、表示装置１１２に表示したメニューから、適用したい単独の基準、又は、２つ以上の基準の組み合わせを選択させることによって行われる。２つ以上の基準の組み合わせが指定された場合には、それぞれの基準は予め定められた順序で適用される。また、撮影者が指定しない場合には、予め定められた１つ又は２つ以上の基準が適用される。前記基準12又は14が指定されない場合には、動画内の各フレームの序列は均等である。
【０１５５】
再び、図４を参照する。データ量削減処理については自動実行モードを設定することができる。自動実行モードが設定されていないときには（ステップＳ１０８，Ｎｏ）、システムコントローラ１２２は一連の動作を終了させる。
【０１５６】
データ量削減処理の自動実行モードが設定されているときには（ステップＳ１０８，Ｙｅｓ）、システムコントローラ１２２はデータ量削減処理の制御に移行する（ステップＳ１１０）。
【０１５７】
ステップＳ１１０の自動削減処理の手順の一例を、図５のフローチャートを参照して説明する。システムコントローラ１２２は、ファイル管理情報を参照し、記録媒体１７０に所定以上の空き容量があるかチェックする（ステップＳ１２０）。空き容量が十分ならば（ステップＳ１２０，Ｙｅｓ）、処理を終了する。
【０１５８】
空き容量が不足している場合には（ステップＳ１２０，Ｎｏ）、システムコントローラ１２２はデータ量削減管理部１６２にデータ量削減のための手順を開始させる。まず、データ量削減管理部１６２は、削減序列リスト上の最上位の画像ファイルを選択し、そのファイル管理情報を参照し（ステップＳ１２２）、当該画像ファイルに対し「サイズ変更容認指定」又は「モノクロ化容認指定」があるか調べる（ステップＳ１２４）。
【０１５９】
いずれの指定もない場合には、データ量削減管理部１６２はステップＳ１２６の処理に進む。このステップにおいては、ファイル管理部１６６によって当該画像ファイルの読み出しを行わせ、その符号データを画像圧縮／伸長部１５０の符号生成部１６０に転送し、符号生成部１６０において当該データに対し例えばパケットの符号のなかから最高解像度レベルの一定数の下位サブビットプレーンの符号を破棄させる処理を行わせる。そして、ファイル管理部１６６によって、処理後の符号データからなる画像ファイルで記録媒体１７０上の元の画像ファイルを書き換えさせる。この書き換えに関連して、現符号量やデータ量削減処理の実施回数などのファイル管理情報も更新される。なお、その画像ファイルの符号データが複数レイヤ構成の場合には、下位レイヤを廃棄することも可能であり、そのような態様も本発明に包含される。
【０１６０】
選択された画像ファイルに「サイズ変更許容指定」がある場合には、データ量削減管理部１６２はステップＳ１２８の処理に進む。このステップにおいては、ファイル管理部１６６によって当該画像ファイルの読み出しを行わせ、その符号データを画像圧縮／伸長部１５０の符号生成部１６０に転送し、符号生成部１６０において当該データの最高解像度レベルの符号を破棄させる処理を行わせる。そして、ファイル管理部１６６によって、処理後の符号データからなる画像ファイルで記録媒体１７０上の元の画像ファイルを書き換えさせる。ファイル管理情報も更新される。
【０１６１】
選択された画像ファイルに「モノクロ化許容指定」がある場合には、データ量削減管理部１６２はステップＳ１３０の処理に進む。このステップにおいては、ファイル管理部１６６によって当該画像ファイルの読み出しを行わせ、その符号データを画像圧縮／伸長部１５０の符号生成部１６０に転送し、符号生成部１６０において当該データの色差Ｃｒ，Ｃｂの符号を破棄させる処理を行わせる。そして、ファイル管理部１６６によって、処理後の符号データからなる画像ファイルで記録媒体１７０上の元の画像ファイルを書き換えさせる。ファイル管理情報も更新される。
【０１６２】
次に、データ量削減管理部１６６は、更新後のファイル管理情報を参照して序列を決定するための必要な処理を行い、削減序列リストを更新する（ステップＳ１３２）。なお、「モノクロ化容認指定」又は「サイズ変更容認指定」のある画像ファイルは、データ量削減処理を１回適用した後はデータ量削減処理の対象から除外する。いずれの指定もない画像ファイルは、データ量削減処理の適用回数が規定回数に達したならば（例えば、最高解像度レベルの上位数ビットのサブビットプレーンの符号のみになったときに）、データ量削減処理の対象から除外する。
【０１６３】
なお、「サイズ変更容認指定」のある画像ファイルについて、データ量削減処理を複数回適用させることも可能であり、そのような態様も本発明に包含される。また、「モノクロ化容認指定」のある画像ファイルについて、モノクロ化した後に「無指定」の場合と同様のデータ量削減処理を適用させることも可能であり、そのような態様も本発明に包含される。また、「サイズ変更容認指定」のある画像ファイルについて、タイル分割が行われているならば、いくつかのタイルの符号を破棄してデータ量削減を行うことも可能であり、そのような態様も本発明に包含される。
【０１６４】
削減序列リストの更新後、システムコントローラ１２２は記録媒体１７０の空き容量を再度チェックし（ステップＳ１２０）、空き容量が不足しているならば（ステップＳ１２０，Ｎｏ）、ステップＳ１２２以降の処理を実行させる。
【０１６５】
なお、任意時点で操作部１２４より自動削減処理の実行を指示することができる。この指示が入力されると、システムコントローラ１２２は図５に示すデータ量削減処理の手順を開始する。
【０１６６】
記録済み画像データに対しデータ量削減処理を実施した場合の一番の問題点は、撮影者（ユーザ）が画質の低下を容認できるか否かである。本発明においては、前記の基準１乃至１４のように、画質的観点から画像データのデータ量削減余力を判断し、データ量削減余力の大きい画像データを優先的に選択してデータ量削減処理を実施するため、データ量削減による画質の低下に関して撮影者の不満は生じにくい。また、前記の基準１５及び１６は撮影者の意向を考慮した判断基準であり、さらに、複数の基準の中から適用する基準を選択することができるため、データ量削減処理が実施される画像データの選択に撮影者の嗜好もしくは意思を反映させることもできるため、例えばファイルサイズの大きい画像データを単純に選んでデータ量削減処理を実施する構成に比べ、撮影者の高い満足度を得ることができる。さらに、データ量削減処理を実施すべき画像データを撮影者が直接選択する必要がなく、電子カメラ装置の使い勝手も向上する。
【０１６７】
《動画撮影時の動作》
【０１６８】
動画撮影時の動作の一例について、図６のフローチャートを参照して説明する。操作部１２４に含まれる不図示の動画撮影指示ボタンが押下されると、動画撮影指示がシステムコントローラ１２２より画像プロセッサ１１０に与えられ、画像プロセッサ１１０は動画撮影の条件でイメージセンサ１０４を駆動する。撮影された動画の各フレームの画像データは、図４のステップＳ１００〜Ｓ１０４と同様の手順で圧縮されて記録媒体１７０に記録され、ファイル管理情報が更新され、また、図４のステップＳ１０６と同様に削減序列リストの更新が行われる（ステップＳ２０２）。ただし、動画の画像データはモーションＪＰＥＧ２０００のファィル形式の画像ファイルとして記録される。
【０１６９】
各フレーム毎に、システムコントローラ１２２はファイル管理情報を参照し、記録媒体１７０の空き容量をチェックし、空き容量の不足が予想されるときには（ステップＳ２０４，Ｙｅｓ）、現在設定されていめ圧縮率より１段階高い圧縮率を画像圧縮／伸長部１５０に指定し（ステップＳ２０６）、また、データ量削減管理部１６２にデータ量削減処理を実行させる（ステップＳ２０８）。このステップＳ２０８の処理は図５に示した処理と同様であるが、ステップＳ１２０のような空き容量チェックは行わず、常に削減序列リストの上位にある所定数の画像ファイルに対するデータ量削減処理を実行する。
【０１７０】
このように、記録媒体１７０の空き容量の不足が心配される場合に、圧縮率を上げて新たに記録されるフレーム画像のデータ量を減らすとともに、記録済み画像ファイルに対するデータ量削減を行うことにより、動画撮影の途中で空き容量不足のために記録が不可能になる事態を回避することができる。なお、圧縮率を変更せず、記録済み画像ファイルのデータ量削減のみを行わせることも可能であり、そのような態様も本発明に包含される。
【０１７１】
《撮影者が介入するデータ量削減処理》
【０１７２】
任意の時点で、操作部１２４より指示することにより、撮影者が介入するデータ量削減処理のモードを選択することができる。その動作の一例を図７のフローチャートを参照し説明する。
【０１７３】
このモードが選択されると、システムコントローラ１２２はファイル管理情報を参照し、記録媒体１７０の空き容量から予想される撮影可能枚数を算出し、これを「データ量削減方法」の指定のための案内情報とともに画像プロセッサ１１０に送り、表示装置１１２に表示させ、撮影者に「サイズ変更許容指定」「モノクロ化許容指定」「指定なし」「終了」のいずれかを選択させる（ステップＳ３００）。撮影者は、予め「サイズ変更許容指定」又は「サイズ変更許容指定」を行った画像ファイルに対してデータ量削減を行いたいときには、その指定を選択し、そのような指定のない画像ファイルに対してデータ量削減を行いたいときには「指定なし」を選択し、処理を終了したいとには「終了」を選択することができる。
【０１７４】
撮影者により「終了」以外が選択されると、システムコントローラ１２２は、削減序列リストを参照し、上位にある画像ファイルより、そのファイル管理情報の「指定」情報を調べ、撮影者の選択した「指定」情報を持つ画像ファイルを見つけ、それをファイル管理部１６６に読み出させ、その符号データを画像圧縮／伸長部１５０に送り、最低解像度レベルの画像データを復元させる。そして、この画像データを画像プロセッサ１１０により表示装置１１２に縮小表示させ、撮影者にデータ量削減を実行するか否かの確認を求める（ステップＳ３０６）。すなわち、撮影者が選択した「指定」情報を持つ画像ファイルの縮小画像が表示され、そのデータ量削減を行うか否かを撮影者が判断することができる。
【０１７５】
撮影者が操作部１２４でデータ量削減の実行を指示した場合には（ステップＳ３０８，Ｙｅｓ）、システムコントローラ１２２は、当該画像ファイルに対するデータ量削減処理をデータ量削減管理部１６２に実行させる（ステップＳ３１０）。このステップの処理内容は図５のステップＳ１２４〜Ｓ１３０の処理と同様である。ただし、この段階では削減序列リストの更新処理（図５、ステップＳ１３２に相当）は行わない。
【０１７６】
この処理が終わると、システムコントローラ１２２はステップＳ３００の処理に戻る。次回のステップＳ３０６の処理においては、前回縮小表示された画像ファイルより削減序列が遅い画像ファイルが選ばれて縮小表示される。
【０１７７】
撮影者は、撮影可能枚数から空き容量が十分だと判断した場合には、ステップＳ３００で終了を指示することができる。終了指示が入力されると（ステップＳ３０４，Ｙｅｓ）、システムコントローラ１２２は、データ量削減管理部１６２に削減序列リストの更新処理を行わせる（ステップＳ３１２）。この更新処理は図５のステップＳ１３２と同様である。
【０１７８】
《各種指定動作》
【０１７９】
前述のように、撮影直後又は任意時点で記録済みの画像ファイルに対し「お気に入り指定」「サイズ変更容認指定」「モノクロ化容認指定」を行うことができるが、その指定のための動作の一例を図８のフローチャートを参照し説明する。
【０１８０】
撮影者が操作部１２４より、この動作モードを選択すると、システムコントローラ１２２は、ファイル管理情報を参照し、記録日付の新しい（又は記録日付の古い）ほうから、「指定」のない画像ファイルを１つ選択し、それをファイル管理部１６６に読み出させ、その符号データの伸長処理を画像圧縮／伸長部１５０に実行させて最低解像度レベルの画像データを復元させる。この画像データを画像プロセッサ１１０により表示装置１１２に縮小表示させ、撮影者に指定入力を促す（ステップＳ４００）。動画については、例えば最初のフレームの画像ファイルを選び、その画像を縮小表示させる。
【０１８１】
撮影者は、「お気に入り指定」「サイズ変更容認指定」「モノクロ化容認指定」「指定無し」又は「終了」を操作部１２４で選択することができる。
【０１８２】
システムコントローラ１２２は、「お気に入り指定」「サイズ変更容認指定」又は「モノクロ化容認指定」が選択された場合には（ステップＳ４０２，Ｙｅｓ）、当該画像ファイルのファイル管理情報に指定内容を示す情報を設定する（ステップＳ４０４）。当該画像ファイルが動画の場合には、全フレームに対し同じ指定内容を示す情報を設定する。
【０１８３】
システムコントローラ１２２は、ステップＳ４００に戻り、前回選択した画像ファイルの次に記録日時が新しい（又は古い）「指定」のない画像ファイルを１つ選択してその画像を縮小表示させ、撮影者の指定入力を待ち、それに応じた処理を行う。撮影者から「終了」が入力されるまで、同様の処理が繰り返される。撮影者から「終了」が入力されると（ステップＳ４０６，Ｙｅｓ）、システムコントローラ１２２はデータ量削減管理部１６２に削減序列リストの更新処理を実行させ（ステップＳ４０８）、一連の動作を終了する。
【０１８４】
前述の実施の形態においては、記録済み画像ファイルに対するデータ量削減処理のための手段として、画像圧縮／伸長部１５０の符号生成部１６０を利用したが、その手段を独立させてもよい。
【０１８５】
また、前述の実施の形態においては、画像圧縮アルゴリズムとしてＪＰＥＧ２０００準拠の画像圧縮アルゴリズムを採用しているため、圧縮された符号データの一部廃棄によって記録済み画像ファイルのデータ量削減を行った。この方法は、符号データを伸長してから再圧縮する方法に比べて画質の劣化が少ない利点がある。しかし、再圧縮によりデータ量削減を行う方法を採用することも可能であり、そのような態様も本発明に包含される。
【０１８６】
また、システムコントローラ１２２、画像圧縮／伸長部１５０、ファイル管理部１６６、データ量削減管理部１６２の全部又は一部を単一又は複数のプロセッサ（ＣＰＵ，ＭＰＵ）上でソフトウェアにより実現してもよい。換言すれば、図４乃至図８の各フローチャートに従って説明した処理手順をソフトウェアにより実行してもよい。パソコンなどの汎用のプロセッサ上で同様の処理手順をソフトウェアにより実施してもよい。また、そのためのプログラムと、同プログラムを記録した各種記録媒体も本発明に包含される。
【０１８７】
【発明の効果】
以上の説明から明らかなように、本発明によれば、電子カメラ装置、その他の画像記録装置において、ユーザの高い満足度を得られるように、記録済み画像データを適切に選択してデータ量削減処理を実施し、記録媒体の空き容量を確保することができる。また、画像データの選択を含めてデータ量削減の動作を自動化することができるため、電子カメラ装置などの画像記録装置の使い勝手も向上する。さらに、記録媒体の空き容量に余裕がない場合でも、空き容量不足による動画撮影の中断を回避できる等々の効果を得られる。
【図面の簡単な説明】
【図１】 本発明の実施の形態を説明するためのブロック図である。
【図２】 ２次元ウェーブレット変換の説明のための図である。
【図３】 画像圧縮／伸長部より生成される符号データの構造を説明するための図である。
【図４】 静止画撮影時の動作を説明するためのフローチャートである。
【図５】 記録済み画像データに対するデータ量削減処理を自動的に実行する動作を説明するためのフローチャートである。
【図６】 動画撮影時の動作を説明するためのフローチャートである。
【図７】 撮影者が介入して記録済み画像データに対するデータ量削減処理を実行する動作を説明するためのフローチャートである。
【図８】 記録済み画像データに対し各種の指定を行う動作を説明するためのフローチャートである。
【図９】 メインヘッダの構成を示す図である。
【図１０】 ＱＣＤマーカセグメントの構成を示す図である。
【図１１】 ＱＣＤマーカセグメントの内容を示す。
【図１２】 ＱＣＤマーカセグメント中のSqcd、SPqcdパラメータの内容を示す。
【図１３】 可逆量子化のステップサイズを示す。
【図１４】 非可逆量子化のステップサイズを示す。
【図１５】 タイルデータの内部構成とパケットの内部構成を示す図である。
【図１６】 ＪＰＥＧ２０００の符号化処理の概略フローを示す図である。
【図１７】 タイル、サブバンド、プリシンクト、コードブロックの関係を表す模式図である。
【図１８】 マルチレイヤ構成の一例を示す図である。
【図１９】 図１８に示したレイヤに含まれるパケットのいくつかを示す図である。
【図２０】 ９×７逆ウェーブレット変換の場合のサブバンドゲインの平方根を示す。
【図２１】 ５×３逆ウェーブレット変換の場合のサブバンドゲインの平方根を示す。
【図２２】 非可逆の逆コンポーネント変換のゲインの平方根を示す。
【図２３】 可逆の逆コンポーネント変換のゲインの平方根を示す。
【図２４】 ＪＰＥＧ２０００の標準書に示されたVisual Weightの例を示す。
【符号の説明】
１００ 撮像手段（画像入力手段）
１０２ 撮像光学系
１０４ イメージセンサ
１０６ アナログ信号処理部
１０８ アナログ・デジタル変換部
１１０ 画像プロセッサ
１１２ 表示装置
１１４ メモリ
１２２ システムコントローラ
１２４ 操作部
１５０ 画像圧縮／伸長部
１５２ ＤＣレベル・色空間変換部
１５４ ２次元ウェーブレット変換部
１５６ 量子化部
１５８ エントロピー符号化部
１６０ 符号生成部
１６２ データ量削減管理部
１６４ 管理情報記憶部
１６６ ファイル管理部
１６８ インターフェース部
１７０ 記録媒体
【発明の属する技術分野】
本発明は、画像データを記録媒体に記録する電子カメラ装置、その他の画像記録装置に係り、特に、この種の画像記録装置において記録媒体の空き容量を確保するための技術に関する。
【０００２】
【従来の技術】
デジタルスチルカメラなどの電子カメラ装置では、一般に、記録媒体の空き容量が不足した場合に、記録済みの画像データを消去することにより空き容量を確保する。この画像データの消去は、画像を１枚ずつ選択して行うか、又は、全部を一括して行うことができる。しかし、１枚ずつ選択して消去する方法は手間がかかり、他方、画像データを一括して消去する方法は、手間がかからないが残したい画像データがある場合に不都合である。
【０００３】
記録済みの画像データの消去をより効率的に行い、かつ、残したい画像データを保存できるようにするため、連写された画像データ、ブラケット撮影された画像データ、パノラマ撮影された画像データなど、関連性の強い画像データ群をグループとして管理し、また、残したい画像データにプロテクト指定をしておき、あるグループに属した画像データを選択して消去を指示すると、同じグループ内の画像データを、プロテクト指定されているものを除き一括消去する技術が特許文献１に記載されている。
【０００４】
また、記録済みの画像データを消去するのではなく、画像データのデータ量を削減することによって記録媒体の空き容量を確保する、もう１つのアプローチがある。
【０００５】
例えば、選択した画像データをより高い圧縮率で再圧縮し、あるいは画像の一部をトリミングすることにより、データ量を削減する技術が特許文献２に記載されている。マルチレイヤ構成の符号化方式を採用し、符号データをレイヤ単位で削除することにより画像データのデータ量を削減する技術が特許文献３に記載されている。記録済みの画像データを再圧縮し、又は符号データのまま一部符号を廃棄することにより、データ量を削減して記録画像枚数に応じた空き容量を確保する技術が特許文献４に記載されている。この従来技術では、さらに、データ量削減により確保した空き容量に見合うように新規の画像データの圧縮率を制御する。
【０００６】
この新規画像データの圧縮率の制御に関しては、高精細モードでは空き容量が不足するときに、より圧縮率の高い中間モードに自動的に切り替える技術が特許文献５に記載されている。
【０００７】
また、特許文献６には、放射線画像を管理するシステムにおいて、保存されている画像データの非関心領域の符号の廃棄と再圧縮の組み合わせによりデータ量を削減する技術が記載されている。また、複写機において、カラー画像データを白黒画像データに変換することによってデータ量を削減する技術が特許文献７に記載されている。
【０００８】
【発明が解決しようとする課題】
記録済みの画像データのデータ量を削減することにより記録媒体の空き容量を確保する方法は、残したい画像データが完全に失われることがない点で画像データを消去する方法に比べ有利である。しかし、データ量削減を行うべき画像データの選択はユーザにまかせられており、特許文献４にも最大データ量の画像データを選択することが述べられているに過ぎない。
【０００９】
よって、本発明の主たる目的は、電子カメラ装置、その他の画像記録装置において、ユーザ（撮影者）に負担をかけることなく、かつ、ユーザの満足を得られるように、より合理的に画像データを選択してデータ量削減を実施できるようにすることである。この目的及びその他の目的について、以下に実施の形態に関連し具体的に説明する。
【００１０】
【特許文献１】
特開２００２−４４６０１号公報
【特許文献２】
特開平８−９３１２号
【特許文献３】
特開２００１−３２０５８８号公報
【特許文献４】
特開２００１−２３１００９号公報
【特許文献５】
特許第３２２９１４４号公報
【特許文献６】
特開２００１−２１８０６２号公報
【特許文献７】
特開２００１−３０９１３８号公報
【非特許文献１】
野水泰之，「次世代画像符号化方式 ＪＰＥＧ２０００」，
株式会社トリケップス，２００１年２月１３日
【非特許文献２】
J.Katto and Y.Yasuda,“Performance evaluation of subband coding
and optimization of its filter coefficients,”
Journal of Visual Communication and Image Representation,
vol.2，pp.303-313,Dec.1991
【００１１】
【課題を解決するための手段】
記録済み画像データに対しデータ量削減処理を自動的に実施する場合の一番の問題点は、ユーザ（撮影者）が画質の低下を容認できるか否かである。したがって、撮影者の高い満足度を得るためには、画質を考慮して、データ量削減処理を実施する画像データを選択できるようにするのが望ましい。また、ユーザ（撮影者）の意思もしくは嗜好を反映させることも、ユーザの高い満足度を得るためには重要である。
【００１２】
本発明は、以上のような観点に立って前記目的を達成しようとするものであり、以下に記載するような特徴を有するものである。
【００１３】
請求項１記載の発明は、ビットプレーン符号化された画像データを記録媒体に記録する手段と、前記記録媒体に記録済みの画像データのデータ量削減余力を判断するための特定の情報を取得する手段と、前記取得する手段により取得された情報に基づき特定の判断基準によりデータ量削減余力が大きいと判断される画像データを優先的に選択する手段と、前記選択する手段で選択された画像データに対しデータ量削減処理を実施する手段とを有し、前記取得する手段は、記録済みの画像データのサブバンドごとの視覚的な重み付けをした現符号量及びロスレス符号量を取得し、前記選択する手段は、前記サブバンドごとの視覚的な重み付けをした現符号量及びロスレス符号量の比（現符号量／ロスレス符号量）の大きい画像データを、データ量削減余力が大きいと判断することを特徴とする画像記録装置である。
【００１４】
請求項２記載の発明は、ビットプレーン符号化された画像データを記録媒体に記録する手段と、前記記録媒体に記録済みの画像データのデータ量削減余力を判断するための特定の情報を取得する手段と、前記取得する手段により取得された情報に基づき特定の判断基準によりデータ量削減余力が大きいと判断される画像データを優先的に選択する手段と、前記選択する手段で選択された画像データに対しデータ量削減処理を実施する手段とを有し、前記取得する手段は、記録済みの画像データの現符号量及び非ゼロビットプレーンの総数を取得し、前記選択する手段は、前記現符号量と非ゼロビットプレーンの総数の比（現符号量／非ゼロビットプレーンの総数）の大きい画像データを、データ量削減余力が大きいと判断することを特徴とする画像記録装置である。
【００１５】
請求項３記載の発明は、ビットプレーン符号化された画像データを記録媒体に記録する手段と、前記記録媒体に記録済みの画像データのデータ量削減余力を判断するための特定の情報を取得する手段と、前記取得する手段により取得された情報に基づき特定の判断基 準によりデータ量削減余力が大きいと判断される画像データを優先的に選択する手段と、前記選択する手段で選択された画像データに対しデータ量削減処理を実施する手段とを有し、前記取得する手段は、記録済みの画像データの破棄されたビットプレーン数又はサブビットプレーン数の総和を取得し、前記選択する手段は、前記破棄されたビットプレーン数又はサブビットプレーン数の総和の小さい画像データを、データ量削減余力が大きいと判断することを特徴とする画像記録装置である。
【００１６】
請求項４記載の発明は、請求項３記載の発明に係る画像記録装置において、前記破棄されたビットプレーン数又はサブビットプレーン数の総和は、量子化ステップ数を考慮して算出されることを特徴とする画像記録装置である。
【００１７】
請求項５記載の発明は、請求項３記載の発明に係る画像記録装置において、前記破棄されたビットプレーン数又はサブビットプレーン数の総和は、サブバンドゲインを考慮して算出されることを特徴とする画像記録装置である。
【００１８】
請求項６記載の発明は、請求項３記載の発明に係る画像記録装置において、前記破棄されたビットプレーン数又はサブビットプレーン数の総和は、逆コンポ−ネント変換のゲインを考慮して算出されることを特徴とする画像記録装置である。
【００１９】
請求項７記載の発明は、請求項３記載の発明に係る画像記録装置において、前記破棄されたビットプレーン数又はサブビットプレーン数の総和は、周波数ごとの視覚特性を考慮して算出されることを特徴とする画像記録装置である。
【００２０】
請求項８記載の発明は、画像データを記録媒体に記録する手段と、前記記録媒体に記録済みの画像データのデータ量削減余力を判断するための特定の情報を取得する手段と、前記取得する手段により取得された情報に基づき特定の判断基準によりデータ量削減余力が大きいと判断される画像データを優先的に選択する手段と、前記選択する手段で選択された画像データに対しデータ量削減処理を実施する手段とを有し、前記取得する手段は、記録済みの画像データの量子化誤差の総和を取得し、前記選択する手段は、前記量子化誤差の総和の小さい画像データを、データ量削減余力が大きいと判断することを特徴とする画像記録装置である。
【００２１】
請求項９記載の発明は、請求項８記載の発明に係る画像記録装置において、前記画像データはビットプレーン符号化されたものであり、前記量子化誤差の総和は、破棄されたビットプレーン数又はサブビットプレーン数と、量子化ステップ数とを考慮して算出されることを特徴とする画像記録装置である。
【００２２】
請求項１０記載の発明は、請求項８記載の発明に係る画像記録装置において、前記量子化誤差の総和はサブバンドゲインを考慮して算出されることを特徴とする画像記録装置である。
【００２３】
請求項１１記載の発明は、請求項８記載の発明に係る画像記録装置において、前記量子化誤差の総和は、逆コンポ−ネント変換のゲインを考慮して算出されることを特徴とする画像記録装置である。
【００２４】
請求項１２記載の発明は、請求項８記載の発明に係る画像記録装置において、前記量子化誤差の総和は、周波数ごとの視覚特性を考慮して算出されることを特徴とする画像記録装置である。
【００２５】
請求項１３記載の発明は、ビットプレーン符号化された画像データを記録媒体に記録す る手段と、前記記録媒体に記録済みの画像データのデータ量削減余力を判断するための特定の情報を取得する手段と、前記取得する手段により取得された情報に基づき、特定の判断基準によりデータ量削減余力が大きいと判断される画像データを優先的に選択する手段と、前記選択する手段で選択された画像データに対しデータ量削減処理を実施する手段とを有し、前記取得する手段は、記録済みの画像データの非ゼロビットプレーンの総数を取得し、前記選択する手段は、前記非ゼロビットプレーンの総数の少ない画像データを、データ量削減余力が大きいと判断することを特徴とする画像記録装置である。
【００２６】
請求項１４記載の発明は、請求項３又は８記載の発明に係る画像記録装置において、動画の画像データの相互間では、前記総和の平均値又は最小値の小さい動画の画像データがデータ量削減余力が大きいと判断されることを特徴とする画像記録装置である。
【００２７】
請求項１５記載の発明は、記録媒体に記録されたビットプレーン符号化された画像データの中から、データ量削減処理を実施すべき画像データを選択する画像データ選択方法であって、画像データのデータ量削減余力を判断するための特定の情報を取得するステップと、前記取得するステップにより取得された情報に基づき特定の判断基準によりデータ量削減余力が大きいと判断される画像データを優先的に選択するステップとを有し、前記取得するステップは、画像データのサブバンドごとの視覚的な重み付けをした現符号量及びロスレス符号量を取得し、前記選択するステップは、前記サブバンドごとの視覚的な重み付けをした現符号量及びロスレス符号量の比（現符号量／ロスレス符号量）の大きい画像データを、データ量削減余力が大きいと判断することを特徴とする画像データ選択方法である。
【００２８】
請求項１６記載の発明は、記録媒体に記録されたビットプレーン符号化された画像データの中から、データ量削減処理を実施すべき画像データを選択する画像データ選択方法であって、画像データのデータ量削減余力を判断するための特定の情報を取得するステップと、前記取得するステップにより取得された情報に基づき特定の判断基準によりデータ量削減余力が大きいと判断される画像データを優先的に選択するステップとを有し、前記取得するステップは、画像データの現符号量及び非ゼロビットプレーンの総数を取得し、前記選択するステップは、前記現符号量と非ゼロビットプレーンの総数の比（現符号量／非ゼロビットプレーンの総数）の大きい画像データを、データ量削減余力が大きいと判断することを特徴とする画像データ選択方法である。
【００２９】
請求項１７記載の発明は、記録媒体に記録されたビットプレーン符号化された画像データの中から、データ量削減処理を実施すべき画像データを選択する画像データ選択方法であって、画像データのデータ量削減余力を判断するための特定の情報を取得するステップと、前記取得するステップにより取得された情報に基づき特定の判断基準によりデータ量削減余力が大きいと判断される画像データを優先的に選択するステップとを有し、前記取得するステップは、画像データの非ゼロビットプレーンの総数を取得し、前記選択するステップは、前記非ゼロビットプレーンの総数の少ない画像データを、データ量削減余力が大きいと判断することを特徴とする画像データ選択方法である。
【００３０】
請求項１８記載の発明は、記録媒体に記録されたビットプレーン符号化された画像データの中から、データ量削減処理を実施すべき画像データを選択する画像データ選択方法であって、画像データのデータ量削減余力を判断するための特定の情報を取得するステップと、前記取得するステップにより取得された情報に基づき特定の判断基準によりデータ量削減余力が大きいと判断される画像データを優先的に選択するステップとを有し、前記取得するステップは、画像データの破棄されたビットプレーン数又はサブビットプレーン数の総和を取得し、前記選択するステップは、前記破棄されたビットプレーン数又はサブビットプレーン数の総和の小さい画像データを、データ量削減余力が大きいと判断すること を特徴とする画像データ選択方法である。
【００３１】
請求項１９記載の発明は、記録媒体に記録された画像データの中からデータ量削減処理を実施すべき画像データを選択する画像データ選択方法であって、画像データのデータ量削減余力を判断するための特定の情報を取得するステップと、前記取得するステップにより取得された情報に基づき特定の判断基準によりデータ量削減余力が大きいと判断される画像データを優先的に選択するステップとを有し、前記取得するステップは、画像データの量子化誤差の総和を取得し、前記選択するステップは、前記量子化誤差の総和の小さい画像データを、データ量削減余力が大きいと判断することを特徴とする画像データ選択方法である。
【００３２】
請求項２０記載の発明は、記録媒体に記録された画像データの中からデータ量削減処理を実施すべき画像データを選択する画像データ選択方法であって、画像データのデータ量削減余力を判断するための特定の情報を取得するステップと、前記取得するステップにより取得された情報に基づき特定の判断基準によりデータ量削減余力が大きいと判断される画像データを優先的に選択するステップとを有し、前記選択するステップにおけるデータ量削減余力の判断のための基準を複数の基準より選択可能であることを特徴とする画像データ選択方法である。
【００３３】
【発明の実施の形態】
以下、添付図面を参照し、本発明の実施の形態について詳細に説明する。
【００３４】
図１は本発明の実施の形態を説明するための簡略化されたブロック図である。本実施の形態は、撮像手段により被写界の静止画撮影又は動画撮影を行い、静止画像又は動画のフレーム画像を入力し、その画像データを圧縮して記録媒体に記録する電子カメラ装置である。ここでは、静止画撮影を主機能とした所謂デジタルスチルカメラとして説明するが、動画撮影を主機能とした所謂デジタルビデオカメラを除外することを意図するものではない。なお、本発明は、パソコン、光ディスク装置などの機器、ネットワークなどから静止画又は動画の画像データを入力し、その画像データを記録媒体に記録する画像記録装置全般に適用し得るものである。また、本実施の形態は、本発明の画像データ選択方法の実施の形態でもある。
【００３５】
図１において、１００は撮像手段（より一般的には画像入力手段）であり、撮像光学系１０２、イメージセンサ１０４、アナログ信号処理部１０６、アナログ・デジタル変換部１０８、画像プロセッサ１１０、メモリ１１４、表示装置１１２、操作部１２４及びシステムコントローラ１２２から構成される。
【００３６】
被写界の光学像が撮像光学系１０２によりイメージセンサ１０４に結像され、電気信号に変換される。撮像光学系１０２は光学レンズ、絞り機構、シャッター機構などから構成される。イメージセンサ１０４は、結像された光学像を色フィルタにより色分解し、各色成分の光量に応じた画像信号を出力するもので、一般にＣＣＤ型もしくはＭＯＳ型のイメージセンサが用いられる。
【００３７】
イメージセンサから出力される画像信号は、アナログ信号処理部１０６で相関二重サンプリング、ガンマ補正、ホワイトバランス調整などの処理を施されたのち、アナログ・デジタル変換部１０８でデジタル画像データに変換されて画像プロセッサ１１０に入力される。画像プロセッサ１１０は、画像データに対するエッジ強調処理などの画像処理を行うほか、イメージセンサ１０４、アナログ信号処理部１０６、アナログ・デジタル変換部１０８、表示装置１１２の制御、オートフォーカス制御や自動露出制御などのための情報の検出などを行う。この画像プロセッサ１１０は、１フレーム以上の画像データなどを一時的に保存するためのメモリ１１４を有する。表示装置１１２は、例えば液晶表示装置であり、モニタリング時の撮影画像（スルー画像）や記録画像、各種情報の表示に利用される。なお、ガンマ補正やホワイトバランス調整などの処理を画像プロセッサ１１０で行う構成としてもよく、そのような態様も本発明に包含される。
【００３８】
システムコントローラ１２２は、操作部１２４から入力される操作情報や画像プロセッサ１１０から与えられる情報などに応答して、撮像光学系１０２のシャッター機構、絞り機構、ズーミング機構の制御、画像プロセッサ１１０の制御など、撮像手段１００に関する制御を行うほか、後述のように画像データの圧縮／伸長、記録／読み出し、記録された画像データのデータ量削減などに関する制御を行う。
【００３９】
撮像手段１００により撮影された（入力された）画像データは、圧縮されたのち所定のファイル形式の画像ファイルとして各種メモリカードなどの記録媒体１７０に記録される。このような画像データの圧縮及び伸長のために画像圧縮／伸長部１５０が設けられ、また、圧縮された画像データの記録媒体１７０への記録又は記録された画像データの読み出しのためにファイル管理部１６６が設けられている。画像ファイルの記録又は読み出しは、ファイル管理部１６６の制御によりインターフェース部１６８を介して行われる。また、本発明においては、記録された画像データに対するデータ量削減処理が行われるが、その処理の管理及び処理対象の画像データの選択のためにデータ量削減管理部１６２が設けられている。また、データ量削減処理及び画像ファイルの記録／読み出し処理に関連した情報を記憶するための管理情報記憶部１６４が設けられている。このような画像データの圧縮／伸長、画像ファイルの記録／再生、記録済み画像データのデータ量削減に関連した全体的な動作はシステムコントローラ１２２によって統御される。
【００４０】
画像圧縮／伸長部１５０としては、画像データの再圧縮を行うことなく符号データの操作によりデータ量を調整可能な画像圧縮アルゴリズムを利用する構成のものが好ましいが、再圧縮を必要とする画像圧縮アルゴリズムを排除するものではない。本実施の形態にあっては、画像圧縮／伸長部１５０は、ＪＰＥＧ２０００準拠の画像圧縮アルゴリズムを利用する構成であり、ＤＣレベル・色空間変換部１５２、２次元ウェーブレット変換部１５４、量子化部１５６、エントロピー符号化部１５８、符号生成部１６０からなる。
【００４１】
ＪＰＥＧ２０００は、その基本方式（ＪＰＥＧ２０００ Ｐａｒｔ１）の標準化作業を終了し２００１年１月に勧告されている。その拡張方式であるモーション（Motion）ＪＰＥＧ２０００（ＪＰＥＧ２０００ Ｐａｒｔ３）の勧告化も目前である。このモーションＪＰＥＧ２０００は、動画を静止画の系列として扱うが、各フレーム画像に対する圧縮アルゴリズムは基本方式そのものであり、基本方式との違いはファイル形式が一部異なるのみである。ＪＰＥＧ２０００の画像圧縮アルゴリズムについては、例えば、非特許文献１などに詳しいが、その概略を以下に説明する。
【００４２】
圧縮処理の対象となる画像データ（動画を扱う場合には各フレーム画像データ）は、各コンポーネント毎にタイルと呼ばれる重複しない矩形領域に分割されてＤＣレベル・色空間変換換部１５２に入力される。
【００４３】
ＤＣレベル・色空間変換部１５２においては、圧縮率の向上を目的として、入力画像データに対しレベルシフト操作と色空間変換処理を施す。レベルシフトは、ＲＧＢ値のような符号無し整数値からダイナミックレンジの半分を減算する操作である。入力画像データが例えばＹＣｒＣｂデータの場合、Ｃｒ，Ｃｂコンポーネントのような符号付き整数値に対してレベルシフトは行われない。色空間変換処理は、入力画像データがＲＧＢデータやＣＭＹデータの場合に、ＹＣｒＣｂデータに変換する処理である。なお、このＤＣレベル変換及び色空間変換を画像プロセッサ１１０で行う構成とすることも可能である。
【００４４】
ＤＣレベル・色空間変換部１５２により処理後の各コンポーネントの各タイルの画像データは、２次元ウェーブレット変換部１５４により２次元のウェーブレット変換（離散ウェーブレット変換：ＤＷＴ）を施される。
【００４５】
図２はデコンポジション・レベル数が３の場合のウェーブレット変換の説明図である。図２（ａ）に示すタイル画像に対する２次元ウェーブレット変換により、図２（ｂ）に示すような１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨの各サブバンドに分割される。１ＬＬサブバンドの係数に対し２次元ウェーブレット変換が適用されることにより、図２（ｃ）に示すような２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨのサブバンドに分割される。２ＬＬサブバンドの係数に対し２次元ウェーブレット変換が適用されることにより、図２（ｄ）に示すような３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨのサブバンドに分割される。
【００４６】
このような低周波成分（ＬＬサブバンド係数）の再帰的分割（オクターブ分割）により得られた各サブバンドの係数は、量子化部１５６によって量子化された後にエントロピー符号化部１５８により符号化される。ＪＰＥＧ２０００では可逆圧縮（ロスレス圧縮）と非可逆圧縮（ロシィ圧縮）のいずれも可能であり、可逆圧縮の場合には量子化ステップ幅は常に１であり、この段階では実質的に量子化されない。
【００４７】
エントロピー符号化部１５８はウェーブレット係数のエントロピー符号化を行う。このエントロピー符号化には、ブロック分割、係数モデリング及び２値算術符号化からなるＥＢＣＯＴ（Embedded Block Coding with Optimized Truncation）と呼ばれるブロックベースのビットプレーン符号化方式が用いられる。符号化対象となるウェーブレット係数は正負の符号を持つ整数であり、それらを決められた順序で走査しながら、係数を絶対値表現したものに対し上位ビットから下位ビットへとビットプレーン単位で符号化処理が実行される。
【００４８】
エントロピー符号化部１５８で生成された符号列は符号生成部１６０に送られる。符号生成部１６０において、算術符号化された符号列を最終的に必要な順序に並べ替え、また、必要に応じて一部符号の廃棄（ポスト量子化）を行い、１本のビットストリームとして出力する。
【００４９】
画像圧縮／伸長部１５０より出力される符号データ（圧縮データ）は図３に示すような構造である。図３に見るように、符号データは、ＳＯＣマーカから始まり、その後に符号化のパラメータや量子化のパラメータ等を記述したメインヘッダが続き、その後に各タイル毎のデータが続く。各タイルのデータは、ＳＯＴマーカで始まり、タイルヘッダ、ＳＯＤマーカ、タイルデータ（符号列）で構成される。最後のタイルデータの後に、終了を示すＥＯＣマーカが置かれる。
【００５０】
このＪＰＥＧ２０００の画像圧縮アルゴリズムは高圧縮率（低ビットレート）での画質が良好であるほか、多くの特徴を有する。その１つが、符号化後に、下位ビットプレーンの符号の廃棄（切り捨て：トランケーション）による量子化（ポスト量子化）であり、再圧縮を行うことなく全体の符号量（圧縮率）を調整できる。ＪＰＥＧ２０００では、コードブロック単位もしくはプリシンクト単位で係数のビットプレーンに順序付けを行い、任意の数のビットプレーンからなるレイヤを構成することができる。複数レイヤ構成をとる場合には下位のレイヤからレイヤ単位でのポスト量子化が可能である。
【００５１】
符号データの伸長処理は圧縮処理と逆の処理となる。符号生成部１６０によって符号データのタグ情報が解釈され、符号データは各コンポーネントの各タイルの符号列に分解され、この符号列はエントロピー符号化部１５８によってタグ情報に基づく順番でウェーブレット係数に復号される。復号されたウェーブレット係数は量子化部１５６で逆量子化を施されたのち、２次元ウエーブレット変換部１５４で２次元ウェーブレット逆変換を施されることにより、各コンポーネントの各タイルの画像が再生される。各コンポーネントの各タイル画像は、ＤＣレベル・色空間変換部１５２で圧縮時と逆の変換処理を施されてから出力される。この各コンポーネントの各タイル画像が画像プロセッサ１１０において統合されることにより、圧縮された画像が復元されることになる。
【００５２】
さて、ＪＰＥＧ２０００では、ビットプレーン符号化を採用しているため、ウェーブレット係数の符号化に際して、係数の最大値を予想し、その最大値に相当する「符号化すべきビットプレーン数の最大値(最大ビットプレーン数)」を計算する。この最大ビットプレーン数は、符号化時にヘッダに埋め込まれ、次に述べるように、符号のヘッダから算出可能である。
【００５３】
図３に示したメインヘッダは図９に示す構成であり、必須のマーカセグメントとしてQCDマーカセグメントが含まれている。
【００５４】
このQCDマーカセグメントの構成と内容は図１０と図１１に示す通りである。量子化スタイルのパラメータSqcd、量子化ステップサイズのパラメータSPqcdの内容は図１２乃至図１４に示すとおりである。SPqcdからεｂ及び保護ビット数を読み出すことができる。
【００５５】
また、画像が複数のコンポ−ネントから成り、メインヘッダにＱＣＣマーカセグメントが存在する場合には、ＱＣＣマーカセグメントのパラメータSPqccから当該コンポ−ネントに対応したεｂを読み出すことができる。
【００５６】
ウェーブレット変換では、その変換を施す毎に、ウェーブレット係数のビット数(＝ビットプレーン数)が増加していき、かつ、その増加量はサブバンドHL，LH，HH毎に異なる。この増加量のうち、サブバンドに共通な分の値を「保護ビット数」と呼び、サブバンドごとに異なる分を本明細書中では便宜的に「ゲインビット」とよぶ。「ゲインビット」は、デコンポジションレベルによらず、LLでは０、HL及びLHでは１、HHでは２と規定されている。
【００５７】
また、εｂは符号化時に算出される量である。ＪＰＥＧ２０００におけるウェーブレット変換としては５×３変換又は９×７変換が規定されているが、５ｘ３変換の場合、εｂは次式により求められる。
【００５８】
εｂ＝Rb＋(色変換により増加したビットプレーン数) 式(1)
ここで、Rb＝（原データのビット数）＋（ゲインビット数）
【００５９】
また、９ｘ７変換の場合、εｂは、次の式（２）（サブバンド毎の量子化ステップ数△bの式）と、図１４中のμbとから求められる。
【００６０】
Δｂ＝２（Ｒｂ−εｂ）*(1+μb／2１１) 式(2)
ここでRb＝（原データのビット数）＋（ゲインビット数）
【００６１】
なお、５×３変換の場合、線形量子化はしない仕様である(すなわち、量子化ステップ数＝１)。
【００６２】
以上をもとに、最大ビットプレーン数は
最大ビットプレーン数＝Ｒｂ＋(色変換により増加したビットプレーン数)
−（線形量子化で減少するビットプレーン数）−１
で算出され、５×３変換、９×７変換のいずれの場合も次式で表される。
【００６３】
最大ビットプレーン数＝εb＋保護ビット数−１ 式(3)
【００６４】
JPEG2000では、原データに対してDCレベルシフトを行うため、例えば0〜255の正の数を-128〜+127の数として扱う。この場合、-128〜+127の数を「極性１ビット，絶対値７ビット」として扱うため、式(3)中の「−１」が生じる。
【００６５】
次に、「ゼロビットプレーン数」及び「符号化されたビットプレーン数」と、その読み出し方について説明する。
【００６６】
最大ビットプレーン数は前記式(3)式により算出されるが、全てのコードブロックにおいて（少なくとも１つの係数は）前記式(3)式による最大ビットプレーン数に達するとは限らず、実際には、それに達しないコードブロックがある。つまり、あるコードブロックにおいては、ビットプレーンの上位側が０で埋まっているのである。
【００６７】
よって、コードブロック単位で、（最大ビットプレーン数）と（実際のビットプレーン数）の差を「０ビットプレーン数」と呼ぶ。０ビットプレーン数は、パケットヘッダ中にコードブロックごとに記述されている。
【００６８】
図３に示したタイルデータは、図１５の上段に示すように複数のパケットと呼ばれる単位からなり、各パケットは図１５の下段に示すようにパケットヘッダとパケットデータとから成る。
【００６９】
各パケットのパケットヘッダには
(1)当該パケットが空かどうか(当該パケットにサブビットプレーンの符号が全く含まれていない)
(2)当該パケットにいくつのコードブロックが含まれているか
(3)当該パケットに含まれる各コードブロックに対応したゼロビットプレーン数(ゼロビットプレーン数はコードブロック毎にカウントする)
(4)当該パケットに含まれる各コードブロック毎の、当該パケットに含まれる符号化されたサブビットプレーン数
(5)当該パケットに含まれる各コードブロック毎の、当該パケットに含まれるエントロピー符号長
の情報が記述されている。
【００７０】
したがって、パケットヘッダの内容を読み出すことによって、各コードブロック毎の「ゼロビットプレーン数」が分かる。よって、前記式(3)から、パケットヘッダより取得したゼロビットプレーン数を減じれば、各コードブロック毎の「非ゼロビットプレーン数」が分かる。また、符号化されたサブビットプレーン数はパケットヘッダより直接読み取ることができ、したがって、各コードブロック毎の「符号化されたビットプレーン数」も計算できる。
【００７１】
なお、符号がマルチレイヤ構成の場合、同一のコードブロックのビットプレーンが幾つかのレイヤに分けられて符号化される（例：符号化すべきビットプレーンが９枚だった場合、レイヤＡに含まれるパケットには５枚分、レイヤＢに含まれるパケットには残りの４枚分の符号が入る)。したがって、パケットヘッダ中のサブビットプレーン数を各コードブロックごとに積算し、当該コードブロックに関し符号化されたサブビットプレーン数の合計を求める必要がある。
【００７２】
サブビットプレーンとは、一部の例外を除き、ビットプレーンを仮想的に３枚に分割したものであり、
非ゼロサブビットプレーン数＝１＋３×（非ゼロビットプレーン数―１） 式(4)
である。最上位の非ゼロビットプレーンは３枚に分割しないため、上記「一部の例外」が生じる。
【００７３】
JPEG2000の符号化処理は、概ね図１６に示す流れで行われ、符号形成プロセスと呼ばれる右端の２つのブロックで、パケットと呼ばれる符号単位を所望の順序に並べる作業がなされる。
【００７４】
ここで、画像、タイル、サブバンド、プリシンクト、コードブロックの関係、並びに、パケットとレイヤの関係について整理する。
【００７５】
物理的な大きさの序列は、
画像≧タイル＞サブバンド≧プリシンクト≧コードブロック
である。
【００７６】
タイルとは画像を矩形に分割したものであり、分割数＝１の場合、
画像＝タイル
である。
【００７７】
プリシンクトとは、サブバンドを矩形に分割したもので、画像中の大まかな場所(position)を表すものである。ＨＬ，ＬＨ，ＨＨの各サブバンドを分割したプリシンクトについては、各サブバンドの対応位置のプリシンクト（合計３個）がひとまとまりとして扱われる。ただし、ＬＬサブバンドを分割したプリシンクトは、１つでひとまとまりとして扱われる。プリシンクトはサブバンドと同じサイズにすることもできる。
【００７８】
プリシンクトをさらに矩形に分割したものがコードブロックである。
【００７９】
デコンポジション回数が３の場合について、タイル、サブバンド、プリシンクト、コードブロックの関係を図１７に模式的に示す。
【００８０】
プリシンクトに含まれる全てのコードブロックから、符号の一部を取り出して集めたもの（例えば、全てのコードブロックのMSBから３枚目までのビットプレーンの符号を集めたもの）がパケットである。上記“一部”は“空”（から）でもいいので、パケットの中身が符号的には“空(から)”ということもある。
【００８１】
全てのプリシンクト（＝全てコードブロック＝全てのサブバンド）のパケットを集めると、画像全域の符号の一部（例えば、画像全域のウェーブレット係数の、MSBから３枚目までのビットプレーンの符号）ができるが、これがレイヤである。レイヤは、大まかには、画像全体のビットプレーンの符号の一部であるから、復号されるレイヤ数が増えれば画質は上がる。したがって、レイヤはいわば画質の単位である。すべてのレイヤを集めると、画像全域の全てのビットプレーンの符号になる。
【００８２】
ウェーブレット変換の階層数(デコンポジションレベル)＝２，プリシンクトサイズ＝サブバンドサイズ、としたときのレイヤ構成の例を図１８に示す。各レイヤに含まれる、いくつかのパケットを図１９に太線で囲んで示す。パケットは、プリシンクトを単位とするものであるから、プリシンクト＝サブバンドとした場合には、パケットはＨＬ〜ＨＨサブバンドをまたいだものとなる。
【００８３】
図１６に関連して述べた「符号形成プロセス」において、レイヤ単位あるいはパケット単位での符号の破棄（トランケーション）すなわちポスト量子化が可能である。また、符号生成後において、あるパケットに関してビットプレーンのエントロピー符号を部分的に捨てて、当該パケットのパケットヘッダの生成をやり直すと言ったことも可能である。
【００８４】
次に、「サブバンドゲイン」について説明する。復号時の逆ウェーブレット変換においては、サブバンドごとに「周波数係数値が信号値に逆変換された場合の倍率」が異なり、この倍率の二乗をサブバンドゲイン（Gsbと表記）という。量子化によって周波数係数に生じた誤差△eは、信号への逆変換によってサブバンドゲインの平方根倍され、√Gsb・△eとなる。
【００８５】
以下、５×３変換の場合を例にして、サブバンドゲインの算出法を説明する（詳細は非特許文献２に記載されている）。
【００８６】
５×３ウェーブレット変換の逆変換は、インターリーブされた係数の配列に対して、まず水平方向に、Ｘ座標が偶数（ｘ=2i）の係数C(2i)を中心に逆ローパスフィルタを施し、次にＸ座標が奇数（ｘ=2i+1）の係数C(2i+1)を中心に逆ハイパスフィルタを施す(これを全てのＹ座標について行う)。ここで、逆ローパスフィルタ，逆ハイパスフィルタは順に式（５）、式（６）で表される。
【００８７】
P(2i)=C(2i)−floor（(C(2i-1)+C(2i+1)+2)/4） 式(5)
P(2i+1)=C(2i+1)＋floor（(P(2i)+P(2i+2))/2） 式(6)
ここでfloor（Ａ）はＡのフロア関数（実数Ａを、Ａを越えず、かつ、Ａに最も近い整数に置換する関数）である。
【００８８】
式（５）、式（６）のフロア関数をはずして次の近似式を得る。
P(2i)=C(2i)−1/4・C(2i-1)−1/4・C(2i+1)−1/2 式(7)
P(2i+1)=C(2i+1)＋P(2i)/2+P(2i+2)/2
=−1/8・C(2i-1)＋1/2・C(2i)＋3/4・C(2i+1)＋1/2・C(2i+2)
−1/8・C(2i+3)−1/2
式(8)
また、式（７）（８）から下の５つの式を得る。
P(2i-1)=−1/8・C(2i-3)＋1/2・C(2i-2)＋3/4・C(2i-1)＋1/2・C(2i)
−1/8・C(2i+1)−1/2
P(2i) =C(2i)−1/4・C(2i-1)−1/4・C(2i+1)−1/2
P(2i+1)=−1/8・C(2i-1)＋1/2・C(2i)＋3/4・C(2i+1)＋1/2・C(2i+2)
−1/8・C(2i+3)−1/2
P(2i+2)=C(2i+2)−1/4・C(2i+1)−1/4・C(2i+3)−1/2
P(2i+3)=−1/8・C(2i+1)＋1/2・C(2i+2)＋3/4・C(2i+3)＋1/2・C(2i+4)
−1/8・C(2i+5)−1/2
【００８９】
今、奇数位置のハイパス係数C(2i+1)に量子化誤差１が生じた場合、上の５つの式は、該誤差がP(2i-1)からP(2i+3)の５画素に影響を及ぼすことを示し、これら５つの誤差が独立であると仮定すると、該５画素に生じる誤差の二乗和の平方根は
√(（-1/8）２＋（-1/4）２＋（3/4）２＋（-1/4）２＋（-1/8）２)＝0.85
である。つまり、ハイパス係数の誤差１が、画素値のエラー0.85に変換されるのである。これが逆ハイパスフィルタ１回分のゲインの平方根である。
【００９０】
同様に、偶数位置のローパス係数C(2i)に量子化誤差１が生じた場合、上式は、該誤差がP(2i-1)からP(2i+1)の３画素に影響を及ぼすことを示し、該３画素に生じる誤差は
√(（1/2）２＋1２＋（1/2）２)＝1.2
である。つまり、ローパス係数の誤差１が、画素値の誤差1.2に変換されるのである。これが逆ローパスフィルタ１回分のゲインの平方根である。
【００９１】
２次元の逆ウェーブレット変換の場合、LL係数の逆変換には逆ローパスフィルタを２回かける必要があるため、LL係数に量子化誤差１が生じた場合、画素に生じる誤差は
1.2×1.2
となる。同様に、HL係数の逆変換には逆ローパスフィルタ、逆ハイパスフィルタを１回ずつかける必要があるため、HL係数に量子化誤差１が生じた場合、画素に生じる誤差は
1.2×0.85
となる。
【００９２】
同様の計算を行うと、デコンポジションレベル５の場合、各サブバンドの係数に生じた単位量子化誤差が画素に与えるエラーの二乗和の平方根（＝サブバンドゲインの平方根）は図２０及び図２１に示す値となる。ただし、図２０は９×７逆変換の場合であり、図２１は５ｘ３逆変換の場合である。
【００９３】
なお、サブバンドゲインは、正規直交変換でない周波数変換では常に問題となるものであり、ウェーブレット変換以外の周波数変換を用いる符号化においても同様な考え方が適用できる。
【００９４】
JPEG2000では、コンポーネント変換（色空間変換）として以下のような可逆のＲＣＴ(Reversible multiple component transformation)と、非可逆のＩＣＴ(Irreversible multiple component transformation)が用いられる。
【００９５】
ＲＣＴの順変換と逆変換は次式で表される。
順変換
Y0(x,y)=floor((I0(x,y)+2*(I1(x,y)+I2(x,y))/4)
Y1(x,y)=I2(x,y)-I1(x,y)
Y2(x,y)=I0(x,y)-I1(x,y) 式(9)
逆変換
I1(x,y)=Y0(x,y)-floor((Y2(x,y)+Y1(x,y))/4)
I0(x,y)=Y2(x,y)+I1(x,y)
I2(x,y)=Y1(x,y)+I1(x,y) 式(10)
上式中のＩは原信号、Ｙは変換後の信号を示す。ＲＧＢ信号を例にすれば、Ｉ信号は０＝Ｒ，１＝Ｇ，２＝Ｂ、Ｙ信号は０＝Ｙ，１＝Ｃｂ，２＝Ｃｒと表される。
【００９６】
ＩＣＴの順変換と逆変換は次式で表される。
順変換
Y0(x,y)=0.299*I0(x,y)+0.587*I1(x,y)+0.144*I2(x,y)
Y1(x,y)=-0.16875*I0(x,y)-0.33126*I1(x,y)+0.5*I2(x,y)
Y2(x,y)=0.5*I0x,y)-0.41869*I1(x,y)-0.08131*I2(x,y) 式(11)
逆変換
I0(x,y)=Y0(x,y)+1.402*Y2(x,y)
I1(x,y)=Y0(x,y)-0.34413*Y1(x,y)-0.71414*Y2(x,y)
I2(x,y)=Y0(x,y)+1.772*Y1(x,y) 式(12)
式中のＩは原信号、Ｙは変換後の信号を示す。ＲＧＢ信号を例にすれば、Ｉ信号は０＝Ｒ，１＝Ｇ，２＝Ｂ、Ｙ信号は、０＝Ｙ，１＝Ｃｂ，２＝Ｃｒと表される。
【００９７】
このような逆RCTや逆ICTのゲインについて説明する。これらゲインも同様に、各コンポ−ネントに生じた単位誤差によるRGB値のエラーの二乗和である。これらは、サブバンドゲインを導出する場合と同様、RCTやICTの逆変換の式中の定数の二乗和として算出される。よって、逆ICTと逆RCTのゲインの平方根は図２２と図２３に示すような値となる。
【００９８】
以下、図１に示した電子カメラ装置の動作について説明する。
【００９９】
《静止画撮影時の動作》
【０１００】
静止画撮影時の動作の一例を図４のフローチャートを参照して説明する。操作部１２４に含まれる不図示のレリーズボタン（静止画撮影指示ボタン）が押下されると、静止画撮影指示がシステムコントローラ１２２より画像プロセッサ１１０に与えられ、画像プロセッサ１１０は静止画撮影の条件でイメージセンサ１０４を駆動する。撮影された画像データは、画像プロセッサ１１０より各コンポーネント毎にタイル分割されて画像圧縮／伸長部１１６へ送られ、圧縮処理される（ステップＳ１００）。画像圧縮／伸長部１５０においては、エントロピー符号化部１５８の段階まではロスレス圧縮を行い、符号生成部１６０で画質モード（高画質、標準画質、エコノミー画質など）に応じたポスト量子化を行う。画質モードは撮影者（ユーザ）により操作部１２４を介して予め設定され、また、設定されない場合はデフォルトの画質モードが選ばれ、これがシステムコントローラ１２２によって画像圧縮／伸長部１５０に指定される。なお、高画質モード時にポスト量子化を行わないことも可能であり、そのような態様も本発明に包含される。
【０１０１】
この符号化処理時に、ファイル管理部１６６は、その圧縮された画像データのデータ量削減余力を判断するための情報（データ量削減処理の序列を決定するための情報）として、例えば、ロスレス符号量、ポスト量子化後の符号量（現符号量）、非ゼロビットプレーンの総数、画質モード、画像サイズなどを取得する。
ロスレス符号量とポスト量子化後の符号量は符号生成部１６０より取得することができる。サブバンドごとに視覚的な重み付けをしたロスレス符号量とポスト量子化後を取得してもよく、これも本発明に包含される。非ゼロビットプレーンの総数は、符号データのパケットヘッダからゼロビットプレーン数を取得し、それを総ビットプレーン数から差し引くことにより求めることができる。非ゼロビットプレーンの総数又はゼロビットプレーン数を、符号生成部１６０で求めてファイル管理部１６６に与えるようにしてもよい。画像サイズと画質モードは、システムコントローラ１２２より指定されるが、符号データのメインヘッダから取得することもできる。なお、これらの情報を必ずしも全部取得する必要はなく、画像データのデータ量削減余力の判断のために必要な一部の情報のみ取得するようにしてもよい。データ量削減余力の判断のために利用する情報と、その取得方法については更に後述する。
【０１０２】
ファイル管理部１６６は、画像圧縮／伸長部１５０より出力された符号データをＪＰＥＧ２０００の画像ファイルとして記録媒体１７０に記録し（ステップＳ１０２）、記録終了後に管理情報記憶部１６４上のファイル管理情報を更新する（ステップＳ１０４）。このファイル管理情報にはステップＳ１００において取得された情報も含まれる。撮影者は撮影直後又は任意の時点で、記録済み画像ファイルに対し「お気に入り指定」「モノクロ化容認指定」「サイズ変更容認指定」を行うことができる。これら指定の情報もファイル管理情報に含まれる。各画像ファイルに対しデータ量削減処理が適用された回数を示す情報もファイル管理情報に含まれる。また、記録媒体１７０の空き容量を示す情報もファイル管理情報に含まれる。また、静止画の画像ファイルであるか動画の画像ファイルかの区別を示す情報もファイル管理情報に含まれる。
【０１０３】
なお、管理情報記録部１６４として、記録媒体１７０上の特定の記憶領域を割り当てることもできる。このようにすると、記録媒体１７０を交換した場合にも同媒体上の画像ファイルに関するファイル管理情報及び削減序列リストを改めて生成する必要がない。また、管理情報記憶部１６４上のファイ管理情報及び削減序列リストのコピーを記憶媒体１７０に記録してもよい。このようにすると、記録媒体１７０を交換したときに、記録媒体１７０上の画像ファイルを参照することなく、ファイル管理情報及び削減序列リストのコピーを読み出すだけで管理情報記憶部１６４上にファイル管理情報及び削減序列リストを復元することができる利点がある。
【０１０４】
データ量削減管理部１６２は、管理情報記録部１６４上のファイル管理情報中の特定の情報を参照し、その情報に基づき特定の判断基準により今回追加された画像ファイルのデータ量削減余力を判断することによって、そのデータ量削減序列を決定し、管理情報記録部１６４上の削減序列リストを更新する（ステップＳ１０６）。この削減序列リストは、データ量削減序列（順番）に従って全ての（又はデータ量削減余力の大きい上位Ｎ個の）画像ファイルのインデックスを並べたリストである。データ量削減序列は、基本的には、画質的観点からデータ量削減余力の大きいものを優先するように決定される。データ量削減余力の具体的な判断基準の例は次の通りである。
【０１０５】
基準１：［現符号量／ロスレス符号量］が大きい画像ファイルを優先する。
この比は現時点での情報量の削減度合を示すため、この比が大きい画像ファイルはデータ量削減余力が大きいからである。ここで、「ロスレス符号量」とは、狭義のロスレス符号量のみならず、「係数をビットプレーンに変換した後、全てのビットプレーンを符号化した場合の符号量」という意味である。したがって、９×７変換の場合は、「係数の線形量子化後、全てのビットプレーンを符号化した場合の符号量」になる。
【０１０６】
基準２：［（サブバンドごとに視覚的な重み付けをして計算した現符号量）／（サブバンドごとに視覚的な重み付けをして計算したロスレス符号量）］が大きい画像ファイルを優先する。
この比は、上記基準１の比の分母子を視覚的に有効な情報量として正規化したものである。
【０１０７】
基準３：［現符号量／非ゼロビットプレーンの総数］の大きい画像ファイルを優先する。
非ゼロビットプレーンの総数が多いということはウェーブレット係数の絶対値が大きい、したがってロスレス符号量が大きいからである。
【０１０８】
基準４：［画像サイズ］の大きい画像ファイルを優先する。
サイズの大きい画像は冗長度が大きいので、データ量削減による画質劣化は少ないからである。
【０１０９】
基準５：［非ゼロビットプレーンの総数］が少ない画像を優先する。
非ゼロビットプレーンの総数が少ない画像は高周波成分が少なく、手振れなどによる撮影失敗の可能性が高いので、データ量削減による画質劣化が問題になりにくいからである。
【０１１０】
基準６.１：［破棄（トランケート）されたサブビットプレーン数又はビットプレーン数の総和］が小さい画像ファイルを優先する。
［破棄されたサブビットプレーン数又はビットプレーン数の総和］は、削除されたビットの総数を示し、原データ中から削減されたデータ量を直接的に示す指標となるからである。
【０１１１】
基準６.２：［量子化ステップ数を考慮した、破棄されたサブビットプレーン数又はビットプレーン数の総和］が小さい画像ファイルを優先する。
［量子化ステップ数を考慮した、破棄されたサブビットプレーン数又はビットプレーン数の総和］は、削除されたビットの総数を示し、原データ中から削減されたデータ量を直接的に示す指標となるからである。
【０１１２】
基準６.３：［サブバンドゲインを考慮した、破棄されたサブビットプレーン数又はビットプレーン数の総和］が小さい画像ファイルを優先する。
［サブバンドゲインを考慮した、破棄されたサブビットプレーン数又はビットプレーン数の総和］は、逆周波数変換後の、削除されたビットの総数を示し、原データ中から削減されたデータ量を直接的に示す指標となるからである。
【０１１３】
基準６.４：［コンポ−ネント変換のゲインを考慮した、破棄されたサブビットプレーン数又はビットプレーン数の総和］が小さい画像ファイルを優先する。
［コンポ−ネント変換のゲインを考慮した、破棄されたサブビットプレーン数又はビットプレーン数の総和」は、逆コンポ−ネント変換後の、削除されたビットの総数を示し、原データ中から削減されたデータ量を直接的に示す指標となるからである。
【０１１４】
基準６.５：［周波数毎の視覚特性を考慮した、破棄されたサブビットプレーン数又はビットプレーン数の総和］が小さい画像ファイルを優先する。
［周波数毎の視覚特性を考慮した、破棄されたサブビットプレーン数又はビットプレーン数の総和」は、削除されたビットの総数に視覚的な重み付けをした量を示し、視覚的な劣化を示す指標となるからである。
【０１１５】
基準７．１：［破棄されたサブビットプレーン又はビットプレーンによる量子化誤差の総和］が小さい画像ファイルを優先する。
［量子化誤差の総和］は、原データの劣化量を直接的に示す指標となるからである。
【０１１６】
基準７.２：［量子化ステップ数を考慮した、破棄されたサブビットプレーン又はビットプレーンによる量子化誤差の総和］が小さい画像ファイルを優先する。
［量子化ステップ数を考慮した量子化誤差の総和」は、原データの劣化量を直接的に示す指標となるからである。
【０１１７】
基準７．３：［サブバンドゲインを考慮した、破棄されたサブビットプレーン又はビットプレーンによる量子化誤差の総和］が小さい画像ファイルを優先する。
［サブバンドゲインを考慮した量子化誤差の総和］は、逆周波数変換後の原データの劣化量を直接的に示す指標となるからである。
【０１１８】
基準７．４：［コンポ−ネント変換ゲインを考慮した、破棄されたサブビットプレーン又はビットプレーンによる量子化誤差の総和］が小さい画像ファイルを優先する。
［コンポ−ネント変換ゲインを考慮した量子化誤差の総和］は、逆コンポ−ネント変換後の原データの劣化量を直接的に示す指標となるからである。
【０１１９】
基準７．５：［周波数毎の視覚特性を考慮した、破棄されたサブビットプレーン又はビットプレーンによる量子化誤差の総和］が小さい画像ファイルを優先する。
［周波数毎の視覚特性を考慮した量子化誤差の総和］は、原データの劣化に視覚的な重み付けをした量を示し、視覚的な劣化を示す指標となるからである。
【０１２０】
基準８：高画質モードで撮影された画像ファイルを優先する。
高画質モードで撮影された画像はもともと高画質であるため、データ量削減を行ったとしても良好な画質を維持できるからである。
【０１２１】
基準９：［データ量削減処理が適用された回数］の少ない画像ファイルを優先する。
適用回数が少ない画像ファイルは、適用回数が多い画像ファイルに比べ、一般に画質が良好であるからである。
【０１２２】
基準10：動画の画像ファイルを静止画の画像ファイルより優先する。
動画は、一般に静止画ほど高画質を要求されないからである。
【０１２３】
基準11：動画の画像ファイルの相互間では［フレームの前記基準１又は３の比の平均値あるいは最大値］の大きいものを優先する。
基準12：動画内のフレームの間では、前記基準１、２又は３の比の大きいフレームを優先する。
【０１２４】
基準13：動画の画像ファイルの相互間では［フレームの前記基準6.1又は7.1の総和の平均値又は最小値］の小さいものを優先する。
【０１２５】
基準14：動画内のフレームの間では、前記基準6.1又は7.1の総和の小さいフレームを優先する。
【０１２６】
以上の基準は画質的観点に立った判断基準であるが、本実施の態様においては、次の判断基準も適用できる。
【０１２７】
基準15：撮影者により「サイズ変更容認指定」又は「モノクロ化容認指定」の指定がなされた画像ファイルを優先する。
これは撮影者の意思に基づく基準である。これら指定のある画像ファイルは、撮影者がデータ量削減を容認したうえで、その削減方法を指定しているからである。なお、撮影者の「お気に入り指定」のある画像ファイルは、撮影者が画質低下を望まないことを表明したもの、つまりプロテクト指定したものであるからデータ量削除対象から除外される。
【０１２８】
基準16：記録された日付の古い画像ファイルを優先する。
これは記録時期に基づく基準である。通常、古い画像は、撮影者が重視しているのであれば「お気に入り指定」がなされるか、既に別の記録媒体にコピーされている可能性が高いからである。
【０１２９】
以上に述べたことを基礎として、前記判断基準に用いられる値の具体的な算出方法の例について順に説明する。
【０１３０】
まず、「非ゼロビットプレーンの総数」であるが、この値は符号化すべきビットの総数を示すため、原画像のデータ量の多寡を示す指標となる。よって、「原符号量/非ゼロビットプレーンの総数」は、原画像に対するデータ削減の度合いを示す指標になる。その算出であるが、例えば、
最大ビットプレーン数:MBP
当該コードブロックのゼロビットプレーン数:ZBP
当該コードブロックに含まれる係数の数:N
として、
［非ゼロビット数の総数］＝ΣΣΣ｛（MBP―ZBP）×N｝
により算出される。
この式中のΣΣΣはコンポーネント、サブバンド、コードブロックそれぞれについて総和をとることを意味する。すなわち、[｛（最大ビットプレーン数−コードブロックごとのゼロビットプレーン数）×当該コードブロックに含まれる係数の数｝の全サブバンドに関する総和]の全コンポ−ネントに関する総和が求められる。この値は、いわば“全ウェーブレット係数に関する非ゼロビットプレーンの総和”的なものである。ただし、この例では、Ｎを乗じているので、求められる値は、非ゼロビットプレーン数の総和というよりは、“非ゼロビット数”の総和と呼ぶべきかもしれない。
【０１３１】
次に、「破棄(トランケート)されたサブビットプレーン数の総和」であるが、この値は削除されたビットの総数を示すため、直接、原データ中から削減されたデータ量を示す指標となる。その算出であるが、例えば
当該コードブロックの非ゼロサブビットプレーン数:NZSBP
当該コードブロックに関して符号化されたサブビットプレーン数:CSBP
当該コードブロックに含まれる係数の数:N
として、
［破棄されたサブビットプレーン数の総和］＝ΣΣΣ｛（NZSBP−CSBP）×N｝
により算出される。
すなわち、[｛（非ゼロサブビットプレーン数−符号化されたサブビットプレーン数）×当該コードブロックに含まれる係数の数｝の全サブバンドに関する総和]の全コンポ−ネントに関する総和である。
【０１３２】
次に、「破棄されたビットプレーン数の総和」であるが、この値は、同じく削除されたビットの総数を示すため，同様に直接，原データ中から削減されたデータ量を示す指標となる。この算出であるが、例えば
当該コードブロックの非ゼロビットプレーン数:NZBP
当該コードブロックに関して符号化されたビットプレーン数:CBP
当該コードブロックに含まれる係数の数:N
として、
［破棄されたビットプレーン数の総和］＝ΣΣΣ｛（NZBP−CBP）×N｝
により算出される。
すなわち、[｛（非ゼロビットプレーン数−符号化されたビットプレーン数）×当該コードブロックに含まれる係数の数｝の全サブバンドに関する総和]の全コンポ−ネントに関する総和である。
【０１３３】
前述のように、サブビットプレーン数はビットプレーン数の概ね３倍であるから、ここでは簡易に、CBP＝（CSBP/３）を整数に切り上げた値、としている。
【０１３４】
また、線形量子化が使用されている場合、上記［破棄されたサブビットプレーン数」にさらに線形量子化を加味し、以下のような「量子化ステップ数を考慮した、破棄されたサブビットプレーン数の総和」が算出される。この算出であるが、例えば、
当該コードブロックの非ゼロサブビットプレーン数:NZSBP
当該コードブロックに関して符号化されたサブビットプレーン数:CSBP
当該コードブロックが含まれるサブバンドの量子化ステップ数:Ｑ
当該コードブロックに関し、線形量子化も含めて破棄されたサブビットプレーン数:TSBP
当該コードブロックに含まれる係数の数:N
として、
［量子化ステップ数を考慮した、破棄されたサブビットプレーン数の総和］
＝ΣΣΣ｛TSBP×Ｎ｝
(ただし、TSBP＝NZSBP−CSBP−QSBP、QSBP＝３log２（Q））
により算出される。
量子化ステップ数Qによる係数の量子化は、log２（Q）枚のビットプレーンの破棄、すなわち３log２（Q）枚サブビットプレーンの破棄に相当するからである。５×３逆変換の場合も、Q=１とすればこの例をそのまま適用可能である。
【０１３５】
このような線形量子化も考慮した、「量子化ステップ数を考慮した、破棄されたサブビットプレーン数の総和」は、やはり直接、原データ中から削減されたデータ量を示す指標となる。
【０１３６】
同様に、破棄されたビットプレーン数に、さらに線形量子化を加味した、「量子化ステップ数を考慮した、破棄されたビットプレーン数の総和」も算出する。
その算出であるが、例えば
当該コードブロックの非ゼロビットプレーン数:NZBP
当該コードブロックに関して符号化されたビットプレーン数:CBP
当該コードブロックが含まれるサブバンドの量子化ステップ数:Ｑ
当該コードブロックに関して、線形量子化も含めて破棄されたビットプレーン数:TBP
当該コードブロックに含まれる係数の数:N
として、
［量子化ステップ数を考慮した、破棄されたビットプレーン数の総和］
＝ΣΣΣ｛TBP×N｝
（ただし、TBP＝NZBP−CBP−QBP、QBP＝log２（Q））
により算出される。量子化ステップ数Qによる係数の量子化は、log2（Q）枚のビットプレーンの破棄にあたるからである。５×３逆変換の場合も、Q=１とすればこの例をそのまま適用可能である。
【０１３７】
こうした、線形量子化も考慮した「破棄されたビットプレーン数の総和」は、やはり直接、原データ中から削減されたデータ量を示す指標となる。
【０１３８】
また、先に述べたように、ウェーブレット逆変換では、係数がRGB値に戻る際には√Gsb倍される。これは、RGBに戻る際に、破棄されたサブビットプレーンの枚数が3log２（√Gsb）枚増えることを意味する(これは、ビットプレーン換算ではlog２（√Gsb）枚増えることにあたる)。このGsbを考慮しない「破棄されたサブビットプレーン数又はビットプレーン数の総和」でも、例えば共通のデコンポジションレベルの符号同士で比較する場合等は、削減されたデータ量の指標として使用可能である。しかし，Gsbの値はサブバンドによって異なるため、Gsbを考慮した「破棄されたサブビットプレーン数又はビットプレーン数の総和」の方が、より一般的なデータ削減量の指標となるので、その算出について次に述べる。
【０１３９】
まず、「サブバンドゲインを考慮した、破棄されたサブビットプレーン数の総和」の算出であるが、例えば、
当該コードブロックの非ゼロサブビットプレーン数:NZSBP
当該コードブロックに関して符号化されたサブビットプレーン数:CSBP
当該コードブロックが含まれるサブバンドの量子化ステップ数:Ｑ
当該コードブロックが含まれるサブバンドのサブバンドゲイン:Gsb
当該コードブロックに関して，線形量子化も含めて破棄されたサブビットプレーン数:TSBP
当該コードブロックに含まれる係数の数:N
として、
［サブバンドゲインを考慮した、破棄されたサブビットプレーン数の総和］
＝ΣΣΣ｛TSBP×Ｎ｝
（ただし、TSBP＝NZSBP−CSBP―QSBP―GSBP、
GSBP＝３log２（√Gsb）、QSBP＝３log２（Q））
により算出される。５×３逆変換の場合も、Q=１とすればこの例がそのまま適用可能である。
【０１４０】
また同様に、「サブバンドゲインを考慮した、破棄されたビットプレーン数の総和」が算出される。その算出であるが、例えば、
当該コードブロックの非ゼロビットプレーン数:NZBP
当該コードブロックに関して符号化されたビットプレーン数:CBP
当該コードブロックが含まれるサブバンドの量子化ステップ数:Ｑ
当該コードブロックに関して、線形量子化も含めて破棄されたビットプレーン数:TBP
当該コードブロックに含まれる係数の数:N
として、
［サブバンドゲインを考慮した、破棄されたビットプレーン数の総和］
＝ΣΣΣ｛TBP×Ｎ｝
（ただし、TBP＝NZBP−CBP−QBP−GBP、
QBP＝log２（Q）、GBP＝log２（√Gsb））
により算出される。５×３逆変換の場合も、Q=１とすればこの例がそのまま適用可能である。
【０１４１】
さて、よく知られているように、人間の視覚特性は、低周波数領域に敏感であるが高周波数領域に鈍感であるので、低周波サブバンドの量子化誤差には敏感で、高周波サブバンドの量子化誤差には鈍感であることとなりる。したがって、視覚的には、低周波サブバンドほど量子化ステップ数を小さくし、高周波サブバンドほど量子化ステップ数を大きくするのが望ましいことになる。これを言い換えれば、低周波サブバンドほど破棄（トランケート）されるビットプレーン数を少なくし、高周波サブバンドほど破棄されるビットプレーン数を多くするのが望ましいことになる。
【０１４２】
JPEG2000の標準書に、上記視覚特性を加味した、周波数毎のサブバンドのデータの視覚的重要性を示す「Visual Weight」という量が示されている。この「Visual Weight」は、画像への観察距離(Viewing distance)によって何種類か用意されているが、９×７変換の場合の一例を図２４に示す。「Visual Weight」の値が大きいサブバンドほど、視覚的に重要であることを示す。
【０１４３】
JPEG2000の標準書には、「Visual Weight」の使用法として、サブバンドごとの標準的な量子化ステップ数を「Visual Weight」で除算することにより、視覚的に適切な量子化ステップ数を得る方法が記載されている。これは、破棄されたサブビットプレーンから見れば、破棄（トランケート）量にサブバンド毎の重み付けを行うことによって、さらに一般的な、視覚特性を反映したデータ削減量の指標が得られることを意味している。量子化ステップ数を重みｗで除算するということは、係数にｗを乗算することになるので、破棄するサブビットプレーン数を３log２（ｗ）枚だけ減らしたことになる。
【０１４４】
よって、「周波数毎の視覚特性を考慮した、破棄されたサブビットプレーン数の総和」として、［サブバンドゲイン及び「Visual Weight」を考慮した、破棄されたサブビットプレーン数の総和］を用いることができる。その算出であるが、例えば、
当該コードブロックの非ゼロサブビットプレーン数:NZSBP
当該コードブロックに関して符号化されたサブビットプレーン数:CSBP
当該コードブロックが含まれるサブバンドの量子化ステップ数:Ｑ
当該コードブロックが含まれるサブバンドのサブバンドゲイン:Gsb
当該コードブロックが含まれるサブバンドのVisual Weight:W
当該コードブロックに関して、線形量子化等も含めて破棄されたサブビットプレーン数:TSBP
当該コードブロックに含まれる係数の数:N
として、
［サブバンドゲインと「Visual Weight」を考慮した、
破棄されたサブビットプレーン数の総和］＝ΣΣΣ｛TSBP×Ｎ｝
（ただし、QSBP＝３log２（Q）、GSBP＝３log２（√Gsb）、
WSBP＝３log２（W）、TSBP＝NZSBP−CSBP−QSBP−GSBP＋WSBP）
により算出される。５×３逆変換の場合も、Q=１とすれば本例がそのまま適用可能である。
【０１４５】
また同様に、「周波数毎の視覚特性を考慮した、破棄されたビットプレーン数の総和」として、［サブバンドゲイン及び「Visual Weight」を考慮した、破棄されたビットプレーン数の総和］を用いることができる。その算出であるが、
えば、
当該コードブロックの非ゼロサブビットプレーン数:NZBP
当該コードブロックに関して符号化されたサブビットプレーン数:CBP
当該コードブロックが含まれるサブバンドの量子化ステップ数:Ｑ
当該コードブロックが含まれるサブバンドのVisual Weight:W
当該コードブロックに関して、線形量子化等も含めて破棄されたビットプレーン数:TBP
当該コードブロックに含まれる係数の数:N
として、
［サブバンドゲインと「Visual Weight」を考慮した、
破棄されたビットプレーン数の総和］＝ΣΣΣ｛ＴＢＰ×Ｎ｝
（ただし，QBP＝log２（Q），GBP＝log２（√Gsb），WBP＝log２（W），
TBP＝NZBP−CBP−QBP−GBP＋WBP）
により算出される。５×３逆変換の場合も、Q=１とすれば本例がそのまま適用可能である。
【０１４６】
さて，以上では、破棄（トランケート）されたビットプレーン数又はサブビットプレーン数を指標としてきたが、これは量子化誤差を指標としてきたと言い換えることもできる。
ビットプレーンｎ枚の破棄は、量子化ステップ数＝（２のｎ乗）による線形量子化と等価であり、この場合の平均的な量子化誤差は、量子化ステップ数の半分の、２のn-1乗になるからである。同様に、サブビットプレーンｎ枚の破棄は量子化ステップ数＝（２のｎ/3乗）による線形量子化と等価であり、この場合の平均的な量子化誤差は、量子化ステップ数の半分の、２の（n/3-1）乗になるからである。そしてこれに「Visual Weight」を組み合わせることにより、視覚特性を反映した、さらに一般的なデータ削減量の指標が得られることになる。
【０１４７】
よって，破棄されたサブビットプレーン数に、サブバンドゲインとVisual Weightを加味することにより、視覚的な誤差の総和」を算出することができる。その算出であるが、例えば、
当該コードブロックの非ゼロサブビットプレーン数:NZSBP
当該コードブロックに関して符号化されたサブビットプレーン数:CSBP
当該コードブロックが含まれるサブバンドの量子化ステップ数:Ｑ
当該コードブロックが含まれるサブバンドのサブバンドゲイン:Gsb
当該コードブロックが含まれるサブバンドのVisual Weight:W
当該コードブロックに関して、線形量子化を含めない、破棄されたサブビットプレーン数:TSBP
当該コードブロックに含まれる係数の数:N
として、
［視覚的な誤差の総和］＝ΣΣΣ｛（２＾(TSBP/3−１)）×√Gsb／（Q/W）×N｝
（ただし、TSBP＝NZSBP―CSBP、^はべき乗を示す）
により算出される。５×３逆変換の場合も、Q=１とすれば本例がそのまま適用可能である。
【０１４８】
また、誤差の総和を二乗和として求めることも可能であり、その場合は、
［視覚的な誤差の総和］＝ΣΣΣ｛（２＾(２TSBP/3−２)）×Gsb／（Q/W）^2×N｝
（ただし、TSBP＝NZSBP−CSBP、^はべき乗を示す）
により算出される。
【０１４９】
同様に、破棄されたビットプレーン数に、サブバンドゲインとVisual Weightを加味した、視覚的な誤差の総和」を算出することができる。その算出であるが、例えば、
当該コードブロックの非ゼロビットプレーン数:NZBP
当該コードブロックに関して符号化されたビットプレーン数:CBP
当該コードブロックが含まれるサブバンドの量子化ステップ数:Ｑ
当該コードブロックが含まれるサブバンドのサブバンドゲイン:Gsb
当該コードブロックが含まれるサブバンドのVisual Weight:W
当該コードブロックに関して、線形量子化を含めない、破棄されたビットプレーン数：TBP
当該コードブロックに含まれる係数の数:N
として、
［視覚的な誤差の総和］＝ΣΣΣ｛（２＾(TBP−１)）×√Gsb／（Q/W）×N｝
（ただし、TBP＝NZBP−CBP、^はべき乗を示す）
により算出される。５×３逆変換の場合も、Q=１とすれば本例がそのまま適用可能である。
【０１５０】
この誤差の総和を二乗和として求めることも可能であり、その場合は、
［視覚的な誤差の総和］＝ΣΣΣ｛（２＾(２TBP−２)）×Gsb／（Q/W）^2×N｝
（ただし、TBP＝NZBP−CBP、^はべき乗を示す）
により算出される。
【０１５１】
なお、コンポ−ネント変換が導入される場合には、誤差の総和の算出に、上記サブバンドゲインGsbの他に逆コンポ−ネント変換のゲインGctをコンポ−ネント毎に考慮する事も可能である。この場合、Gsbの代わりにGsb×Gctを用いればよいので、その算出例の説明は省略する。また、５ｘ３変換用のVisual Weightであるが、Ｙ成分については図２４に示した９ｘ７変換用の値を用いることができ、Cb，Cr成分については図２４に示した９×７変換用の値を1/2にした値を用いることができる。
【０１５２】
また、現符号量及びロスレス符号量に対し、サブバンドごとのVisual Weightを反映させ、［視覚特性を反映した（視覚的な重み付けをした）現符号量及びロスレス符号量］を算出することができる。その算出は、
当該サブバンドのロスレス符号量:LSLEN
当該サブバンドの現在の符号量:CURLEN
当該サブバンドのVisual Weight:W
として、
［視覚特性を反映したロスレス符号量］＝ΣΣ（LSLEN×W）
[視覚特性を反映した現在の符号量］＝ΣΣ（CURLEN×W）
により行うことができる。上記２式中のΣΣはコンポ−ネント、サブバンドそれぞれについて総和をとることを意味する。
【０１５３】
図１に示す電子カメラ装置の説明に戻る。
【０１５４】
前記の基準のどれをいくつ適用するかは、撮影者によって指定することができる。この指定は、例えば、表示装置１１２に表示したメニューから、適用したい単独の基準、又は、２つ以上の基準の組み合わせを選択させることによって行われる。２つ以上の基準の組み合わせが指定された場合には、それぞれの基準は予め定められた順序で適用される。また、撮影者が指定しない場合には、予め定められた１つ又は２つ以上の基準が適用される。前記基準12又は14が指定されない場合には、動画内の各フレームの序列は均等である。
【０１５５】
再び、図４を参照する。データ量削減処理については自動実行モードを設定することができる。自動実行モードが設定されていないときには（ステップＳ１０８，Ｎｏ）、システムコントローラ１２２は一連の動作を終了させる。
【０１５６】
データ量削減処理の自動実行モードが設定されているときには（ステップＳ１０８，Ｙｅｓ）、システムコントローラ１２２はデータ量削減処理の制御に移行する（ステップＳ１１０）。
【０１５７】
ステップＳ１１０の自動削減処理の手順の一例を、図５のフローチャートを参照して説明する。システムコントローラ１２２は、ファイル管理情報を参照し、記録媒体１７０に所定以上の空き容量があるかチェックする（ステップＳ１２０）。空き容量が十分ならば（ステップＳ１２０，Ｙｅｓ）、処理を終了する。
【０１５８】
空き容量が不足している場合には（ステップＳ１２０，Ｎｏ）、システムコントローラ１２２はデータ量削減管理部１６２にデータ量削減のための手順を開始させる。まず、データ量削減管理部１６２は、削減序列リスト上の最上位の画像ファイルを選択し、そのファイル管理情報を参照し（ステップＳ１２２）、当該画像ファイルに対し「サイズ変更容認指定」又は「モノクロ化容認指定」があるか調べる（ステップＳ１２４）。
【０１５９】
いずれの指定もない場合には、データ量削減管理部１６２はステップＳ１２６の処理に進む。このステップにおいては、ファイル管理部１６６によって当該画像ファイルの読み出しを行わせ、その符号データを画像圧縮／伸長部１５０の符号生成部１６０に転送し、符号生成部１６０において当該データに対し例えばパケットの符号のなかから最高解像度レベルの一定数の下位サブビットプレーンの符号を破棄させる処理を行わせる。そして、ファイル管理部１６６によって、処理後の符号データからなる画像ファイルで記録媒体１７０上の元の画像ファイルを書き換えさせる。この書き換えに関連して、現符号量やデータ量削減処理の実施回数などのファイル管理情報も更新される。なお、その画像ファイルの符号データが複数レイヤ構成の場合には、下位レイヤを廃棄することも可能であり、そのような態様も本発明に包含される。
【０１６０】
選択された画像ファイルに「サイズ変更許容指定」がある場合には、データ量削減管理部１６２はステップＳ１２８の処理に進む。このステップにおいては、ファイル管理部１６６によって当該画像ファイルの読み出しを行わせ、その符号データを画像圧縮／伸長部１５０の符号生成部１６０に転送し、符号生成部１６０において当該データの最高解像度レベルの符号を破棄させる処理を行わせる。そして、ファイル管理部１６６によって、処理後の符号データからなる画像ファイルで記録媒体１７０上の元の画像ファイルを書き換えさせる。ファイル管理情報も更新される。
【０１６１】
選択された画像ファイルに「モノクロ化許容指定」がある場合には、データ量削減管理部１６２はステップＳ１３０の処理に進む。このステップにおいては、ファイル管理部１６６によって当該画像ファイルの読み出しを行わせ、その符号データを画像圧縮／伸長部１５０の符号生成部１６０に転送し、符号生成部１６０において当該データの色差Ｃｒ，Ｃｂの符号を破棄させる処理を行わせる。そして、ファイル管理部１６６によって、処理後の符号データからなる画像ファイルで記録媒体１７０上の元の画像ファイルを書き換えさせる。ファイル管理情報も更新される。
【０１６２】
次に、データ量削減管理部１６６は、更新後のファイル管理情報を参照して序列を決定するための必要な処理を行い、削減序列リストを更新する（ステップＳ１３２）。なお、「モノクロ化容認指定」又は「サイズ変更容認指定」のある画像ファイルは、データ量削減処理を１回適用した後はデータ量削減処理の対象から除外する。いずれの指定もない画像ファイルは、データ量削減処理の適用回数が規定回数に達したならば（例えば、最高解像度レベルの上位数ビットのサブビットプレーンの符号のみになったときに）、データ量削減処理の対象から除外する。
【０１６３】
なお、「サイズ変更容認指定」のある画像ファイルについて、データ量削減処理を複数回適用させることも可能であり、そのような態様も本発明に包含される。また、「モノクロ化容認指定」のある画像ファイルについて、モノクロ化した後に「無指定」の場合と同様のデータ量削減処理を適用させることも可能であり、そのような態様も本発明に包含される。また、「サイズ変更容認指定」のある画像ファイルについて、タイル分割が行われているならば、いくつかのタイルの符号を破棄してデータ量削減を行うことも可能であり、そのような態様も本発明に包含される。
【０１６４】
削減序列リストの更新後、システムコントローラ１２２は記録媒体１７０の空き容量を再度チェックし（ステップＳ１２０）、空き容量が不足しているならば（ステップＳ１２０，Ｎｏ）、ステップＳ１２２以降の処理を実行させる。
【０１６５】
なお、任意時点で操作部１２４より自動削減処理の実行を指示することができる。この指示が入力されると、システムコントローラ１２２は図５に示すデータ量削減処理の手順を開始する。
【０１６６】
記録済み画像データに対しデータ量削減処理を実施した場合の一番の問題点は、撮影者（ユーザ）が画質の低下を容認できるか否かである。本発明においては、前記の基準１乃至１４のように、画質的観点から画像データのデータ量削減余力を判断し、データ量削減余力の大きい画像データを優先的に選択してデータ量削減処理を実施するため、データ量削減による画質の低下に関して撮影者の不満は生じにくい。また、前記の基準１５及び１６は撮影者の意向を考慮した判断基準であり、さらに、複数の基準の中から適用する基準を選択することができるため、データ量削減処理が実施される画像データの選択に撮影者の嗜好もしくは意思を反映させることもできるため、例えばファイルサイズの大きい画像データを単純に選んでデータ量削減処理を実施する構成に比べ、撮影者の高い満足度を得ることができる。さらに、データ量削減処理を実施すべき画像データを撮影者が直接選択する必要がなく、電子カメラ装置の使い勝手も向上する。
【０１６７】
《動画撮影時の動作》
【０１６８】
動画撮影時の動作の一例について、図６のフローチャートを参照して説明する。操作部１２４に含まれる不図示の動画撮影指示ボタンが押下されると、動画撮影指示がシステムコントローラ１２２より画像プロセッサ１１０に与えられ、画像プロセッサ１１０は動画撮影の条件でイメージセンサ１０４を駆動する。撮影された動画の各フレームの画像データは、図４のステップＳ１００〜Ｓ１０４と同様の手順で圧縮されて記録媒体１７０に記録され、ファイル管理情報が更新され、また、図４のステップＳ１０６と同様に削減序列リストの更新が行われる（ステップＳ２０２）。ただし、動画の画像データはモーションＪＰＥＧ２０００のファィル形式の画像ファイルとして記録される。
【０１６９】
各フレーム毎に、システムコントローラ１２２はファイル管理情報を参照し、記録媒体１７０の空き容量をチェックし、空き容量の不足が予想されるときには（ステップＳ２０４，Ｙｅｓ）、現在設定されていめ圧縮率より１段階高い圧縮率を画像圧縮／伸長部１５０に指定し（ステップＳ２０６）、また、データ量削減管理部１６２にデータ量削減処理を実行させる（ステップＳ２０８）。このステップＳ２０８の処理は図５に示した処理と同様であるが、ステップＳ１２０のような空き容量チェックは行わず、常に削減序列リストの上位にある所定数の画像ファイルに対するデータ量削減処理を実行する。
【０１７０】
このように、記録媒体１７０の空き容量の不足が心配される場合に、圧縮率を上げて新たに記録されるフレーム画像のデータ量を減らすとともに、記録済み画像ファイルに対するデータ量削減を行うことにより、動画撮影の途中で空き容量不足のために記録が不可能になる事態を回避することができる。なお、圧縮率を変更せず、記録済み画像ファイルのデータ量削減のみを行わせることも可能であり、そのような態様も本発明に包含される。
【０１７１】
《撮影者が介入するデータ量削減処理》
【０１７２】
任意の時点で、操作部１２４より指示することにより、撮影者が介入するデータ量削減処理のモードを選択することができる。その動作の一例を図７のフローチャートを参照し説明する。
【０１７３】
このモードが選択されると、システムコントローラ１２２はファイル管理情報を参照し、記録媒体１７０の空き容量から予想される撮影可能枚数を算出し、これを「データ量削減方法」の指定のための案内情報とともに画像プロセッサ１１０に送り、表示装置１１２に表示させ、撮影者に「サイズ変更許容指定」「モノクロ化許容指定」「指定なし」「終了」のいずれかを選択させる（ステップＳ３００）。撮影者は、予め「サイズ変更許容指定」又は「サイズ変更許容指定」を行った画像ファイルに対してデータ量削減を行いたいときには、その指定を選択し、そのような指定のない画像ファイルに対してデータ量削減を行いたいときには「指定なし」を選択し、処理を終了したいとには「終了」を選択することができる。
【０１７４】
撮影者により「終了」以外が選択されると、システムコントローラ１２２は、削減序列リストを参照し、上位にある画像ファイルより、そのファイル管理情報の「指定」情報を調べ、撮影者の選択した「指定」情報を持つ画像ファイルを見つけ、それをファイル管理部１６６に読み出させ、その符号データを画像圧縮／伸長部１５０に送り、最低解像度レベルの画像データを復元させる。そして、この画像データを画像プロセッサ１１０により表示装置１１２に縮小表示させ、撮影者にデータ量削減を実行するか否かの確認を求める（ステップＳ３０６）。すなわち、撮影者が選択した「指定」情報を持つ画像ファイルの縮小画像が表示され、そのデータ量削減を行うか否かを撮影者が判断することができる。
【０１７５】
撮影者が操作部１２４でデータ量削減の実行を指示した場合には（ステップＳ３０８，Ｙｅｓ）、システムコントローラ１２２は、当該画像ファイルに対するデータ量削減処理をデータ量削減管理部１６２に実行させる（ステップＳ３１０）。このステップの処理内容は図５のステップＳ１２４〜Ｓ１３０の処理と同様である。ただし、この段階では削減序列リストの更新処理（図５、ステップＳ１３２に相当）は行わない。
【０１７６】
この処理が終わると、システムコントローラ１２２はステップＳ３００の処理に戻る。次回のステップＳ３０６の処理においては、前回縮小表示された画像ファイルより削減序列が遅い画像ファイルが選ばれて縮小表示される。
【０１７７】
撮影者は、撮影可能枚数から空き容量が十分だと判断した場合には、ステップＳ３００で終了を指示することができる。終了指示が入力されると（ステップＳ３０４，Ｙｅｓ）、システムコントローラ１２２は、データ量削減管理部１６２に削減序列リストの更新処理を行わせる（ステップＳ３１２）。この更新処理は図５のステップＳ１３２と同様である。
【０１７８】
《各種指定動作》
【０１７９】
前述のように、撮影直後又は任意時点で記録済みの画像ファイルに対し「お気に入り指定」「サイズ変更容認指定」「モノクロ化容認指定」を行うことができるが、その指定のための動作の一例を図８のフローチャートを参照し説明する。
【０１８０】
撮影者が操作部１２４より、この動作モードを選択すると、システムコントローラ１２２は、ファイル管理情報を参照し、記録日付の新しい（又は記録日付の古い）ほうから、「指定」のない画像ファイルを１つ選択し、それをファイル管理部１６６に読み出させ、その符号データの伸長処理を画像圧縮／伸長部１５０に実行させて最低解像度レベルの画像データを復元させる。この画像データを画像プロセッサ１１０により表示装置１１２に縮小表示させ、撮影者に指定入力を促す（ステップＳ４００）。動画については、例えば最初のフレームの画像ファイルを選び、その画像を縮小表示させる。
【０１８１】
撮影者は、「お気に入り指定」「サイズ変更容認指定」「モノクロ化容認指定」「指定無し」又は「終了」を操作部１２４で選択することができる。
【０１８２】
システムコントローラ１２２は、「お気に入り指定」「サイズ変更容認指定」又は「モノクロ化容認指定」が選択された場合には（ステップＳ４０２，Ｙｅｓ）、当該画像ファイルのファイル管理情報に指定内容を示す情報を設定する（ステップＳ４０４）。当該画像ファイルが動画の場合には、全フレームに対し同じ指定内容を示す情報を設定する。
【０１８３】
システムコントローラ１２２は、ステップＳ４００に戻り、前回選択した画像ファイルの次に記録日時が新しい（又は古い）「指定」のない画像ファイルを１つ選択してその画像を縮小表示させ、撮影者の指定入力を待ち、それに応じた処理を行う。撮影者から「終了」が入力されるまで、同様の処理が繰り返される。撮影者から「終了」が入力されると（ステップＳ４０６，Ｙｅｓ）、システムコントローラ１２２はデータ量削減管理部１６２に削減序列リストの更新処理を実行させ（ステップＳ４０８）、一連の動作を終了する。
【０１８４】
前述の実施の形態においては、記録済み画像ファイルに対するデータ量削減処理のための手段として、画像圧縮／伸長部１５０の符号生成部１６０を利用したが、その手段を独立させてもよい。
【０１８５】
また、前述の実施の形態においては、画像圧縮アルゴリズムとしてＪＰＥＧ２０００準拠の画像圧縮アルゴリズムを採用しているため、圧縮された符号データの一部廃棄によって記録済み画像ファイルのデータ量削減を行った。この方法は、符号データを伸長してから再圧縮する方法に比べて画質の劣化が少ない利点がある。しかし、再圧縮によりデータ量削減を行う方法を採用することも可能であり、そのような態様も本発明に包含される。
【０１８６】
また、システムコントローラ１２２、画像圧縮／伸長部１５０、ファイル管理部１６６、データ量削減管理部１６２の全部又は一部を単一又は複数のプロセッサ（ＣＰＵ，ＭＰＵ）上でソフトウェアにより実現してもよい。換言すれば、図４乃至図８の各フローチャートに従って説明した処理手順をソフトウェアにより実行してもよい。パソコンなどの汎用のプロセッサ上で同様の処理手順をソフトウェアにより実施してもよい。また、そのためのプログラムと、同プログラムを記録した各種記録媒体も本発明に包含される。
【０１８７】
【発明の効果】
以上の説明から明らかなように、本発明によれば、電子カメラ装置、その他の画像記録装置において、ユーザの高い満足度を得られるように、記録済み画像データを適切に選択してデータ量削減処理を実施し、記録媒体の空き容量を確保することができる。また、画像データの選択を含めてデータ量削減の動作を自動化することができるため、電子カメラ装置などの画像記録装置の使い勝手も向上する。さらに、記録媒体の空き容量に余裕がない場合でも、空き容量不足による動画撮影の中断を回避できる等々の効果を得られる。
【図面の簡単な説明】
【図１】 本発明の実施の形態を説明するためのブロック図である。
【図２】 ２次元ウェーブレット変換の説明のための図である。
【図３】 画像圧縮／伸長部より生成される符号データの構造を説明するための図である。
【図４】 静止画撮影時の動作を説明するためのフローチャートである。
【図５】 記録済み画像データに対するデータ量削減処理を自動的に実行する動作を説明するためのフローチャートである。
【図６】 動画撮影時の動作を説明するためのフローチャートである。
【図７】 撮影者が介入して記録済み画像データに対するデータ量削減処理を実行する動作を説明するためのフローチャートである。
【図８】 記録済み画像データに対し各種の指定を行う動作を説明するためのフローチャートである。
【図９】 メインヘッダの構成を示す図である。
【図１０】 ＱＣＤマーカセグメントの構成を示す図である。
【図１１】 ＱＣＤマーカセグメントの内容を示す。
【図１２】 ＱＣＤマーカセグメント中のSqcd、SPqcdパラメータの内容を示す。
【図１３】 可逆量子化のステップサイズを示す。
【図１４】 非可逆量子化のステップサイズを示す。
【図１５】 タイルデータの内部構成とパケットの内部構成を示す図である。
【図１６】 ＪＰＥＧ２０００の符号化処理の概略フローを示す図である。
【図１７】 タイル、サブバンド、プリシンクト、コードブロックの関係を表す模式図である。
【図１８】 マルチレイヤ構成の一例を示す図である。
【図１９】 図１８に示したレイヤに含まれるパケットのいくつかを示す図である。
【図２０】 ９×７逆ウェーブレット変換の場合のサブバンドゲインの平方根を示す。
【図２１】 ５×３逆ウェーブレット変換の場合のサブバンドゲインの平方根を示す。
【図２２】 非可逆の逆コンポーネント変換のゲインの平方根を示す。
【図２３】 可逆の逆コンポーネント変換のゲインの平方根を示す。
【図２４】 ＪＰＥＧ２０００の標準書に示されたVisual Weightの例を示す。
【符号の説明】
１００ 撮像手段（画像入力手段）
１０２ 撮像光学系
１０４ イメージセンサ
１０６ アナログ信号処理部
１０８ アナログ・デジタル変換部
１１０ 画像プロセッサ
１１２ 表示装置
１１４ メモリ
１２２ システムコントローラ
１２４ 操作部
１５０ 画像圧縮／伸長部
１５２ ＤＣレベル・色空間変換部
１５４ ２次元ウェーブレット変換部
１５６ 量子化部
１５８ エントロピー符号化部
１６０ 符号生成部
１６２ データ量削減管理部
１６４ 管理情報記憶部
１６６ ファイル管理部
１６８ インターフェース部
１７０ 記録媒体
Claims (20)
- ビットプレーン符号化された画像データを記録媒体に記録する手段と、
前記記録媒体に記録済みの画像データのデータ量削減余力を判断するための特定の情報を取得する手段と、
前記取得する手段により取得された情報に基づき特定の判断基準によりデータ量削減余力が大きいと判断される画像データを優先的に選択する手段と、
前記選択する手段で選択された画像データに対しデータ量削減処理を実施する手段とを有し、
前記取得する手段は、記録済みの画像データのサブバンドごとの視覚的な重み付けをした現符号量およびロスレス符号量を取得し、
前記選択する手段は、前記サブバンドごとの視覚的な重み付けをした現符号量およびロスレス符号量の比（現符号量／ロスレス符号量）の大きい画像データが、データ量削減余力が大きいと判断することを特徴とする画像記録装置。 - ビットプレーン符号化された画像データを記録媒体に記録する手段と、
前記記録媒体に記録済みの画像データのデータ量削減余力を判断するための特定の情報を取得する手段と、
前記取得する手段により取得された情報に基づき特定の判断基準によりデータ量削減余力が大きいと判断される画像データを優先的に選択する手段と、
前記選択する手段で選択された画像データに対しデータ量削減処理を実施する手段とを有し、
前記取得する手段は、記録済みの画像データの現符号量及び非ゼロビットプレーンの総数を取得し、
前記選択する手段は、前記現符号量と非ゼロビットプレーンの総数の比（現符号量／非ゼロビットプレーンの総数）の大きい画像データをデータ量削減余力が大きいと判断することを特徴とする画像記録装置。 - ビットプレーン符号化された画像データを記録媒体に記録する手段と、
前記記録媒体に記録済みの画像データのデータ量削減余力を判断するための特定の情報を取得する手段と、
前記取得する手段により取得された情報に基づき特定の判断基準によりデータ量削減余力が大きいと判断される画像データを優先的に選択する手段と、
前記選択する手段で選択された画像データに対しデータ量削減処理を実施する手段とを有し、
前記取得する手段は、記録済みの画像データの破棄されたビットプレーン数又はサブビットプレーン数の総和を取得し、
前記選択する手段は、前記破棄されたビットプレーン数又はサブビットプレーン数の総和の小さい画像データをデータ量削減余力が大きいと判断することを特徴とする画像記録装置。 - 請求項３記載の画像記録装置において、前記破棄されたビットプレーン数又はサブビットプレーン数の総和は、量子化ステップ数を考慮して算出されることを特徴とする画像記録装置。
- 請求項３記載の画像記録装置において、前記破棄されたビットプレーン数又はサブビットプレーン数の総和は、サブバンドゲインを考慮して算出されることを特徴とする画像記録装置。
- 請求項３記載の画像記録装置において、前記破棄されたビットプレーン数又はサブビットプレーン数の総和は、逆コンポ−ネント変換のゲインを考慮して算出されることを特徴とする画像記録装置。
- 請求項３記載の画像記録装置において、前記破棄されたビットプレーン数又はサブビットプレーン数の総和は、周波数ごとの視覚特性を考慮して算出されること を特徴とする画像記録装置。
- 画像データを記録媒体に記録する手段と、
前記記録媒体に記録済みの画像データのデータ量削減余力を判断するための特定の情報を取得する手段と、
前記取得する手段により取得された情報に基づき特定の判断基準によりデータ量削減余力が大きいと判断される画像データを優先的に選択する手段と、
前記選択する手段で選択された画像データに対しデータ量削減処理を実施する手段とを有し、
前記取得する手段は、記録済みの画像データの量子化誤差の総和を取得し、
前記選択する手段は、前記量子化誤差の総和の小さい画像データをデータ量削減余力が大きいと判断することを特徴とする画像記録装
置。 - 請求項８記載の画像記録装置において、前記画像データはビットプレーン符号化されたものであり、
前記量子化誤差の総和は、破棄されたビットプレーン数又はサブビットプレーン数と、量子化ステップ数とを考慮して算出されることを特徴とする画像記録装置。 - 請求項８記載の画像記録装置において、前記量子化誤差の総和は、サブバンドゲインを考慮して算出されることを特徴とする画像記録装置。
- 請求項８記載の画像記録装置において、前記量子化誤差の総和は、逆コンポ−ネント変換のゲインを考慮して算出されることを特徴とする画像記録装置。
- 請求項８記載の画像記録装置において、前記量子化誤差の総和は、周波数ごとの視覚特性を考慮して算出されることを特徴とする画像記録装置。
- ビットプレーン符号化された画像データを記録媒体に記録する手段と、
前記記録媒体に記録済みの画像データのデータ量削減余力を判断するための特定の情報を取得する手段と、
前記取得する手段により取得された情報に基づき特定の判断基準によりデータ量削減余力が大きいと判断される画像データを優先的に選択する手段と、
前記選択する手段で選択された画像データに対しデータ量削減処理を実施する手段とを有し、
前記取得する手段は、記録済みの画像データの非ゼロビットプレーンの総数を取得し、
前記選択する手段は、前記非ゼロビットプレーンの総数の少ない画像データをデータ量削減余力が大きいと判断することを特徴とする画像記録装置。 - 請求項３又は８記載の画像記録装置において、動画の画像データの相互間では、前記総和の平均値又は最小値の小さい動画の画像データがデータ量削減余力が大きいと判断されることを特徴とする画像記録装置。
- 記録媒体に記録されたビットプレーン符号化された画像データの中からデータ量削減処理を実施すべき画像データを選択する画像データ選択方法であって、
画像データのデータ量削減余力を判断するための特定の情報を取得するステップと、
前記取得するステップにより取得された情報に基づき特定の判断基準によりデータ量削減余力が大きいと判断される画像データを優先的に選択するステップとを有し、
前記取得するステップは、画像データのサブバンドごとの視覚的な重み付けをした現符号量及びロスレス符号量を取得し、
前記選択するステップは、前記サブバンドごとの視覚的な重み付けをした現符号量及びロスレス符号量の比（現符号量／ロスレス符号量）の大きい画像データを、データ量削減余力が大きいと判断することを特徴とする画像データ選択方法。 - 記録媒体に記録されたビットプレーン符号化された画像データの中からデータ量削減処理を実施すべき画像データを選択する画像データ選択方法であって、
画像データのデータ量削減余力を判断するための特定の情報を取得するステップと、
前記取得するステップにより取得された情報に基づき特定の判断基準によりデータ量削 減余力が大きいと判断される画像データを優先的に選択するステップとを有し、
前記取得するステップは、画像データの現符号量及び非ゼロビットプレーンの総数を取得し、
前記選択するステップは、前記現符号量と非ゼロビットプレーンの総数の比（現符号量／非ゼロビットプレーンの総数）の大きい画像データを、データ量削減余力が大きいと判断することを特徴とする画像データ選択方法。 - 記録媒体に記録されたビットプレーン符号化された画像データの中からデータ量削減処理を実施すべき画像データを選択する画像データ選択方法であって、
画像データのデータ量削減余力を判断するための特定の情報を取得するステップと、
前記取得するステップにより取得された情報に基づき特定の判断基準によりデータ量削減余力が大きいと判断される画像データを優先的に選択するステップとを有し、
前記取得するステップは、画像データの非ゼロビットプレーンの総数を取得し、
前記選択するステップは、前記非ゼロビットプレーンの総数の少ない画像データを、データ量削減余力が大きいと判断することを特徴とする画像データ選択方法。 - 記録媒体に記録されたビットプレーン符号化された画像データの中からデータ量削減処理を実施すべき画像データを選択する画像データ選択方法であって、
画像データのデータ量削減余力を判断するための特定の情報を取得するステップと、
前記取得するステップにより取得された情報に基づき特定の判断基準によりデータ量削減余力が大きいと判断される画像データを優先的に選択するステップとを有し、
前記取得するステップは、画像データの破棄されたビットプレーン数又はサブビットプレーン数の総和を取得し、
前記選択するステップは、前記破棄されたビットプレーン数又はサブビットプレーン数の総和の小さい画像データを、データ量削減余力が大きいと判断することを特徴とする画像データ選択方法。 - 記録媒体に記録された画像データの中からデータ量削減処理を実施すべき画像データを選択する画像データ選択方法であって、
画像データのデータ量削減余力を判断するための特定の情報を取得するステップと、
前記取得するステップにより取得された情報に基づき特定の判断基準によりデータ量削減余力が大きいと判断される画像データを優先的に選択するステップとを有し、
前記取得するステップは、画像データの量子化誤差の総和を取得し、
前記選択するステップは、前記量子化誤差の総和の小さい画像データを、データ量削減余力が大きいと判断することを特徴とする画像データ選択方法。 - 記録媒体に記録された画像データの中からデータ量削減処理を実施すべき画像データを選択する画像データ選択方法であって、
画像データのデータ量削減余力を判断するための特定の情報を取得するステップと、
前記取得するステップにより取得された情報に基づき特定の判断基準によりデータ量削減余力が大きいと判断される画像データを優先的に選択するステップとを有し、
前記選択するステップにおけるデータ量削減余力の判断のための基準を複数の基準より選択可能であることを特徴とする画像データ選択方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003198587A JP3783956B2 (ja) | 2002-07-23 | 2003-07-17 | 画像記録装置及び画像データ選択方法 |
| EP20030016514 EP1387564A1 (en) | 2002-07-23 | 2003-07-22 | Image recording apparatus and image data selection method |
| US10/623,558 US7315651B2 (en) | 2002-07-23 | 2003-07-22 | Image recording apparatus and image data selection method |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002213560 | 2002-07-23 | ||
| JP2003198587A JP3783956B2 (ja) | 2002-07-23 | 2003-07-17 | 画像記録装置及び画像データ選択方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006035714A Division JP4289565B2 (ja) | 2002-07-23 | 2006-02-13 | 画像記録装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004112760A JP2004112760A (ja) | 2004-04-08 |
| JP3783956B2 true JP3783956B2 (ja) | 2006-06-07 |
Family
ID=30117484
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003198587A Expired - Fee Related JP3783956B2 (ja) | 2002-07-23 | 2003-07-17 | 画像記録装置及び画像データ選択方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7315651B2 (ja) |
| EP (1) | EP1387564A1 (ja) |
| JP (1) | JP3783956B2 (ja) |
Families Citing this family (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4105577B2 (ja) * | 2003-03-28 | 2008-06-25 | 株式会社リコー | 画像処理装置 |
| JP4443165B2 (ja) * | 2003-08-20 | 2010-03-31 | 株式会社リコー | 画像圧縮装置及び画像圧縮方法 |
| FR2872972A1 (fr) * | 2004-07-08 | 2006-01-13 | Canon Kk | Procede et dispositif de transmission video entre un serveur et un client |
| CN100440955C (zh) * | 2004-11-29 | 2008-12-03 | 奥林巴斯映像株式会社 | 图像显示装置和图像显示方法 |
| JP4603465B2 (ja) * | 2004-11-29 | 2010-12-22 | オリンパスイメージング株式会社 | 画像表示装置、表示方法及び画像表示装置の表示プログラム並びに該プログラムを記録した記録媒体 |
| JP4530274B2 (ja) | 2005-01-11 | 2010-08-25 | 株式会社リコー | 符号処理装置、符号処理方法、プログラム及び情報記録媒体 |
| JP4656497B2 (ja) * | 2005-03-07 | 2011-03-23 | 株式会社リコー | 画像処理装置、画像処理方法、プログラム及び情報記録媒体 |
| JP4618676B2 (ja) * | 2005-04-28 | 2011-01-26 | 株式会社リコー | 構造化文書符号の転送方法、画像処理システム、サーバ装置、プログラム及び情報記録媒体 |
| US7961943B1 (en) * | 2005-06-02 | 2011-06-14 | Zeevi Eli I | Integrated document editor |
| GB2429593A (en) | 2005-08-26 | 2007-02-28 | Electrosonic Ltd | Data compressing using a wavelet compression scheme |
| JP4789192B2 (ja) | 2006-04-12 | 2011-10-12 | 株式会社リコー | 符号処理装置、プログラム及び情報記録媒体 |
| US7747097B2 (en) * | 2006-06-16 | 2010-06-29 | Seiko Epson Corporation | Method for simple hardware implementation of JPEG size limiter |
| JP2008236075A (ja) * | 2007-03-16 | 2008-10-02 | Ricoh Co Ltd | 撮像装置およびその画像データ記録方法 |
| US8135223B2 (en) * | 2007-03-16 | 2012-03-13 | Ricoh Company, Ltd. | Image processing apparatus and method of image processing |
| US20090013241A1 (en) * | 2007-07-04 | 2009-01-08 | Tomomi Kaminaga | Content reproducing unit, content reproducing method and computer-readable medium |
| JP4907487B2 (ja) * | 2007-10-24 | 2012-03-28 | 株式会社リコー | 画像処理装置、画像処理方法及び該方法を実行させるためのプログラムを格納したコンピュータ読み取り可能な記録媒体 |
| WO2009053780A2 (en) * | 2007-10-26 | 2009-04-30 | Zoran (France) | Frame buffer compression for video processing devices |
| JP5521334B2 (ja) | 2009-01-29 | 2014-06-11 | 株式会社リコー | 撮像装置及び撮像方法 |
| WO2010091930A2 (en) | 2009-02-12 | 2010-08-19 | Zoran (France) | Frame buffer compression for video processing devices |
| JP5413080B2 (ja) * | 2009-09-15 | 2014-02-12 | 株式会社リコー | 画像処理装置及び画像処理方法 |
| JP5843450B2 (ja) * | 2011-02-25 | 2016-01-13 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
| KR101279576B1 (ko) | 2011-06-15 | 2013-06-27 | 삼성테크윈 주식회사 | 디지털 영상 처리 장치에서의 파노라마 영상 생성 방법 |
| JP2013106333A (ja) | 2011-11-17 | 2013-05-30 | Sony Corp | 画像処理装置および方法 |
| JP6187067B2 (ja) | 2013-09-13 | 2017-08-30 | 株式会社リコー | 座標検出システム、情報処理装置、プログラム、記憶媒体、座標検出方法 |
| US10063889B2 (en) | 2014-10-28 | 2018-08-28 | Sony Corporation | Image processing system with conditional coding and method of operation thereof |
| US10356410B2 (en) | 2014-10-28 | 2019-07-16 | Sony Corporation | Image processing system with joint encoding and method of operation thereof |
| US9357237B2 (en) | 2014-10-28 | 2016-05-31 | Sony Corporation | Image processing system with bitstream reduction and method of operation thereof |
| US9294782B1 (en) | 2014-10-28 | 2016-03-22 | Sony Corporation | Image processing system with artifact reduction mechanism and method of operation thereof |
| US9674554B2 (en) | 2014-10-28 | 2017-06-06 | Sony Corporation | Image processing system with coding mode and method of operation thereof |
| US9357232B2 (en) | 2014-10-28 | 2016-05-31 | Sony Corporation | Image processing system with binary decomposition and method of operation thereof |
| US9992252B2 (en) | 2015-09-29 | 2018-06-05 | Rgb Systems, Inc. | Method and apparatus for adaptively compressing streaming video |
| US10164854B2 (en) * | 2015-11-20 | 2018-12-25 | International Business Machines Corporation | Providing dynamic latency in an integration flow |
Family Cites Families (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5500923A (en) * | 1992-02-28 | 1996-03-19 | Canon Kabushiki Kaisha | Image processing apparatus utilizing the JBIG method, having a compression/expansion circuit to manage memory more effectively |
| JPH06250837A (ja) * | 1993-02-25 | 1994-09-09 | Ricoh Co Ltd | スケジューリング処理方式 |
| JPH089312A (ja) | 1994-06-20 | 1996-01-12 | Canon Inc | 画像記録装置 |
| JP3229144B2 (ja) | 1994-12-02 | 2001-11-12 | 富士写真フイルム株式会社 | ディジタル・スチル画像データ記録装置およびその記録方法 |
| US6263106B1 (en) | 1995-07-04 | 2001-07-17 | Asahi Kogaku Kogyo Kabushiki Kaisha | Image data compression device having compression inhibiting function |
| US5902968A (en) * | 1996-02-20 | 1999-05-11 | Ricoh Company, Ltd. | Pen-shaped handwriting input apparatus using accelerometers and gyroscopes and an associated operational device for determining pen movement |
| JPH09261640A (ja) * | 1996-03-22 | 1997-10-03 | Oki Electric Ind Co Ltd | 画像符号化装置 |
| US6226011B1 (en) * | 1997-04-01 | 2001-05-01 | Ricoh Company, Ltd. | Color conversion method for a color matching, a method for expanding a function of a program module and a color conversion method using the method for expanding a function of a program module |
| JP3764797B2 (ja) * | 1997-04-17 | 2006-04-12 | 株式会社リコー | 色変換処理装置およびその方法並びにその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
| JP3780094B2 (ja) * | 1997-04-25 | 2006-05-31 | キヤノン株式会社 | 印刷制御システム、プリントコントローラ、イメージサーバ、情報処理装置及び方法及びコンピュータ読み取り可能なプログラムが格納された記憶媒体 |
| JP3394159B2 (ja) * | 1997-06-27 | 2003-04-07 | 株式会社リコー | シリアルｄａ変換器用インタフェース回路 |
| JPH11167770A (ja) | 1997-12-04 | 1999-06-22 | Toshiba Corp | 記録再生装置及び方法 |
| US6327392B1 (en) * | 1999-01-28 | 2001-12-04 | Sharp Laboratories Of America, Inc. | Method of visual progressive coding |
| JP4033582B2 (ja) * | 1998-06-09 | 2008-01-16 | 株式会社リコー | 座標入力／検出装置および電子黒板システム |
| JP2000004169A (ja) * | 1998-06-15 | 2000-01-07 | Ricoh Co Ltd | Ｃｒｃ演算方法及びｃｒｃ演算回路 |
| JP2000043484A (ja) * | 1998-07-30 | 2000-02-15 | Ricoh Co Ltd | 電子黒板システム |
| JP2000069421A (ja) | 1998-08-26 | 2000-03-03 | Olympus Optical Co Ltd | 電子アルバム |
| JP2000101809A (ja) * | 1998-09-18 | 2000-04-07 | Canon Inc | 画像通信装置および画像通信方法 |
| JP3738631B2 (ja) * | 1999-09-27 | 2006-01-25 | 三菱電機株式会社 | 画像検索システムおよび画像検索方法 |
| JP2001128043A (ja) | 1999-10-25 | 2001-05-11 | Mitsubishi Electric Corp | 画像撮影・蓄積装置及び画像表示・印字装置 |
| JP2001218062A (ja) | 1999-11-11 | 2001-08-10 | Canon Inc | 画像処理装置及び方法と記憶媒体 |
| US6400766B1 (en) * | 1999-12-30 | 2002-06-04 | Quikcat.Com, Inc. | Method and apparatus for digital video compression using three-dimensional cellular automata transforms |
| JP2001231009A (ja) | 2000-02-18 | 2001-08-24 | Canon Inc | 画像データ格納装置および方法 |
| GB0004065D0 (en) * | 2000-02-21 | 2000-04-12 | Hewlett Packard Co | Portable information capture devices |
| AUPQ618500A0 (en) | 2000-03-13 | 2000-04-06 | Canon Kabushiki Kaisha | Memory management of compressed images data |
| JP2001309138A (ja) | 2000-04-20 | 2001-11-02 | Canon Inc | 画像処理装置並びに画像処理装置の制御方法および記憶媒体 |
| JP2002044601A (ja) | 2000-07-28 | 2002-02-08 | Olympus Optical Co Ltd | 電子カメラ装置および電子カメラ装置の制御方法および画像処理装置および画像処理方法 |
| JP2002125230A (ja) | 2000-10-17 | 2002-04-26 | Canon Inc | 情報処理装置、情報処理システム、符号量制御方法、及び記憶媒体 |
| JP2002185911A (ja) | 2000-12-11 | 2002-06-28 | Hitachi Ltd | 放送受信記録装置 |
| US7013049B2 (en) | 2001-02-28 | 2006-03-14 | Ricoh Company, Ltd. | Image processing scheme |
-
2003
- 2003-07-17 JP JP2003198587A patent/JP3783956B2/ja not_active Expired - Fee Related
- 2003-07-22 EP EP20030016514 patent/EP1387564A1/en not_active Withdrawn
- 2003-07-22 US US10/623,558 patent/US7315651B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20040136595A1 (en) | 2004-07-15 |
| JP2004112760A (ja) | 2004-04-08 |
| US7315651B2 (en) | 2008-01-01 |
| EP1387564A1 (en) | 2004-02-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3783956B2 (ja) | 画像記録装置及び画像データ選択方法 | |
| US6885395B1 (en) | Selectively adjusting the resolution levels or the quality levels of digital images stored in a digital camera memory | |
| KR100971835B1 (ko) | 화상 복호 방법 및 장치 | |
| JP3956360B2 (ja) | 撮像装置及び画像処理方法 | |
| US7505630B2 (en) | Image processing apparatus, image processing method, program, and recording medium that allow setting of most appropriate post-quantization condition | |
| JP4148462B2 (ja) | 画像処理装置、電子カメラ装置及び画像処理方法 | |
| US20100150463A1 (en) | Efficient rate allocation for multi-resolution coding of data | |
| JP4686854B2 (ja) | 画像符号化装置、電子カメラ、および画像符号化プログラムの記録媒体 | |
| JP4822396B2 (ja) | 画像強調装置 | |
| JP3789836B2 (ja) | 画像符号化装置および方法 | |
| US7310447B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| US7406202B2 (en) | Image processing apparatus, image compression apparatus, image processing method, image compression method, program, and recording medium | |
| JP2002176359A (ja) | 情報処理装置及びその制御方法、情報処理システム、コンピュータ可読メモリ | |
| JP4289565B2 (ja) | 画像記録装置 | |
| TWI390959B (zh) | 視頻訊號處理裝置，視頻訊號處理方法及視頻訊號處理程式 | |
| JP4073333B2 (ja) | 画像圧縮装置及び画像圧縮方法 | |
| JP4375662B2 (ja) | 画像処理装置、画像処理方法、プログラム、情報記録媒体及び撮像装置 | |
| JP2002252759A (ja) | 画像量子化方法と装置、およびそれらを利用可能な画像符号化装置 | |
| JP2006115483A (ja) | 電子カメラおよび画像処理プログラム | |
| JP2019068385A (ja) | 符号化装置、その制御方法、および制御プログラム、並びに撮像装置 | |
| JP4055994B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
| JP4458408B2 (ja) | 画像処理装置、画像処理方法、プログラム及び情報記録媒体 | |
| JP2004032105A (ja) | 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム | |
| JP2004214740A (ja) | 動画像符号化装置 | |
| JP2004104306A (ja) | 撮像装置、編集装置、プログラム及び記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051128 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051213 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060213 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060308 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060309 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100324 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110324 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120324 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120324 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130324 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140324 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |