JP4289565B2 - 画像記録装置 - Google Patents

Description

本発明は、画像データを記録媒体に記録する電子カメラ装置、その他の画像記録装置に係り、特に、この種の画像記録装置において記録媒体の空き容量を確保するための技術に関する。

デジタルスチルカメラなどの電子カメラ装置では、一般に、記録媒体の空き容量が不足した場合に、記録済みの画像データを消去することにより空き容量を確保する。この画像データの消去は、画像を１枚ずつ選択して行うか、又は、全部を一括して行うことができる。しかし、１枚ずつ選択して消去する方法は手間がかかり、他方、画像データを一括して消去する方法は、手間がかからないが残したい画像データがある場合に不都合である。

記録済みの画像データの消去をより効率的に行い、かつ、残したい画像データを保存できるようにするため、連写された画像データ、ブラケット撮影された画像データ、パノラマ撮影された画像データなど、関連性の強い画像データ群をグループとして管理し、また、残したい画像データにプロテクト指定をしておき、あるグループに属した画像データを選択して消去を指示すると、同じグループ内の画像データを、プロテクト指定されているものを除き一括消去する技術が特許文献１に記載されている。

また、記録済みの画像データを消去するのではなく、画像データのデータ量を削減することによって記録媒体の空き容量を確保する、もう１つのアプローチがある。

例えば、選択した画像データをより高い圧縮率で再圧縮し、あるいは画像の一部をトリミングすることにより、データ量を削減する技術が特許文献２に記載されている。マルチレイヤ構成の符号化方式を採用し、符号データをレイヤ単位で削除することにより画像データのデータ量を削減する技術が特許文献３に記載されている。記録済みの画像データを再圧縮し、又は符号データのまま一部符号を廃棄することにより、データ量を削減して記録画像枚数に応じた空き容量を確保する技術が特許文献４に記載されている。この従来技術では、さらに、データ量削減により確保した空き容量に見合うように新規の画像データの圧縮率を制御する。

この新規画像データの圧縮率の制御に関しては、高精細モードでは空き容量が不足するときに、より圧縮率の高い中間モードに自動的に切り替える技術が特許文献５に記載されている。

また、特許文献６には、放射線画像を管理するシステムにおいて、保存されている画像データの非関心領域の符号の廃棄と再圧縮の組み合わせによりデータ量を削減する技術が記載されている。また、複写機において、カラー画像データを白黒画像データに変換することによってデータ量を削減する技術が特許文献７に記載されている。

特開２００２−４４６０１号公報 特開平８−９３１２号公報 特開２００１−３２０５８８号公報 特開２００１−２３１００９号公報 特許第３２２９１４４号公報 特開２００１−２１８０６２号公報 特開２００１−３０９１３８号公報 野水泰之，「次世代画像符号化方式 ＪＰＥＧ２０００」，株式会社トリケップス，２００１年２月１３日 J.Katto and Y.Yasuda,"Performance evaluation of subband coding and optimization of its filter coefficients,"Journal of Visual Communication and Image Representation, vol.2，pp.303-313,Dec.1991

記録済みの画像データのデータ量を削減することにより記録媒体の空き容量を確保する方法は、残したい画像データが完全に失われることがない点で画像データを消去する方法に比べ有利である。しかし、データ量削減を行うべき画像データの選択はユーザにまかせられており、特許文献４にも最大データ量の画像データを選択することが述べられているに過ぎない。

よって、本発明の主たる目的は、電子カメラ装置、その他の画像記録装置において、ユーザ（撮影者）に負担をかけることなく、かつ、ユーザの満足を得られるように、より合理的に画像データを選択してデータ量削減を実施できるようにすることである。この目的及びその他の目的について、以下に実施の形態に関連し具体的に説明する。

記録済み画像データに対しデータ量削減処理を自動的に実施する場合の一番の問題点は、ユーザ（撮影者）が画質の低下を容認できるか否かである。したがって、撮影者の高い満足度を得るためには、画質を考慮して、データ量削減処理を実施する画像データを選択できるようにするのが望ましい。また、ユーザ（撮影者）の意思もしくは嗜好を反映させることも、ユーザの高い満足度を得るためには重要である。

本発明は、以上のような観点に立って前記目的を達成しようとするものであり、以下に記載するような特徴を有するものである。

請求項１記載の発明は、ビットプレーン符号化された画像データを記録媒体に記録する手段と、前記記録媒体に記録済みの画像データのデータ量削減余力を判断するための特定の情報を取得する手段と、前記取得する手段により取得された情報に基づき特定の判断基準によりデータ量削減余力が大きいと判断される画像データを優先的に選択する手段と、前記選択する手段で選択された画像データに対しデータ量削減処理を実施する手段とを有し、前記取得する手段により、記録済みの動画の画像データについて、各フレームあたりのサブバンドごとの視覚的な重み付けをした現符号量とサブバンドごとの視覚的な重み付けをしたロスレス符号量の比（現符号量／ロスレス符号量）の平均値又は最大値が取得され、前記選択する手段において、動画の画像データの相互間では、前記取得する手段により取得された前記比の平均値又は最大値の大きい画像データが、データ量削減余力が大きいと判断されることを特徴とする画像記録装置である。

請求項２記載の発明は、ビットプレーン符号化された画像データを記録媒体に記録する手段と、前記記録媒体に記録済みの画像データのデータ量削減余力を判断するための特定の情報を取得する手段と、前記取得する手段により取得された情報に基づき特定の判断基準によりデータ量削減余力が大きいと判断される画像データを優先的に選択する手段と、前記選択する手段で選択された画像データに対しデータ量削減処理を実施する手段とを有し、前記取得する手段により、記録済みの動画の画像データについて、各フレームあたりの現符号量と非ゼロビットプレーンの総数の比（現符号量／非ゼロビットプレーンの総数）の平均値又は最大値が取得され、前記選択する手段において、動画の画像データの相互間では、前記取得する手段により取得された前記比の平均値又は最大値の大きい画像データが、データ量削減余力が大きいと判断されることを特徴とする画像記録装置である。

請求項３記載の発明は、画像データを記録媒体に記録する手段と、前記記録媒体に記録済みの画像データのデータ量削減余力を判断するための特定の情報を取得する手段と、前記取得する手段により取得された情報に基づき特定の判断基準によりデータ量削減余力が大きいと判断される画像データを優先的に選択する手段と、前記選択する手段で選択された画像データに対しデータ量削減処理を実施する手段とを有し、前記選択する手段におけるデータ量削減余力の判断のための基準を複数の基準より選択可能であることを特徴とする画像記録装置である。

本発明によれば、電子カメラ装置、その他の画像記録装置において、ユーザの高い満足度を得られるように、記録済み画像データを適切に選択してデータ量削減処理を実施し、記録媒体の空き容量を確保することができる。また、画像データの選択を含めてデータ量削減の動作を自動化することができるため、電子カメラ装置などの画像記録装置の使い勝手も向上する。さらに、記録媒体の空き容量に余裕がない場合でも、空き容量不足による動画撮影の中断を回避できる等々の効果を得られる。

以下、添付図面を参照し、本発明の実施の形態について詳細に説明する。

図１は本発明の実施の形態を説明するための簡略化されたブロック図である。本実施の形態は、撮像手段により被写界の静止画撮影又は動画撮影を行い、静止画像又は動画のフレーム画像を入力し、その画像データを圧縮して記録媒体に記録する電子カメラ装置である。ここでは、静止画撮影を主機能とした所謂デジタルスチルカメラとして説明するが、動画撮影を主機能とした所謂デジタルビデオカメラを除外することを意図するものではない。なお、本発明は、パソコン、光ディスク装置などの機器、ネットワークなどから静止画又は動画の画像データを入力し、その画像データを記録媒体に記録する画像記録装置全般に適用し得るものである。また、本実施の形態は、本発明の画像データ選択方法の実施の形態でもある。

図１において、１００は撮像手段（より一般的には画像入力手段）であり、撮像光学系１０２、イメージセンサ１０４、アナログ信号処理部１０６、アナログ・デジタル変換部１０８、画像プロセッサ１１０、メモリ１１４、表示装置１１２、操作部１２４及びシステムコントローラ１２２から構成される。

被写界の光学像が撮像光学系１０２によりイメージセンサ１０４に結像され、電気信号に変換される。撮像光学系１０２は光学レンズ、絞り機構、シャッター機構などから構成される。イメージセンサ１０４は、結像された光学像を色フィルタにより色分解し、各色成分の光量に応じた画像信号を出力するもので、一般にＣＣＤ型もしくはＭＯＳ型のイメージセンサが用いられる。

イメージセンサから出力される画像信号は、アナログ信号処理部１０６で相関二重サンプリング、ガンマ補正、ホワイトバランス調整などの処理を施されたのち、アナログ・デジタル変換部１０８でデジタル画像データに変換されて画像プロセッサ１１０に入力される。画像プロセッサ１１０は、画像データに対するエッジ強調処理などの画像処理を行うほか、イメージセンサ１０４、アナログ信号処理部１０６、アナログ・デジタル変換部１０８、表示装置１１２の制御、オートフォーカス制御や自動露出制御などのための情報の検出などを行う。この画像プロセッサ１１０は、１フレーム以上の画像データなどを一時的に保存するためのメモリ１１４を有する。表示装置１１２は、例えば液晶表示装置であり、モニタリング時の撮影画像（スルー画像）や記録画像、各種情報の表示に利用される。なお、ガンマ補正やホワイトバランス調整などの処理を画像プロセッサ１１０で行う構成としてもよく、そのような態様も本発明に包含される。

システムコントローラ１２２は、操作部１２４から入力される操作情報や画像プロセッサ１１０から与えられる情報などに応答して、撮像光学系１０２のシャッター機構、絞り機構、ズーミング機構の制御、画像プロセッサ１１０の制御など、撮像手段１００に関する制御を行うほか、後述のように画像データの圧縮／伸長、記録／読み出し、記録された画像データのデータ量削減などに関する制御を行う。

撮像手段１００により撮影された（入力された）画像データは、圧縮されたのち所定のファイル形式の画像ファイルとして各種メモリカードなどの記録媒体１７０に記録される。このような画像データの圧縮及び伸長のために画像圧縮／伸長部１５０が設けられ、また、圧縮された画像データの記録媒体１７０への記録又は記録された画像データの読み出しのためにファイル管理部１６６が設けられている。画像ファイルの記録又は読み出しは、ファイル管理部１６６の制御によりインターフェース部１６８を介して行われる。また、本発明においては、記録された画像データに対するデータ量削減処理が行われるが、その処理の管理及び処理対象の画像データの選択のためにデータ量削減管理部１６２が設けられている。また、データ量削減処理及び画像ファイルの記録／読み出し処理に関連した情報を記憶するための管理情報記憶部１６４が設けられている。このような画像データの圧縮／伸長、画像ファイルの記録／再生、記録済み画像データのデータ量削減に関連した全体的な動作はシステムコントローラ１２２によって統御される。

画像圧縮／伸長部１５０としては、画像データの再圧縮を行うことなく符号データの操作によりデータ量を調整可能な画像圧縮アルゴリズムを利用する構成のものが好ましいが、再圧縮を必要とする画像圧縮アルゴリズムを排除するものではない。本実施の形態にあっては、画像圧縮／伸長部１５０は、ＪＰＥＧ２０００準拠の画像圧縮アルゴリズムを利用する構成であり、ＤＣレベル・色空間変換部１５２、２次元ウェーブレット変換部１５４、量子化部１５６、エントロピー符号化部１５８、符号生成部１６０からなる。

ＪＰＥＧ２０００は、その基本方式（ＪＰＥＧ２０００ Ｐａｒｔ１）の標準化作業を終了し２００１年１月に勧告されている。その拡張方式であるモーション（Motion）ＪＰＥＧ２０００（ＪＰＥＧ２０００ Ｐａｒｔ３）の勧告化も目前である。このモーションＪＰＥＧ２０００は、動画を静止画の系列として扱うが、各フレーム画像に対する圧縮アルゴリズムは基本方式そのものであり、基本方式との違いはファイル形式が一部異なるのみである。ＪＰＥＧ２０００の画像圧縮アルゴリズムについては、例えば、非特許文献１などに詳しいが、その概略を以下に説明する。

圧縮処理の対象となる画像データ（動画を扱う場合には各フレーム画像データ）は、各コンポーネント毎にタイルと呼ばれる重複しない矩形領域に分割されてＤＣレベル・色空間変換換部１５２に入力される。

ＤＣレベル・色空間変換部１５２においては、圧縮率の向上を目的として、入力画像データに対しレベルシフト操作と色空間変換処理を施す。レベルシフトは、ＲＧＢ値のような符号無し整数値からダイナミックレンジの半分を減算する操作である。入力画像データが例えばＹＣｒＣｂデータの場合、Ｃｒ，Ｃｂコンポーネントのような符号付き整数値に対してレベルシフトは行われない。色空間変換処理は、入力画像データがＲＧＢデータやＣＭＹデータの場合に、ＹＣｒＣｂデータに変換する処理である。なお、このＤＣレベル変換及び色空間変換を画像プロセッサ１１０で行う構成とすることも可能である。

ＤＣレベル・色空間変換部１５２により処理後の各コンポーネントの各タイルの画像データは、２次元ウェーブレット変換部１５４により２次元のウェーブレット変換（離散ウェーブレット変換：ＤＷＴ）を施される。

図２はデコンポジション・レベル数が３の場合のウェーブレット変換の説明図である。図２（ａ）に示すタイル画像に対する２次元ウェーブレット変換により、図２（ｂ）に示すような１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨの各サブバンドに分割される。１ＬＬサブバンドの係数に対し２次元ウェーブレット変換が適用されることにより、図２（ｃ）に示すような２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨのサブバンドに分割される。２ＬＬサブバンドの係数に対し２次元ウェーブレット変換が適用されることにより、図２（ｄ）に示すような３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨのサブバンドに分割される。

このような低周波成分（ＬＬサブバンド係数）の再帰的分割（オクターブ分割）により得られた各サブバンドの係数は、量子化部１５６によって量子化された後にエントロピー符号化部１５８により符号化される。ＪＰＥＧ２０００では可逆圧縮（ロスレス圧縮）と非可逆圧縮（ロシィ圧縮）のいずれも可能であり、可逆圧縮の場合には量子化ステップ幅は常に１であり、この段階では実質的に量子化されない。

エントロピー符号化部１５８はウェーブレット係数のエントロピー符号化を行う。このエントロピー符号化には、ブロック分割、係数モデリング及び２値算術符号化からなるＥＢＣＯＴ（Embedded Block Coding with Optimized Truncation）と呼ばれるブロックベースのビットプレーン符号化方式が用いられる。符号化対象となるウェーブレット係数は正負の符号を持つ整数であり、それらを決められた順序で走査しながら、係数を絶対値表現したものに対し上位ビットから下位ビットへとビットプレーン単位で符号化処理が実行される。

エントロピー符号化部１５８で生成された符号列は符号生成部１６０に送られる。符号生成部１６０において、算術符号化された符号列を最終的に必要な順序に並べ替え、また、必要に応じて一部符号の廃棄（ポスト量子化）を行い、１本のビットストリームとして出力する。

画像圧縮／伸長部１５０より出力される符号データ（圧縮データ）は図３に示すような構造である。図３に見るように、符号データは、ＳＯＣマーカから始まり、その後に符号化のパラメータや量子化のパラメータ等を記述したメインヘッダが続き、その後に各タイル毎のデータが続く。各タイルのデータは、ＳＯＴマーカで始まり、タイルヘッダ、ＳＯＤマーカ、タイルデータ（符号列）で構成される。最後のタイルデータの後に、終了を示すＥＯＣマーカが置かれる。

このＪＰＥＧ２０００の画像圧縮アルゴリズムは高圧縮率（低ビットレート）での画質が良好であるほか、多くの特徴を有する。その１つが、符号化後に、下位ビットプレーンの符号の廃棄（切り捨て：トランケーション）による量子化（ポスト量子化）であり、再圧縮を行うことなく全体の符号量（圧縮率）を調整できる。ＪＰＥＧ２０００では、コードブロック単位もしくはプリシンクト単位で係数のビットプレーンに順序付けを行い、任意の数のビットプレーンからなるレイヤを構成することができる。複数レイヤ構成をとる場合には下位のレイヤからレイヤ単位でのポスト量子化が可能である。

符号データの伸長処理は圧縮処理と逆の処理となる。符号生成部１６０によって符号データのタグ情報が解釈され、符号データは各コンポーネントの各タイルの符号列に分解され、この符号列はエントロピー符号化部１５８によってタグ情報に基づく順番でウェーブレット係数に復号される。復号されたウェーブレット係数は量子化部１５６で逆量子化を施されたのち、２次元ウエーブレット変換部１５４で２次元ウェーブレット逆変換を施されることにより、各コンポーネントの各タイルの画像が再生される。各コンポーネントの各タイル画像は、ＤＣレベル・色空間変換部１５２で圧縮時と逆の変換処理を施されてから出力される。この各コンポーネントの各タイル画像が画像プロセッサ１１０において統合されることにより、圧縮された画像が復元されることになる。

さて、ＪＰＥＧ２０００では、ビットプレーン符号化を採用しているため、ウェーブレット係数の符号化に際して、係数の最大値を予想し、その最大値に相当する「符号化すべきビットプレーン数の最大値(最大ビットプレーン数)」を計算する。この最大ビットプレーン数は、符号化時にヘッダに埋め込まれ、次に述べるように、符号のヘッダから算出可能である。

図３に示したメインヘッダは図９に示す構成であり、必須のマーカセグメントとしてQCDマーカセグメントが含まれている。

このQCDマーカセグメントの構成と内容は図１０と図１１に示す通りである。量子化スタイルのパラメータSqcd、量子化ステップサイズのパラメータSPqcdの内容は図１２乃至図１４に示すとおりである。SPqcdからεｂ及び保護ビット数を読み出すことができる。

また、画像が複数のコンポ−ネントから成り、メインヘッダにＱＣＣマーカセグメントが存在する場合には、ＱＣＣマーカセグメントのパラメータSPqccから当該コンポ−ネントに対応したεｂを読み出すことができる。

ウェーブレット変換では、その変換を施す毎に、ウェーブレット係数のビット数(＝ビットプレーン数)が増加していき、かつ、その増加量はサブバンドHL，LH，HH毎に異なる。この増加量のうち、サブバンドに共通な分の値を「保護ビット数」と呼び、サブバンドごとに異なる分を本明細書中では便宜的に「ゲインビット」とよぶ。「ゲインビット」は、デコンポジションレベルによらず、LLでは０、HL及びLHでは１、HHでは２と規定されている。

また、εｂは符号化時に算出される量である。ＪＰＥＧ２０００におけるウェーブレット変換としては５×３変換又は９×７変換が規定されているが、５ｘ３変換の場合、εｂは次式により求められる。

εｂ＝Rb＋(色変換により増加したビットプレーン数) 式(1)
ここで、Rb＝（原データのビット数）＋（ゲインビット数）

また、９ｘ７変換の場合、εｂは、次の式（２）（サブバンド毎の量子化ステップ数△bの式）と、図１４中のμbとから求められる。

Δｂ＝２^{（Ｒｂ−εｂ）}*(1+μb／2^１１) 式(2)
ここでRb＝（原データのビット数）＋（ゲインビット数）

なお、５×３変換の場合、線形量子化はしない仕様である(すなわち、量子化ステップ数＝１)。

以上をもとに、最大ビットプレーン数は
最大ビットプレーン数＝Ｒｂ＋(色変換により増加したビットプレーン数)
−（線形量子化で減少するビットプレーン数）−１
で算出され、５×３変換、９×７変換のいずれの場合も次式で表される。

最大ビットプレーン数＝εb＋保護ビット数−１ 式(3)

JPEG2000では、原データに対してDCレベルシフトを行うため、例えば0〜255の正の数を-128〜+127の数として扱う。この場合、-128〜+127の数を「極性１ビット，絶対値７ビット」として扱うため、式(3)中の「−１」が生じる。

次に、「ゼロビットプレーン数」及び「符号化されたビットプレーン数」と、その読み出し方について説明する。

最大ビットプレーン数は前記式(3)式により算出されるが、全てのコードブロックにおいて（少なくとも１つの係数は）前記式(3)式による最大ビットプレーン数に達するとは限らず、実際には、それに達しないコードブロックがある。つまり、あるコードブロックにおいては、ビットプレーンの上位側が０で埋まっているのである。

よって、コードブロック単位で、（最大ビットプレーン数）と（実際のビットプレーン数）の差を「０ビットプレーン数」と呼ぶ。０ビットプレーン数は、パケットヘッダ中にコードブロックごとに記述されている。

図３に示したタイルデータは、図１５の上段に示すように複数のパケットと呼ばれる単位からなり、各パケットは図１５の下段に示すようにパケットヘッダとパケットデータとから成る。

各パケットのパケットヘッダには
(1)当該パケットが空かどうか(当該パケットにサブビットプレーンの符号が全く含まれていない)
(2)当該パケットにいくつのコードブロックが含まれているか
(3)当該パケットに含まれる各コードブロックに対応したゼロビットプレーン数(ゼロビットプレーン数はコードブロック毎にカウントする)
(4)当該パケットに含まれる各コードブロック毎の、当該パケットに含まれる符号化されたサブビットプレーン数
(5)当該パケットに含まれる各コードブロック毎の、当該パケットに含まれるエントロピー符号長
の情報が記述されている。

したがって、パケットヘッダの内容を読み出すことによって、各コードブロック毎の「ゼロビットプレーン数」が分かる。よって、前記式(3)から、パケットヘッダより取得したゼロビットプレーン数を減じれば、各コードブロック毎の「非ゼロビットプレーン数」が分かる。また、符号化されたサブビットプレーン数はパケットヘッダより直接読み取ることができ、したがって、各コードブロック毎の「符号化されたビットプレーン数」も計算できる。

なお、符号がマルチレイヤ構成の場合、同一のコードブロックのビットプレーンが幾つかのレイヤに分けられて符号化される（例：符号化すべきビットプレーンが９枚だった場合、レイヤＡに含まれるパケットには５枚分、レイヤＢに含まれるパケットには残りの４枚分の符号が入る)。したがって、パケットヘッダ中のサブビットプレーン数を各コードブロックごとに積算し、当該コードブロックに関し符号化されたサブビットプレーン数の合計を求める必要がある。

サブビットプレーンとは、一部の例外を除き、ビットプレーンを仮想的に３枚に分割したものであり、
非ゼロサブビットプレーン数＝１＋３×（非ゼロビットプレーン数―１） 式(4)
である。最上位の非ゼロビットプレーンは３枚に分割しないため、上記「一部の例外」が生じる。

JPEG2000の符号化処理は、概ね図１６に示す流れで行われ、符号形成プロセスと呼ばれる右端の２つのブロックで、パケットと呼ばれる符号単位を所望の順序に並べる作業がなされる。

ここで、画像、タイル、サブバンド、プリシンクト、コードブロックの関係、並びに、パケットとレイヤの関係について整理する。

物理的な大きさの序列は、
画像≧タイル＞サブバンド≧プリシンクト≧コードブロック
である。

タイルとは画像を矩形に分割したものであり、分割数＝１の場合、
画像＝タイル
である。

プリシンクトとは、サブバンドを矩形に分割したもので、画像中の大まかな場所(position)を表すものである。ＨＬ，ＬＨ，ＨＨの各サブバンドを分割したプリシンクトについては、各サブバンドの対応位置のプリシンクト（合計３個）がひとまとまりとして扱われる。ただし、ＬＬサブバンドを分割したプリシンクトは、１つでひとまとまりとして扱われる。プリシンクトはサブバンドと同じサイズにすることもできる。

プリシンクトをさらに矩形に分割したものがコードブロックである。

デコンポジション回数が３の場合について、タイル、サブバンド、プリシンクト、コードブロックの関係を図１７に模式的に示す。

プリシンクトに含まれる全てのコードブロックから、符号の一部を取り出して集めたもの（例えば、全てのコードブロックのMSBから３枚目までのビットプレーンの符号を集めたもの）がパケットである。上記“一部”は“空”（から）でもいいので、パケットの中身が符号的には“空(から)”ということもある。

全てのプリシンクト（＝全てコードブロック＝全てのサブバンド）のパケットを集めると、画像全域の符号の一部（例えば、画像全域のウェーブレット係数の、MSBから３枚目までのビットプレーンの符号）ができるが、これがレイヤである。レイヤは、大まかには、画像全体のビットプレーンの符号の一部であるから、復号されるレイヤ数が増えれば画質は上がる。したがって、レイヤはいわば画質の単位である。すべてのレイヤを集めると、画像全域の全てのビットプレーンの符号になる。

ウェーブレット変換の階層数(デコンポジションレベル)＝２，プリシンクトサイズ＝サブバンドサイズ、としたときのレイヤ構成の例を図１８に示す。各レイヤに含まれる、いくつかのパケットを図１９に太線で囲んで示す。パケットは、プリシンクトを単位とするものであるから、プリシンクト＝サブバンドとした場合には、パケットはＨＬ〜ＨＨサブバンドをまたいだものとなる。

図１６に関連して述べた「符号形成プロセス」において、レイヤ単位あるいはパケット単位での符号の破棄（トランケーション）すなわちポスト量子化が可能である。また、符号生成後において、あるパケットに関してビットプレーンのエントロピー符号を部分的に捨てて、当該パケットのパケットヘッダの生成をやり直すと言ったことも可能である。

次に、「サブバンドゲイン」について説明する。復号時の逆ウェーブレット変換においては、サブバンドごとに「周波数係数値が信号値に逆変換された場合の倍率」が異なり、この倍率の二乗をサブバンドゲイン（Gsbと表記）という。量子化によって周波数係数に生じた誤差△eは、信号への逆変換によってサブバンドゲインの平方根倍され、√Gsb・△eとなる。

以下、５×３変換の場合を例にして、サブバンドゲインの算出法を説明する（詳細は非特許文献２に記載されている）。

５×３ウェーブレット変換の逆変換は、インターリーブされた係数の配列に対して、まず水平方向に、Ｘ座標が偶数（ｘ=2i）の係数C(2i)を中心に逆ローパスフィルタを施し、次にＸ座標が奇数（ｘ=2i+1）の係数C(2i+1)を中心に逆ハイパスフィルタを施す(これを全てのＹ座標について行う)。ここで、逆ローパスフィルタ，逆ハイパスフィルタは順に式（５）、式（６）で表される。

P(2i)=C(2i)−floor（(C(2i-1)+C(2i+1)+2)/4） 式(5)
P(2i+1)=C(2i+1)＋floor（(P(2i)+P(2i+2))/2） 式(6)
ここでfloor（Ａ）はＡのフロア関数（実数Ａを、Ａを越えず、かつ、Ａに最も近い整数に置換する関数）である。

式（５）、式（６）のフロア関数をはずして次の近似式を得る。
P(2i)=C(2i)−1/4・C(2i-1)−1/4・C(2i+1)−1/2 式(7)
P(2i+1)=C(2i+1)＋P(2i)/2+P(2i+2)/2
=−1/8・C(2i-1)＋1/2・C(2i)＋3/4・C(2i+1)＋1/2・C(2i+2)
−1/8・C(2i+3)−1/2 式(8)
また、式（７）（８）から下の５つの式を得る。
P(2i-1)=−1/8・C(2i-3)＋1/2・C(2i-2)＋3/4・C(2i-1)＋1/2・C(2i)
−1/8・C(2i+1)−1/2
P(2i) =C(2i)−1/4・C(2i-1)−1/4・C(2i+1)−1/2
P(2i+1)=−1/8・C(2i-1)＋1/2・C(2i)＋3/4・C(2i+1)＋1/2・C(2i+2)
−1/8・C(2i+3)−1/2
P(2i+2)=C(2i+2)−1/4・C(2i+1)−1/4・C(2i+3)−1/2
P(2i+3)=−1/8・C(2i+1)＋1/2・C(2i+2)＋3/4・C(2i+3)＋1/2・C(2i+4)
−1/8・C(2i+5)−1/2

今、奇数位置のハイパス係数C(2i+1)に量子化誤差１が生じた場合、上の５つの式は、該誤差がP(2i-1)からP(2i+3)の５画素に影響を及ぼすことを示し、これら５つの誤差が独立であると仮定すると、該５画素に生じる誤差の二乗和の平方根は
√(（-1/8）^２＋（-1/4）^２＋（3/4）^２＋（-1/4）^２＋（-1/8）^２)＝0.85
である。つまり、ハイパス係数の誤差１が、画素値のエラー0.85に変換されるのである。これが逆ハイパスフィルタ１回分のゲインの平方根である。

同様に、偶数位置のローパス係数C(2i)に量子化誤差１が生じた場合、上式は、該誤差がP(2i-1)からP(2i+1)の３画素に影響を及ぼすことを示し、該３画素に生じる誤差は
√(（1/2）^２＋1^２＋（1/2）^２)＝1.2
である。つまり、ローパス係数の誤差１が、画素値の誤差1.2に変換されるのである。これが逆ローパスフィルタ１回分のゲインの平方根である。

２次元の逆ウェーブレット変換の場合、LL係数の逆変換には逆ローパスフィルタを２回かける必要があるため、LL係数に量子化誤差１が生じた場合、画素に生じる誤差は
1.2×1.2
となる。同様に、HL係数の逆変換には逆ローパスフィルタ、逆ハイパスフィルタを１回ずつかける必要があるため、HL係数に量子化誤差１が生じた場合、画素に生じる誤差は
1.2×0.85
となる。

同様の計算を行うと、デコンポジションレベル５の場合、各サブバンドの係数に生じた単位量子化誤差が画素に与えるエラーの二乗和の平方根（＝サブバンドゲインの平方根）は図２０及び図２１に示す値となる。ただし、図２０は９×７逆変換の場合であり、図２１は５ｘ３逆変換の場合である。

なお、サブバンドゲインは、正規直交変換でない周波数変換では常に問題となるものであり、ウェーブレット変換以外の周波数変換を用いる符号化においても同様な考え方が適用できる。

JPEG2000では、コンポーネント変換（色空間変換）として以下のような可逆のＲＣＴ(Reversible multiple component transformation)と、非可逆のＩＣＴ(Irreversible multiple component transformation)が用いられる。

ＲＣＴの順変換と逆変換は次式で表される。
順変換
Y0(x,y)=floor((I0(x,y)+2*(I1(x,y)+I2(x,y))/4)
Y1(x,y)=I2(x,y)-I1(x,y)
Y2(x,y)=I0(x,y)-I1(x,y) 式(9)
逆変換
I1(x,y)=Y0(x,y)-floor((Y2(x,y)+Y1(x,y))/4)
I0(x,y)=Y2(x,y)+I1(x,y)
I2(x,y)=Y1(x,y)+I1(x,y) 式(10)
上式中のＩは原信号、Ｙは変換後の信号を示す。ＲＧＢ信号を例にすれば、Ｉ信号は０＝Ｒ，１＝Ｇ，２＝Ｂ、Ｙ信号は０＝Ｙ，１＝Ｃｂ，２＝Ｃｒと表される。

ＩＣＴの順変換と逆変換は次式で表される。
順変換
Y0(x,y)=0.299*I0(x,y)+0.587*I1(x,y)+0.144*I2(x,y)
Y1(x,y)=-0.16875*I0(x,y)-0.33126*I1(x,y)+0.5*I2(x,y)
Y2(x,y)=0.5*I0x,y)-0.41869*I1(x,y)-0.08131*I2(x,y) 式(11)
逆変換
I0(x,y)=Y0(x,y)+1.402*Y2(x,y)
I1(x,y)=Y0(x,y)-0.34413*Y1(x,y)-0.71414*Y2(x,y)
I2(x,y)=Y0(x,y)+1.772*Y1(x,y) 式(12)
式中のＩは原信号、Ｙは変換後の信号を示す。ＲＧＢ信号を例にすれば、Ｉ信号は０＝Ｒ，１＝Ｇ，２＝Ｂ、Ｙ信号は、０＝Ｙ，１＝Ｃｂ，２＝Ｃｒと表される。

このような逆RCTや逆ICTのゲインについて説明する。これらゲインも同様に、各コンポ−ネントに生じた単位誤差によるRGB値のエラーの二乗和である。これらは、サブバンドゲインを導出する場合と同様、RCTやICTの逆変換の式中の定数の二乗和として算出される。よって、逆ICTと逆RCTのゲインの平方根は図２２と図２３に示すような値となる。

以下、図１に示した電子カメラ装置の動作について説明する。

《静止画撮影時の動作》
静止画撮影時の動作の一例を図４のフローチャートを参照して説明する。操作部１２４に含まれる不図示のレリーズボタン（静止画撮影指示ボタン）が押下されると、静止画撮影指示がシステムコントローラ１２２より画像プロセッサ１１０に与えられ、画像プロセッサ１１０は静止画撮影の条件でイメージセンサ１０４を駆動する。撮影された画像データは、画像プロセッサ１１０より各コンポーネント毎にタイル分割されて画像圧縮／伸長部１１６へ送られ、圧縮処理される（ステップＳ１００）。画像圧縮／伸長部１５０においては、エントロピー符号化部１５８の段階まではロスレス圧縮を行い、符号生成部１６０で画質モード（高画質、標準画質、エコノミー画質など）に応じたポスト量子化を行う。画質モードは撮影者（ユーザ）により操作部１２４を介して予め設定され、また、設定されない場合はデフォルトの画質モードが選ばれ、これがシステムコントローラ１２２によって画像圧縮／伸長部１５０に指定される。なお、高画質モード時にポスト量子化を行わないことも可能であり、そのような態様も本発明に包含される。

この符号化処理時に、ファイル管理部１６６は、その圧縮された画像データのデータ量削減余力を判断するための情報（データ量削減処理の序列を決定するための情報）として、例えば、ロスレス符号量、ポスト量子化後の符号量（現符号量）、非ゼロビットプレーンの総数、画質モード、画像サイズなどを取得する。

ロスレス符号量とポスト量子化後の符号量は符号生成部１６０より取得することができる。サブバンドごとに視覚的な重み付けをしたロスレス符号量とポスト量子化後を取得してもよく、これも本発明に包含される。非ゼロビットプレーンの総数は、符号データのパケットヘッダからゼロビットプレーン数を取得し、それを総ビットプレーン数から差し引くことにより求めることができる。非ゼロビットプレーンの総数又はゼロビットプレーン数を、符号生成部１６０で求めてファイル管理部１６６に与えるようにしてもよい。画像サイズと画質モードは、システムコントローラ１２２より指定されるが、符号データのメインヘッダから取得することもできる。なお、これらの情報を必ずしも全部取得する必要はなく、画像データのデータ量削減余力の判断のために必要な一部の情報のみ取得するようにしてもよい。データ量削減余力の判断のために利用する情報と、その取得方法については更に後述する。

ファイル管理部１６６は、画像圧縮／伸長部１５０より出力された符号データをＪＰＥＧ２０００の画像ファイルとして記録媒体１７０に記録し（ステップＳ１０２）、記録終了後に管理情報記憶部１６４上のファイル管理情報を更新する（ステップＳ１０４）。このファイル管理情報にはステップＳ１００において取得された情報も含まれる。撮影者は撮影直後又は任意の時点で、記録済み画像ファイルに対し「お気に入り指定」「モノクロ化容認指定」「サイズ変更容認指定」を行うことができる。これら指定の情報もファイル管理情報に含まれる。各画像ファイルに対しデータ量削減処理が適用された回数を示す情報もファイル管理情報に含まれる。また、記録媒体１７０の空き容量を示す情報もファイル管理情報に含まれる。また、静止画の画像ファイルであるか動画の画像ファイルかの区別を示す情報もファイル管理情報に含まれる。

なお、管理情報記録部１６４として、記録媒体１７０上の特定の記憶領域を割り当てることもできる。このようにすると、記録媒体１７０を交換した場合にも同媒体上の画像ファイルに関するファイル管理情報及び削減序列リストを改めて生成する必要がない。また、管理情報記憶部１６４上のファイ管理情報及び削減序列リストのコピーを記憶媒体１７０に記録してもよい。このようにすると、記録媒体１７０を交換したときに、記録媒体１７０上の画像ファイルを参照することなく、ファイル管理情報及び削減序列リストのコピーを読み出すだけで管理情報記憶部１６４上にファイル管理情報及び削減序列リストを復元することができる利点がある。

データ量削減管理部１６２は、管理情報記録部１６４上のファイル管理情報中の特定の情報を参照し、その情報に基づき特定の判断基準により今回追加された画像ファイルのデータ量削減余力を判断することによって、そのデータ量削減序列を決定し、管理情報記録部１６４上の削減序列リストを更新する（ステップＳ１０６）。この削減序列リストは、データ量削減序列（順番）に従って全ての（又はデータ量削減余力の大きい上位Ｎ個の）画像ファイルのインデックスを並べたリストである。データ量削減序列は、基本的には、画質的観点からデータ量削減余力の大きいものを優先するように決定される。データ量削減余力の具体的な判断基準の例は次の通りである。

基準１：［現符号量／ロスレス符号量］が大きい画像ファイルを優先する。

この比は現時点での情報量の削減度合を示すため、この比が大きい画像ファイルはデータ量削減余力が大きいからである。ここで、「ロスレス符号量」とは、狭義のロスレス符号量のみならず、「係数をビットプレーンに変換した後、全てのビットプレーンを符号化した場合の符号量」という意味である。したがって、９×７変換の場合は、「係数の線形量子化後、全てのビットプレーンを符号化した場合の符号量」になる。

基準２：［（サブバンドごとに視覚的な重み付けをして計算した現符号量）／（サブバンドごとに視覚的な重み付けをして計算したロスレス符号量）］が大きい画像ファイルを優先する。この比は、上記基準１の比の分母子を視覚的に有効な情報量として正規化したものである。

基準３：［現符号量／非ゼロビットプレーンの総数］の大きい画像ファイルを優先する。

非ゼロビットプレーンの総数が多いということはウェーブレット係数の絶対値が大きい、したがってロスレス符号量が大きいからである。

基準４：［画像サイズ］の大きい画像ファイルを優先する。サイズの大きい画像は冗長度が大きいので、データ量削減による画質劣化は少ないからである。

基準５：［非ゼロビットプレーンの総数］が少ない画像を優先する。非ゼロビットプレーンの総数が少ない画像は高周波成分が少なく、手振れなどによる撮影失敗の可能性が高いので、データ量削減による画質劣化が問題になりにくいからである。

基準６.１：［破棄（トランケート）されたサブビットプレーン数又はビットプレーン数の総和］が小さい画像ファイルを優先する。［破棄されたサブビットプレーン数又はビットプレーン数の総和］は、削除されたビットの総数を示し、原データ中から削減されたデータ量を直接的に示す指標となるからである。

基準６.２：［量子化ステップ数を考慮した、破棄されたサブビットプレーン数又はビットプレーン数の総和］が小さい画像ファイルを優先する。［量子化ステップ数を考慮した、破棄されたサブビットプレーン数又はビットプレーン数の総和］は、削除されたビットの総数を示し、原データ中から削減されたデータ量を直接的に示す指標となるからである。

基準６.３：［サブバンドゲインを考慮した、破棄されたサブビットプレーン数又はビットプレーン数の総和］が小さい画像ファイルを優先する。［サブバンドゲインを考慮した、破棄されたサブビットプレーン数又はビットプレーン数の総和］は、逆周波数変換後の、削除されたビットの総数を示し、原データ中から削減されたデータ量を直接的に示す指標となるからである。

基準６.４：［コンポ−ネント変換のゲインを考慮した、破棄されたサブビットプレーン数又はビットプレーン数の総和］が小さい画像ファイルを優先する。［コンポ−ネント変換のゲインを考慮した、破棄されたサブビットプレーン数又はビットプレーン数の総和」は、逆コンポ−ネント変換後の、削除されたビットの総数を示し、原データ中から削減されたデータ量を直接的に示す指標となるからである。

基準６.５：［周波数毎の視覚特性を考慮した、破棄されたサブビットプレーン数又はビットプレーン数の総和］が小さい画像ファイルを優先する。［周波数毎の視覚特性を考慮した、破棄されたサブビットプレーン数又はビットプレーン数の総和」は、削除されたビットの総数に視覚的な重み付けをした量を示し、視覚的な劣化を示す指標となるからである。

基準７．１：［破棄されたサブビットプレーン又はビットプレーンによる量子化誤差の総和］が小さい画像ファイルを優先する。［量子化誤差の総和］は、原データの劣化量を直接的に示す指標となるからである。

基準７.２：［量子化ステップ数を考慮した、破棄されたサブビットプレーン又はビットプレーンによる量子化誤差の総和］が小さい画像ファイルを優先する。［量子化ステップ数を考慮した量子化誤差の総和」は、原データの劣化量を直接的に示す指標となるからである。

基準７．３：［サブバンドゲインを考慮した、破棄されたサブビットプレーン又はビットプレーンによる量子化誤差の総和］が小さい画像ファイルを優先する。［サブバンドゲインを考慮した量子化誤差の総和］は、逆周波数変換後の原データの劣化量を直接的に示す指標となるからである。

基準７．４：［コンポ−ネント変換ゲインを考慮した、破棄されたサブビットプレーン又はビットプレーンによる量子化誤差の総和］が小さい画像ファイルを優先する。［コンポ−ネント変換ゲインを考慮した量子化誤差の総和］は、逆コンポ−ネント変換後の原データの劣化量を直接的に示す指標となるからである。

基準７．５：［周波数毎の視覚特性を考慮した、破棄されたサブビットプレーン又はビットプレーンによる量子化誤差の総和］が小さい画像ファイルを優先する。［周波数毎の視覚特性を考慮した量子化誤差の総和］は、原データの劣化に視覚的な重み付けをした量を示し、視覚的な劣化を示す指標となるからである。

基準８：高画質モードで撮影された画像ファイルを優先する。高画質モードで撮影された画像はもともと高画質であるため、データ量削減を行ったとしても良好な画質を維持できるからである。

基準９：［データ量削減処理が適用された回数］の少ない画像ファイルを優先する。適用回数が少ない画像ファイルは、適用回数が多い画像ファイルに比べ、一般に画質が良好であるからである。

基準10：動画の画像ファイルを静止画の画像ファイルより優先する。動画は、一般に静止画ほど高画質を要求されないからである。

基準11：動画の画像ファイルの相互間では［フレームの前記基準１又は３の比の平均値あるいは最大値］の大きいものを優先する。

基準12：動画内のフレームの間では、前記基準１、２又は３の比の大きいフレームを優先する。

基準13：動画の画像ファイルの相互間では［フレームの前記基準6.1又は7.1の総和の平均値又は最小値］の小さいものを優先する。

基準14：動画内のフレームの間では、前記基準6.1又は7.1の総和の小さいフレームを優先する。

以上の基準は画質的観点に立った判断基準であるが、本実施の態様においては、次の判断基準も適用できる。

基準15：撮影者により「サイズ変更容認指定」又は「モノクロ化容認指定」の指定がなされた画像ファイルを優先する。これは撮影者の意思に基づく基準である。これら指定のある画像ファイルは、撮影者がデータ量削減を容認したうえで、その削減方法を指定しているからである。なお、撮影者の「お気に入り指定」のある画像ファイルは、撮影者が画質低下を望まないことを表明したもの、つまりプロテクト指定したものであるからデータ量削除対象から除外される。

基準16：記録された日付の古い画像ファイルを優先する。これは記録時期に基づく基準である。通常、古い画像は、撮影者が重視しているのであれば「お気に入り指定」がなされるか、既に別の記録媒体にコピーされている可能性が高いからである。

以上に述べたことを基礎として、前記判断基準に用いられる値の具体的な算出方法の例について順に説明する。

まず、「非ゼロビットプレーンの総数」であるが、この値は符号化すべきビットの総数を示すため、原画像のデータ量の多寡を示す指標となる。よって、「原符号量/非ゼロビットプレーンの総数」は、原画像に対するデータ削減の度合いを示す指標になる。その算出であるが、例えば、
最大ビットプレーン数:MBP
当該コードブロックのゼロビットプレーン数:ZBP
当該コードブロックに含まれる係数の数:N
として、
［非ゼロビット数の総数］＝ΣΣΣ｛（MBP―ZBP）×N｝
により算出される。

この式中のΣΣΣはコンポーネント、サブバンド、コードブロックそれぞれについて総和をとることを意味する。すなわち、[｛（最大ビットプレーン数−コードブロックごとのゼロビットプレーン数）×当該コードブロックに含まれる係数の数｝の全サブバンドに関する総和]の全コンポ−ネントに関する総和が求められる。この値は、いわば“全ウェーブレット係数に関する非ゼロビットプレーンの総和”的なものである。ただし、この例では、Ｎを乗じているので、求められる値は、非ゼロビットプレーン数の総和というよりは、“非ゼロビット数”の総和と呼ぶべきかもしれない。

次に、「破棄(トランケート)されたサブビットプレーン数の総和」であるが、この値は削除されたビットの総数を示すため、直接、原データ中から削減されたデータ量を示す指標となる。その算出であるが、例えば
当該コードブロックの非ゼロサブビットプレーン数:NZSBP
当該コードブロックに関して符号化されたサブビットプレーン数:CSBP
当該コードブロックに含まれる係数の数:N
として、
［破棄されたサブビットプレーン数の総和］＝ΣΣΣ｛（NZSBP−CSBP）×N｝
により算出される。

すなわち、[｛（非ゼロサブビットプレーン数−符号化されたサブビットプレーン数）×当該コードブロックに含まれる係数の数｝の全サブバンドに関する総和]の全コンポ−ネントに関する総和である。

次に、「破棄されたビットプレーン数の総和」であるが、この値は、同じく削除されたビットの総数を示すため，同様に直接，原データ中から削減されたデータ量を示す指標となる。この算出であるが、例えば
当該コードブロックの非ゼロビットプレーン数:NZBP
当該コードブロックに関して符号化されたビットプレーン数:CBP
当該コードブロックに含まれる係数の数:N
として、
［破棄されたビットプレーン数の総和］＝ΣΣΣ｛（NZBP−CBP）×N｝
により算出される。

すなわち、[｛（非ゼロビットプレーン数−符号化されたビットプレーン数）×当該コードブロックに含まれる係数の数｝の全サブバンドに関する総和]の全コンポ−ネントに関する総和である。

前述のように、サブビットプレーン数はビットプレーン数の概ね３倍であるから、ここでは簡易に、CBP＝（CSBP/３）を整数に切り上げた値、としている。

また、線形量子化が使用されている場合、上記［破棄されたサブビットプレーン数」にさらに線形量子化を加味し、以下のような「量子化ステップ数を考慮した、破棄されたサブビットプレーン数の総和」が算出される。この算出であるが、例えば、
当該コードブロックの非ゼロサブビットプレーン数:NZSBP
当該コードブロックに関して符号化されたサブビットプレーン数:CSBP
当該コードブロックが含まれるサブバンドの量子化ステップ数:Ｑ
当該コードブロックに関し、線形量子化も含めて破棄されたサブビットプレーン数:TSBP
当該コードブロックに含まれる係数の数:N
として、
［量子化ステップ数を考慮した、破棄されたサブビットプレーン数の総和］
＝ΣΣΣ｛TSBP×Ｎ｝
(ただし、TSBP＝NZSBP−CSBP−QSBP、QSBP＝３log_２（Q））
により算出される。

量子化ステップ数Qによる係数の量子化は、log_２（Q）枚のビットプレーンの破棄、すなわち３log_２（Q）枚サブビットプレーンの破棄に相当するからである。５×３逆変換の場合も、Q=１とすればこの例をそのまま適用可能である。

このような線形量子化も考慮した、「量子化ステップ数を考慮した、破棄されたサブビットプレーン数の総和」は、やはり直接、原データ中から削減されたデータ量を示す指標となる。

同様に、破棄されたビットプレーン数に、さらに線形量子化を加味した、「量子化ステップ数を考慮した、破棄されたビットプレーン数の総和」も算出する。

その算出であるが、例えば
当該コードブロックの非ゼロビットプレーン数:NZBP
当該コードブロックに関して符号化されたビットプレーン数:CBP
当該コードブロックが含まれるサブバンドの量子化ステップ数:Ｑ
当該コードブロックに関して、線形量子化も含めて破棄されたビットプレーン数:TBP
当該コードブロックに含まれる係数の数:N
として、
［量子化ステップ数を考慮した、破棄されたビットプレーン数の総和］
＝ΣΣΣ｛TBP×N｝
（ただし、TBP＝NZBP−CBP−QBP、QBP＝log_２（Q））
により算出される。量子化ステップ数Qによる係数の量子化は、log2（Q）枚のビットプレーンの破棄にあたるからである。５×３逆変換の場合も、Q=１とすればこの例をそのまま適用可能である。

こうした、線形量子化も考慮した「破棄されたビットプレーン数の総和」は、やはり直接、原データ中から削減されたデータ量を示す指標となる。

また、先に述べたように、ウェーブレット逆変換では、係数がRGB値に戻る際には√Gsb倍される。これは、RGBに戻る際に、破棄されたサブビットプレーンの枚数が3log_２（√Gsb）枚増えることを意味する(これは、ビットプレーン換算ではlog_２（√Gsb）枚増えることにあたる)。このGsbを考慮しない「破棄されたサブビットプレーン数又はビットプレーン数の総和」でも、例えば共通のデコンポジションレベルの符号同士で比較する場合等は、削減されたデータ量の指標として使用可能である。しかし，Gsbの値はサブバンドによって異なるため、Gsbを考慮した「破棄されたサブビットプレーン数又はビットプレーン数の総和」の方が、より一般的なデータ削減量の指標となるので、その算出について次の述べる。

まず、「サブバンドゲインを考慮した、破棄されたサブビットプレーン数の総和」の算出であるが、例えば、
当該コードブロックの非ゼロサブビットプレーン数:NZSBP
当該コードブロックに関して符号化されたサブビットプレーン数:CSBP
当該コードブロックが含まれるサブバンドの量子化ステップ数:Ｑ
当該コードブロックが含まれるサブバンドのサブバンドゲイン:Gsb
当該コードブロックに関して，線形量子化も含めて破棄されたサブビットプレーン数:TSBP
当該コードブロックに含まれる係数の数:N
として、
［サブバンドゲインを考慮した、破棄されたサブビットプレーン数の総和］
＝ΣΣΣ｛TSBP×Ｎ｝
（ただし、TSBP＝NZSBP−CSBP―QSBP―GSBP、
GSBP＝３log_２（√Gsb）、QSBP＝３log_２（Q））
により算出される。５×３逆変換の場合も、Q=１とすればこの例がそのまま適用可能である。

また同様に、「サブバンドゲインを考慮した、破棄されたビットプレーン数の総和」が算出される。その算出であるが、例えば、
当該コードブロックの非ゼロビットプレーン数:NZBP
当該コードブロックに関して符号化されたビットプレーン数:CBP
当該コードブロックが含まれるサブバンドの量子化ステップ数:Ｑ
当該コードブロックに関して、線形量子化も含めて破棄されたビットプレーン数:TBP
当該コードブロックに含まれる係数の数:N
として、
［サブバンドゲインを考慮した、破棄されたビットプレーン数の総和］
＝ΣΣΣ｛TBP×Ｎ｝
（ただし、TBP＝NZBP−CBP−QBP−GBP、
QBP＝log_２（Q）、GBP＝log_２（√Gsb））
により算出される。５×３逆変換の場合も、Q=１とすればこの例がそのまま適用可能である。

さて、よく知られているように、人間の視覚特性は、低周波数領域に敏感であるが高周波数領域に鈍感であるので、低周波サブバンドの量子化誤差には敏感で、高周波サブバンドの量子化誤差には鈍感であることとなりる。したがって、視覚的には、低周波サブバンドほど量子化ステップ数を小さくし、高周波サブバンドほど量子化ステップ数を大きくするのが望ましいことになる。これを言い換えれば、低周波サブバンドほど破棄（トランケート）されるビットプレーン数を少なくし、高周波サブバンドほど破棄されるビットプレーン数を多くするのが望ましいことになる。

JPEG2000の標準書に、上記視覚特性を加味した、周波数毎のサブバンドのデータの視覚的重要性を示す「Visual Weight」という量が示されている。この「Visual Weight」は、画像への観察距離(Viewing distance)によって何種類か用意されているが、９×７変換の場合の一例を図２４に示す。「Visual Weight」の値が大きいサブバンドほど、視覚的に重要であることを示す。

JPEG2000の標準書には、「Visual Weight」の使用法として、サブバンドごとの標準的な量子化ステップ数を「Visual Weight」で除算することにより、視覚的に適切な量子化ステップ数を得る方法が記載されている。これは、破棄されたサブビットプレーンから見れば、破棄（トランケート）量にサブバンド毎の重み付けを行うことによって、さらに一般的な、視覚特性を反映したデータ削減量の指標が得られることを意味している。量子化ステップ数を重みｗで除算するということは、係数にｗを乗算することになるので、破棄するサブビットプレーン数を３log_２（ｗ）枚だけ減らしたことになる。

よって、「周波数毎の視覚特性を考慮した、破棄されたサブビットプレーン数の総和」として、［サブバンドゲイン及び「Visual Weight」を考慮した、破棄されたサブビットプレーン数の総和］を用いることができる。その算出であるが、例えば、
当該コードブロックの非ゼロサブビットプレーン数:NZSBP
当該コードブロックに関して符号化されたサブビットプレーン数:CSBP
当該コードブロックが含まれるサブバンドの量子化ステップ数:Ｑ
当該コードブロックが含まれるサブバンドのサブバンドゲイン:Gsb
当該コードブロックが含まれるサブバンドのVisual Weight:W
当該コードブロックに関して、線形量子化等も含めて破棄されたサブビットプレーン数:TSBP
当該コードブロックに含まれる係数の数:N
として、
［サブバンドゲインと「Visual Weight」を考慮した、
破棄されたサブビットプレーン数の総和］＝ΣΣΣ｛TSBP×Ｎ｝
（ただし、QSBP＝３log_２（Q）、GSBP＝３log_２（√Gsb）、
WSBP＝３log_２（W）、TSBP＝NZSBP−CSBP−QSBP−GSBP＋WSBP）
により算出される。５×３逆変換の場合も、Q=１とすれば本例がそのまま適用可能である。

また同様に、「周波数毎の視覚特性を考慮した、破棄されたビットプレーン数の総和」として、［サブバンドゲイン及び「Visual Weight」を考慮した、破棄されたビットプレーン数の総和］を用いることができる。その算出であるが、
えば、
当該コードブロックの非ゼロサブビットプレーン数:NZBP
当該コードブロックに関して符号化されたサブビットプレーン数:CBP
当該コードブロックが含まれるサブバンドの量子化ステップ数:Ｑ
当該コードブロックが含まれるサブバンドのVisual Weight:W
当該コードブロックに関して、線形量子化等も含めて破棄されたビットプレーン数:TBP
当該コードブロックに含まれる係数の数:N
として、
［サブバンドゲインと「Visual Weight」を考慮した、
破棄されたビットプレーン数の総和］＝ΣΣΣ｛ＴＢＰ×Ｎ｝
（ただし，QBP＝log_２（Q），GBP＝log_２（√Gsb），WBP＝log_２（W），
TBP＝NZBP−CBP−QBP−GBP＋WBP）
により算出される。５×３逆変換の場合も、Q=１とすれば本例がそのまま適用可能である。

さて，以上では、破棄（トランケート）されたビットプレーン数又はサブビットプレーン数を指標としてきたが、これは量子化誤差を指標としてきたと言い換えることもできる。

ビットプレーンｎ枚の破棄は、量子化ステップ数＝（２のｎ乗）による線形量子化と等価であり、この場合の平均的な量子化誤差は、量子化ステップ数の半分の、２のn-1乗になるからである。同様に、サブビットプレーンｎ枚の破棄は量子化ステップ数＝（２のｎ/3乗）による線形量子化と等価であり、この場合の平均的な量子化誤差は、量子化ステップ数の半分の、２の（n/3-1）乗になるからである。そしてこれに「Visual Weight」を組み合わせることにより、視覚特性を反映した、さらに一般的なデータ削減量の指標が得られることになる。

よって，破棄されたサブビットプレーン数に、サブバンドゲインとVisual Weightを加味することにより、視覚的な誤差の総和」を算出することができる。その算出であるが、例えば、
当該コードブロックの非ゼロサブビットプレーン数:NZSBP
当該コードブロックに関して符号化されたサブビットプレーン数:CSBP
当該コードブロックが含まれるサブバンドの量子化ステップ数:Ｑ
当該コードブロックが含まれるサブバンドのサブバンドゲイン:Gsb
当該コードブロックが含まれるサブバンドのVisual Weight:W
当該コードブロックに関して、線形量子化を含めない、破棄されたサブビットプレーン数:TSBP
当該コードブロックに含まれる係数の数:N
として、
［視覚的な誤差の総和］＝ΣΣΣ｛（２＾(TSBP/3−１)）×√Gsb／（Q/W）×N｝
（ただし、TSBP＝NZSBP―CSBP、^はべき乗を示す）
により算出される。５×３逆変換の場合も、Q=１とすれば本例がそのまま適用可能である。

また、誤差の総和を二乗和として求めることも可能であり、その場合は、
［視覚的な誤差の総和］＝ΣΣΣ｛（２＾(２TSBP/3−２)）×Gsb／（Q/W）^2×N｝
（ただし、TSBP＝NZSBP−CSBP、^はべき乗を示す）
により算出される。

同様に、破棄されたビットプレーン数に、サブバンドゲインとVisual Weightを加味した、視覚的な誤差の総和」を算出することができる。その算出であるが、例えば、
当該コードブロックの非ゼロビットプレーン数:NZBP
当該コードブロックに関して符号化されたビットプレーン数:CBP
当該コードブロックが含まれるサブバンドの量子化ステップ数:Ｑ
当該コードブロックが含まれるサブバンドのサブバンドゲイン:Gsb
当該コードブロックが含まれるサブバンドのVisual Weight:W
当該コードブロックに関して、線形量子化を含めない、破棄されたビットプレーン数：TBP
当該コードブロックに含まれる係数の数:N
として、
［視覚的な誤差の総和］＝ΣΣΣ｛（２＾(TBP−１)）×√Gsb／（Q/W）×N｝
（ただし、TBP＝NZBP−CBP、^はべき乗を示す）
により算出される。５×３逆変換の場合も、Q=１とすれば本例がそのまま適用可能である。

この誤差の総和を二乗和として求めることも可能であり、その場合は、
［視覚的な誤差の総和］＝ΣΣΣ｛（２＾(２TBP−２)）×Gsb／（Q/W）^2×N｝
（ただし、TBP＝NZBP−CBP、^はべき乗を示す）
により算出される。

なお、コンポ−ネント変換が導入される場合には、誤差の総和の算出に、上記サブバンドゲインGsbの他に逆コンポ−ネント変換のゲインGctをコンポ−ネント毎に考慮する事も可能である。この場合、Gsbの代わりにGsb×Gctを用いればよいので、その算出例の説明は省略する。また、５ｘ３変換用のVisual Weightであるが、Ｙ成分については図２４に示した９ｘ７変換用の値を用いることができ、Cb，Cr成分については図２４に示した９×７変換用の値を1/2にした値を用いることができる。

また、現符号量及びロスレス符号量に対し、サブバンドごとのVisual Weightを反映させ、［視覚特性を反映した（視覚的な重み付けをした）現符号量及びロスレス符号量］を算出することができる。その算出は、
当該サブバンドのロスレス符号量:LSLEN
当該サブバンドの現在の符号量:CURLEN
当該サブバンドのVisual Weight:W
として、
［視覚特性を反映したロスレス符号量］＝ΣΣ（LSLEN×W）
[視覚特性を反映した現在の符号量］＝ΣΣ（CURLEN×W）
により行うことができる。上記２式中のΣΣはコンポ−ネント、サブバンドそれぞれについて総和をとることを意味する。

図１に示す電子カメラ装置の説明に戻る。

前記の基準のどれをいくつ適用するかは、撮影者によって指定することができる。この指定は、例えば、表示装置１１２に表示したメニューから、適用したい単独の基準、又は、２つ以上の基準の組み合わせを選択させることによって行われる。２つ以上の基準の組み合わせが指定された場合には、それぞれの基準は予め定められた順序で適用される。また、撮影者が指定しない場合には、予め定められた１つ又は２つ以上の基準が適用される。前記基準12又は14が指定されない場合には、動画内の各フレームの序列は均等である。

再び、図４を参照する。データ量削減処理については自動実行モードを設定することができる。自動実行モードが設定されていないときには（ステップＳ１０８，Ｎｏ）、システムコントローラ１２２は一連の動作を終了させる。

データ量削減処理の自動実行モードが設定されているときには（ステップＳ１０８，Ｙｅｓ）、システムコントローラ１２２はデータ量削減処理の制御に移行する（ステップＳ１１０）。

ステップＳ１１０の自動削減処理の手順の一例を、図５のフローチャートを参照して説明する。システムコントローラ１２２は、ファイル管理情報を参照し、記録媒体１７０に所定以上の空き容量があるかチェックする（ステップＳ１２０）。空き容量が十分ならば（ステップＳ１２０，Ｙｅｓ）、処理を終了する。

空き容量が不足している場合には（ステップＳ１２０，Ｎｏ）、システムコントローラ１２２はデータ量削減管理部１６２にデータ量削減のための手順を開始させる。まず、データ量削減管理部１６２は、削減序列リスト上の最上位の画像ファイルを選択し、そのファイル管理情報を参照し（ステップＳ１２２）、当該画像ファイルに対し「サイズ変更容認指定」又は「モノクロ化容認指定」があるか調べる（ステップＳ１２４）。

いずれの指定もない場合には、データ量削減管理部１６２はステップＳ１２６の処理に進む。このステップにおいては、ファイル管理部１６６によって当該画像ファイルの読み出しを行わせ、その符号データを画像圧縮／伸長部１５０の符号生成部１６０に転送し、符号生成部１６０において当該データに対し例えばパケットの符号のなかから最高解像度レベルの一定数の下位サブビットプレーンの符号を破棄させる処理を行わせる。そして、ファイル管理部１６６によって、処理後の符号データからなる画像ファイルで記録媒体１７０上の元の画像ファイルを書き換えさせる。この書き換えに関連して、現符号量やデータ量削減処理の実施回数などのファイル管理情報も更新される。なお、その画像ファイルの符号データが複数レイヤ構成の場合には、下位レイヤを廃棄することも可能であり、そのような態様も本発明に包含される。

選択された画像ファイルに「サイズ変更許容指定」がある場合には、データ量削減管理部１６２はステップＳ１２８の処理に進む。このステップにおいては、ファイル管理部１６６によって当該画像ファイルの読み出しを行わせ、その符号データを画像圧縮／伸長部１５０の符号生成部１６０に転送し、符号生成部１６０において当該データの最高解像度レベルの符号を破棄させる処理を行わせる。そして、ファイル管理部１６６によって、処理後の符号データからなる画像ファイルで記録媒体１７０上の元の画像ファイルを書き換えさせる。ファイル管理情報も更新される。

選択された画像ファイルに「モノクロ化許容指定」がある場合には、データ量削減管理部１６２はステップＳ１３０の処理に進む。このステップにおいては、ファイル管理部１６６によって当該画像ファイルの読み出しを行わせ、その符号データを画像圧縮／伸長部１５０の符号生成部１６０に転送し、符号生成部１６０において当該データの色差Ｃｒ，Ｃｂの符号を破棄させる処理を行わせる。そして、ファイル管理部１６６によって、処理後の符号データからなる画像ファイルで記録媒体１７０上の元の画像ファイルを書き換えさせる。ファイル管理情報も更新される。

次に、データ量削減管理部１６６は、更新後のファイル管理情報を参照して序列を決定するための必要な処理を行い、削減序列リストを更新する（ステップＳ１３２）。なお、「モノクロ化容認指定」又は「サイズ変更容認指定」のある画像ファイルは、データ量削減処理を１回適用した後はデータ量削減処理の対象から除外する。いずれの指定もない画像ファイルは、データ量削減処理の適用回数が規定回数に達したならば（例えば、最高解像度レベルの上位数ビットのサブビットプレーンの符号のみになったときに）、データ量削減処理の対象から除外する。

なお、「サイズ変更容認指定」のある画像ファイルについて、データ量削減処理を複数回適用させることも可能であり、そのような態様も本発明に包含される。また、「モノクロ化容認指定」のある画像ファイルについて、モノクロ化した後に「無指定」の場合と同様のデータ量削減処理を適用させることも可能であり、そのような態様も本発明に包含される。また、「サイズ変更容認指定」のある画像ファイルについて、タイル分割が行われているならば、いくつかのタイルの符号を破棄してデータ量削減を行うことも可能であり、そのような態様も本発明に包含される。

削減序列リストの更新後、システムコントローラ１２２は記録媒体１７０の空き容量を再度チェックし（ステップＳ１２０）、空き容量が不足しているならば（ステップＳ１２０，Ｎｏ）、ステップＳ１２２以降の処理を実行させる。

なお、任意時点で操作部１２４より自動削減処理の実行を指示することができる。この指示が入力されると、システムコントローラ１２２は図５に示すデータ量削減処理の手順を開始する。

記録済み画像データに対しデータ量削減処理を実施した場合の一番の問題点は、撮影者（ユーザ）が画質の低下を容認できるか否かである。本発明においては、前記の基準１乃至１４のように、画質的観点から画像データのデータ量削減余力を判断し、データ量削減余力の大きい画像データを優先的に選択してデータ量削減処理を実施するため、データ量削減による画質の低下に関して撮影者の不満は生じにくい。また、前記の基準１５及び１６は撮影者の意向を考慮した判断基準であり、さらに、複数の基準の中から適用する基準を選択することができるため、データ量削減処理が実施される画像データの選択に撮影者の嗜好もしくは意思を反映させることもできるため、例えばファイルサイズの大きい画像データを単純に選んでデータ量削減処理を実施する構成に比べ、撮影者の高い満足度を得ることができる。さらに、データ量削減処理を実施すべき画像データを撮影者が直接選択する必要がなく、電子カメラ装置の使い勝手も向上する。

《動画撮影時の動作》
動画撮影時の動作の一例について、図６のフローチャートを参照して説明する。操作部１２４に含まれる不図示の動画撮影指示ボタンが押下されると、動画撮影指示がシステムコントローラ１２２より画像プロセッサ１１０に与えられ、画像プロセッサ１１０は動画撮影の条件でイメージセンサ１０４を駆動する。撮影された動画の各フレームの画像データは、図４のステップＳ１００〜Ｓ１０４と同様の手順で圧縮されて記録媒体１７０に記録され、ファイル管理情報が更新され、また、図４のステップＳ１０６と同様に削減序列リストの更新が行われる（ステップＳ２０２）。ただし、動画の画像データはモーションＪＰＥＧ２０００のファィル形式の画像ファイルとして記録される。

各フレーム毎に、システムコントローラ１２２はファイル管理情報を参照し、記録媒体１７０の空き容量をチェックし、空き容量の不足が予想されるときには（ステップＳ２０４，Ｙｅｓ）、現在設定されていめ圧縮率より１段階高い圧縮率を画像圧縮／伸長部１５０に指定し（ステップＳ２０６）、また、データ量削減管理部１６２にデータ量削減処理を実行させる（ステップＳ２０８）。このステップＳ２０８の処理は図５に示した処理と同様であるが、ステップＳ１２０のような空き容量チェックは行わず、常に削減序列リストの上位にある所定数の画像ファイルに対するデータ量削減処理を実行する。

このように、記録媒体１７０の空き容量の不足が心配される場合に、圧縮率を上げて新たに記録されるフレーム画像のデータ量を減らすとともに、記録済み画像ファイルに対するデータ量削減を行うことにより、動画撮影の途中で空き容量不足のために記録が不可能になる事態を回避することができる。なお、圧縮率を変更せず、記録済み画像ファイルのデータ量削減のみを行わせることも可能であり、そのような態様も本発明に包含される。

《撮影者が介入するデータ量削減処理》
任意の時点で、操作部１２４より指示することにより、撮影者が介入するデータ量削減処理のモードを選択することができる。その動作の一例を図７のフローチャートを参照し説明する。

このモードが選択されると、システムコントローラ１２２はファイル管理情報を参照し、記録媒体１７０の空き容量から予想される撮影可能枚数を算出し、これを「データ量削減方法」の指定のための案内情報とともに画像プロセッサ１１０に送り、表示装置１１２に表示させ、撮影者に「サイズ変更許容指定」「モノクロ化許容指定」「指定なし」「終了」のいずれかを選択させる（ステップＳ３００）。撮影者は、予め「サイズ変更許容指定」又は「サイズ変更許容指定」を行った画像ファイルに対してデータ量削減を行いたいときには、その指定を選択し、そのような指定のない画像ファイルに対してデータ量削減を行いたいときには「指定なし」を選択し、処理を終了したいとには「終了」を選択することができる。

撮影者により「終了」以外が選択されると、システムコントローラ１２２は、削減序列リストを参照し、上位にある画像ファイルより、そのファイル管理情報の「指定」情報を調べ、撮影者の選択した「指定」情報を持つ画像ファイルを見つけ、それをファイル管理部１６６に読み出させ、その符号データを画像圧縮／伸長部１５０に送り、最低解像度レベルの画像データを復元させる。そして、この画像データを画像プロセッサ１１０により表示装置１１２に縮小表示させ、撮影者にデータ量削減を実行するか否かの確認を求める（ステップＳ３０６）。すなわち、撮影者が選択した「指定」情報を持つ画像ファイルの縮小画像が表示され、そのデータ量削減を行うか否かを撮影者が判断することができる。

撮影者が操作部１２４でデータ量削減の実行を指示した場合には（ステップＳ３０８，Ｙｅｓ）、システムコントローラ１２２は、当該画像ファイルに対するデータ量削減処理をデータ量削減管理部１６２に実行させる（ステップＳ３１０）。このステップの処理内容は図５のステップＳ１２４〜Ｓ１３０の処理と同様である。ただし、この段階では削減序列リストの更新処理（図５、ステップＳ１３２に相当）は行わない。

この処理が終わると、システムコントローラ１２２はステップＳ３００の処理に戻る。次回のステップＳ３０６の処理においては、前回縮小表示された画像ファイルより削減序列が遅い画像ファイルが選ばれて縮小表示される。

撮影者は、撮影可能枚数から空き容量が十分だと判断した場合には、ステップＳ３００で終了を指示することができる。終了指示が入力されると（ステップＳ３０４，Ｙｅｓ）、システムコントローラ１２２は、データ量削減管理部１６２に削減序列リストの更新処理を行わせる（ステップＳ３１２）。この更新処理は図５のステップＳ１３２と同様である。

《各種指定動作》
前述のように、撮影直後又は任意時点で記録済みの画像ファイルに対し「お気に入り指定」「サイズ変更容認指定」「モノクロ化容認指定」を行うことができるが、その指定のための動作の一例を図８のフローチャートを参照し説明する。

撮影者が操作部１２４より、この動作モードを選択すると、システムコントローラ１２２は、ファイル管理情報を参照し、記録日付の新しい（又は記録日付の古い）ほうから、「指定」のない画像ファイルを１つ選択し、それをファイル管理部１６６に読み出させ、その符号データの伸長処理を画像圧縮／伸長部１５０に実行させて最低解像度レベルの画像データを復元させる。この画像データを画像プロセッサ１１０により表示装置１１２に縮小表示させ、撮影者に指定入力を促す（ステップＳ４００）。動画については、例えば最初のフレームの画像ファイルを選び、その画像を縮小表示させる。

撮影者は、「お気に入り指定」「サイズ変更容認指定」「モノクロ化容認指定」「指定無し」又は「終了」を操作部１２４で選択することができる。

システムコントローラ１２２は、「お気に入り指定」「サイズ変更容認指定」又は「モノクロ化容認指定」が選択された場合には（ステップＳ４０２，Ｙｅｓ）、当該画像ファイルのファイル管理情報に指定内容を示す情報を設定する（ステップＳ４０４）。当該画像ファイルが動画の場合には、全フレームに対し同じ指定内容を示す情報を設定する。

システムコントローラ１２２は、ステップＳ４００に戻り、前回選択した画像ファイルの次に記録日時が新しい（又は古い）「指定」のない画像ファイルを１つ選択してその画像を縮小表示させ、撮影者の指定入力を待ち、それに応じた処理を行う。撮影者から「終了」が入力されるまで、同様の処理が繰り返される。撮影者から「終了」が入力されると（ステップＳ４０６，Ｙｅｓ）、システムコントローラ１２２はデータ量削減管理部１６２に削減序列リストの更新処理を実行させ（ステップＳ４０８）、一連の動作を終了する。

前述の実施の形態においては、記録済み画像ファイルに対するデータ量削減処理のための手段として、画像圧縮／伸長部１５０の符号生成部１６０を利用したが、その手段を独立させてもよい。

また、前述の実施の形態においては、画像圧縮アルゴリズムとしてＪＰＥＧ２０００準拠の画像圧縮アルゴリズムを採用しているため、圧縮された符号データの一部廃棄によって記録済み画像ファイルのデータ量削減を行った。この方法は、符号データを伸長してから再圧縮する方法に比べて画質の劣化が少ない利点がある。しかし、再圧縮によりデータ量削減を行う方法を採用することも可能であり、そのような態様も本発明に包含される。

また、システムコントローラ１２２、画像圧縮／伸長部１５０、ファイル管理部１６６、データ量削減管理部１６２の全部又は一部を単一又は複数のプロセッサ（ＣＰＵ，ＭＰＵ）上でソフトウェアにより実現してもよい。換言すれば、図４乃至図８の各フローチャートに従って説明した処理手順をソフトウェアにより実行してもよい。パソコンなどの汎用のプロセッサ上で同様の処理手順をソフトウェアにより実施してもよい。また、そのためのプログラムと、同プログラムを記録した各種記録媒体も本発明に包含される。

本発明の実施の形態を説明するためのブロック図である。 ２次元ウェーブレット変換の説明のための図である。 画像圧縮／伸長部より生成される符号データの構造を説明するための図である。 静止画撮影時の動作を説明するためのフローチャートである。 記録済み画像データに対するデータ量削減処理を自動的に実行する動作を説明するためのフローチャートである。 動画撮影時の動作を説明するためのフローチャートである。 撮影者が介入して記録済み画像データに対するデータ量削減処理を実行する動作を説明するためのフローチャートである。 記録済み画像データに対し各種の指定を行う動作を説明するためのフローチャートである。 メインヘッダの構成を示す図である。 ＱＣＤマーカセグメントの構成を示す図である。 ＱＣＤマーカセグメントの内容を示す。 ＱＣＤマーカセグメント中のSqcd、SPqcdパラメータの内容を示す。 可逆量子化のステップサイズを示す。 非可逆量子化のステップサイズを示す。 タイルデータの内部構成とパケットの内部構成を示す図である。 ＪＰＥＧ２０００の符号化処理の概略フローを示す図である。 タイル、サブバンド、プリシンクト、コードブロックの関係を表す模式図である。 マルチレイヤ構成の一例を示す図である。 図１８に示したレイヤに含まれるパケットのいくつかを示す図である。 ９×７逆ウェーブレット変換の場合のサブバンドゲインの平方根を示す。 ５×３逆ウェーブレット変換の場合のサブバンドゲインの平方根を示す。 非可逆の逆コンポーネント変換のゲインの平方根を示す。 可逆の逆コンポーネント変換のゲインの平方根を示す。 ＪＰＥＧ２０００の標準書に示されたVisual Weightの例を示す。

符号の説明

１００ 撮像手段（画像入力手段）
１０２ 撮像光学系
１０４ イメージセンサ
１０６ アナログ信号処理部
１０８ アナログ・デジタル変換部
１１０ 画像プロセッサ
１１２ 表示装置
１１４ メモリ
１２２ システムコントローラ
１２４ 操作部
１５０ 画像圧縮／伸長部
１５２ ＤＣレベル・色空間変換部
１５４ ２次元ウェーブレット変換部
１５６ 量子化部
１５８ エントロピー符号化部
１６０ 符号生成部
１６２ データ量削減管理部
１６４ 管理情報記憶部
１６６ ファイル管理部
１６８ インターフェース部
１７０ 記録媒体

Claims (3)

1. ビットプレーン符号化された画像データを記録媒体に記録する手段と、
   前記記録媒体に記録済みの画像データのデータ量削減余力を判断するための特定の情報を取得する手段と、
   前記取得する手段により取得された情報に基づき特定の判断基準によりデータ量削減余力が大きいと判断される画像データを優先的に選択する手段と、
   前記選択する手段で選択された画像データに対しデータ量削減処理を実施する手段とを有し、
   前記取得する手段により、記録済みの動画の画像データについて、各フレームあたりのサブバンドごとの視覚的な重み付けをした現符号量とサブバンドごとの視覚的な重み付けをしたロスレス符号量の比（現符号量／ロスレス符号量）の平均値又は最大値が取得され、
   前記選択する手段において、動画の画像データの相互間では、前記取得する手段により取得された前記比の平均値又は最大値の大きい画像データが、データ量削減余力が大きいと判断されることを特徴とする画像記録装置。
2. ビットプレーン符号化された画像データを記録媒体に記録する手段と、
   前記記録媒体に記録済みの画像データのデータ量削減余力を判断するための特定の情報を取得する手段と、
   前記取得する手段により取得された情報に基づき特定の判断基準によりデータ量削減余力が大きいと判断される画像データを優先的に選択する手段と、
   前記選択する手段で選択された画像データに対しデータ量削減処理を実施する手段とを有し、
   前記取得する手段により、記録済みの動画の画像データについて、各フレームあたりの現符号量と非ゼロビットプレーンの総数の比（現符号量／非ゼロビットプレーンの総数）の平均値又は最大値が取得され、
   前記選択する手段において、動画の画像データの相互間では、前記取得する手段により取得された前記比の平均値又は最大値の大きい画像データが、データ量削減余力が大きいと判断されることを特徴とする画像記録装置。
3. 画像データを記録媒体に記録する手段と、
   前記記録媒体に記録済みの画像データのデータ量削減余力を判断するための特定の情報を取得する手段と、
   前記取得する手段により取得された情報に基づき特定の判断基準によりデータ量削減余力が大きいと判断される画像データを優先的に選択する手段と、
   前記選択する手段で選択された画像データに対しデータ量削減処理を実施する手段とを有し、
   前記選択する手段におけるデータ量削減余力の判断のための基準を複数の基準より選択可能であることを特徴とする画像記録装置。

Images