JP7242246B2 - 画像符号化装置、及びこれらの制御方法、並びにプログラム - Google Patents

Description

本発明は、画像符号化装置、及びこれらの制御方法、並びにプログラムに関し、特に、ＲＡＷ画像を圧縮する画像符号化装置、及びこれらの制御方法、並びにプログラムに関する。

近年、ＣＭＯＳイメージセンサーの高画素化により、デジタルカメラやデジタルカムコーダによる動画の１フレームあたりの記録画素数が、フルハイビジョンやＱＦＨＤといった従来の規格の領域から、６Ｋや８Ｋなどのより高い領域に到達している。

それに伴い、画像１枚当たりのデータサイズが増大しており、イメージセンサーから出力されるＲＡＷ画像から表示画像を生成するための現像処理における処理量が増大してしまい、表示画像の出画までに時間がかかるという問題がある。

また、表示画像やＲＡＷ画像そのものをデジタルカメラなどの撮像機器から表示用ディスプレイなどの機器に伝送する際に伝送路の帯域を今まで以上に圧迫してしまう。場合によっては画像をリアルタイムで出画する上で伝送路の帯域が足りずに、画像の出画に遅延が出てしまう、コマ落ちが発生するなど問題がある。

これらの問題は、インターネットなどのネットワークを介して画像を外部端末に送り、外部端末側で画像を表示するストリーミング再生に影響する。また、撮影アシストのためデジタルカメラの背面モニタにプレビューとして被写体の画像を表示する際に用いられる縮小画像の生成にも影響する。

ストリーミング再生やプレビューにおいては、外部端末であるスマートフォンの画面やデジタルカメラの背面モニタに画像を表示する際、撮影した画像に対して解像度が小さいため、画像を縮小処理した縮小画像を表示させることが一般的である。

しかしながら、ＲＡＷ画像から現像処理や縮小処理をする場合、すでに述べたとおり、現像処理の処理量が非常に多く、縮小画像の表示までに遅延が発生してしまう。

そこで、ベイヤー配列でＲ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタが配置される撮像素子の各画素からの出力信号に対してＲＧＢの多重化を行った後に、縮小処理をして縮小画像を作り、表示をする方法が特許文献１に記載されている。

その一方で、昨今では画像センサーから取得したＲＡＷ画像を圧縮して記録する技術が公知となっている。

圧縮ＲＡＷ画像が扱われるようになった背景としては、先に述べた高画素化の流れで記録するＲＡＷ画像のサイズが肥大化してしまったことで、記録メディアのコストも増大してしまったことが挙げられる。

また映画製作において色修正などのポストプロダクションによる画像編集への耐性を持たせるため、通常の撮影機器では捨てていた画像センサーの情報を余さず持っているＲＡＷ画像を扱うニーズが高まっている。しかしその一方で、ＲＡＷ画像のデータサイズがさらに肥大化してしまうという点も挙げられる。

さらに、ストリーミング再生の際、表示画像をＲＡＷ画像ではなく圧縮ＲＡＷ画像の形で外部端末に送り、外部端末側で現像、縮小処理した後、表示するようにすると、外部端末に画像を送る際に要求される転送ビットレートが少なく済む。このため、転送遅延による縮小表示のコマ落ちを防ぐことなども期待できる。

例えば、特許文献２に記載の技術では、ＲＡＷ画像からの圧縮ＲＡＷ画像の生成は、図９に示すように撮像部１０３からのＲＡＷ画像から色成分毎にサブサンプリングしてプレーン画像を生成した後に各プレーン画像を圧縮（符号化）することにより行われる。

特許第６０４９４８１号公報 特開２００３－１２５２０９号公報

しかしながら、縮小処理の処理時間は撮像素子の画素数が多いほど処理時間が増大するため、特許文献１に記載の技術を用いても依然として撮像装置での縮小画像の表示までに遅延が発生してしまうことが考えられる。

また、特許文献２に記載の技術で生成した圧縮ＲＡＷ画像のストリーミング再生を行う場合、圧縮ＲＡＷ画像の伸長処理も縮小画像表示の過程で必要となり、処理量がさらに増大するため、ストリーミング再生に遅延が発生してしまうことが考えられる。

本発明は上記の問題点に鑑み、縮小画像の表示やストリーミング再生を高速に行うことが可能な画像記録フォーマットの圧縮ＲＡＷ画像を生成できる画像符号化装置、及びこれらの制御方法、並びにプログラムを提供することを目的とする。

本発明の請求項１に係る画像符号化装置は、ＲＡＷ画像を、輝度成分と、第１～第３の色差成分の、４つのプレーンに変換する変換手段と、前記４つのプレーンに対して階層的な周波数分解を行い夫々複数のサブバンドを生成する第１の生成手段と、前記複数のサブバンドを圧縮符号化して複数の圧縮サブバンドを生成する第２の生成手段と、前記４つのプレーンの前記複数の圧縮サブバンドを、前記周波数分解における階層に基づいたグループ毎にまとめて配置する配置手段と、前記配置された複数の圧縮サブバンドが格納される圧縮ＲＡＷ領域と、前記複数の圧縮サブバンドに関する情報が格納される情報管理領域とを含む記録ファイルを生成する第３の生成手段とを備え、前記配置手段は、前記４つのプレーンのうちの前記輝度成分、前記第１の色差成分、及び、前記第２の色差成分の圧縮サブバンドの前記周波数分解における階層に基づくグループを、低階層のグループから高階層のグループの順で配置し、前記４つのプレーンのうちの前記第３の色差成分は、前記輝度成分、前記第１の色差成分、及び、前記第２の色差成分の圧縮サブバンドのグループの後に配置することを特徴とする。
本発明の請求項６に係る画像符号化装置は、ＲＡＷ画像を、輝度成分と、第１～第３の色差成分の、４つのプレーンに変換する変換手段と、前記４つのプレーンに対して階層的な周波数分解を行い夫々複数のサブバンドを生成する第１の生成手段と、前記複数のサブバンドを圧縮符号化して複数の圧縮サブバンドを生成する第２の生成手段と、前記４つのプレーンの前記複数の圧縮サブバンドを、前記周波数分解における階層に基づいたグループ毎にまとめて配置する配置手段と、前記配置された複数の圧縮サブバンドが格納される圧縮ＲＡＷ領域と、前記複数の圧縮サブバンドに関する情報が格納される情報管理領域とを含む記録ファイルを生成する第３の生成手段とを備え、前記配置手段は、前記第１～第３の色差成分の内、２つの色差成分を表示用色差成分として選択する選択手段を更に備え、
前記複数の圧縮サブバンドのうち、前記輝度成分及び前記選択された表示用色差成分の圧縮サブバンドを前記階層に基づいたグループ毎にまとめて配置し、前記複数の圧縮サブバンドのうち、前記第１～第３の色差成分の内、前記表示用色差成分として選択されなかった色差成分の圧縮サブバンドを前記階層に基づいたグループとは異なるＲＡＷ再構成用データグループにまとめて配置することを特徴とする。

本発明によれば、縮小画像の表示やストリーミング再生を高速に行うことが可能な画像記録フォーマットの圧縮ＲＡＷ画像を生成できる。

実施例１に係る画像符号化装置のハードウェア構成を示すブロック図である。 実施例１に係るＲＡＷ画像の符号化処理の概略構成を示す図である。 図２におけるウェーブレット変換処理によるウェーブレット回数が２回である場合に生成されたサブバンドを示す図である。 図２における量子化処理で用いられる量子化ステップサイズの算出例を示す図である。 実施例１に係るＲＡＷ画像の階層表示を示す図である。 実施例１に係るプレーン画像の多重化による縮小画像の生成方法について説明するための図である。 実施例１に係る画像記録フォーマットを示す図である。 図７Ａにおける解像度ヘッダに格納される、ＲＡＷ画像を階層表示する際に用いられるパラメタを示す表である。 画像記録フォーマット毎の、縮小画像の表示に必要な記録ファイルからの圧縮サブバンドの読み出し回数を説明するための図である。 図２における色分離処理によりＲＡＷ画像からプレーン画像に分離する例を示す図である。 実施例１に係る画像符号化処理の手順を示すフローチャートである。 実施例２に係るＲＡＷ画像の階層表示を示す図である。 実施例２に係る色差成分の解像度拡張方法を示す図である。 実施例２に係る色差成分の解像度拡張方法の変形例を示す図である。 実施例２に係る画像記録フォーマットを示す図である。 図１３Ａにおける解像度ヘッダに格納される、ＲＡＷ画像を階層表示する際に用いられるパラメタを示す表である。

以下、本発明の好ましい実施の形態を添付の図面を参照して詳細に説明する。

図１は、実施例１に係る画像符号化装置のハードウェア構成を示すブロック図である。

図１において、画像符号化装置１００は、ＣＰＵ１０１、光学部１０２、撮像部１０３、色分離部１０４、プレーン変換部１０５、ウェーブレット変換部１０６、量子化部１０７、及びエントロピー符号化部１０８を備える。さらに、画像符号化装置１００は、メモリＩ／Ｆ１０９、メモリ１１０、記録処理部１１１、記録媒体１１２を備える。

ＣＰＵ１０１は、ＣＰＵ１０１が実行する制御プログラムを格納するメモリを持ち、画像符号化装置１００の全体の処理を制御する。また、ＣＰＵ１０１は、メモリＩ／Ｆ１０９にアクセスし、メモリ１１０に格納された符号化ストリーム（圧縮ＲＡＷデータ）を並べ替えるプログラムも持つ。

光学部１０２は、光学レンズ、絞り、フォーカス制御及びレンズ駆動部を含む光学ズームが可能なレンズ光学系で構成されており、レンズ光学系を通して取得した光情報を、撮像部１０３に送る。

撮像部１０３は、光学部１０２から送られた光情報を電気信号に変換する撮像素子を含み、ＣＰＵ１０１から撮影命令を受けて撮像素子により得られた電気信号をデジタル信号へ変換してＲＡＷ画像を生成する。撮像部１０３はその生成されたＲＡＷ画像をメモリＩ／Ｆ１０９を介してメモリ１１０に記憶させると共に、色分離部１０４に読み出し許可信号を送る。色分離部１０４は撮像部１０３から受け取った読み出し許可信号を合図として動作を開始する。尚、撮像部１０３の撮像素子は、光情報を電気信号に変換する素子であればよく、例えば、ＣＣＤイメージセンサーやＣＭＯＳセンサー等が例示される。

色分離部１０４は、撮像部１０３からの読み出し許可信号を受けてメモリ１１０からＲＡＷ画像を読み出し、そのＲＡＷ画像からＲ，Ｂ，Ｇ１，Ｇ２成分のプレーン画像を生成する色プレーン分離を行う。色分離部１０４はその生成された各プレーン画像をプレーン変換部１０５に送る。

プレーン変換部１０５は、色分離部１０４から送られた各プレーン画像に対してプレーン変換を実施し、輝度（Ｙ）成分のプレーン画像、および色差（Ｃ１，Ｃ２，Ｃ３）成分のプレーン画像を生成する。プレーン変換部１０５は、その生成された各プレーン画像をウェーブレット変換部１０６に送る。尚、プレーン変換部１０５は、複数の計算式を実装しておき、ＣＰＵ１０１で実際に使用する計算式を選択してもよい。

ウェーブレット変換部１０６は、プレーン変換部１０５から送られた各プレーン画像に対し階層的な周波数分解を行い、複数のサブバンドを生成するウェーブレット変換を行う。ウェーブレット変換部１０６は、その生成された各サブバンドをウェーブレット変換部１０６に送る。尚、ウェーブレット変換部１０６によるウェーブレット変換の回数（以下、「ウェーブレット回数」という。）は、ＣＰＵ１０１で設定される。

量子化部１０７は、ウェーブレット変換部１０６より送られた各サブバンドに対して、所定の量子化ステップサイズに基づいて夫々を量子化する。量子化部１０７は、その量子化された各サブバンドをエントロピー符号化部１０８に送る。ここで、量子化部１０７で用いられる量子化ステップサイズは、ＣＰＵ１０１より与えられた１つのベースとなる量子化ステップサイズから各サブバンドで異なる重みづけをしつつ設定してもよい。また、ＣＰＵ１０１により各サブバンドで個別に量子化ステップサイズを設定してもよい。

エントロピー符号化部１０８は、量子化部１０７から送られた量子化された各サブバンドに対してハフマン符号や算術符号等を用いたエントロピー符号化を行って符号化ストリームを生成する。また、エントロピー符号化部１０８は、符号化ストリームをメモリＩ／Ｆ１０９を介してメモリ１１０に記憶する。

メモリＩ／Ｆ１０９は、ＣＰＵ１０１、撮像部１０３、色分離部１０４、エントロピー符号化部１０８、記録処理部１１１等の画像符号化装置１００の各処理部からのメモリ・アクセス要求を調停し、メモリ１１０に対する読み出し・書き込み制御を行う。

メモリ１１０は、ＣＰＵ１０１、撮像部１０３、エントロピー符号化部１０８等の画像符号化装置１００の各処理部から出力される各種データを格納するための例えば揮発性メモリで構成される記憶領域である。

記録処理部１１１は、ＣＰＵ１０１からの記録命令に従い、メモリ１１０へ格納された符号化ストリーム等の各種データを記録媒体１１２へ記録する。またＣＰＵ１０１からの読出命令に従い、その各種データを読み出す。

記録媒体１１２は、例えば不揮発性メモリで構成される記録メディアである。

次に、ＲＡＷ画像を実施例１に係る画像記録フォーマットに符号化して圧縮ＲＡＷ画像を生成する符号化処理２００について、図２を参照して説明する。

図２に示すように、符号化処理２００は、色分離処理２０１、プレーン変換処理２０２、ウェーブレット変換処理２０３、量子化処理２０４、エントロピー符号化処理２０５で構成されている。

色分離処理２０１は、色分離部１０４により実行される処理であり、図９に示すように、入力されたＲＡＷ画像からＲ，Ｂ，Ｇ１，Ｇ２成分の４つのプレーン画像を生成する。

プレーン変換処理２０２は、プレーン変換部１０５により実行される処理である。具体的には、色分離処理２０１によって生成された各プレーン画像に対して、プレーン変換を実施し、輝度（Ｙ）成分のプレーン画像、および色差（Ｃ１，Ｃ２，Ｃ３）成分の４つのプレーン画像を生成する。ここで、プレーン変換は、例えば以下の数式（１）に基づいて生成される。また数式１のＣ３成分のように色差成分の内の１つをＧ１，Ｇ２成分の差分成分としている計算式であるのならば、以下の数式（２）に則った行列を用いた計算式を複数用意してもよい。

ウェーブレット変換処理２０３は、ウェーブレット変換部１０６により実行される処理であり、プレーン変換処理２０２によって生成された輝度色差成分の各プレーン画像のウェーブレット変換を実施し、図３で示すようなサブバンドを生成する。

図３は、ウェーブレット変換処理２０３によるウェーブレット回数が２回である場合に生成されたサブバンドを示す図である。

プレーン変換処理２０２によって生成された輝度色差成分の各プレーン画像に対するウェーブレット回数が１回の場合、１ＬＬ、１ＨＬ、１ＬＨ、１ＨＨの４つのサブバンドが各プレーン画像から生成される。ここで、Ｌが低域、Ｈが高域を表す。Ｌ、Ｈの前の数字が分解レベルを表す。例えば、１ＨＬは、水平方向が高域成分で、垂直方向が低域成分である分解レベル（ウェーブレット回数）＝１のサブバンド画像を表す。なお、ウェーブレット回数に制限はない。また、２回目以降のウェーブレット変換は、直前のウェーブレット変換で得られたサブバンドＬＬに対して再帰的に行うことになる。それ故、予定した回数のウェーブレット変換を行った際のサブバンドＬＬは１つしか存在しない。図３は、ウェーブレット回数が２回である場合を示しているので、１ＨＬ、１ＬＨ、１ＨＨ、２ＨＬ、２ＬＨ、２ＨＨ、２ＬＬの７つのサブバンドが生成される。 図２に戻り、量子化処理２０４は、量子化部１０７により実行される処理であり、ウェーブレット変換処理２０３で生成された各サブバンドを所定の量子化ステップサイズに基づいて量子化する。ここで、量子化処理２０４で用いられる量子化ステップサイズは、図４で示すように、予め設定されたベース量子化ステップサイズとサブバンド毎の重み係数から算出する。以下、図４を用いて、ウェーブレット回数が１回であって、ベース量子化ステップサイズが４に設定されている場合を例にして、Ｙプレーン画像から生成されたサブバンド（以下、「Ｙ成分のサブバンド」という。）の量子化を説明する。

量子化処理２０４において、Ｙ成分の１ＬＬ、１ＨＬ，１ＬＨ，１ＨＨの４つのサブバンドに設定された重み係数１，１．５，１．５．２にベース量子化ステップサイズである４が夫々乗算される。これにより、Ｙ成分の１ＬＬ、１ＨＬ，１ＬＨ，１ＨＨの４つのサブバンドの量子化ステップサイズは、４，６，６，８と算出される。尚、本実施例では、量子化処理２０４で用いられる量子化ステップサイズは、各サブバンドで同一の値である４が設定されていたが、各サブバンドで個別にその値が設定されていてもよい。

図２に戻り、エントロピー符号化処理２０５は、エントロピー符号化部１０８で実行される処理であり、量子化処理２０４で量子化された各サブバンドに対してハフマン符号や算術符号等を用いたエントロピー符号化を行う。これにより、各サブバンドが圧縮符号化され、複数の圧縮サブバンドが生成される。

ここで、前述した圧縮ＲＡＷ画像は、エントロピー符号化処理２０５で生成した複数の圧縮サブバンドで構成されているものとする。

続いて、図２の符号化処理２００により生成された複数の圧縮サブバンドを用いてＲＡＷ画像の縮小表示を行う方法を図５を参照して説明する。

図５は、水平８１９２画素、垂直４３２０ラインのサイズを持つＲＡＷ画像の階層的なサイズの画像表示（以下、「階層表示」という。）を示す図である。尚、図５の例は、ウェーブレット回数を１回としている。

図５は、３階層（階層１～３）の表示サイズの画像５００ａ～ｃと、その画像を生成するために使用される輝度色差成分のサブバンドを示す。

階層３における画像５００ａは、ＲＡＷ画像そのままのサイズである水平８１９２画素、垂直４３２０ラインの表示サイズの画像であり、図５ではその右に、画像５００ａを生成するために使用される輝度色差成分のサブバンドを示す。

階層２における画像５００ｂは、ＲＡＷ画像に対して水平方向に２分の１、垂直方向に２分の１に縮小した水平４０９６画素、垂直２１６０ラインの表示サイズの画像である。図５ではその右に、画像５００ｂを生成するために使用される輝度色差成分のサブバンドを示す。

階層１における画像５００ｃは、ＲＡＷ画像に対して水平方向に４分の１、垂直方向に４分の１に縮小した水平２０４８画素、垂直１０８０ラインの表示サイズの画像である。図５ではその右に、画像５００ｃを生成するために使用される輝度色差成分のサブバンドを示す。

画像５００ａのような、水平８１９２画素、垂直４３２０ラインのＲＡＷ画像そのままの表示サイズの画像は、圧縮ＲＡＷ画像をデコードし、デコードしたＲＡＷ画像の現像処理を行なって生成される。ここで、現像処理とはＲＡＷ画像に対してデベイヤー処理（デモザイク処理）を施し、輝度と色差から成る信号に変換、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの処理のことを指す。尚、このようなＲＡＷ画像そのままの表示サイズの画像５００ａの生成には、ＲＡＷ画像から生成された全ての圧縮サブバンドのデコードが必要となる。

画像５００ｂのような、水平４０９６画素、垂直２１６０ラインの表示サイズの縮小画像は、後述するようにＲＡＷ画像の現像処理は行わず、ＲＡＷ画像のＹ成分、および２つの色差成分のプレーン画像を多重化して生成する。これにより、１画素毎に３成分の輝度色差成分を持った画像として画像５００ｂが生成される。ここで、本実施例において、ＣＰＵ１０１は、Ｃ１～Ｃ３の３つの色差成分のうち上記２つの縮小画像の表示を行うための色差成分（表示用色差成分）としてＣ１，Ｃ２成分を選択している（選択手段）。尚、このような水平４０９６画素、垂直２１６０ラインの表示サイズの画像５００ｂの生成には、ＲＡＷ画像から生成されたＹ、Ｃ１、Ｃ２成分の全ての圧縮サブバンドのデコードが必要となる。尚、ＣＰＵ１０１が選択する表示用色差成分は、Ｃ１～Ｃ３の３つの色差成分のうちの２つであればこれに限定されない。

画像５００ｃのような、水平２０４８画素、垂直１０８０ラインの表示サイズの縮小画像は、画像５００ｂと同様にＲＡＷ画像の現像処理は行わず、ＲＡＷ画像から生成されたＹ、Ｃ１、Ｃ２成分１ＬＬのサブバンドを多重化して生成する。これにより、１画素毎にＹ、Ｃ１、Ｃ２の３成分を持った１ＬＬのサイズの画像として画像５００ｃが生成される。尚、このような水平２０４８画素、垂直１０８０ラインの表示サイズの画像５００ｃの生成には、ＲＡＷ画像から生成されたＹ、Ｃ１、Ｃ２成分の１ＬＬの圧縮サブバンドのデコードが必要となる。

次に、Ｙ、Ｃ１、Ｃ２成分のプレーン画像の多重化による縮小画像の生成方法を、図６を用いて説明する。すなわち、図６では、生成される縮小画像が水平４０９６画素、垂直２１６０ラインの表示サイズの画像５００ｂである場合を例示する。尚、ここでの説明ではＣ１、Ｃ２成分のプレーン画像は上記数式（１）、または数式（２）に基づいてプレーン変換される。すなわち、Ｃ１成分は、青系統の色の色相と彩度を表わすＣｂ成分に対応する成分であり、Ｃ２成分は、赤系統の色の色相と彩度を表わすＣｒ成分に対応する成分である。

上記数式（１），（２）で示すように、本実施例におけるプレーン変換で用いる計算式は、ＲＡＷ画像を構成する色成分の内、Ｇ１、Ｇ２成分の平均、Ｒ成分、およびＢ成分を用いて輝度（Ｙ）成分と２つの色差（Ｃ１、Ｃ２）成分を生成する。また、Ｇ１、Ｇ２成分の差分を３つめの色差（Ｃ３）成分として生成する。

また輝度成分、色差成分の夫々のプレーン画像の画素数は等しいため、プレーン画像のサイズにおいては、同画素位置に各プレーン画像の輝度成分と色差成分が配置されるとみなすことができる。

そのため、プレーン画像の同画素位置の輝度成分、およびＧ１、Ｇ２成分の差分であるＣ３成分以外の色差成分（Ｃ１，Ｃ２成分）を用いる。これにより、画像５００ｂの各画素位置に対してＲＧＢの３成分を揃えることができ、そのまま表示に用いることが可能となる。

図６の例では、ＲＡＷ画像を色分離、プレーン変換により、Ｙ、Ｃ１、Ｃ２、Ｃ３の各プレーン画像が生成される。さらに、図６では不図示であるが、その後、１回のウェーブレット変換を行った場合Ｙ、Ｃ１、Ｃ２、Ｃ３の各プレーン画像から夫々１ＬＬ、１ＨＬ、１ＬＨ、１ＨＨのサブバンドが生成される。

縮小画像生成の際には、まず、その生成されたサブバンドが合成されてＹ、Ｃ１、Ｃ２成分のプレーン画像に戻される。その後、そのＹ、Ｃ１、Ｃ２成分のプレーン画像を多重化して、１画素にＹ成分、Ｃ１（≒Ｃｂ）成分、Ｃ２（≒Ｃｒ）成分の３成分を持ったプレーン画像と同じ解像度を持つ画像を生成する。その後、その生成された画像のＹ、Ｃ１、Ｃ２の３成分をＲ、Ｇ、Ｂの３成分に変換することで、１画素にＲ成分、Ｇ成分、Ｂ成分を持った画像５００ｂを生成する。この画像５００ｂを表示することにより、ＲＡＷ画像の階層２の表示サイズでの縮小表示をすることができる。

尚、本実施例ではＹ成分とＣ１，Ｃ２の２つの色差成分の３つの成分を持った縮小画像を生成しているが、これに限定されない。例えば、全ての成分、すなわち、Ｙ成分とＣ１～Ｃ３の３つの色差成分を持った縮小画像を生成してもよい。例えば、Ｙ、Ｃ１、Ｃ２、Ｃ３成分の１ＬＬのサブバンドから縮小サイズのＲＡＷ画像を生成し、その縮小サイズのＲＡＷ画像を現像することで、縮小画像を生成してもよい。また、上述の通り、画像５００ａの生成の際にＹ、Ｃ１，Ｃ２、Ｃ３成分の圧縮ＲＡＷ画像をデコードしてＲＡＷ画像に戻す処理が入るが、Ｙ、Ｃ１，Ｃ２、Ｃ３成分の１ＬＬサイズの圧縮ＲＡＷ画像に対して同様の処理を行って、縮小画像を生成してもよい。

続いて、実施例１に係る画像記録フォーマットについて図７Ａ，Ｂを用いて説明する。

図７Ａに示す画像記録フォーマット７００は、情報管理部７０１と、圧縮ＲＡＷ部７０２で構成される。

情報管理部７０１は、メインヘッダ７０３、解像度ヘッダ７０４、サブバンドヘッダ７０５で構成される。

圧縮ＲＡＷ部７０２は、ＲＡＷ画像を圧縮して生成した各サブバンドの圧縮データ、すなわち、圧縮サブバンドを、後述するサブバンドヘッダ７０５と同様にＲＡＷ画像の階層表示に基づいた階層のグループ毎にまとめて格納する。

メインヘッダ７０３は、撮影したＲＡＷ画像の画像サイズや画素ビット数、ウェーブレット回数、およびプレーン変換に用いる数式等の情報を格納している。

解像度ヘッダ７０４は、ＲＡＷ画像を階層表示する際に用いられるパラメタ、すなわち、圧縮ＲＡＷ画像を復号するための復号情報を格納する。具体的には、復号画像（縮小画像）の表示サイズ、ウェーブレット回数、縮小画像を生成するのに使用するサブバンド数、読み出しデータサイズ、復号画像がＲＡＷ画像であるか否かのフラグ（図７Ｂの表の「現像」が該当）を格納する。ここで、読み出しデータサイズとは、縮小画像を生成する際に必要な圧縮サブバンドのデータサイズを指す。尚、解像度ヘッダ７０４がＲＡＷ画像であるか否かのフラグを持つのは、縮小画像を表示する際にこのフラグを参照して、デコード後に現像処理をするか否か判断するためである。すなわち、解像度ヘッダ７０４は、図５に示す各表示階層に関する情報をパラメタとして格納する。

ここで例として、解像度ヘッダ７０４で格納されるパラメタのうち画像５００ｂの表示に使用される階層２の情報を図７Ｂの表を用いて説明する。

階層２の情報は、表示サイズが４０９６画素×２１６０ライン、ウェーブレット回数が１回、使用サブバンド数が１２となっている。また、読み出しデータサイズが圧縮ＲＡＷ部７０２の階層１，２のグループでまとめられた圧縮サブバンドの合計サイズ、また表示の際に現像処理は不要となっている。尚、階層２の画像５００ｂは、Ｙ、Ｃ１、Ｃ２成分の夫々の１ＬＬ、１ＨＬ、１ＬＨ、１ＨＨの４つのサブバンドを使用して生成されるので使用サブバンド数は１２となる。また、上記１２個のサブバンドのうち、Ｙ、Ｃ１、Ｃ２成分の夫々の１ＬＬのサブバンドは圧縮ＲＡＷ部７０２で階層１のグループの圧縮サブバンドとしてまとめられる。一方、残りのサブバンドは圧縮ＲＡＷ部７０２で階層２のグループの圧縮サブバンドとしてまとめられる。よって、読み出しデータサイズは圧縮ＲＡＷ部７０２で階層１，２のグループにまとめられる圧縮サブバンドのデータサイズの総和となる。

すなわち、ウェーブレット回数がＮ回の場合、階層ｎ（１≦ｎ≦Ｎ＋１）の情報に含まれる読み出しデータサイズは、階層１～ｎまでにまとめられる圧縮サブバンドのデータサイズの総和となる。

図７Ａに戻り、サブバンドヘッダ７０５は、圧縮ＲＡＷ部７０２で保持される圧縮サブバンド毎のパラメタ（圧縮サブバンド情報）を格納する。このパラメタは、圧縮サブバンド毎のデータサイズや量子化パラメタ、ウェーブレット分解におけるどのサブバンドであるのか（例えば、図３に示す２ＨＬのサブバンドである等）、またＹ、Ｃ１、Ｃ２、Ｃ成分のいずれであるかの情報を含む。

圧縮ＲＡＷ部７０２における各圧縮サブバンドの並びは、ウェーブレット回数がＮ回の場合、図７Ａに示すようになる。すなわち、階層１のグループにはＹ、Ｃ１、Ｃ２成分の順に、ＮＬＬの圧縮サブバンドが並べられ、階層２のグループには、Ｙ、Ｃ１、Ｃ２成分の順に、ＮＨＬ、ＮＬＨ、ＮＨＨの圧縮サブバンド群が並べられる。階層３のグループには、Ｙ、Ｃ１、Ｃ２成分の順に（Ｎ－１）ＨＬ、（Ｎ－１）ＬＨ、（Ｎ－１）ＨＨの圧縮サブバンド群が並べられる。また、階層４のグループには、Ｙ、Ｃ１、Ｃ２成分の順に（Ｎ－２）ＨＬ、（Ｎ－２）ＬＨ、（Ｎ－２）ＨＨの圧縮サブバンド群が並べられる。同様の方法で階層５～Ｎ－１のグループにおいても複数の圧縮サブバンドが並べられる。階層ＮのグループにはＹ、Ｃ１、Ｃ２成分の順に２ＨＬ、２ＬＨ、２ＨＨの圧縮サブバンド群が並べられる。また、階層Ｎ＋１のグループにはＹ、Ｃ１、Ｃ２成分の順に１ＨＬ、１ＬＨ、１ＨＨの圧縮サブバンド群が並べられ、最後の階層Ｎ＋２のグループには縮小表示には使用されないＣ３の全圧縮サブバンドが並べられる。サブバンドヘッダ７０５に保持される圧縮サブバンドの夫々に関するパラメタも、かかる圧縮ＲＡＷ部７０２における各圧縮サブバンドの並びと同様に階層のグループ毎にまとめられる。

以上のように、圧縮ＲＡＷ部７０２では、まず、縮小表示で用いる成分、すなわちＹ成分及び表示用色差成分（Ｃ１、Ｃ２成分）の圧縮サブバンドのグループが縮小表示の階層１～Ｎ＋１の順で階層のグループ毎にまとめて並べられる。すなわち、Ｙ、Ｃ１、Ｃ２成分の圧縮サブバンドのグループが低階層のグループから高階層のグループの順で配置される。またこの際、各グループ内において、Ｙ成分の圧縮サブバンドが先に配置される。その後、縮小表示で用いない色差成分（Ｃ３成分）の圧縮サブバンドが縮小表示の階層のグループとは異なるグループ（ＲＡＷ再構成用データグループ）にまとめて並べられる。

図５の縮小表示を例とすると、圧縮ＲＡＷ部７０２において、階層１のグループにＹ、Ｃ１、Ｃ２成分の順に１ＬＬの圧縮サブバンドが配置され、階層２のグループにＹ、Ｃ１、Ｃ２成分の順に１ＨＬ、１ＬＨ、１ＨＨの圧縮サブバンド群が配置される。また、最後の階層３のグループにＣ３の全サブバンド夫々が配置される。

尚、解像度ヘッダ７０４で読み出しデータサイズとして格納される情報は、縮小画像を生成する際に圧縮ＲＡＷ部７０２から読み取る圧縮サブバンドのデータサイズの総和でなくてもよい。例えば、その縮小画像の表示階層に対応する圧縮ＲＡＷ部７０２の階層のグループにまとめられた圧縮サブバンドのデータサイズの総和としてもよい。また、この場合、この情報を表示に必要な圧縮サブバンドの読み出しの際に使用してもよい。

図７Ａに示す解像度ヘッダ７０４を例に示すとすれば、階層１の読み出しデータサイズは、圧縮ＲＡＷ部７０２の階層１のグループにまとめられているＹ、Ｃ１、Ｃ２成分のＮＬＬの圧縮サブバンドのデータサイズの総和となる。また、階層２の読み出しデータサイズは、圧縮ＲＡＷ部７０２の階層２のグループにまとめられるＹ，Ｃ１，Ｃ２成分のＮＨＬ／ＮＬＨ／ＮＨＨの圧縮サブバンド群のデータサイズの総和となる。階層３の読み出しデータサイズは、圧縮ＲＡＷ部７０２の階層３のグループにまとめられるＹ，Ｃ１，Ｃ２成分の夫々の（Ｎ－１）ＨＬ／（Ｎ－１）ＬＨ／（Ｎ－１）ＨＨの圧縮サブバンド群のデータサイズの総和となる。階層４の読み出しデータサイズは、圧縮ＲＡＷ部７０２の階層４のグループにまとめられるＹ，Ｃ１，Ｃ２成分の夫々の（Ｎ－２）ＨＬ／（Ｎ－２）ＬＨ／（Ｎ－２）ＨＨの圧縮サブバンド群のデータサイズの総和となる。同様の方法で階層５～Ｎ－１の読み出しデータサイズも階層５～Ｎ－１のグループの圧縮サブバンド群のデータサイズの総和となる。また、階層Ｎの読み出しデータサイズは、圧縮ＲＡＷ部７０２の階層ＮのグループにまとめられるＹ，Ｃ１，Ｃ２成分の夫々の２ＨＬ／２ＬＨ／２ＨＨの圧縮サブバンド群のデータサイズの総和となる。同様に、階層Ｎ＋１の読み出しデータサイズは、圧縮ＲＡＷ部７０２の階層Ｎ＋１のグループにまとめられるＹ，Ｃ１，Ｃ２成分の夫々の１ＨＬ／１ＬＨ／１ＨＨの圧縮サブバンド群のデータサイズの総和となる。

以上、実施例１によれば、ＲＡＷ画像を図７Ａに示す画像記録フォーマット７００に従って圧縮ＲＡＷ画像に符号化して記録ファイルを生成し、生成した記録ファイルを記録媒体１１２に格納する。これにより、記録ファイルを記録媒体１１２から読み出して画像符号化装置１００で縮小画像を再生する場合に必要な圧縮サブバンドを効率的に取り出すことができる。また、外部の表示機器に転送してストリーミング再生する場合においては、必要な圧縮サブバンドを効率的に取り出してスマートフォンなどの表示機器に転送することができる。ここで、記録ファイルとは、画像記録フォーマット７００に従い、圧縮ＲＡＷ画像を構成する複数の圧縮サブバンド、圧縮ＲＡＷ画像を復号するための復号情報などを格納したデータのことを指す。

図８を参照して、本実施例の画像記録フォーマット７００及び公知の２つの画像記録フォーマット毎の、縮小画像の表示に必要な記録ファイルからの圧縮サブバンドの読み出し回数について説明する。

図８は、本実施例の画像記録フォーマット及び公知の２つの画像記録フォーマット毎の、記録ファイルに圧縮サブバンドを記録する際の並べ方を表す。

記録ファイル８００ａは、解像度⊃プレーン⊃サブバンドの包含関係となる画像記録フォーマットで並べられた圧縮サブバンドを有する。解像度⊃プレーン⊃サブバンドの包含関係は、ＪＰＥＧ２０００などの公知の画像記録フォーマットで規定されている。

記録ファイル８００ｂは、プレーン⊃解像度⊃サブバンドの包含関係となる画像記録フォーマットで並べられた圧縮サブバンドを有する。プレーン⊃解像度⊃サブバンドの包含関係は、記録ファイル８００ａと同様に、ＪＰＥＧ２０００などの公知の画像記録フォーマットで規定されている。

記録ファイル８００ｃは、図７Ａの画像記録フォーマット７００で並べられた圧縮サブバンドを有する。

図５に示す水平４０９６画素、垂直２１６０ラインの表示サイズの画像５００ｂを表示する場合を例とすると、図８に示す点線で示す部分の圧縮サブバンドを記録ファイル８００ａ～ｃで読み出す必要がある。

具体的には、記録ファイル８００ａでは、Ｙ，Ｃ１、Ｃ２成分の１ＬＬのサブバンド、およびＹ、Ｃ１、Ｃ２成分の１ＨＬ、１ＬＨ、１ＨＨのサブバンド群で２回の読み出しが必要となる。また、記録ファイル８００ｂでは、Ｙ成分の１ＬＬ、１ＨＬ、１ＬＨ、１ＨＨのサブバンド群、Ｃ１成分の１ＬＬ、１ＨＬ、１ＬＨ、１ＨＨのサブバンド群、Ｃ２成分の１ＬＬ、１ＨＬ、１ＬＨ、１ＨＨのサブバンド群で３回の読み出しが必要となる。このように、記録ファイル８００ａ，８００ｂでは複数回、圧縮サブバンドの読み出し処理が必要となる。これに対して、記録ファイル８００ｃではＹ、Ｃ１、Ｃ２成分の１ＬＬ、１ＨＬ、１ＬＨ、１ＨＨのサブバンド群がひとまとめとなっている。このため、ＣＰＵ１０１（読出手段）は、画像５００ｂの表示に必要な圧縮サブバンドを記録媒体１１２に記録された記録ファイル８００ｃから読み出す際、１回の読み出し処理で済む。

さらに、外部の表示機器で圧縮ＲＡＷ画像を動画として再生するストリーム再生を行う場合は、上記の読み出し処理が動画に含まれる圧縮ＲＡＷ画像の枚数だけ発生する。

すなわち、１つの記録ファイルからの読み出し処理の回数が多い程、画像符号化装置１００のハードウェア、特にＣＰＵ１０１に負荷がかかり、画像表示のための処理を圧迫し、縮小画像の表示やストリーム再生の際の遅延の原因となってしまう。このため、１つの記録ファイルからの読み出し処理の回数は少ないほうがよい。

そこで、本実施例では、記録ファイル８００ｃのように、画像記録フォーマット７００の圧縮ＲＡＷ部７０２の並べ方で圧縮サブバンドを並べる。これにより、縮小画像の表示の際に、記録媒体１１２に保存された記録ファイルから表示に必要な圧縮サブバンドを読み出す読み出し処理の回数を減らすことができる。また、上記ストリーミング再生で必要な圧縮サブバンドを外部の表示機器に送る際に、必要な圧縮サブバンドを記録媒体１１２に保存された記録ファイルから効率的に読み出すことができる。

以上、実施例１に係る画像記録フォーマット７００を記録ファイルに適用することで、記録ファイルからの読み出し処理に起因する表示遅延を軽減することができる。

続いて、実施例１に係る画像符号化処理を図１０のフローチャートを参照して説明する。

まず始めに、ＣＰＵ１０１が撮像部１０３に撮像開始指示を行う（ステップＳ１００１）。

その後、撮像部１０３がＲＡＷ画像を取得し、メモリ１１０に一時的に記憶する（ステップＳ１００２）。

続いて、色分離部１０４（変換手段）がメモリ１１０に記憶されたＲＡＷ画像を読み出し、その読み出したＲＡＷ画像から、Ｒ、Ｂ、Ｇ１、Ｇ２の４つの成分のプレーン画像を生成する色プレーン分離を行う（ステップＳ１００３）。

その後、プレーン変換部１０５（変換手段）により、Ｒ、Ｂ、Ｇ１、Ｇ２成分のプレーン画像に対してプレーン変換を実施し、Ｙ、Ｃ１、Ｃ２、Ｃ３の４つの成分のプレーン画像を生成する（ステップＳ１００４）。

続いて、ウェーブレット変換部１０６（第１の生成手段）が、Ｙ、Ｃ１、Ｃ２、Ｃ３成分のプレーン画像から複数のサブバンドを生成するウェーブレット変換を行う（ステップＳ１００５）。この際、生成された複数のサブバンドが、ウェーブレット分解におけるどのサブバンドであるか、またＹ、Ｃ１、Ｃ２、Ｃ成分のいずれであるかをメモリ１１０に一時記憶させる。

その後、量子化部１０７が各サブバンドを量子化する（ステップＳ１００６）。この際、各サブバンドの量子化パラメタをメモリ１１０に一時記憶させる。

続いて、エントロピー符号化部１０８（第２の生成手段）が量子化後の各サブバンドを圧縮して符号化ストリームを生成するエントロピー符号化を行った後、その符号化ストリームをメモリ１１０に一時記憶させる（ステップＳ１００７）。この際、圧縮サブバンド毎のデータサイズもメモリ１１０に一時記憶させる。

その後、ＣＰＵ１０１（並替手段）が、メモリ１１０に一時記憶された符号化ストリームに含まれる各サブバンドの符号化データ（圧縮サブバンド）を図７Ａに示す順に並べ替える（ステップＳ１００８）。

続いて、ＣＰＵ１０１が、図７Ａの画像記録フォーマット７００の情報管理部７０１に則ったヘッダの情報の生成を行う（ステップＳ１００９）。具体的には、ＣＰＵ１０１（並替手段）は、メモリ１１０に一時記憶されている圧縮サブバンドの夫々に関する情報についても図７Ａに示す順に並べ替えて、ヘッダの情報を生成する。

最後に、ＣＰＵ１０１（第４の生成手段）は、記録ファイルを生成し記録媒体１１２に記録する（ステップＳ１０１０）。すなわち、記録媒体１１２上に、ステップＳ１００８で並べ替えられた符号化データが圧縮ＲＡＷ部７０２に対応する記録ファイルの圧縮ＲＡＷ領域に書き込まれる。また、ステップＳ１００９で生成されたヘッダの情報が情報管理部７０１に対応する記録ファイルの情報管理領域に書き込まれる。その後、本処理を終了する。

以上、実施例１に係る画像記録フォーマット７００を記録ファイルに適用することで、縮小画像表示の際に、記録媒体１１２に保存された記録ファイルから表示に必要な圧縮サブバンドを１回の読み出し処理で読み出すことが可能となる。また、実施例１に係る画像記録フォーマット７００を記録ファイルに適用することで、ストリーミング再生の際に、必要な圧縮サブバンドを、必要最低限の転送回数で表示機器に送ることが可能となる。

このように、実施例１に係る画像記録フォーマット７００を記録ファイルに適用することで、記録ファイルからの読み出し処理やストリーミングによる転送処理による負荷を低減でき、ひいては縮小表示やストリーミング再生を高速に行うことができる。

次に、実施例２に係る画像記録フォーマットについて説明する。

実施例２に係る画像記録フォーマットは、縮小画像生成時に色差成分の解像度を輝度成分の解像度以下とすることを可能にする。これにより、実施例１に係る画像記録フォーマット７００を使用する場合よりも、圧縮サブバンドの読み出し量をさらに削減することが期待できる。

実施例１に係る画像記録フォーマット７００は、階層２の縮小画像（画像５００ｂ）の生成時にＹ、Ｃ１（≒Ｃｂ）、Ｃ２（≒Ｃｒ）の３成分のプレーン画像を多重化する。その後、１画素にＹ成分、Ｃ１成分、Ｃ２成分の３成分を持ったＹＣｂＣｒ４４４（ＹＵＶ４４４）の形式の画像を生成する。

一方、実施例２に係る画像記録フォーマットは、階層２の縮小画像の生成に使用されるＣ１、Ｃ２成分のプレーン画像の解像度をＹプレーン画像の解像度に対し、水平方向、あるいは水平／垂直方向で半分となるように間引き（以下「色差間引き」という。）する。これにより、ＹＵＶ４２２、ＹＵＶ４２０の形式の画像生成も可能とする。尚、本実施例では、Ｃ１、Ｃ２成分のプレーン画像の解像度をＹプレーン画像の解像度に対し水平方向で半分となる色差間引きを行っているが、水平又は垂直のいずれか一方の方向の色差間引きが行わればよい。

階層２の縮小画像の生成に際し、Ｙプレーン画像に対し、Ｃ１、Ｃ２プレーン画像の解像度を落とした場合について図１１を用いて説明する。

図１１は、水平８１９２画素、垂直４３２０ラインのサイズを持つＲＡＷ画像の階層表示を示す図である。尚、図１１の例は、ウェーブレット回数を１回としている。

図１１は、３階層（階層１～３）の表示サイズの画像１１００ａ～ｃと、その画像を生成するために使用される輝度色差成分のサブバンドを示す。尚、階層２の画像１１００ｂを生成するために使用される輝度色差成分のサブバンドは、図１１に示すように、画像１１００ｂの生成時に用いる色差成分の圧縮サブバンドの数を定義するサブ階層１～３により構成される。

階層３における画像１１００ａは、ＲＡＷ画像そのままのサイズである水平８１９２画素、垂直４３２０ラインの表示サイズの画像であり、図１１ではその右に、画像１１００ａを生成するために使用される輝度色差成分のサブバンドを示す。

階層２における画像１１００ｂは、ＲＡＷ画像に対して水平方向に２分の１、垂直方向に２分の１に縮小した水平４０９６画素、垂直２１６０ラインの表示サイズの画像である。図１１ではその右に、画像１１００ｂを生成するために使用される輝度色差成分のサブバンドを示す。具体的には、サブバンド群１１０１は、サブ階層１に対応する３つの成分のサブバンドを示し、サブバンド群１１０２は、サブ階層２に対応する３つ成分のサブバンドを示し、サブバンド群１１０３は、サブ階層３に対応する３つ成分のサブバンドを示す。

階層１における画像１１００ｃは、ＲＡＷ画像に対して水平方向に４分の１、垂直方向に４分の１に縮小した水平２０４８画素、垂直１０８０ラインの表示サイズの画像である。図１１ではその右に、画像１１００ｃを生成するために使用される輝度色差成分のサブバンドを示す。

画像１１００ａのような、水平８１９２画素、垂直４３２０ラインの表示サイズの画像の生成は、実施例１と同様の方法で行われる。

画像１１００ｂのような、水平４０９６画素、垂直２１６０ラインの表示サイズの縮小画像は、ＲＡＷ画像の現像処理は行わず、Ｙ、Ｃ１、Ｃ２成分のプレーン画像を多重化して生成する。これにより、１画素毎にＹ、Ｃ１、Ｃ２の３成分の輝度色差成分を持った画像として画像１１００ｂが生成される。ここで、本実施例では、サブ階層１～３で夫々異なるサブバンド群１１０１～１１０３を用いて画像１１００ｂを生成する。

具体的には、サブ階層１については、サブバンド群１１０１に示すように、Ｙ成分の１ＬＬ、１ＨＬ、１ＬＨ、１ＨＨのサブバンド、およびＣ１、Ｃ２成分の１ＬＬのサブバンドを用いて、ＹＵＶ４２０形式の縮小画像を画像１１００ｂとして生成する。

また、サブ階層２については、サブバンド群１１０２に示すように、Ｙ成分の１ＬＬ、１ＨＬ、１ＬＨ、１ＨＨのサブバンド、およびＣ１、Ｃ２成分の１ＬＬ、１ＬＨのサブバンドを用いて、ＹＵＶ４２２形式の縮小画像を画像１１００ｂとして生成する。

また、サブ階層３については、サブバンド群１１０３に示すように、Ｙ、Ｃ１、Ｃ２成分の１ＬＬ、１ＨＬ、１ＬＨ、１ＨＨのサブバンドを用いて、ＹＵＶ４４４形式の縮小画像を画像１１００ｂとして生成する。

画像１１００ｃのような、水平２０４８画素、垂直１０８０ラインの表示サイズの画像の表示は、実施例１と同様の方法で行われる。

ここで、図１１に示す階層２の各サブ階層１～３における縮小画像の生成について、図１２Ａ，Ｂを用いて説明する。

図１１に示す階層２のサブ階層１のサブバンド群１１０１は、Ｙ成分のプレーン画像の画素数に対して、Ｃ１、Ｃ２成分のプレーン画像の画素数が水平／垂直方向で２分の１に間引かれている。そこで、図１２Ａ（ａ）に示すように、サブ階層１のサブバンド群１１０１からＹＵＶ４２０形式の縮小画像のＲＧＢの３成分を生成する際に、Ｃ１、Ｃ２成分のプレーン画像を水平・垂直方向ともに２倍のアップサンプリング（解像度拡張）をする必要がある。

一方、図１１に示す階層２のサブ階層２のサブバンド群１１０２は、Ｙ成分のプレーン画像の画素数に対して、Ｃ１、Ｃ２成分のプレーン画像の画素数が水平方向で２分の１に間引かれている。そこで、図１２Ａ（ｂ）に示すように、サブ階層２のサブバンド群１１０２からＹＵＶ４２２形式の縮小画像におけるＲＧＢの３成分を生成する際に、Ｃ１、Ｃ２成分のプレーン画像を水平方向で２倍のアップサンプリングをする必要がある。

尚、サブバンド群１１０２の間引く方向は水平方向ではなく、垂直方向であってもよい。但しその場合は、アップサンプリングはＣ１、Ｃ２成分のサブバンドを垂直方向で行う必要がある。

次に、図１２Ａ（ａ），（ｂ）で、アップサンプリングの際に、隣接画素をそのままコピーしている例を示す。また、図１２Ａ（ａ），（ｂ）では、Ｙ成分の各画素を（水平座標、垂直座標）と表記し、Ｃ１、Ｃ２成分の各画素を［水平座標、垂直座標］と表記している。

図１２Ａ（ａ）では、アップサンプリングによって、例えば［１，０］の画素を右、下、右下の方向にコピーしている。一方、図１２Ａ（ｂ）では、アップサンプリングによって、例えば［１，０］の画素を右方向にコピーしている。

また、図１１のサブバンド群１１０１，１１０２を用いてＹＵＶ４２２形式の縮小画像およびＹＵＶ４２０形式の縮小画像が生成できれば、アップサンプリング方法は図１２Ａ（ａ），（ｂ）に示す方法に限定されない。例えば、図１２Ｂ（ａ），（ｂ）で示すように、ウェーブレット合成の段階でＣ１、Ｃ２成分のプレーン画像の解像度をアップサンプリングするようにしてもよい。

すなわち、サブバンド群１１０１については、図１２Ｂ（ａ）で示すように、読み出さないサブバンドの係数、具体的には、Ｃ１、Ｃ２成分のプレーン画像の１ＨＬ、１ＬＨ、１ＨＨのサブバンドの夫々の係数が全て０で構成されているものとみなす。この状態でウェーブレット合成を行う。

同様に、サブバンド群１１０２についても、図１２Ｂ（ｂ）で示すように、読み出さないサブバンドの係数、具体的にはＣ１、Ｃ２成分のプレーン画像の１ＨＬ、１ＨＨのサブバンド夫々の係数が全て０で構成されているものとみなす。この状態でウェーブレット合成を行う。

ここで、５／３タップのフィルタによるウェーブレット変換を例として、図１２Ｂ（ａ），（ｂ）で示した、読み出さないサブバンドの係数が全て０で構成されるものとみなした場合の計算を説明する。

水平方向、あるいは垂直方向に対するウェーブレット変換は次のフィルタ計算となる。

ｓはウェーブレット変換の対象となる信号、ここではプレーン画像の画素値を表す。

また、水平方向、あるいは垂直方向に対するウェーブレット合成は次の計算となる。

ここで、Ｃ１／Ｃ２の１ＨＬと１ＨＨのサブバンドをウェーブレット変換係数値がすべて０であるものとする、つまり水平方向におけるウェーブレット合成の計算におけるＨが０である場合、

となる。

計算式より、Ｃ１、Ｃ２成分のプレーン画像のサブバンドは水平方向において、奇数位置の画素値は両隣の偶数位置の画素値の平均である。つまり、読み出さないサブバンドの係数が全て０で構成されるものとみなしてウェーブレット合成することで、Ｃ１、Ｃ２成分のプレーン画像の解像度をＹ成分のプレーン画像相当にするためのアップサンプリング処理をするのと同等の処理が可能となる。

続いて、実施例２に係る画像記録フォーマット１３００について図１３Ａ，Ｂを用いて説明する。尚、実施例２に係る画像記録フォーマットの構成において、実施例１に係る画像記録フォーマットと同様のものについては、同じ符号を付した上で説明を省略する。

図１３Ａに示す画像記録フォーマット１３００は、情報管理部１３０１と、圧縮ＲＡＷ部１３０２で構成される。

情報管理部１３０１は、メインヘッダ１３０３、解像度ヘッダ１３０４、サブバンドヘッダ１３０５で構成される。

圧縮ＲＡＷ部１３０２は、ＲＡＷ画像を圧縮して生成した各サブバンドの圧縮データ、すなわち、圧縮サブバンドを後述するサブバンドヘッダ１３０５と同様にＲＡＷ画像の階層表示に基づいた階層のグループ毎にまとめて格納する。

メインヘッダ１３０３は、実施例１の画像記録フォーマット７００のメインヘッダ７０３と同様に、撮影したＲＡＷ画像の画像サイズや画素ビット数、ウェーブレット回数、およびプレーン変換に用いる数式等の情報を格納している。

解像度ヘッダ１３０４は、ＲＡＷ画像を階層表示する際に用いられるパラメタを格納する。具体的には、復号画像の表示サイズ、輝度に対して色差が間引かれているか否かのフラグ（図１３Ｂの表の「色差間引き」が該当）、ウェーブレット回数、使用するサブバンド数、読み出しデータサイズ、復号画像がＲＡＷ画像であるか否かのフラグを格納する。

階層２のように、輝度に対して色差が間引かれているか否かのフラグが１、つまり輝度に対して色差の画素が間引かれている場合は、使用するサブバンド数、読み出しデータサイズ、復号画像がＲＡＷ画像であるか否かのフラグが無効となる。この場合、後述のサブ解像度ヘッダ１３０６を参照することになる。

尚、輝度／色差間の解像度が同じか否かのフラグが１の場合は、復号画像がＲＡＷ画像ではないとみなし、表示画像生成時の現像処理は実施しない、すなわち無効とする。

すなわち、図１３Ｂに示すように、解像度ヘッダ１３０４は、図７Ｂの解像度ヘッダ７０４と同様、図１３Ａに示す各表示階層に関する情報をパラメタとして格納する。

サブ解像度ヘッダ１３０６は、各表示階層の内、輝度に対して色差の画素が間引かれている階層に含まれるサブ階層で用いられるパラメタを格納する。具体的には、サブ階層毎に、Ｃ１、Ｃ２の色差成分のデータサイズ、水平方向のウェーブレット合成の有無、垂直方向のウェーブレット合成の有無、使用するサブバンド数、読み出しデータサイズが含まれる。

ここで例として、解像度ヘッダ１３０４で格納されるパラメタのうち画像１１００ａ～ｃの表示に使用される階層１～３の情報を図１３Ｂの表を用いて説明する。

階層１の情報は、表示サイズが２０４８画素×１０８０ライン、輝度に対して色差の画素が間引かれていない、ウェーブレット回数が０回、使用サブバンド数が３となっている。また、読み出しデータサイズが圧縮ＲＡＷ部１３０２の階層１でまとめられた圧縮サブバンドの合計サイズ、また表示の際に現像処理は不要となっている。尚、階層１の画像１１００ｃは、Ｙ、Ｃ１、Ｃ２成分の１ＬＬのサブバンドを使用して生成されるので使用サブバンド数は３となる。また、上記３個のサブバンドはいずれも圧縮ＲＡＷ部１３０２で階層１の圧縮サブバンドとしてまとめられるので、読み出しデータサイズは階層１の合計サイズとなる。

また、階層２の情報は、表示サイズが４０９６画素×２１６０ライン、輝度に対して色差の画素が間引かれている、ウェーブレット回数が１回となっている。また、使用するサブバンド数、使用するサブバンドのデータサイズの総和などについては、図１３Ｂに示すように階層２に従属しているサブ解像度ヘッダの表に示す情報を参照することになる。

階層２に従属しているサブ階層の内、サブ階層２の情報は、水平ウェーブレット無、垂直ウェーブレット有、使用するサブバンド数が８、読み出しデータサイズが階層１、サブ階層１、サブ階層２の夫々でまとめられた圧縮サブバンドの合計サイズとなっている。尚、サブ階層２の縮小画像として生成される画像１１００ｂは、Ｙ成分の１ＬＬ、１ＨＬ、１ＬＨ、１ＨＨのサブバンド、およびＣ１、Ｃ２成分の１ＬＬ、１ＬＨのサブバンドを使用して生成されるので使用サブバンド数は８となる。また、上記８個のサブバンドのうち、Ｙ、Ｃ１、Ｃ２成分の１ＬＬのサブバンドは圧縮ＲＡＷ部１３０２の階層１のグループの圧縮サブバンドとしてまとめられる。また、Ｙ成分の１ＨＬ、１ＬＨ、１ＨＨのサブバンド、及びＣ１、Ｃ２成分の１ＬＨのサブバンドは、夫々圧縮ＲＡＷ部１３０２の階層２のサブ階層１，２のグループの圧縮サブバンドとしてまとめられる。よって。読み出しデータサイズは圧縮ＲＡＷ部７０２で階層１、サブ階層１、サブ階層２のグループにまとめられる圧縮サブバンドのデータサイズの総和となる。

すなわち、ウェーブレット回数がＮ回の場合、階層Ｍ（２≦Ｍ≦Ｎ＋１）のサブ階層１の情報に含まれる読み出しデータサイズは、階層１～Ｍ－１及び階層Ｍのサブ階層１にまとめられた圧縮サブバンドのデータサイズの総和となる。また、階層Ｍのサブ階層２の情報に含まれる読み出しデータサイズは、階層Ｍのサブ階層１の情報に含まれる読み出しデータサイズと階層Ｍのサブ階層２にまとめられた圧縮サブバンドのデータサイズの総和となる。同様に、階層Ｍのサブ階層３の情報に含まれる読み出しデータサイズは、階層Ｍのサブ階層２の情報に含まれる読み出しデータサイズと階層Ｍのサブ階層３にまとめられた圧縮サブバンドのデータサイズの総和となる。ここで、階層Ｍとは、言い換えると、縮小画像の表示の際に使用される階層１～Ｎ＋１のうち、最小階層数である階層１を除く階層数を指す。

図１３Ａに戻り、サブバンドヘッダ１３０５は、圧縮ＲＡＷ部１３０２で保持される圧縮サブバンド毎のパラメタを格納する。このパラメタは、圧縮サブバンド毎のデータサイズや量子化パラメタ、ウェーブレット分解におけるどのサブバンドであるのか（例えば、図３に示す２ＨＬのサブバンドである等）、またＹ、Ｃ１、Ｃ２、Ｃ３成分のいずれであるかの情報を含む。

圧縮ＲＡＷ部１３０２における各圧縮サブバンドの並びは、ウェーブレット回数がＮ回の場合、図１３Ａに示すようになる。すなわち、階層１のグループにはＹ、Ｃ１、Ｃ２成分の順に、ＮＬＬの圧縮サブバンドが並べられる。階層２のグループにおいては、そのサブ階層１のグループにはＹ成分のＮＨＬ、ＮＬＨ、ＮＨＨの圧縮サブバンドが、そのサブ階層２のグループにはＣ１、Ｃ２成分のＮＬＨの圧縮サブバンドが並べられる。また、そのサブ階層３のグループにはＣ１、Ｃ２成分のＮＨＬ、ＮＨＨの圧縮サブバンドが並べられる。階層３のグループにおいては、そのサブ階層１のグループにはＹ成分の（Ｎ－１）ＨＬ、（Ｎ－１）ＬＨ、（Ｎ－１）ＨＨの圧縮サブバンドが、そのサブ階層２にのグループはＣ１、Ｃ２成分の（Ｎ－１）ＬＨの圧縮サブバンドが並べられる。また、そのサブ階層３のグループにはＣ１、Ｃ２成分の（Ｎ－１）ＨＬ、（Ｎ－１）ＨＨの圧縮サブバンドが並べられる。同様の方法で階層４～Ｎ－１のグループにおいても複数の圧縮サブバンドが並べられる。また、階層Ｎのグループにおいては、そのサブ階層１のグループにはＹ成分の２ＨＬ、２ＬＨ、２ＨＨの圧縮サブバンドが、そのサブ階層２にはＣ１、Ｃ２成分の２ＬＨの圧縮サブバンドが並べられる。また、そのサブ階層３のグループにはＣ１、Ｃ２成分の２ＨＬ、２ＨＨの圧縮サブバンドが並べられる。階層Ｎ＋１のグループにおいては、そのサブ階層１のグループにはＹ成分の１ＨＬ、１ＬＨ、１ＨＨの圧縮サブバンドが、そのサブ階層２のグループにはＣ１、Ｃ２成分の１ＬＨの圧縮サブバンドが並べられる。また、そのサブ階層３のグループにはＣ１、Ｃ２成分の１ＨＬ、１ＨＨの圧縮サブバンドが並べられる。最後の階層Ｎ＋２のグループにはＣ３の全サブバンドが並べられる。サブバンドヘッダ１３０５に保持される圧縮サブバンドの夫々に関するパラメタも、かかる圧縮ＲＡＷ部１３０２における各圧縮サブバンドの並びと同様に階層及びサブ階層のグループ毎にまとめられる。

以上のように、圧縮ＲＡＷ部１３０２では、縮小表示で用いる成分（Ｙ、Ｃ１、Ｃ２成分）の圧縮サブバンドが縮小表示の階層１～Ｎ＋１の順で階層のグループ毎にまとめて並べられる。また、縮小画像生成時に色差間引きを行う場合を考慮して、階層Ｍ（２≦Ｍ≦Ｎ＋１）のグループはサブ階層１～３のグループにより構成する。具体的には、水平／垂直方向のアップサンプリングを必要とする、ＹＵＶ４２０の形式の縮小画像の表示に使用されるサブ階層１（第１のサブ階層）のグループとしてＹ成分のＭＨＬ、ＭＬＨ、ＭＨＨの圧縮サブバンドがまとめられる。また、水平方向のアップサンプリングを必要とする、ＹＵＶ４２２の形式の縮小画像の表示に使用されるサブ階層２（第１の色差階層）のグループとしてＣ１，Ｃ２成分のＭＬＨの圧縮サブバンドがまとめられる。さらに、アップサンプリングは不要であるＹＵＶ４４４の形式の縮小画像の表示に使用されるサブ階層３（第２の色差階層）のグループとしてＭＨＬ，ＭＨＨの圧縮サブバンドがまとめられる。その後、縮小表示で用いない成分（Ｃ３成分）の全圧縮サブバンドがまとめて並べられる。尚、図１２Ａ（ｂ）を用いて説明した通り、サブバンド群１１０２の間引く方向は水平方向ではなく、垂直方向であってもよい。その場合は、サブ階層２のグループには垂直方向のアップサンプリング用いる圧縮サブバンドがまとめられる。

このような画像記録フォーマット１３００を用いることで、実施例１に係る画像記録フォーマット７００ではＹＵＶ４４４の形式の縮小画像生成のみができたのに対し、ＹＵＶ４２２の形式やＹＵＶ４２０の形式の縮小画像の生成も可能となる。すなわち、色差間引きを許容することで、縮小画像生成の必要な圧縮サブバンドのデータサイズを実施例１の場合よりさらに削減できる。

以上、実施例２によれば、ＲＡＷ画像を図１３Ａに示す画像記録フォーマット１３００の圧縮ＲＡＷ画像に符号化する。これにより、色差成分に関わる圧縮サブバンドの読み出し量を少なくし、記録ファイルからの必要な圧縮サブバンドの読み出し処理や外部の表示機器でのストリーミング再生の際に必要な圧縮サブバンドの転送処理による負荷が実施例１よりさらに低減できる。すなわち、記録ファイルからの読み出し処理に起因する表示遅延を実施例１よりさらに軽減できる。

尚、本実施例では、ＹＵＶ４２２、ＹＵＶ４２０のいずれの形式の画像生成も可能としたが、いずれか一方の画像生成のみを可能としてもよい。この場合、画像生成を可能とする形式に対応するサブ階層の圧縮サブバンド及びそれに関する情報のみが画像記録フォーマット１３００に格納される。

［その他の実施例］
本発明の目的は、前述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、装置に供給することによっても、達成されることは言うまでもない。このとき、供給された装置の制御部を含むコンピュータ（またはＣＰＵやＭＰＵ）は、記憶媒体に格納されたプログラムコードを読み出し実行する。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、上述のプログラムコードの指示に基づき、装置上で稼動しているＯＳ（基本システムやオペレーティングシステム）などが処理の一部又は全部を行い、その処理によって前述した実施例の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、装置に挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれ、前述した実施例の機能が実現される場合も含まれることは言うまでもない。このとき、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行う。

１０１ ＣＰＵ
１０２ 光学部
１０３ 撮像部
１０４ 色分離部
１０５ プレーン変換部
１０６ ウェーブレット変換部
１０７ 量子化部
１０８ エントロピー符号化部
１０９ メモリＩ／Ｆ
１１０ メモリ
１１１ 記録処理部
１１２ 記録媒体

Claims (13)

1. ＲＡＷ画像を、輝度成分と、第１～第３の色差成分の、４つのプレーンに変換する変換手段と、
   前記４つのプレーンに対して階層的な周波数分解を行い夫々複数のサブバンドを生成する第１の生成手段と、
   前記複数のサブバンドを圧縮符号化して複数の圧縮サブバンドを生成する第２の生成手段と、
   前記４つのプレーンの前記複数の圧縮サブバンドを、前記周波数分解における階層に基づいたグループ毎にまとめて配置する配置手段と、
   前記配置された複数の圧縮サブバンドが格納される圧縮ＲＡＷ領域と、前記複数の圧縮サブバンドに関する情報が格納される情報管理領域とを含む記録ファイルを生成する第３の生成手段とを備え、
   前記配置手段は、前記４つのプレーンのうちの前記輝度成分、前記第１の色差成分、及び、前記第２の色差成分の圧縮サブバンドの前記周波数分解における階層に基づくグループを、低階層のグループから高階層のグループの順で配置し、前記４つのプレーンのうちの前記第３の色差成分は、前記輝度成分、前記第１の色差成分、及び、前記第２の色差成分の圧縮サブバンドのグループの後に配置することを特徴とする画像符号化装置。
2. 前記階層に基づいたグループは、前記周波数分解における分解レベルが大きいほど、低階層のグループとなることを特徴とする請求項１記載の画像符号化装置。
3. 前記階層に基づいたグループのうち、最低階層のグループには、前記輝度成分、前記第１の色差成分、及び、前記第２の色差成分の、前記周波数分解における分解レベルが一番大きいＬＬサブバンドの圧縮サブバンドが含まれることを特徴とする請求項２記載の画像符号化装置。
4. 前記最低階層の次の階層のグループには、前記輝度成分、前記第１の色差成分、及び、前記第２の色差成分の、前記周波数分解における分解レベルが一番大きいＨＬ、ＬＨ、ＨＨサブバンドの圧縮サブバンドが含まれることを特徴とする請求項３記載の画像符号化装置。
5. 前記配置手段は、前記階層に基づいた各グループ内において、輝度成分の圧縮サブバンドを先に配置することを特徴とする請求項１乃至４のいずれか１項に記載の画像符号化装置。
6. ＲＡＷ画像を、輝度成分と、第１～第３の色差成分の、４つのプレーンに変換する変換手段と、
   前記４つのプレーンに対して階層的な周波数分解を行い夫々複数のサブバンドを生成する第１の生成手段と、
   前記複数のサブバンドを圧縮符号化して複数の圧縮サブバンドを生成する第２の生成手段と、
   前記４つのプレーンの前記複数の圧縮サブバンドを、前記周波数分解における階層に基づいたグループ毎にまとめて配置する配置手段と、
   前記配置された複数の圧縮サブバンドが格納される圧縮ＲＡＷ領域と、前記複数の圧縮サブバンドに関する情報が格納される情報管理領域とを含む記録ファイルを生成する第３の生成手段とを備え、
   前記配置手段は、
   前記第１～第３の色差成分の内、２つの色差成分を表示用色差成分として選択する選択手段を更に備え、
   前記複数の圧縮サブバンドのうち、前記輝度成分及び前記選択された表示用色差成分の圧縮サブバンドを前記階層に基づいたグループ毎にまとめて配置し、
   前記複数の圧縮サブバンドのうち、前記第１～第３の色差成分の内、前記表示用色差成分として選択されなかった色差成分の圧縮サブバンドを前記階層に基づいたグループとは異なるＲＡＷ再構成用データグループにまとめて配置することを特徴とする画像符号化装置。
7. 前記周波数分解における夫々の階層に対応する複数の表示階層の１つの縮小画像の表示に必要な圧縮サブバンドを前記記録ファイルから読み出す読出手段を更に備え、
   前記複数の表示階層は、対応する前記周波数分解における階層が高いほど前記表示される縮小画像の表示サイズが大きくなり、
   前記情報管理領域は、前記複数の圧縮サブバンドにより構成される圧縮ＲＡＷ画像を復号するための復号情報として、前記複数の表示階層の夫々の縮小画像の表示に必要な圧縮サブバンドのデータサイズの情報を格納し、
   前記周波数分解における階層ｎに対応する表示階層の縮小画像の表示に必要な圧縮サブバンドの前記データサイズは、階層１～ｎの夫々に基づくグループにまとめて配置される圧縮サブバンドのデータサイズの総和であることを特徴とする請求項６記載の画像符号化装置。
8. 前記階層の最小階層を除く階層Ｍに基づくグループは、前記輝度成分の圧縮サブバンドがまとめて配置される第１のサブ階層に基づくグループと、前記表示用色差成分の圧縮サブバンドがまとめて配置される第２のサブ階層に基づくグループから構成されることを特徴とする請求項７記載の画像符号化装置。
9. 前記第２のサブ階層は、
   前記表示用色差成分の水平又は垂直のいずれか一方の方向の画素のアップサンプリングに用いる圧縮サブバンドがまとめられた第１の色差階層と、
   前記表示用色差成分の画素のアップサンプリングは不要である圧縮サブバンドがまとめられた第２の色差階層で構成されることを特徴とする請求項８記載の画像符号化装置。
10. 前記復号情報は、
    前記第１のサブ階層、前記第１及び第２の色差階層に対応する表示階層の夫々の縮小画像の表示に必要な圧縮サブバンドのデータサイズを含み、
    前記第１のサブ階層に対応する表示階層の縮小画像の表示に必要な圧縮サブバンドの前記データサイズは、前記階層Ｍの前記第１のサブ階層に基づくグループ及び前記階層１～Ｍ－１の夫々に基づくグループにまとめて配置される圧縮サブバンドのデータサイズの総和であり、
    前記第１の色差階層に対応する表示階層の縮小画像の表示に必要な圧縮サブバンドの前記データサイズは、前記第１のサブ階層に対応する表示階層の縮小画像の表示に必要な圧縮サブバンドの前記データサイズと前記階層Ｍの前記第１の色差階層に基づくグループにまとめて配置される圧縮サブバンドのデータサイズの総和であり、
    前記第２の色差階層に対応する表示階層の縮小画像の表示に必要な圧縮サブバンドの前記データサイズは、前記第１の色差階層に対応する表示階層の縮小画像の表示に必要な圧縮サブバンドの前記データサイズと前記階層Ｍの前記第２の色差階層に基づくグループにまとめて配置される圧縮サブバンドのデータサイズの総和であることを特徴とする請求項９記載の画像符号化装置。
11. ＲＡＷ画像を、輝度成分と、第１～第３の色差成分の、４つのプレーンに変換する変換ステップと、
    前記４つのプレーンに対して階層的な周波数分解を行い夫々複数のサブバンドを生成する第１の生成ステップと、
    前記複数のサブバンドを圧縮符号化して複数の圧縮サブバンドを生成する第２の生成ステップと、
    前記４つのプレーンの前記複数の圧縮サブバンドを前記周波数分解における階層に基づいたグループ毎にまとめて配置する配置ステップと、
    前記配置された複数の圧縮サブバンドが格納される圧縮ＲＡＷ領域と、前記複数の圧縮サブバンドに関する情報が格納される情報管理領域とを含む記録ファイルを生成する第３の生成ステップとを有し、
    前記配置ステップにおいて、前記４つのプレーンのうちの前記輝度成分、前記第１の色差成分、及び、前記第２の色差成分の圧縮サブバンドの前記周波数分解における階層に基づくグループが、低階層のグループから高階層のグループの順で配置され、前記４つのプレーンのうちの前記第３の色差成分が、前記輝度成分、前記第１の色差成分、及び、前記第２の色差成分の圧縮サブバンドのグループの後に配置されることを特徴とする制御方法。
12. ＲＡＷ画像を、輝度成分と、第１～第３の色差成分の、４つのプレーンに変換する変換ステップと、
    前記４つのプレーンに対して階層的な周波数分解を行い夫々複数のサブバンドを生成する第１の生成ステップと、
    前記複数のサブバンドを圧縮符号化して複数の圧縮サブバンドを生成する第２の生成ステップと、
    前記４つのプレーンの前記複数の圧縮サブバンドを、前記周波数分解における階層に基づいたグループ毎にまとめて配置する配置ステップと、
    前記配置された複数の圧縮サブバンドが格納される圧縮ＲＡＷ領域と、前記複数の圧縮サブバンドに関する情報が格納される情報管理領域とを含む記録ファイルを生成する第３の生成ステップとを有し、
    前記配置ステップにおいて、
    前記第１～第３の色差成分の内、２つの色差成分を表示用色差成分として選択する選択ステップを更に有し、
    前記複数の圧縮サブバンドのうち、前記輝度成分及び前記選択された表示用色差成分の圧縮サブバンドが、前記階層に基づいたグループ毎にまとめて配置され、
    前記複数の圧縮サブバンドのうち、前記第１～第３の色差成分の内、前記表示用色差成分として選択されなかった色差成分の圧縮サブバンドが、前記階層に基づいたグループとは異なるＲＡＷ再構成用データグループにまとめて配置されることを特徴とする制御方法。
13. コンピュータを、請求項１乃至１０のいずれか１項に記載された画像符号化装置の各手段として機能させるためのプログラム。

Images