JP7033013B2 - 画像符号化装置、画像復号装置、及び、それらの制御方法、並びに、プログラム - Google Patents

Description

本発明は、画像の符号化技術に関するものである。

デジタルカメラやビデオカメラは、撮像素子として、ＣＣＤ又はＣＭＯＳイメージセンサを採用している。また、単板式の撮像素子の場合、いわゆるベイヤ配列のカラーフィルタを通すことにより、緑、青、赤の画素データを得ることになる。デジタルカメラでは、ベイヤ配列の緑、青、赤データ（以下、ＲＡＷデータ）に対し、デモザイク処理、ノイズ除去処理、光学歪み補正、色補正処理等を含む現像処理を行い最終的な画像データを生成することになる。そして、静止画の場合はＪＰＥＧ、動画の場合はＨ．２６４等の符号化方式により圧縮画像データを記録媒体に記録することになる。一方で、撮像装置の中には、ユーザの好みに応じて現像処理が実行できるようにするため、現像処理前のＲＡＷデータを記録する機能を搭載しているものも少なくない。

ＲＡＷデータの記録形式には、非圧縮又は可逆圧縮形式を採用する場合が多く、一般に記録される圧縮ＲＡＷデータのサイズは、現像後の通常の画像の圧縮画像データよりも大きい。しかし、撮像素子は高密度化、高画素化される一方であり、ＲＡＷデータをコンパクトに記録することが重要となってきている。そこで、視覚的に無損失な非可逆圧縮形式として、ＲＡＷデータから複数のカラーチャネルを生成し、各チャネルに対して２次元離散ウェーブレット変換を行い、生成された各サブバンドを個別に量子化して圧縮して符号化データとして記録する方法等が提案されている（特許文献１を参照）。

特表２００２－５１６５４０号公報

ここで、ＲＡＷデータからＲ、Ｂ、Ｇ１、Ｇ２の４つのカラーチャネルのデータを生成し、それぞれのチャネルのデータに対して２次元離散ウェーブレット変換による３階層のオクターブ分割を行う場合を考察する。この場合、１チャネルにつき１０個のサブバンドが生成される。チャネル数は４つであるから、トータルで４×１０個のサブバンドが生成されることになる。これらのサブバンドを個別に量子化する場合、４×１０＝４０個の量子化パラメータを必要とする。更に画面内の特徴に応じて、所定ブロック単位のより細かい量子化制御を行うこと想定した場合、４×１０×ブロック分割数分の量子化パラメータが必要となる。つまり、ＲＡＷデータの圧縮符号化の際の量子化パラメータのデータ量も肥大化してしまう。これでは、視覚的に無損失な画質を維持しつつ、コンパクトにＲＡＷデータを記録するのは困難である。

本発明は上記問題に鑑みなされたものであり、ＲＡＷ画像データを複数のタイルに分割して符号化を行う際に、タイル境界での画質劣化を抑制しつつ、柔軟な量子化制御により非可逆圧縮を実現しつつ、符号化データに含める量子化パラメータのデータ量を抑制することで、コンパクトにＲＡＷデータを記録することを可能にする技術を提供する。

この課題を解決するため、例えば本発明の画像符号化装置は以下の構成を備える。すなわち、
ベイヤ配列のＲＡＷ画像データを符号化する符号化装置であって、
符号化対象のＲＡＷ画像データを複数のタイルに分割する分割手段と、
該分割手段により分割された前記複数のタイル毎に互いに異なる成分を持つ複数のチャネルのプレーンを生成する生成手段と、
該生成手段で生成した各チャネルのプレーンに対して周波数変換し、複数の分解レベルのサブバンドデータを生成する変換手段と、
前記ＲＡＷ画像データの同じ領域に対応する複数のセグメントに分割するために、前記複数のサブバンドデータをそれぞれ同じ数のセグメントに分割し、セグメント毎に複数のサブバンドデータで共通となる第１の量子化パラメータを決定する制御手段と、
前記制御手段により決定された第１の量子化パラメータに基づいて、前記変換手段で得たサブバンドデータをセグメント毎にそれぞれ量子化する量子化手段と、
前記量子化により得られた量子化結果を、サブバンド毎に符号化する符号化手段と、
を有し、
前記生成手段は、
着目タイルから前記複数のチャネルのプレーンを生成する際に、前記着目タイルと、前記着目タイルの隣接タイル内の前記着目タイルとの境界から所定の距離までのデータとから、前記複数のチャネルのプレーンを生成し、
前記制御手段は、
前記着目タイルのサブバンドデータを前記複数のセグメントに分割して前記第１の量子化パラメータを決定し、前記隣接タイルのサブバンドデータは、前記着目タイルとの境界を介して隣接するセグメントの量子化パラメータを適応することを特徴とする。

本発明によれば、ＲＡＷ画像データを複数のタイルに分割して符号化を行う際に、タイル境界での画質劣化を抑制しつつ、柔軟な量子化制御により非可逆圧縮を実現しつつ、符号化データに含める量子化パラメータのデータ量を抑制することで、コンパクトにＲＡＷデータを記録することが可能になる。

実施形態に対応する画像処理装置の構成例を示すブロック図、及び、ベイヤ配列のＲＡＷデータを示す図。 実施形態におけるＲＡＷデータ符号化・復号部のブロック構成図。 実施形態におけるチャネル変換の例を示す図。 実施形態における周波数変換（サブバンド分割）、及び、予測符号化方法（ＭＥＤ予測）を説明するための図。 実施形態における量子化制御単位の一例を示す図。 実施形態における画質特性に基づく量子化制御単位の一例を示す図。 実施形態における画質特性に基づく量子化制御の処理を示すフローチャート。 実施形態における量子化制御単位とＲＡＷデータの関係を示す図。 実施形態における符号化データのデータ構造の一例を示す図。 実施形態におけるヘッダ情報のシンタクス要素の一例を示す図。 実施形態における共通量子化パラメータの２次元座標系へのマッピング例を示す図。 第２の実施形態における画質特性に基づく量子化制御単位の一例を示す図。 第２の実施形態における符号化データに含まれるデータ量の従来手法との比較を示す図。 第３の実施形態における離散ウェーブレット変換処理を示す図。 第３の実施形態における離散ウェーブレット逆変換法を説明するための図。 第３の実施形態における離散ウェーブレット変換の実行法を説明するための図。 第３の実施形態における周波数変換（サブバンド分割）の一例を示す図。 第３の実施形態における量子化パラメータ生成部の処理のシーケンス図。 第３の実施形態における共通量子化パラメータの２次元座標系へのマッピングとサブバンドデータの関係の一例を示す図。 第４の実施形態におけるＲＡＷ画像を垂直方向に２分割した場合の、量子化制御単位の一例を示す図。 第４の実施形態におけるＲＡＷ画像を水平方向に２分割した場合の、量子化制御単位の一例を示す図。 第４の実施形態における共通量子化パラメータの２次元座標系へのマッピングとサブバンドデータの関係の一例を示す図。 第４の実施形態における共通量子化パラメータの２次元座標系へのマッピングとサブバンドデータの関係の他の例を示す図。 第３、第４の実施形態におけるＲＡＷデータ符号化・復号部のブロック構成図。

以下、添付図面に従って本発明に係る実施形態を詳細に説明する。なお、以下に示す実施形態における構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。まず、実施形態における前提部分について説明する。

［第１の実施形態］
図１（ａ）は、実施形態における撮像装置１００における符号化に係る主要ブロック構成図である。撮像装置１００は、例えばデジタルカメラ、デジタルビデオカメラとして実現することができる。また、それ以外に、例えばパーソナルコンピュータ、携帯電話、スマートフォン、ＰＤＡ、タブレット端末、携帯型メディアプレーヤなどの任意の情報処理端末或いは画像処理装置として実現することもできる。なお、図１（ａ）は、撮像装置であるデジタルカメラ等として機能する場合を考慮して撮像部１０２を含む構成を示した。しかし、ＲＡＷ画像を記録、再生することが可能な画像符号化装置、画像復号装置、画像記録装置、画像圧縮装置、画像復元装置等に適用できるので、ＲＡＷ画像データの発生源である撮像部１０２は必須ではない。なぜなら、ＲＡＷ画像データの発生源としては、ＲＡＷ画像データを記憶している記憶媒体、ネットワーク上のファイルサーバでも構わず、その種類は問わないからである。

撮像装置１００において、制御部１０１は、撮像装置１００を構成する各処理部を制御するものであり、ＣＰＵ、ＣＰＵが実行するプログラムを格納しているＲＯＭ、並びに、ワークエリアとして使用するＲＡＭで構成される。撮像部１０２は、光学レンズ、絞り、フォーカス制御及びレンズ駆動部を含む光学ズームが可能なレンズ光学系と、レンズ光学系からの光情報を電気信号に変換するＣＣＤイメージセンサ又はＣＭＯＳイメージセンサなどの撮像素子を含む。撮像部１０２は、撮像素子により得られた電気信号をディジタル信号へ変換して得たＲＡＷデータ（ＲＡＷ画像データとも言う）を、ＲＡＷデータ符号化・復号部１０３へ供給する。

ここで１枚のＲＡＷデータは、図１（ｂ）に示すように、受光した画素領域である有効撮像領域と遮光された画素領域であるオプティカルブラック領域とで構成される。各画素はＲ（赤）、Ｇ１（緑）、Ｇ２（緑）、Ｂ（青）の周期的なパターンで構成されている。人間の視覚感度は緑に対して高いことが知られている。そこで、画像としての解像感に対して有利になるように緑を、赤や青に対して２倍の個数となるように割り当てている。本実施形態ではＲＡＷデータは、ベイヤ配列の４色要素で構成されるものとするが、その配列や色要素はこの構成に限定されず他の方式であっても良い。

ＲＡＷデータ符号化・復号部１０３は、撮像部１０２が取得したＲＡＷデータを符号化し、生成した符号化データをメモリ１０５へ書き込む。また、符号化されていないＲＡＷデータを記録媒体１０７から取得して、本実施形態に対応する符号化処理を実行して符号化データを生成してもよい。また、ＲＡＷデータ符号化・復号部１０３は、符号化データを復号してＲＡＷデータを復元することができる。ＲＡＷデータ符号化・復号部１０３に関わる詳細な構成や動作については後述する。

メモリＩ／Ｆ部１０４は、各処理部からのメモリ１０５へのメモリ・アクセス要求、メモリ１０５に対する読み出し又は書き込み要求の調停処理を行う。メモリ１０５は、撮像装置１００を構成する各処理部から出力される各種データを格納するため、例えば高速な揮発性メモリ（SRAMがその代表）である。記録処理部１０６は、メモリ１０５へ格納された符号化データを読み出し、所定の記録フォーマット化を行い記録媒体１０７へ記録する。また、記録処理部１０６は、復号のため、記録媒体１０７から符号化データを読み出し、メモリ１０５への格納も行う。記録媒体１０７は、例えば不揮発性メモリで構成される記録メディアであり、撮像装置１００に対して着脱可能に構成されている。以上、実施形態における撮像装置１００の符号化に係る主要部を説明した。

続いて、ＲＡＷデータ符号化・復号部１０３の詳細な構成及び処理の流れについて図２（ａ）及び図２（ｂ）に示すブロック図を参照しながら説明を行う。図２（ａ）は、ＲＡＷデータ符号化・復号部１０３のうちＲＡＷデータ符号化部１０３Ｅの構成を示し、図２（ｂ）はＲＡＷデータ符号化・復号部１０３のうちＲＡＷデータ復号部１０３Ｄの構成を示している。

図２（ａ）においてＲＡＷデータ符号化部１０３Ｅは、主に、チャネル変換部２０１、周波数変換部２０２、量子化パラメータ生成部２０３、量子化部２０４、符号化部２０５及び量子化パラメータ符号化部２０６で構成されている。チャネル変換部２０１は、図３（ａ）に示すように、入力されたベイヤ配列のＲＡＷデータから、それぞれが単一成分で表される、複数のチャネル（実施形態ではＣ０乃至３の４つのチャネル）のプレーンデータに変換する。周波数変換部２０２、量子化部２０４は、変換により得られたチャネル数に対応するブロックが用意され、並列に処理される。本実施形態では、チャネル変換部２０１は、まず、ＲＡＷデータをベイヤ配列のＲ、Ｇ１、Ｇ２、Ｂ毎に４つのチャネルへ変換し、更にＲ、Ｇ１、Ｇ２、Ｂに対して、以下の変換式（１）によりＣ０乃至Ｃ３の４つのチャネルへ変換する。
Ｃ０＝ａ＋ｃ
Ｃ１＝Ｂ－Ｇ２ …（１）
Ｃ２＝Ｒ－Ｇ１
Ｃ３＝ｂ－ａ
式中、ａ＝Ｇ２＋floor(Ｃ１／２)、ｂ＝Ｇ１＋floor(Ｃ２／２)、ｃ＝ａ＋floor(Ｃ３／２)である。ここで、floor（ｘ）は、実数ｘ以下の最大整数を返す床関数である。

尚、ここでは図３（ａ）に示すように４つのチャネルへ変換する構成例を示しているが、図３（ｂ）や図３（ｃ）に示すようにＲ、Ｂ、及び、Ｇ１とＧ２を合わせたＧの３つのチャネルへ変換しても良く、チャネル数や変換方法は上記以外の方法であっても良い。要するに、元のベイヤ配列のＲＡＷデータを再現できれば良い。

次に、周波数変換部２０２は、チャネル単位のプレーンデータに所定の分解レベル（以降、単に「レベル」または「ｌｅｖ」と呼ぶ）で離散ウェーブレット変換による周波数変換処理を行い、生成された複数のサブバンドデータ（変換係数）を量子化パラメータ生成部２０３及び量子化部２０４へ出力する。

なお、周波数変換部２０２と量子化部２０４との間の、量子化部２０４の直前には適当な容量のバッファが設けられている。詳細は後述する説明から明らかになるが、量子化部２０４が着目ブロック内の着目セグメントの変換係数を量子化する際に、量子化パラメータ生成部２０３はその着目セグメントに対する量子化パラメータを決定する時間が必要なためである。

図４（ａ）は、ｌｅｖ＝１のサブバンド分割処理に関わる離散ウェーブレット変換を実現するためのフィルタバンク構成を示している。離散ウェーブレット変換処理を水平、垂直方向に実行することで、図４（ｂ）に示すように、１つの低周波数サブバンドＬＬと、３つの高周波数サブバンドＨＬ、ＬＨ、ＨＨが得られる。図４（ａ）に示すローパスフィルタ（以降、ｌｐｆと呼ぶ）及びハイパスフィルタ（以降、ｈｐｆと呼ぶ）の伝達関数を次式（２）、（３）に示す。
ｌｐｆ(ｚ)=(－ｚ^-2＋２ｚ^-1＋６＋２ｚ－ｚ²)／８ …（２）
ｈｐｆ(ｚ)=(－ｚ^-1＋２－ｚ)／２ …（３）
また、図４（ａ）における「↓２」は２対１のダウンサンプリングを表す。従って、水平方向と垂直方向とで１回ずつのダウンサンプリングが実行されるので、１回のウェーブレット変換で得られる個々のサブバンドのサイズは元のサイズの１／４となる。ｌｅｖが１よりも大きい場合には、直前のレベルで生成された低周波数サブバンド（ＬＬ）に対して、再帰的にサブバンド分割を行うことになる。例えばｌｅｖ＝３の場合は、図４（ｃ）に示すように１０個のサブバンドに対応したサブバンドデータが生成される。尚、ここでは離散ウェーブレット変換は式（２）、（３）に示すように５タップのｌｐｆと３タップのｈｐｆで構成しているが、これとは異なるタップ数及び異なる係数のフィルタ構成であっても良い。

量子化パラメータ生成部２０３は、周波数変換部２０２により生成されたサブバンドデータ（変換係数）に対して量子化処理を行うための全チャネル、全サブバンドに共通の第１の量子化パラメータを生成し、量子化パラメータ符号化部２０６へ出力する。また、量子化パラメータ生成部２０３は、第１の量子化パラメータから各チャネル、各サブバンドのための個別の第２の量子化パラメータを生成し、量子化部２０４へ供給する。第１の量子化パラメータ及び第２の量子化パラメータの生成単位やその生成方法については、図５から図７等を参照して後述する。

量子化部２０４は、周波数変換部２０２から入力されたサブバンドデータ（変換係数）に対して量子化パラメータ生成部２０３から供給された第２の量子化パラメータに基づき量子化処理を行い、量子化結果として量子化後のサブバンドデータ（変換係数）を符号化部２０５へ出力する。

符号化部２０５は、量子化部２０４から入力された量子化後のサブバンドデータ（変換係数）に対して、サブバンド毎にラスタースキャン順で予測差分型エントロピー符号化を行う。これにより、量子化後のサブバンドデータはサブバンド単位で符号化されことになる。符号化部２０５は、図４（ｄ）に示すように符号化対象データ（変換係数）に対して、既に符号化済みの周辺データ（図示のａ，ｂ，ｃ）からＭＥＤ（Median Edge Detector）予測により予測値ｐｄを生成する。そして、符号化部２０５は、符号化対象データｘの値ｘｄと予測値ｐｄとの差分データを、例えばハフマン符号化、ゴロム符号化等によりエントロピー符号化を行い、生成した符号化データをメモリ１０５へ格納する。ラスタースキャン順に符号化することになるので、符号化対象データがサブバンドの最初のラインや左両端に位置する場合、周辺データのいくつかが存在しない（サブバンド外）ことになる。その場合は、そのような存在しない周辺データは予め設定された値と持つものとする。また、特に、符号化対象データがサブバンドの先頭位置（左上隅位置）にある場合、周辺データの全てが存在しないことになるので、その符号化対象データｘの値ｘｄがそのまま符号化されるものとする。そして、それ以降の符号化対象データについては差分データが符号化される。尚、予測符号化方式やエントロピー符号化方式は、他の方式であっても良い。また、各サブバンド別にライン単位に発生した発生符号量を量子化パラメータ生成部２０３へ供給する。また、符号化部２０５が生成する符号化データの具体的なデータ構造については図９及び図１０を参照して後述する。

量子化パラメータ符号化部２０６は、量子化パラメータ生成部２０３から入力された第１の量子化パラメータを符号化する処理部である。量子化パラメータ符号化部２０６は、符号化部２０５と共通の符号化方式により量子化パラメータを符号化し、生成した符号化済みの量子化パラメータをメモリ１０５へ格納する。図２（ａ）では量子化パラメータ符号化部２０６を符号化部２０５とは独立に設ける場合を示したが、両者は共通の符号化方式を採用するので、量子化パラメータ符号化部２０６の機能を符号化部２０５で共通化するように構成することも可能である。以上、実施形態におけるＲＡＷデータ符号化部１０３Ｅの構成と処理内容を説明した。

次に、ＲＡＷデータ復号部１０３Ｄの構成を説明する。ＲＡＷデータ復号部１０３Ｄは、主に復号部２１１、量子化パラメータ復号部２１２、量子化パラメータ生成部２１３、逆量子化部２１４、周波数逆変換部２１５、チャネル逆変換部２１６で構成される。

まず、復号部２１１は、メモリ１０５から入力される符号化データを、ＲＡＷデータ符号化部１０３Ｅが採用した符号化方式に対応する復号方式により復号し、量子化済みのサブバンドデータ（変換係数）を復元する。例えば、予測差分型エントロピー符号化方式が用いられていた場合、対応する予測差分型エントロピー復号方式を採用する。このとき、図４（ｄ）に示すように符号化データは、符号化対象データ（変換係数）の周辺データから生成された予測値ｐｄと符号化対象データｘの値ｘｄとの差分データがエントロピー符号化されたものである。そこで、復号部２１１は符号化データをエントロピー復号方式により復号して差分データを復元する。そして、復号部２１１は、先に説明した符号化部２０５と同じように、復号対象データの周辺の復号済みデータから予測値ｐｄを生成する。そして、復号部２１１は、復元した差分データに予測値ｐｄを加算することにより復号対象データｘ（量子化後の変換係数に相当する）を復元する。符号化データはサブバンド単位に符号化されているので、復号部２１１でもサブバンド単位に変換係数を復元することになる。

量子化パラメータ復号部２１２は、メモリ１０５から入力された符号化データに含まれる、符号化された第１の量子化パラメータを復号部２１１と共通の復号方式により復号し、第１の量子化パラメータを復元する。また、量子化パラメータ復号部２１２は、チャネル、サブバンド単位の第２の量子化パラメータを算出するための所定の係数（後述する線形変換式（５）の係数α、β）も復号する。そして、量子化パラメータ復号部２１２は、復号結果を量子化パラメータ生成部２１３に出力する。量子化パラメータ生成部２１３は、量子化パラメータ復号部２１２から提供された第１の量子化パラメータと所定の係数とから、チャネル、サブバンド単位の第２の量子化パラメータを生成し、逆量子化部２１４に提供する。

逆量子化部２１４は、復号部２１１から出力されたチャネル単位の量子化済みサブバンドデータを、量子化パラメータ生成部２１３から提供された第２の量子化パラメータを用いて逆量子化して、サブバンドデータを復元する。周波数逆変換部２１５は、離散ウェーブレット逆変換による周波数逆変換処理を行い、所定の分割レベルのサブバンドデータ（変換係数）からチャネルを復元する。チャネル逆変換部２１６は、入力されたチャネルデータＣ０乃至Ｃ３を逆変換して、元のＲＡＷデータを復元する。例えば、ＲＡＷデータ符号化部１０３Ｅのチャネル変換部２０１がベイヤ配列のＲ、Ｇ１、Ｇ２、Ｂを式（１）に従いＣ０からＣ３の４つのチャネルへ変換していた場合、式（１）に対応する逆変換処理に従い、Ｃ０からＣ３の４つのチャネルからＲ、Ｇ１、Ｇ２、ＢのＲＡＷデータを復元する。以上、実施形態におけるＲＡＷデータ復号部１０３Ｄの構成と処理内容を説明した。

次に、実施形態における量子化パラメータ生成部２０３における量子化パラメータ生成処理を説明する。本実施形態における量子化パラメータ生成部２０３は、全チャネル、全サブバンドに共通の第１の量子化パラメータを生成し、当該第１の量子化パラメータから各チャネル、各サブバンドのための個別の第２の量子化パラメータを生成する。量子化パラメータ生成部２０３は、符号化前に予め設定された目標符号量に基づき、所定のサブバンドデータ単位に符号量制御に関わる量子化パラメータ生成処理を行い、まず全チャネル、全サブバンドに共通の第１の量子化パラメータを生成する。

本実施形態では、第１の量子化パラメータを直接に生成するのではなく、２段階に分けて生成する場合を説明する。まず、各サブバンドデータについて所定のライン単位に、全チャネル、全サブバンドの共通の量子化パラメータ（第３の量子化パラメータ）を生成する。そして、上記所定のラインをセグメントと呼ぶ単位で分割し、セグメントにおけるサブバンドデータの画質特性に応じて、第３の量子化パラメータを修正して第１の量子化パラメータを生成する。以下、第１の量子化パラメータの生成手順について詳細に説明する。

図５は、各チャネルをｌｅｖ＝３でサブバンド分割した場合の符号量制御に関わる符号量の評価及び量子化パラメータを更新する単位を示す。Ｃ０からＣ３までの４つのチャネルのレベル３のサブバンド｛３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ｝の垂直方向にＮ（Ｎは整数）ライン分、レベル２のサブバンド｛２ＨＬ，２ＬＨ，２ＨＨ｝の垂直方向に２×Ｎライン分、レベル１のサブバンド｛１ＨＬ，１ＬＨ，１ＨＨ｝の垂直方向に４×Ｎライン分のサブバンドデータを纏めて１つの処理単位（第１の処理単位）とする。図５に示すように、第１の処理単位は、サブバンドをそれぞれ垂直方向に所定のラインごとに分割した領域（バンド）として設定される。特に、図５はＮ＝１の場合を示している。

当業者であれば、図５の右側に示す各サブバンドの係数は、符号化する画像における同じ領域の係数を表すことになるのは容易に理解できよう。以降、図５の右側に示す係数の集合をバンドと呼ぶ。

量子化パラメータ生成部２０３は、バンド（第１の処理単位）に対応する目標符号量と発生符号量とを比較し、次のバンドの発生符号量を目標発生符号量に近づけるようにフィードバック制御を行うことを繰り返し、全チャネル、全サブバンドに共通の第３の量子化パラメータ（ＱｐＢｒ）を生成する。つまり、バンド数がＢｎである場合、ＱｐＢｒ（０）、ＱｐＢｒ（１）、ＱｐＢｒ（２）、…、ＱｐＢｒ（Ｂｎ－１）を求める。尚、ＲＡＷデータに対して画面内の符号量制御を行わない場合には、上記に示すような符号量制御単位に関係なく全画面固定となる全チャネル、全サブバンドに共通のＱｐＢｒを設定又は生成すれば良い。このときの符号量の制御は次式（４）に従って実行することができる。
ＱｐＢｒ（ｉ）＝ＱｐＢｒ（０）＋ｒ×Σ｛Ｓ（ｉ－１）－Ｔ（ｉ－１）｝ …（４）
ＱｐＢｒ(０) : 最初のバンドの初期量子化パラメータ
ＱｐＢｒ（ｉ）：ｉ番目のバンドに対する量子化パラメータ（ｉ＞０）
r：制御感度
Ｓ（ｉ）：第ｉ番目のバンドで生成された符号化データの符号量
Ｔ（ｉ）：第ｉ番目のバンドの目標符号量
なお、１フレームに含まれるバンドの個数をＭ，１フレームの目標符号量をＴとしたとき、Ｔ（ｉ）＝Ｔ／Ｍとなる。本実施形態では、第ｉ番目の目標符号量Ｔ（ｉ）を、Ｔ（ｉ）＝Ｔ／Ｍに設定したが、異なる方法で目標符号量を設定してもよい。

式（４）では、サブバンドデータに設定された各バンド（第１の処理単位）のうちの先頭のバンドに対して設定した初期量子化パラメータＱｐＢｒ（０）を基準とし、発生符号量と目標符号量との差分の大きさに応じて当該初期量子化パラメータを調整する。具体的に、先頭のバンド以降に発生した符号量の合計（総発生符号量）と、対応する目標符号量の合計（総目標符号量）との符号量差分が小さくなるように初期量子化パラメータの値を調整して、処理対象のバンドのための第３の量子化パラメータを決定する。先頭のバンドに対して設定される初期量子化パラメータは、圧縮率などに基づいて量子化パラメータ生成部２０３が決定したパラメータを用いることができる。

このようにして、バンドごとに第３の量子化パラメータ（ＱｐＢｒ）を生成した後、量子化パラメータ生成部２０３はバンドを更に細分化（セグメント化）し、第２の処理単位であるセグメントごとのサブバンドデータの画質評価結果に応じて第３の量子化パラメータ（ＱｐＢｒ）を調整して第１の量子化パラメータ（ＱｐＢｓ）を生成する。これにより、ＲＡＷデータの特性に応じて量子化の強弱を調整する画質制御に関わる量子化パラメータ生成を行うことができる。

図６（ａ）は、各チャネルをｌｅｖ＝３でサブバンド分割した場合の画質制御に関わるサブバンドデータの評価及び量子化パラメータを更新する第２の処理単位（セグメント）を示す。各セグメントでは、全チャネルのレベル３のサブバンド｛３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ｝の水平、垂直方向それぞれにＭ×Ｎ（Ｍ、Ｎはそれぞれ整数）、レベル２のサブバンド｛２ＨＬ，２ＬＨ，２ＨＨ｝の水平、垂直方向にそれぞれ（２×Ｍ）×（２×Ｎ）、レベル１のサブバンド｛１ＨＬ，１ＬＨ，１ＨＨ｝の水平、垂直方向にそれぞれ（４×Ｍ）×（４×Ｎ）としている。

ここに示す第２の処理単位としてのセグメントは、第１の処理単位としてのバンドを水平方向に細分化したものである。本実施形態ではセグメント化は、各サブバンドに含まれるセグメント数が一致するように行う。Ｍ＝１、Ｎ＝１とすると、セグメントはレベル１相当でバンドを水平方向に４画素単位に分割したものと捉えることができる。量子化パラメータ生成部２０３は、バンドごとに算出した第３の量子化パラメータＱｐＢｒを、セグメントごとの画質特性に応じて修正することで、セグメントごとの第１の量子化パラメータを生成する。

第ｐ番目のバンドの量子化パラメータはＱｐＢｒ（ｐ）と表し、第ｐ番目のバンド内の第ｑ番目のセグメントの量子化パラメータをＱｐＢｓ（ｐ，ｑ）とする。そして、１つのバンドがＱ個のセグメントを含むとすると、ＱｐＢｓ（ｐ，０）、ＱｐＢｓ（ｐ，１）、…、ＱｐＢｓ（ｐ，Ｑ－１）を求めることになる。そして、第ｐ番目のバンド内の第ｑ番目のセグメントの量子化パラメータの値は、第ｐ番目のバンドの第３の量子化パラメータＱｐＢｒ（ｐ）を基準に表現する。この量子化パラメータＱｐＢｓ（ｐ，ｑ）の集合が、実施形態における第１の量子化パラメータである。

図６（ｂ）は、Ｍ＝１、Ｎ＝１とした場合の、第１の量子化パラメータ（ＱｐＢｓ（ｐ，ｑ））とサブバンドデータとの関係を示す。ここに示すように、１つのセグメントに含まれる各チャネルの複数のサブバンドデータに対して１つの第１の量子化パラメータ（ＱｐＢｓ）が生成される。

セグメントごとの画質評価ついては、各セグメントに含まれるサブバンドデータのうち、例えば低周波サブバンド３ＬＬを低周波成分として評価し、１ＨＬ，１ＬＨ，１ＨＨのサブバンドデータにより高周波成分を評価する。このとき、低周波成分の振幅が小さい程量子化を細かく、高周波成分の振幅が大きい程量子化を粗く制御するように符号量制御により、第３の量子化パラメータ（ＱｐＢｒ）に対してゲイン、オフセット調整を行うようにフィードフォワード制御すれば良い。

図７は、量子化パラメータ生成部２０３が実行する、画質評価に基づく第３の量子化パラメータ（ＱｐＢｒ）の調整処理の一例に対応するフローチャートを示す。ここでは、第ｐ番目のバンドの第ｑ番目のセグメントに対する処理を説明する。該フローチャートに対応する処理は、例えば、量子化パラメータ生成部２０３として機能する１以上のプロセッサが対応するプログラム（ＲＯＭ等に格納）を実行することにより実現できる。

Ｓ７０１にて、量子化パラメータ生成部２０３は、第ｐ番目のバンドの第ｑ番目のセグメントの低周波成分について判定を行う。具体的には、量子化パラメータ生成部２０３は３ＬＬの変換係数と、判定用に設定された閾値Ｔｈ１とを比較する。３ＬＬの変換係数が閾値以下の大きさであれば（Ｓ７０１で「ＹＥＳ」）、量子化パラメータ生成部２０３は処理をＳ７０２に進める。Ｓ７０２において、量子化パラメータ生成部２０３は、処理対象のバンドの第３の量子化パラメータＱｐＢｒ（ｐ）を減少させた値を、着目セグメントの第１の量子化パラメータＱｐＢｓ（ｐ，ｑ）として決定する。例えば、ＱｐＢｒ（ｐ）に対して１未満の係数を掛けるか、あるいはＱｐＢｒ（ｐ）から所定値を減算した値とする。

Ｓ７０１には、３ＬＬの変換係数が閾値Ｔｈ１より大きい場合（Ｓ７０１で「ＮＯ」）、量子化パラメータ生成部２０３は処理をＳ７０３に進める。Ｓ７０３において量子化パラメータ生成部２０３は、量子化パラメータ生成部２０３は高周波成分について判定を行う。具体的には、量子化パラメータ生成部２０３は、着目セグメントにおける１ＨＬ、１ＬＨ、１ＨＨの変換係数の平均値と、判定用に設定された閾値Ｔｈ２とを比較する。そして、平均値が閾値Ｔｈ２より小さい場合（Ｓ７０３で「ＮＯ」）、量子化パラメータ生成部２０３は処理をＳ７０４に進める。また、平均値が閾値Ｔｈ２以上の大きさであれば（Ｓ７０３で「ＹＥＳ」）、量子化パラメータ生成部２０３は処理をＳ７０５に進める。Ｓ７０４にて、量子化パラメータ生成部２０３は、ＱｐＢｒ（ｐ）の値を、着目セグメントの量子化パラメータＱｐＢｓ（ｐ，ｑ）と決定する。また、Ｓ７０５にて、量子化パラメータ生成部２０３は、ＱｐＢｒ（ｐ）を増大させた値を、着目セグメントの量子化パラメータＱｐＢｓ（ｐ，ｑ）として決定する。例えば、ＱｐＢｒ（ｐ）に対して１以上の係数を掛けるか、あるいはＱｐＢｒ（ｐ）に所定値を加算することで、着目セグメントの量子化パラメータＱｐＢｓ（ｐ，ｑ）を決定する。

以上により、第ｐ番目の着目バンドの第ｑ番目のセグメントの第１の量子化パラメータＱｐＢｓ（ｐ，ｑ）が決定される。１つのバンドにＱ個のセグメントが含まれるとしているので、１つのバンドに対し、図７に示す処理はＱ回実行されることになる。この結果、第ｐ番目のバンドに含まれる全セグメントの第１の量子化パラメータＱｐＢｓ（ｐ，０）、ＱｐＢｓ（ｐ，１）、…、パラメータＱｐＢｓ（ｐ，Ｑ－１）が決定される。

更に、全バンドに対する処理を行うことで、全チャネル、全サブバンドの第１の量子化パラメータＱｐＢｓ（ｐ，ｑ）が決定されることになる。例えば上記のＭ＝１、Ｎ＝１とした場合、図８に示すように各チャネルの８×８画素相当に対応し、元のＲＡＷデータの１６×１６画素相当のＲＡＷデータのブロック単位の量子化制御が可能となる。

次に、第１の量子化パラメータＱｐＢｓを用いて各チャネル、各サブバンドのための個別の第２の量子化パラメータＱｐＳｂを生成する処理について説明する。本実施形態では上述のように、セグメント毎に１つの第１の量子化パラメータＱｐＢｓが生成されるが、各チャネルの各セグメントの量子化はＱｐＢｓをそのまま用いるのではなく、チャネル、セグメントに個別に対応した第２の量子化パラメータＱｐＳｂをＱｐＢｓから生成して量子化処理を行う。

以下、第ｐ番目のバンドの第ｑ番目のセグメントに対する第１の量子化パラメータＱｐＢｓ（ｐ，ｑ）から、各チャネル、各サブバンドに対する第２の量子化パラメータＱｐＳｂの生成方法を説明する。ここでは、第ｐ番目のバンドの第ｑ番目のセグメントに対する第１の量子化パラメータＱｐＢｓ（ｐ，ｑ）を単にＱｐＢｓと表すものとする。

次式（５）は、ＱｐＳｂ生成のための計算式である。
ＱｐＳｂ[i][j]＝ＱｐＢｓ×α[i][j]＋β[i][j] …（５）
QpSb：各チャネル、各サブバンド個別の第２の量子化パラメータ
QpBs：全チャネル、全サブバンド共通の第１の量子化パラメータ
α：傾き
β：切片
i：チャネルインデックス（0～3）
j：サブバンドインデックス（0～9）
ここでサブバンドインデックスの値とサブバンドの関係は例えば図９（ｂ）の関係にある。つまり、周波数成分が高いほど大きな値となる。

式（５）において、傾きα及び切片βは、各チャネル、各サブバンドに個別に与えられる係数（変数、もしくは条件パラメータ）であって、予め定めておくことができる。αの値は、チャネルＣ０からＣ３について、Ｃ０＞Ｃ１＝Ｃ２＞Ｃ３の関係で値が大きくなり、αが大きいほどＱｐＳｂの値が大きくなる。また、各サブバンドについては低周波成分寄りのサブバンドほど量子化パラメータの値を小さくするためα、βの値を小さくし、高周波成分寄りのサブバンドほど量子化パラメータの値を大きくするためにα、βの値を大きくする。

また、α[i][j]、β[i][j]の各値は予め設定されるものであるが、設定される圧縮率に応じて複数の組み合わせが用意されても良い。例えば、圧縮率が高い場合にはＱｐＳｂの値が大きすぎると情報が消失してしまうので、ＱｐＳｂが大きくなりすぎないようにα、βの値を小さめに調整することができる。

このようにして、各チャネル、各サブバンドの個別の重み係数α、βにより第１の量子化パラメータＱｐＢｓを修正して第２の量子化パラメータＱｐＳｂを生成するので、各チャネル、各サブバンドに対して柔軟に量子化制御することが可能になる。量子化部２０４は、式（５）に基づき生成された各チャネル、各サブバンドの第２の量子化パラメータＱｐＳｂを用いて、周波数変換部２０２から得られた変換係数を量子化する。

また、ＲＡＷデータ復号部１０３における第２の量子化パラメータＱｐＳｂの生成方法も、上述の式５に従って行うことができる。その際、第１の量子化パラメータＱｐＳｒとα、βの各値は、量子化パラメータ復号部２１２から提供される。

以上のようにしてＲＡＷデータ符号化・復号部１０３で符号化された各チャネルのサブバンドデータ、及び、第１の量子化パラメータＱｐＢｓ並びα、βは、記録処理部１０６により所定のデータ形式に基づき多重化され、符号化データとして記録される。図９（ａ）は、符号化データを記録する場合のデータ構造の一例を示す。図９（ａ）に示すように、符号化データは階層構造となっており、符号化データ全体に関わる情報を示す「ｍａｉｎ＿ｈｅａｄｅｒ」から始まり、ＲＡＷデータを複数の画素ブロック単位にタイル分割して符号化することを想定して「ｔｉｌｅ＿ｈｅａｄｅｒ」と「ｔｉｌｅ＿ｄａｔａ」によりタイル単位にデータを格納することが可能となっている。上記説明においては、ＲＡＷデータをチャネル、サブバンドデータ単位に直接符号化する場合を説明したが、タイルに限らずＲＡＷデータ内の所定の集合を単位として本発明を適用することができる。即ち、ＲＡＷデータをタイルに分割し、当該タイルについてチャネル、サブバンドデータ単位に符号化する場合も、上記と同様の処理をＲＡＷデータを複数に分割して得られたタイル単位に実行すればよい。この場合、タイル単位に各チャネルのサブバンドデータ、及び、第１の量子化パラメータＱｐＢｓが符号化されて、符号化データに包含される。タイル分割を行わない場合は、「ｔｉｌｅ＿ｈｅａｄｅｒ」と「ｔｉｌｅ＿ｄａｔａ」は１つのみとなる。

「ｔｉｌｅ＿ｄａｔａ」は以下の要素を含む。まず符号化された第１の量子化パラメータＱｐＢｓに関わる情報を示す「ｑｐ＿ｈｅａｄｅｒ」と符号化された第１の量子化パラメータ自体である「ｃｏｄｅｄ＿ｑｐ＿ｄａｔａ」が配置される。続く「ｃｏｄｅｄ＿ｒａｗ＿ｄａｔａ」は、チャネル単位に並んで配置されており、各チャネルに関わる情報を示す「ｃｈａｎｎｅｌ＿ｈｅａｄｅｒ」とそのチャネル毎の本体データである「ｃｈａｎｎｅｌ＿ｄａｔａ」の順にチャネル分の符号化済みのデータが格納される。「ｃｈａｎｎｅｌ＿ｄａｔａ」は、サブバンド毎の符号化されたデータの集合で構成されており、各サブバンドに関わる情報を示す「ｓｂ＿ｈｅａｄｅｒ」と符号化されたサブバンド毎のデータである「ｓｂ＿ｄａｔａ」がサブバンドインデックス順に並んでいる。サブバンドインデックスは、図９（ｂ）に示す通りである。

続いて、各ヘッダ情報のシンタクス要素について図１０に基づき説明を行う。「ｍａｉｎ＿ｈｅａｄｅｒ」は以下の要素で構成される。「ｃｏｄｅｄ＿ｄａｔａ＿ｓｉｚｅ」は符号化データ全体のデータ量を示す。「ｗｉｄｔｈ」はＲＡＷデータの幅を示す。「ｈｅｉｇｈｔ」はＲＡＷデータの高さを示す。「ｄｅｐｔｈ」はＲＡＷデータのビット深度を示す。「ｃｈａｎｎｅｌ」はＲＡＷデータの符号化時のチャネル数を示す。「ｔｙｐｅ」はチャネル変換のタイプを示す。「ｌｅｖ」は各チャネルのサブバンドレベルを示す。

「ｔｉｌｅ＿ｈｅａｄｅｒ」は、以下の要素で構成される。「ｔｉｌｅ＿ｉｎｄｅｘ」はタイル分割位置を識別するためのタイルのインデックスを示す。「ｔｉｌｅ＿ｄａｔａ＿ｓｉｚｅ」はタイルに含まれるデータ量を示す。「ｔｉｌｅ＿ｗｉｄｔｈ」はタイルの幅を示す。「ｔｉｌｅ＿ｈｅｉｇｈｔ」はタイルの高さを示す。

「ｑｐ＿ｈｅａｄｅｒ」は、以下の要素で構成される。「ｑｐ＿ｄａｔａ＿ｓｉｚｅ」は符号化された第１の量子化パラメータのデータ量を示す。「ｑｐ＿ｗｉｄｔｈ」は、第１の量子化パラメータの幅、即ちＲＡＷデータに対応する水平方向の第１の量子化パラメータの数を示す。「ｑｐ＿ｈｅｉｇｈｔ」は、第１の量子化パラメータの高さ、即ちＲＡＷデータに対応する垂直方向の第１の量子化パラメータ数を示す。

「ｃｈａｎｎｅｌ＿ｈｅａｄｅｒ」は、以下の要素で構成される。「ｃｈａｎｎｅｌ＿ｉｎｄｅｘ」はチャネルを識別するためのチャネルのインデックスを示す。「ｃｈａｎｎｅｌ＿ｄａｔａ＿ｓｉｚｅ」はチャネルのデータ量を示す。「ｓｂ＿ｈｅａｄｅｒ」は、以下の要素で構成される。「ｓｂ＿ｉｎｄｅｘ」はサブバンドを識別するためのサブバンドインデックスを示す。「ｓｂ＿ｄａｔａ＿ｓｉｚｅ」はサブバンドの符号化されたデータ量を示す。「ｓｂ＿ｑｐ＿ａ」は、各サブバンドに対する量子化パラメータを生成するための式（５）に示すα値を示す。「ｓｂ＿ｑｐ＿ｂ」は、各サブバンドに対する量子化パラメータを生成するための式（５）に示すβ値を示す。

以上の実施形態によれば、各チャネル、各サブバンドの量子化パラメータを全て記録するのではなく、全チャネル、全サブバンドの共通の量子化パラメータを記録し、当該共通量子化パラメータから各チャネル、各サブバンドの量子化パラメータを生成可能にする。これにより、以下に述べるような量子化パラメータのデータ量抑制の効果を達成することができる。

各チャネル、各サブバンドの個別の量子化パラメータを全て記録する場合（従来例）と、全チャネル、全サブバンド共通の量子化パラメータを記録する場合（本実施形態）とでデータ量の比較を考える。ここで、レベル１からレベル３までの各サブバンドについて１つずつの量子化パラメータが記録されることになる。よって、１セグメントについて記録することになる量子化パラメータのデータサイズは、（１×４サブバンド＋１×３サブバンド＋１×３サブバンド）×４チャネル分となり全体で４０となる。一方、共通量子化パラメータは、１つだけあればよいため１となり、記録対象とする量子化パラメータを共通の量子化パラメータとすることで量子化パラメータのサイズを４０分の１に削減することできる。

図１１は、バンド数がＰ個、１バンドに含まれるセグメント数をＱとした場合の、記録対象の共通の第１の量子化パラメータＱｐＢｓを示している。図示の如く、第１の量子化パラメータＱｐＢｓは２次元座標系にマップされた画面データと見なすことができるので、量子化パラメータの符号化に用いた予測差分符号化方式（ＭＥＤ予測）を同様に適用することでより量子化パラメータのデータ量を削減することが可能となる。なお、図１１において、ＱｐＢｓ[p,q]は、各セグメントに割り当てられた共通量子化パラメータを示し、ｐは、０から垂直方向のセグメントの分割数Ｐまでの値を取り、ｑは、０から水平方向のセグメントの分割数Ｑまでの値を取り得る。[p, q]の各値は、サブバンドにおける各セグメントの位置と対応する。

以上のようにＲＡＷデータを複数のチャネルに変換し、各チャネル単位にサブバンド分割を行う場合に、セグメント単位に全チャネル、全サブバンドに共通の量子化パラメータと重み付け関数とにより各チャネル、各サブバンド個別の量子化パラメータを生成することができる。これにより、柔軟な量子化制御を実現しつつ、共通の量子化パラメータを２次元データとして予測符号化を行うことで量子化パラメータのデータ量を大幅に削減し、高画質且つコンパクトにＲＡＷデータを記録することが可能となる。

［第２の実施形態］
以下、第２の実施形態について説明する。本第２の実施形態の撮像装置は、第１の実施形態の撮像装置と同様の構成とすることができる。但し、ＲＡＷデータ符号化・復号部１０３の量子化パラメータ生成部２０３における第１の量子化パラメータの生成単位と、各チャネル、各サブバンド個別の第２の量子化パラメータを生成するプロセスとが異なる。第１の実施形態と共通の構成の説明は本実施形態では省略するものとし、主に量子化パラメータ生成方法の相違に係る構成について説明する。

図１２（ａ）は、各チャネルをｌｅｖ＝３でサブバンド分割した場合の画質制御に関わるサブバンドデータの評価及び量子化パラメータを更新する単位を示しており、全チャネルのレベル３のサブバンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）の水平、垂直方向それぞれに（１×Ｍ）×１ライン（Ｍはそれぞれ整数）に対し、レベル２のサブバンド（２ＨＬ，２ＬＨ，２ＨＨ）の水平、垂直方向にそれぞれ（２×Ｍ）×１ライン、レベル１のサブバンド（１ＨＬ，１ＬＨ，１ＨＨ）の水平、垂直方向にそれぞれ（４×Ｍ）×１ラインのサブバンドデータに対応する共通の第１の量子化パラメータ（ＱｐＢｓ）を生成する。

図６（ａ）に示した画質制御に関わるセグメントと比較すると、図１２（ａ）ではレベル１においてセグメントサイズが垂直方向に４分の１となっている。よって、仮にＭ＝１とした場合の第１の量子化パラメータ（ＱｐＢｓ）とサブバンドデータとの関係は、図１２（ｂ）のようになる。ここでは、レベル１においてセグメントサイズが４×１となっているため、４×４のセグメントに換算すると第１の量子化パラメータ（ＱｐＢｓ）が４つ存在することになる。これにより、第１の実施形態と比較して垂直方向により細かい量子化制御が可能となっている。尚、同様に水平方向に対しても細かくすることも可能である。

画質制御に関わるサブバンドデータの評価方法は、第１の実施形態と実質的には同様であるが、本第２の実施形態では低周波成分として評価する対象を３ＬＬではなくサブバンド分割工程で中間的に生成される１ＬＬ相当のサブバンドデータとする。処理の流れは図７に示したフローチャートと同様であるが、Ｓ７０１における判定対象は３ＬＬではなく１ＬＬの変換係数となる。

本第２の実施形態では、例えばＭ＝１の４×４のセグメントに換算した場合、画質制御の対象となるライン単位の量子化パラメータ数がレベル１からレベル３で異なるため、第１の実施形態のようにレベル１からレベル３まで第１の量子化パラメータＱｐＢｓを共通に使用できない。そこで、本第２の実施形態では、レベル１における４つのＱｐＢｓから、各レベルのＱｐＬｖ１～ＱｐＬｖ３を以下の式６に示す計算式に基づき生成し、これらを用いて各チャネル、各サブバンドに対応する個別の第２の量子化パラメータＱｐＳｂを生成する。
ＱｐＬｖ１［ｍ］＝ＱｐＢｓ［ｍ］
ＱｐＬｖ２［ｎ］＝（ＱｐＢｓ［ｎ×２］＋ＱｐＢｓ［ｎ×２＋１］）＞＞１
ＱｐＬｖ３［ｎ］＝（ＱｐＢｓ［０］＋ＱｐＢｓ［１］＋ＱｐＢｓ［２］＋ＱｐＢｓ［３］）＞＞２ …（６）
ｍ ：セグメント単位のレベル１のサブバンドに対するライン数（０～３）
nｎ：セグメント単位のレベル２のサブバンドに対するライン数（０～１）
＞＞ｘ：右方向（下位方向）へｘビットシフト
尚、式（６）に示すようにレベル２及びレベル３の量子化パラメータを対応するＱｐＢｓの平均値により算出しているが、最大値や最小値のＱｐＢｓを選択するようにしても良い。また、ＱｐＬｖ３をＱｐＬｖ２の平均値、最大値又は最小値として算出しても良い。最終的な量子化に用いる各チャネル、各サブバンドの第２の量子化パラメータ（ＱｐＳｂ）は、前述の式５におけるＱｐＢｓをＱｐＬｖ１～ＱｐＬｖ３に置き換えて算出すれば良く、各量子化パラメータと量子化対象のサブバンドとの関係は、図１２（ｃ）に示すようになる。

次に、図１３を参照して、本第２の実施形態における、記録される量子化パラメータのデータ量の削減度合いについて説明する。対比される従来例において、各レベルにつき１ライン単位に量子化パラメータを記録すると仮定すると、レベル３のサブバンドの量子化パラメータを１とした場合、レベル２はレベル３の２倍、レベル１はレベル３の４倍の量子化パラメータを記録することになる。よって、１セグメントについて記録することになる量子化パラメータのデータサイズは、（１×４サブバンド＋２×３サブバンド＋４×３サブバンド）×４チャネル分となり全体で８８となる。一方、共通の量子化パラメータは、レベル１のサブバンド相当であるため４となり、記録対象とする量子化パラメータを共通の量子化パラメータとすることで量子化パラメータのサイズを２２分の１に削減することできる。

このように、本実施形態のように垂直方向により細かい量子化制御を行なった場合であっても、従来例と比較して十分なデータ削減効果が期待できるものである。また、第１の実施形態と同様に、本実施形態でも柔軟な量子化制御を実現しつつ、共通の量子化パラメータを２次元データとして予測符号化を行うことで量子化パラメータのデータ量を大幅に削減し、高画質且つコンパクトにＲＡＷデータを記録することが可能となる。

［第３の実施形態］
以下、発明の第３の実施形態について説明する。図２３（ａ）は、本第３の実施形態の撮像装置のＲＡＷデータ符号化部１０３Ｅの構成を、同図（ｂ）はＲＡＷデータ復号部１０３Ｄの構成を示している。図２（ａ），（ｂ）と異なる点は、ＲＡＷデータ符号化部１０３Ｅにタイル分割部２３０１が追加された点、ＲＡＷデータ復号部１０３Ｄにタイル統合部２３０２が追加された点である。それ以外は、第２の実施形態と同じであるものとする。

タイル分割部２３０１は、入力した１フレームのＲＡＷ画像データを予め設定された個数のタイルに分割し、各タイル単位にチャネル変換部２０１に供給する。ただし、実施形態におけるタイル分割部２３０１は、分割した着目タイルのＲＡＷ画像データをチャネル変換部２０１に供給する際、隣接するタイル内の着目タイルとの境界から所定の距離に位置する画素データも含めて、チャネル変換部２０１に供給する。チャネル変換部２０１以降の符号化処理は上記第１、第２の実施形態と同じであるが、本第３の実施形態では、複数のタイルの符号化データが１フレームの画像の符号化データとなる点で異なる。また、周波数変換部２０２は、隣接タイル内の境界近傍のデータをも周波数変換（ウェーブレット変換）するので、着目タイルのみを周波数変換する場合と比べて、サブバンドデータが増える。また、タイル統合部２３０２は、復号して得た各タイルの画像を連結して１フレームのＲＡＷ画像データを生成し、出力することになる。

本第３の実施形態における周波数変換部２０２が用いるウェーブレット変換のフィルタは、第１の実施形態と同様に、５タップのｌｐｆと３タップのｈｐｆを用いるものとする。

ここで説明を単純化するため、ウェーブレット変換を１回行う場合について考察する。図１４は、ＲＡＷ画像を水平方向に２タイルに分割した場合の、周波数変換部２０２が離散ウェーブレット変換を水平方向に１回実行するためのリフティング構造を示している。

図１４の参照符号ａ～ｉは、タイル境界付近の１ラインのデータを示している。図示は、データｄとｅの間にタイル境界がある例を示し、データｅ～ｉが離散ウェーブレット変換対象の符号化対象の着目タイルに属し、データａ～ｄが左に位置する隣接タイルに属する例である。実施形態における符号化処理は、タイルを単位とするラスタースキャン順に行われるものとする。

５タップのｌｐｆと３タップのｈｐｆを用いて離散ウェーブレット変換を１回行う場合、連続する３つのデータを参照して高周波成分を示す変換係数が算出される。図示の、ｂ’、ｄ’、ｆ’、ｈ’が、分解レベル１の高周波成分の変換係数（１Ｈ）を示している。

また、連続する５つのデータを参照して低周波成分を示す変換係数が算出される。図示のｃ”、ｅ”、ｇ”が、分解レベル１の低周波成分を示す変換係数（１Ｌ）を示している。

ここで、ウェーブレット変換を１回実行して符号化する場合の着目タイルのタイル境界に最近接するデータ「ｅ」を復号する場合を考察する。データ「ｅ」を復号するためには、図示のように、高周波変換係数ｄ’，ｆ’と、低周波変換係数ｅ”の３つがあればよい。このうち、半数以上を隣接タイルのデータを参照して生成された変換係数は、高周波変換係数ｄ’である。そして、この高周波変換係数ｄ’は、着目タイル内のデータｅと、隣接タイルのデータｃ、ｄの２つの計３つから算出される。そのため、離散ウェーブレット変換を１回行う場合に、左に隣接するタイルの参照データ数は“２”となる。

このように、周波数変換部２０２は、着目タイルを符号化する際にその左隣にタイルがある場合であって、離散ウェーブレット変換を１回のみ行う場合には、着目タイルに加えて、左隣のタイルの境界から２画素分の距離にあるデータｃ、ｄを入力し、離散ウェーブレット変換を行う。

ここで、左隣のタイルは、着目タイルの直前に符号化を終えているので、左隣のタイルを符号化する際に高周波変換係数ｄ’は演算済みであるので、それを利用すれば良いように思える。しかし、左隣のタイルの高周波変換係数ｄ’は量子化されており、且つ、その量子化の際の量子化パラメータは、着目タイルの量子化パラメータと同じであるとは限らない。そこで、本実施形態では、左隣のタイル内の、タイル境界から２画素分の距離にあるデータｃ、ｄを含めて、ウェーブレット変換し、着目タイルの符号化を行う。

そして、周波数変換部２０２は、符号化対象タイルから得られた変換係数に加えて、半数以上を隣接タイルのデータを参照して生成された変換係数ｄ’を、タイル境界付近の１ラインのデータの水平方向の離散ウェーブレット変換の変換係数とする。

前述の５タップのｌｐｆと３タップのｈｐｆを用いて離散ウェーブレット変換を、リフティング構造を用いて符号化した場合の復号処理を、図１５を用いて説明する。

図１５は、周波数逆変換部２１５が、図１４を用いて説明した離散ウェーブレット変換で生成した係数をリフティング構造を用いて離散ウェーブレット逆変換する様を示す図である。図１５のｄ’、ｅ”、ｆ’、ｇ”は、図１４のｄ’、ｅ”、ｆ’、ｇ”に対応する。つまり、ｄ’，ｆ’は分解レベル１の高周波の変換係数（１Ｈ）であり、ｅ”、ｇ”は分解レベル１の低周波の変換係数（１Ｌ）を示している。このうち、変換係数ｄ’は、半数以上を隣接タイルのデータを参照して生成された変換係数である。変換係数ｄ’、ｅ”、ｆ’から、符号化対象タイルの端のデータｅを生成することができる。

さて、実施形態では、ウェーブレット変換の実行回数が「３」の場合であるので、その説明に戻る。図１６は、ＲＡＷ画像を水平方向に２タイルに分割した場合の、周波数変換部２０２が離散ウェーブレット変換を水平方向に３回行う場合の実行法を示す図である。

離散ウェーブレット変換を１回実行する図１４の場合には、符号化対象タイル内のデータを復号するのに必要な変換係数を生成するために、隣接タイルを参照して入力するデータは既に図１４を用いて説明したように２つであった。一方、離散ウェーブレット変換を３回行う場合は、図１６のように隣接タイル内のタイル境界から１６個分の距離にある１６個のデータを入力する必要がある。

符号化対象タイルの端に位置するデータを復号するのに必要な変換係数のうち、半数以上を隣接タイルのデータを参照して生成された変換係数は、図示の丸で囲った変換係数となる。つまり、分解レベル１の変換係数（１Ｈ）の１係数、分解レベル２の変換係数（２Ｈ）の１係数、分解レベル３の変換係数（３Ｈ）の１係数の計３係数だけである。よって、半数以上を隣接タイルのデータを参照して生成された変換係数のうち、これら３係数をタイル境界付近の１ラインのデータの水平方向の離散ウェーブレット変換の変換係数とすれば良い。

以上、図１４、図１５、図１６を用いて、ＲＡＷ画像を水平方向に２タイルに分割した場合の、周波数変換部２０２が離散ウェーブレット変換を水平方向に実施した場合について説明したが、ＲＡＷ画像を垂直方向に２タイルに分割し、垂直方向に実施した場合についても同様である。

また、図１４、図１５、図１６を用いて、水平方向の１次元の離散ウェーブレット変換について説明したが、周波数変換部２０２が離散ウェーブレット変換を水平、垂直方向に２次元に実施する場合は、以下のように処理される。

はじめに水平方向の処理は、前述の通りに符号化対象の着目タイルと隣接タイルから得られたデータを参照し、垂直方向の離散ウェーブレット変換処理を行い、着目タイルの端に位置するデータを復号するのに必要なだけ水平方向変換係数を出力する。

その後、垂直方向の処理は、着目タイルの前記水平方向変換係数のみならず、隣接タイルの水平方向変換係数を入力し、垂直方向の離散ウェーブレット変換処理を行い、着目タイルの端に位置するデータを復号するのに必要なだけサブバンドデータを出力する。

以後、水平方向の処理に必要なデータのうち、半数以上を着目タイルのデータを参照し、かつ垂直方向の処理に必要なデータのうち、半数以上を符号化対象タイルのデータを参照して生成された変換係数を第１の変換係数と定義し、それ以外のサブバンドデータを、第２の変換係数と定義する。

言い換えると、第２の変換係数は、水平方向の処理、もしくは垂直方向のいずれか一方の処理において、半数以上を隣接タイルのチャネルデータを参照して生成された変換係数である。

図１７（ａ）は、ＲＡＷ画像を左右の２タイルにタイル分割した場合の概念図である。ここでは、左タイルをタイルＡ、右タイルをタイルＢとし、タイルＢが符号化対象タイルであることを示している。

図１７（ｂ）は、タイルＡおよびタイルＢの第１の変換係数、および第２の変換係数を示している。タイルＡは、右に隣接するタイルが存在しており、３ＨＬ／３ＨＨ／２ＨＬ／２ＨＨ／１ＨＬ／１ＨＨの、６つのサブバンドにおいて、第１の変換係数の右側に第２の変換係数が２係数存在する例を示している。

タイルＢは、左に隣接するタイルが存在しており、３ＨＬ／３ＨＨ／２ＨＬ／２ＨＨ／１ＨＬ／１ＨＨの、６つのサブバンドにおいて、第１の変換係数の左側に第２の変換係数が１係数存在する例を示している。

図１８は、ＲＡＷ画像をタイル分割した場合の、第２の量子化パラメータ（ＱｐＳｂ）の生成処理を示すシーケンス図である。

なお、本実施形態では、セグメントの分割は第１の変換係数を対象とし、第２の変換係数は、セグメントに含まれない。そして、第１の実施形態と同様の手順でセグメントの分割を行うことで、セグメントは第２の変換係数の有無によらず、第１の実施形態と同一となるものとする。

Ｓ１８０１において、量子化パラメータ生成部２０３は、各バンド（第１の処理単位）ごとに第３の量子化パラメータ（ＱｐＢｒ）を生成する。

Ｓ１８０２において、量子化パラメータ生成部２０３は、第２の処理単位であるセグメントごとのサブバンドデータの画質評価結果に応じて第３の量子化パラメータ（ＱｐＢｒ）を調整して第１の量子化パラメータ（ＱｐＢｓ）を生成する。

Ｓ１８０３において、量子化パラメータ生成部２０３は、セグメントに隣接する第２の変換係数が存在するかどうかについて判定を行う。

第２の変換係数が存在する場合（Ｓ１８０３で「ＹＥＳ」）、量子化パラメータ生成部２０３は処理をＳ１８０４に進め、存在しない場合には処理をステップS１８０５に進める。

Ｓ１８０４にて、量子化パラメータ生成部２０３は、セグメントに含まれるサブバンドデータと、第２の変換係数の第２の量子化パラメータＱｐＳｂをＱｐＢｓから生成する。この詳細は、図１９を用いて後述する。

また、ステップＳ１８０５に処理が進んだ場合、量子化パラメータ生成部２０３は、セグメントに含まれるサブバンドデータの第２の量子化パラメータＱｐＳｂをＱｐＢｓから生成する。ここでは、第１の実施形態と同様の方法で第３の量子化パラメータ（ＱｐＢｒ）、第２の量子化パラメータ（ＱｐＢｓ）、第１の量子化パラメータ（ＱｐＳｂ）を生成することとする。

ただし、Ｓ１８０１においては、上端に存在する第２の変換係数やラインの左右に存在する第２の変換係数を、第一の処理単位に対応する目標符号量と発生符号量に含めて第３の量子化パラメータ（ＱｐＢｒ）を生成する構成を取っても良い。

Ｓ１８０６にて、量子化パラメータ生成部２０３は、第２の量子化パラメータＱｐＳｂ生成対象のセグメントを更新する。

Ｓ１８０７にて、量子化パラメータ生成部２０３は、バンド内の全チャネル、全セグメントの第２の量子化パラメータＱｐＳｂ生成が完了したかどうかを判定する。そして、処理が完了していると判定した場合、量子化パラメータ生成部２０３は処理をＳ１８０８に進める。また、未完であると判定した場合には、量子化パラメータ生成部２０３は、処理をＳ１８０３に戻して、全チャネルの全セグメントの第２の量子化パラメータＱｐＳｂの生成が完了するまでセグメント単位の処理を繰り返す。

Ｓ１８０８にて、量子化パラメータ生成部２０３は、全バンドの処理が完了したかどうかを判定する。処理が完了していれば、量子化パラメータ生成部２０３は、本処理を終了する。また、未完である場合、量子化パラメータ生成部２０３は処理をS１８０１に戻し、全バンドの処理が完了するまでバンド単位の処理を繰り返す。

図１９は、ＲＡＷ画像を複数のタイルに分割し、着目タイルの上下左右に隣接するタイルが存在する場合の、上下左右の各第２の変換係数と、第１の量子化パラメータ（ＱｐＢｓ）の関係を、ｌｅｖ＝１でサブバンド分割した場合のサブバンドを例に示している。

ここでは、量子化パラメータ生成部２０３の説明のため、上、左の第２の変換係数は１係数、右、下の第２の変換係数は２係数の例を示している。

図１９を用いて、Ｓ１８０４の量子化パラメータ生成部２０３の処理を説明する。図示の点線で囲った第１の変換係数、第２の変換係数が、各々同じ第１の量子化パラメータ（ＱｐＢｓ）を参照していることを示している。

量子化パラメータ生成部２０３は、例えば、第１の量子化パラメータＱｐＢｓ［１，１］を参照するセグメントを対象に第２の量子化パラメータ（ＱｐＳｂ）を生成する場合、処理対象のセグメントに隣接する第２の変換係数が存在する。そのため、処理対象のセグメントに含まれる第１の係数のみならず、隣接、もしくは最近接する第２の変換係数の第２の量子化パラメータを、第１の量子化パラメータＱｐＢｓ［１，１］を参照し、第１の実施形態と同様の方法で第２の量子化パラメータ（ＱｐＳｂ）を生成する。

よって、処理対象のセグメントに含まれる第１の係数の第２の量子化パラメータと、隣接、もしくは最近接する第２の変換係数の第２の量子化パラメータは、同値となる。

その他の第２の変換係数についても、処理対象のセグメントに隣接する第２の変換係数が存在する場合に、同様の方法で第２の量子化パラメータが生成される。

なお、図１９では、第２の変換係数の数を１つ、もしくは２つの例を示したが、第２の変換係数がＮ（Ｎは定数）の場合についても同様の仕組みで第２の変換係数の第２の量子化パラメータ（ＱｐＳｂ）を生成可能である。

以上、符号化装置における量子化パラメータ生成部２０３の処理について説明してきたが、復号装置における量子化パラメータ生成部２１３についても同様に、セグメントに含まれる第１の変換係数とセグメントに最近接する第２の変換係数の第２の量子化を、同じ第１の量子化パラメータ（ＱｐＢｓ）を参照し、第１の実施形態と同様の方法で第２の量子化パラメータ（ＱｐＳｂ）を生成する。

以上のようにすることで、ＲＡＷ画像データを複数のタイルに分割し、タイル境界の劣化を抑えるために第２の変換係数を生成する場合に、第２の変換係数が存在しない場合と比較して量子化パラメータのデータ量を増やすことなくＲＡＷデータを記録することが可能となる。

［第４の実施形態］
以下、第４の実施形態について説明する。上記第３の実施形態では、ＲＡＷ画像データを複数のタイルに分割、タイルごとに符号化する場合、量子化パラメータ生成部２０３は、第２の変換係数と、第２の変換係数に最近接する第１の変換係数の第２の量子化パラメータが同値になるように第２の量子化パラメータを生成した。このため、第２の変換係数の画質評価結果に応じた、第２の変換係数の量子化パラメータの調整が出来ないため、画質面で不利な構成であった。

第４の実施形態では、第３の実施形態の撮像装置に対して量子化パラメータ生成処理を工夫することで、第２の変換係数の画質評価結果に応じた第２の量子化パラメータの調整を可能としている。

第３の実施形態と共通の構成の説明は省略し、以降では、本第４の実施形態における量子化パラメータ生成方法と、量子化パラメータ符号化方法の相違に係る構成について説明する。

以下、第１の変換係数の評価および量子化パラメータを更新する第１の処理単位を第１のセグメントと定義し、第２の変換係数の評価および量子化パラメータを更新する第２の処理単位を第２のセグメントと定義する。

図２０（ａ）は、ＲＡＷ画像を上下にタイル分割した際の着目タイルの上側に隣接タイルが存在する場合の、各チャネルをｌｅｖ＝３でサブバンド分割した場合の画質制御に関わるサブバンドデータのうち、第２の変換係数の評価および量子化パラメータを更新する第２の処理単位（第２のセグメント）を示す。

上下にタイル分割し、上側に隣接タイルが存在する場合、第２の変換係数は第１の変換係数の上にライン単位で存在する。

ここでは、量子化パラメータ生成部２０３の説明のため、３ＬＨ、３ＨＨのサブバンドで第２の変換係数は１係数が、２ＬＨ、２ＨＨ、１ＬＨ、１ＨＨのサブバンドで第２の変換係数は２係数が存在した場合の例を示している。

各第２のセグメントは、全チャネルのレベル３のサブバンド｛３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ｝の水平、垂直方向それぞれに１×｛第２の変換係数のライン数｝、レベル２のサブバンド｛２ＨＬ，２ＬＨ，２ＨＨ｝の水平、垂直方向にそれぞれ２×｛第２の変換係数のライン数｝、レベル１のサブバンド｛１ＨＬ，１ＬＨ，１ＨＨ｝の水平、垂直方向にそれぞれ４×｛第２の変換係数のライン数｝としている。

量子化パラメータ生成部２０３は、初期量子化パラメータＱｐＢｒ（０）を、第２のセグメントごとの画質特性に応じて修正することで、第２のセグメントごとの第４の量子化パラメータ（ＱｐＢｓ’）を生成する。

図２０（ｂ）は、第４の量子化パラメータ（ＱｐＢｓ‘）とサブバンドデータ（第２の変換係数）との関係を示す。ここに示すように、１つのセグメントに含まれる各チャネルの複数のサブバンドデータ（変換係数）に対して１つの第４の量子化パラメータ（ＱｐＢｓ’）が生成されており、垂直方向は第１の実施形態の図６（ｂ）とは異なり、上端、もしくは下端に１つの第４の量子化パラメータ（ＱｐＢｓ’）を固定で持つことになる。

以上のように、図２０（ａ）、図（ｂ）では、上端に隣接タイルが存在する場合について説明したが、下端に隣接タイルが存在する場合は、以下の通りに処理を行う。

各第２のセグメントは、上端に隣接タイルが存在する場合と同様である。量子化パラメータ生成部２０３は、第１の変換係数の最終ラインの第３の量子化パラメータ（ＱｐＢｒ）を、第２のセグメントごとの画質特性に応じて修正し、第２のセグメントごとの第４の量子化パラメータ（ＱｐＢｓ’）を生成する。

量子化パラメータ生成部２０３は、第２のセグメントごとの画質特性については、各第２のセグメントに含まれる第２の変換係数のうち、例えば３ＬＬのサブバンドデータを低周波成分として評価し、１ＨＬ，１ＬＨ，１ＨＨのサブバンドデータから高周波成分を評価する。なお、第２のセグメント内に評価対象の各サブバンドデータ（第２の変換係数）が複数存在する場合は、その平均値をもって評価する。そして、第１の実施形態と同様に、量子化パラメータ生成部２０３は、低周波成分の振幅が小さい程量子化を細かく、高周波成分の振幅が大きい程量子化を粗く制御するように、第３の量子化パラメータ（ＱｐＢｒ）に対してゲイン、オフセット調整を行う。

図２１（ａ）は、ＲＡＷ画像データを左右にタイル分割し、左側に隣接タイルが存在する場合の、各チャネルをｌｅｖ＝３でサブバンド分割した場合の画質制御に関わるサブバンドデータのうち、第２の変換係数の評価および量子化パラメータを更新する第２の処理単位（第２のセグメント）を示す。

左右にタイル分割し、左端に隣接タイルが存在する場合、第２の変換係数は第１の変換係数の左に垂直ライン単位で存在することになる。

ここでは、量子化パラメータ生成部２０３の説明のため、３ＨＬ、３ＨＨのサブバンドで第２の変換係数は１係数、２ＨＬ、２ＨＨ、１ＨＬ、１ＨＨのサブバンドで第２の変換係数は２係数存在した場合の例を示している。

各第２のセグメントは、全チャネルのレベル３のサブバンド｛３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ｝の水平、垂直方向それぞれに「水平方向の第２の変換係数の数」×１、レベル２のサブバンド｛２ＨＬ，２ＬＨ，２ＨＨ｝の水平、垂直方向にそれぞれを「水平方向の第２の変換係数の数」×１、レベル１のサブバンド｛１ＨＬ，１ＬＨ，１ＨＨ｝の水平、垂直方向にそれぞれ「水平方向の第２の変換係数の数」×１としている。

量子化パラメータ生成部２０３は、量子化パラメータＱｐＢｒを、第２のセグメントごとの画質特性に応じて修正することで、第２のセグメントごとの第４の量子化パラメータ（ＱｐＢｓ’）を生成する。第２のセグメントごとの画質特性に応じた修正方法は、図２０（ｂ）で説明した方法と同様とする。

図２１（ｂ）は、第４の量子化パラメータ（ＱｐＢｓ’）とサブバンドデータ（第２の変換係数）との関係を示す。ここに示すように、１つのセグメントに含まれる各チャネルの複数のサブバンドデータ（第２の変換係数）に対して４つの第４の量子化パラメータ（ＱｐＢｓ’）が生成されており、垂直方向は第１の実施形態の図６（ｂ）と同様の関係となっている。

レベル１における４つのＱｐＢｓ’から、各レベルのＱｐＬｖ１～ＱｐＬｖ３の算出方法については、第２の実施形態に記載の、前述の式（６）を参照することとし、ここでの説明は省略する。

図２２Ａは、ＲＡＷ画像を複数に分割し、上下左右に隣接するタイルが存在する場合の、上下左右の各第２の変換係数と、第１の量子化パラメータ（ＱｐＢｓ）、第４の量子化パラメータ（ＱｐＢｓ‘）の関係を、ｌｅｖ＝１のサブバンドを例に示している。ここでは、量子化パラメータ生成部２０３の説明のため、図１９と同様に、上、左の第２の変換係数は１係数、右、下の第２の変換係数は２係数の例を示す。前述した第２のセグメントの定義に従い、各第２の変換係数は、各々の第２のセグメント含まれている。第２のセグメントは、第１のセグメントに対して、隣接タイルがある方向（この場合、上下左右）に、１つずつ存在する。

また、第２のセグメントごとの第４の量子化パラメータ（ＱｐＢｓ‘）も同様に、第１のセグメントに対応した第１の量子化パラメータ（ＱｐＢｓ）に対して、隣接タイルがある方向（この場合、上下左右）に、１つずつ存在する。

量子化パラメータ生成部２０３は、第２のセグメントに含まれる、各チャネル、各サブバンド個別の第５の量子化パラメータ（ＱｐＳｂ’）を、第４の量子化パラメータ（ＱｐＢｓ’）を参照して算出する。

次式（７）は、第５の量子化パラメータ（ＱｐＳｂ‘）生成のための計算式である。
ＱｐＳｂ’[i][j]＝ＱｐＢｓ’×α[i][j]＋β[i][j] …（７）
QpSb‘：各チャネル、各サブバンド個別の第５の量子化パラメータ
QpBs‘：全チャネル、全サブバンド共通の第４の量子化パラメータ
α：傾き
β：切片
i：チャネルインデックス（0～3）
j：サブバンドインデックス（0～9）
第２の量子化パラメータ算出のための式（５）に対して、参照する量子化パラメータを第４の量子化パラメータ（ＱｐＢｓ‘）に変更したのみであるため、詳細な説明はここでは省略する。

量子化パラメータ符号化部２０６は、第１の量子化パラメータ（ＱｐＢｓ）および、第４の量子化パラメータ（ＱｐＢｓ‘）を混在させて符号化し、対応するセグメントの座標位置に対してラスター順に第２の量子化パラメータ（ＱｐＢｓ）および、第４の量子化パラメータ（ＱｐＢｓ‘）を入力し、符号化する。

図２２Ａの例では、以下の順で第１の量子化パラメータ（ＱｐＢｓ）および、第４の量子化パラメータ（ＱｐＢｓ‘）を量子化パラメータ符号化部２０６に入力することになる。
ＱｐＢｓ‘［０,０］、ＱｐＢｓ‘［０,１］・・・ＱｐＢｓ‘［０、Ｐ＋１］、
ＱｐＢｓ‘［１,０］、ＱｐＢｓ［０,１］・・・ＱｐＢｓ‘［１、Ｐ＋１］、
・・・
ＱｐＢｓ‘［Ｑ,０］、ＱｐＢｓ［Ｑ,１］・・・ＱｐＢｓ‘［Ｑ、Ｐ＋１］
ＱｐＢｓ‘［Ｑ＋１,０］、ＱｐＢｓ’［Ｑ＋１,１］・・・ＱｐＢｓ‘［Ｑ＋１、Ｐ＋１］

図２２Ｂ（ａ）及び図２２Ｂ（ｂ）は、第２のセグメントと第４の量子化パラメータ（ＱｐＢｓ‘）の関係を示している。

図２２Ｂ（ａ）は、上端タイル境界近辺の第２のセグメントと第４の量子化パラメータ（ＱｐＢｓ‘）の関係を示している。第２のセグメントに含まれる第２の変換係数は、各々、第２のセグメントに対応した第４のパラメータ（ＱｐＢｓ‘）を参照する。

図２２Ｂ（ｂ）は、下端タイル境界近辺の第２のセグメントと第４の量子化パラメータ（ＱｐＢｓ‘）の関係を示しており、上端タイル境界近辺と同様の関係に第２のセグメントに含まれる第２の変換係数は、各々、第２のセグメントに対応した第４のパラメータ（ＱｐＢｓ‘）を参照する。

以上、符号化装置における量子化パラメータ生成部２０３の処理について説明してきた。復号装置においては、以下の処理を行うことになる。

量子化パラメータ復号部２１２は、メモリ１０５から入力された符号化データに含まれる、第１の量子化パラメータと第４の量子化パラメータを復号する。量子化パラメータ生成部２１３は、復号された第１の量子化パラメータを用いて、第１の変換係数を逆量子化で生成する際に使用する第２の量子化パラメータを生成し、復号された第４の量子化パラメータを用いて、第２の変換係数を逆量子化で生成する際に使用する第５の量子化パラメータを生成する。逆量子化部２１４は、復号部２１１から出力された量子化済み第１の変換係数を第２の量子化パラメータを用いて逆量子化処理し、量子化済み第２の変換係数を第５の量子化パラメータを用いて逆量子化する。周波数逆変換部２１５は、第１の変換係数と第２の変換係数を入力して離散ウェーブレット逆変換による周波数変換処理を行い、所定の分割レベルのサブバンドデータ（変換係数）からチャネルを復元する。

また、チャネル逆変換部２１６は、周波数逆変換部２１５からのデータを入力し、タイル単位のベイヤ配列のＲＡＷ画像データを生成する。そして、タイル統合部２３０２は、各タイルを接続し、１フレームのＲＡＷ画像データを生成し、出力する。

以上のようにすることで、第２のセグメントに対応した第４の量子化パラメータ（ＱｐＢｓ‘）を生成し符号化することで、第２の変換係数の量子化パラメータを、第２のセグメントごとの画質特性に応じて修正することができるため、僅かな量子化パラメータ符号量の増加で、より高品位のＲＡＷデータを記録することが可能となる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…撮像装置、１０１…制御部、１０２…撮像部、１０３…ＲＡＷデータ符号化・復号部、１０４…メモリＩ／Ｆ部、１０５…メモリ、１０６…記録処理部、１０７…記録媒体、２０１…チャネル変換部、２０２…周波数変換部、２０３…量子化パラメータ生成部、２０４…量子化部、２０５…符号化部、２０６…量子化パラメータ符号化部、２３０１…タイル分割部、２３０２…タイル統合部

Claims (16)

1. ベイヤ配列のＲＡＷ画像データを符号化する符号化装置であって、
   符号化対象のＲＡＷ画像データを複数のタイルに分割する分割手段と、
   該分割手段により分割された前記複数のタイル毎に互いに異なる成分を持つ複数のチャネルのプレーンを生成する生成手段と、
   該生成手段で生成した各チャネルのプレーンに対して周波数変換し、複数の分解レベルのサブバンドデータを生成する変換手段と、
   前記ＲＡＷ画像データの同じ領域に対応する複数のセグメントに分割するために、前記複数のサブバンドデータをそれぞれ同じ数のセグメントに分割し、セグメント毎に複数のサブバンドデータで共通となる第１の量子化パラメータを決定する制御手段と、
   前記制御手段により決定された第１の量子化パラメータに基づいて、前記変換手段で得たサブバンドデータをセグメント毎にそれぞれ量子化する量子化手段と、
   前記量子化により得られた量子化結果を、サブバンド毎に符号化する符号化手段と、
   を有し、
   前記生成手段は、
   着目タイルから前記複数のチャネルのプレーンを生成する際に、前記着目タイルと、前記着目タイルの隣接タイル内の前記着目タイルとの境界から所定の距離までのデータとから、前記複数のチャネルのプレーンを生成し、
   前記制御手段は、
   前記着目タイルのサブバンドデータを前記複数のセグメントに分割して前記第１の量子化パラメータを決定し、前記隣接タイルのサブバンドデータは、前記着目タイルとの境界を介して隣接するセグメントの量子化パラメータを適応する
   ことを特徴とする画像符号化装置。
2. 前記制御手段は、前記第１の量子化パラメータに基づいて、前記複数のサブバンドデータそれぞれに対応する第２の量子化パラメータを決定し、
   前記量子化手段は、前記第２の量子化パラメータに基づいて、前記複数のサブバンドデータのセグメントをそれぞれ量子化することを特徴とする請求項１に記載の画像符号化装置。
3. 前記制御手段は、前記複数のサブバンドデータについてそれぞれ設定された係数を用いて前記第１の量子化パラメータを修正することにより、前記第２の量子化パラメータを決定することを特徴とする請求項２に記載の画像符号化装置。
4. 前記係数は、符号化データについて設定される圧縮率に応じて設定されることを特徴とする請求項３に記載の画像符号化装置。
5. 前記係数は、複数のセグメントにそれぞれ対応する複数の第１の量子化パラメータに対して共通に割り当てられることを特徴とする請求項３に記載の画像符号化装置。
6. 前記第１の量子化パラメータは、前記複数のチャネルのプレーンの前記複数のサブバンドにおいて共通となる量子化パラメータであることを特徴とする請求項１に記載の画像符号化装置。
7. 前記制御手段は、各チャネルのプレーンに対応する前記複数のサブバンドデータ毎に設定された係数を用いて前記第１の量子化パラメータを修正することにより、前記第２の量子化パラメータを決定することを特徴とする請求項２に記載の画像符号化装置。
8. 前記符号化手段により符号化されたサブバンドデータと共に、前記セグメント毎に決定された前記第１の量子化パラメータを記録媒体に記録する記録手段を有することを特徴とする請求項１に記載の画像符号化装置。
9. 前記符号化手段により符号化されたサブバンドデータと共に、前記セグメント毎に決定された前記第１の量子化パラメータと、前記係数とを記録媒体に記録する記録手段を有することを特徴とする請求項３または７に記載の画像符号化装置。
10. 前記変換手段は、ウェーブレット変換を実行し、
    前記距離は、前記ウェーブレット変換の実行回数に応じた距離であることを特徴とする請求項１に記載の画像符号化装置。
11. 前記制御手段は、各セグメントにおける低周波サブバンドの係数に基づいて各セグメントの前記第１の量子化パラメータを決定することを特徴とする請求項１に記載の画像符号化装置。
12. 請求項１に記載の画像符号化装置で生成された符号化データを復号する画像復号装置であって、
    符号化データから、復号しようとする着目タイル内の各セグメントの第１の量子化パラメータを復号する第１の復号手段と、
    前記符号化データから、前記着目タイルの各セグメントの量子化後のデータを復号する第２の復号手段と、
    前記第２の復号手段で得た量子化後のデータを前記第１の量子化パラメータに従って逆量子化する逆量子化手段と、
    該逆量子化手段で得た各セグメントで構成されるデータを周波数逆変換を行うことで、着目タイルの複数のチャネルのプレーンを生成する逆変換手段と、
    複数のチャネルのプレーンから、着目タイルのＲＡＷ画像データを生成する生成手段と、
    該生成手段で得た各タイルのＲＡＷ画像データを統合して１枚のベイヤ配列のＲＡＷ画像データを生成する統合手段と
    を有することを特徴とする画像復号装置。
13. ベイヤ配列のＲＡＷ画像データを符号化する符号化装置の制御方法であって、
    符号化対象のＲＡＷ画像データを複数のタイルに分割する分割工程と、
    該分割工程により分割された前記複数のタイル毎に互いに異なる成分を持つ複数のチャネルのプレーンを生成する生成工程と、
    該生成工程で生成した各チャネルのプレーンに対して周波数変換し、複数の分解レベルのサブバンドデータを生成する変換工程と、
    前記ＲＡＷ画像データの同じ領域に対応する複数のセグメントに分割するために、前記複数のサブバンドデータをそれぞれ同じ数のセグメントに分割し、セグメント毎に複数のサブバンドデータで共通となる第１の量子化パラメータを決定する制御工程と、
    前記制御工程により決定された第１の量子化パラメータに基づいて、前記変換工程で得たサブバンドデータをセグメント毎にそれぞれ量子化する量子化工程と、
    前記量子化により得られた量子化結果を、サブバンド毎に符号化する符号化工程と、
    を有し、
    前記生成工程は、
    着目タイルから前記複数のチャネルのプレーンを生成する際に、前記着目タイルと、前記着目タイルの隣接タイル内の前記着目タイルとの境界から所定の距離までのデータとから、前記複数のチャネルのプレーンを生成し、
    前記制御工程は、
    前記着目タイルのサブバンドデータを前記複数のセグメントに分割して前記第１の量子化パラメータを決定し、前記隣接タイルのサブバンドデータは、前記着目タイルとの境界を介して隣接するセグメントの量子化パラメータを適応する
    ことを特徴とする画像符号化装置の制御方法。
14. 請求項１に記載の画像符号化装置で生成された符号化データを復号する画像復号装置の制御方法であって、
    符号化データから、復号しようとする着目タイル内の各セグメントの第１の量子化パラメータを復号する第１の復号工程と、
    前記符号化データから、前記着目タイルの各セグメントの量子化後のデータを復号する第２の復号工程と、
    前記第２の復号工程で得た量子化後のデータを前記第１の量子化パラメータに従って逆量子化する逆量子化工程と、
    該逆量子化工程で得た各セグメントで構成されるデータを周波数逆変換を行うことで、着目タイルの複数のチャネルのプレーンを生成する逆変換工程と、
    複数のチャネルのプレーンから、着目タイルのＲＡＷ画像データを生成する生成工程と、
    該生成工程で得た各タイルのＲＡＷ画像データを統合して１枚のベイヤ配列のＲＡＷ画像データを生成する統合工程と
    を有することを特徴とする画像復号装置の制御方法。
15. コンピュータが読み込み実行することで、前記コンピュータに、請求項１３に記載の画像符号化装置の制御方法の各工程を実行させるためのプログラム。
16. コンピュータが読み込み実行することで、前記コンピュータに、請求項１４に記載の画像復号装置の制御方法の各工程を実行させるためのプログラム。

Images