JP5640370B2 - 画像処理装置，画像処理方法及び撮像装置 - Google Patents

Description

本発明は、例えば、様々な種類の配列方式からなる撮像素子から得たＲＡＷデータを効率よく圧縮符号化する場合に適用して好適な画像処理装置，画像処理方法及び撮像装置に関する。

従来、ベイヤ配列の撮像素子を用いた撮像装置が一般に知られている。このような撮像素子は、色フィルタを介して被写体の像光を取込み、像光の強さに応じて画像信号を出力する。そして、後続の処理部が画像信号に所定の処理を施すことによって、撮像装置がビューファインダや外部の表示装置に画像を表示させることができる。

特許文献１には、ベイヤ配列の撮像素子から得られるＲＡＷデータ（色補間前の画像データ）をそのままＪＰＥＧなどで圧縮することが記載されている。

特許文献２には、ベイヤ配列の撮像素子から得られるＲＡＷデータを圧縮する方法として、Ｇ１、Ｇ２、Ｒ、Ｂ４コンポーネント毎に画像圧縮する技術と、ウェーブレット圧縮を用いた具体例が記載されている。

特開２００２−２４７３７６号公報 特開２００３−１２５２０９号公報

従来、グリーンの画素については、水平方向と垂直方向に画素位置が交互にずれているため、画素位置がずれないように、Ｇ１、Ｇ２という２つのコンポーネントに分けてから圧縮していた。この圧縮は、１枚の画像として本来強い相関を持つ画素間を、サブサンプリングすることで別画面に分離してから行なわれる。このため、分離された画像間の相関を利用できず、圧縮効率が落ちていた。
特に、ウェーブレット変換は画面全体をサブバンド分割することで、非常に高い圧縮効率を実現できるが、従来の方式では別画面に分離するので、ウェーブレット変換が本来有する高い圧縮効率を発揮していなかった。

また、ウェーブレット変換を用いてサブバンド分割を繰り返すことにより、１つの圧縮符号から異なる解像度の画像を得られる。例えば、特許文献２に記載された技術により、ある解像度の画像に対して、半分の解像度の画像をビューファインダ等に表示する場合に、グリーンは２枚に分けた画像のうちのどちらかだけを用いる。この場合、単なる「画素間引き」となり、ビューファインダに表示される画像が折り返しノイズの影響を受けてしまうなど、ウェーブレット変換を使うメリットを十分に享受できていなかった。

また、従来の技術は、ベイヤ配列の撮像素子から得られるＲＡＷデータの圧縮方法に関するものであるが、倍密度のベイヤ配列の撮像素子や斜め方向に画素配列された３板撮像素子システムから得られるＲＡＷデータを圧縮する技術に関するものではない。
したがって、撮像素子の画素配列ごとに異なる圧縮方式を用いなければならず、ハードウェアを共通化することができなかった。

また、特許文献１には、ＲＧＢフル画素に色分離しないで圧縮記録する技術が開示されている。この技術は、色分離によるデータレートを増加させることなく、そのまま圧縮することによりデータレートを抑えられるというメリットはあるものの、どのように圧縮するのか詳細が不明である。もし、文字通りベイヤ配列のまま１枚の画像として圧縮する場合には、多くの自然画像の場合において、ＲＧＢの画素ごとのレベルは異なる。そして、隣り合う画素がＲＧＢに塗り分けられているため、非常に大きな高周波成分が発生し、圧縮効率が上がらない。換言すれば、圧縮ノイズが非常に多くなってしまうことが予想される。

本発明は、３原色のうちの少なくとも１つの色について水平方向または垂直方向に画素位置が交互にずれている画素配列の撮像素子から得られるＲＡＷデータを、効率よく圧縮符号化することを目的とする。

本発明は、３原色のうちのＧ色について水平方向または垂直方向に画素位置が交互にずれているベイヤ配列の撮像素子から出力される画像データのうち、画素位置が交互にずれているＧ色の画像データに対して、サブバンド分割を行う。このサブバンド分割は、隣り合う上下２ラインの画素をジグザグに走査した場合は水平方向のサブバンド変換のみを行い、Ｒ色、Ｂ色にはサブバンド分割を行わない、または隣り合う左右２列の画素ジグザグに走査した場合は垂直方向のサブバンド変換のみを行い、Ｒ色、Ｂ色にはサブバンド分割を行わないものである。

本発明によれば、水平または垂直方向に画素位置が交互にずれていても、隣り合う上下２ラインの画素または隣り合う左右２列の画素を単位としてサブバンド分割が行われる。このため、画素位置がずれたまま圧縮符号化することにより、効率よく圧縮符号化することができる。

本発明によれば、３原色のうちの少なくとも１つの色について水平方向または垂直方向に画素位置が交互にずれている画素配列の撮像素子から得られる画像データ（ＲＡＷデータ）を、効率よく圧縮符号化することができる。

本発明の一実施の形態に係る撮像装置を示す図である。 撮像素子の画素配列の例を示す図である。 圧縮伸張処理部の圧縮符号化時のブロック図である。 ウェーブレット変換の分割レベルを例示する図である。 ウェーブレット変換の分割レベルを例示する図である。 圧縮伸張処理部の圧縮複号化時のブロック図である。 従来技術を示す図である。 従来技術を倍密度ベイヤ配列に適用した図である。 圧縮伸張Ｉ／Ｆ部のウェーブレット変換時の処理を示す図である。 圧縮伸張Ｉ／Ｆ部の逆変換時の処理を示す図である。 倍密度ベイヤ配列に対する圧縮伸張Ｉ／Ｆ部のウェーブレット変換処理を示す図である。 倍密度ベイヤ配列に対する圧縮伸張Ｉ／Ｆ部のウェーブレット変換処理の別の例を示す図である。 ウェーブレット変換後のサブバンド画像の画素重心位置を示す図である。 斜め配列３板方式に対する圧縮伸張Ｉ／Ｆ部のウェーブレット変換処理を示す図である。 ベイヤ配列に対する圧縮伸張Ｉ／Ｆ部のウェーブレット変換処理を示す図である。 各種の画素配列に対する圧縮伸張Ｉ／Ｆ部の出力を示す図である。 ＲＧＢフル画素方式に対する圧縮伸張Ｉ／Ｆ部のウェーブレット変換時の具体的処理を示す図である。 ＲＧＢフル画素方式に対する圧縮伸張Ｉ／Ｆ部の逆変換時の具体的処理を示す図である。 倍密度ベイヤ配列に対する圧縮伸張Ｉ／Ｆ部のウェーブレット変換時の具体的処理を示す図である。 倍密度ベイヤ配列に対する圧縮伸張Ｉ／Ｆ部の逆変換時の具体的処理を示す図である 斜め配列３板方式に対する圧縮伸張Ｉ／Ｆ部のウェーブレット変換時の具体的処理を示す図である。 斜め配列３板方式に対する圧縮伸張Ｉ／Ｆ部の逆変換時の具体的処理を示す図である。 ベイヤ配列に対する圧縮伸張Ｉ／Ｆ部のウェーブレット変換時の具体的処理を示す図である。 ベイヤ配列に対する圧縮伸張Ｉ／Ｆ部の逆変換時の具体的処理を示す図である。 倍密度ベイヤ配列に対して圧縮伸張Ｉ／Ｆ部がハール変換を行う例を示す図である。 斜め配列３板方式に対して圧縮伸張Ｉ／Ｆ部がハール変換を行う例を示す図である。 ベイヤ配列に対して圧縮伸張Ｉ／Ｆ部がハール変換を行う例を示す図である。

以下、発明を実施するための最良の形態（以下実施の形態とする。）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（圧縮符号化、又は復号化の制御：ウェーブレット変換を用いる例）
２．第２の実施の形態（圧縮符号化、又は復号化の制御：ハール変換を用いる例）
３．変形例

＜１．第１の実施の形態＞
［ウェーブレット変換を用いて画像を圧縮符号化、又は復号化する例］

以下、本発明の第１の実施の形態について、図１〜図２４を参照しながら説明する。
以下の実施の形態では、ＲＧＢフル画素を有さない、ベイヤ配列の撮像素子や倍密度のベイヤ配列の撮像素子、斜め方向に画素配列された撮像素子を３枚用いた撮像システムから得られるいずれのＲＡＷデータにおいても、Ｒ／Ｇ／Ｂ ３コンポーネント毎に効率よく圧縮符号化する撮像装置１０に適用した例について説明する。以下、ＲＧＢ画素の要素を含んだ３本のコンポーネント信号のことを、「Ｒ／Ｇ／Ｂ ３コンポーネント」と略称する。

本例の撮像装置１０は、実画素が存在しない為に、水平または垂直方向に画素位置が交互にずれていても、ずれたまま圧縮符号化することにより、圧縮効率を落とすことなく圧縮符号化を実現することができる。

ここで、水平または垂直方向に画素位置が交互にずれていた間引き画像は、ウェーブレット変換と組み合わせることにより平均化される。このため、半分の解像度になった低域サブバンド画像は、ＲＧＢフル画素を有する画像となる。
つまり、ウェーブレット変換による簡易的な、いわゆる色分離（Ｄｅ−ベイヤ）処理が行われることになり、撮像装置１０が備える不図示のモニターに表示できるようになる。これは、ウェーブレット変換を用いると、解像度の異なる画像を同一の画像データから得られるためである。そして、ベイヤなどの色分離が必要な撮像素子から得られたＲＡＷデータにおいてもウェーブレット変換を施すことで、モニター等に容易に表示できることになる。

ＲＧＢフル画素の撮像素子から得られる画像をウェーブレット変換した場合には、ＲＧＢのそれぞれが４つの画像にサブバンド分割され、ＲＧＢ合計では１２のサブバンド画像に分解される。本例の圧縮符号化方法を用いれば、ＲＡＷデータをウェーブレット変換後のサブバンド画像の数の違いとして扱うことが出来る。例えば、ベイヤ配列から得られるＲＡＷデータは４つのサブバンド画像、倍密度のベイヤ配列から得られるＲＡＷデータでは８つのサブバンド画像、斜め方向に画素配列された３板撮像素子システムから得られるＲＡＷデータでは、６つのサブバンド画像として扱える。このため、ウェーブレット変換以降の圧縮符号化処理を共通の処理として実現できる。

また、４Ｋ画像のように高解像度の画像では、扱うデータ量が膨大となるので、リアルタイム処理を行う場合には、なんらかの並列処理が必要となる。しかし、本例の圧縮符号化方法を用いることで、上述したようにサブバンド画像の数の違いとして扱うことが出来る。このため、画像をサブバンド分割した後の処理として、必要数の処理ブロックを並列に動作させることが可能となり、並列度の分だけ動作速度を抑えることが可能となる。また、後述するように、ウェーブレット変換だけでなく、ハードウェアが簡単なハール変換でも同様の効果が得られる。なお、４Ｋは、例えば４０９６サンプル×２１６０ライン等の高い解像度の仕様の例である。また、２Ｋは、例えば２０４８サンプル×１０８０ライン等の、４Ｋより低い解像度の仕様の例である。

図１は、４Ｋ画像と２Ｋ画像を扱う撮像装置１０の例を示す。
撮像装置１０は、本発明に係る画像圧縮／復号を行うことができる撮像装置の一例である。
レンズブロック１０１は、絞りやズームの制御を行い、光学映像を撮像素子部１０２に結像するものである。

また、撮像素子部１０２は、レンズブロック１０１から入力された光学映像を、映像デジタル信号に変換し、記録ＲＡＷデータ（Ｄ１０２）として出力するものである。本例では、撮像素子として図２に示すような画素配列の撮像素子のいずれにも対応が可能である。
＜ＲＧＢ フル画素方式＞
・光学プリズムを用いてＲＧＢに分光するＲＧＢ３板方式
・センサーの奥行き方向に光の波長感度を有するような構造の単板方式
・液晶ＴＶのように１画素をＲＧＢ３ストライプに塗り分けた単板方式
＜倍密度ベイヤ配列＞
通常のベイヤ配列を画素密度を２倍にするとともに斜め４５°に配列することで、Ｇはフル画素、Ｒ画素とＢ画素は斜め方向に空かされた配置の画素配列（図中の太枠は通常のベイヤ配列における画素）となる。
＜斜め配列３板方式＞
・１枚の撮像素子としては、斜め４５度に画素が配置されており、隣り合う水平または垂直２画素間、あるいは４画素間で、画素補間を行って図中の太枠（通常のベイヤ配列における画素）のうち点線の丸印で示した画素を補間することを前提とした画素配列である。
・この撮像素子を３枚用い光学プリズムと組み合わせて撮像するシステム
・または、上記の画素配列で、センサーの奥行き方向に光の波長感度を有するような構造の単板方式
＜ベイヤ配列＞
・いわゆる通常のベイヤ配列

また、カメラ信号処理部１０３は、ベイヤ配列などの撮像素子部１０２が出力する記録ＲＡＷデータ（Ｄ１０２）、又は記録メディア部１０８から読み出され、後述する伸張処理をされた再生ＲＡＷデータ（Ｄ１０５）に所定の処理を施す。具体的には、カメラ信号処理部１０３は、画像として確認できるようにＲＧＢフルの４Ｋ画像（いわゆる色分離）を作り出し、ホワイトバランスや明るさなどのカメラ画像調整を行い、モニターアウト部１０４に記録・再生４Ｋ画像（Ｄ１０３）を出力する。
また、モニターアウト部１０４は、外部の４Ｋモニターなどに４Ｋ画像の映像信号を出力するものである。

圧縮伸張Ｉ／Ｆ部１０５は、ベイヤ配列などの撮像素子からの記録ＲＡＷデータ（Ｄ１０２）を、ウェーブレット変換により２Ｋ帯域のサブバンド画像に分解するものである。圧縮伸張Ｉ／Ｆ部１０５は、３原色のうちの少なくとも１つの色について水平方向または垂直方向に画素位置が交互にずれている画素配列の撮像素子から出力される画像データのうち、画素位置が交互にずれている色の画像データに対して、隣り合う上下２ラインの画素または隣り合う左右２列の画素を単位としてサブバンド分割を行うサブバンド分割部として機能する。

そして、圧縮伸張Ｉ／Ｆ部１０５は、画素位置が交互にずれている色の画像データに対して、隣り合う上下２ラインを単位として画素を走査して水平方向のウェーブレット変換を行う。または、圧縮伸張Ｉ／Ｆ部１０５は、隣り合う左右２列を単位として画素を走査して垂直方向のウェーブレット変換を行う。

本例では、圧縮伸張Ｉ／Ｆ部１０５が以下のサブバンド画像を出力する。
水平方向・垂直方向ともに低域成分である２Ｋ帯域のサブバンド画像は、Ｄ１０５−ＬＬとして出力される。
水平方向は高域成分、垂直方向は低域成分である２Ｋ帯域のサブバンド画像は、Ｄ１０５−ＨＬとして出力される。
水平方向は低域成分、垂直方向は高域成分である２Ｋ帯域のサブバンド画像は、Ｄ１０５−ＬＨとして出力される。
水平方向・垂直方向ともに高域成分である２Ｋ帯域のサブバンド画像は、Ｄ１０５−ＨＨとして出力される。

撮像素子部１０２の画素配列によっては、２Ｋ帯域のサブバンド画像ＨＬ／ＬＨ／ＨＨが、ＲＧＢそれぞれについて全ては出力されず、出力されないサブバンド画像が存在する場合がある。詳細は別途説明する。
また、記録メディア部１０８から読み出され、伸張処理された２Ｋ帯域のサブバンド画像（Ｄ１０５−ＬＬ／ＨＬ／ＬＨ／ＨＨ）を、ウェーブレット逆変換を行って、再生ＲＡＷデータ（Ｄ１０５）として出力する。これについても詳細は別途説明する。

圧縮伸張処理部１０６は、２Ｋ帯域のサブバンド画像（Ｄ１０５−ＬＬ／ＨＬ／ＬＨ／ＨＨ）をそれぞれ、圧縮符号化方式を用いて画像圧縮し、それぞれ対応するコードストリーム（Ｄ１０６−ＬＬ／ＨＬ／ＬＨ／ＨＨ）として出力するものである。圧縮伸張Ｉ／Ｆ部１０５ではウェーブレット変換を用いているので、圧縮伸張Ｉ／Ｆ部１０５は、同じウェーブレット変換を用いるＪＰＥＧ２０００などを用いるのが最適であるが、既存のその他の画像圧縮方式を用いても構わない。

また、圧縮伸張処理部１０６は、記録メディア部１０８に収録した各サブバンド画像圧縮データを伸張し、２Ｋ帯域の再生サブバンド画像（Ｄ１０５−ＬＬ／ＨＬ／ＬＨ／ＨＨ）として出力する。このとき、圧縮伸張処理部１０６は、圧縮伸張Ｉ／Ｆ部１０５から出力された画像データを圧縮符号化する処理を、圧縮伸張Ｉ／Ｆ部１０５によって分割される帯域ごと及び３原色の色ごとに並列して行う圧縮符号化部として機能する。

記録メディアインターフェース部１０７は、記録メディアに対して高速にアクセスし、画像圧縮データの読み書きを行うためのインターフェースを行うものである。
記録メディア部１０８は、画像圧縮データを収録し、再生するための記録メディアであり、フラッシュメモリ等の不揮発性メモリが適用される。
ビューファインダ信号処理部１０９は、入力される画像を表示システムに表示するための表示信号として出力する表示信号出力部の一例である。２Ｋ帯域のサブバンド画像のうちＤ１０５−ＬＬは、水平方向・垂直方向ともに低域のサブバンド画像であるので、２ＫサイズのＲＧＢフル画像としてモニターが可能である。これにより、カメラ信号処理部１０３と同様にホワイトバランスや明るさなどのカメラ画像調整を２Ｋで行うことが可能である。さらに、撮影のための設定情報や、フォーカス合わせを容易にするためのピーキング処理などを行って、ビューファインダ部１１０に記録・再生２Ｋ画像（Ｄ１０９）を出力する。

ビューファインダ部１１０は、ビューファインダ信号処理部１０９からの記録・再生２Ｋ画像（Ｄ１０９）を表示するものである。
システムコントロール部１１１は、制御ソフトウェアプログラムをもち、そのプログラムに従って撮像装置１０全体を制御する。また操作部１１２からの入力に応じて、各ブロックとデータバスを繋ぎ、データをやりとりし、撮影のための設定や状態を制御するものである。
操作部１１２は、撮像装置１０に対する操作を受け付け、電気信号としてシステムコントロール部１１１に伝達するものである。

既述したとおり、圧縮伸張Ｉ／Ｆ部１０５は、ウェーブレット変換を用いているため、説明としては、同じくウェーブレット変換を用いて圧縮伸張を行う圧縮伸張処理部１０６についてまず説明することにする。

図３に、圧縮伸張処理部１０６の圧縮符号化時の詳細なブロック図を示す。
ウェーブレット変換部３２は２Ｋ帯域のサブバンド画像Ｄ１０５−ＬＬに対して、ウェーブレット変換を施してウェーブレット変換係数Ｄ３２−ＬＬを出力する。

このウェーブレット変換部３２は、通常、低域フィルタと高域フィルタとから構成されるフィルタバンクによって実現される。なお、デジタルフィルタは、通常複数タップ長のインパルス応答（フィルタ係数）を持っているため、フィルタリングが行えるだけの入力画像または係数を予めバッファリングしておく必要がある。ウェーブレット変換を多段に行う際にも同様に、前段で生成したウェーブレット変換係数をフィルタリングが行えるだけの係数だけ、バッファリングしておく必要がある。

ここで、ウェーブレット変換によって生成されるサブバンド画像について説明する。
図４は、サブバンド画像の例を示している。このウェーブレット変換では、通常図４に示すように低域成分が繰り返し変換され、分割されるが、これは画像のエネルギーの多くが低域成分に集中しているためである。このことは、図５Ａに示す分割レベル＝１から図５Ｂに示す分割レベル＝３のように、分割レベルを進めていくに従って、サブバンド画像が形成されていくことからも分かる。

図４におけるウェーブレット変換の分割レベルは３であり、この結果、計１０個のサブバンド画像が形成されている。ここで、図４においてＬ，Ｈはそれぞれ低域，高域を表し、Ｌ，Ｈの前の数字は分割レベルを表す。すなわち、例えば１ＬＨは、水平方向が低域で垂直方向が高域である分割レベル＝１のサブバンド画像を表す。

図３の説明に戻る。ウェーブレット変換係数Ｄ３２−ＬＬは、次に量子化部３３で量子化されて量子化係数Ｄ３３−ＬＬが出力される。ここでの量子化手段としては、ＪＰＥＧ２０００でも使われているスカラ量子化を使えばよい。これは下記の（式１）で示す様に、ウェーブレット変換係数Ｗを量子化ステップサイズΔで除算した値を、量子化係数ｑの値とすればよい。
ｑ＝Ｗ／Δ ・・・・・・・（式１）

量子化ステップサイズΔＤ３７−ＬＬは後述する符号量計測部３７から与えられる。
量子化係数Ｄ３３−ＬＬは、次にエントロピー符号化部３５に出力され、エントロピー符号化部３５において任意の情報源圧縮手段を用いて、量子化係数Ｄ３３−ＬＬを圧縮する動作を行う。エントロピー符号化手段としては、一般に使われているハフマン符号化（ＭＰＥＧやＪＰＥＧで採用されているもので、予めデータに出現する記号の出現頻度に合わせて作成したハフマン符号化テーブルを参照して、符号を生成する方式）や、算術符号化（Ｈ．２６４やＪＰＥＧ２０００で採用されている方式）を利用すればよい。またその際、ここではその詳細については述べないものの、ＪＰＥＧ２０００と同じく、量子化係数を、ビットプレーン単位のエントロピー符号化であるＥＢＣＯＴ（Embedded Block Coding with Optimal Truncation）と組み合わせてもよい。

エントロピー符号化部３５で符号化された結果は、符号化コードストリームＤ３５−ＬＬとして出力され、圧縮伸張処理部１０６の出力Ｄ１０６−ＬＬとなるとともに、符号量計測部３７にも入力する。

符号量計測部３７では、符号化コードストリームＤ３５−ＬＬの１フレーム内での符号量を累積しながら、制御部３６から与えられる目標符号量Ｄ３６−ＬＬとの比較を行う。そして、目標符号量を超えそうな場合には、量子化部３３の量子化ステップサイズＤ３７−ＬＬを１段階大きくするように変更する。
逆に、符号化コードストリームＤ３５−ＬＬの１フレーム内での符号量の累積が、目標符号量を下回りそうな場合には、量子化部３３の量子化ステップサイズＤ３７−ＬＬを１段階小さくするように変更する。

以上が、圧縮伸張処理部１０６の圧縮符号化時の動作であるが、圧縮伸張処理部１０６には、２Ｋ帯域のサブバンド画像ＬＬ成分以外にも、ＨＬ成分、ＬＨ成分、ＨＨ成分が入力される。

ＨＬ／ＬＨ／ＨＨ成分についても、ＬＬ成分と同様に、ウェーブレット変換部３２をもちいて、分割レベルを上げても良い。しかしながら、図３の例では、すでに圧縮伸張Ｉ／Ｆ部１０５で第１レベルのウェーブレット変換がなされている。このため、図４で示した画像のエネルギーの多くが低域成分に集中している性質を用いた通常のウェーブレット変換に合わせて、低域成分のサブバンド画像Ｄ１０５−ＬＬのみを繰り返し変換そして分割される態様としている。

なお、例えばハードウェアにより、ウェーブレット変換からエントロピー符号化までの処理が１つの回路で実現できているような場合がある。この場合、あえてウェーブレット変換を行わない回路を新規に開発せずに、既存の１つの回路を４並列で用いて圧縮伸張処理部１０６を構成することに制約を与えるものではない。
図３の例では、ＬＬ成分以外の２Ｋ帯域のサブバンド画像Ｄ１０５−ＨＬ、Ｄ１０５−ＬＨ、Ｄ１０５−ＨＨについては、量子化とエントロピー符号化のみを行い、ウェーブレットの分割レベルは上げないものとしている。

そして、ＬＬ成分以外の２Ｋ帯域のサブバンド画像Ｄ１０５−ＨＬ、Ｄ１０５−ＬＨ、Ｄ１０５−ＨＨは、それぞれ符号化コードストリームＤ３５−ＨＬ、Ｄ３５−ＬＨ、Ｄ３５−ＨＨとして出力される。そして、圧縮伸張処理部１０６の出力Ｄ１０６−ＨＬ、Ｄ１０６−ＬＨ、Ｄ１０６−ＨＨとなる。また、符号量計測部３７により、それぞれの符号化コードストリームの１フレーム内での符号量を累積しながら、制御部３６から与えられる目標符号量Ｄ３６−ＨＬ、Ｄ３６−ＬＨ、Ｄ３６−ＨＨとの比較を行う。そして、ＬＬ成分と同様に、符号化コードストリームの１フレーム内での符号量が目標符号量を超えそうな場合には、量子化部３３の量子化ステップサイズを１段階大きくするように変更する。逆に、符号化コードストリームの１フレーム内での符号量の累積が、目標符号量を下回りそうな場合には、量子化部３３の量子化ステップサイズを１段階小さくするように変更する。

以上のようにして、それぞれの２Ｋ帯域のサブバンド画像に対する符号量を制御する。
制御部３６は、それぞれの２Ｋ帯域のサブバンド画像に対する目標符号量を、それぞれ対応する符号量計測部３７にあらかじめ設定するように説明した。しかし、たとえば、各符号量計測部３７から、符号量積算状況の情報を制御部３６に送り、それぞれの符号量積算状況に応じて、各サブバンド毎の目標符号量を動的に融通しあって変更してもよい。自然画像では、低域成分を多く含む画像であったり、逆に高域成分を多く含む画像であったりするので、画像の性質に応じた最適な符号量制御が可能である。
以上が、圧縮符号化時の動作説明である。

次に、図６に、圧縮伸張処理部１０６の圧縮復号化時の詳細なブロック図を示し、圧縮復号時の動作について説明する。
符号化コードストリームＤ１０６−ＬＬ、Ｄ１０６−ＨＬ、Ｄ１０６−ＬＨ、Ｄ１０６−ＨＨが入力されるエントロピー復号化部３８では、図３で述べたエントロピー符号化に対応した手段に従って復号化を行う。エントロピー復号化の結果、量子化係数Ｄ３８−ＬＬ、Ｄ３８−ＨＬ、Ｄ３８−ＬＨ、Ｄ３８−ＨＨが生成される。

量子化係数Ｄ３８−ＬＬ、Ｄ３８−ＨＬ、Ｄ３８−ＬＨ、Ｄ３８−ＨＨは、逆量子化部３９で量子化係数Ｄ３８−ＬＬ、Ｄ３８−ＨＬ、Ｄ３８−ＬＨ、Ｄ３８−ＨＨからウェーブレット変換係数Ｄ３９−ＬＬ、Ｄ３９−ＨＬ、Ｄ３９−ＬＨ、Ｄ３９−ＨＨに変換される。ここでの逆量子化手段は、（式１）の逆の操作になり、以下の（式２）で表すことが出来る。
Ｗ＝ｑ×Δ ・・・・・・・（式２）
（Ｗはウェーブレット変換係数、ｑは量子化係数、Δは量子化ステップサイズ）

ウェーブレット変換係数Ｄ３９−ＬＬは、ウェーブレット逆変換部４０でＬＬ成分の２Ｋ帯域のサブバンド画像Ｄ１０５−ＬＬに戻され出力される。
符号化時に、ＬＬ成分以外の２Ｋ帯域のサブバンド画像Ｄ１０５−ＨＬ、Ｄ１０５−ＬＨ、Ｄ１０５−ＨＨについても、ウェーブレット再分割を行った場合には、それぞれのサブバンド毎にウェーブレット逆変換部４０を設けて、それぞれの２Ｋ帯域のサブバンド画像に戻せばよいことは明らかである。
以上が、圧縮復号化時の動作説明である。

ここで、図７を参照しながら、従来の特許文献２に記載された技術が有していた課題を整理しておく。

図７Ａは、通常のベイヤ配列を用いた４ＫベイヤＲＡＷ画像の例である。
４Ｋ画素があるものの、通常のベイヤ配列ではこれを図示したようにＲＧＢに塗り分けて、ＲＧＢのカラーフィルタに対応した光の波長成分のみがそれぞれの画素において、光から電気信号に変換される。通常のベイヤ配列では、Ｇが市松（チェッカーフラッグ）模様に配置されている。

図７Ｂは、４ＫベイヤＲＡＷ画像の画素を分離した、Ｒ画素、Ｇ１画素、Ｇ２画素、Ｂ画素の４つの色成分のコンポーネントの例を示す。
特許文献２に記載された技術では、上述した４ＫベイヤＲＡＷ画像を、Ｒ画素、Ｇ１画素、Ｇ２画素、Ｂ画素と４つの色成分のコンポーネントとして捉えている。

図７Ｃは、図７Ｂに示した４つの色成分のコンポーネントを画素毎に集めた例を示す。
特許文献２に記載された技術では、図７Ｂに示した４つの色成分のコンポーネントに含まれる画素を集めて２ＫのＲ画像、２ＫのＧ１画像、２ＫのＧ２画像、２ＫのＢ画像とし、それぞれウェーブレット変換を用いた圧縮符号化を行って記録している。

ここで、Ｇ１画素とＧ２画素は本来斜め方向に隣接しており、Ｇ１画素とＧ２画素の画素間は非常に高い相関を持っていることが知られている。それにもかかわらず、特許文献２に記載された技術は、わざわざＧ１画像とＧ２画像というあたかも独立した２枚の画像（もしくは２つの色成分）として圧縮符号化を行っているため、圧縮効率が低下してしまう。特に、ウェーブレット変換は画面全体をサブバンド変換する点で、高い圧縮効率を実現しているが、従来技術とウェーブレット変換の組合せでは、ウェーブレット変換本来の高い圧縮率を享受しているとは言いがたい。

また、図７Ｂに示したように、Ｇ１画像とＧ２画像というサブサンプリングによる「間引き」が行われるため、Ｇ１画像もしくはＧ２画像のみを２Ｋのモニターに表示した場合には、標本化定理により折り返し歪みが発生することは明白である。そこでＧ１画像とＧ２画像の両者を用いて、信号処理で２Ｋの平均画像を作った後にモニターに表示することが考えられるが、２Ｋの２倍のデータにアクセスしなければならない。しかし、ウェーブレット変換はサブバンド分割なので、本来ならば、２Ｋの低域成分にのみアクセスすれば、モニターに表示できる能力を持っている。この点でも、特許文献２に記載された技術は、ウェーブレット変換のメリットを十分に享受しているとは言いがたい。

図８は、倍密度ベイヤ配列に従来技術を適用した例を示す。
図８Ａは、通常のベイヤ配列を、画素密度を２倍にするととともに斜め４５度にして画素を配列したものである。
この配列の特徴は、Ｇ画像は４Ｋフル画素、Ｒ画像とＢ画像は斜めに空かされているが、水平方向・垂直方向には４Ｋ解像度が得られる点にある。画素密度は、通常のベイヤの２倍となるため、以下の説明では、「倍密度ベイヤ配列」と呼ぶことにする。

ここで、この倍密度ベイヤ配列を用いた４Ｋ ＲＡＷ画像を特許文献２に記載された技術に準じて圧縮する場合を考える。この場合、ベイヤ配列とは異なり、図８Ｂに示すようにＧは４Ｋ全ての画素が揃っているが、Ｒ画像とＢ画像が市松模様となる。このため、図８Ｃに示すようにＲ１画素、Ｒ２画素、Ｇ画素（ただし４Ｋ解像度）、Ｂ１画素、Ｂ２画素と５つの色成分のコンポーネントと考える。そして、図８Ｄに示すように画素を集めて２ＫのＲ１画像、２ＫのＲ２画像、４ＫのＧ画像、２ＫのＢ１画像、２ＫのＢ２画像とし、各画像に対してウェーブレット変換を用いた圧縮符号化を行って記録することになる。

ベイヤ配列では、Ｇ画像のみ２画面にサブサンプリング分離して圧縮したが、倍密度ベイヤ配列では、Ｒ画像とＢ画像の双方をそれぞれ２画面にサブサンプリング分離することになる。さらに、ベイヤ配列では、画素密度の高いＧ画像を２画面に分離していたので、Ｇ画像の圧縮効率が落ちても、もともと画素密度が高く、画素密度の低いＲ画像とＢ画像の圧縮画像品質とバランスが取れる。

一方、倍密度ベイヤ配列では、画素密度の低いＲ画像とＢ画像の双方をさらに２画面にサブサンプリング分離することになるので、画素密度が低い上に圧縮効率も下がってしまい、Ｇ画像の圧縮画像品質に対してバランスがさらに崩れてしまう。
また、ベイヤ配列のＧ画像で述べたように、サブサンプリングされたＲ画像とＢ画像をそのまま２Ｋのモニターに表示すると折り返しが発生する懸念もある。

これに対し、本例の撮像装置１０は、特に、倍密度ベイヤ配列でのＲ画像とＢ画像のＲＡＷデータ圧縮に関して、ウェーブレット変換が持つ本来の特徴を活かした大きな改善を行うことが期待できる。さらに、通常のベイヤ配列からＲＧＢフル画素まで、同じ手法で対応できる。

次に、図９を参照して、圧縮伸張Ｉ／Ｆ部１０５のウェーブレット変換時の処理例について説明する。
圧縮伸張Ｉ／Ｆ部１０５は、ウェーブレット変換を用いた際に、その効果を最大限に発揮できる。したがって、圧縮伸張処理部１０６のウェーブレット変換部３２と基本構成は同じであるが、図９を用いて、圧縮伸張Ｉ／Ｆ部１０５の処理をあらためて説明する。

圧縮伸張Ｉ／Ｆ部１０５の入力画像として、記録ＲＡＷデータＤ１０２が入力される。ここでは、図２に示した４Ｋ ＲＧＢフル画素が入力されるものとして、４０９６×２１６０サイズのＲ／Ｇ／Ｂ ３コンポーネントに対して全く同様に処理を行う。
まず、入力画像に対して水平方向のウェーブレット変換を行う。ウェーブレット変換は低域フィルタ（ＬＰＦ）と高域フィルタ（ＨＰＦ）によって構成され、それぞれ、２：１のダウンサンプリング（図では下向きの矢印及び数字の２で表している）が行われる。この結果、水平方向が半分のサイズとなった２０４８×２１６０の低域サブバンド画像（Ｌ）と高域サブバンド画像（Ｈ）となる。

次に、２０４８×２１６０の低域サブバンド画像（Ｌ）に対して、垂直方向のウェーブレット変換を行う。ウェーブレット変換は低域フィルタ（ＬＰＦ）と高域フィルタ（ＨＰＦ）を通じて、それぞれ、２：１のダウンサンプリングが行われる。この処理により、垂直方向が半分のサイズとなった２０４８×１０８０の低域サブバンド画像（Ｌ，Ｌ）Ｄ１０５−ＬＬと高域サブバンド画像（Ｌ，Ｈ）Ｄ１０５−ＬＨとなる。

また、２０４８×２１６０の高域サブバンド画像（Ｈ）に対して、垂直方向のウェーブレット変換を行う。ウェーブレット変換は低域フィルタ（ＬＰＦ）と高域フィルタ（ＨＰＦ）を通じて、それぞれ、２：１のダウンサンプリングが行われる。この処理により、垂直方向が半分のサイズとなった２０４８×１０８０の低域サブバンド画像（Ｈ，Ｌ）Ｄ１０５−ＨＬと高域サブバンド画像（Ｈ，Ｈ）Ｄ１０５−ＨＨとなる。

以上のように、圧縮伸張Ｉ／Ｆ部１０５は、４０９６×２１６０サイズのＲ／Ｇ／Ｂ ３コンポーネントに対してウェーブレット変換を行い、以下の３コンポーネントを得る。
・水平方向・垂直方向ともに低域フィルタを通した２０４８×１０８０サイズのサブバンド画像（Ｌ，Ｌ）Ｄ１０５−ＬＬがＲ／Ｇ／Ｂそれぞれの３コンポーネント
・水平方向は低域フィルタ、垂直方向は高域フィルタを通した２０４８×１０８０サイズのサブバンド画像（Ｌ，Ｈ）Ｄ１０５−ＬＨがＲ／Ｇ／Ｂそれぞれの３コンポーネント
・水平方向は高域フィルタ、垂直方向は低域フィルタを通した２０４８×１０８０サイズのサブバンド画像（Ｈ，Ｌ）Ｄ１０５−ＨＬがＲ／Ｇ／Ｂそれぞれの３コンポーネント
・水平方向・垂直方向ともに高域フィルタを通した２０４８×１０８０サイズのサブバンド画像（Ｈ，Ｈ）Ｄ１０５−ＨＨがＲ／Ｇ／Ｂそれぞれの３コンポーネント
このように、４種類の２０４８×１０８０サイズのサブバンド画像がＲ／Ｇ／Ｂそれぞれ３コンポーネント分の計１２の２０４８×１０８０サイズのサブバンド画像に変換される。

次に、図１０を参照して、圧縮伸張Ｉ／Ｆ部１０５のウェーブレット逆変換時の処理を説明する。
圧縮伸張Ｉ／Ｆ部１０５の入力画像として、記録メディア部１０８から読み出され、伸張処理された２０４８×１０８０サイズのサブバンド画像（Ｄ１０５−ＬＬ／ＨＬ／ＬＨ／ＨＨ）がそれぞれＲ／Ｇ／Ｂ ３コンポーネント分入力される。

水平方向・垂直方向ともに低域フィルタを通した２０４８×１０８０サイズのサブバンド画像（Ｌ，Ｌ）Ｄ１０５−ＬＬと、水平方向は低域フィルタ、垂直方向は高域フィルタを通した２０４８×１０８０サイズのサブバンド画像（Ｌ，Ｈ）Ｄ１０５−ＬＨに対して垂直方向のウェーブレット逆変換を行う。ウェーブレット逆変換は、Ｄ１０５−ＬＬに１：２のアップサンプリング（図では上向きの矢印及び数字の２で表している）を行い、低域フィルタ（ＬＰＦ）に、Ｄ１０５−ＬＨに１：２のアップサンプリングを行って高域フィルタ（ＨＰＦ）に通す。そして、両者を合成することで垂直方向が２倍のサイズとなった２０４８×２１６０の低域サブバンド画像（Ｌ）を得る。

また、水平方向は高域フィルタ、垂直方向は低域フィルタを通した２０４８×１０８０サイズのサブバンド画像（Ｈ，Ｌ）Ｄ１０５−ＨＬと、水平方向・垂直方向ともに高域フィルタを通した２０４８×１０８０サイズのサブバンド画像（Ｈ，Ｈ）Ｄ１０５−ＨＨに対して垂直方向のウェーブレット逆変換を行う。ウェーブレット逆変換はＤ１０５−ＨＬに１：２のアップサンプリングを行い低域フィルタ（ＬＰＦ）に、Ｄ１０５−ＨＨに１：２のアップサンプリングを行い高域フィルタ（ＨＰＦ）に通す。そして、両者を合成することで垂直方向が２倍のサイズとなった２０４８×２１６０の高域サブバンド画像（Ｈ）を得る。

次に、垂直方向のウェーブレット逆変換が行われた２０４８×２１６０の低域サブバンド画像（Ｌ）と２０４８×２１６０の高域サブバンド画像（Ｈ）に対して、水平方向のウェーブレット逆変換を行う。ウェーブレット逆変換は低域サブバンド画像（Ｌ）を１：２のアップサンプリングを行い低域フィルタ（ＬＰＦ）に、高域サブバンド画像（Ｈ）を１：２のアップサンプリングを行い高域フィルタ（ＨＰＦ）に通す。そして、両者を合成することで水平方向も２倍のサイズとなった４０９６×２１６０の再生ＲＡＷデータＤ１０５を得る。

以上のように、圧縮伸張Ｉ／Ｆ部１０５のウェーブレット逆変換時の処理は、記録メディア部１０８から読み出され、伸張処理された２０４８×１０８０サイズのサブバンド画像（Ｄ１０５−ＬＬ／ＨＬ／ＬＨ／ＨＨ）を用いて行う。この処理では、サブバンド画像をそれぞれＲ／Ｇ／Ｂ ３コンポーネント分用いて、垂直方向・水平方向にウェーブレット逆変換を行うことで、４０９６×２１６０サイズのＲ／Ｇ／Ｂ ３コンポーネントに復号している。

では、本例の圧縮伸張Ｉ／Ｆ部１０５が、図２に示した倍密度ベイヤ配列に対して、どのように処理するかについて、図１１を参照して説明する。

図１１Ａは前にも述べたように、通常のベイヤ配列を、画素密度を２倍にするととともに斜め４５度にして配列した倍密度ベイヤであり、Ｇ画像は４Ｋフル画素、Ｒ画像とＢ画像は斜めに空かされているが、水平方向・垂直方向には４Ｋ解像度が得られる。
このとき、撮像素子部１０２は、ベイヤ配列の画素密度を２倍にするとともに斜め４５°に配列した画素配列である倍密度のベイヤ配列である。

そして、圧縮伸張Ｉ／Ｆ部１０５は、倍密度のベイヤ配列の撮像素子部１０２から出力されるＲＧＢの画像データのうち、Ｒ及びＢの画像データに対しては、隣り合う上下２ラインを単位として画素を走査して水平方向のウェーブレット変換を行うか、または隣り合う左右２列を単位として画素を走査して垂直方向のウェーブレット変換を行って、Ｒ及びＢのサブバンド画像に分解する。そして、Ｇの画像データに対しては、１ラインの画素を単位とした水平方向のウェーブレット変換及び１列の画素を単位とした垂直方向のウェーブレット変換を行って、Ｇのサブバンド画像に分解する。

具体的には、まず、Ｇについて説明すると、Ｇ画像は４Ｋフル画素があることから、図９で説明した処理と全く同じ処理とすればよいことは明確である。

すなわち、圧縮伸張Ｉ／Ｆ部１０５は、図１１Ｂに示すように４０９６×２１６０サイズのＧ画像に対して、水平方向のウェーブレット変換を施す。すると、図１１Ｃに示すように水平方向が半分のサイズとなった２０４８×２１６０の低域サブバンドＧ画像（Ｌ）と高域サブバンドＧ画像（Ｈ）となる。図中の点線で囲んだ箇所は、ＪＰＥＧ２０００で定められた、５×３可逆ウェーブレットフィルタ（ローパス側のフィルタが５タップ、ハイパス側のフィルタが３タップ）を例として、図中左端の画素（星印を付した画素）を中心とした５タップのフィルタ（ローパス側のフィルタ）がかかる画素範囲を示している。これを、水平方向に２画素毎に行うことで、２：１のダウンサンプリングを実現する。詳しくは、ＪＰＥＧ２０００の規格などを参照されたい。

次に、水平方向が半分のサイズとなった２０４８×２１６０の低域サブバンドＧ画像（Ｌ）と高域サブバンドＧ画像（Ｈ）それぞれを、図１１Ｃに示すように垂直方向のウェーブレット変換を施す。そして、図１１Ｄに示すように、以下のサブバンド画像を得る。
水平方向・垂直方向ともに低域フィルタを通した２０４８×１０８０サイズのサブバンドＧ画像（ＬＬ）。
水平方向は低域フィルタ、垂直方向は高域フィルタを通した２０４８×１０８０サイズのサブバンドＧ画像（ＬＨ）。
水平方向は高域フィルタ、垂直方向は低域フィルタを通した２０４８×１０８０サイズのサブバンドＧ画像（ＨＬ）。
水平方向・垂直方向ともに高域フィルタを通した２０４８×１０８０サイズのサブバンドＧ画像（ＨＨ）。
このように、４Ｋ倍密度ベイヤＲＡＷ画像を構成するＧ画像は、４種類の２０４８×１０８０サイズのサブバンドＧ画像に変換される。

ここで、Ｒ画像とＢ画像について検討する。Ｒ画像とＢ画像は、市松模様となるので、図８を参照して説明した方法を用いると、前述したように画素密度が低い上に圧縮効率も下がってしまうため、Ｇ画像の圧縮画像品質に対してバランスがさらに崩れてしまう。
そこで、本例の圧縮伸張Ｉ／Ｆ部１０５は、Ｒ画像とＢ画像に対して、隣接する上下２ライン単位でウェーブレット変換を行う。
具体的には、圧縮伸張Ｉ／Ｆ部１０５は、図１１Ｂに示すように、Ｒ画像は隣り合う上下２ライン単位にＷ型に画素を走査し、あたかも１ラインの画素データであるかのようにウェーブレット変換を行う。
また、圧縮伸張Ｉ／Ｆ部１０５は、Ｂ画素は隣り合う上下２ライン単位にＭ型に画素を走査し、あたかも１ラインの画素データであるかのようにウェーブレット変換を行う。

上下２ラインを単位とすることで、１ラインは４０９６の実画素を有するとみなせるので、Ｒ画像とＢ画像については、４０９６×１０８０の画像として扱うことが可能になる。
この４０９６×１０８０のＲ画像を水平方向にウェーブレット変換し、
低域フィルタを通した２０４８×１０８０サイズのサブバンドＲ画像、
高域フィルタを通した２０４８×１０８０サイズのサブバンドＲ画像、
に変換する。
Ｂ画像についても同様に
この４０９６×１０８０のＢ画像を水平方向にウェーブレット変換し、
低域フィルタを通した２０４８×１０８０サイズのサブバンドＢ画像、
高域フィルタを通した２０４８×１０８０サイズのサブバンドＢ画像、
に変換する。

また、水平方向のウェーブレット変換を行った時点で、既に２０４８×１０８０サイズのサブバンド画像となり、Ｇのサブバンド画像とサイズが一致する。したがって、垂直方向にはウェーブレット変換しない。
これは、２０４８×１０８０サイズのサブバンド画像が、ＲＧＢで揃ったことを意味しており、２０４８×１０８０のＲＧＢフル画像が得られたことになり、簡易的ないわゆる色分離が行われたことになる。
これにより、圧縮伸張Ｉ／Ｆ部１０５からの出力であるサブバンド画像は、４Ｋフル画素方式も、４Ｋ倍密度ベイヤ配列でも、同じサイズとなるので、圧縮伸張処理部１０６以降の処理を共通の処理とすることができる。これについては、別途詳細に説明する。

図１１Ｄでは、後述する別の方式と区別し、Ｒ画像とＢ画像は水平方向のウェーブレット変換のみを行ったという説明のために、以下のように記載する。
・低域フィルタを通した２０４８×１０８０サイズのサブバンドＲ画像を、サブバンドＲ画像（ＬＬ）
・高域フィルタを通した２０４８×１０８０サイズのサブバンドＲ画像を、サブバンドＲ画像（ＨＬ）
・低域フィルタを通した２０４８×１０８０サイズのサブバンドＢ画像を、サブバンドＢ画像（ＬＬ）
・高域フィルタを通した２０４８×１０８０サイズのサブバンドＢ画像を、サブバンドＢ画像（ＨＬ）
また、圧縮伸張Ｉ／Ｆ部１０５は、Ｒ画素はＷ型、Ｂ画素はＭ型に画素を走査するとして説明したが、Ｒ画素とＢ画素の起点画素位置が異なれば、Ｗ型とＭ型は逆になることは明らかである。

このように図１１を示して、倍密度ベイヤ配列のＲ画像とＢ画像は、隣接する上下２ライン単位でウェーブレット変換を行うことで、問題を解決する方法を説明した。しかし、別の方法として、倍密度ベイヤ配列のＲ画像とＢ画像は、隣接する左右２画素単位でウェーブレット変換を行うことで、問題を解決する方法を、図１２を参照して説明する。

まず、Ｇ画像については、Ｇ画像は４Ｋフル画素があることから、図１１で説明した処理と全く同じ処理であるのでここでは省略する。

倍密度ベイヤ配列のＲ画像とＢ画像についても、図を見れば明らかであるが、順に説明する。

このとき、圧縮伸張Ｉ／Ｆ部１０５は、倍密度のベイヤ配列の撮像素子部１０２から出力されるＲＧＢの画像データのうち、Ｒ及びＢの画像データに対しては、隣り合う左右２列を単位として画素を走査して垂直方向のウェーブレット変換を行う。そして、Ｇの画像データに対しては、１ラインの画素を単位とした水平方向のウェーブレット変換及び１列の画素を単位とした垂直方向のウェーブレット変換を行う。
具体的には、図１２Ｂに示すように、Ｒ画素とＢ画素については、水平方向にはウェーブレット変換せずに、そのまま垂直方向のウェーブレット変換に送る。このとき、圧縮伸張Ｉ／Ｆ部１０５は、図１２Ｃに示すように、Ｒ画素について、隣接する左右２画素単位に左向きのＷ型に画素を走査し、あたかも１列に並んだ画素データであるかのようにウェーブレット変換を行う。
また、圧縮伸張Ｉ／Ｆ部１０５は、Ｂ画素について隣接する左右２画素単位に右向きのＷ型に画素を走査し、あたかも１列に並んだ画素データであるかのようにウェーブレット変換を行う。

左右２画素を単位とすることで、垂直方向は２１６０の実画素を有するとみなせるので、Ｒ画像とＢ画像については、２０４８×２１６０の画像として扱うことが可能になる。
この２０４８×２１６０のＲ画像を垂直方向にウェーブレット変換する。このとき、圧縮伸張Ｉ／Ｆ部１０５は、
低域フィルタを通した２０４８×１０８０サイズのサブバンドＲ画像、
高域フィルタを通した２０４８×１０８０サイズのサブバンドＲ画像、
に変換する。
Ｂ画像についても同様に
この２０４８×２１６０のＢ画像を垂直方向にウェーブレット変換する。このとき、圧縮伸張Ｉ／Ｆ部１０５は、
低域フィルタを通した２０４８×１０８０サイズのサブバンドＢ画像、
高域フィルタを通した２０４８×１０８０サイズのサブバンドＢ画像、
に変換する。

そして、垂直方向のウェーブレット変換を行った時点で、２０４８×１０８０サイズのサブバンド画像となり、Ｇのサブバンド画像とサイズが一致する。
これにより、圧縮伸張Ｉ／Ｆ部１０５からの出力であるサブバンド画像は、４Ｋフル画素方式も、４Ｋ倍密度ベイヤ配列でも、同じサイズとなるので、圧縮伸張処理部１０６以降の処理が、共通の処理とすることができる。これについては、別途詳細に説明する。

図１２Ｄでは、後述する別の方式と区別し、Ｒ画像とＢ画像は垂直方向のウェーブレット変換のみを行ったという説明のために、サブバンド画像を以下のように記載している。
・低域フィルタを通した２０４８×１０８０サイズのサブバンドＲ画像を、サブバンドＲ画像（ＬＬ）
・高域フィルタを通した２０４８×１０８０サイズのサブバンドＲ画像を、サブバンドＲ画像（ＬＨ）
・低域フィルタを通した２０４８×１０８０サイズのサブバンドＢ画像を、サブバンドＢ画像（ＬＬ）
・高域フィルタを通した２０４８×１０８０サイズのサブバンドＢ画像を、サブバンドＢ画像（ＬＨ）

ここでは、圧縮伸張Ｉ／Ｆ部１０５は、Ｒ画素を左向きＷ型、Ｂ画素を右向きＷ型に画素を走査するとして図１２を参照して説明したが、Ｒ画素とＢ画素の起点画素位置が異なれば、左向きＷ型と右向きＷ型は逆になることは明らかである。

以上のようにして、倍密度ベイヤ配列に対して、どのようにウェーブレット変換処理するかについて、図１１と図１２を参照して説明した。
次に、図１３を参照して、ウェーブレット変換後の低域フィルタを通した２０４８×１０８０サイズのサブバンド画像の画素重心位置について説明する。
ここでは、ＪＰＥＧ２０００の５×３可逆ウェーブレットフィルタ係数である（−１／８，２／８，６／８，２／８，−１／８）を例に用いて説明する。

図１３Ａは、Ｇ画像に対して５×３可逆ウェーブレットフィルタをかけた場合の例を示す。まず、水平方向の５画素に対して、（−１／８，２／８，６／８，２／８，−１／８）のフィルタ係数を掛ける。３画素目に６／８が掛けられ、これを中心として、左右２画素に対して、対称係数が掛けられるので、水平方向の画素の重心は、３画素目の位置に合致する。

次に、垂直方向の５画素に対して、（−１／８，２／８，６／８，２／８，−１／８）のフィルタ係数を掛ける。３画素目に６／８が掛けられ、これを中心として、上下２画素に対して、対称係数が掛けられるので、垂直方向の画素の重心も、３画素目の位置に合致する。
つまり、Ｇ画像に対して低域ウェーブレットフィルタを通した２０４８×１０８０サイズのサブバンド画像の画素重心位置は、水平方向にも垂直方向にも６／８のフィルタ係数が掛けられた画素（図中の丸印○）位置となる。

図１３Ｂは、Ｒ画像に対して５×３可逆ウェーブレットフィルタをかけた場合の例を示す。Ｒ画像は、図１１を参照して説明したように、圧縮伸張Ｉ／Ｆ部１０５は、隣り合う上下２ライン単位にＷ型に画素を走査し、あたかも１ラインの画素データであるかのようにウェーブレット変換される。

この５画素に対して、（−１／８，２／８，６／８，２／８，−１／８）のフィルタ係数を掛ける。３画素目に６／８が掛けられ、これを中心として、左右２画素に対して、対称係数が掛けられるので、水平方向の画素の重心は、３画素目の位置に合致する。
Ｒ画像に対しては、垂直方向にはウェーブレット変換はしないが、先ほどの水平方向のウェーブレット係数に着目してみると、上側のライン上の３画素に対して、（−１／８，６／８，−１／８）のフィルタ係数がかかっている。このため、上側のライン上の３画素の係数の重みは、
−１／８＋６／８−１／８＝１／２
であることが分かる。

次に下側のライン上の２画素に対して、（２／８，２／８）のフィルタ係数がかかっているので、下側のライン上の２画素の係数の重みは、
２／８＋２／８＝１／２
であることが分かる。
以上から、Ｒ画像の垂直方向の画素の重心は、隣り合う上下２ライン単位にＷ型に画素が走査された２ライン間の丁度真ん中の位置となることが分かる。
つまり、Ｒ画像に対して低域ウェーブレットフィルタを通した２０４８×１０８０サイズのサブバンド画像の画素重心位置は、水平方向には、６／８のフィルタ係数が掛けられた画素位置で、垂直方向には、隣り合う上下２ライン単位としたライン間の位置（図中の丸印○）となる。

図１３Ｃは、Ｂ画像に対して５×３可逆ウェーブレットフィルタをかけた場合の例を示す。Ｂ画像は、図１１を参照して説明したように、圧縮伸張Ｉ／Ｆ部１０５は、隣り合う上下２ライン単位にＭ型に画素を走査し、あたかも１ラインの画素データであるかのようにウェーブレット変換を行う。

この５画素に対して、（−１／８，２／８，６／８，２／８，−１／８）のフィルタ係数を掛ける。３画素目に６／８が掛けられ、これを中心として、左右２画素に対して、対称係数が掛けられるので、水平方向の画素の重心は、３画素目の位置に合致する。
Ｂ画像に対しては、垂直方向にはウェーブレット変換はしないが、先ほどの水平方向のウェーブレット係数に着目してみると、下側のライン上の３画素に対して、（−１／８，６／８，−１／８）のフィルタ係数がかかっている。このため、下側のライン上の３画素の係数の重みは、
−１／８＋６／８−１／８＝１／２
であることが分かる。

次に上側のライン上の２画素に対して、（２／８，２／８）のフィルタ係数がかかっているので、上側のライン上の２画素の係数の重みは、
２／８＋２／８＝１／２
であることが分かる。
以上から、Ｂ画像の垂直方向の画素の重心は、隣り合う上下２ライン単位にＭ型に画素が走査された２ライン間の丁度真ん中の位置となることが分かる。
つまり、Ｂ画像に対して低域ウェーブレットフィルタを通した２０４８×１０８０サイズのサブバンド画像の画素重心位置は、水平方向には、６／８のフィルタ係数が掛けられた画素位置となる。垂直方向には、隣り合う上下２ライン単位としたライン間の位置（図中の丸印○）となる。

以上をまとめて、低域ウェーブレットフィルタを通した２０４８×１０８０サイズのサブバンド画像の画素重心位置は、図１３Ｄに示すようになる。このとき、Ｒ画像とＢ画像は同じ位置、それに対してＧ画像は、垂直方向には同じ位置であり、水平方向には、わずかに１／２画素ずれているだけであることが分かる。

ここで、ＪＰＥＧ２０００など、ウェーブレットフィルタを用いたサブバンド分割の特徴のひとつに、１／２^ｎの解像度の画像サイズが一つの圧縮ストリームから得られることがある。これは、倍密度ベイヤ配列においても、水平方向・垂直方向それぞれ半分の画像サイズの低域サブバンド画像のみを表示した場合に、ＲＧＢの画素重心位置が、ほとんど同じであると言うことを示している。つまり、画素重心位置を合わせなくても、ほとんど色ずれのない低域サブバンド画像として表示することが可能であることを示している。

もちろん、Ｇ画像を１／２画素分水平方向に修正すれば、完全にＲＧＢが一致する。この場合も、水平方向のみを１／２修正するのみであるので、ハードウェア規模も少ないもので済むという効果がある。
また、図１２で示したように、Ｒ画像とＢ画像について、垂直方向にのみウェーブレット変換を行う場合にも、詳細な図示はしないものの、図１３と同様に考えれば、Ｒ画像とＢ画像は同じ位置、それに対してＧ画像は、水平方向には同じ位置であり、垂直方向には、わずかに１／２画素ずれているだけであることが分かる。
以上が、倍密度ベイヤ配列に対する処理の詳細である。

次に、図２の斜め配列３板方式に対する圧縮符号化処理の例について、図１４を参照して説明する。

図１４Ａは、１枚の撮像素子部１０２としては、斜め４５度に画素が配置されており、隣り合う水平または垂直２画素間で、あるいは４画素間で、画素補間を行って図中点線の丸印で示した画素を補間することを前提とした画素配列である。
このとき、撮像素子部１０２は、斜め４５°に画素を配列し、水平方向または垂直方向に隣り合う画素間で補間を行うことを前提とした画素配列である斜め配列３板方式である。

ここでは、上記の画素配列をもつ撮像素子部１０２を３枚用い光学プリズムと組み合わせて撮像するシステム、または、この画素配列で、センサーの奥行き方向に光の波長感度を有するような構造の単板方式の撮像システムに本発明を適用する方法について説明する。

まず、図中の点線の丸印で示した画素は、周りの画素から補間することを前提としているので、実画素としては存在していないと考えることが出来る。すなわち、図１４Ｂに示すように、グレーで記した画素が存在しないと考えられるので、これは図１１を参照して説明した、倍密度ベイヤ配列のＲまたはＢ画素と同じと考えることが出来る。
違うのは、Ｒ画像、Ｂ画像、Ｇ画像の全てが同じパターンであることである。
したがって、Ｒ画像、Ｂ画像、Ｇ画像について、隣接する上下２ライン単位でウェーブレット変換を行えばよい。

このとき、圧縮伸張Ｉ／Ｆ部１０５は、斜め配列３板方式の撮像素子部１０２からのＲＧＢの画像データの全てに対して、隣り合う上下２ラインを単位として画素を走査して水平方向のウェーブレット変換を行うか、または隣り合う左右２列を単位として画素を走査して垂直方向のウェーブレット変換を行う。

具体的には、圧縮伸張Ｉ／Ｆ部１０５は、図１４Ｂに示すように、隣り合う上下２ライン単位にＷ型に画素を走査し、あたかも１ラインの画素データであるかのようにウェーブレット変換を行う。画素の起点位置によっては、隣り合う上下２ライン単位にＭ型に画素を走査し、あたかも１ラインの画素データであるかのようにウェーブレット変換を行うことも可能である。
上下２ラインを単位とすることで、１ラインは４０９６の実画素を有するとみなせるので、４０９６×１０８０の画像として扱うことが可能になる。
この４０９６×１０８０のＲＧＢ画像を水平方向にウェーブレット変換し、
低域フィルタを通した２０４８×１０８０サイズのサブバンド画像、
高域フィルタを通した２０４８×１０８０サイズのサブバンド画像、
にＲＧＢ画像をそれぞれ変換する。

また、水平方向のウェーブレット変換を行った時点で、既に２０４８×１０８０サイズのサブバンド画像となっており、垂直方向にはウェーブレット変換しない。
これは、２０４８×１０８０サイズのサブバンド画像が、ＲＧＢで揃ったことを意味しており、２０４８×１０８０のＲＧＢフル画像が得られたことになり、簡易的ないわゆる色分離が行われたことになる。
これにより、圧縮伸張Ｉ／Ｆ部１０５からの出力であるサブバンド画像は、４Ｋフル画素方式も、４Ｋ斜め配列３板方式でも、同じサイズとなるので、圧縮伸張処理部１０６以降の処理を共通の処理とすることができる。これについては、別途詳細に説明する。

図１４Ｄでは、後述する別の方式と区別し、画像は水平方向のウェーブレット変換のみを行ったという説明のために、２０４８×１０８０サイズのサブバンド画像を、以下のように記載する。
・低域フィルタを通した２０４８×１０８０サイズのサブバンドＲ画像を、サブバンドＲ画像（ＬＬ）
・高域フィルタを通した２０４８×１０８０サイズのサブバンドＲ画像を、サブバンドＲ画像（ＨＬ）
・低域フィルタを通した２０４８×１０８０サイズのサブバンドＧ画像を、サブバンドＧ画像（ＬＬ）
・高域フィルタを通した２０４８×１０８０サイズのサブバンドＧ画像を、サブバンドＧ画像（ＨＬ）
・低域フィルタを通した２０４８×１０８０サイズのサブバンドＢ画像を、サブバンドＢ画像（ＬＬ）
・高域フィルタを通した２０４８×１０８０サイズのサブバンドＢ画像を、サブバンドＢ画像（ＨＬ）

図１４では、斜め配列３板方式の画像は、隣接する上下２ライン単位でウェーブレット変換を行う処理について説明したが、別の方法として、隣接する左右２画素単位でウェーブレット変換を行うこともできる。ただし、図１２で説明した倍密度ベイヤ配列のＲ画像とＢ画像の処理で説明した処理と全く同じ処理であるのでここでは省略する。

また、図１３で倍密度ベイヤ配列のウェーブレット変換後の低域フィルタを通した２０４８×１０８０サイズのサブバンド画像の画素重心位置について説明した。
しかし、斜め配列３板方式では、光学的に画素位置が合うように調整されているので、ウェーブレット変換後の低域フィルタを通した２０４８×１０８０サイズのサブバンド画像の画素重心位置についてもＲＧＢが揃うことは明らかであるので、ここでは省略する。
以上が、斜め配列３板方式に対する処理の詳細である。

次に、図２に示す通常のベイヤ配列に対する処理例について、図１５を参照して説明する。

図１５Ａは、いわゆる通常のベイヤ配列である。
このとき、撮像素子部１０２は、ベイヤ配列である。

図１５Ｂは、ＲＧＢそれぞれに分離し、実画素の存在しない位置をグレーで記している。Ｒ画像とＢ画像については、分離した状態ですでに２０４８×１０８０サイズの間引き画像となっている。
Ｇ画像については、図をみて明らかであるように、これは図１１を参照して説明した、倍密度ベイヤ配列のＲ画素またはＢ画素と同じと考えることが出来る。
したがって、Ｇ画像は、隣接する上下２ライン単位でウェーブレット変換を行えばよい。

このとき、圧縮伸張Ｉ／Ｆ部１０５は、ベイヤ配列の撮像素子部１０２からのＲＧＢの画像データのうち、Ｒ及びＢの画像データに対してはウェーブレット変換を行わない。そして、Ｇの画像データに対しては、隣り合う上下２ラインを単位として画素を走査して水平方向のウェーブレット変換を行うか、または隣り合う左右２列を単位として画素を走査して垂直方向のウェーブレット変換を行う。
具体的には、圧縮伸張Ｉ／Ｆ部１０５は、図１５Ｂに示すように、隣り合う上下２ライン単位にＭ型に画素を走査し、あたかも１ラインの画素データであるかのようにウェーブレット変換を行う。

画素の起点位置によっては、隣り合う上下２ライン単位にＷ型に画素を走査し、あたかも１ラインの画素データであるかのようにウェーブレット変換を行うことも可能である。

上下２ラインを単位とすることで、１ラインは４０９６の実画素を有するとみなせるので、４０９６×１０８０の画像として扱うことが可能になる。
この４０９６×１０８０のＧ画像を水平方向にウェーブレット変換し、
低域フィルタを通した２０４８×１０８０サイズのサブバンドＧ画像、
高域フィルタを通した２０４８×１０８０サイズのサブバンドＧ画像、
に変換する。

また、水平方向のウェーブレット変換を行った時点で、既に２０４８×１０８０サイズのサブバンド画像となっており、垂直方向にはウェーブレット変換しない。
これは、Ｒ画像とＢ画像に関しては、間引きであるが、２０４８×１０８０サイズのサブバンド画像が、ＲＧＢで揃ったことを意味しており、２０４８×１０８０のＲＧＢフル画像が得られたことになり、簡易的ないわゆる色分離が行われたことになる。
これにより、圧縮伸張Ｉ／Ｆ部１０５からの出力であるサブバンド画像は、４Ｋフル画素方式も、４Ｋ通常ベイヤ配列も、同じサイズとなるので、圧縮伸張処理部１０６以降の処理を共通の処理とすることができる。これについては、別途詳細に説明する。

図１５Ｄでは、Ｒ画像とＢ画像に関しては間引きであるが、他の方式の処理と共通にするために、また、Ｇ画像に関しては、後述する別の方式と区別し、画像は水平方向のウェーブレット変換のみを行ったという説明のために、以下のように記載する。
つまり、２０４８×１０８０サイズのＲ画像を、サブバンドＲ画像（ＬＬ）、
低域フィルタを通した２０４８×１０８０サイズのサブバンドＧ画像を、サブバンドＧ画像（ＬＬ）、
高域フィルタを通した２０４８×１０８０サイズのサブバンドＧ画像を、サブバンドＧ画像（ＨＬ）、
２０４８×１０８０サイズのＢ画像を、サブバンドＢ画像（ＬＬ）、
として記載する。

図１５では、通常のベイヤ配列のＧ画像は、隣接する上下２ライン単位でウェーブレット変換を行う方法を示したが、別の方法として、隣接する左右２画素単位でウェーブレット変換を行う方法もある。しかし、この方法は、図１２で説明した倍密度ベイヤ配列のＲ画像とＢ画像の処理で説明した処理と全く同じ処理であるのでここでは省略する。

また、図１３で倍密度ベイヤ配列のウェーブレット変換後の低域フィルタを通した２０４８×１０８０サイズのサブバンド画像の画素重心位置について説明したが、通常のベイヤ配列では、Ｒ画像とＢ画像に関しては、他の発明と同様に単なる間引き処理になる。このため、画素位置については、ベイヤ配列そのままであり、説明を省略する。
以上が、通常のベイヤ配列に対する処理の詳細である。

このように、圧縮伸張Ｉ／Ｆ部１０５は、図２に示すような様々な画素配列の撮像素子のいずれにも対応が可能であることを説明した。

次に、圧縮伸張Ｉ／Ｆ部１０５からの出力であるサブバンド画像は、図２に示すような様々な画素配列の撮像素子部１０２のいずれに対しても、２０４８×１０８０サイズとなるので、圧縮伸張処理部１０６以降の処理が、共通の処理とすることができることについて説明する。

図１６は、今まで説明してきた様々な画素配列の撮像素子部１０２に対して、圧縮伸張Ｉ／Ｆ部１０５からの出力であるサブバンド画像についてまとめたものである。

具体的には、
＊ＲＧＢ フル画素方式
・Ｇ：２０４８×１０８０サイズのサブバンド（ＬＬ／ＨＬ／ＬＨ／ＨＨ）４コンポーネント
・Ｂ：２０４８×１０８０サイズのサブバンド（ＬＬ／ＨＬ／ＬＨ／ＨＨ）４コンポーネント
・Ｒ：２０４８×１０８０サイズのサブバンド（ＬＬ／ＨＬ／ＬＨ／ＨＨ）４コンポーネント
→２０４８×１０８０サイズのサブバンドが１２コンポーネント

＊倍密度ベイヤ配列
・Ｇ：２０４８×１０８０サイズのサブバンド（ＬＬ／ＨＬ／ＬＨ／ＨＨ）４コンポーネント
・Ｂ：２０４８×１０８０サイズのサブバンド（ＬＬ／ＨＬ）２コンポーネント
・Ｒ：２０４８×１０８０サイズのサブバンド（ＬＬ／ＨＬ）２コンポーネント
→２０４８×１０８０サイズのサブバンドが８コンポーネント

＊斜め配列３板方式
・Ｇ：２０４８×１０８０サイズのサブバンド（ＬＬ／ＨＬ）２コンポーネント
・Ｂ：２０４８×１０８０サイズのサブバンド（ＬＬ／ＨＬ）２コンポーネント
・Ｒ：２０４８×１０８０サイズのサブバンド（ＬＬ／ＨＬ）２コンポーネント
→２０４８×１０８０サイズのサブバンドが６コンポーネント

＊ベイヤ配列
・Ｇ：２０４８×１０８０サイズのサブバンド（ＬＬ／ＨＬ）２コンポーネント
・Ｂ：２０４８×１０８０サイズのサブバンド（ＬＬ）１コンポーネント
・Ｒ：２０４８×１０８０サイズのサブバンド（ＬＬ）１コンポーネント
→２０４８×１０８０サイズのサブバンドが４コンポーネント
と２０４８×１０８０サイズのサブバンドの個数の違いとしてまとめることが出来る。（図中では、出力されないサブバンド画像を破線で描いている。）

また、いずれも、ＲＧＢ画像のそれぞれに２０４８×１０８０サイズのサブバンド（ＬＬ）（図中の太枠で囲んだサブバンド）が存在しているので、前述したように、簡易的な色分離が行って、画像として確認することが可能である。

次に、様々な画素配列の撮像素子に対して、圧縮伸張Ｉ／Ｆ部１０５の具体的な処理方法について、説明する。

図１７と図１８は、ＲＧＢ フル画素方式に対応する場合の処理方法（図１７はウェーブレット変換時の処理、図１８は逆変換時の処理）を説明する図である。
図１７と図１８は、図９と図１０と同じものであるので、ここでは重複説明を省略する。図１７に示すように、圧縮伸張Ｉ／Ｆ部１０５は、ＲＧＢフル画素方式の記録ＲＡＷデータに対しては、Ｒ画像、Ｇ画像、Ｂ画像の全てに対して同じ処理を行う。このとき、圧縮伸張Ｉ／Ｆ部１０５は、Ｒ画像、Ｇ画像、Ｂ画像の水平方向にも垂直方向にもウェーブレット変換を行って、２０４８×１０８０サイズのサブバンドを１２コンポーネント分出力する。また、図１８に示すように、圧縮伸張Ｉ／Ｆ部１０５は、その逆変換を行って、ＲＧＢフル画素方式の再生ＲＡＷデータに戻す。

図１９と図２０は、倍密度ベイヤ配列の撮像素子に対応する場合の処理方法（図１９はウェーブレット変換時の処理、図２０は逆変換時の処理）を説明する図である。
図１９に示すように、圧縮伸張Ｉ／Ｆ部１０５は、倍密度ベイヤ配列の記録ＲＡＷデータにおけるＧ画像には、水平方向にも垂直方向にもウェーブレット変換を行う。しかし、Ｒ画像とＢ画像には、図１１Ｂに示したような走査を行った後水平方向のウェーブレット変換のみを行って、垂直方向のウェーブレット変換回路はバイパス処理を行い、そのまま出力する。ここで、図１９では、バイパス処理する部分を斜線で示している。以下の図２０〜２４でも同様にバイパス処理を行う部分を表現してある。これにより、圧縮伸張Ｉ／Ｆ部１０５は、２０４８×１０８０サイズのサブバンドを８コンポーネント分出力する。また、図２０に示すように、圧縮伸張Ｉ／Ｆ部１０５は、逆変換でも、Ｒ画像とＢ画像は、垂直方向のウェーブレット合成回路をバイパス処理し、水平方向のウェーブレット合成のみを行う。Ｇ画像は、垂直方向にも水平方向にもウェーブレット合成することで、倍密度ベイヤ配列の再生ＲＡＷデータに戻すことが出来る。

図２１と図２２は、斜め配列の３板方式に対応する場合の処理方法（図２１はウェーブレット変換時の処理、図２２は逆変換時の処理）を説明する図である。
図２１に示すように、圧縮伸張Ｉ／Ｆ部１０５は、斜め配列の３板方式の記録ＲＡＷデータにおけるＲ画像、Ｇ画像、Ｂ画像の全てに対して同じ処理を行う。このとき、圧縮伸張Ｉ／Ｆ部１０５は、図１４Ｂに示したような走査を行った後、Ｒ画像、Ｇ画像、Ｂ画像の水平方向のウェーブレット変換のみを行って、垂直方向のウェーブレット変換回路はバイパス処理を行い、そのまま出力する。これにより、圧縮伸張Ｉ／Ｆ部１０５は、２０４８×１０８０サイズのサブバンドを６コンポーネント分出力する。また、図２２に示すように、圧縮伸張Ｉ／Ｆ部１０５は、逆変換でも、Ｒ画像、Ｇ画像、Ｂ画像の全てで同じ処理となり、垂直方向のウェーブレット合成回路をバイパス処理し、水平方向のウェーブレット合成のみを行う。これにより、斜め配列の３板方式の再生ＲＡＷデータに戻すことが出来る。

図２３と図２４は、通常のベイヤ配列の撮像素子に対応する場合の処理方法（図２３はウェーブレット変換時の処理、図２４は逆変換時の処理）を説明する図である。
図２３に示すように、圧縮伸張Ｉ／Ｆ部１０５は、通常のベイヤ配列の記録ＲＡＷデータにおけるＧ画像には、図１５Ｂに示したような走査を行った後、水平方向のみウェーブレット変換を行うが、Ｒ画像とＢ画像には、水平方向のウェーブレット変換も行わず、バイパス処理をする。垂直方向のウェーブレット変換回路はＲ画像、Ｇ画像、Ｂ画像いずれもバイパス処理を行い、そのまま出力する。これにより、２０４８×１０８０サイズのサブバンドを４コンポーネント分出力する。

また図２４に示すように、圧縮伸張Ｉ／Ｆ部１０５は、逆変換でも、Ｒ画像、Ｇ画像、Ｂ画像いずれも、垂直方向のウェーブレット合成回路をバイパス処理し、Ｇ画像のみ、水平方向のウェーブレット合成を行う。Ｒ画像とＢ画像は、水平方向のウェーブレット合成も行わず、バイパス処理をする。これにより、通常のベイヤ配列の再生ＲＡＷデータに戻すことが出来る。

このように、圧縮伸張Ｉ／Ｆ部１０５において、入力された記録ＲＡＷデータの種類に応じてウェーブレット回路のバイパス処理をおこなうことで、様々な画素配列の撮像素子に対して対応することが可能である。したがって、圧縮伸張Ｉ／Ｆ部１０５の処理をコントロールするだけで、圧縮伸張処理部１０６以降の処理が、入力サブバンド画像のコンポーネントの数が違うだけの、共通の処理とすることができる。

また、圧縮伸張処理部１０６以降を並列処理で行うことが可能になる。具体的には、圧縮伸張処理部１０６では、図３のサブバンド画像Ｄ１０５−ＬＬ用の回路，サブバンド画像Ｄ１０５−ＨＬ用の回路，サブバンド画像Ｄ１０５−ＬＨ用の回路，サブバンド画像Ｄ１０５−ＨＨ用の回路をそれぞれＲＧＢ用に３系統ずつ（合計１２系統）並列に設ける。このため、４Ｋ ＲＧＢフル画像の場合は全てを使用し、その他の場合は一部のみを使用することが可能になる。これにより、並列度の分だけ動作速度を落とすことが出来る。つまり、リアルタイム処理に適した構成をとることが可能となる。

従来は、４Ｋ画像のように高解像度の画像を扱うシステムでは、どうしても扱う信号処理量が多くなっていた。また、撮像素子のＳ／Ｎや感度といった特性の点からも、いわゆるベイヤ配列などを用いて、あらかじめ画素数を抑えてＲＡＷデータ記録しないと実現が困難であった。しかしながら、ＲＧＢ全ての画素が存在しないため、ＲＡＷデータのまま圧縮記録を行うと、背景技術欄に記載したように圧縮効率が上がっていなかった。

一方、上述した第１の実施の形態に係る圧縮伸張Ｉ／Ｆ部１０５や圧縮伸張処理部１０６を用いることで、ウェーブレット変換の特徴である、画面全体を変換することが可能となり、ウェーブレット変換本来の高い圧縮効率を活かすことが可能となる。特に、倍密度ベイヤ配列でのＲ画像とＢ画像のＲＡＷデータ圧縮に関して、ウェーブレット変換が持つ本来の特徴を活かした大きな圧縮効率の改善を行うことが期待できる。

また、サブバンド分割による異なる解像度の画面を１つの圧縮符号から得られ、これらの画面を利用することが可能である。これは、簡易的な色分離処理までも、ウェーブレット変換によって行っているためである。
これにより、低解像度の簡易表示システムではあるが、特別な色分離回路やダウンコンバート回路を必要としない、きわめてハードウェア効率のよいシステムを構築することが可能である。

さらに、圧縮伸張Ｉ／Ｆ部１０５の処理や圧縮伸張処理部１０６は、従来のＲＧＢフル画素方式、倍密度ベイヤ配列、斜め配列の３板方式、通常のベイヤ配列のいずれのパターンにも適応することが可能である。このため、「サブバンド画像コンポーネントの数の違い」としてハードウェアの共通処理をすることができるという効果を奏する。これは、高解像度の画像を扱うシステムにおいて、ハードウェアの並列処理が可能となり、リアルタイム処理を実現できるというメリットも提供することを示している。

＜２．第２の実施の形態＞
［ハール変換を用いて画像を圧縮符号化、又は復号化する例］

次に、本発明の第２の実施の形態に係る撮像装置１０に適用した例について、図２５〜図２７を参照して説明する。
上述したように圧縮伸張Ｉ／Ｆ部１０５は、ウェーブレット変換と組み合わせることで、もっとも効果的に圧縮する方法を提供する。しかし、ウェーブレット変換だけでなく、ハードウェア負担の少ないハール変換などでも実現が可能である。このとき、圧縮伸張Ｉ／Ｆ部１０５は、画素位置が交互にずれている色の画像データに対して、隣り合う上下２ライン単位として斜め方向に隣り合う２画素ごとにハール変換を行うこととなる。

図２５は、倍密度ベイヤ配列に対して圧縮伸張Ｉ／Ｆ部１０５がハール変換を行う例を示す。

図２５Ａは倍密度ベイヤ配列を示している。
まず、Ｇ画像について説明すると、Ｇ画像は４Ｋフル画素があることから、図１１で説明した処理と同様に水平方向・垂直方向にウェーブレット変換の変わりにハール変換を行えばよい。

このとき、圧縮伸張Ｉ／Ｆ部１０５は、倍密度のベイヤ配列の撮像素子部１０２から出力されるＲＧＢの画像データのうち、Ｒ及びＢの画像データに対しては、隣り合う上下２ライン単位として斜め方向に隣り合う２画素ごとにハール変換を行い、Ｇの画像データに対しては、１ラインの画素を単位とした水平方向のハール変換及び１列の画素を単位とした垂直方向のハール変換を行う。
ハール変換は、２タップのサブバンドフィルタと考えられ、２画素間の和と差をとることと等価である。和がＬＰＦであり、差がＨＰＦとなる。
すなわち、図２５Ｂに示すように４０９６×２１６０サイズのＧ画像に対して、２画素ごとに水平方向のハール変換を施す。これにより、図２５Ｃに示すように水平方向が半分のサイズとなった２０４８×２１６０サイズの低域サブバンドＧ画像（Ｌ）（和）と高域サブバンドＧ画像（Ｈ）（差）となる。

次に、水平方向が半分のサイズとなった２０４８×２１６０の低域サブバンドＧ画像（Ｌ）（和）と高域サブバンドＧ画像（Ｈ）（差）それぞれに対して、図２５Ｃに示すように垂直方向のハール変換を施す。この結果、図２５Ｄに示すように、２０４８×２１６０の低域サブバンドＧ画像（Ｌ）（和）と高域サブバンドＧ画像（Ｈ）（差）は、４種類の２０４８×１０８０サイズのサブバンドＧ画像に変換される。
・水平方向・垂直方向ともに低域フィルタ（和）を通した２０４８×１０８０サイズのサブバンドＧ画像（ＬＬ）
・水平方向は低域フィルタ（和）、垂直方向は高域フィルタ（差）を通した２０４８×１０８０サイズのサブバンドＧ画像（ＬＨ）
・水平方向は高域フィルタ（差）、垂直方向は低域フィルタ（和）を通した２０４８×１０８０サイズのサブバンドＧ画像（ＨＬ）
・水平方向・垂直方向ともに高域フィルタ（差）を通した２０４８×１０８０サイズのサブバンドＧ画像（ＨＨ）
以上、４種類の２０４８×１０８０サイズのサブバンドＧ画像に変換される。

Ｒ画像とＢ画像は、市松模様となるので、Ｒ画像とＢ画像は、隣接する上下２ライン単位でウェーブレット変換する代わりにハール変換を行う。
具体的には、図２５Ｂに示すように、Ｒ画素は隣り合う上下２ライン単位の斜め２画素ごとにハール変換を行う。

以上により、
低域フィルタ（和）を通した２０４８×１０８０サイズのサブバンドＲ画像、
高域フィルタ（差）を通した２０４８×１０８０サイズのサブバンドＲ画像、
に変換する。
Ｂ画素も同様に隣り合う上下２ライン単位の斜め（Ｒとは逆斜め方向）２画素ごとにハール変換を行い、
低域フィルタ（和）を通した２０４８×１０８０サイズのサブバンドＢ画像、
高域フィルタ（差）を通した２０４８×１０８０サイズのサブバンドＢ画像、
に変換する。
以上で、既に２０４８×１０８０サイズのサブバンド画像となり、Ｇのサブバンド画像とサイズが一致する。

これは、２０４８×１０８０サイズのサブバンド画像が、ＲＧＢで揃ったことを意味しており、２０４８×１０８０サイズのＲＧＢフル画像が得られたことになり、簡易的ないわゆる色分離が行われたことになる。
これにより、圧縮伸張Ｉ／Ｆ部１０５からの出力であるサブバンド画像は、４Ｋフル画素方式も、４Ｋ倍密度ベイヤ配列でも、同じサイズとなるので、圧縮伸張処理部１０６以降の処理が、共通の処理とすることができる。これについては、ウェーブレット変換の場合と同じである。

図２５Ｃと図２５Ｄでは、Ｒ画像とＢ画像は斜め方向のハール変換を行ったという説明のために、サブバンド画像を以下のように記載する。
・低域フィルタ（和）を通した２０４８×１０８０サイズのサブバンドＲ画像を、サブバンドＲ画像（ＬＬ）
・高域フィルタ（差）を通した２０４８×１０８０サイズのサブバンドＲ画像を、サブバンドＲ画像（ＨＨ）
・低域フィルタ（和）を通した２０４８×１０８０サイズのサブバンドＢ画像を、サブバンドＢ画像（ＬＬ）
・高域フィルタ（差）を通した２０４８×１０８０サイズのサブバンドＢ画像を、サブバンドＢ画像（ＨＨ）
また、ここで図示したＲ画素とＢ画素の斜め方向は一例であり、Ｒ画素とＢ画素の起点画素位置が異なれば、逆斜め方向になることは明らかである。

次に、図２に示した斜め配列３板方式に対して、ハール変換を行う場合を、図２６を参照して説明する。

図２６Ａは、斜め配列３板方式の配列を示している。
図２６Ｂでは、図１４を参照して説明したように、グレーで記した画素が存在しないと考えられるので、これは図２５を参照して説明した、倍密度ベイヤ配列のＲ画素またはＢ画素と同じと考えることが出来る。
違うのは、Ｒ画像、Ｂ画像、Ｇ画像の全てが同じパターンであることである。
したがって、Ｒ画像、Ｂ画像、Ｇ画像には、隣接する上下２ライン単位でウェーブレット変換の代わりにハール変換を行えばよいことが分かる。

このとき、圧縮伸張Ｉ／Ｆ部１０５は、斜め配列３板方式の撮像素子部１０２からのＲＧＢの画像データの全てに対して、隣り合う上下２ライン単位として斜め方向に隣り合う２画素ごとにハール変換を行う。
具体的には、図２６Ｂを参照して説明したように、隣り合う上下２ライン単位の斜め２画素ごとにハール変換を行う。

以上により、
低域フィルタ（和）を通した２０４８×１０８０サイズのサブバンド画像、
高域フィルタ（差）を通した２０４８×１０８０サイズのサブバンド画像、
にＲＧＢ画像をそれぞれ変換する。
以上で、既に２０４８×１０８０サイズのサブバンド画像となることも分かる。

これは、２０４８×１０８０サイズのサブバンド画像が、ＲＧＢで揃ったことを意味しており、２０４８×１０８０のＲＧＢフル画像が得られたことになり、簡易的ないわゆる色分離が行われたことになる。
これにより、圧縮伸張Ｉ／Ｆ部１０５からの出力であるサブバンド画像は、４Ｋフル画素方式も、４Ｋ斜め配列３板方式でも、同じサイズとなるので、圧縮伸張処理部１０６以降の処理が、共通の処理とすることができる。これについては、ウェーブレット変換の場合と同じである。

図２６Ｃと図２６Ｄでは、斜め方向のハール変換を行ったという説明のために、以下のように記載する。
・低域フィルタ（和）を通した２０４８×１０８０サイズのサブバンドＲ画像を、サブバンドＲ画像（ＬＬ）
・高域フィルタ（差）を通した２０４８×１０８０サイズのサブバンドＲ画像を、サブバンドＲ画像（ＨＨ）
・低域フィルタ（和）を通した２０４８×１０８０サイズのサブバンドＧ画像を、サブバンドＧ画像（ＬＬ）
・高域フィルタ（差）を通した２０４８×１０８０サイズのサブバンドＧ画像を、サブバンドＧ画像（ＨＨ）
・低域フィルタ（和）を通した２０４８×１０８０サイズのサブバンドＢ画像を、サブバンドＢ画像（ＬＬ）
・高域フィルタ（差）を通した２０４８×１０８０サイズのサブバンドＢ画像を、サブバンドＢ画像（ＨＨ）
また、ここで図示した画素の斜め方向は一例であり、Ｒ画素とＢ画素の起点画素位置が異なれば、逆斜め方向になることは明らかである。

次に、図２の通常のベイヤ配列に対して、ハール変換を行う場合を、図２７を参照して説明する。

図２７Ａは、いわゆる通常のベイヤ配列である。
図２７Ｂは、ＲＧＢそれぞれに分離し、実画素の存在しない位置をグレーで記している。Ｒ画像とＢ画像については、分離した状態ですでに２０４８×１０８０サイズの間引き画像となっている。
Ｇ画像については、図をみて明らかであるように、これは図２５を参照して説明した、倍密度ベイヤ配列のＲまたはＢ画素と同じと考えることが出来る。
したがって、Ｇ画像は、隣接する上下２ライン単位でウェーブレット変換する代わりにハール変換を行う。

このとき、圧縮伸張Ｉ／Ｆ部１０５は、ベイヤ配列の撮像素子部１０２からのＲＧＢの画像データのうち、Ｒ及びＢの画像データに対してはハール変換を行わず、Ｇの画像データに対しては、隣り合う上下２ライン単位として斜め方向に隣り合う２画素ごとにハール変換を行う。
具体的には、図２７Ｂに示すように、Ｇ画素は隣り合う上下２ライン単位の斜め２画素ごとにハール変換を行う。

以上により、
低域フィルタ（和）を通した２０４８×１０８０サイズのサブバンドＧ画像、
高域フィルタ（差）を通した２０４８×１０８０サイズのサブバンドＧ画像、
に変換する。
以上で、既に２０４８×１０８０サイズのサブバンド画像となることも分かる。
これは、Ｒ画像とＢ画像に関しては、間引きであるが、２０４８×１０８０サイズのサブバンド画像が、ＲＧＢ画像の全てで揃ったことを意味する。このため、２０４８×１０８０のＲＧＢフル画像が得られたことになり、簡易的ないわゆる色分離が行われたことになる。
これにより、圧縮伸張Ｉ／Ｆ部１０５からの出力であるサブバンド画像は、４Ｋフル画素方式も、４Ｋ通常ベイヤ配列でも、同じサイズとなるので、圧縮伸張処理部１０６以降の処理を、共通の処理とすることができる。これについては、ウェーブレット変換の場合と同じである。

図２７Ｃと図２７Ｄでは、Ｇ画像は斜め方向のハール変換を行ったという説明のために、
２０４８×１０８０サイズのＲ画像を、サブバンドＲ画像（ＬＬ）、
低域フィルタ（和）を通した２０４８×１０８０サイズのサブバンドＧ画像を、サブバンドＧ画像（ＬＬ）、
高域フィルタ（差）を通した２０４８×１０８０サイズのサブバンドＧ画像を、サブバンドＧ画像（ＨＨ）、
２０４８×１０８０サイズのＢ画像を、サブバンドＢ画像（ＬＬ）、
として記載している。
また、ここで図示したＧ画素の斜め方向は一例であり、Ｇの起点画素位置が異なれば、逆斜め方向になることは明らかである。

以上説明した第２の実施の形態によれば、圧縮伸張Ｉ／Ｆ部１０５は、ウェーブレット変換だけでなく、よりハードウェアが簡易であるハール変換でも実現できる。このため、上述した第１の実施の形態と同様に、以降の処理は並列処理が可能となる。また、色分離を簡易に行うことが可能であるため、装置の製造コストを低廉化することができる。
なお、ウェーブレット変換もＪＰＥＧ２０００の５×３可逆ウェーブレット変換係数を参照して説明したが、９×７非可逆変換や、その他の変換係数でも、実現できることは明らかであり、５×３可逆ウェーブレット変換や、ハール変換に限定するものではない。

＜３．変形例＞
なお、上述した圧縮伸張Ｉ／Ｆ部１０５の処理や圧縮伸張処理部１０６の処理は、ハードウェアにより実行することができるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが専用のハードウェアに組み込まれているコンピュータ、または、各種の機能を実行するためのプログラムをインストールしたコンピュータにより、実行可能である。例えば汎用のパーソナルコンピュータなどに所望のソフトウェアを構成するプログラムをインストールして実行させればよい。

また、上述した実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体を、システムあるいは装置に供給してもよい。また、そのシステムあるいは装置のコンピュータ（またはＣＰＵ等の制御装置）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、機能が実現されることは言うまでもない。

この場合のプログラムコードを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、上述した実施の形態の機能が実現される。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部又は全部を行う。その処理によって上述した実施の形態の機能が実現される場合も含まれる。

また、以上の実施の形態では撮像装置に本発明を適用しているが、本発明は、撮像装置以外の装置において、倍密度のベイヤ配列や斜め配列３板方式やベイヤ配列の撮像素子から得られるＲＡＷデータを圧縮符号化するためにも適用することができる。
また、本発明は、倍密度のベイヤ配列、斜め配列３板方式、ベイヤ配列以外の画素配列であって、３原色のうちの少なくとも１つの色について水平方向または垂直方向に画素位置が交互にずれている画素配列の撮像素子から得られるＲＡＷデータを圧縮符号化するためにも同様にして適用することができる。

また、本発明は上述した実施の形態に限られるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りその他種々の応用例、変形例を取り得ることは勿論である。

１０…撮像装置，３２…ウェーブレット変換部，３３…量子化部，３５…エントロピー符号化部，３６…制御部，３７…符号量計測部，３８…エントロピー復号化部，３９…逆量子化部，４０…ウェーブレット逆変換部，１０１…レンズブロック，１０２…撮像素子部，１０３…カメラ信号処理部，１０４…モニターアウト部，１０５…圧縮伸張Ｉ／Ｆ部，１０６…圧縮伸張処理部，１０７…記録メディアインターフェース部，１０８…記録メディア部，１０９…ビューファインダ信号処理部，１１０…ビューファインダ部，１１１…システムコントロール部，１１２…操作部，Ｄ１０２…記録ＲＡＷデータ，Ｄ１０５−ＬＬ…サブバンド画像，Ｄ１０５−ＨＬ…サブバンド画像，Ｄ１０５−ＬＨ…サブバンド画像，Ｄ１０５−ＨＨ…サブバンド画像

Claims (8)

1. ３原色のうちのＧ色について水平方向または垂直方向に画素位置が交互にずれているベイヤ配列の撮像素子から出力される画像データのうち、前記画素位置が交互にずれているＧ色の画像データに対して、隣り合う上下２ラインの画素をジグザグに走査した場合は水平方向のサブバンド変換のみを行い、Ｒ色、Ｂ色にはサブバンド分割を行わない、または隣り合う左右２列の画素をジグザグに走査した場合は垂直方向のサブバンド変換のみを行うサブバンド分割を行い、Ｒ色、Ｂ色にはサブバンド分割を行わないサブバンド分割部と、を備えた
   画像処理装置。
2. 前記撮像素子は、ベイヤ配列の撮像素子であり、
   前記サブバンド分割部は、前記ベイヤ配列の撮像素子からのＲＧＢの画像データのうち、Ｒ及びＢの画像データに対してはウェーブレット変換を行わず、Ｇの画像データに対しては、隣り合う上下２ラインを単位として画素を走査して水平方向のウェーブレット変換を行うか、または隣り合う左右２列を単位として画素を走査して垂直方向のウェーブレット変換を行う
   請求項１に記載の画像処理装置。
3. 前記サブバンド分割部は、前記画素位置が交互にずれている色の画像データに対して、隣り合う上下２ラインを単位として斜め方向に隣り合う２画素ごとにハール変換を行う
   請求項１に記載の画像処理装置。
4. 前記撮像素子は、ベイヤ配列の撮像素子であり、
   前記サブバンド分割部は、前記ベイヤ配列の撮像素子からのＲＧＢの画像データのうち、Ｒ及びＢの画像データに対してはハール変換を行わず、Ｇの画像データに対しては、隣り合う上下２ラインを単位として斜め方向に隣り合う２画素ごとにハール変換を行う
   請求項３に記載の画像処理装置。
5. 画像処理装置を構成するサブバンド分割部が、３原色のうちのＧ色について水平方向または垂直方向に画素位置が交互にずれているベイヤ配列の撮像素子から出力される画像データのうち、前記画素位置が交互にずれているＧ色の画像データに対して、隣り合う上下２ラインの画素をジグザグに走査した場合は水平方向のサブバンド変換のみを行い、Ｒ色、Ｂ色にはサブバンド分割を行わない、または隣り合う左右２列の画素をジグザグに走査した場合は垂直方向のサブバンド変換のみを行い、Ｒ色、Ｂ色にはサブバンド分割を行わないステップを有する
   画像処理方法。
6. ３原色のうちのＧ色について水平方向または垂直方向に画素位置が交互にずれているベイヤ配列の撮像素子から出力される画像データのうち、前記画素位置が交互にずれているＧ色の画像データに対して、隣り合う上下２ラインの画素をジグザグに走査した場合は水平方向のサブバンド変換のみを行い、Ｒ色、Ｂ色にはサブバンド分割を行わない、または隣り合う左右２列の画素をジグザグに走査した場合は垂直方向のサブバンド変換のみを行い、Ｒ色、Ｂ色にはサブバンド分割を行わないサブバンド分割部と、
   前記サブバンド分割部から出力された画像データを圧縮符号化する処理を、前記サブバンド分割部によって分割される帯域ごと及び前記３原色の色ごとに並列して行う圧縮符号化部と、を備えた
   画像処理装置。
7. 画像処理装置を構成するサブバンド分割部が、３原色のうちのＧ色について水平方向または垂直方向に画素位置が交互にずれているベイヤ配列の撮像素子から出力される画像データのうち、前記画素位置が交互にずれているＧ色の画像データに対して、隣り合う上下２ラインの画素をジグザグに走査した場合は水平方向のサブバンド変換のみを行い、Ｒ色、Ｂ色にはサブバンド分割を行わない、または隣り合う左右２列の画素をジグザグに走査した場合は垂直方向のサブバンド変換のみを行うサブバンド分割を行い、Ｒ色、Ｂ色にはサブバンド分割を行わないステップと、
   前記サブバンド分割部が、サブバンド分割を行った画像データを圧縮符号化する処理を、分割する帯域ごと及び前記３原色の色ごとに並列して行うステップと、を有する
   画像処理方法。
8. ３原色のうちのＧ色について水平方向または垂直方向に画素位置が交互にずれているベイヤ配列の撮像素子と、
   前記撮像素子から出力される画像データのうち、前記画素位置が交互にずれているＧ色の画像データに対して、隣り合う上下２ラインの画素をジグザグに走査した場合は水平方向のサブバンド変換のみを行い、Ｒ色、Ｂ色にはサブバンド分割を行わない、または隣り合う左右２列の画素をジグザグに走査した場合は垂直方向のサブバンド変換のみを行うサブバンド分割を行い、Ｒ色、Ｂ色にはサブバンド分割を行わないサブバンド分割部と、
   前記サブバンド分割部から出力された画像データを圧縮符号化する処理を、前記サブバンド分割部によって分割される帯域ごと及び前記３原色の色ごとに並列して行う圧縮符号化部と、
   前記圧縮符号化部によって圧縮符号化された画像データを記録する記録部と、を備えた
   撮像装置。