JP7465073B2 - 画像符号化装置及びその制御方法及びプログラム - Google Patents

Description

本発明は、画像データの符号化技術に関するものである。

現在、デジタルビデオカメラ等、動画像を記録するデジタルの撮像装置が普及しており、近年では、ＲＡＷ画像を記録する方式が、静止画のみならず動画にも適用されている。ＲＡＷ（生）画像は記録に必要なデータ量が膨大になるものの、オリジナル画像に対する補正や劣化を最低限に抑えることができ、撮影後の画像編集の自由度が高い。そのため、ＲＡＷ画像記録は、撮像装置を使用する者の中でも特に上級者によって好んで使われている。

ＲＡＷ画像の動画記録時は、所定の記録媒体に一定時間の動画像が記録できるよう、データ量を圧縮する圧縮符号化が必要となる。ＲＡＷ画像は、Ｒ，Ｇ，Ｂ各色成分の画素がモザイク状に配置されたベイヤ配列の画像である。ベイヤ配列における隣接する画素は、異なる色成分となっているので、隣接画素間の相関が低い。故に、そのまま符号化しても高い圧縮効率を得ることは難しい。そこで、ＲＡＷ画像から同じ色成分の画素のみを抜き出して複数のプレーンを生成する。そして、プレーンごとに符号化を行うことで、プレーン内の画素間の相関を高めて圧縮効率を向上させる、プレーン変換技術が圧縮符号化の手法の一つとして一般的に利用される。

また、従来の代表的な圧縮符号化方式として、Ｈ．２６４(H.264/MPEG-4 Part10:Advanced Video Coding)が知られている。この圧縮符号化方式では、１フレーム内の所定画素数からなるブロック毎に、動画像が有する時間冗長性と空間冗長性を利用したデータ量の圧縮が行われる。

上記Ｈ．２６４では、時間冗長性に対する動き検出及び動き補償、空間冗長性に対する周波数変換として離散コサイン変換(Discrete Cosine Transform:ＤＣＴ)、更に量子化やエントロピー符号化といった技術を組み合わせることで圧縮符号化を実現している。ただし、ある程度以上へ圧縮率を上げると、ＤＣＴ変換特有のブロック歪みが顕著になり、主観的に画像劣化が目立つようになる。

そこで、水平及び垂直方向に低域と高域フィルタリングをそれぞれ適用し、サブバンドと呼ばれる周波数帯に分解する離散ウェーブレット変換(Discrete Wavelet Transform:ＤＷＴ)を用いるサブバンド符号化技術がＪＰＥＧ２０００方式等で採用されている。このサブバンド符号化は、ＤＣＴを用いた符号化技術に比べ、ブロック歪みが生じにくく、高圧縮時の圧縮特性が良いといった特徴を有する。

例えば、特許文献１に記載の技術は、ＲＡＷ画像データから輝度成分で構成される輝度プレーンと、輝度以外の３プレーンに変換する。その後、各プレーンの信号を更にＤＷＴ変換を用いて周波数成分を分離し、図１に示すような複数のサブバンドを生成した後、サブバンドごとに符号化をすることで、効率的にＲＡＷ画像データを圧縮している。

図１は、ウェーブレット変換を２回実行した場合に生成されるサブバンドを示している。ウェーブレット変換を１回行うと、｛ＬＬ，ＨＬ，ＬＨ，ＨＨ｝の４つのサブバンドが生成される。ここで、Ｌが低域、Ｈが高域を表す。また、アルファベット２文字の１つ目は水平方向、２つ目は垂直方向の帯域に対応する。そして、サブバンドの先頭の数字は分解レベルを表す。例えば、１ＨＬは、水平方向が高域成分、垂直方向が低域成分の分解レベル“１”のサブバンド（の変換係数）を表す。なお、ウェーブレット変換の回数に制限はない。また、２回目以降のウェーブレット変換は、直前のウェーブレット変換で得られたサブバンドＬＬに対して再帰的に行うことになる。それ故、設定した回数のウェーブレット変換を行った際のサブバンドＬＬは一つしか存在しない。図１は、ウェーブレット変換を２回行った例であるので、７つのサブバンドが生成されることになる。

上記の技術などを用いてＲＡＷ画像データを圧縮してデータサイズを小さくすることで、動画記録時にはより長い時間記録することが可能になる。

特開２０１７－８５３１９号公報

しかしながら、特許文献１に記載されるようにＲＡＷ画像データから輝度プレーンと輝度以外のプレーンとを生成してサブバンド符号化を利用した圧縮の場合、各プレーンへの符号化バッファの割り当てに留意する必要がある。

ここで、動画記録時の符号化データのバッファメモリへの格納について、図２（ａ）～’ｃ）を参照して説明する。図２（ａ）は、動画記録時に４フレーム分のベイヤ配列のＲＡＷ画像データを取得し、プレーン変換、ウェーブレット変換、エントロピー符号化して生成した符号化データをバッファメモリ上に確保されたプレーン毎の符号化バッファに格納する例を示している。

図２（ｂ）はＲＡＷ画像データから、Ｒ，Ｇ１，Ｇ２，Ｂプレーンを分離した場合を示し、図２（ｃ）はＲＡＷ画像データを、Ｙ（輝度）と輝度以外の３色差であるＵ，Ｖ，ＧＨへの変換処理を介在させて得た、Ｙ、Ｕ，Ｖ，ＧＨプレーンの場合を示している。また、図２（ｂ）(i)、図２（ｃ）(i)それぞれは低圧縮時のプレーン毎の符号化バッファを、図２（ｂ）(ii)、図２（ｃ）(ii)は中圧縮時のプレーン毎の符号化バッファを、図２（ｂ）(iii)、図２（ｃ）(iii)は高圧縮時のプレーン毎の符号化バッファを示している。ここでバッファに格納されているデータの模様は、同図（ａ）のプレーンの模様に応じたものであると理解されたい。

図２（ｂ）に示すＲ，Ｇ１，Ｇ２，Ｂプレーンの場合は、圧縮率に依らず、同じ比率の符号化バッファにすることで効率良く符号化バッファを使用することができる。一方で、図２（ｃ）に示す後述するＹ，Ｕ，Ｖ，ＧＨプレーンの場合は、輝度のＹプレーンが他の色差プレーンよりも画質に支配的であるので、圧縮率が高いほど輝度プレーンは輝度以外のプレーンと比べて符号量を多く割り当てて符号化が行われる。このため、圧縮率依らず各プレーンで同じ比率の符号化バッファを割り当てると、輝度プレーン以外のプレーンには冗長の符号化バッファを与えることになり、バッファメモリが増大することで回路規模が大きくなってしまう。

本発明は上記の問題点に鑑み、圧縮率に応じた効率的な符号化バッファの使用を行い、回路規模を削減することを可能とする画像符号化装置の提供を目的とする。

この課題を解決するため、例えば本発明の画像符号化装置は以下の構成を備える。すなわち、
ＲＡＷ画像データを符号化する画像符号化装置であって、
符号化データを一時的に記憶するためのバッファメモリと、
ＲＡＷ画像データを輝度成分で構成される輝度プレーンと、輝度以外の複数の種類の色差成分のプレーンに変換するプレーン変換手段と、
前記プレーン変換手段で得られた各プレーンに対してウェーブレット変換するウェーブレット変換手段と、
前記ウェーブレット変換手段で生成された各サブバンドの係数を量子化、符号化し、得られた符号化データを前記バッファメモリに格納する符号化手段と、
前記バッファメモリに格納された符号化データを記録媒体に記録する記録手段と、
前記バッファメモリに確保するプレーン毎のバッファサイズの比率を、前記ＲＡＷ画像データの圧縮率に応じて制御する制御手段と
を有し、
前記制御手段は、前記バッファメモリにおける、各プレーンの使用率を算出する使用率算出手段を含み、
算出して得た着目フレームの前フレームにおける各プレーンのバッファ使用率に応じて、着目フレームの符号量制御する単位を変更する。

本発明によれば、冗長な符号化バッファを減らし、回路規模の増大を抑えることができる。

ウェーブレット変換によるサブバンド生成の例を示す図。 符号化バッファと符号化データの格納状態を示す図。 第１の実施形態における画像符号化装置のブロック構成図。 第１の実施形態における符号化バッファの格納状態を示す図。 第１の実施形態における画像符号化装置の処理手順を示すフローチャート。 第２の実施形態における画像符号化装置のブロック構成図。 全プレーンにおける符号量が閾値を超過していない場合の格納状態を示す図。 プレーンにおける符号量が閾値を超過した場合の格納状態を示す図。 各プレーンにおける対応ブロックラインの関係を示す図。 第２の実施形態における目標符号量算出部の処理手順を示すフローチャート。 第２の実施形態における目標符号量算出部の処理手順を示すフローチャート。 第２の実施形態における撮像装置の動作を示すフローチャート。 第３の実施形態における撮像装置の動作を示すフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
図３は、第１の実施形態の画像符号化装置を、撮像装置300に適用した場合の構成を示している。

撮像装置300は、ＣＰＵ301、撮像部302、プレーン変換部303、ウェーブレット変換部304、量子化部305、エントロピー符号化部306、メモリI/F 307、バッファメモリ308、記録処理部309、記録媒体310、及び、ユーザインタフェース350を有する。ユーザインタフェース350は、ユーザに撮像画像や各種メニューを表示するための表示デバイス、並びに、ユーザからの各種指示入力（圧縮率の設定も含まれる）を受け付けるスイッチやボタン、タッチパネル等の操作部で構成される。

ＣＰＵ301は、当該ＣＰＵが実行する制御プログラムを格納したり、ワークエリアとして使用するためのメモリを持ち、撮像装置300の全体の処理を制御する。

撮像部302は、光情報を電気信号に変換するＣＣＤイメージセンサ又は、ＣＭＯＳイメージセンサなどの撮像素子を含む。撮像素子の並びはベイヤ配列となっているものとする。撮像部302は、イメージセンサで得た電気信号をデジタル信号に変換して得たベイヤ配列の画像データを、ＲＡＷ画像データとして、プレーン変換部303に送る。

なお、ベイヤ配列の画像における、隣接する２×２画素に着目したとき、その内訳は、１個のＲ（赤）成分の画素、１個のＢ（青）成分の画素、そして対角位置関係にある２個のＧ（緑）成分の画素で構成される。Ｇ成分の画素は２つあるので、便宜的に一方をＧ１画素，他方をＧ２画素と表現している。ベイヤ配列とは、この２×２画素のパターンが、繰り返し並んだ配列を言う。

プレーン変換部303は、撮像部302から送られたＲＡＷ画像データから、それぞれが単一成分で構成される４つのプレーンを分離し、それらを予め設定された順番にウェーブレット変換部304に送る。例えば、４つのプレーンは、Ｒ成分の画素のみで構成されるＲプレーン、Ｇ１成分の画素のみで構成されるＧ１プレーン、Ｇ２成分の画素のみで構成されるＧ２プレーン、および、Ｂ成分のみの画素で構成されるＢプレーンである。また、プレーン変換部303は、例えば以下の式(1)～(4)を用いて、ＲＡＷ画像データから、１つのＹ（輝度成分）プレーンと、３つの色差成分のプレーン（Ｕプレーン、Ｖプレーン、及びＧＨプレーン）を導出しても良い。
Y=(R+B+G1+G2)/4 …(1)
U=B-(G1+G2)/2 …(2)
V=R-(G1+G2)/2 …(3)
GH=G1-G2 …(4)
実施形態におけるプレーン変換部303が、ＲＡＷ画像データをＹ，Ｕ，Ｖ，ＧＨプレーンに変換するものとして説明を続ける。なお、プレーン変換部303は、複数の計算式を実装しておき、ＣＰＵ301で使用する計算式を選択するようにしても良い。また、実施形態では、色差の種類として、Ｕ，Ｖ，ＧＨを例にするが、これに限らず、他の色差を用いても良い。

ウェーブレット変換部304は、プレーン変換部303により入力した各プレーン（それぞれを単一成分の画像データと見ることができる）をウェーブレット変換し、複数のサブバンドを生成する。ウェーブレット変換部304が行うウェーブレット変換の回数（分解数）は、ＣＰＵ301によって設定されるものとする。また、ウェーブレット変換部304は、各サブバンドで１ライン分の変換係数が生成される度に、各サブバンドの１ライン分の変換係数を量子化部305へ出力する。

量子化部305は、量子化パラメータＱｐを利用し、ウェーブレット変換部304より入力した各プレーンの変換係数に対して、１係数単位に量子化する。なお、量子化パラメータＱｐは、その値が大きいほど、量子化後の値が小さくなって符号量の削減が可能になるものの、画質劣化が顕著になるパラメータである。また、各プレーンの変換係数の量子化はプレーン毎に行っても、全プレーンについて並列して行っても良い。

エントロピー符号化部306は、量子化部305で量子化された各サブバンドに対してハフマン符号や算術符号等を用いたエントロピー符号化を行い、各サブバンドの符号化データを生成する。また、エントロピー符号化部306は、ＣＰＵ301によって指定されたアドレスに基づき、各サブバンドの符号化データをバッファメモリ308に一時的に記憶する。なお、プレーンまたはサブバンド毎の符号化バッファの大きさはＣＰＵ301によって設定される。

メモリＩ/Ｆ307は、エントロピー符号化部306を含めた、各処理部からのバッファメモリ・アクセス要求を調停し、バッファメモリ308に対する読み出し、並びに、書き込みの制御を行う。

バッファメモリ308は、エントロピー符号化部306から送られた各サブバンドの符号化データを含めた、各種データを格納するための揮発性メモリで構成される記憶領域である。

記録処理部309は、ＣＰＵ301からの記録命令に従い、バッファメモリ308へ格納された符号化データを記録媒体310へファイルとして記録する。記録媒体310は、不揮発性メモリで構成される記録メディアである。なお、記録媒体310は、典型的には、ＳＤカードに代表される脱着可能な記録媒体とする。

続いて、ＣＰＵ301による、圧縮率に応じたバッファメモリ308上の符号化バッファの割り当てについて図４を参照して説明する。

図４（ａ）は、連続する４つのＲＡＷ画像のフレームを示している。同図（ｂ）はＲＡＷ画像からＹ，Ｕ，Ｖ，ＧＨプレーンを分離し、それぞれについて同じ比率でバッファサイズを割り当てた際の符号化データの蓄積状態を示している。同図（ｃ）はＲＡＷ画像からＹ，Ｕ，Ｖ，ＧＨプレーンを分離し、それぞれについて符号量に応じた比率でバッファサイズを割り当てた際の符号化データの蓄積状態を示している。なお、バッファに格納される符号化データと、４つのＲＡＷ画像との対応を分かり易くするため、それぞれを対応する模様で表現している。

また、実施形態では、バッファに連続する４プレーン分の符号化データが格納された場合、もしくは、符号化データのバッファへの格納された割合が設定された閾値に到達したプレーンが１つでもあれば、全プレーンの符号化データのファイルへの記録処理を行うものとして説明する。

本実施形態では、予め大量の画像データから圧縮率毎に統計的に各プレーンの符号量比率を求めておき、以下の符号量比率が取得できたと仮定する。なお、圧縮率に応じた各プレーンの符号量比率はこれに限るものではないが、ユーザはユーザインタフェース150を操作して、３段階の圧縮率（符号量比率）の中の１つを選択するものとする。なお、圧縮率が高いほど、符号量が少なくなることを意味することに注意されたい。

＜統計的に求めた圧縮率毎の各プレーンの符号量比率＞
・低圧縮時の場合
Y：U：V：GH = 1：1：1：1 …(5)
・中圧縮時の場合
Y：U：V：GH = 1.2：1：1：1 …(6)
・高圧縮時の場合
Y：U：V：GH = 1.4：1：1：1 …(7)
図４（ｂ）は、圧縮率に依らずプレーン間の符号化バッファのサイズ比率を同一として符号化を行い、そのときの符号量が統計データに基づくプレーン毎の符号量比率になったと仮定した場合を示している。このとき、図４（ｂ）で示すように圧縮率が高くなるほどＹ（輝度）プレーンの符号化バッファ使用率が、輝度以外の色差プレーンと比較して高くなり、輝度以外のプレーンでは符号化バッファを冗長に確保してしまっていることを示している。

そこで、本実施形態では図４（ｃ）に示すように圧縮率に応じて、バッファメモリ308に確保する各プレーンの符号化バッファ、サイズの比率を変更する。ここでは、以下のように符号化バッファ比率を割り当てるとする。

＜圧縮率に応じた各プレーンの符号化バッファ比率の割り当て＞
・低圧縮時の場合
Y：U：V：GH = 1：1：1：1 …(8)
・中圧縮時の場合
Y：U：V：GH = 1.2：1：1：1 …(9)
・高圧縮時の場合
Y：U：V：GH = 1.4：1：1：1 …(10)
上記のように各圧縮率で統計に基づいた符号化バッファ比率にすることによって、図４（ｂ）のときと比較して、図４（ｃ）の場合、輝度以外のプレーンで冗長となっていた符号化バッファのサイズを削減することが可能となる。

ここまでは各プレーンの符号化バッファの割り当てを説明した。次に、プレーン分離後の４プレーン中の１プレーンに着目し、その着目プレーンから得た各サブバンドへの割り当て比率について説明する。

本実施形態においてサブバンドごとの符号化バッファは、各サブバンドの面積比に基づいて割り当てるものとする。

離散ウェーブレット変換によるサブバンド分割は、分解レベルが１レベル上がるごとに水平および垂直の係数の個数が半分になるため、面積としては４分の１となる。

そのため、サブバンド｛１ＨＬ，１ＬＨ，１ＨＨ｝の各々のサイズに対し、サブバンド｛２ＬＬ、２ＨＬ，２ＬＨ，２ＨＨ｝の各々のサイズは４分の１の関係となる。以上より、各サブバンドへの符号化バッファの割り当ては、下記のように行われる。

＜各サブバンドの符号化バッファ比率＞
2LL：2HL：2LH：2HH：1HL：1LH：1HH =1：1：1：1：4：4：4 …(11)
なお、各サブバンドのバッファメモリの割り当ては、圧縮率に依らず一定とする。また、ここでは４プレーン中の１プレーンについて説明したが、他のプレーンに関しても同様な割り当てを行う。

続いて、本第１の実施形態である画像符号化装置の動作の詳細を図５に示すフローチャートを基づき説明する。なお、ここでの動作として、符号化したＲＡＷ画像データのバッファメモリ308上のバッファメモリへの格納と、すでに符号化バッファに格納されている符号化されたＲＡＷ画像データの記録媒体310への記録が同時に実行されているものとする。

まず、S501にて、ＣＰＵ301は、ユーザインタフェース350により設定された、撮影に係る圧縮率のモードを判定する。続いて、S502にて、ＣＰＵ301は、判定した圧縮率の設定に基づき、バッファメモリ３０８における、プレーン毎の符号化バッファの割り当てを決定する。

次に、S503にて、ＣＰＵ301は、プレーン毎に割り当てられた符号化バッファサイズを各サブバンドの面積比に基づいて、各サブバンドのバッファサイズを割り当て、これらを、エントロピー符号化部306の出力先として設定する。

次に、S504にて、ＣＰＵ301は、撮像部302の駆動を開始する。そして、ＣＰＵ301は、プレーン変換部303、ウェーブレット変換部304、量子化部305、エントロピー符号化部306の駆動も開始し、複数のサブバンドごとの符号化データを生成し、バッファメモリ308に書き込みを行わせる。

次に、S505にて、ＣＰＵ301は、１フレームの符号化を完了させる。

そして、Ｓ506にて、ＣＰＵ301は、ユーザから記録の停止指示を受けたか否か、受けていれば最終フレームのバッファメモリ内の符号化データの記録媒体310への記録が完了しているか否かを判定し、最終フレームの記録が完了していれば本処理を終了する。また、記録が継続している場合、ＣＰＵ301は、処理をS504に戻し、のフレームの符号化を行う。

以上、本第１の実施形態によれば、圧縮率に起因するプレーン間における発生符号量の偏りに対応でき、効率良くバッファメモリを使用することで、回路規模を増加させることなく符号化が可能となる。

なお、上記第１の実施形態の画像符号化装置において、圧縮率毎に各プレーンの符号化比率を変更したが、圧縮率に限らずフレームレートに応じて符号化バッファの比率を変更してもよい。つまり、フレームレートが高くなるほど、圧縮率を高くするという関係を用いて、符号化バッファ比率を決定する。また、上記では、ユーザが選択できる圧縮率の段数を“３”として説明したが、この数に特に制限はない。

また、実際に発生する符号化データサイズに基づいて各サブバンドへの割り当てを実施していないため、バッファメモリのサイズとしてはマージンを持つことが望ましい。このときのマージンに関しても各プレーンで符号化バッファ比率に応じた領域を確保する。

［第２の実施形態］
上記第１の実施形態では、圧縮率に応じてプレーン間の符号量比率が異なることを鑑みて、圧縮率に応じてプレーン間の符号化バッファ比率を変更した。本第２の実施形態では、上記第１の実施形態と比較して、圧縮率に応じて各プレーンの符号化バッファ比率を変更してもなおプレーン間で符号量に偏りが生じる場合に対処する、符号量制御に関して説明する。

本第２の実施形態でも、画像符号化装置として、撮像装置に適用した例を説明する。図６は、第２の実施形態における撮像装置600のブロック構成図である。

撮像装置600は、ＣＰＵ 601、撮像部602、プレーン変換部603、ウェーブレット変換部604、量子化部605、エントロピー符号化部606、バッファ使用率算出部607、メモリI/F 608、バッファメモリ609、記録処理部610、記録媒体611、符号量制御部612、発生符号量保持部613、差分算出部614、目標符号量算出部615、量子化制御部616、及び、ユーザインタフェース650を有する。

ここで、本第２の実施形態の装置構成における第１の実施形態と異なる点を説明する。バッファ使用率算出部607は、１フレームの符号化完了後、バッファメモリ609における各プレーンの符号化バッファの使用率を算出する。その際、算出した各プレーンの符号化バッファ使用率が、予め設定した閾値(TH(Y)、TH（U）、TH（V）、TH（GH））に対して、図７で示すように全てのプレーンで超過しない場合と、図８（ａ）～（ｄ）で示すように一つのプレーンでも符号量が超過してしまう場合がある。図８（ａ）は輝度Ｙプレーンにおいて、図８（ｂ）は色差Ｕプレーンにおいて、図８（ｃ）は色差Ｖプレーンにおいて、そして、図８（ｄ）は色差ＧＨプレーンにおいて符号量が閾値を超過した場合を示している。なお、閾値の設定方法として、例えば、本来のバッファ比率に対して２０％の符号化バッファのマージンを取ったとすると、このときの符号化バッファ量はマージン分を含めて１２０％となる。そこで、各プレーンで設定する閾値はその内の９割よりも多くの符号量を使用した場合と定義し、１２０％×０．９＝１０８％を閾値として定義するものとした。

本実施形態では、バッファ使用率算出部607で算出した各プレーンの符号化バッファの使用率が閾値を超過するか否かで符号量制御部612の制御方法を変更するが、詳細な制御方法に関する説明は後述する。なお、各プレーンで設定する閾値は任意である。このときの各プレーンの符号化バッファの割り当ては以下に示すものであるとする。

＜各プレーンの符号化バッファ比率の割り当て＞
Y：U：V:GH = 1.2：1：1：1 …(12)

まず、はじめに全てのプレーンの符号量が閾値を超過しない場合の符号量制御部612の制御方法について説明する。

＜制御単位＞
前述のように符号化単位をサブバンド毎のラインとしているが、量子化制御単位は、同一画素位置の各サブバンドの符号化結果の集合体とする。すなわち、図９に示すように、分解レベル２のサブバンド｛２ＬＬ，２ＬＬ，２ＨＬ，２ＨＨ｝の１ライン、分解レベル１のサブバンド｛１ＬＨ，１ＨＬ，１ＨＨ｝の２ラインを、一回のＱｐによる制御単位とする。以降、この制御単位をブロックラインと呼ぶ。また、ｉをブロックライン番号とする。なお、１ブロックラインは、入力したＲＡＷ画像データの１６ラインに相当する。

発生符号量保持部613は、エントロピー符号化部606から通知される符号化データの発生符号量を保持する。目標符号量算出部615は、各フレームの先頭ブロックラインのＱｐを制御するタイミングと判断した場合にフレームの目標符号量を算出する。その際の目標符号量算出方法の詳細は後述する。差分算出部614は、ブロックライン毎の発生符号量とブロックライン毎の目標符号量の差分を算出し、差分の積算値である積算差分量を更に算出する。また、フレームの先頭ブロックラインのＱｐを制御するタイミングで、積算差分量は“０”に初期化されるものとする。

量子化制御部616は、差分算出部614から通知される積算差分量に基づき、Ｑｐを算出（更新）する（詳細は後述）。以上により符号量制御する。

＜量子化値算出＞
量子化パラメータ算出方法の一つに、MPEG2 Test Model 5に示された公知技術がある。このTest Model 5によれば、着目ブロックラインがｉ番目とし、差分算出部614で算出した着目ブロックラインの直前までの積算差分量をΣＥ［ｉ－１］、基準量子化パラメータＱｐ_ref、制御感度“ｒ”と定義したとき、着目ブロックラインの量子化パラメータＱｐ［ｉ］を以下のように算出することができる。
Qp[i] = Qp_ref＋ｒ× ΣE[i-1] …(13)
なお、Qp_refは、フレームの先頭では初期量子化パラメータQp_iniであり、それ以外の領域では、直前フレームの最終ブロックラインのＱｐである。これは、ΣＥ［ｉ－１］はＱｐの連続性を確保するために行う処理であり、フレームの先頭で初期化する。また、制御感度“ｒ”は、大きいほど急峻にＱｐを変動させる一方、符号量の制御性が向上するパラメータである。

Test Model5を利用することで、目標符号量に対して発生符号量が大きければ量子化パラメータを大きく、小さければ量子化パラメータを小さく設定し、符号量を制御することが可能である。

量子化制御部616は、式(13)を用いて決定した着目ブロックラインの量子化パラメータＱｐ［ｉ］を、各サブバンドで実際に量子化へ利用するサブバンドＱｐ（＝Ｑｐ[pl][sb])に更に変換し、量子化部605に通知する。なお、pl,sbはそれぞれ、該当プレーン、該当サブバンドを示す。量子化制御部616は、式(13)で決定した着目ブロックラインの量子化パラメータＱｐ［ｉ］を、式(14)に示すように、予め設定したプレーンやサブバンド毎に有するマトリクスmtxに適用することで、サブバンド毎のＱｐを算出する。
Qp[pl][sb] = Qp[i]×mtx[pl][sb] …(14)
一般的に、高域のサブバンドほどＱｐを大きく、低域のサブバンドほどＱｐを小さく設定し符号量制御を行うことで、人間の視覚特性上視認しづらい、画像データの高域成分ほど発生符号量を圧縮し、符号化効率を向上させる。そのため、マトリクスは、高域サブバンドほどQpが大きく、低域サブバンドほどQpが小さくなるように設定する。

＜目標符号量算出＞
＜処理フロー＞
目標符号量算出部615は、フレームの先頭のＱｐを決定する場合に駆動され、１フレームの目標符号量を算出する。各フレームの目標符号量の算出方法として、設定されたビットレートから１フレーム当たりの目標符号量を算出したものと、前フレームにおける目標符号量から発生符号量を引いた差分値の和を各フレームの目標符号量とする。

図１０は、目標符号量算出部615の処理手順を示すフローチャートである。以下、同図を参照して、目標符号量算出部615によるブロックライン毎の目標符号量の算出方法について説明する。

S1001にて、目標符号量算出部615は、符号量残量を算出する。符号量残量とは、着目フレームの目標符号量から符号化済みブロックラインの発生符号量の総和を減じた値である。

S1002にて、目標符号量算出部615は、符号量残量が0以下であれば、符号量残量を0にクリップして以降の処理を実施する。この処理は、目標符号量が負になることを避けるために実施する。

S1003にて、目標符号量算出部615は、ブロックライン毎の目標符号量を算出する。ブロックライン毎の目標符号量は、符号量残量/未符号化ブロックライン数により算出する。 以上によりブロックライン毎の目標符号量が決定する。

次に、予め設定した閾値に対して符号量が超過するプレーンが一つでも存在する場合の符号量制御部612の制御方法について説明する。

この場合の符号量制御部612の制御方法は、閾値を超過したプレーンに対する符号化バッファの符号量をこれ以上増加させないようにするため、フレーム単位の符号量制御ではなく、各プレーンで独立して符号量制御する。

＜制御単位＞
制御単位に関しては、前述したブロックライン単位で行う。発生符号量保持部613は、プレーン毎にエントロピー符号化部606から通知される符号化データである発生符号量を保持する。目標符号量算出部615は、先頭ブロックラインのQpを制御するタイミングと判断した場合に各プレーンの目標符号量を算出する。その際の各プレーンにおける目標符号量算出方法の詳細は後述する。差分算出部614は、各プレーンのブロックライン毎の発生符号量と各プレーンのブロックライン毎の目標符号量との差分を算出し、差分の積算値である積算差分量を更に算出する。また、各プレーンの先頭ブロックラインのQpを制御するタイミングで、積算差分量は０に初期化する。量子化制御部616は、差分算出部614から通知される積算差分量に基づき、Qpを算出する（詳細後述）。以上により符号量制御する。

＜量子化値算出＞
量子化制御部616は、各プレーンのブロックライン毎に差分算出部614で算出した積算差分量ΣＥ［ｉ－１］と、各プレーンの基準量子化パラメータＱ_Yini、Ｑ_Uini、Ｑ_Vini、Ｑ_GHiniと、各プレーンの制御感度ｒ_Y、ｒ_U、ｒ_V、ｒ_GHを用いて、プレーン毎の着目ブロックラインの量子化パラメータＱ_Y ［ｉ］、Ｑ_U［ｉ］、Ｑ_V［ｉ］、Ｑ_GH［ｉ］を以下のように算出する。
Q_Y[i] =Q_Yini + r_Y×ΣE[i-1] …（15）
Q_U[i] =Q_Uini + r_U×ΣE[i-1] …（16）
Q_V[i] =Q_Vini + r_V×ΣE[i-1] …（17）
Q_GH[i] =Q_GHini + r_GH×ΣE[i-1] …（18）
ただし、UプレーンとVプレーンの量子化パラメータは色のバランスを鑑み、Ｑ_U［ｉ］とＱ_V［ｉ］との大小比較を行い、大きい方の量子化パラメータを共通の量子化パラメータとして使用する。

量子化制御部616は、式(15)から(18)に従って決定した各プレーンの着目ブロックラインの量子化パラメータＱｐを、各サブバンドで実際に量子化へ利用するサブバンドのパラメータＱｐ｛Ｑｐ[Y][sb]、Ｑｐ[U][sb]、Ｑｐ[V][sb]、Ｑｐ[GH][sb])に更に変換し、量子化部605に通知する。なお、ここで“ｓｂ”は該当サブバンドを示す。量子化制御部616は、式(15)~(18)で決定したブロックラインの量子化パラメータを、各プレーンで予め設定したサブバンド毎に有するマトリクスmtxを用いて、式(19)～(22)に適用して、サブバンドの量子化パラメータQpを算出する。
Qp[Y][sb] = Q_Y[i] ×mtx[sb] …(19)
Qp[U][sb] = Q_U[i] ×mtx[sb] …(20)
Qp[V][sb] = Q_V[i] ×mtx[sb] …(21)
Qp[GH][sb] = Q_GH[i] ×mtx[sb] …(22)

＜目標符号量算出＞
＜処理フロー＞
目標符号量算出部615は、フレームの先頭のQpを決定する場合に駆動され、各プレーンの目標符号量を算出する。ここで、プレーン毎の目標符号量の算出方法として、例えば、図８（ａ）で示したＹプレーンの符号量が予め設定していた閾値(TH(Y))を超過した場合に関する各プレーンの目標符号量算出について説明する。

ここで、着目フレームのＹプレーンの発生符号量をＹ(S_n)、Uプレーンの発生符号量をＵ(S_n)、Ｖプレーンの発生符号量をＶ(S_n)、ＧＨプレーンの発生符号量をＧＨ(S_n)とし、着目フレームの目標符号量をT_nとする。このとき、以下の関係が成り立つ。
T_n=Y(T_n)+V(T_n)+U(T_n)+GH(T_n) …(23)

また、上記着目フレームに対し前フレームにおけるＹプレーンの発生符号量をＹ(S_n-1)、同Ｕプレーンの発生符号量をＵ(S_n-1)、同Ｖプレーンの発生符号量をＶ(S_n-1)、同ＧＨプレーンの発生符号量をＧＨ(S_n-1)とし、前フレームの目標符号量をＴ_n-1とする。

まず、着目フレームにおけるＹプレーンの目標符号量Ｙ(Ｔ_n)は、これ以上のYプレーンの符号化バッファを増加さないで、且つ、その中でも最大限の符号量が割り当てられるよう式(12)で示すプレーン毎の符号化バッファ比率を鑑みて以下のように設定する。
Y(T_n)=T_n×1.2/(1.2+1+1+1) …(24)

同様にして、Ｙプレーン以外のプレーンに対する目標符号量の設定についても式(12)を用いて設定することが可能であるが、符号化バッファ比率で符号量を割り当てるよりもそれまでフレーム単位で符号量制御していたときの符号量を踏襲した方が画質的に安定をする。そのため、Ｙプレーン以外では、着目フレームに対し前フレームの符号量を鑑みた目標符号量の設定を行うこととする。

ここで、上記着目フレームに対し前フレームのＹプレーンの発生符号量Y(S_n-1)と、Ｙプレーンに符号化バッファ比率通りに割り当られた場合の符号量との差分をＹプレーンの余剰符号量ΔＹ_nと定義すると、ΔＹ_nは以下のように定義できる。
ΔY_n=Y(S_n-1)-T_n-1×1.2/(1.2+1+1+1) …(25)

Ｙプレーンの余剰符号量ΔＹ_nを着目フレームにおけるＹプレーン以外のプレーンであるＵプレーン、Ｖプレーン及びＧＨプレーンの目標符号量に割り当てるように目標符号量を設定する。余剰符号量分の符号量を割り当てる優先順位としては、Ｙプレーン＞Ｕプレーン＝Ｖプレーン＞GHプレーンの順で割り当てる。例えば、通常であればY:U:V:GH=1:1:1:1で割り当てるところを、Y:U:V:GH=3:2:2:1のように余剰符号量分の割り当て比率を変更する。ただし、プレーン毎の割り当て比率はこれに限るものではない。ここでは、Ｙプレーン以外のプレーンが対象となるため、本実施形態ではＹプレーンの余剰符号量ΔＹ_nをU:V:GH=2:2:1の関係で符号量の割り当て比率を変更する。

以上を踏まえ、着目フレームにおけるＵプレーンの目標符号量Ｕ(Ｔ_n)は、Ｕ(S_n-1)、ΔＹ_n、Ｔ_n、Ｔ_n-1に基づき以下の式(26)のようになる。このとき、着目フレーム目標符号量Ｔ_nと前フレームの目標符号量Ｔ_n-1は、符号量制御を行っているため必ずしも同じとは限らない。このため、着目フレームにスケーリングを行って以下のように算出する。

また、着目フレームにおけるＶプレーンの目標符号量Ｖ(Ｔ_n)は、Ｖ(S_n-1)、ΔＹ_n、Ｔ_n、Ｔ_n-1に基づき以下の式(27)のように算出される。このとき、Ｕプレーンと同様にスケーリングが行われる。

さらに、着目フレームにおけるＧＨプレーンの目標符号量ＧＨ(Ｔ_n)は、ＧＨ(S_n-1)、ΔＹ_n、Ｔ_n、Ｔ_n-1に基づき、以下の式(28)のように算出される。このとき、ＵプレーンとＶプレーンと同様にスケーリングが行われる。

なお、ここでは、Ｙプレーンの符号量が予め設定した閾値に対して超過する場合を説明したが、他のプレーンが超過する場合や複数のプレーンにおいて超過する場合も同様の考え方で目標符号量を決定する。

図１１は目標符号量算出部615の処理手順を示すフローチャートである。以下、同図を参照して、目標符号量算出部615のブロックライン毎の目標符号量の算出方法について説明する。

S1101にて、目標符号量算出部615は、符号量残量を算出する。符号量残量とは、着目フレームのプレーン毎の目標符号量からプレーン毎の符号化済みブロックラインの発生符号量の総和を減じた値である。

S1102にて、目標符号量算出部615は、符号量残量が０以下であれば、符号量残量を０にクリップして以降の処理を実施する。この処理は、目標符号量が負になることを避けるために実施する。

S1103にて、目標符号量算出部615は、ブロックライン毎のプレーン毎の目標符号量を算出する。各プレーンのブロックライン毎の目標符号量は、各プレーンの符号量残量/未符号化ブロックライン数により算出する。以上によりブロックライン毎の目標符号量が決定する。

続いて、本第２の実施形態である撮像装置における画像符号化に係る動作の詳細を図１２に示すフローチャートを基づき説明する。なお、ここでの動作として、符号化したＲＡＷ画像データのバッファメモリ609上への格納と、すでに符号化バッファに格納されている符号化データの記録媒体611への記録が同時に実行されているものとする。

まず、S1201にて、ＣＰＵ601は、ユーザインタフェース650により設定された、撮影に係る圧縮率のモードを判定する。続いて、S1202にて、ＣＰＵ601は、判定した圧縮率の設定に基づき、プレーン毎の符号化バッファの割り当てを決定する。次に、S1203にて、ＣＰＵ601は、プレーン毎に割り当てられた符号化バッファサイズを各サブバンドの面積比に基づいて割り当て、エントロピー符号化部606の出力先として設定する。

次に、S1204にて、ＣＰＵ601は、撮像部602の駆動を開始する。そしてＣＰＵ601は、プレーン変換部603、ウェーブレット変換部604、量子化部605、エントロピー符号化部606の駆動も開始することで、複数のサブバンド毎の符号化データを生成させ、バッファメモリ308に書き込みを行わせる。

次に、S1205にて、ＣＰＵ601は、１フレームの符号化を完了させる。そして、S1206にて、ＣＰＵ601は、ユーザから記録の停止指示を受けたか否か、受けていれば最終フレームのバッファメモリ内の符号化データの記録媒体611への記録が完了しているか否かを判定する。最終フレームの記録が完了している場合、ＣＰＵ601は本処理を終了する。また、記録が継続している場合、ＣＰＵ601は処理をS1207に進める。

S1207にて、ＣＰＵ601は、バッファ使用率算出部607に各プレーンの符号化バッファ使用率を算出させる。次に、S1208には、ＣＰＵ601は、各プレーンにおいて、符号量が閾値を超過して否かを判定する。符号化バッファ使用率が予め設定した閾値を超過している場合、ＣＰＵ601は、処理をS1209に進める。このS1209にて、ＣＰＵ601は、符号量が閾値を超過しているプレーンの符号化バッファをこれ以上増やさないように符号量制御するため、プレーン単位で目標符号量を定め、プレーン単位に符号量制御を行わせる。このとき、符号量が超過しているプレーンの目標符号量を減らし、それ以外のプレーンにその分の符号量を割り当てる。減じた分の符号量を割り当てる優先順位としては、Ｙプレーン＞Ｕプレーン＝Ｖプレーン＞ＧＨプレーンとする。

また、S1208にて、ＣＰＵ601が、全てのプレーンの符号量が閾値よりも少ないと判定した場合、処理をS1210に進める。このS1210にて、ＣＰＵ601は、フレーム単位で目標符号量を定めて、フレーム単位に符号量制御する。

上記のごとく、本第２の実施形態の処理を行うことで、プレーン間で符号量に偏りが生じ符号量が符号化バッファを超過しそうな場合に関しても符号化バッファを増やさずに回路規模を抑えて符号化することが可能となる。

［第３の実施形態］
続いて、第３の実施形態を説明する。上記第２の実施形態では、各プレーンの符号化バッファ使用率が予め設定した閾値に対して、符号量が超過する場合に符号量制御を変更することについて説明した。本第３の実施形態では、式(12)で示すように予め設定したバッファ比率に対して、プレーン毎の符号化比率が所定値以上超過する場合について説明する。装置構成は第２の実施形態の図６と同じとし、その説明は省略する。
本第３の実施形態である画像符号化に係る処理内容を図１３に示すフローチャートを基づき説明する。なお、ここでの動作として、符号化したＲＡＷ画像データのバッファメモリ609上への格納と、すでに符号化バッファに格納されている符号化したRAWデータの記録媒体611への記録が同時に実行されているものとする。

まず、S1301にて、ＣＰＵ601は、ユーザインタフェース650により設定された、撮影に係る圧縮率のモードを判定する。続いて、S1302にて、ＣＰＵ601は、判定した圧縮率の設定に基づき、プレーン毎の符号化バッファの割り当てを決定する。次に、S1303にて、ＣＰＵ601は、プレーン毎に割り当てられた符号化バッファサイズを各サブバンドの面積比に基づいて割り当て、エントロピー符号化部606の出力先として設定する。なお、サブバンド間のバッファサイズは、その面積比としているので固定比でもある。

次に、S1304にて、ＣＰＵ601は、撮像部602の駆動を開始する。そしてＣＰＵ601は、プレーン変換部603、ウェーブレット変換部604、量子化部605、エントロピー符号化部606の駆動も開始することで、複数のサブバンド毎の符号化データを生成させ、バッファメモリ308に書き込みを行わせる。

次に、S1305にて、ＣＰＵ601は、１フレームの符号化を完了させる。そして、S1306にて、ＣＰＵ601は、ユーザから記録の停止指示を受けたか否か、受けていれば最終フレームのバッファメモリ内の符号化データの記録媒体611への記録が完了しているか否かを判定する。最終フレームの記録が完了している場合、ＣＰＵ601は本処理を終了する。また、記録が継続している場合、ＣＰＵ601は処理をS1307に進める。

S1307にて、ＣＰＵ601は、バッファ使用率算出部607で各プレーンの符号化バッファ使用率を算出させる。

次にS1308にて、ＣＰＵ601は、発生符号量保持部613から目標符号量算出部615に入力された各プレーンの発生符号量より各プレーンの符号量比率を算出する。また、目標符号量算出部615に予め記憶された着目フレームにおける各プレーンの目標符号量比率と上記発生符号量による各プレーンの符号量比率を比較し、１プレーンでも所定値以上超過しているか否かを判定する。なお、ここでの所定値は任意とする。また、所定値以上超過した場合に次のフレームから、フレーム単位の符号量制御からプレーン毎の符号量制御に変更するのではなく、ｎ回連続して超過した場合に変更するものでも良い。なお、ｎは任意の設定とする。

バッファ使用率におけるプレーン毎の符号化比率が所定値以上ある場合は、ＣＰＵ601は処理をS1309に進める。このS1309にて、ＣＰＵ601は、予め設定したバッファ比率に対して大きく符号量が発生しないように第２の実施形態のときと同様に、プレーン単位で目標符号量を定め、プレーン単位の符号量制御を行う。

一方、全てのプレーンのバッファ使用率の比率が所定値未満であると判定した場合、ＣＰＵ601は処理をS1310に進める。このS1310にて、ＣＰＵ601は、第２の実施形態と同様に、フレーム単位で目標符号量を定めて、フレーム単位の符号量制御を行う。

上記第３の実施形態の画像符号化手順により、符号化バッファ比率に対して発生符号量比率に偏りが生じる場合に関しても符号化バッファを増やさずに回路規模を抑えて符号化することが可能となる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

300…撮像装置、301…ＣＰＵ、302…撮像部、303…プレーン変換部、304…ウェーブレット変換部、305…量子化部、306…エントロピー符号化部、307…メモリＩ／Ｆ、308…バッファメモリ、309…記録処理部、310…記録媒体

Claims (9)

1. ＲＡＷ画像データを符号化する画像符号化装置であって、
   符号化データを一時的に記憶するためのバッファメモリと、
   ＲＡＷ画像データを輝度成分で構成される輝度プレーンと、輝度以外の複数の種類の色差成分のプレーンに変換するプレーン変換手段と、
   前記プレーン変換手段で得られた各プレーンに対してウェーブレット変換するウェーブレット変換手段と、
   前記ウェーブレット変換手段で生成された各サブバンドの係数を量子化、符号化し、得られた符号化データを前記バッファメモリに格納する符号化手段と、
   前記バッファメモリに格納された符号化データを記録媒体に記録する記録手段と、
   前記バッファメモリに確保するプレーン毎のバッファサイズの比率を、前記ＲＡＷ画像データの圧縮率に応じて制御する制御手段と
   を有し、
   前記制御手段は、前記バッファメモリにおける、各プレーンの使用率を算出する使用率算出手段を含み、
   算出して得た着目フレームの前フレームにおける各プレーンのバッファ使用率に応じて、着目フレームの符号量制御する単位を変更することを特徴とする画像符号化装置。
2. 前記制御手段は、前記ＲＡＷ画像データの圧縮率が高いほど、前記複数の種類の色差プレーンよりも前記輝度プレーンのバッファサイズの比率を高くすることを特徴とする請求項１に記載の画像符号化装置。
3. 前記制御手段は、前記ＲＡＷ画像データの圧縮率が第１の圧縮率よりも圧縮率が高い第２の圧縮率の場合は、前記第１の圧縮率のときよりも前記複数の種類の色差プレーンに対する前記輝度プレーンのバッファサイズの比率を高くすることを特徴とする請求項１に記載の画像符号化装置。
4. ユーザの操作に応じて前記ＲＡＷ画像データの圧縮率を設定する設定手段を更に有することを特徴とする請求項１乃至３のいずれか１項に記載の画像符号化装置。
5. 前記制御手段は、
   前フレームにおける全てのプレーンにおいてバッファの使用率が所定値未満の場合、前記着目フレームの目標符号量を定めてフレーム単位に符号量制御を行い、
   前フレームにおける一つ以上のプレーンのバッファの使用率が所定値以上になった場合、プレーン単位の目標符号量を定めてプレーン単位に符号量制御を行う
   ことを特徴とする請求項１に記載の画像符号化装置。
6. 前記制御手段は、フレームレートに応じた圧縮率に従って、各プレーンに対応するバッファサイズの比率を制御することを特徴とする請求項１乃至５のいずれか１項に記載の画像符号化装置。
7. 前記制御手段は、１つのプレーンから生成される各サブバンドのバッファサイズの比率を固定とすることを特徴とする請求項１乃至６のいずれか１項に記載の画像符号化装置。
8. 符号化データを一時的に記憶するためのバッファメモリを有し、ＲＡＷ画像データを符号化する画像符号化装置の制御方法であって、
   ＲＡＷ画像データを輝度成分で構成される輝度プレーンと、輝度以外の複数の種類の色差成分のプレーンに変換するプレーン変換工程と、
   前記プレーン変換工程で得られた各プレーンに対してウェーブレット変換するウェーブレット変換工程と、
   前記ウェーブレット変換工程で生成された各サブバンドの係数を量子化、符号化し、得られた符号化データを前記バッファメモリに格納する符号化工程と、
   前記バッファメモリに格納された符号化データを記録媒体に記録する記録工程と、
   前記バッファメモリに確保するプレーン毎のバッファサイズの比率を、前記ＲＡＷ画像データの圧縮率に応じて制御する制御工程と
   を有し、
   前記制御工程は、前記バッファメモリにおける、各プレーンの使用率を算出する使用率算出工程を含み、
   算出して得た着目フレームの前フレームにおける各プレーンのバッファ使用率に応じて、着目フレームの符号量制御する単位を変更することを特徴とする画像符号化装置の制御方法。
9. コンピュータが読み込み実行することで、前記コンピュータに、請求項８に記載の方法の各工程を実行させるためのプログラム。

Images