JP7572811B2 - 画像符号化装置及びその制御方法及びプログラム - Google Patents

Description

本発明は、画像の符号化技術に関するものである。

デジカメに代表される撮像装置は、撮像センサによって撮像された生の画像情報（ＲＡＷ画像）をデベイヤ処理（デモザイク処理）し、輝度と色差から成る信号に変換し、各信号についてノイズ除去、光学的な歪補正、画像の適正化などの所謂現像処理を行う。そして、撮像装置は、現像処理で得た輝度信号及び色差信号を圧縮符号化して、メモリカード等の記録媒体に画像ファイルとして記録する。

一方で、ＲＡＷ画像を記録できる撮像装置も存在する。ＲＡＷ画像は、記録に必要なデータ量が膨大になるものの、撮像センサで得た直後のオリジナル画像に一番近い画質を有する。それ故、ＲＡＷ画像は、現像処理等での演算ロスに起因する劣化が無い画像であり、高度は編集ができるという利点がある。したがって、上級者は、好んでＲＡＷ画像の記録を採用している。

撮像センサは、赤（Ｒ），緑（Ｇ），青（Ｂ）の三原色の画素が周期的に配置されている。特に、２×２画素につき赤１画素、青１画素、緑２画素を１セットにして、このセットが規則的に並んだ配列は一般にベイヤ配列と呼ばれ、撮像装置はこのベイヤ配列の撮像センサを採用している。

特許文献１では、モアレや偽色の発生を抑制し、解像度の低下を防止するために、４種類目の画素として白（Ｗ）を用いる構成が記載されている。

特開２０１６－２１３６５０号公報

しかしながら、上記特許文献１の技術で得たＲＡＷ画像データは、独立した４種類の画素で構成される。つまり、ベイヤ配列のように、緑２画素のように相関性が高い画素データが無い。それ故、圧縮符号化効率が悪くなり、符号量が増大してしまうといった問題がある。

本発明は上記の問題点に鑑み、三原色に加えて第４の色を持つＲＡＷ画像の符号化効率を向上させる技術を提供しようとするものである。

この課題を解決するため、例えば本発明の画像符号化装置は以下の構成を備える。すなわち、
三原色のフィルタに加え、第４の色を検出するためのフィルタが周期的に並んだ撮像センサで得られたデータを符号化する画像符号化装置であって、
前記三原色を表す３つの色のうちの少なくとも２つの色のデータを用いて前記第４の色に近似するデータを生成し、当該生成したデータと前記第４の色のデータとの差分を表す差分データを生成する生成手段と、
前記三原色を表す３つの色のデータ、及び、前記差分データを符号化する符号化手段と、
前記第４の色に近似するデータのゲインを調整する調整手段と、
を有し、
前記生成手段は、前記調整手段で調整後の第４の色に近似するデータと、前記第４の色のデータとの差分から、前記差分データを生成する。

本発明によれば、三原色に加えて第４の色を持つＲＡＷ画像の符号化効率を向上させることができる。

実施形態が適用する撮像装置のブロック構成図。 画素配列の例を示す図。 ＲＡＷ圧縮符号化部の構成を示すブロック構成図。 ウェーブレット変換(DWT)の分解レベル２のサブバンド形成図。 画素配列を示す図。 ＲＡＷ圧縮復号のブロック図である。 他の画素配列の例を示す図。 第２の実施形態における画素配列を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
図１は、第１の実施形態における撮像装置１００の構成例を示すブロック図である。本第１の実施形態では、画像符号化装置が撮像装置に実装される例を説明するが、符号化対象の画像データは、記憶装置やネットワークを介して受信しても良く、特に撮像装置に限定されるものではないことを付言する。

撮像装置１００は、撮像光学部１０１、撮像センサ部１０２、センサ信号処理部１０３、ＲＡＷ圧縮符号化部１０４、バッファ１０５、記録データ制御部１０６、出力端子１０７、及び、装置全体の制御を司る制御部１５０を有する。制御部１５０は、ＣＰＵ、ＣＰＵが実行するプログラムを格納したＲＯＭ、ワークエリアとして使用するＲＡＭを含む。

図１において、撮像光学部１０１を介して光学像は、撮像センサ部１０２上に結像する。制御部１５０は、不図示の操作部からの撮影動作の開始の指示入力があると、撮像センサ部１０２を制御する。撮像センサ部１０２は、その表面に配置された各種のカラーフィルタを透過した光の強度を検出し、電気信号を得る。

図２は、実施形態の撮像センサ部１０２に配置されるカラーフィルタの配列を示している。それ故、同図は符号化対象の画像データの画素配列も示している。図２に示すように、白（Ｗ），赤（Ｒ），緑（Ｇ），青（Ｂ）が画素毎にモザイク状に配置されていて、２×２の４画素は白１画素、赤１画素、青１画素、緑１画素で構成される。そして、この２×２の４画素を１セットとし、このセットが規則的に並べられた構造となっている。ＲＧＢ各フィルタは、それぞれの波長域を透過するものであるが、Ｗフィルタは可視光全域を透過することになる。

撮像センサ部１０２によって変換された電気信号は、センサ信号処理部１０３によって画素の修復処理が施される。修復処理には、撮像センサ部１０２における欠落画素や信頼性の低い画素の値に対し、周辺画素値を用いて修復対象の画素を補間したり、所定のオフセット値を減算したりする処理が含まれる。本実施形態では、センサ信号処理部１０３から出力される画像情報を、生（未現像）の画像を意味するＲＡＷ画像もしくはＲＡＷ画像データと称す。

ＲＡＷ画像は、ＲＡＷ圧縮符号化部１０４に供給される。ＲＡＷ圧縮符号化部１０４は、センサ信号処理部１０３から入力したＲＡＷ画像を、ウェーブレット変換により周波数帯である複数のサブバンドデータを生成する。そして、ＲＡＷ圧縮符号化部１０４は、し生成された各サブバンドデータに含まれる係数データを量子化し、サブバンド単位に符号化することで、符号化データを生成する。そして、ＲＡＷ圧縮符号化部１０４は、生成された各サブバンドの符号化データをバッファ１０５に格納する。このＲＡＷ圧縮符号化部１０４の符号化処理は、本実施形態の重要な個所であるため、その詳細は後述する。

記録データ制御部１０６は、バッファ１０５に格納されたサブバンド単位の符号化データを入力し、所定のヘッダを付加し、記録媒体や外部記憶装置等に記録するため出力端子１０７に出力する。

次に、実施形態におけるＲＡＷ圧縮符号化部１０４の処理の詳細を説明する。

図３はＲＡＷ圧縮符号化部１０４の構成を示すブロック図である。図３を用いてＲＡＷ圧縮符号化部１０４の処理を説明する。

プレーン分割部３０２は、入力端子３０１を介してＲＡＷ画像データを入力する。プレーン分割部３０２は、ＲＡＷ画像データから、それぞれが単一成分の画素データで構成される４つのプレーンデータを生成する。実施形態でのＲＡＷ画像データは、Ｗ（白），Ｒ（赤），Ｇ（緑），Ｂ（青）の４つの成分画素で構成されているので、プレーン分割部３０２は、ＲＡＷ画像データから、Ｗ，Ｒ，Ｇ，Ｂの４つプレーンデータを生成することになる。実施形態では図２の配列を想定しているので、各プレーンデータは同じ画素数であり、ＲＡＷ画像に対して水平、垂直方向の画素数が１／２となる。プレーン分割部３０２は、生成した各プレーンデータをプレーン変換部３０３に供給する。

プレーン変換部３０３では、プレーンデータＲ，Ｇ，Ｂを用い、次式に従って輝度成分相当のプレーンデータＹを算出する。
Ｙ ＝ pr×Ｒ ＋ pg×Ｇ ＋ pb×Ｂ …（１）
ここで、ｐｒ，ｐｇ，ｐｂのパラメータは実数の重み係数を表し、次式（２）を満たす。
pr + pg + pb ＝１ …（２）
なお、式（２）のパラメータｐｒ，ｐｇ，ｐｂは、例えばＩＴＵ－Ｒ ＢＴ．６０１に規定されるものを採用できる。

式（１）で算出した輝度成分相当のプレーンデータＹは、プレーンデータＷと高い相関を持つ。それ故、プレーンデータＹは、プレーンデータＷに近似するプレーンデータであると言える。

輝度成分相当Ｙと白（Ｗ）との相関を利用してデータ削減を行うために、ゲイン調整を行う必要がある。そこで、
Ｙｇ ＝ Ｙ × ygain …（３）
上記計算によるゲイン調整を行う。
ただし、ygainは、あらかじめ設定された任意の整数を用いる。また、ゲイン値は連写等でフィードバック可能である場合、画面全体のＷ平均値（Ｗavg）及びＹ平均値(Ｙavg)を用いて、
ygain ＝ Ｗavg ／Ｙavg
としてもよい。

プレーン変換部３０３は、次式（４）に従って、上記ゲイン調整されたＹｇを用いて、白・輝度の差分プレーンＷＨを求める。
ＷＨ ＝ Ｗ － Ｙｇ …（４）
先に説明したように、プレーンデータＷとプレーンデータＹｇとは、高い相関関係を有する。よって、差分プレーンデータＷＨを構成する画素の値（正確には画素差分値）は、正負の符号を有するものの、ほとんどがゼロに近い値となり、高い圧縮率が期待できる。

プレーン変換部３０３は、上記のようにして算出したプレーンデータＷＨ、及び、プレーンデータＲ，Ｂ，Ｇをウェーブレット変換部３０４に供給する。供給する順序は特に問わないが、プレーンデータＷＨは、プレーンデータＲ，Ｇ，Ｂを利用して生成される。それ故で、ウェーブレット変換部３０４の待ち時間を最小限にするため、プレーンデータＷＨを供給するのは最後とすることが望ましい。

ウェーブレット変換部３０４は、入力したプレーンデータを周波数領域信号へ変換することで変換係数を生成する。

図４は、ウェーブレット変換(DWT：Discrete Wavelet Transform)の垂直、及び、水平フィルタリングを２回行った場合の、分解レベル２の場合のサブバンド形成図である。図示における“Lv”は、その後の数字を含めて分解レベルを示し、“Ｌ”は低域、“Ｈ”は高域を表す。ウェーブレット変換は、水平、垂直の２方向のフィルタリングで１セットとなるので、サブバンドは、Ｌ，Ｈの２文字で表現される。

最初のウェーブレット変換（分解レベル１の変換）により、サブバンドＬＬ、ＨＬ、ＬＨ、ＨＨが得られる。そして、２回目以上（分解レベル２以降）のウェーブレット変換を行う場合は、直前の変換で得たサブバンドＬＬが対象となる。つまり、ウェーブレット変換は、直前の変換で得たサブバンドＬＬを再帰的に実行し得る。そのため、ウェーブレット変換の回数によらず、サブバンドＬＬは１つとなる。また、ウェーブレット変換を行っていくと、図４のように周波数分解の粒度が細かくなっていく。ウェーブレット変換の実行回数に特に制限はないが、本実施形態におけるウェーブレット変換部３０４によるウェーブレット変換は、図４に示すように２回とする。

ウェーブレット変換部３０４は、プレーンデータＷＨ、Ｒ，Ｂ，Ｇそれぞれに対してウェーブレット変換を２回行う。そして、ウェーブレット変換部３０４は、プレーンデータＷＨ，Ｒ，Ｇ，Ｂそれぞれの分解レベル２のサブバンドを生成し、量子化部３０５に供給する。

量子化部３０５は、予め設定されたサブバンド毎の量子化パラメータを用いて、各プレーンデータのサブバンドに含まれる変換係数を量子化し、その量子化後の変換係数をエントロピー符号化部３０６に供給する。エントロピー符号化部３０６は、量子化部３０５より供給された量子化後の変換係数を、エントロピー符号化し、出力端子３０７を介してバッファ１０５に出力する。エントロピー符号化の種類は特に問わないが、例えばゴロム符号化、ハフマン符号化等で良い。

次に復号側の説明を行う。図６は復号装置のブロック図である。この図６によって復号処理の説明を行う。

入力端子６０１より入力された符号化データは、エントロピー復号部６０２に供給される。エントロピー復号部６０２は、エントロピー復号処理を行い、その符号処理で得たデータ（量子化後の変換係数に相当する）を、逆量子化部６０３に供給する。逆量子化部６０３は、エントロピー復号部６０２から入力したデータについて、サブバンド毎に設定された量子化パラメータに従って逆量子化し、逆量子化後のデータ（ウェーブレット変換係数に相当）を、ウェーブレット逆変換部６０４に供給する。ウェーブレット逆変換部６０４は、逆量子化部６０３より入力したデータに対して、逆ウェーブレット変換処理を行う。この結果、ウェーブレット逆変換部６０４からは、プレーンデータＷＨ’，Ｒ’，Ｇ’，Ｂ’が復号プレーンデータとして出力されることになる。プレーン逆変換部６０５は、ウェーブレット逆変換部６０４からのプレーンデータＷＨ’，Ｒ’，Ｇ’，Ｂ’を入力する。そして、プレーン逆変換部６０５は、プレーンデータＲ’，Ｇ’，Ｂ’から、次式（５）に従って輝度Ｙ’を表すプレーンデータＹ’を算出する。
Ｙ' ＝ pr×Ｒ' ＋ pg×Ｇ' ＋ pb×Ｂ' …（５）
次に、プレーン逆変換部６０５は、ゲイン調整後のプレーンデータＹｇ’を算出する。
Ｙｇ’ ＝ Ｙ’ × ygain
ただし、“gain”は、式３で用いた値を使う。

そして、プレーン逆変換部６０５は、プレーンデータＹｇ’と復号で得たプレーンデータＷＨ’からプレーンデータＷ’を、次式（６）に従って算出する。
Ｗ’＝ ＷＨ’ + Ｙｇ’ …（６）
プレーン逆変換部６０５は、上記のようにして算出したプレーンデータＷ’と、復号処理で得たプレーンデータＲ’，Ｇ’，Ｂ’とをプレーン合成部６０６に供給する。

プレーン合成部６０６は、プレーンデータＷ’，Ｒ’，Ｇ’、Ｂ’を合成し、１枚のＲＡＷ画像データを生成する。

以上のようにして、プレーンデータＷそのものではなく、情報量を落としたプレーンデータＷＨを生成してから、符号化することでＲＡＷ画像の符号化効率を向上させ、符号量を更に抑制することが可能になる。

図５は、図２の配列と同様の画素配列にアドレスを振ったものである。

式（１）では、簡易的な計算式を示した。プレーンデータ“Ｐ”（Ｐは、Ｒ，Ｇ，Ｂ、Ｗ等）の水平方向の座標ｉ、垂直方向の座標をｊとしたとき、プレーンデータＰの座標（ｉ，ｊ）の画素値をＰ[i][j]と表すこととする。この場合、Ｗ[i][j]の情報削減するためのＹ[i][j]を、次式（６）で求めても良い。
Ｙ[i][j] ＝pr*(Ｒ[j][i-1]+Ｒ[j][i+1])/2 +
pg*(G[j-1][i-1]+ G[j-1][i+1]+ G[j+1][i-1]+ G[j+1][i+1])4 +
pb*(B[j-1][i]+B[j+1][i])/2 …（６）
また、式（２）を次式（２’）に変形し、式（１）、（２）、（３）をまとめて、
次式（１’）としても良い。
Yg ＝ pr×R ＋pg×G ＋pb×B …（１’）
更に、パラメータpr, pg, pbにはホワイトバランスゲインを掛けたものを用いてもよい。

なお、本実施形態の説明では図２の画素配列を例に説明したが、図７のような配列であっても、さらには記載しない他の配列であっても、三原色であるＲ、Ｇ、Ｂと、白Ｗとの組み合わせの配列であれば同様に適用できる。

［第２の実施形態］
第２の実施形態を説明する。第２の実施形態における装置構成は、第１の実施形態における図１と同じとする。

図８は、本第２の実施形態における撮像センサ部１０２に配置されるカラーフィルタの例であり、図２とは異なる配列となっている。図８では、黄（Ｙｅ）、赤（Ｒ）、緑（Ｇ）、青（Ｂ）が画素毎にモザイク状に配置されていて、２×２の４画素につき黄１画素、赤１画素、青１画素、緑１画素を１セットにして規則的に並べられた構造となっている。

上記図８の画素配列となっている場合の、プレーン変換部３０３の処理は次の通りである。

プレーン変換部３０３は、プレーンデータＲ，Ｇ、Ｂのうち、プレーンデータＲ，Ｇの混色である黄色成分に相当するプレーンデータＹｗを次式（７）に従い算出する。
Ｙｗ ＝ sr×Ｒ ＋sg×Ｇ …（７）
ただし、パラメータｓｒ、ｓｇの関係は次式（８）の通りである。
sr ＋ sg ＝ １ …（８）
ここで、一般的にはsr ＝ sgである。

式（７）より算出した黄色成分相当であるプレーンデータＹｗは、黄（Ｙｅ）に対して相関の高いデータである。

ただし、黄色成分相当のプレーンデータＹｗと黄（Ye）との相関を利用してデータ削減を行うために、ゲイン調整を行う必要がある。そこで、プレーン変換部３０３は、次式（９）に従ってゲイン調整後のプレーンデータＹｗｇを得る。
Ｙｗｇ ＝ Ｙｗ × yegain …（９）
ここで、yegainは、あらかじめ設定された任意の整数を用いる。

プレーン変換部３０３は、上記ゲイン調整されたプレーンデータＹｗｇを用いて、次式（１０）に従って差分を表すプレーンデータＹｅＨを得る。
ＹｅＨ＝ Ｙｅ － Ｙｗｇ …（１０）
上記のようにして、プレーンデータＹｅの情報を削減した、プレーンデータＹｅＨが生成される。

プレーン変換部３０３は、上記のようにして得たプレーンデータＹｅＨと、三原色のプレーンデータＲ，Ｇ，Ｂをウェーブレット変換部３０４に供給する。以降は、第１の実施形態と同様である。

以上のようにして、プレーンデータＹｅから情報量を落としたプレーンデータＹｅＨを生成し、符号化することにより、RAW画像の符号化効率を更に向上させ、符号量を抑制することが可能となる。

上記実施形態では、三原色以外の色として白、黄色の例を示したが、三原色のうち少なくとも２色以上で表現可能な混色であれば良い。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００…撮像装置、１０１…撮像光学部、１０２…撮像センサ部、１０３…センサ信号処理部、１０４…ＲＡＷ圧縮符号化部、１０５…バッファ、１０６…記録データ制御部、１０７…出力端子、１５０…制御部、３０２…プレーン分割部、３０３…プレーン変換部、３０４…ウェーブレット変換部、３０５…量子化部、３０６…エントロピー符号化部

Claims (9)

1. 三原色のフィルタに加え、第４の色を検出するためのフィルタが周期的に並んだ撮像センサで得られたデータを符号化する画像符号化装置であって、
   前記三原色を表す３つの色のうちの少なくとも２つの色のデータを用いて前記第４の色に近似するデータを生成し、当該生成したデータと前記第４の色のデータとの差分を表す差分データを生成する生成手段と、
   前記三原色を表す３つの色のデータ、及び、前記差分データを符号化する符号化手段と、
   前記第４の色に近似するデータのゲインを調整する調整手段と、
   を有し、
   前記生成手段は、前記調整手段で調整後の第４の色に近似するデータと、前記第４の色のデータとの差分から、前記差分データを生成することを特徴とする画像符号化装置。
2. 前記生成手段は、前記３つの色のデータを用いて前記第４の色に近似するデータを生成することを特徴とする請求項１に記載の画像符号化装置。
3. 前記調整手段は、前記第４の色に近似するデータの平均値と前記第４の色のデータの平均値の比に基づいてゲインを調整する
   ことを特徴とする請求項１に記載の画像符号化装置。
4. 前記撮像センサで得られたデータを、それぞれが単一成分の画素データで構成される複数のプレーンデータに分割する分割手段を有し、
   前記生成手段は、前記第４の色に近似するデータと前記第４の色のデータとの差分を表す差分データのプレーンデータを生成し、
   前記符号化手段は、三原色を表す３つの色のプレーンデータ、及び、前記差分データのプレーンデータを符号化する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像符号化装置。
5. 前記符号化手段は、
   プレーンデータから複数のサブバンドを生成するウェーブレット変換手段と、
   各サブバンドに含まれる係数データを量子化する量子化手段と、
   該量子化手段による量子化後の係数データをエントロピー符号化するエントロピー符号化手段と
   を含むことを特徴とする請求項４に記載の画像符号化装置。
6. 前記第４の色は、白、もしくは黄色であることを特徴とする請求項１乃至５のいずれか１項に記載の画像符号化装置。
7. 前記撮像センサを有することを特徴とする請求項１乃至６のいずれか１項に記載の画像符号化装置。
8. 三原色のフィルタに加え、第４の色を検出するためのフィルタが周期的に並んだ撮像センサで得られた画像データを符号化する画像符号化装置の制御方法であって、
   前記三原色を表す３つの色のうちの少なくとも２つの色のデータを用いて前記第４の色に近似するデータを生成し、当該生成したデータと前記第４の色のデータとの差分を表す差分データを生成する生成工程と、
   前記三原色を表す３つの色のデータ、及び、前記差分データを符号化する符号化工程と、
   前記第４の色に近似するデータのゲインを調整する調整工程と、
   を有し、
   前記生成工程では、前記調整工程で調整後の第４の色に近似するデータと、前記第４の色のデータとの差分から、前記差分データを生成することを特徴とする画像符号化装置の制御方法。
9. コンピュータが読み込み実行することで、前記コンピュータに、請求項８に記載の制御方法が有する各工程を実行させるためのプログラム。

Images