JP5968021B2 - 撮像装置及び撮像装置の制御方法 - Google Patents

Description

本発明は、ホワイトバランス補正機能を有する撮像装置及び撮像装置の制御方法に関するものである。

デジタルカメラで撮像された画像に対して白を白く見せるために信号レベルの調整を行うホワイトバランス処理がある。特許文献１では、ベイヤー配列（Ｒ、Ｇ、Ｂ）の撮像素子から得られた画像データにゲインを掛けてホワイトバランス調整を行う技術の開示がある。

特開２００４−２８２２０８号公報

しかしながら、ベイヤー配列の撮像素子からＧ画素斜め加算を行い、ＲＧＢ３板プレーンとして処理して出力する系に加え、Ｇ画素斜め加算を行わずベイヤー配列の４画素（Ｒ、Ｇｒ、Ｇｂ、Ｂ）でホワイトバランス調整や各種補正・高画質化処理を行い（以下、ベイヤー処理と呼ぶ）出力する系も存在するシステムにおけるホワイトバランス処理について、有効な方法を示しているものはなかった。

そこで本発明は、ＲＧＢ三板プレーンへのホワイトバランス処理と、ベイヤー配列へのホワイトバランス処理をどちらも適切に行う撮像装置及び撮像装置の制御方法を提供することを目的とする。

本発明の撮像装置は、かかる目的を達成するために、複数の色成分の画素と、前記複数の色成分よりも画素数の多い特定色の色成分の画素とを有する撮像素子を有する撮像手段と、前記撮像手段の出力信号のうち、前記特定色の画素を加算する画素加算手段と、前記撮像手段からの前記複数の色成分の画素の出力信号と、前記画素加算手段からの出力信号を用いてホワイトバランスのゲインを算出するゲイン算出手段と、前記ホワイトバランスのゲインを用いて前記撮像手段からの前記複数の色成分の画素の出力信号及び前記画素加算手段からの出力信号に対して、ホワイトバランスを調整する第１のホワイトバランス調整手段と、前記ホワイトバランスのゲインを用いて前記撮像手段からの前記複数の色成分の画素の出力信号及び前記撮像手段からの前記特定色の色成分の画素の出力信号に対して、ホワイトバランスを調整する第２のホワイトバランス調整手段と、を有し、記第２のホワイトバランス調整手段は、前記特定色の色成分の画素の出力信号を前記画素加算手段での画素の加算量に応じて増倍し、前記ホワイトバランスのゲインを掛けることを特徴とする。

また、本発明の撮像装置は、Ｒ、Ｇ、Ｂからなるベイヤー配列の撮像素子を有する撮像手段と、前記撮像手段からの出力信号のうち、Ｇの画素を水平の行毎にＧｒ、Ｇｂとし、隣り合う行の前記Ｇｒ、Ｇｂ画素を加算するＧ画素加算手段と、前記撮像手段からの出力信号のＲ、Ｂ画素と前記Ｇ画素加算手段からの出力信号を用いてホワイトバランスのゲインを算出するゲイン算出手段と、前記ホワイトバランスのゲインを用いて前記撮像手段の出力信号Ｒ、Ｇｒ、Ｇｂ、Ｂ画素のホワイトバランスを調整する第２のホワイトバランス調整手段と、を有し、前記撮像手段からの出力信号のＧｒとＧｂをそれぞれ２倍して前記ホワイトバランスのゲインを掛けることを特徴とする。

本発明によれば、ＲＧＢ三板プレーンへのホワイトバランス処理と、ベイヤー配列へのホワイトバランス処理をどちらも適切に行うことができる。

本発明における撮像装置のブロック図である。 撮像素子のベイヤー配列及び３板プレーンのイメージ図である。

以下、図面を参照して本発明の実施例を詳細に説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態における撮像装置の構成を示すブロック図である。

図１において、撮像素子１０１は、不図示の撮影レンズ撮影を透過した被写体光学像を受光し、受光した光量に応じた電気信号を出力するＣＣＤやＣＭＯＳなどの撮像素子である。撮像素子１０１は、図２（ａ）に示すようなＲ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタにより覆われている。図２（ａ）に示したフィルタ配列は一般にベイヤー配列と呼ばれ、輝度信号に対する寄与度の高いＧフィルタを２画素分配置した４画素を１組として構成される。なお、後述する処理において撮像素子の回路構成上、Ｒを含む行とＢを含む行とが異なる読み出しアンプを用いている場合を考慮して、Ｒ行のＧをＧｒ、Ｂ行のＧをＧｂとし、Ｇｒ、Ｇｂを異なる色成分として扱うため、図２（ａ）では区別して記載する。各カラーフィルタはそれぞれの色の波長帯域周辺の分光感度を持ち、各カラーフィルタに対応して設けられた光電変換素子は、各カラーフィルタを通過した帯域の光線をそれぞれ光電変換する。

Ａ／Ｄ変換部１０２は撮像素子１０１から出力された電気信号（アナログ信号）をデジタル信号（画像データ）に変換し、Ｒ、Ｇｒ、Ｇｂ、Ｂの４画素１組の信号をＧ画素斜め加算部１０３とＧ画素乗算部１０４に出力する。

Ｇ画素斜め加算部１０３はＧｒとＧｂを画素加算し、Ｒ、Ｇ（＝Ｇｒ＋Ｇｂ）、Ｂを第１のＡＷＢ（オートホワイトバランス）処理部１０５とＷＢゲイン（ホワイトバランスゲイン）算出部１０６に出力する。Ｇｒ、Ｇｂは水平の隣り合う行毎に加算するものとする。一方、Ｇ画素乗算部１０４は、ベイヤー配列のままのＲ、Ｇｒ、Ｇｂ、Ｂに上記ｇａｉｎＲ、ｇａｉｎＧ、ｇａｉｎＢを適用するために、Ｇ画素の加算量に対応してＧｒ、Ｇｂ画素をそれぞれ２倍に増倍し、Ｒ、２Ｇｒ、２Ｇｂ、Ｂを第２のＡＷＢ処理部１０７に出力する。ここで、ＧとしてＧｒ、Ｇｂを平均（（Ｇｒ＋Ｇｂ）／２）せず、Ｇ＝Ｇｒ＋Ｇｂとするのは、割ること、すなわちビットシフトを行うことでＳ／Ｎが悪くなることを防ぐためである。

ＷＢゲイン算出部１０６は、Ｇ画素斜め加算部１０３の出力信号であるＲ、Ｇ、Ｂの各色成分ごとに順次積分して各色成分の積分値ＳｕｍＲ、ＳｕｍＧ、ＳｕｍＢを求め、ＳｕｍＲ：ＳｕｍＧ：ＳｕｍＢの比がＧ成分を基準として１：１：１になるようなＷＢゲイン値ｇａｉｎＲ、ｇａｉｎＧ、ｇａｉｎＢを式（１）のようにして求める。
ｇａｉｎＲ ＝ ＳｕｍＧ／ＳｕｍＲ
ｇａｉｎＧ ＝ ＳｕｍＧ／ＳｕｍＧ＝１
ｇａｉｎＢ ＝ ＳｕｍＧ／ＳｕｍＢ …（１）

第１のＡＷＢ処理部１０５（第１のホワイトバランス調整手段）では、Ｇ画素斜め加算部１０３の出力信号のＲに対してｇａｉｎＲを、Ｇ（＝Ｇｒ＋Ｇｂ）に対してｇａｉｎＧを、Ｂに対してｇａｉｎＢをそれぞれ乗算することでＷＢ調整処理を行う。

一方、第２のＡＷＢ処理部１０７（第２のホワイトバランス調整手段）では、Ｇ画素乗算部１０４の出力信号のＲに対してｇａｉｎＲを、２Ｇｒに対してｇａｉｎＧを、２Ｇｂに対してｇａｉｎＧを、Ｂに対してｇａｉｎＢをそれぞれ乗算することでＷＢ調整処理を行う。

このように、Ｇ画素斜め加算部１０３から出力されるＲ、Ｇ、Ｂの３板プレーンの画素出力も、Ｇ画素乗算部１０４から出力されるＲ、Ｇｒ、Ｇｂ、Ｂのベイヤー配列の画素出力も、Ｇｒ＋Ｇｂを基準にすることからそれぞれＷＢ調整後、約２倍の画素出力となる。この増加分は後段の処理におけるｂｉｔ数が許す限り維持し、ガンマ変換やｂｉｔ圧縮の処理などで合わせて調整することで、ｂｉｔ精度を稼ぎＳ／Ｎ比を向上させることができる。

第１のＡＷＢ処理部１０５でＷＢ調整されたＲ、Ｇ、Ｂの画像データは、第１の補正処理部１０８において予め設定された撮影モードや、撮影条件に応じて同時化処理やマトリクス演算などの各種補正・高画質化処理がなされる。そして、第１の補正処理部１０８の出力は、画像データ出力部１１０で出力形式に応じたフォーマット変換が施され出力される。

第２のＡＷＢ処理部１０７でＷＢ調整されたＲ、Ｇｒ、Ｇｂ、Ｂの画像データは、第２の補正処理部１０９において予め設定された撮影モードや、撮影条件に応じて同時化処理やマトリクス演算などの各種補正・高画質化処理がなされる。そして、第２の補正処理部１０９の出力は、画像データ出力部１１１で出力形式に応じたフォーマット変換が施され出力される。

以上のように、本実施形態では、ベイヤー配列の画素構造を有する撮像素子から３板処理を施した画像とベイヤー配列の画像を出力する撮像装置において、３板処理を施した画像の画像信号から得られたＷＢゲインをベイヤー配列の画像の出力のＷＢ調整に用いる。その際、３板処理のＧ画素を隣り合う行の画素毎に加算しホワイトバランスゲインを算出することでＳ／Ｎを確保する。このときベイヤー配列のＧ画素に上記ホワイトバランスゲインを適用するためにＧ画素を２倍して適用する。これによりＳ／Ｎ比を維持しながらＲＧＢ三板プレーンへのホワイトバランス処理と、ベイヤー配列へのホワイトバランス処理をどちらも適切に行うことができる。

本実施形態では、撮像素子をＲ、Ｇ、Ｂからなるベイヤー配列の撮像素子とした。しかし、これに限らず、複数の色成分の画素と、前記複数の色成分よりも画素数の多い特定色の色成分の画素とを有する撮像素子に対して本発明は適用できる。たとえば、ベイヤー配列と同様にＧ画素の帯域（解像度）を大きくしているＹ、Ｃ、Ｇからなるフィールドインタリーブ配列のものなどがあげられる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。

図２は、本発明の第２の実施形態における撮像装置の構成を示すブロック図である。なお、第１の実施形態で説明した図１と同様の構成には同じ参照番号を付し、説明を省略する。図１に示す構成との差異は、補正処理部１０９で行っていた補正処理のうち同時化処理を同時化処理部２０２で、リニアマトリクス処理をリニアマトリクス処理部２０３で行い、第２のＡＷＢ処理部２０１と第２の補正処理部２０４の動作が変わるところである。

第１の実施形態において、ＷＢゲイン算出部１０６で算出したＷＢゲイン値を、第１のＡＷＢ処理部１０７でＲ、Ｇｒ、Ｇｂ、Ｂの各色の信号に対して乗算している。しかしＡＷＢ処理部１０７における補正レンジは限られており、ＷＢゲイン値が大きい場合に十分に補正できなくなる。また、補正レンジを広げると回路規模が増大してしまうという課題がある。第二の実施形態では、第２のＡＷＢ処理部２０１とリニアマトリクス処理部２０３に分散してＷＢ調整を行うことで、上記課題を解決する。以下、第２のＡＷＢ処理部２０１とリニアマトリクス処理部２０３によるＷＢ調整について説明する。

ＷＢゲイン算出部で算出したゲイン値ｇａｉｎＲ、ｇａｉｎＧ、ｇａｉｎＢを（２）式のように分解する。
ｇａｉｎＲ ＝ ｇａｉｎＲ１ × ｇａｉｎＲ２
ｇａｉｎＧ ＝ ｇａｉｎＧ１ × ｇａｉｎＧ２
ｇａｉｎＢ ＝ ｇａｉｎＢ１ × ｇａｉｎＢ２ …（２）

まず第２のＡＷＢ処理部２０１において、Ｇ画素乗算部１０４の出力信号にｇａｉｎＲ１、ｇａｉｎＧ１、ｇａｉｎＢ１を乗算し（３）式を得る。
Ｒ’ ＝ Ｒ × ｇａｉｎＲ１
Ｇｒ’ ＝ ２Ｇｒ × ｇａｉｎＧ１
Ｇｂ’ ＝ ２Ｇｂ × ｇａｉｎＧ１
Ｂ’ ＝ Ｂ × ｇａｉｎＢ１ …（３）

同時化処理部２０２では、Ｒ、Ｇｒ、Ｇｂ、Ｂの各画素の存在する画素位置に、各色信号以外の色信号を補間する処理を行う。各画素の位置にＲＧＢ情報を生成する手法としては多々あるが、例えば最も簡易的な手法としては、Ｒ、Ｇｒ、Ｇｂ、Ｂの各色ごとに周囲画素から線形補間で求める手法がある。ここで、同時化処理部２０２で補間生成された画素をＲａ、Ｇａ、Ｂａとする。

リニアマトリクス処理部２０３では、色相を調整し良好な色再現を実現するために、式（４）〜（７）のような行列の演算を行う。

ここで、Ａ、Ｂ、Ｃ、Ｄは３行３列の行列であり、例えば式（８）〜（１０）のように設定することで、第２のＡＷＢ処理部２０１と合わせてＷＢを調整した信号Ｒ”、Ｇｒ”、Ｇｂ”Ｂ”を得ることができる。

上記の演算後、ベイヤー画像を生成するため、各オリジナル画素（Ｒ’、Ｇｒ’、Ｇｂ’、Ｂ’）に係数をかけた画素をセレクトし、係数ｂＡ、ｃＡ、ｄＢ、ｆＢ、ｇＤ、ｈＤを０にすることで（１１）式のようなベイヤー画像を生成できる。
Ｒ” ＝ ｇａｉｎＲ２ × Ｒ’
Ｇｒ” ＝ ｇａｉｎＧ２ × Ｇｒ’
Ｇｂ” ＝ ｇａｉｎＧ２ × Ｇｂ
Ｂ” ＝ ｇａｉｎＢ２ × Ｂ’ …（１１）

以上のように、リニアマトリクス処理部２０３において、色相を調整すると同時に第２のＷＢ処理部２０１と分散してＷＢ調整を行うことができる。

（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

１０１ 撮像素子
１０２ Ａ／Ｄ変換部
１０３ Ｇ画素斜め加算部
１０４ Ｇ画素乗算部
１０５ 第１のＡＷＢ処理部
１０７ 第２のＡＷＢ処理部
１０６ ＷＢゲイン算出部
１０８ 第１の補正処理部
１０９ 第２の補正処理部
１１０ 画像データ出力部
１１１ 画像データ出力部
２０５ 画像データ出力部
２０２ リニアマトリクス処理部

Claims (10)

1. 複数の色成分の画素と、前記複数の色成分よりも画素数の多い特定色の色成分の画素とを有する撮像素子を有する撮像手段と、
   前記撮像手段の出力信号のうち、前記特定色の画素を加算する画素加算手段と、
   前記撮像手段からの前記複数の色成分の画素の出力信号と、前記画素加算手段からの出力信号を用いてホワイトバランスのゲインを算出するゲイン算出手段と、
   前記ホワイトバランスのゲインを用いて前記撮像手段からの前記複数の色成分の画素の出力信号及び前記画素加算手段からの出力信号に対して、ホワイトバランスを調整する第１のホワイトバランス調整手段と、
   前記ホワイトバランスのゲインを用いて前記撮像手段からの前記複数の色成分の画素の出力信号及び前記撮像手段からの前記特定色の色成分の画素の出力信号に対して、ホワイトバランスを調整する第２のホワイトバランス調整手段と、を有し、
   前記第２のホワイトバランス調整手段は、前記特定色の色成分の画素の出力信号を前記画素加算手段での画素の加算量に応じて増倍し、前記ホワイトバランスのゲインを掛けることを特徴とする撮像装置。
2. 前記複数の色成分の画素はＲ、Ｂの画素であり、前記特定色の色成分の画素はＧの画素であり、前記撮像素子はベイヤー配列であることを特徴とする請求項１に記載の撮像装置。
3. 前記画素加算手段は、Ｇの画素を隣り合う行ごとに加算し、前記第２のホワイトバランス調整手段は、Ｇの画素出力を２倍して前記ホワイトバランスのゲインを掛けることを特徴とする請求項２に記載の撮像装置。
4. 前記第２のホワイトバランス調整手段からの出力の色相を調整するリニアマトリクス処理手段を有し、
   前記ゲイン算出手段の出力を用いて、前記第２のホワイトバランス調整手段と前記リニアマトリクス処理手段で分散して前記ホワイトバランスのゲイン分の調整を行うことを特徴とする請求項１乃至３のいずれか１つに記載の撮像装置。
5. Ｒ、Ｇ、Ｂからなるベイヤー配列の撮像素子を有する撮像手段と、
   前記撮像手段からの出力信号のうち、Ｇの画素を水平の行毎にＧｒ、Ｇｂとし、隣り合う行の前記Ｇｒ、Ｇｂ画素を加算するＧ画素加算手段と、
   前記撮像手段からの出力信号のＲ、Ｂ画素と前記Ｇ画素加算手段からの出力信号を用いてホワイトバランスのゲインを算出するゲイン算出手段と、
   前記ホワイトバランスのゲインを用いて前記撮像手段の出力信号Ｒ、Ｇｒ、Ｇｂ、Ｂ画素のホワイトバランスを調整する第２のホワイトバランス調整手段と、を有し、
   前記撮像手段からの出力信号のＧｒとＧｂをそれぞれ２倍して前記ホワイトバランスのゲインを掛けることを特徴とする撮像装置。
6. 前記第２のホワイトバランス調整手段からの出力の色相を調整するリニアマトリクス処理手段を有し、
   前記ゲイン算出手段の出力を用いて、前記第２のホワイトバランス調整手段と前記リニアマトリクス処理手段で分散して前記ホワイトバランスのゲイン分の調整を行うことを特徴とする請求項５に記載の撮像装置。
7. 複数の色成分の画素と、前記複数の色成分よりも画素数の多い特定色の色成分の画素とを有する撮像素子を有する撮像手段を有する撮像装置の制御方法であって、
   前記撮像手段の出力信号のうち、前記特定色の画素を加算する画素加算ステップと、
   前記撮像手段からの前記複数の色成分の画素の出力信号と、前記画素加算ステップでの出力信号を用いてホワイトバランスのゲインを算出するゲイン算出ステップと、
   前記ホワイトバランスのゲインを用いて前記撮像手段からの前記複数の色成分の画素の出力信号及び前記画素加算ステップでの出力信号に対して、ホワイトバランスを調整する第１のホワイトバランス調整ステップと、
   前記ホワイトバランスのゲインを用いて前記撮像手段からの前記複数の色成分の画素の出力信号及び前記撮像手段からの前記特定色の色成分の画素の出力信号に対して、ホワイトバランスを調整する第２のホワイトバランス調整ステップと、を有し、
   前記第２のホワイトバランス調整ステップでは、前記特定色の色成分の画素の出力信号を前記画素加算ステップでの画素の加算量に応じて増倍し、前記ホワイトバランスのゲインを掛けることを特徴とする撮像装置の制御方法。
8. Ｒ、Ｇ、Ｂからなるベイヤー配列の撮像素子を有する撮像手段を有する撮像装置の制御方法であって、
   前記撮像手段からの出力信号のうち、Ｇの画素を水平の行毎にＧｒ、Ｇｂとし、隣り合う行の前記Ｇｒ、Ｇｂ画素を加算するＧ画素加算ステップと、
   前記撮像手段からの出力信号のＲ、Ｂ画素と前記Ｇ画素加算ステップでの出力信号を用いてホワイトバランスのゲインを算出するゲイン算出ステップと、
   前記ホワイトバランスのゲインを用いて前記撮像手段からの出力信号Ｒ、Ｇｒ、Ｇｂ、Ｂ画素のホワイトバランスを調整する第２のホワイトバランス調整ステップと、を有し、
   前記撮像手段からの出力信号のＧｒとＧｂをそれぞれ２倍して前記ホワイトバランスのゲインを掛けることを特徴とする撮像装置の制御方法。
9. 複数の色成分の画素を１組とする複数画素から構成され、前記１組における特定色成分の画素数が他の色成分よりも多い撮像素子と、
   前記撮像素子から出力され、前記特定色成分の画素の信号について組内で加算された第１出力信号に基づいて、各色成分の画素に対するホワイトバランスゲインを算出するゲイン算出手段と、
   前記撮像素子から出力され、前記特定色成分の画素の信号について組内で加算されていない第２出力信号に対して、前記ホワイトバランスゲインを用いてホワイトバランスを調整するホワイトバランス調整手段と、を備え、
   前記ホワイトバランス調整手段は、前記特定色成分の画素の信号について、前記組内で加算された画素数に応じて増倍してから前記ホワイトバランスゲインを適用する、ことを特徴とする撮像装置。
10. 前記撮像素子は、ＲＧＢの各色成分の画素を１組とする複数画素から構成され、前記特定色成分の画素はＧ成分の画素であることを特徴とする請求項９に記載の撮像装置。

Images