JP6564239B2 - 高ダイナミックレンジ撮像装置及び撮像方法 - Google Patents

Description

本発明は、入射光を光電変換して映像信号として取り出す撮像装置と撮像方法に関するものであり、特に、受光強度に対するダイナミックレンジを広くした高ダイナミックレンジ撮像装置及び撮像方法に関する。

固体撮像素子を用いた撮像装置には、大きく分けて、三板式と単板式がある。三板式はレンズを通した被写体の光をプリズム等で分光し、赤、緑、青のそれぞれの光を撮像する３つのセンサー（固体撮像素子）により画像を得るものであって、全画素の色情報が正確に得られる利点があるが、センサーが３つ必要であり、分光のための構成も必要であるため、装置が大きくなり、コストも高くなる。これに対して、単板式は、一つのセンサー（固体撮像素子）の各画素の上に赤（Ｒ）、緑（Ｇ）、青（Ｂ）それぞれの色のみを通すカラーフィルタを設け、画像を撮影後、各画素のＲ，Ｇ，Ｂの輝度値を演算処理してカラー画像を作成するものであり、装置の小型化・低コスト化が可能であるので、近年、広く利用されている。

単板式の撮像装置は、センサーの各画素が特定の色の光を受光するため、各画素において周囲の画素から色情報を補完する必要があり、より十分な色情報を得るためには画素数を多くする必要があるが、センサー全体の大きさは一定の制限があるため、画素数を多くするためには、必然的に、個々の画素サイズを小さくしなければならない。しかし、画素サイズを縮小した場合、各画素の受光部（フォトサイト）に蓄積可能な電荷量は画素サイズと共に小さくなるため、受光部で光電変換可能な光量が減少し、入射光量に対して出力が飽和しやすくなる。すなわち、受光強度に対するダイナミックレンジが小さくなる。

この問題に対して、電子シャッターを利用して画素の露光時間を短くし、出力が飽和する光の入力強度を実質的に大きくする（受光強度のダイナミックレンジを広くする）試みがなされている。以下に、固体撮像素子の画素構造及び動作と、電子シャッターについて説明する。

図８に、固体撮像素子の画素構造の例を示す。図８（ａ）は、４トランジスタ構造の画素回路２００の例である。

各画素は、フォトダイオード（Photo Diode：ＰＤ）２１０、転送ゲート（Transfer Gate：ＴＧ）２２０、増幅トランジスタ２３０、リセットゲート（Reset Gate：ＲＧ）２４０、選択ゲート（Select Gate：ＳＧ）２５０を、備えている。また、バイアスゲート（Bias Gate：ＢＧ）２６０が、各信号線に設けられている。

図８（ｂ）は、フォトダイオード２１０、及び転送ゲート２２０のデバイス構造の一例を断面図で示したものであり、例えば、フォトダイオード２１０は、Ｐ型半導体基板に形成されたＮ型領域２１１から形成される。さらに、このＮ型領域２１１と、同じくＮ型領域からなるフローティング・ディフュージョン（Floating Diffusion：ＦＤ）領域２２３（図８（ａ）の回路図では接続点２２３で表示）、ゲート絶縁膜２２２、及びゲート電極２２１は、ＭＯＳ（Metal Oxide Semiconductor）トランジスタを構成し、転送ゲート（ＴＧ）２２０として機能する。

図８（ａ）において、画素が受光すると、光電変換によりフォトダイオード（ＰＤ）２１０に信号電荷が蓄えられる。転送ゲート（ＴＧ）２２０に電圧が印加されると、蓄積された電荷がフローティング・ディフュージョン（ＦＤ）２２３に転送される。このフローティング・ディフュージョン（ＦＤ）２２３の電位は、増幅トランジスタ２３０のゲート電極に印加され、フローティング・ディフュージョン（ＦＤ）２２３の電位に対応した電圧が増幅トランジスタ２３０から出力される。選択ゲート（ＳＧ）２５０に電圧が印加されると、増幅トランジスタ２３０の出力電圧、すなわち、フローティング・ディフュージョン（ＦＤ）２２３の電位に対応した電圧が信号線に印加されて、画素からの出力Ｖ_outとして取り出される。なお、リセットゲート（ＲＧ）２４０に電圧がかかればフローティング・ディフュージョン（ＦＤ）２２３の電荷はリセットされる。信号線の電圧は、バイアスゲート（ＢＧ）に電圧を加えることにより、接地電位に戻る。

次に、映像信号の取り出しと、電子シャッターについて、図９のタイミングチャートに基づいて説明する。

図９は、図８の画素回路の制御方法を示しており、転送ゲート２２０、リセットゲート２４０、選択ゲート２５０のそれぞれに印加される制御電圧パルスと、フローティング・ディフュージョン（ＦＤ）２２３及び信号線出力Ｖ_outの電位変化を示している。

図９（ａ）は、電子シャッターを行わない場合の制御である。映像信号は、出力Ｖ_outを相関二重サンプリング（Correlated Double Sampling：ＣＤＳ）することによってＶ_FDとして取り出される。

パルス電圧３０１によりリセットゲート２４０がＯＮ（導通）し、フローティング・ディフュージョン２２３の電荷が全て排除されるとともに、電源電圧が印加されることにより、フローティング・ディフュージョン２２３の電位が一時的に３０３となる。このとき、制御電圧３０６により選択ゲート２５０がＯＮ（導通）しており、増幅トランジスタ２３０の出力Ｖ_outは、電圧３０７となる。

リセットゲート２４０がＯＦＦ（遮断）すると、フローティング・ディフュージョン２２３は、フローティングの状態となって電位３０４となり、出力Ｖ_outは、電圧３０８となり、後段の回路によってフローティング・ディフュージョン２２３に信号電荷がないときの基準電圧としてサンプルホールドされる。サンプルホールド回路について様々な構成があり、本件の本質ではないので説明は割愛する。

次いで、パルス電圧３０２により転送ゲート２２０がＯＮ（導通）し、フォトダイオード２１０で光電変換され、蓄積されていた信号電荷が、フローティング・ディフュージョン２２３に移送される。これにより、フローティング・ディフュージョン２２３の電位は、蓄積された電荷量に対応する電位３０５となり、この電位が増幅トランジスタ２３０のゲートに印加される。これにより、増幅トランジスタ２３０の出力としての信号線の出力Ｖ_outは、電圧３０９となる。これが、フローティング・ディフュージョン２２３に信号電荷が蓄積されたときの電圧である。なお、選択ゲート２５０は、適切なタイミングでＯＦＦ（非導通）となり、信号線は電圧３０９を維持する。

サンプルホールドされていたフローティング・ディフュージョン２２３に信号電荷のない時の出力電圧３０８と、信号電荷が蓄積されたときの出力電圧３０９との差分の電圧Ｖ_FDが、フローティング・ディフュージョン２２３に蓄積される電荷量に比例している。したがって、後段の回路によってこの二つの差分電圧Ｖ_FDを取り出し、受光量に対応する情報として、信号処理に用いる。

図９（ａ）においては、転送ゲートに印加されるパルス電圧３０２の間隔が露光時間に対応し、露光時間は１フレームの長さと等しい（電子シャッターは行われていない）。パルス電圧３０２で区切られた露光時間にフォトダイオードで受光した光量の全てが信号電荷となり、電圧Ｖ_FDに寄与している。

これに対して、フォトダイオード２１０で光電変換されて蓄積される電荷量は、照射光強度（受光強度）・受光面積・露光時間に比例するから、電圧Ｖ_FDは露光時間によって線形的に制御することが可能である。１フレームの途中にリセットゲート・転送ゲート等への制御電圧パルスにより、この露光時間（信号電荷を生成する実質的な露光時間）を制御することを電子シャッターという。

図９（ｂ）に、電子シャッターを行う場合の各ゲートへの電圧印加タイミングと出力電圧の例を示す。転送ゲート２２０とリセットゲート２４０に印加される制御電圧パルスが図９（ａ）と異なっており、１フレーム間隔で印加されるリセットゲートのパルス電圧３０１の間に新たなパルス電圧３１１が印加され、また、図９（ａ）では１フレーム中に一度印加されていた転送ゲートのパルス電圧３０２に、新たなパルス電圧３１２が加わっている。後述のように、転送ゲートのパルス電圧３０２とパルス電圧３１２との間にフォトダイオード２１０に蓄積されるエネルギーはリセットされ、転送ゲートのパルス電圧３１２と次のパルス電圧との間が露光時間となる。

パルス電圧３０１によりリセットゲート２４０がＯＮ（導通）し、フローティング・ディフュージョン２２３の電荷が全て排除されて電位が一時的に３０３となり、このとき、制御電圧３０６により選択ゲート２５０がＯＮ（導通）しており、増幅トランジスタ２３０の出力としての信号線の出力Ｖ_outは、電圧３０７となる。次いで、リセットゲート２４０がＯＦＦ（遮断）すると、フローティング・ディフュージョン２２３は、フローティングの状態となって電位３０４となり、出力Ｖ_outは電圧３０８となる。この出力電圧３０８は、後段の回路によってフローティング・ディフュージョン２２３に信号電荷がないときの基準電圧としてサンプルホールドされる。ここまでは、図９（ａ）と同じである。

次いで、パルス電圧３０２により転送ゲート２２０がＯＮ（導通）し、露光時間にフォトダイオード２１０で生成した信号電荷が、フローティング・ディフュージョン２２３に移送される。これにより、フローティング・ディフュージョンＦＤ２２３の電位は電位３０５となり、この電位が増幅トランジスタ２３０のゲートに印加される。これにより、増幅トランジスタ２３０の出力として信号線の出力Ｖ_outは、電圧３０９となる。

サンプルホールドされていた出力電圧３０８と、フローティング・ディフュージョン２２３に信号電荷が蓄積されたときの出力電圧３０９との差分の電圧Ｖ_FDが、フローティング・ディフュージョン２２３に蓄積される電荷量（露光時間に生成された信号電荷）に比例する。後段の回路によってこの差分電圧Ｖ_FDを取り出し、受光量に対応する情報として、信号処理に用いる。ただし、図９（ｂ）では、このときフローティング・ディフュージョン２２３に蓄積される信号電荷は、１フレームの全期間中に光電変換された電荷量ではなく、パルス電圧３０２と次のパルス電圧３１２の間の期間に蓄積されたエネルギーはリセットされ使われない点が、図９（ａ）と異なる。

次いで、リセットゲート２４０にパルス電圧３１１が印加され、リセットゲート２４０がＯＮ（導通）し、フローティング・ディフュージョン２２３の電荷が全て排除される。次いで、パルス電圧３１２により転送ゲート２２０がＯＮ（導通）し、パルス電圧３０２とパルス電圧３１２の間の期間にフォトダイオード２１０で生成し蓄積された電荷が、フローティング・ディフュージョン２２３に移送される。これにより、フローティング・ディフュージョンＦＤ２２３の電位は電位３１５となるが、このとき選択ゲート２５０は閉じているため、増幅トランジスタ２３０の出力電圧変化が信号線の出力Ｖ_outに影響を及ぼすことはない。

パルス電圧３０２とパルス電圧３１２の間にフォトダイオード２１０に蓄積される電荷は、信号としては利用しない。よって、リセットゲートに印加される次のパルス電圧によりリセットゲート２４０をＯＮ（導通）し、フローティング・ディフュージョン２２３に蓄積されている不要な電荷を全て排除（リセット）する。この動作は、フォトダイオードの露光期間中に行うことができる。その後は、パルス電圧３１２と次のパルス電圧の間の期間（露光時間）に、フォトダイオード２１０で光電変換され蓄積された電荷を信号電荷として読み出すために、上述の動作を繰り返す。

このように、転送ゲート２２０とリセットゲート２４０に印加される制御電圧パルスにより、フォトダイオード２１０に溜まっている電荷を一度捨てる（露光時間を短くする）ことができる。受光強度が一定とするとフォトダイオード（ＰＤ）が飽和するまで、露光時間と出力電圧Ｖ_FDは線形の関係となる。また、１フレーム中の露光時間を短くすることにより、フォトダイオード（ＰＤ）の出力が飽和する受光強度（照射光強度）が大きくなり、受光感度のダイナミックレンジが拡大する。このように、電子シャッターを利用して、ダイナミックレンジを広くする方法が知られている。

さらに、撮像装置のダイナミックレンジを拡大するために、これまで、様々な手法が検討されており、例えば、１フレーム期間中に異なる２回の露光を行う方式等が報告されている。特許文献１では、画素内に受光面積の異なる２つのフォトダイオードを持ち、２種類の感度の異なる画素出力を利用して、信号のダイナミックレンジを広くする方法が開示されている。また、非特許文献１には、露光時間の異なる複数の画素出力を得る方法が開示されている。さらに、特許文献２には、カラーフィルタ配列を改良して各色が２画素隣接するように配列し、それぞれを異なる露光時間で撮影する方法などがある。

特許第４０１８８２０号公報 特開２０１２−８０２９７号公報

Orly Yadid-Pecht and Eric R.Fossum,"Wide Intrascene Dynamic Range CMOS APS Using Dual Sampling", IEEE TRANSACTIONS ON ELECTRON DEVICES, VOL.44, NO. 10, OCTOBER 1997, pp.1721-1722

特許文献１では、サイズ／受光感度の異なる複数の画素を製作する必要があり、撮像素子の作製・制御が困難である。また、非特許文献１では、読み出し速度を２倍以上に高速度化する必要がある。また、特許文献３では、同色の２つの画素がペアを構成して同色のカラーフィルタが積層され、全体としてベイヤー配列となる特殊なカラーフィルタ配列が必要となる。したがって、先行技術文献に記載されたものは、いずれもの特殊な撮像素子構造を必要とし、撮像素子の製造が複雑なものとなっていた。また、これまで、電子シャッターは行われていたが、その制御の最適な条件は十分に検討されていない。

上記のような問題点に鑑みてなされた本発明の目的は、通常のベイヤー配列のカラー撮像素子を用いて、受光強度に対するダイナミックレンジを拡大することができる撮像装置、及び最適な条件で露光時間を制御し、受光強度に対するダイナミックレンジを拡大することができる撮像方法を提供することにある。

上記課題を解決するために本発明に係る撮像装置は、第１の行に緑（Ｇ１）と赤（Ｒ）のフィルタを有し、第２の行に青（Ｂ）と緑（Ｇ２）のフィルタを有するベイヤー配列のカラー撮像素子を備えた撮像装置において、入射光の色温度に基づいて、ホワイトバランスのＲ，Ｂの補正ゲインを比較し、前記補正ゲインが小さい色を含む行の露光時間と前記補正ゲインが大きい色を含む行の露光時間の比率が、前記補正ゲインのうち大きい補正ゲインの逆数に等しくなるように、電子シャッター制御を行って、前記第１の行と前記第２の行の露光時間を異ならせ、露光時間の短い行から得られた緑の映像信号を利用して、受光強度に対するダイナミックレンジを拡張したことを特徴とする。

また、前記撮像装置は、前記第１の行と前記第２の行の緑の映像信号を加算（Ｇ１＋Ｇ２）するデジタル信号処理を行い、赤及び青の映像信号については、それぞれ緑の加算された映像信号に合わせてデジタル信号処理を行うことが望ましい。

また、前記撮像装置は、緑の映像信号については、露光時間の短い行から得られた緑の映像信号をゲイン補正するのと等価なデジタル信号処理を行い、赤及び青の映像信号については、それぞれ補正された緑の映像信号に合わせてデジタル信号処理を行うことが望ましい。

上記課題を解決するために本発明に係る撮像方法は、第１の行に緑（Ｇ１）と赤（Ｒ）のフィルタを有し、第２の行に青（Ｂ）と緑（Ｇ２）のフィルタを有するベイヤー配列のカラー撮像素子を用いた撮像方法において、ホワイトバランスのＲ，Ｂの補正ゲインを比較し、前記補正ゲインが小さい色を含む行の露光時間と前記補正ゲインが大きい色を含む行の露光時間の比率が、前記補正ゲインのうち大きい補正ゲインの逆数に等しくなるように、電子シャッター制御を行って、前記補正ゲインが小さい色を含む行の露光時間を前記補正ゲインが大きい色を含む行の露光時間より短くし、露光時間の短い行から得られた緑の映像信号を利用して、受光強度に対するダイナミックレンジを拡張したことを特徴とする。

本発明における撮像装置及び撮像方法によれば、通常のベイヤー配列のカラー撮像素子を用いて、従来よりも受光強度に対するダイナミックレンジを拡大することができる。また、どちらの行の露光時間を短時間にすべきかを入射光の色温度によって決定するため、露光時間を短くすることによる出力信号レベルの低下に伴うＳＮ比の劣化を低減することができる。さらに、ホワイトバランスの補正ゲインに基づいて、ダイナミックレンジの拡大幅が最大となる露光時間を容易に設定することができる。

本発明における、ベイヤー配列のカラー撮像素子の構成例を示す図である。 本発明の信号処理プロセスのフローチャートである。 色温度が低い場合の各センサー信号出力と補正後の信号出力の例を示す図である。 実施例１の色温度が低い場合の各信号出力の例を示す図である。 実施例１の色温度が高い場合の各信号出力の例を示す図である。 実施例２の色温度が低い場合の各信号出力の例を示す図である。 実施例２の色温度が高い場合の各信号出力の例を示す図である。 固体撮像素子の画素構造の例を示す図である。 固体撮像素子の画素回路の制御方法を示す図である。

以下、本発明を実施するための形態について、実施例に基づいて説明する。

図１に、本発明の高ダイナミックレンジ撮像装置における、ベイヤー配列のカラー撮像素子１００の構成例を示す。

撮像素子１００の画素部（撮像領域）１０には、ベイヤー配列のフィルタが設けられている。ベイヤー配列では、第１の行（実施例では、奇数行）の緑（Ｇ_odd又はＧ１）２１と赤（Ｒ）２２、第２の行（実施例では、偶数行）の青（Ｂ）２３と緑（Ｇ_even又はＧ２）２４の４画素で表示系１画素２０を構成する色成分となる。なお、本実施例では、奇数行をＧＲＧＲ・・・、偶数行をＢＧＢＧ・・・と配列しているが、奇数行と偶数行の配列が反対であっても構わない。

図１の垂直走査回路３０によって各配線（奇数行：Ｗ_odd、又は偶数行：Ｗ_even）３１〜３４につながるゲート電圧印加タイミングをコントロールすることができ、奇数行配線Ｗ_oddにつながる画素の露光時間をＴ_odd、偶数行配線Ｗ_evenにつながる画素の露光時間をＴ_evenとして制御する電子シャッターを行う。各画素から読み出された信号電荷は、列並列アナログ／デジタル変換回路（ＡＤＣ）４０、及び水平読み出し回路５０により、読み出し処理がなされる。

図２に、本発明の信号処理プロセスのフローチャートを示す。このプロセスの目的は、適切な行に電子シャッターをかけ、露光時間の異なるＧ_odd（Ｇ１）とＧ_even（Ｇ２）の出力を加算することで、Ｇ信号のダイナミックレンジを広げ、他成分はＲ，Ｇ，Ｂがバランスをとれるように調整することにある。フローチャートの各ステップを説明する。

ステップ１（以下、Ｓ１のように表記する。）では、映像のホワイトバランス調整を行う。ホワイトバランスとは、白い被写体が白く映るように色の補正を行う機能である。例えば、理想的な白色の被写体があったとしても、照明が白熱電球だと赤みがかった白、曇天下では青みがかった白に見える。これは照明光源のスペクトル分布の違いによるもので、その違いは色温度によって表現される。一般に色温度は低ければ赤成分が強く、高ければ青成分が強い。ホワイトバランス調整は、白色の被写体を撮影時の各色の信号をＲw，Ｇw，Ｂwとして、

のように成分比が同率になるような係数（補正ゲイン）ｇ_R，ｇ_Bを計算し、出力を補正するプロセスである。このゲイン調整はカメラ操作者によるマニュアル（手動）調整・システムによるオート（自動）調整のどちらも可能である。また、イメージセンサーの外側にカラーバランス測定用センサーを用いてホワイトバランスを調整して係数（補正ゲイン）を取得する方法もある。

本件のプロセスでは、先ずＳ１において、カメラでホワイトバランス調整を行い、赤色と青色への補正ゲインｇ_R，ｇ_Bを取得する。

次に、Ｓ２では、Ｓ１で得られた補正ゲインｇ_R，ｇ_Bを評価する。もし１＞ｇ_R，及び１＞ｇ_Bの様にＧ信号よりもＲ，Ｂの両方の元信号が強い場合、若しくは、０．５＞ｇ_R，又は０．５＞ｇ_B の様にＲ，Ｂ信号がＧ信号の入力より２倍以上高い場合は、本方式による効果はあまり得られないため、この後は、Ｓ６に進み、デジタル信号処理部で一般的なホワイトバランス調整に基づく画像作成処理を行う。また、Ｓ２の条件を満たさないときは、Ｓ３に進む。なお、効果が比較的小さい場合を含んでも良いときは、この評価ステップ（Ｓ２）を省略してＳ３に進むこともできる。

次に、Ｓ３では、補正ゲインｇ_R，ｇ_Bを比較する。そして、ｇ_R＜ｇ_Bの条件（受光した光の赤成分が青成分より強い）を満たす場合はＳ４に進み、満たさない場合はＳ５に進む。

Ｓ４では、奇数行（Ｒを含む行）に電子シャッターをかけ、Ｓ５では、偶数行（Ｂを含む行）に電子シャッターをかける。

すなわち、Ｓ３〜Ｓ５では、ｇ_R，ｇ_Bを比較して値の小さい方（色成分が強い方）の色が含まれるセンサーの行に電子シャッターをかける。こうすることにより、色成分の強い方の光は、露光時間を短くしても必要な受光量を確保でき、信号電荷を十分得ることができるため、全体としてノイズに強い画像が得られるとともに、ダイナミックレンジを拡げることができる。

なお、後述のように、電子シャッター（露光時間）の設定は、ｇ_R，ｇ_Bを比較して、大きい方（色成分が弱い方）の係数によって、ダイナミックレンジの拡大幅が最大となるシャッタータイミングを決定することができる。

その後、Ｓ６においてデジタル信号処理を行う。具体的には、デジタル信号処理部では各色のセンサー出力に対して、Ｇ信号はダイナミックレンジを広げるため奇数行と偶数行の出力を加算してＧ_odd＋Ｇ_evenとし、他成分はＲ，Ｇ，Ｂがバランスをとれるように調整する。以下に電子シャッター制御とデジタル信号処理部の処理内容を示す。

［１］色温度が低い（ｇ_R＜ｇ_B）場合のデジタル信号処理
色温度が低い（ｇ_R＜ｇ_B）場合のデジタル信号処理について説明する。この場合は図２のフローチャートに従い、奇数行（Ｇ_odd，Ｒ）に電子シャッターをかける。各画素Ｇ_odd，Ｇ_even，Ｂ，Ｒのセンサー出力電圧をそれぞれＶ_Godd，Ｖ_Geven，Ｖ_B，Ｖ_R、各画素センサーの受光量が飽和する白色光入力強度をそれぞれｘ_odd，ｘ_even，ｘ_B，ｘ_Rとして、飽和時の出力電圧をＶ_maxとする。

図３に、色温度が低い（赤色成分が強い）ときの白色光入力に対するセンサー出力電圧のグラフの例を示す。横軸は白色光入力強度であり、縦軸はセンサー出力電圧である。グラフ１は偶数行の緑（Ｇ_even）の光入力強度とセンサー出力電圧の関係を示しており、同様に、グラフ２は奇数行の緑（Ｇ_odd）、グラフ３は青（Ｂ）、グラフ４は赤（Ｒ）のセンサーの入出力関係をそれぞれ示している。各画素のセンサー出力は、いずれも出力電圧Ｖ_maxで飽和する。

図３は、電子シャッターをＴ_odd／Ｔ_even＜１／ｇ_Bの条件（Ｇ_odd のダイナミックレンジをＢのダイナミックレンジよりも広く取る条件）で設定した場合である。各センサー信号入出力のグラフ１〜４に加えて、デジタル信号処理による補正後のＧ信号（Ｇ_odd＋Ｇ_even）のグラフ５と、デジタル信号処理による補正後のＢ信号（Ｂ補正信号）のグラフ６も示されている。Ｇ信号（Ｇ_odd＋Ｇ_even）のグラフ５から、従来のベイヤー配列のカラー撮像素子を用いて、電子シャッターによりダイナミックレンジをｘ_evenからｘ_oddに拡大できることがわかる。

しかし、Ｇ信号（Ｇ_odd＋Ｇ_even）は、電子シャッターによりダイナミックレンジがｘ_evenからｘ_oddに拡大されているが、Ｂ信号はｘ_Bで飽和状態に至っているため、Ｂ補正信号はｘ_B以上の強度の入力があっても、Ｇ信号とバランスを取ることができない。この場合ｘ_B以上の強度があると、白がＢ成分の不足から黄色（Ｇ＋Ｒ）がかってくる。

このようにＢ成分によってＧの拡大可能な（有効な）ダイナミックレンジは制限されるから、電子シャッターのタイミングは、Ｂ成分（色成分が弱い方）によって制限される。この条件から、ダイナミックレンジの拡大幅が最大となるシャッタータイミングを設定することができる。

（１）電子シャッター制御
図３に基づく考察によれば、Ｂ成分（色成分が弱い方）が飽和する白色光入力強度（ｘ_B）よりも、ＧやＲのダイナミックレンジを広くしても、Ｂ成分が飽和する領域は有効活用することができない。また、色温度が低い（Ｒ成分が強い）場合であっても、必要以上にＲ成分の露光時間を短くすることは、信号電荷が小さくなり、ノイズに弱い画像となるから、各画素の露光時間はできるだけ長くすることが望ましい。したがって、Ｂ信号が飽和する入力光強度（ｘ_B）と、Ｇ_odd信号が飽和する入力光強度（ｘ_odd）とが等しくなる条件で、シャッタータイミングを調整すれば、各センサーの信号電荷を有効に活用でき、ダイナミックレンジの拡大幅が最大となる。

すなわち、ダイナミックレンジを最大にする条件は、次式（２）となる。

図４に、この条件時の各センサー信号出力と補正後の出力の関係の例を示す。式（２）の条件により、Ｇ_odd信号のグラフ２と、Ｂ信号のグラフ３とが重なる。Ｂ，ＲともにダイナミックレンジがＧ_odd以上なので、Ｇ信号に合わせてデジタル信号処理による補正が可能であり、ダイナミックレンジは電子シャッターをかけない場合のｘ_evenからｘ_B （ｘ_odd）へ拡大される。なお、これまでの説明では、偶数行には電子シャッターをかけず、奇数行のみ電子シャッターをかけて、上記式（２）を満足するように露光時間を調整するとしたが、奇数行と偶数行の両方に電子シャッターをかけて、式（２）を満足するように露光時間を調整しても、本発明のダイナミックレンジの拡大は実現できる。ただし、色成分が弱い青色については、電子シャッターをかけるとノイズに弱くなるため、撮像条件（受光強度等）に応じて適宜設定すれば良い。

次に、式（２）の条件を満たした時の、Ｇ，Ｒ，Ｂ信号それぞれのデジタル信号処理について以下に示す。

（２）Ｇ信号のデジタル信号処理について
本実施例においては、デジタル信号処理による補正後のＧ信号は、奇数行の緑（Ｇ_odd）と偶数行の緑（Ｇ_even）から得られた映像信号を加算（Ｇ_odd＋Ｇ_even）する。すなわち、デジタル信号処理後のＧ信号をＶ_G’として、次式（３）により求める。

グラフ５からわかるように、飽和光入力強度がｘ_evenからｘ_odd となり、ダイナミックレンジを拡大することができる。

（３）Ｒ信号のデジタル信号処理について
Ｒ信号のセンサー出力はＧ信号がＶ_G’となったため、出力信号に単純にホワイトバランス取得時のゲインｇ_Rをかけてもホワイトバランスを調整することはできない。ところでＧ信号について、グラフから、次式（４）（５）の関係を読み取ることができる。

また、フォトダイオード（ＰＤ）の飽和に至る光量（受光強度×露光時間×受光面積）が一定であり、ここでは受光面積が一定であること、及び式（２）の関係から、次式（６）が成立する。

ここで、式（６）を式（５）に代入すれば、

の関係が成り立つ。以上から、次式（８）が導かれる。

電子シャッターを掛けられている奇数行の画素（Ｇ_odd，Ｒ）の出力は、次式（９）の関係が成り立つ。

したがって、この関係を利用してＲ信号を補正されたＧ信号に一致させる。すなわち、ホワイトバランス調整のためにＲ信号の出力をＶ_R’とすると、次式（１０）の条件でＶ_Rを補正すれば良い。

（４）Ｂ信号のデジタル信号処理について
電子シャッターを掛けられていない偶数行の画素（Ｂ）の出力は、次式（１１）の関係が成り立つ。

したがって、ホワイトバランス調整のためにＢ信号の出力をＶ_B’とすると、次式（１２）の条件でＶ_Bを補正すれば良い。

なお、上記において１＞ｇ_R＞０．５の場合はＲ信号が先に飽和に至るので、Ｖ_R’の飽和電圧でホワイトクリップを行う必要があるが、Ｇ信号のダイナミックレンジは電子シャッター後のＲ信号の飽和露光量まで広げることができる。

［２］色温度が高い（ｇ_R＞ｇ_B）場合のデジタル信号処理
色温度が高い（ｇ_R＞ｇ_B）場合のデジタル信号処理について説明する。なお、中間（ｇ_R＝ｇ_B）の場合の処理は、色温度が高い場合と低い場合のどちらに従ってもよい。色温度が高い場合は、図２のフローチャートに従って、偶数行（Ｇ_even，Ｂ）に電子シャッターをかける。色温度が高い場合と同様に考えて、電子シャッター制御、デジタル信号処理プロセスは以下のようになる。

（１）電子シャッター制御
電子シャッターのタイミングは、Ｒ成分（色成分が弱い方）によって制限される。色温度が低い場合と同様に考えて、ダイナミックレンジを最大にする条件は、次式（１３）となる。

図５に、この条件時のセンサー信号出力と補正後の出力の関係の例を示す。式（１３）の条件により、Ｇ_even信号のグラフ１と、Ｒ信号のグラフ４とが重なる。Ｂ，ＲともにダイナミックレンジがＧ_even以上なので、Ｇ信号に合わせてデジタル信号処理による補正が可能であり、ダイナミックレンジは電子シャッターをかけない場合のｘ_oddからｘ_R （ｘ_even）へ拡大される。なお、これまで、奇数行には電子シャッターをかけず、偶数行のみ電子シャッターをかけて、上記式（１３）を満足するように露光時間を調整するとしたが、この場合も色温度が低い場合と同様に、奇数行と偶数行の両方に電子シャッターをかけて、式（１３）を満足するように露光時間を調整しても、本発明のダイナミックレンジの拡大は実現できる。

次に、式（１３）の条件を満たした時の、Ｇ，Ｒ，Ｂ信号それぞれのデジタル信号処理について以下に示す。

（２）Ｇ信号のデジタル信号処理について
色温度が低い場合と同様に、デジタル信号処理後のＧ信号をＶ_G’として、次式（１４）により求める。

グラフ５からわかるように飽和光入力強度をｘ_oddからｘ_evenへとダイナミックレンジを拡大することができる。

（３）Ｂ信号のデジタル信号処理について
色温度が低い場合のＲ信号（式（１０）を参照。）との対称性から、ホワイトバランスの調整には、Ｂ信号の出力をＶ_B’とすると、次式（１５）の条件でＶ_Bを補正すれば良い。

（４）Ｒ信号のデジタル信号処理について
電子シャッターを掛けられていない奇数行の画素（Ｒ）の出力は、色温度が低い場合のＢ信号（式（１２）を参照。）との対称性から、ホワイトバランスの調整には、Ｒ信号の出力をＶ_R’とすると、次式（１６）の条件でＶ_Rを補正すれば良い。

なお、上記において１＞ｇ_B＞０．５の場合はＢ信号が先に飽和に至るので、Ｖ_B’の飽和電圧でホワイトクリップを行う必要があるが、Ｇ信号のダイナミックレンジは電子シャッター後のＢ信号の飽和露光量まで広げることができる。

以上のようなホワイトバランス調整を行うことで電子シャッターを用いてダイナミックレンジを拡大しつつＲＧＢの色信号のバランスを取ることが可能である。また、本方式ではダイナミックレンジ拡大をしてもＧ信号のＳＮ比がほぼ劣化しないため、Ｙ信号（輝度）の劣化を低減することが可能である。

実施例１では、Ｇ_odd＋Ｇ_evenは入力に対して完全な線形ではなく、knee処理のようなグラフ５となってしまう。そこで電子シャッター無しのＧ信号が飽和した場合、電子シャッター有りのＧ信号のみを補正した値を出力として取り出せば、Ｇ信号にＳＮ比の劣化があるものの簡単に入出力を完全な線形にすることが可能である。

実施例２では、Ｇ信号を完全に線形にした場合のダイナミックレンジ拡大プロセスを示す。実施例１と各色のデジタル信号処理プロセス以外はすべて共通であるので、色温度が低い場合と高い場合のＲ，Ｇ，Ｂの信号補正プロセスを中心に説明する。

［１］色温度が低い（ｇ_R＜ｇ_B）場合のデジタル信号処理
色温度が低い場合の信号補正プロセスを示す。色温度が低い場合は、図２のフローチャートに従って、奇数行（Ｇ_odd，Ｒ）に電子シャッターをかける。

（１）電子シャッター制御
色温度が低い場合の電子シャッター制御は、実施例１と同様に、Ｇ信号のダイナミックレンジが最大となるように、次式（１７）の条件にすれば良い。なお、撮像条件によっては、奇数行と偶数行の両方に電子シャッターをかけて、式（１７）を満足するように露光時間を調整してもよい。

次に、式（１７）の条件を満たした時の、Ｇ，Ｒ，Ｂ信号それぞれのデジタル信号処理について以下に示す。

（２）Ｇ信号のデジタル処理プロセスについて
デジタル信号処理の後のＧ信号をＶ_G’とすると、

と定義することでＶ_G’は完全な線形応答になる。このデジタル信号処理は、露光時間の短い行から得られた緑の映像信号（Ｖ_Godd）を、所定のゲイン（１＋ｇ_B）で補正するのと等価な信号処理である。この条件時の各センサー信号出力のグラフ１〜４と補正後の信号出力のグラフ７の関係の例を、図６に示す。

（３）Ｒ信号のデジタル処理プロセスについて
ホワイトバランスの定義から、次式（１９）が成立する。

よって、デジタル信号処理の後のＲ信号をＶ_R’とすると、次式（２０）の条件でＶ_Rを補正すれば良い。

（４）Ｂ信号のデジタル処理プロセスについて
デジタル信号処理の後のＢ信号をＶ_B’とすると、次式（２１）の条件でＶ_Bを補正すれば良い。

なお、上記において１＞ｇ_R＞０．５の場合はＲ信号が先に飽和に至るので、Ｖ_R’の飽和電圧でホワイトクリップを行う必要があるが、Ｇ信号のダイナミックレンジは電子シャッター後のＲ信号の飽和露光量まで広げることができる。

［２］色温度が高い（ｇ_R＞ｇ_B）場合のデジタル信号処理
色温度が高い場合の信号補正プロセスを示す。なお、中間（ｇ_R＝ｇ_B）の場合の処理は、色温度が高い場合と低い場合のどちらに従ってもよい。色温度が高い場合は、図２のフローチャートに従って、偶数行（Ｇ_even，Ｂ）に電子シャッターをかける。

（１）電子シャッター制御
電子シャッター制御は実施例１と同様に、Ｇ信号のダイナミックレンジが最大となるように、次式（２２）の条件にすれば良い。なお、撮像条件によっては、奇数行と偶数行の両方に電子シャッターをかけて、式（２２）を満足するように露光時間を調整してもよい。

次に、式（２２）の条件を満たした時の、Ｇ，Ｒ，Ｂ信号それぞれのデジタル信号処理について以下に示す。

（２）Ｇ信号のデジタル処理プロセスについて
デジタル信号処理の後のＧ信号をＶ_G’とすると、

と定義することでＶ_G’は完全な線形応答になる。この条件時の各センサー信号出力のグラフ１〜４と補正後の信号出力のグラフ７と関係の例を、図７に示す。

（３）Ｂ信号のデジタル処理プロセスについて
色温度が低い場合のＲ信号（式（２０）を参照。）との対称性から、デジタル信号処理の後のＢ信号をＶ_B’とすると、次式（２４）の条件でＶ_Bを補正すれば良い。

（４）Ｒ信号のデジタル処理プロセスについて
色温度が低い場合のＢ信号（式（２１）を参照。）との対称性から、デジタル信号処理の後のＲ信号をＶ_R’とすると、次式（２５）の条件でＶ_Rを補正すれば良い。

なお、上記において１＞ｇ_B＞０．５の場合は、Ｂ信号が先に飽和に至るので、Ｖ_B’の飽和電圧でホワイトクリップを行う必要があるが、Ｇ信号のダイナミックレンジは電子シャッター後のＢ信号の飽和露光量まで広げることができる。

以上のようなホワイトバランス調整を行うことで、実施例２では、出力信号が完全な線形を保ったままダイナミックレンジを広げることが可能である。

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各ブロック、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成ブロックやステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。

１ 偶数行の緑（Ｇ_even）の光入力強度とセンサー出力電圧のグラフ
２ 奇数行の緑（Ｇ_odd）の光入力強度とセンサー出力電圧のグラフ
３ 青（Ｂ）の光入力強度とセンサー出力電圧のグラフ
４ 赤（Ｒ）の光入力強度とセンサー出力電圧のグラフ
５ 補正後のＧ信号（Ｇ_odd＋Ｇ_even）の光入力強度と出力電圧のグラフ
６ 補正後のＢ信号の光入力強度と出力電圧のグラフ
７ 線形補正後の各信号の光入力強度と出力電圧のグラフ
１０ 画素部
２０ 表示系１画素
２１ 緑（Ｇ_odd）画素
２２ 赤（Ｒ）画素
２３ 青（Ｂ）画素
２４ 緑（Ｇ_even）画素
３０ 垂直走査回路
４０ 列並列アナログ／デジタル変換回路（ＡＤＣ）
５０ 水平読み出し回路
１００ 撮像素子
２００ 画素回路
２１０ フォトダイオード
２２０ 転送ゲート
２３０ 増幅トランジスタ
２４０ リセットゲート
２５０ 選択ゲート
２６０ バイアスゲート

Claims (4)

1. 第１の行に緑（Ｇ１）と赤（Ｒ）のフィルタを有し、第２の行に青（Ｂ）と緑（Ｇ２）のフィルタを有するベイヤー配列のカラー撮像素子を備えた撮像装置において、入射光の色温度に基づいて、ホワイトバランスのＲ，Ｂの補正ゲインを比較し、前記補正ゲインが小さい色を含む行の露光時間と前記補正ゲインが大きい色を含む行の露光時間の比率が、前記補正ゲインのうち大きい補正ゲインの逆数に等しくなるように、電子シャッター制御を行って、前記第１の行と前記第２の行の露光時間を異ならせ、露光時間の短い行から得られた緑の映像信号を利用して、受光強度に対するダイナミックレンジを拡張したことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、前記第１の行と前記第２の行の緑の映像信号を加算（Ｇ１＋Ｇ２）するデジタル信号処理を行い、赤及び青の映像信号については、それぞれ緑の加算された映像信号に合わせてデジタル信号処理を行うことを特徴とする撮像装置。
3. 請求項１に記載の撮像装置において、緑の映像信号については、露光時間の短い行から得られた緑の映像信号をゲイン補正するのと等価なデジタル信号処理を行い、赤及び青の映像信号については、それぞれ補正された緑の映像信号に合わせてデジタル信号処理を行うことを特徴とする撮像装置。
4. 第１の行に緑（Ｇ１）と赤（Ｒ）のフィルタを有し、第２の行に青（Ｂ）と緑（Ｇ２）のフィルタを有するベイヤー配列のカラー撮像素子を用いた撮像方法において、ホワイトバランスのＲ，Ｂの補正ゲインを比較し、前記補正ゲインが小さい色を含む行の露光時間と前記補正ゲインが大きい色を含む行の露光時間の比率が、前記補正ゲインのうち大きい補正ゲインの逆数に等しくなるように、電子シャッター制御を行って、前記補正ゲインが小さい色を含む行の露光時間を前記補正ゲインが大きい色を含む行の露光時間より短くし、露光時間の短い行から得られた緑の映像信号を利用して、受光強度に対するダイナミックレンジを拡張したことを特徴とする撮像方法。

Images