JP5487845B2 - 撮像素子、駆動制御方法、並びにプログラム - Google Patents

撮像素子、駆動制御方法、並びにプログラム Download PDF

Info

Publication number
JP5487845B2
JP5487845B2 JP2009219626A JP2009219626A JP5487845B2 JP 5487845 B2 JP5487845 B2 JP 5487845B2 JP 2009219626 A JP2009219626 A JP 2009219626A JP 2009219626 A JP2009219626 A JP 2009219626A JP 5487845 B2 JP5487845 B2 JP 5487845B2
Authority
JP
Japan
Prior art keywords
color
accumulation time
pixel
gain
sensitivity ratio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009219626A
Other languages
English (en)
Other versions
JP2011071647A (ja
Inventor
靖宏 金尾
静徳 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2009219626A priority Critical patent/JP5487845B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to EP10818723.8A priority patent/EP2482544A4/en
Priority to US13/496,016 priority patent/US8446489B2/en
Priority to CN2010800529335A priority patent/CN102668544A/zh
Priority to KR1020127007295A priority patent/KR20120069694A/ko
Priority to PCT/JP2010/065861 priority patent/WO2011037048A1/ja
Priority to TW102138935A priority patent/TW201415885A/zh
Priority to TW099132212A priority patent/TWI424745B/zh
Publication of JP2011071647A publication Critical patent/JP2011071647A/ja
Application granted granted Critical
Publication of JP5487845B2 publication Critical patent/JP5487845B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/533—Control of the integration time by using differing integration times for different sensor regions
    • H04N25/534—Control of the integration time by using differing integration times for different sensor regions depending on the spectral component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Description

本発明は撮像素子、駆動制御方法、並びにプログラムに関し、特に、感度が異なる画素毎の飽和信号を使い切ることで、Ｓ／Ｎ比を向上させることができるようにした撮像素子、駆動制御方法、並びにプログラムに関する。
デジタルスチルカメラやデジタルビデオカメラなどの撮影装置に用いられる撮像素子（イメージセンサ）は、例えば、赤、緑、青の色フィルタ配列とされた構成とされている。イメージセンサ内では、色毎の蓄積時間の制御は行わずに、全画素一括の蓄積時間で画像データを出力し、後段のプロセッサ側で色毎の感度比計算(ホワイトバランス等々)を行い、補正処理を行っていた。
この場合、感度が高い色の画素、例えば緑色の画素に合わせて蓄積時間が決められる必要があるため、感度が低い色の画素、例えば赤色や青色の画素は飽和信号を使い切れない可能性があった。また、感度が低い画素の出力信号に対してゲインを適用(信号増幅)し、感度差の補正を行う場合もあるが、ゲインを適用すると信号と共にノイズも増幅されてしまう可能性があった。また、色毎に蓄積時間を可変させる方法も提案されている。（例えば、特許文献１，２参照）
特開２００６−２５３８７６号公報 特表２００８−５０７９０８号
しかしながら、色毎に蓄積時間を可変させる場合、高照度のシーンでは、感度比を一定に保ったまま色毎の蓄積時間を変化させることは可能であるが、中照度のシーンや低照度のシーンでは、色毎の蓄積時間のみでは感度比を一定に保つことができなくなる可能性があった。このようなことから、感度が異なる画素毎の飽和信号を使い切り、どの色でも感度比を一定に保てるようにし、Ｓ／Ｎ比を向上させることが望まれていた。
本発明は、このような状況に鑑みてなされたものであり、感度が異なる画素毎の飽和信号を使い切ることで、Ｓ／Ｎ比を向上させることができるようにするものである。
本発明の一側面の撮像素子は、光電変換素子を含み、行列状に２次元配列されるとともに色フィルタ配列により色毎にグループ分けされて配列されている画素と、前記画素に電荷を蓄積する蓄積時間を前記色毎に制御する蓄積時間制御手段と、前記画素から読み出される前記画素に蓄積された電荷に対応する信号を増幅するときのゲインを制御するゲイン制御手段と、前記蓄積時間制御手段に前記蓄積時間を前記色毎に設定し、前記ゲイン制御手段に前記ゲインを前記色毎に設定することで、前記色毎に異なる前記画素の感度比を調整する調整手段とを備え、前記調整手段は、感度比が最も良い前記画素に設定された蓄積時間と、前記色毎の感度比を取得する取得手段と、前記取得手段により取得された前記蓄積時間と前記感度比から、前記色毎に、前記画素の蓄積時間を算出する算出手段と、前記算出手段により算出された蓄積時間の全てが最大設定値以下である場合、その算出された蓄積時間を前記蓄積時間制御手段に設定する第１の設定手段と、前記算出手段により算出された蓄積時間のうち、蓄積時間の最大設定値を超える蓄積時間が算出された色がある場合、その色の信号に対しては、前記最大設定値での蓄積時間を前記蓄積時間制御手段に設定するとともに、前記蓄積時間の不足分を補うために、前記色の信号に対して乗算するゲインを算出し、前記ゲイン制御手段に設定する第２の設定手段と、前記取得手段により取得された前記蓄積時間が、所定の閾値以下か否かを判断する判断手段と、前記判断手段により、前記画素の蓄積時間が、所定の閾値以下であると判断された場合、前記色毎に、それぞれの信号に対して乗算するゲインを前記取得手段で取得された前記感度比を基に算出し、前記ゲイン制御手段に設定する第３の設定手段とを備える。
前記所定の閾値は、ゲインを調整することで前記色毎の画素の感度比を調整する方が、蓄積時間で調整するよりも、前記感度比の調整における誤差が小さいと判断される値であるようにすることができる。
本発明の一側面の駆動制御方法は、光電変換素子を含み、行列状に２次元配列されるとともに色フィルタ配列により色毎にグループ分けされて配列されている画素と、前記画素に電荷を蓄積する蓄積時間を前記色毎に制御する蓄積時間制御手段と、前記画素から読み出される前記画素に蓄積された電荷に対応する信号を増幅するときのゲインを制御するゲイン制御手段と、前記蓄積時間制御手段に前記蓄積時間を前記色毎に設定し、前記ゲイン制御手段に前記ゲインを前記色毎に設定することで、前記色毎に異なる前記画素の感度比を調整する調整手段とを備える撮像素子の駆動制御方法において、前記調整手段は、感度比が最も良い前記画素に設定された蓄積時間と、前記色毎の感度比を取得し、取得された前記蓄積時間と前記感度比から、前記色毎に、前記画素の蓄積時間を算出し、算出された蓄積時間の全てが最大設定値以下である場合、その算出された蓄積時間を前記蓄積時間制御手段に設定し、算出された蓄積時間のうち、蓄積時間の最大設定値を超える蓄積時間が算出された色がある場合、その色の信号に対しては、前記最大設定値での蓄積時間を前記蓄積時間制御手段に設定するとともに、前記蓄積時間の不足分を補うために、前記色の信号に対して乗算するゲインを算出し、前記ゲイン制御手段に設定し、取得された前記蓄積時間が、所定の閾値以下か否かを判断し、前記画素の蓄積時間が、所定の閾値以下であると判断された場合、前記色毎に、それぞれの信号に対して乗算するゲインを取得された前記感度比を基に算出し、前記ゲイン制御手段に設定するステップを含む。
前記所定の閾値は、ゲインを調整することで前記色毎の画素の感度比を調整する方が、蓄積時間で調整するよりも、前記感度比の調整における誤差が小さいと判断される値であるようにすることができる。
本発明の一側面のプログラムは、光電変換素子を含み、行列状に２次元配列されるとともに色フィルタ配列により色毎にグループ分けされて配列されている画素と、前記画素に電荷を蓄積する蓄積時間を前記色毎に制御する蓄積時間制御手段と、前記画素から読み出される前記画素に蓄積された電荷に対応する信号を増幅するときのゲインを制御するゲイン制御手段と、前記蓄積時間制御手段に前記蓄積時間を前記色毎に設定し、前記ゲイン制御手段に前記ゲインを前記色毎に設定することで、前記色毎に異なる前記画素の感度比を調整する調整手段とを備える撮像素子の前記調整手段を制御するコンピュータに、感度比が最も良い前記画素に設定された蓄積時間と、前記色毎の感度比を取得し、取得された前記蓄積時間と前記感度比から、前記色毎に、前記画素の蓄積時間を算出し、算出された蓄積時間の全てが最大設定値以下である場合、その算出された蓄積時間を前記蓄積時間制御手段に設定し、算出された蓄積時間のうち、蓄積時間の最大設定値を超える蓄積時間が算出された色がある場合、その色の信号に対しては、前記最大設定値での蓄積時間を前記蓄積時間制御手段に設定するとともに、前記蓄積時間の不足分を補うために、前記色の信号に対して乗算するゲインを算出し、前記ゲイン制御手段に設定し、取得された前記蓄積時間が、所定の閾値以下か否かを判断し、前記画素の蓄積時間が、所定の閾値以下であると判断された場合、前記色毎に、それぞれの信号に対して乗算するゲインを取得された前記感度比を基に算出し、前記ゲイン制御手段に設定するステップを含む処理を実行させる。
前記所定の閾値は、ゲインを調整することで前記色毎の画素の感度比を調整する方が、蓄積時間で調整するよりも、前記感度比の調整における誤差が小さいと判断される値であるようにすることができる。
本発明の一側面においては、画素に電荷を蓄積する蓄積時間が色毎に制御され、画素から読み出される画素に蓄積された電荷に対応する信号を増幅するときのゲインが制御され、その制御において用いられる蓄積時間とゲインが、色毎に設定される。その設定は、感度比が最も良い画素に設定された蓄積時間と、色毎の感度比から、色毎に、画素の蓄積時間が算出され、算出された蓄積時間の全てが最大設定値以下である場合、その算出された蓄積時間が蓄積時間として設定され、算出された蓄積時間のうち、蓄積時間の最大設定値を超える蓄積時間が算出された色がある場合、その色の信号に対しては、最大設定値での蓄積時間が蓄積時間として設定されるとともに、蓄積時間の不足分を補うために、色の信号に対して乗算するゲインが算出され、設定される。また、取得された蓄積時間が、所定の閾値以下か否かが判断され、画素の蓄積時間が、所定の閾値以下であると判断された場合、色毎に、それぞれの信号に対して乗算するゲインが取得された感度比を基に算出され、設定される。
本発明の一側面によれば、感度が異なる画素毎に飽和信号を使い切ることができる。また、Ｓ／Ｎ比を向上させることができる。
本発明を適用したCMOSイメージセンサの一実施の形態の構成を示す図である。 画素の構成について説明するための図である。 CMOSイメージセンサにおけるＲ、Ｇ、およびＢのカラーフィルタの配列例を示す図である。 画素読み出しと蓄積時間の関係について説明する図である。 感度比の調整について説明するための図である。 感度比の調整について説明するための図である。 感度比の調整について説明するための図である。 感度比の調整に係わる処理について説明するためのフローチャートである。 記録媒体について説明するための図である。
以下に、本発明の実施の形態について図面を参照して説明する。本発明は、デジタルスチルカメラやデジタルビデオカメラなどの撮影装置に用いられる撮像素子（イメージセンサ）に適用できる。以下の説明においては、イメージセンサとして、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサを例にあげて説明するが、本発明がCMOSイメージセンサのみの適用されることを示すものではない。
［CMOSイメージセンサのブロック図］
図１は、本発明を適用したCMOSイメージセンサ（固体撮像素子）の一実施の形態の構成例を示している。図１に示したCMOSイメージセンサ１１は、タイミング制御回路１２、行走査回路１３、画素アレイ部１４、カラム信号処理回路１５、列走査回路１６、水平出力線１７，出力処理回路１８、および感度調整回路１９から構成される。
タイミング制御回路１２は、所定の周波数のマスタクロックに基づいて、所定の動作に必要なクロック信号やタイミング信号を行走査回路１３および列走査回路１６に供給する。例えば、タイミング制御回路１２は、画素のシャッタ動作や読み出し動作を制御するタイミング信号を行走査回路１３および列走査回路１６に供給する。
行（垂直）走査回路１３は、画素アレイ部１４の垂直方向に並ぶ画素に、順次、所定のタイミングで、画素信号の出力を制御する信号を供給する。画素アレイ部１４は、画素２１がｎ行×ｍ列の行列状に配置されたものである画素２１1,1乃至２１m,n、ｎ本の水平信号線２２1乃至２２n、およびｍ本の垂直信号線２３1乃至２３mを有している。
以下の説明において、画素２１1,1乃至２１m,nを個々に区別する必要がない場合、単に、画素２１と記述する。他の部分も同様に記載する。
画素２１1,1乃至２１m,nは、水平信号線２２1乃至２２nを介して、行走査回路１３からそれぞれ供給される信号に従って、光電変換素子に蓄積された電荷に応じた画素信号を、垂直信号線２３1乃至２３mにそれぞれ出力する。水平信号線２２1乃至２２nは、画素２１1,1乃至２１m,nの水平方向の画素２１と、行走査回路１３とをそれぞれ接続する。即ち、水平信号線２２1には、画素２１1,1乃至２１m,1が接続され、水平信号線２２2には、画素２１1,2乃至２１m,2が接続され、以下同様に、水平信号線２２nには、画素２１1,n乃至２１m,nが接続されている。
垂直信号線２３1乃至２３mは、画素２１1,1乃至２１m,nの垂直方向の画素２１と、カラム信号処理回路１５とをそれぞれ接続する。即ち、垂直信号線２３1には、画素２１1,1乃至２１1,nが接続され、垂直信号線２３2には、画素２１2,1乃至２１2,nが接続され、以下同様に、垂直信号線２３mには、画素２１m,1乃至２１m,nが接続されている。
従って、画素２１1,1乃至２１1,nは、光電変換素子に蓄積された電荷に応じた画素信号を、垂直信号線２３1に出力する。画素２１2,1乃至２１2,nは、光電変換素子に蓄積された電荷に応じた画素信号を、垂直信号線２３2に出力する。以下同様に、画素２１m,1乃至２１m,nは、光電変換素子に蓄積された電荷に応じた画素信号を、垂直信号線２３mに出力する。
カラム信号処理回路１５には、ｍ個のADC(Analog-Digital Converter)２４1乃至２４mが並列に配置されている。ADC２４1乃至２４mには、垂直信号線２３1乃至２３mがそれぞれ接続されている。ADC２４1乃至２４mは、画素２１1,1乃至２１m,nから垂直信号線２３1乃至２３mを介して供給される画素信号を、CDS(Correlated Double Sampling；相関２重サンプリング)処理およびA/D変換処理する。
即ち、ADC２４1には垂直信号線２３1が接続されており、ADC２４1は、画素２１1,1乃至２１1,nから垂直信号線２３1を介して供給される画素信号をCDS処理およびA/D変換処理する。ADC２４2には垂直信号線２３2が接続されており、ADC２４2は、画素２１2,1乃至２１2,nから垂直信号線２３2を介して供給される画素信号をCDS処理およびA/D変換処理する。以下同様に、ADC２４mは、画素２１m,1乃至２１m,nから垂直信号線２３mを介して供給される画素信号をCDS処理およびA/D変換処理する。なお、ここでは、カラム信号処理回路１５にＡＤＣ２４が含まれる構成を示したが、ＡＤＣ２４を含まない構成とそることも可能である。
ADC２４1乃至２４mそれぞれは、A/D変換後の画素データを一時的に記憶し、列走査回路１６の制御に従って、水平出力線１７に出力する。列（水平）走査回路１６は、ADC２４1乃至２４mに記憶されている画素データを、順次、所定のタイミングで水平出力線１７に出力させる。
水平出力線１７は、出力処理回路１８と接続され、ADC２４1乃至２４mから出力される画素データを、その接続されている出力処理回路１８に出力する。出力処理回路１８は、カラム信号処理回路１５の各々から水平信号線１７を通して順に供給される信号に対して種々の信号処理を施して出力する。この出力処理回路１８での具体的な信号処理としては、例えば、バッファリングだけする場合もあるし、あるいはバッファリングの前に黒レベル調整、列ごとのばらつきの補正、信号増幅、色関係処理などを行う場合もある。
感度調整回路１９は、タイミング制御回路１２での読み出しのタイミングや、出力処理回路１８でのゲインの調整（信号増幅の増幅率の調整）などを行うことで、感度の調整を行う。この感度調整回路１９の処理については、後述する。
以上のように構成されるCMOSイメージセンサ１１は、列ごとにADCを配置させたカラムAD方式と呼ばれるCMOSイメージセンサである。
画素２１1,1乃至２１m,nのそれぞれは、図２に示すような構成を有している。図２に示した画素２１は、光電変換素子、例えばフォトダイオード５１に加えて、例えば転送トランジスタ５２、リセットトランジスタ５３、増幅トランジスタ５４および選択トランジスタ５５の４つのトランジスタを有する画素回路である。
図２において、フォトダイオード５１は、受光した光をその光量に応じた電荷量の光電荷（ここでは、電子）に光電変換する。フォトダイオード５１のカソードは、転送トランジスタ５２を介して増幅トランジスタ５４のゲートと電気的に接続されている。この増幅トランジスタ５４のゲートと電気的に繋がったノードをＦＤ（フローティングディフュージョン）部５６と称する。
転送トランジスタ５２は、フォトダイオード５１のカソードとＦＤ部５６との間に接続され、転送パルスＴＲＦが与えられることによってオン状態となり、フォトダイオード５１で光電変換された光電荷をＦＤ部５６に転送する。リセットトランジスタ５３は、ドレインが画素電源Ｖｄｄに、ソースがＦＤ部５６にそれぞれ接続され、ゲートにリセットパルスＲＳＴが与えられることによってオン状態となり、フォトダイオード５１からＦＤ部５６への信号電荷の転送に先立って、ＦＤ部５６の電荷を画素電源Ｖｄｄに捨てることによって当該ＦＤ部５６をリセットする。
増幅トランジスタ５４は、ゲートがＦＤ部５６に、ドレインが画素電源Ｖｄｄにそれぞれ接続され、リセットトランジスタ５３によってリセットされた後のＦＤ部５６の電位をリセットレベルとして出力し、さらに転送トランジスタ５２によって信号電荷を転送した後のＦＤ部５６の電位を信号レベルとして出力する。
選択トランジスタ５５は、例えば、ドレインが増幅トランジスタ５４のソースに、ソースが垂直信号線２０にそれぞれ接続され、選択パルスＳＥＬが与えられることによってオン状態となり、画素２１を選択状態として増幅トランジスタ５４から出力される信号を垂直信号線２０に中継する。
このように構成される画素２１が、上記したように接続されることで、CMOSイメージセンサ１１が構成されている。
図１のCMOSイメージセンサ１１の画素２１1,1乃至２１1,nのそれぞれには、Ｒ(赤)、Ｇ(緑)、またはＢ(青)のいずれかのカラーフィルタが配置され、各画素２１は、Ｒ、Ｇ、またはＢのいずれかの色の光を受光する。
図３は、CMOSイメージセンサ１１におけるＲ、Ｇ、およびＢのカラーフィルタの配列例を示している。図３に示されるＲ,Ｇ,Ｂの配列は、ベイヤー配列と呼ばれる配列である。ベイヤー配列は、１個のＲ、２個のＧ、および１個のＢを１組とする色配列が行方向と列方向に繰り返し配置される配列である。
例えば、図３において点線で示される、画素２１1,1、画素２１2,1、画素２１1,2、および画素２１2,2が１組となっており、そのうちの画素２１1,1がＲを受光する画素である。そして、画素２１1,1の行方向に隣りの画素２１2,1と列方向に隣りの画素２１1,2がＧを受光する画素であり、画素２１2,2がＢを受光する画素となっている。そして、この画素２１1,1、画素２１2,1、画素２１1,2、および画素２１2,2の組と同じ色配列が、行方向および列方向に繰り返し配列されている。
このように、光電変換素子を含む画素は、行列状に２次元配列され、さらに色フィルタ配列されることで、色毎にグループ分けされた状態で配列されている。なお、本実施の形態では、CMOSイメージセンサ１１の色配列としてベイヤー配列が採用されているものとするが、これに限定されるわけではない。
図４は、電子シャッタ動作、読み出し動作のタイミング図である。図４において、垂直同期信号VSは、１フレームの始まりで所定期間ハイレベル（Hiレベル）となる信号である。従って、垂直同期信号VSが１度ハイレベルになってから次にハイレベルとなるまでの期間が１フレームを処理する時間（以下、１フレーム時間という）を表し、１フレーム時間をTvとする。
水平同期信号HSは、各行の始まりで所定期間ハイレベルとなる信号である。従って、水平同期信号HSが１度ハイレベルになってから次にハイレベルとなるまでの期間が１行を処理する時間（１水平時間）に相当し、これをTsで表す。蓄積時間を最大限確保することを考えると、シャッタ動作を行った後、次にシャッタ動作を行う直前に読み出し動作を行えばよい。従って、１フレーム期間に各行で１回ずつシャッタ動作および読み出し動作が行われるものとし、シャッタ動作と読み出し動作をほぼ同時とみなすと、最大の蓄積時間は１フレーム時間Tvである。
なお、実際には、ブルーミング対策などのために、実際の蓄積時間を決定するシャッタ動作以外にもシャッタ動作を行う場合もある。また、シャッタ動作の方式は、画素２１が２次元配列された画素アレイ部１４に対して全画素同時にシャッタ動作を行うグローバルシャッタ方式ではなく、シャッタ動作を行う画素２１が時間とともに行単位でシフトしていくローリングシャッタ方式である。
例えば、第ｐフレーム（ｐ＞０）の始まりである時刻ｔ11において、第１行目の画素２１の読み出し動作が行われる。即ち、前のフレームである第ｐ−１フレームで蓄積された電荷を読み出す（露光を終了する）読み出し動作が、時刻ｔ11に、第１行目の画素２１に対して行われる。そして、その１水平時間Ts後の時刻ｔ12では、蓄積された電荷をリセットする（露光を開始する）シャッタ動作が第１行目の画素２１に対して行われるとともに、第２行目の画素２１に対して、第ｐ−１フレームで蓄積された電荷を読み出す読み出し動作が行われる。
次の時刻ｔ13では、第２行目の画素２１のシャッタ動作と、第３行目の画素２１の読み出し動作が行われる。以下同様に、１水平時間Tsごとに行をずらしながら、所定行のシャッタ動作とその次の行の読み出し動作が同時に行われる。そして、第ｐ＋１フレームの始まりである時刻ｔ21には、図示せぬ第ｎ行目の画素２１に対するシャッタ動作と、第１行目の画素２１に対する、前のフレームである第ｐフレームで蓄積された電荷を読み出す読み出し動作が行われる。次の時刻ｔ22では、第１行目の画素２１のシャッタ動作と、第２行目の画素２１の読み出し動作が行われる。以下同様に、１水平時間Tsごとに行をずらしながら、所定行のシャッタ動作とその次の行の読み出し動作が同時に行われる。
以上より、第ｐフレームでシャッタ動作を行った画素２１の蓄積時間は、第ｐ＋１フレームで読み出し動作を行うまでの時間である。そして、この蓄積時間は、読み出し動作からシャッタ動作までの時間（１水平時間Ts）を無視すると、上述したように１フレーム時間Tvである。
本実施の形態においては、この蓄積時間を調整することで、色毎の感度比が調整される。また、蓄積された電荷に応じた信号に対するゲインを調整することでも、感度比が調整される。以下に、その感度比の調整について説明する。
［感度比の調整について］
色フィルタ付画素は、色毎に光に対する感度が異なり、一般的に緑色は感度が高く、赤色、青色は感度が高くない傾向にある。画素に電荷を蓄積する蓄積時間を、感度が高い色の画素、例えば緑色の画素に合わせて決めた場合、感度が低い色の画素、例えば赤色や青色の画素は飽和信号を使い切れない可能性がある。また、感度が低い画素の出力信号に対してゲインを適用(信号増幅)し、感度差の補正を行う場合、ゲインを適用すると信号と共にノイズも増幅されてしまう可能性がある。このようなことを考慮し、感度調整回路１９は感度を調整する。
本実施の形態では、タイミング制御回路１２による制御のもとに蓄積時間を色毎に調整することで感度を調整する。また、出力処理回路１８でのゲイン処理(信号増幅処理)にて信号レベルを色毎に調整する。この蓄積時間の調整とゲインの調整で、色毎に異なる感度比が調整される。
図５乃至図７を参照し、感度比の調整について説明する。図５は、色毎の蓄積時間で、感度比を調整する場合を説明するための図である。図６は、色毎の蓄積時間だけでは感度比を一定に保てない場合に、色毎のゲインの調整を合わせて行うことで感度比を調整するときについて説明するための図である。図７は、色毎の蓄積時間による調整が行えない場合に、色毎のゲインの調整を行うことで感度比を調整するときについて説明するための図である。
図５乃至図７において、以下の記号は、それぞれ以下の意味を表す。
ＳＨＲ ： 一括での蓄積時間設定
Ｓ＿Ｇ ： Ｇ画素での蓄積時間設定
Ｓ＿Ｒ ： Ｒ画素での蓄積時間設定
Ｓ＿Ｂ ： Ｂ画素での蓄積時間設定
Ｇ＿Ｇ ： Ｇ画素でのゲイン設定
Ｇ＿Ｒ ： Ｒ画素でのゲイン設定
Ｇ＿Ｂ ： Ｂ画素でのゲイン設定
また、図５乃至図７においては、蓄積時間の最大設定値は、１０００に設定されている。また１フレームの処理時間で高照度/中照度/低照度のシーンの撮像を行った場合を例に挙げて説明する。 また、色毎の感度は、緑色、赤色、青色の順で高く、感度比が
緑色：赤色：青色 ＝ １．０：０．７：０．５
であった場合を例に挙げて説明する。
まず図５を参照して、色毎の蓄積時間で、感度比を調整する場合を説明する。従来技術のように全画素一括で蓄積時間を設定する場合は、感度の高い画素（緑色フィルタ付き画素）の飽和に合わせて蓄積時間を設定する必要がある。 図５Ａに示すように、ＳＨＲ＝１００、すなわち、高照度のシーンを撮像する場合、比較的短い蓄積時間で信号が飽和することになる。感度が高い緑色フィルタ付き画素が蓄積時間１００（Ｓ＿Ｇ＝１００）で飽和する場合、従来のように他の色付きフィルタの画素も同じ蓄積時間１００で蓄積を行うと、赤色フィルタ付き画素の出力信号レベルは最大でも飽和信号レベルの７０％までしか達しない。また青色フィルタ付き画素の出力信号レベルは、最大でも飽和信号レベルの５０％までしか達しない。
このように、赤色フィルタ付き画素や、青色フィルタ付き画素のような感度の低い画素は、飽和信号を使い切れず階調再現性が乏しくなってしまう(Ａ／Ｄのダイナミックレンジを使い切ることができない)ことになる。
そこで、図５Ｂに示すように、色毎に蓄積時間を調整することで、全ての色が飽和信号レベルまで達するようにする。具体的には、赤色フィルタ付き画素の蓄積時間を、１４３（＝１００×１００／７０）、青色フィルタ付き画素の蓄積時間を２００（＝１００×１００／５０）とする。換言すれば、Ｓ＿Ｇ＝ＳＨＲ＝１００、Ｓ＿Ｒ＝１４３、Ｓ＿Ｂ＝２００と、それぞれの蓄積時間が設定される。
この蓄積時間を設定するための演算は、基準となる色フィルタの画素（この場合、緑色フィルタ付きの画素）に設定された蓄積時間（Ｓ＿Ｇであり、ＳＨＲと同一の値）を、他の色フィルタの画素の感度比、例えば、この場合、赤色フィルタ付きの画素の感度比は７０なので、７０という数値で除算し、パーセンテージにするための１００を乗算することで行われる。
このように蓄積時間が設定されることで、全ての画素（全ての色の画素）が飽和信号レベルまで達するようになり、感度比を一定にすることができる。この場合、蓄積時間は、全ての色において最大設定以下なので、ゲインの個別の設定は必要なく、Ｇ＿Ｇ＝Ｇ＿Ｒ＝Ｇ＿Ｂ＝０と設定される。
従来技術のように、感度が低い画素の出力信号に対してゲインを適用し信号増幅していた場合に比べ、蓄積時間を延ばして感度比を調整する方がノイズ成分の増加を抑えられるため、Ｓ／Ｎ比が向上する。 ただし、非常に高照度なシーンの撮像を行う場合は、色毎の蓄積時間で感度比を調整しようとすると調整誤差が大きくなってしまう場合があるため、その場合は色毎のゲインで調整を行った方が良い場合もあり、後述する図８に示したフローチャートの処理においては、このことも考慮したものとなっている。
次に図６を参照して、色毎の蓄積時間だけでは感度比が一定に保てない場合に、色毎のゲインを合わせることで感度比を調整するときについて説明する。図６Ａに示すように、ＳＨＲ＝６００、すなわち、中照度のシーンを撮像する場合、高照度のシーンを撮像するときよりも画素が飽和に達するまでの蓄積時間は長くなる。
緑色フィルタ付き画素が蓄積時間Ｓ＿Ｇ＝６００で飽和するとき、感度比が一定となるように色毎の蓄積時間を設定する場合、赤色フィルタ付き画素の蓄積時間は、８５７（＝６００×１００／７０）、青色フィルタ付き画素の蓄積時間は１２００（＝６００×１００／５０）に設定される。しかしながら、蓄積時間には最大設定値(１０００)の制限があるため、青色フィルタ付き画素の蓄積時間は、１２００と設定されても（演算結果が１２００であっても）、最大設定値の１０００に設定される。よってこの場合、青色フィルタ付き画素だけが感度が低くなってしまう。
この場合、青色フィルタ付き画素の感度を上げる（他の色のフィルタ付き画素の感度と同等にする）ために、青色フィルタ付き画素の出力信号に対して、１．６ｄＢ(＝１２００／１０００倍)のゲインが適用され信号増幅されるように設定が行われる。
この場合、Ｓ＿Ｇ＝ＳＨＲ＝６００、Ｓ＿Ｒ＝８５７、Ｓ＿Ｂ＝１０００と、それぞれの蓄積時間が設定される。そして、ゲインは、Ｇ＿Ｇ＝Ｇ＿Ｒ＝０、Ｇ＿Ｂ＝１．６と設定される。このように、蓄積時間とゲインが設定されることで、蓄積時間の不足分を補い全画素の感度比を一定にすることが可能となる。
次に図７を参照して、色毎の蓄積時間による調整が行えない場合に、色毎のゲインで感度比を調整するときについて説明する。図７Ａに示すように、ＳＨＲ＝１０００、すなわち、低照度のシーンを撮像する場合、中照度のシーンを撮像するときよりも画素が飽和に達するまでの蓄積時間はさらに長くなる。
緑色フィルタ付き画素が蓄積時間Ｓ＿Ｇ＝１０００で飽和する場合、感度比が一定となるよう色毎の蓄積時間を設定する場合、すでにＳＨＲ＝１０００、すなわち、一括での蓄積時間設定の値が、最大設定値である１０００に達しているため、Ｓ＿Ｇ＝Ｓ＿Ｒ＝Ｓ＿Ｂ＝１０００とすることはできるが、これ以上の蓄積時間を設定することができない。よって、蓄積時間を色毎に設定するだけでは、感度比の調整を行うことができない状態である。
このような場合、ゲインも調整することで感度比が一定となるように制御される。すなわちこの場合、赤色フィルタ付き画素の出力信号に対して３．１ｄＢ(＝１００／７０倍)のゲインが適用されて信号増幅が行われるように制御される。同様に、青色フィルタ付き画素の出力信号に対して６ｄＢ(＝１００／５０倍)のゲインが適用されて信号増幅が行われるように制御される。このようにすることで感度比が一定にされる。
この場合、ＳＨＲ＝Ｓ＿Ｇ＝Ｓ＿Ｒ＝Ｓ＿Ｂ＝１０００と、それぞれの蓄積時間が設定される。そして、それぞれのゲインは、Ｇ＿Ｇ＝０、Ｇ＿Ｒ＝３．１、Ｇ＿Ｂ＝６と設定される。このように、蓄積時間とゲインが設定されることで、蓄積時間の不足分を補い全画素の感度比を一定にすることが可能となる。
このように撮像するシーンの明るさによって色毎の蓄積時間と色毎のゲインを組み合わせた最適な設定を、CMOSイメージセンサ１１内で判別することにより、撮像するシーンの明るさによらず常に一定の感度比を保った画像データをセンサから出力することが可能となる。その結果、色バランスの調整が容易になり、画質が向上する。
ゲインによる信号増幅の方法としては、色毎にＡ／Ｄ変換器のダイナミックレンジを切り替えるようなアナログ信号処理でのゲインを適用する方法でもＡ／Ｄ変換後のデジタル信号処理にてゲインを適用する方法のどちらでも良い。好ましくは、色毎にＡ／Ｄ変換器のダイナミックレンジを切り替える方法の方が階調再現性がよくなるので、換言すれば、Ａ／Ｄのダイナミックレンジを使い切れるので、色毎にＡ／Ｄ変換器のダイナミックレンジを切り替える方法を適用するのが良いと考えられる。
［感度調整回路の処理について］
次に、図８に示したフローチャートを参照し、感度調整回路１９（図１）が行う上記したような感度比を一定にするための処理について説明する。
ステップＳ１１において、基準となる緑色フィルタ付き画素の蓄積時間と各色の感度比が設定（取得）される。各色の感度比とは、緑色フィルタ付き画素、赤色フィルタ付き画素、青色フィルタ付き画素（以下、それぞれ、Ｇ画素、Ｒ画素、Ｂ画素と記述する）の感度比のことである。
なお、ここでは、Ｇ画素が、感度比が高いため、基準とし、Ｇ画素の蓄積時間が設定されるとして説明を続けるが、他の画素、例えばＲ画素の方が、他の画素よりも感度比が高いような特性を有しているようなCMOSイメージセンサ１１の場合、Ｒ画素が基準とされ、Ｒ画素の蓄積時間がステップＳ１１の処理において取得される。
すなわち、ステップＳ１１においては、感度比が高い画素の蓄積時間と、全ての色の感度比が取得される。例えば、図５Ａに示したような状況の場合、Ｇ画素の蓄積時間であるＳ＿Ｇ＝１００が設定され、各色の感度比として、Ｇ画素＝１００、Ｒ画素＝７０、Ｂ画素＝５０が設定される。なお、各色の感度比は、蓄積時間などに依存するものではなく、一定値なので、予め取得（設定）しておき、その都度取得する必要はない。
ステップＳ１２において、取得（設定）されたＧ画素の蓄積時間と、所定の閾値が比較され、Ｇ画素の蓄積時間が、所定の閾値以上であるか否かが判断される。ステップＳ１２において、Ｇ画素の蓄積時間が、所定の閾値より大きいと判断された場合、ステップＳ１３に処理が進められ、Ｇ画素の蓄積時間が、所定の閾値より小さいと判断された場合、ステップＳ１４に処理が進められる。
先に、ステップＳ１４における処理について説明する。ステップＳ１４において、ゲインにより感度比の調整を行うと設定され、ゲインが設定される。Ｇ画素の蓄積時間が、所定の閾値より小さいと判断された場合、色毎の蓄積時間による調整では調整誤差が大きくなってしまうため色毎のゲインによる感度比の調整が行われる。このことについて、説明を加える。
例えば、ゲインの設定を０．３ｄＢステップで行え、蓄積時間の設定を１ラインステップで行えるシステム（CMOSイメージセンサ１１）であり、蓄積時間が５ラインであり、感度比を１．０６２５倍に調整する場合を例にあげて説明する。
感度比を蓄積時間で調整する場合、理想の蓄積時間は、
５×１．０６２５＝５．３１２５
ラインとなる。しかしながら、蓄積時間は１ラインステップでしか調整できないため、蓄積時間は５ラインまたは６ラインに設定される必要がある。仮に、６ラインに設定された場合、６ラインではオーバーしすぎるため、蓄積時間は５ラインに設定されることが好ましい。
そこで、蓄積時間が５ラインに設定されると、理想の蓄積時間との差分が生じ、その差分が誤差となる。この誤差［ｄＢ］は、(理想の蓄積時間−実際の蓄積時間)で求められ、以下のように求められる。
２０×ｌｏｇ（１．０６２５）―２０×ｌｏｇ（１．０）＝０．５２６５ ［ｄＢ］
すなわちこの場合、蓄積時間で、感度比を１．０６２５倍に調整すると、０．５２６５［ｄＢ］分だけ、理想の蓄積時間よりも誤差が生じることになる。
一方、同じ条件下で、ゲインで感度比を調整する場合、０．３ｄＢステップで感度比を１．０６２５倍するために一番近いところに設定されることになる。よって設定されるゲインは０．３ｄＢということになる。この時の、誤差［ｄＢ］は、以下のように算出される。
２０×ｌｏｇ（１．０６２５）―０．３＝０．２２６５ ［ｄＢ］
すなわちこの場合、ゲインで、感度比を１．０６２５倍に調整すると、０．２２６５［ｄＢ］分だけ、理想の蓄積時間よりも誤差が生じることになる。
所定の感度比に対して、ゲインでの調整誤差は照度によらず一定であるが、蓄積時間での調整の場合は、照度によって調整前の蓄積時間の値が変わってくるので、調整誤差が変わってくる。
この場合、蓄積時間で感度比を調整する場合、０．５２６５［ｄＢ］の誤差が生じ、ゲインで感度比を調整する場合、０．２２６５［ｄＢ］の誤差が生じることになる。よって、誤差の小さい、ゲインで感度比を調整する方が良いことがわかる。このように蓄積時間が、短い領域(高照度の領域)では、ゲインでの調整に比べて、蓄積時間での調整の方が、調整誤差が大きくなる場合がある。よって、ステップＳ１２において、Ｇ画素の蓄積時間が、所定の閾値よりも小さい場合とは、ゲインで調整した方が、蓄積時間で調整するよりも、誤差が小さい場合である。
ステップＳ１２において、Ｇ画素の蓄積時間と比較される所定の閾値は、このように、ゲインで調整した方が、蓄積時間で調整するよりも、誤差が小さいと判断するための閾値である。
図８に示したフローチャートに説明を戻し、ステップＳ１２において、Ｇ画素の蓄積時間が、所定の閾値よりも小さいと判断され、ステップＳ１４に処理が進められた場合、感度調整回路１９は、出力処理回路１８で水平走査線１７から順次供給される信号に対して適用するゲインを設定する。
この設定されるゲインは、例えば、図６を参照して説明したように設定される。すなわち、目標とする蓄積時間を算出し、その蓄積時間が最大設定値（図６では１０００）の何倍であるかを求め、その値からゲインを算出することで求められる。
一方、ステップＳ１２において、Ｇ画素の蓄積時間は、所定の閾値以上であると判断された場合、ステップＳ１３に処理が進められる。ステップＳ１３において、感度比からＲ画素の蓄積時間とＢ画素の蓄積時間が算出される。この感度比から蓄積時間を算出する仕方については、例えば、図５を参照して説明したように、その時点でのＧ画素の蓄積時間を、感度比で除算し、１００を乗算することで求められる。
例えば、図５Ｂを参照して説明したように、Ｇ画素の蓄積時間Ｓ＿Ｇ＝１００であり、Ｒ画素の感度比が、Ｇ画素に対して７０％（０．７）であったような場合、Ｒ画素の蓄積時間Ｓ＿Ｒは、１００×１００／７０＝１４３と算出される。Ｂ画素の蓄積時間も同様に算出される。
ステップＳ１３において、Ｒ画素とＢ画素の蓄積時間が、それぞれ算出されると、ステップＳ１５において、蓄積時間は、最大設定値以下であるか否かが判断される。この判断は、Ｒ画素とＢ画素のそれぞれにおいて行われるようにしても良いが、Ｒ画素の感度比が、Ｂ画素の感度比よりも高い場合、Ｂ画素の方が蓄積時間が長くなるので、Ｂ画素の蓄積時間が、最大設定値以下であるか否かが判断されるようにしても良い。また、このような判断を行うには、Ｂ画素の蓄積時間が算出されていればよいので、ステップＳ１３において蓄積時間が算出されるとき、Ｂ画素の蓄積時間のみが算出されるようにしても良い。
換言すれば、感度比が最も低い画素の蓄積時間が算出され、その蓄積時間が、最大設定値以下であるか否かが判断されるようにしても良いし、全ての色の画素の蓄積時間が算出され、そのうち、最も大きな値を有する蓄積時間が、最大設定値以下であるか否かが判断されるようにしても良い。
ステップＳ１５において、蓄積時間が最大設定値以下であると判断された場合、ステップＳ１６に処理が進められる。ステップＳ１６において、蓄積時間により感度比の調整が行われる。このステップＳ１５からステップＳ１６に処理が来るのは、図５を参照して説明した状況のときである。すなわち、蓄積時間が最大設定値以下であるので、蓄積時間の調整だけで、全ての色での感度比を一定にすることができる状態のときである。
一方、ステップＳ１５において、蓄積時間が最大設定値以上であると判断された場合、ステップＳ１７に処理が進められる。ステップＳ１７において、蓄積時間とゲインによる感度比の調整が行われる。このステップＳ１５からステップＳ１７に処理が来るのは、図６または図７を参照して説明した状況のときである。すなわち、蓄積時間が最大設定値以上である画素が含まれるため、その画素に対しては、蓄積時間の調整だけでなく、ゲインの調整もすることで、全ての色での感度比を一定にすることができるときである。
このようにして、全ての色で感度比が一定となるように、蓄積時間の調整とゲインの調整が行われる。
なお、ステップＳ１２において、Ｇ画素の蓄積時間が所定の閾値と同じ値であると判断された場合、ステップＳ１３に処理が進められるようにしても良いし、ステップＳ１４に処理が進められるようにしても良い。
また、ステップＳ１５において、蓄積時間と最大設定値が同じ値であると判断された場合、ステップＳ１６に処理が進められるようにしても、ステップＳ１７に進められるようにしても良い。ステップＳ１６に処理が進められ、蓄積時間の調整だけで感度比の調整が行われるようにしても蓄積時間と最大設定値が同じ値であるときには処理が可能なため、ゲインを調整することで、ノイズにもゲインがかけられてしまうことを考慮すると、ステップＳ１６に処理が進められるようにした方が、好ましい形態であると考えられる。
このように設定された基準の蓄積時間と各色の感度比から最適な設定が行われるので、撮像されるシーンの明るさによらず、常に一定の感度比を保った画像データがCMOSイメージセンサ１１から出力されるようにすることが可能となる。
また、各色の感度比を一定に保つことが可能となることで、色バランスの調整が容易になる。さらに、感度の異なる画素毎に飽和信号を使い切れるようになるため、Ｓ／Ｎ比を向上させることが可能となる。
［記録媒体について］
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３は、バス２０４により相互に接続されている。バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
以上のように構成されるコンピュータでは、ＣＰＵ２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、ＲＡＭ２０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（ＣＰＵ２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ＲＯＭ２０２や記憶部２０８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
１１ CMOSイメージセンサ， １２ タイミング制御回路， １３ 行走査回路， １４ 画素アレイ部， １６ 列走査回路， １７ 水平出力線， １８ 出力処理回路， １９ 感度調整回路， ２１ 画素

Claims (6)

  1. 光電変換素子を含み、行列状に２次元配列されるとともに色フィルタ配列により色毎にグループ分けされて配列されている画素と、
    前記画素に電荷を蓄積する蓄積時間を前記色毎に制御する蓄積時間制御手段と、
    前記画素から読み出される前記画素に蓄積された電荷に対応する信号を増幅するときのゲインを制御するゲイン制御手段と、
    前記蓄積時間制御手段に前記蓄積時間を前記色毎に設定し、前記ゲイン制御手段に前記ゲインを前記色毎に設定することで、前記色毎に異なる前記画素の感度比を調整する調整手段と
    を備え、
    前記調整手段は、
    感度比が最も良い前記画素に設定された蓄積時間と、前記色毎の感度比を取得する取得手段と、
    前記取得手段により取得された前記蓄積時間と前記感度比から、前記色毎に、前記画素の蓄積時間を算出する算出手段と、
    前記算出手段により算出された蓄積時間の全てが最大設定値以下である場合、その算出された蓄積時間を前記蓄積時間制御手段に設定する第１の設定手段と、
    前記算出手段により算出された蓄積時間のうち、蓄積時間の最大設定値を超える蓄積時間が算出された色がある場合、その色の信号に対しては、前記最大設定値での蓄積時間を前記蓄積時間制御手段に設定するとともに、前記蓄積時間の不足分を補うために、前記色の信号に対して乗算するゲインを算出し、前記ゲイン制御手段に設定する第２の設定手段と、
    前記取得手段により取得された前記蓄積時間が、所定の閾値以下か否かを判断する判断手段と、
    前記判断手段により、前記画素の蓄積時間が、所定の閾値以下であると判断された場合、前記色毎に、それぞれの信号に対して乗算するゲインを前記取得手段で取得された前記感度比を基に算出し、前記ゲイン制御手段に設定する第３の設定手段と
    を備える撮像素子。
  2. 前記所定の閾値は、ゲインを調整することで前記色毎の画素の感度比を調整する方が、蓄積時間で調整するよりも、前記感度比の調整における誤差が小さいと判断される値である
    請求項１に記載の撮像素子。
  3. 光電変換素子を含み、行列状に２次元配列されるとともに色フィルタ配列により色毎にグループ分けされて配列されている画素と、
    前記画素に電荷を蓄積する蓄積時間を前記色毎に制御する蓄積時間制御手段と、
    前記画素から読み出される前記画素に蓄積された電荷に対応する信号を増幅するときのゲインを制御するゲイン制御手段と、
    前記蓄積時間制御手段に前記蓄積時間を前記色毎に設定し、前記ゲイン制御手段に前記ゲインを前記色毎に設定することで、前記色毎に異なる前記画素の感度比を調整する調整手段と
    を備える撮像素子の駆動制御方法において、
    前記調整手段は、
    感度比が最も良い前記画素に設定された蓄積時間と、前記色毎の感度比を取得し、
    取得された前記蓄積時間と前記感度比から、前記色毎に、前記画素の蓄積時間を算出し、
    算出された蓄積時間の全てが最大設定値以下である場合、その算出された蓄積時間を前記蓄積時間制御手段に設定し、
    算出された蓄積時間のうち、蓄積時間の最大設定値を超える蓄積時間が算出された色がある場合、その色の信号に対しては、前記最大設定値での蓄積時間を前記蓄積時間制御手段に設定するとともに、前記蓄積時間の不足分を補うために、前記色の信号に対して乗算するゲインを算出し、前記ゲイン制御手段に設定し、
    取得された前記蓄積時間が、所定の閾値以下か否かを判断し、
    前記画素の蓄積時間が、所定の閾値以下であると判断された場合、前記色毎に、それぞれの信号に対して乗算するゲインを取得された前記感度比を基に算出し、前記ゲイン制御手段に設定する
    ステップを含む駆動制御方法。
  4. 前記所定の閾値は、ゲインを調整することで前記色毎の画素の感度比を調整する方が、蓄積時間で調整するよりも、前記感度比の調整における誤差が小さいと判断される値である
    請求項３に記載の駆動制御方法。
  5. 光電変換素子を含み、行列状に２次元配列されるとともに色フィルタ配列により色毎にグループ分けされて配列されている画素と、
    前記画素に電荷を蓄積する蓄積時間を前記色毎に制御する蓄積時間制御手段と、
    前記画素から読み出される前記画素に蓄積された電荷に対応する信号を増幅するときのゲインを制御するゲイン制御手段と、
    前記蓄積時間制御手段に前記蓄積時間を前記色毎に設定し、前記ゲイン制御手段に前記ゲインを前記色毎に設定することで、前記色毎に異なる前記画素の感度比を調整する調整手段と
    を備える撮像素子の前記調整手段を制御するコンピュータに、
    感度比が最も良い前記画素に設定された蓄積時間と、前記色毎の感度比を取得し、
    取得された前記蓄積時間と前記感度比から、前記色毎に、前記画素の蓄積時間を算出し、
    算出された蓄積時間の全てが最大設定値以下である場合、その算出された蓄積時間を前記蓄積時間制御手段に設定し、
    算出された蓄積時間のうち、蓄積時間の最大設定値を超える蓄積時間が算出された色がある場合、その色の信号に対しては、前記最大設定値での蓄積時間を前記蓄積時間制御手段に設定するとともに、前記蓄積時間の不足分を補うために、前記色の信号に対して乗算するゲインを算出し、前記ゲイン制御手段に設定し、
    取得された前記蓄積時間が、所定の閾値以下か否かを判断し、
    前記画素の蓄積時間が、所定の閾値以下であると判断された場合、前記色毎に、それぞれの信号に対して乗算するゲインを取得された前記感度比を基に算出し、前記ゲイン制御手段に設定する
    ステップを含む処理を実行させるプログラム。
  6. 前記所定の閾値は、ゲインを調整することで前記色毎の画素の感度比を調整する方が、蓄積時間で調整するよりも、前記感度比の調整における誤差が小さいと判断される値である
    請求項５に記載のプログラム。
JP2009219626A 2009-09-24 2009-09-24 撮像素子、駆動制御方法、並びにプログラム Expired - Fee Related JP5487845B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2009219626A JP5487845B2 (ja) 2009-09-24 2009-09-24 撮像素子、駆動制御方法、並びにプログラム
US13/496,016 US8446489B2 (en) 2009-09-24 2010-09-14 Imaging device, drive control method, and program
CN2010800529335A CN102668544A (zh) 2009-09-24 2010-09-14 成像器件、驱动控制方法和程序
KR1020127007295A KR20120069694A (ko) 2009-09-24 2010-09-14 촬상 소자, 구동 제어 방법 및 프로그램
EP10818723.8A EP2482544A4 (en) 2009-09-24 2010-09-14 IMAGE CAPTURE DEVICE, EXCITATION CONTROL METHOD, AND PROGRAM
PCT/JP2010/065861 WO2011037048A1 (ja) 2009-09-24 2010-09-14 撮像素子、駆動制御方法、並びにプログラム
TW102138935A TW201415885A (zh) 2009-09-24 2010-09-23 攝像元件、驅動控制方法、及程式產品
TW099132212A TWI424745B (zh) 2009-09-24 2010-09-23 Imaging components, drive control methods, and program products

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009219626A JP5487845B2 (ja) 2009-09-24 2009-09-24 撮像素子、駆動制御方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2011071647A JP2011071647A (ja) 2011-04-07
JP5487845B2 true JP5487845B2 (ja) 2014-05-14

Family

ID=43795798

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009219626A Expired - Fee Related JP5487845B2 (ja) 2009-09-24 2009-09-24 撮像素子、駆動制御方法、並びにプログラム

Country Status (7)

Country Link
US (1) US8446489B2 (ja)
EP (1) EP2482544A4 (ja)
JP (1) JP5487845B2 (ja)
KR (1) KR20120069694A (ja)
CN (1) CN102668544A (ja)
TW (2) TWI424745B (ja)
WO (1) WO2011037048A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5824297B2 (ja) * 2011-08-30 2015-11-25 キヤノン株式会社 画像処理装置及び方法、及び撮像装置
JP2014175832A (ja) * 2013-03-08 2014-09-22 Toshiba Corp 固体撮像装置
EP3076662A4 (en) 2013-11-26 2017-08-09 Nikon Corporation Electronic device, imaging device, and imaging element
JP6916418B2 (ja) * 2013-11-26 2021-08-11 株式会社ニコン 撮像装置
WO2016013412A1 (ja) * 2014-07-25 2016-01-28 ソニー株式会社 固体撮像素子、撮像制御方法、信号処理方法、及び、電子機器
JP6669246B2 (ja) * 2016-03-16 2020-03-18 株式会社リコー 光電変換装置、画像読取装置及び画像形成装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003163937A (ja) * 2001-11-26 2003-06-06 Fuji Photo Film Co Ltd 固体撮像素子および撮像装置
JP4094364B2 (ja) * 2002-07-19 2008-06-04 富士フイルム株式会社 固体撮像装置およびその測光方法
US7880785B2 (en) 2004-07-21 2011-02-01 Aptina Imaging Corporation Rod and cone response sensor
JP2006253876A (ja) 2005-03-09 2006-09-21 Sony Corp 物理量分布検知装置および物理量分布検知装置の駆動方法
JP2007082023A (ja) * 2005-09-16 2007-03-29 Casio Comput Co Ltd 撮像装置、及び撮像方法
JP4187004B2 (ja) * 2006-04-17 2008-11-26 ソニー株式会社 撮像装置および撮像装置の露光制御方法
JP4609428B2 (ja) * 2006-12-27 2011-01-12 ソニー株式会社 固体撮像装置、固体撮像装置の駆動方法および撮像装置
JP4984981B2 (ja) * 2007-03-08 2012-07-25 ソニー株式会社 撮像方法および撮像装置並びに駆動装置
JP2008236030A (ja) * 2007-03-16 2008-10-02 Sanyo Electric Co Ltd 電子カメラ
JP5025746B2 (ja) * 2010-03-19 2012-09-12 株式会社東芝 固体撮像装置

Also Published As

Publication number Publication date
EP2482544A4 (en) 2014-04-30
KR20120069694A (ko) 2012-06-28
TWI424745B (zh) 2014-01-21
JP2011071647A (ja) 2011-04-07
TW201143402A (en) 2011-12-01
EP2482544A1 (en) 2012-08-01
CN102668544A (zh) 2012-09-12
TW201415885A (zh) 2014-04-16
WO2011037048A1 (ja) 2011-03-31
US8446489B2 (en) 2013-05-21
US20120169908A1 (en) 2012-07-05

Similar Documents

Publication Publication Date Title
US9344637B2 (en) Image processing apparatus, imaging apparatus, image processing method, and program
US10110827B2 (en) Imaging apparatus, signal processing method, and program
EP2037668B1 (en) Image sensor apparatus and method for improved dynamic range with multiple readout circuit paths
JP5106052B2 (ja) 固体撮像素子、撮像システム、及び固体撮像素子の駆動方法
KR101000627B1 (ko) 반도체 장치 제어 방법, 신호 처리 방법, 반도체 장치 및전자 기기
US7645978B2 (en) Image sensing apparatus and image sensing method using image sensor having two or more different photoelectric conversion characteristics
JP5487845B2 (ja) 撮像素子、駆動制御方法、並びにプログラム
JP5223953B2 (ja) 固体撮像装置、固体撮像装置の駆動方法および撮像装置
US20130021510A1 (en) Image pickup apparatus capable of changing operation condition of image sensing device and control method therefor
US10863101B2 (en) Image capturing apparatus and method of controlling the same
JP2011049892A (ja) 撮像装置
JP2008042298A (ja) 固体撮像装置
US8149308B2 (en) Solid-state image pickup device
KR20120114161A (ko) 고체 촬상 소자 및 구동 방법, 및 전자 기기
CN108432238B (zh) 固体摄像装置、固体摄像装置的驱动方法以及电子设备
JP6929106B2 (ja) 撮像装置及び撮像装置の制御方法
CN108432239B (zh) 固体摄像装置、固体摄像装置的驱动方法以及电子设备
JP3845860B2 (ja) 撮像装置、撮像結果の処理方法及び撮像結果の処理プログラム
JP2024057445A (ja) 撮像装置およびその制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140128

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140210

LAPS Cancellation because of no payment of annual fees