JPWO2018105474A1 - 固体撮像装置および撮像装置 - Google Patents

固体撮像装置および撮像装置 Download PDF

Info

Publication number
JPWO2018105474A1
JPWO2018105474A1 JP2018554955A JP2018554955A JPWO2018105474A1 JP WO2018105474 A1 JPWO2018105474 A1 JP WO2018105474A1 JP 2018554955 A JP2018554955 A JP 2018554955A JP 2018554955 A JP2018554955 A JP 2018554955A JP WO2018105474 A1 JPWO2018105474 A1 JP WO2018105474A1
Authority
JP
Japan
Prior art keywords
sensitivity
signal
pixel
low
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018554955A
Other languages
English (en)
Other versions
JP7014734B2 (ja
Inventor
誠 生熊
裕之 網川
崇泰 鬼頭
進一 荻田
純一 松尾
康行 遠藤
克巳 徳山
哲也 阿部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2018105474A1 publication Critical patent/JPWO2018105474A1/ja
Application granted granted Critical
Publication of JP7014734B2 publication Critical patent/JP7014734B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14603Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/142Energy conversion devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/581Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/581Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/59Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/65Noise processing, e.g. detecting, correcting, reducing or removing noise applied to reset noise, e.g. KTC noise related to CMOS structures by techniques other than CDS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0033Rear-view mirrors
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02EREDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00Energy generation through renewable energy sources
    • Y02E10/50Photovoltaic [PV] energy

Abstract

固体撮像装置(1)は、行列状に配置され所定の感度で光電変換する複数の高感度画素と、前記複数の高感度画素の隙間に行列状に配置され前記所定の感度よりも低い感度で光電変換する複数の低感度画素と、前記高感度画素からの信号と前記低感度画素からの信号との差分信号を検出し、前記高感度画素の信号を前記差分信号によって補正することにより画素信号を生成する信号処理部(70)とを備える。

Description

本開示は、固体撮像装置および撮像装置に関する。
従来、固体撮像装置では、ダイナミックレンジを拡大するために、例えば、特許文献1に示すような固体撮像装置が提案されている。特許文献1の固体撮像装置は、高感度画素と、高感度画素より感度が低い低感度画素の両方を有し、例えば段落0059で「高感度画素では電荷蓄積領域を深く形成し、低感度画素では電荷蓄積領域を浅く形成することによって、高感度側と低感度側の両方から広ダイナミックレンジ化を実現すること」を提案している。
特開2007−266556号公報
しかしながら、この特許文献1によれば、ダイナミックレンジ拡大とフリッカー抑制を両立が困難であるという課題がある。
ここで、フリッカー抑制について、まず説明する。近年、LED光源(発光ダイオード光源)やLD光源(レーザーダイオード光源)が普及している。これらの光源は、人の目には感知できない程度の速度で点灯と消灯を繰り返すダイナミック点灯を行うことが多い。言い換えれば、人の目には感知できない速度のフリッカーが生じている。例えば、LED光源は、照明器具の他に、信号機、車のヘッドライト、ストップランプなどに利用されている。ダイナミック点灯では人間の目には光源が常時点灯しているように見えるけれども、固体撮像装置にはフリッカーが影響する。固体撮像装置が、このような光源を撮像した場合、あるいは、このような光源を用いた照明環境で撮像した場合、光源が点灯している画像が得られる場合(あるいは明るい画像が得られる場合)と、光源が消灯している画像が得られる場合(あるいは暗い画像が得られる場合)とがある。つまり、撮像画像そのものにフリッカーが現れる現象が生じる。後者、つまり、光源が消灯している画像が得られる場合(あるいは暗い画像が得られる場合)は、撮像不良と言える。以下、このようなフリッカー起因の撮像不良を抑制することをフリッカー抑制と呼ぶ。
特許文献1によれば、ダイナミックレンジを拡大するために、低照度時は、高感度画素を使用して露光時間を長くし、高照度時は、低感度画素を使用して露光時間を短くしている。
このため、高照度時は露光時間が短いためフリッカー抑制が困難であるという課題がある。逆に、露光時間を長くすれば、フリッカー抑制はできるが、画素が飽和するのでダイナミックレンジが狭くなってしまう。
一方、低照度時は露光時間が長いためフリッカー抑制を期待できるが画素が飽和するのでダイナミックレンジが狭いという課題がある。逆に、露光時間を短くすれば、ダイナミックレンジが狭くなる課題は抑制できるが、フリッカー抑制を期待できない。
上記課題に鑑み本開示は、フリッカー抑制とダイナミックレンジの拡大とを両立する固体撮像装置および撮像装置を提供する。
上記課題を解決するため本開示における固体撮像装置は、行列状に配置され所定の感度で光電変換する複数の高感度画素と、前記複数の高感度画素の隙間に行列状に配置され前記所定の感度よりも低い感度で光電変換する複数の低感度画素と、前記高感度画素からの信号と前記低感度画素からの信号との差分信号を検出し、前記高感度画素の信号を前記差分信号によって補正することにより画素信号を生成する信号処理部と、を備える。
本開示の固体撮像装置および撮像装置によれば、フリッカー抑制とダイナミックレンジの拡大とを両立することができる。
図1は、実施の形態1に係る固体撮像装置の構成例を示すブロック図である。 図2は、実施の形態1に係る画素回路の回路例を示す図である。 図3は、実施の形態1に係る画素読み出しの動作例を示すタイムチャートである。 図4は、LEDフリッカーの説明図である。 図5は、実施の形態1に係るゲイン制御を伴う画素読み出しの動作例を示すタイムチャートである。 図6Aは、実施の形態1に係る低感度画素の制御電圧と画素飽和レベルとを示す図である。 図6Bは、実施の形態1に係る照度・露光時間と電荷蓄積レベルとを示す図である。 図7は、実施の形態1に係る高感度画素および低感度画素の配置例を示す図である。 図8Aは、実施の形態1に係る高感度画素および低感度画素の露光動作の一例を示す図である。 図8Bは、実施の形態1に係る高感度画素および低感度画素の露光動作と行走査の一例を示す図である。 図9Aは、実施の形態1に係る信号処理部の構成例を示す図である。 図9Bは、実施の形態1に係る補正回路の構成例を示す図である。 図9Cは、実施の形態1に係る図9Aの信号処理部の動作例を示す説明図である。 図10は、実施の形態1に係る、被写体照度に対する高感度画素および低感度画素の特性例を示す図である。 図11は、実施の形態1に係る、図9Aの信号処理部におけるWDR合成例を示す説明図である。 図12Aは、実施の形態1に係る信号処理部の他の構成例を示す図である。 図12Bは、実施の形態1に係る図12Aの信号処理部の動作例を示す説明図である。 図13は、実施の形態1に係る、図12Aの信号処理部におけるWDR合成例を示す説明図である。 図14は、実施の形態2に係る画素回路の回路例を示す図である。 図15は、実施の形態2に係るゲイン制御を伴う画素読み出しの動作例を示すタイムチャートである。 図16Aは、実施の形態2に係る低感度画素の制御電圧と画素飽和レベルとを示す図である。 図16Bは、実施の形態2に係る照度・露光時間と電荷蓄積レベルとを示す図である。 図17は、実施の形態2に係る高感度画素および低感度画素の配置例を示す図である。 図18Aは、実施の形態2に係る高感度画素および低感度画素の露光時間の一例を示す図である。 図18Bは、実施の形態2に係る高感度画素および低感度画素の露光時間と行走査の一例を示す図である。 図19Aは、実施の形態2に係る信号処理部の構成例を示す図である。 図19Bは、実施の形態2に係る図19Aの信号処理部の動作例を示す説明図である。 図20は、実施の形態2に係る、被写体照度に対する高感度画素および低感度画素の特性を示す図である。 図21は、実施の形態2に係る、図19Aの信号処理部におけるWDR合成例を示す説明図である。 図22Aは、実施の形態3に係る、通常露光と中間露光とを示すタイムチャートである。 図22Bは、実施の形態3に係る、通常露光と中間露光との動作例を示す説明図である。 図23Aは、実施の形態3に係る高感度画素および低感度画素の露光時間の一例を示す図である。 図23Bは、実施の形態3に係る高感度画素および低感度画素の露光時間と行走査の一例を示す図である。 図24Aは、実施の形態3に係る高感度画素および低感度画素の露光時間の他の例を示す図である。 図24Bは、実施の形態3に係る高感度画素および低感度画素の露光時間と行走査の他の例を示す図である。 図25Aは、実施の形態4に係る撮像装置の構成例を示すブロック図である。 図25Bは、実施の形態4に係る撮像装置の他の構成例を示すブロック図である。 図26Aは、実施の形態4に係る撮像装置の自動車への搭載例を示す図である。 図26Bは、実施の形態4に係る図26Aの搭載例における撮像範囲の一例を示す図である。
(本開示に至った経緯)
まず、背景技術で述べた課題について、図4を用いて説明する。
図4は、LEDフリッカーの説明図である。同図の横軸は、フリッカーの周波数、つまり、LEDの点灯と消灯とを1周期とする周波数を示す。縦軸は、フリッカーのデューティ、つまり、点灯と消灯の周期のうちの点灯の割合を示す。例えば、信号機のフリッカー周波数は90Hz程度であり、車のヘッドライトのフリッカー周波数は1000Hz程度である。
一般に、LEDフリッカーの抑制には、文献1のように、感度の異なる画素を複数設けて、これら複数の画素の出力信号の処理により正しい画像を出力する。
このとき、1つ目の課題は、LED光(点灯と消灯を繰り返す発光、パルス光)の取りこぼし(課題1)である。原因は、特に明時で露光時間が短いとき、ローリングシャッターによる露光タイミングとLED点灯タイミングとの不一致である(原因1)。これに対しては、飽和/感度比の高い低感度画素露光時間を長くすること(例えば1垂直走査期間)により解決可能である(対策1)。
2つ目の課題は、画素飽和(課題2)である。原因は、LEDフリッカーのDutyが大きい場合や露光時間が長い場合に、画素が飽和レベルに達してしまい、ホワイトバランスが崩れてしまう(原因2)。これに対しては、飽和/感度比の異なる複数の画素を搭載して、画素飽和を生じにくくし、低感度画素のダイナミックレンジを拡大する(対策2)。
言い換えると、LED光を撮像する低感度画素は、上記課題1、2に対して、常時露光(対策1)と飽和/感度比の異なる複数の画素を搭載(対策2)すればよい。
さらに、この非連続的なLED光を撮像する低感度画素の露光時間やゲインのパラメータは、連続的な光を撮像する高感度画素の露光時間やゲインのパラメータと独立に設定してもよい。
これにより、輸送機器(一例として、自動車)を固体撮像装置により撮像するとき、フリッカー抑制とワイドダイナミックレンジ機能(WDR機能)のパラメータを完全に独立に設定でき、両立することが可能になる。
このように、ダイナミックレンジ拡大とフリッカー抑制の両立は、感度の異なる高感度画素と低感度画素を備え、高感度画素と低感度画素は平行して露光し、低感度画素の露光時間は高感度画素の露光時間よりも長く、高感度画素の信号を低感画素の信号で補正して1画素信号を生成することにより実現可能である。さらに、この低感度画素の仕様としては、飽和レベルを高くするためにフォトゲート構造を使用して、感度を低くするためにNDフィルタ(グレイフィルタ)を使用して、飽和/感度比を高くしてもよい。
このような方法によれば、例えば低照度時においては、高感度画素を使用することで、画素内ゲインを高くして、画素増幅トランジスタやアナログ回路で発生するノイズに対して、受光量に応じた電圧(画素信号)が大きくなるようにしてもよい。つまり、暗い被写体に対しては、SN(Signal to Noise ratio)の高い高画質の画像の出力を可能にしている。
一方、高照度時においては、飽和/感度比の高い低感度画素を使用して、画素内ゲインを低くすることで、ダイナミックレンジを拡大し、長期間の露光時間を可能にしている。つまり、明るい被写体に対しては、被写体に応じた階調を正確に再現して白とびのない画像の出力を可能にし、さらに、フリッカーの抑制を可能にしている。
そこで、本発明者らは、ダイナミックレンジ拡大とフリッカー抑制する技術として、飽和/感度比の高い低感度画素を使用することにより、低照度時の高画質化と高照度時のダイナミックレンジ拡大とフリッカー抑制を両立する固体撮像装置等を想到するに至った。
以下、本開示を実施するための形態に係る固体撮像装置を、図面を参照しながら説明する。
但し、必要以上に詳細な説明は省略する場合がある。
例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は当業者が本開示を十分に理解するためのものであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。つまり、以下の実施の形態は、いずれも本開示の一具体例を示すものであり、数値、形状、構成要素、構成要素の配置位置および接続形態、処理の順序などは、一例であり、本開示を限定するものではない。
(実施の形態1)
まず、本実施の形態に係る固体撮像装置の構成例について説明する。
[固体撮像装置1の構成例]
図1は、実施の形態に係る固体撮像装置1の構成例を示すブロック図である。
同図に示す固体撮像装置1は、画素アレイ部10、水平走査回路12、垂直走査回路14、複数の垂直信号線19、タイミング制御部20、カラム処理部26、参照信号生成部27、出力回路28、および信号処理部70を備える。また、固体撮像装置1は、外部からマスタークロック信号の入力を受けるMCLK端子、外部との間でコマンドまたはデータを送受信するためのDATA端子、外部へ映像データを送信するためのD1端子等を備え、これ以外にも電源電圧、グラウンド電圧が供給される端子類を備える。
画素アレイ部10は、行列状に配置された複数の画素回路3を有する。複数の画素回路3は、図1ではn行m列に配置されている。各画素回路3は、少なくとも一対の高感度画素と低感度画素を含む。すなわち、各画素回路3は、所定の感度で光電変換する少なくとも1つの高感度画素と、所定の感度よりも低い感度で光電変換する少なくとも1つの低感度画素とを含む。
水平走査回路12は、複数のカラムAD回路25内のメモリ256を順に走査することにより、AD変換された画素信号を水平信号線18に出力する。この走査は、カラムAD回路25の並び順と同じでよい。
垂直走査回路14は、画素アレイ部10内の画素回路3の行毎に設けられた水平走査線群(行制御線群とも呼ぶ)15を行単位に走査する。これにより、垂直走査回路14は、画素回路3を行単位に選択し、選択した行に属する画素回路3から画素信号をm本の垂直信号線19に同時に出力させる。水平走査線群15は、画素回路3の行と同数設けられる。図1では、n個の水平走査線群15(図1ではV1、V2、・・・、Vn)が設けられている。水平走査線群15のそれぞれは、リセット制御線φRS、読み出し制御線φTR1、φTR2、ゲイン制御線φGC、選択制御線φSELを含む。
垂直信号線19は、画素アレイ部10内の画素回路3の列毎に設けられ、選択された行に属する画素回路3からの画素信号をカラムAD回路25に伝播する。複数の垂直信号線19は、図1では垂直信号線H1〜Hmのm本からなる。複数のADC入力線は、図1ではADC入力線ADIN1〜ADINmのm本からなる。
タイミング制御部20は、種々の制御信号群を生成することにより、固体撮像装置1の全体を制御する。種々の制御信号群には、制御信号群CN1、CN2、CN4、CN5、CN8、カウンタクロック信号CK0が含まれる。例えば、タイミング制御部20は、端子を介してマスタークロックMCLKを受け取り、種々の内部クロックを生成し水平走査回路12や垂直走査回路14などを制御する。
カラム処理部26は、列毎に設けられたカラムAD回路25を備える。各カラムAD回路25は、垂直信号線19からの画素信号をAD変換する。
カラムAD回路25のそれぞれは、電圧比較器252、カウンタ部254、およびメモリ256を備える。
電圧比較器252は、垂直信号線19からのアナログの画素信号と、参照信号生成部27で生成される、ランプ波形(つまり三角波)を含む参照信号RAMPとを比較し、例えば、前者が後者より大きくなった時に比較結果を示す出力信号を反転する。
カウンタ部254は、参照信号RAMP中の三角波の変化開始から電圧比較器252の出力信号が反転するまでの時間をカウントする。反転するまでの時間は、アナログ画素信号の値に応じて定まるので、カウント値はデジタル化された画素信号の値になる。
メモリ256は、カウンタ部254のカウント値つまりデジタルの画素信号を保持する。
参照信号生成部27は、三角波を含む参照信号RAMPを生成し、各カラムAD回路25内の電圧比較器252のプラス入力端子に参照信号RAMPを出力する。
出力回路28は、デジタルの画素信号を映像データ端子D1に出力する。
信号処理部70は、補正部75とWDR合成回路76とを有し、高感度画素からの信号と低感度画素からの信号との差分信号を検出し、高感度画素の信号を差分信号によって補正することにより画素信号を生成する。これにより、信号処理部70は、ダイナミックレンジの拡大とフリッカー抑制との両立を図る。
[画素回路3の構成例]
次に、画素回路3の構成例について説明する。
図2は、実施の形態1に係る画素回路3の回路例を示す図である。同図の画素回路3は、一対の高感度画素PDおよび低感度画素Kと、浮遊拡散層FDと、第1転送トランジスタTR1と、第2転送トランジスタTR2と、リセットトランジスタRSと、ゲイン制御トランジスタGCと、増幅トランジスタSFと、選択トランジスタSELとを備える。
高感度画素PDは、フォトダイオード等の光電変換素子であり、所定の感度で光電変換する、すなわち、受光量に応じた電荷を発生する。
低感度画素Kは、フォトダイオード等の光電変換素子であり、所定の感度よりも低い感度で光電変換する。例えば、低感度画素Kの受光面積は、高感度画素PDの受光面積よりも小さい。
また、低感度画素Kには、低感度画素Kの一部を覆う制御電極PGが設けられている。制御電極PGは、制御電極PGに印加される電圧(同図では制御電圧φPG)に応じて対応する低感度画素Kの表面のポテンシャルを制御する。これにより、制御電極PGは、低感度画素Kの飽和レベルを増減させることができる。
浮遊拡散層FDは、高感度画素PDまたは低感度画素Kから転送される信号電荷(例えば電子)を保持し、保持する信号電荷を電圧に変換し、変換した電圧を増幅トランジスタSFのゲートに供給する。浮遊拡散層FDの実質的な容量は、浮遊拡散層FDそのものの容量だけでなく、増幅トランジスタSFのゲート容量Cfd1、増幅トランジスタSFのゲート−ドレイン間容量Cp1、および、ゲイン制御トランジスタGCがオンのときのゲイン制御トランジスタGCのドレイン配線の浮遊容量Cfd2を含む。
第1転送トランジスタTR1は、読み出し制御信号φTR1に応じてオンおよびオフするスイッチトランジスタである。第1転送トランジスタTR1は、読み出し制御信号φTR1がハイレベルのときに、高感度画素PDが光電変換した信号電荷を浮遊拡散層FDに転送する(言い換えれば、読み出す)。
第2転送トランジスタTR2は、読み出し制御信号φTR2に応じてオンおよびオフするスイッチトランジスタである。第2転送トランジスタTR2は、読み出し制御信号φTR2がハイレベルのときに、低感度画素Kが光電変換した信号電荷を、ゲイン制御トランジスタGCを介して、浮遊拡散層FDに転送する(言い換えれば、読み出す)。
リセットトランジスタRSは、リセット制御信号φRSに応じてオンおよびオフするスイッチトランジスタである。リセットトランジスタRSは、リセット制御信号φRSがハイレベルのときに、ドレインに印加されている電源電圧をリセットレベルとして、ゲイン制御トランジスタGCを介して、浮遊拡散層FDに設定する。つまり、リセットトランジスタRSは、リセット制御信号φRSがハイレベルのときに、浮遊拡散層FDをリセットレベルにリセットする。
ゲイン制御トランジスタGCは、ゲイン制御信号φGCに応じて、第2転送トランジスタTR2と浮遊拡散層FDとを電気的に切断または接続する。これにより、浮遊拡散層FDにおける信号電荷を電圧に変換する変換ゲイン変更する。すなわち、高感度画素PDから浮遊拡散層FDへの信号電荷の転送において、ゲイン制御トランジスタGCをオフにすれば浮遊拡散層FDの変換ゲインをより高くする。また、低感度画素Kから浮遊拡散層FDへの信号電荷の転送において、ゲイン制御トランジスタGCをオンにすることにより浮遊拡散層FDの変換ゲインを低くする。
増幅トランジスタSFは、垂直信号線19に接続されたロード電流源30とペアとともにソースフォロアを構成し、ゲートの電圧つまり浮遊拡散層FDの電圧をアナログ画素信号として垂直信号線19に出力する。
選択トランジスタSELは、選択制御信号φSELに応じてオンおよびオフするスイッチトランジスタである。選択トランジスタSELは、選択制御信号φSELがハイレベルのとき、増幅トランジスタSFのソースと垂直信号線19とを電気的に接続する。
なお、図2に示した画素回路3は、2画素1セル構造の例を示している。ここでいう「2画素」は、高感度画素PDと低感度画素Kの2つ、つまり、フォトダイオード等の光電変換素子が2つあることを意味する。「1セル」は、当該「2画素」が共有する浮遊拡散層FD、リセットトランジスタRS、増幅トランジスタSFおよび選択トランジスタSELを備える回路単位に対応する。
[相関二重検出による読み出し動作例]
次に、アナログ画素信号のリセットレベルと信号レベルとを読み出して相関二重検出する動作について説明する。
図3は、実施の形態に係る固体撮像装置1の1回の露光動作に伴う信号読み出し動作例を示すタイムチャートである。固体撮像装置1は、高感度画素に対しては、1垂直走査期間内に、露光時間の異なる複数回の露光動作を行う。また、固体撮像装置1は、低感度画素に対しては、1垂直走査期間内に、1回の露光動作を行う。
参照信号RAMPは、図3のダウンカウント期間(t10からt14)およびアップカウント期間(t20からt24)のそれぞれにおいて三角波となる。
ダウンカウント期間は、増幅トランジスタSFから出力されるアナログ画素信号のうちのリセット成分VrstのレベルをAD変換するための期間である。ダウンカウント期間の開始(三角波の変化開始)から電圧比較器252の出力が反転するまでの時間がカウンタ部254によりダウンカウントされる。このカウント値はアナログ画素信号のリセット成分VrstのAD変換結果そのものである。
アップカウント期間は、増幅トランジスタSFから出力される、アナログ画素信号のうちのデータ成分(信号成分Vsig+リセット成分Vrst)のレベルをAD変換するための期間である。アップカウント期間の開始(三角波の変化開始)から電圧比較器252の出力が反転するまでの時間がカウンタ部によりアップカウントされる。このアップカウントは、アナログ画素信号のうちのデータ成分(Vsig+Vrst)をデジタル値に変換する。このアップカウントは、リセット成分Vrstを示すダウンカウント値を初期値とするので、アップカウント期間の終了時のカウント値は、データ成分からリセット成分を減算するCDS(Correlated Double Sampling:相関二重検出)の結果を表す。つまり、アップカウント期間の終了時のカウント値は、信号成分Vsigを表すデジタル値そのものである。このように、カラムAD回路25は、誤差となる各列のクロックスキューやカウンタディレイ等のばらつきを排除して、真の信号成分Vsigのみを取り出す、つまり、デジタルCDSを行う。
[ゲイン制御を伴う読み出し動作]
図5は実施の形態1に係るゲイン制御を伴う画素読み出しの動作例を示すタイムチャートである。浮遊拡散層FDにおける信号電荷を電圧に変換するゲインは、ゲイン制御トランジスタGCのオンおよびオフに応じて高いゲインと低いゲインとに切り替え可能である。図5の(a)は、浮遊拡散層FDの変換ゲインが高い状態での高感度画素PDから浮遊拡散層FDへの信号電荷の読み出し動作を示す。図5の(b)は、浮遊拡散層FDの変換ゲインが低い状態での低感度画素Kから浮遊拡散層FDへの信号電荷の読み出し動作を示す。
図5の(a)において、浮遊拡散層FDは、リセット制御信号φRSの正パルスによってリセットされ、読み出し制御信号φTR1の正パルスによって高感度画素PDから信号電荷が転送される。読み出し制御信号φTR1がハイレベルのときに、ゲイン制御信号φGCはローレベルであり、ゲイン制御トランジスタGCはオフになっている。つまり、浮遊拡散層FDの容量は主にCfd1となりFD変換ゲインが高くなる。
図5の(b)において、浮遊拡散層FDは、リセット制御信号φRSの正パルスによってリセットされ、読み出し制御信号φTR2の正パルスによって低感度画素Kから信号電荷が転送される。読み出し制御信号φTR2がハイレベルのときに、ゲイン制御信号φGCはハイレベルであり、ゲイン制御トランジスタGCはオンになっている。つまり、浮遊拡散層FDの容量は主にCfd1+Cfd2となり、FD変換ゲインが低くなる。
このように、ゲイン制御トランジスタGCは、ゲイン制御信号φGCによって、読み出し時にローレベルであれば浮遊拡散層FDの変換ゲインが高くなる。逆に、読み出し時にハイレベルであれば低くなる。
さらに、低感度画素Kは、制御電圧φPGによって低感度画素Kの表面近くに蓄積できる信号電荷量ひいては飽和レベルを可変にすることができる。図5の(b)のように、露光時間中は、制御電圧φPGはハイレベルであり、より多くの信号電荷を蓄積する。読み出し時には制御電圧φPGはローレベルであり、信号電荷を排出する。
次に、低感度画素Kの飽和レベルおよび感度について図6A、図6Bを用いて説明する。
図6Aは、実施の形態1に係る低感度画素Kの制御電圧φPGと画素飽和レベルとを示す図である。同図の横軸は、制御電圧φPGを、縦軸は画素飽和レベルを示す。また、図6Bは、実施の形態1に係る照度・露光時間と電荷蓄積レベルとを示す図である。同図の横軸は、照度と露光時間の積、一定時間の照度、または、一定照度での露光時間を示す。縦軸は、電荷蓄積レベルを示す。
低感度画素Kの電荷蓄積領域は、制御電極PGのない従来のフォトダイオードと同様に深く形成された領域と、制御電極PGによって新たに表面近くに形成された領域とからなる。制御電圧ΦPGが低い電圧であるときには、主に深い領域に電荷が蓄積され、制御電圧ΦPGが高くなれば、表面近くの浅い領域にも電荷が蓄積される。このように、制御電圧ΦPGのポテンシャルに応じて、低感度画素Kの飽和レベルは、図6A、図6Bのように可変である。
また、低感度画素Kの感度は、(R、Gr、B、Gb)のオンチップフィルタにND(Neutral Density)フィルタ、例えば、グレイフィルタを積層し、このグレイフィルタの厚さや積層領域を調整することにより調整することができる。また、NDフィルタの代替手段として、メタル遮光を行って、開口面積を調整し感度を調整することができる。また、シャッターと読出しはローリング駆動を用いる。また、図6Bに示すよう、低感度画素Kの飽和レベルは高感度画素PDよりも大きく、低感度画素Kの感度は高感度画素PDよりも小さい。
このように、飽和レベルと感度レベルは別々に調整することができるので、電荷蓄積レベルの傾きと飽和レベルは、照度と露光時間の積に対して、適切な値に設定することができる。この結果、飽和/感度比を調整することができ、画素のダイナミックレンジを任意に調整することができるようになる。
[画素配置例]
つづいて、固体撮像装置1の画素配置について説明する。
図7は、実施の形態1に係る高感度画素および低感度画素の配置例を示す図である。同図のように、固体撮像装置1は、行列状に配置された複数の画素群G0を有する。画素群G0は、正方領域に配置された4つの高感度画素PDと、当該正方領域に配置された4つの低感度画素Kとを有する。同図の画素群G0内のR、Gr、B、Gbは、4つの高感度画素PDを示す。同図の画素群G0内の4つKは、4つの低感度画素Kを示す。図7より、本実施の形態に係る固体撮像装置1は、高感度画素PD1つと低感度画素K1つを1対とする。
4つの高感度画素PD(図のR、Gr、B、Gb)と、各々に対応した4つの低感度画素Kとは、それぞれ基本ベイヤ配列になっている。ここで、感度は、(R、Gr、B、Gb)のオンチップフィルタにグレイフィルタを積層して入射光を減衰させて感度を低減することができる。
以上より、低感度画素Kの飽和レベルは、高感度画素PDのよりも大きく、低感度画素Kの感度は高感度画素PDよりも小さくすることができる。
これにより、低感度画素の点灯信号に対するダイナミックレンジを上げることができ、例えば、点灯と消灯を繰り返す発光源(パルス発光源、LED光源)に対して、同一フレームで比較的低照度の信号機から高照度のヘッドライトまでの信号までを受光できる。
なお、図2に示した2画素1セルの画素回路3は、図7中のGS1〜GS4に対応する。
[高感度画素PDおよび低感度画素Kの露光動作]
次に、固体撮像装置1における高感度画素PDおよび低感度画素Kの露光動作について説明する。
本実施形態における固体撮像装置1は、高感度画素PDに対して1垂直走査期間内に、露光時間の異なる複数回の露光動作を行うことにより複数の高感度フレームを生成し、低感度画素Kに対して1推力操作期間内に、1回の露光動作を行うことにより低感度フレームを生成する。信号処理部70は、複数の高感度フレームそれぞれの信号を、低感度画素Kからの信号によって補正し、補正後の複数の高感度フレームを合成する。
図8Aは、実施の形態1に係る高感度画素および低感度画素の露光動作の一例を示す図である。また、図8Bは、実施の形態1に係る高感度画素および低感度画素の露光動作と行走査の一例を示す図である。
図8A、図8Bに示すように固体撮像装置1は、高感度画素PDに対して1垂直走査期間1V内に、第1露光時間(tL)だけ露光する第1露光動作(Long)、第2露光時間(tM)だけ露光する第2露光動作(Middle)および第3露光時間tSだけ露光する第3露光動作(Short)を行うことにより、第1高感度フレーム(L)、第2高感度フレーム(M)および第3高感度フレーム(S)を生成する。また、固体撮像装置1は、低感度画素Kに対して1垂直走査期間1V内に、1垂直走査期間に相当する露光期間(tK)だけ露光する露光動作を行い、低感度フレーム(K)を生成する。第1露光動作、第2露光動作、第3露光動作、低感度画素Kの露光動作では、それぞれ図3に示した読み出し動作が行われる。
このように、本実施の形態に係る固体撮像装置1は、高感度画素PDに対してダイナミックレンジ拡大のために、時分割して異なる露光時間(tL、tM、tS)で3回露光する。低感度画素Kに対して並行して高感度画素PDよりも長い露光時間tKで露光する。
ここで、図8A中のLED光は、高感度画素PDの露光動作(Long、Middle、Short)では露光できないが(×印)、低感度画素Kでは露光できており(〇印)、高感度画素PDの信号を低感度画素Kの信号で補正すればフリッカー抑制可能であることがわかる。
なお、図8Bは、行走査によるローリングシャッター駆動として、高感度画素PDと低感度画素Kの出力シーケンスを示している。高感度画素PDおよび低感度画素Kの各露光時間は任意に設定することが出来る。
低感度画素Kの露光時間tKをほぼ1垂直走査期間と同じにすることにより、点灯と消灯とを周期的に繰り返す発光源(パルス発光源、LED光源)を撮像するとき、点灯信号を確実に低感度画素Kで捉えることができる。
画素飽和の問題に対しては、高感度画素PDに比較して、飽和/感度比の高い低感度画素のフォトダイオードKでは、低照度から高照度の外部光(パルス光、LED光、LD光)を捉えることができる。すなわち、点灯信号の課題に対しては時間軸では連続的に受光し、また、ダイナミックレンジの課題に対しては低感度画素Kで広く受光することができる。
なお、飽和/感度比が高いというのは、次の意味である。すなわち、低感度画素Kは、高感度画素PDよりも飽和レベルが大きく、および/または、感度が小さい。
[信号処理部70の構成例]
次に、信号処理部70の構成について説明する。
図9Aは、実施の形態1に係る信号処理部70の構成例を示す図である。同図のように、信号処理部70は、低感度信号生成回路742、低感度信号生成回路743、補正部75、および、WDR合成回路76を備える。補正部75は、補正回路752と補正回路753とを備える。図9Bは、実施の形態1に係る補正回路752の構成例を示す図である。また、図9Cは、実施の形態1に係る図9Aの信号処理部70の動作例を示す説明図である。なお、補正回路753は図9Bと同じ構成でよい。
図9Aおよび図9Cに示すように、低感度信号生成回路742は、低感度画素Kの画素信号(K)に、第2係数を掛けることにより、新たな第2低感度フレームの信号を生成する。ここで、第2係数は、低感度画素Kの画素信号(K)を、第2高感度フレームの画素信号(M)にスケール合わせするための係数である。例えば、第2係数は、露光時間tK、第2露光時間tM、高感度画素PDのゲインおよび感度、低感度画素Kのゲインおよび感度に応じて定められる。
低感度信号生成回路743は、低感度画素Kの画素信号(K)に、第3係数を掛けることにより、新たな第3低感度フレームの信号を生成する。ここで、第3係数は、低感度画素Kの画素信号(K)を、第3高感度フレームの画素信号(S)にスケール合わせするための係数である。例えば、第3係数は、露光時間tK、第2露光時間tM、高感度画素PDのゲインおよび感度、低感度画素Kのゲインおよび感度に応じて定められる。
補正回路752は、第2高感度フレームからの画素信号(M)と、低感度信号生成回路742に生成された第2低感度フレームからの信号との差分を示す差分信号を検出し、第2高感度フレームからの画素信号(M)を差分信号によって補正することにより第2補正信号を生成する。
図9Bに示すように、補正回路752は、差分検出回路757と加算回路758とを備える。
差分検出回路757は、第2高感度フレームの画素信号(M)と、第2低感度フレームの信号との差分信号を検出する。
加算回路758は、第2高感度フレームの画素信号(M)に、差分検出回路757からの差分信号を加算し、加算結果を第2補正信号として出力する。
補正回路753は、第3高感度フレームからの画素信号(S)と、第3低感度フレームからの信号との差分信号を検出し、第3高感度フレームからの画素信号(S)を差分信号によって補正することにより第3補正信号を生成する。補正回路753は、図9Bと同じでよく、第2高感度フレームの画素信号(S)と、第3低感度フレームの信号との差分を検出し、当該画素信号(S)に差分を加算し、加算結果を第3補正信号として出力する。
WDR合成回路76は、第1高感度フレームからの画素信号(L)、補正回路752からの第2補正信号および補正回路753からの第3補正信号を合成することにより合成画素信号を生成する。
図9Cに示すように、低感度信号生成回路742、低感度信号生成回路743は、低感度画素Kの画素信号(K)から、ワイドダイナミックレンジ機能(WDR機能)用の、つまり、ダイナミックレンジを拡大するために、第2高感度フレーム(M)、第3高感度フレーム(S)に対応する第2低感度フレーム、第3低感度フレームを生成する。
一方、高感度画素PDからは、露光時間の異なる第1露光動作、第2露光動作および第3露光動作を実施することにより、第1高感度画素フレーム(L)、第2高感度フレーム(M)および第3高感度フレーム(S)を生成する。
その後、補正部75は、第2高感度フレーム(M)および第3高感度フレーム(S)を、第2低感度フレームおよび第3低感度フレームで補正し、補正した第2高感度フレーム(M)および補正した第3高感度フレーム(S)を生成する。
その後、WDR合成回路76は、補正していない第1高感度フレームの画素信号(L)と、補正した第2高感度フレームの補正画素信号(M)と、補正した第3高感度フレームの補正画素信号(S)を合成する。この合成により、ワイドダイナミックレンジ機能(WDR機能)を実現する、つまり、ダイナミックレンジが拡大される。
次に、高感度画素PDおよび低感度画素Kの特性例と合成後の画素信号のダイナミックレンジについて説明する。
図10は、実施の形態1に係る、被写体照度に対する高感度画素および低感度画素の光電変換特性の例を示す図である。
図10は、図9Cの高感度画素PDからの画素信号(L)と画素信号(M)と画素信号(S)の出力信号をつなぎ、被写体照度に対する画像のSNを示したものである。また、低感度画素Kについても、画素信号(K)の出力信号に対して、被写体照度に対する画像のSNを示したものである。
図10では、各露光の境界(Kneeポイント)におけるSNを満足した状態で、広いダイナミックレンジを確保することができる。
このように、露光時間に関して、高感度画素PDから、高いSNとWDRの両立のため、時分割して露光時間の異なる画素信号(L)、画素信号(M)、画素信号(S)を生成する。例えば、各々の露光時間tL:tM:tSを256:16:1程度にしてもよい。また、低感度画素Kは、高感度画素PDに平行して露光させ、露光時間はtK>tL+tM+tSとしてもよい。tKは、例えば、1垂直同期期間とほぼ同じ時間としてもよいし、1垂直同期期間の16.6ms(=1/60fps)程度からLEDの最小周波数に対応した11ms(=1/90Hz)程度の間にしてもよい。
図11は、実施の形態1に係る、図9Aの信号処理部における合成例を示す説明図である。図9Cに示したように、WDR合成回路76には、第1高感度フレームの画素信号(L)、低感度信号生成回路742からの第2補正信号(つまり補正画素信号(M))、低感度信号生成回路743からの第3補正信号(つまり補正画素信号(S))が入力され、これらを合成する。図11の合成例では、WDR合成回路76は、画素信号(L)と、補正画素信号(M)に合成係数G1を掛けた信号と、補正画素信号(S)に合成係数G2を掛けた信号とを加算することにより合成後の画素信号を生成する。
これにより、フリッカー抑制とダイナミックレンジの拡大とを両立した画素信号をえることができる。
以上説明してきたように実施の形態1における固体撮像装置1は、行列状に配置され所定の感度で光電変換する複数の高感度画素と、前記複数の高感度画素隙間に行列状に配置され前記所定の感度よりも低い感度で光電変換する複数の低感度画素と、前記高感度画素からの信号と前記低感度画素からの信号との差分信号を検出し、前記高感度画素の信号を前記差分信号によって補正することにより画素信号を生成する信号処理部70と、を備える。
これによれば、フリッカー抑制とダイナミックレンジの拡大とを容易にする。
ここで、前記高感度画素は、前記低感度画素と平行して露光し、前記低感度画素の露光時間は、前記高感度画素の露光時間よりも長く、かつ、1垂直同期期間よりも短く、所定のフリッカー周期よりも長くしてもよい。
これによれば、所定のフリッカー周期よりも短い周期のフリッカーに対して十分にフリッカー抑制することができる。所定のフリッカー周期は、例えばLED交通信号機など、一般的なLED光源の点滅周期のうち最も長い点滅周期でよい。
ここで、前記信号処理部70は、前記補正として、前記高感度画素の信号に前記差分信号を加算してもよい。
これによれば、補正は、判定作用と伴わない単純は加減算のみでできるので、補正回路の構成を単純化し高速化にも適している。
ここで、前記固体撮像装置1は、前記高感度画素に対して1垂直走査期間内に、露光時間の異なる複数回の露光動作を行うことにより複数の高感度フレームを生成し、前記信号処理部70は、前記複数の高感度フレームそれぞれの信号を、前記低感度画素からの信号によって補正し、補正後の複数の高感度フレームを合成してもよい。
これによれば、高感度画素からの1垂直期間内における露光時間の異なる複数の信号によってダイナミックレンジの拡大を容易にする。また、補正によって、フリッカー抑制もできる。
ここで、前記固体撮像装置1は、前記高感度画素に対して1垂直走査期間内に、第1露光時間だけ露光する第1露光動作、第2露光時間だけ露光する第2露光動作および第3露光時間だけ露光する第3露光動作を行うことにより第1高感度フレーム、第2高感度フレームおよび第3高感度フレームを生成し、第1露光時間は第2露光時間よりも長く、第2露光時間は第3露光時間よりも長く、前記信号処理部70は、前記低感度画素の信号から構成されるフレームに、第2露光時間および第3露光時間に応じた第2係数および第3係数をそれぞれ掛けることにより、第2低感度フレームおよび第3低感度フレームを生成し、前記第2高感度フレームからの信号と、前記第2低感度フレームからの信号との差分信号を検出し、前記第2高感度フレームからの信号を前記差分信号によって補正して第2補正信号を生成し、前記第3高感度フレームからの信号と、前記第3低感度フレームからの信号との差分信号を検出し、前記第3高感度フレームからの信号を前記差分信号によって補正して第3補正信号を生成し、前記第1高感度フレームからの信号、前記第2補正信号および第3補正信号を合成することにより前記画素信号を生成してもよい。
これによれば、高感度画素からの1垂直期間内における露光時間の異なる3つの信号によってダイナミックレンジの拡大を容易にする。また、補正によって、フリッカー抑制もできる。
ここで、前記固体撮像装置1は、行列状に配置された複数の画素回路3を備え、前記複数の画素回路3のそれぞれは、少なくとも1つの前記高感度画素と、信号電荷を保持する浮遊拡散層FDと、前記少なくとも1つの前記高感度画素それぞれに対応して設けられ、対応する高感度画素の信号電荷を前記浮遊拡散層に転送する第1転送トランジスタと、少なくとも1つの前記低感度画素と、前記少なくとも1つの前記低感度画素それぞれに対応して設けられ、対応する低感度画素の信号電荷を前記浮遊拡散層に転送する第2転送トランジスタと、前記第2転送トランジスタと前記浮遊拡散層とを電気的に切断または接続するトランジスタGCとを備えてもよい。
ここで、前記固体撮像装置1は、さらに、前記複数の低感度画素毎に設けられた制御電極であって、対応する低感度画素の一部を覆う制御電極PGを有し、前記制御電極PGは、前記制御電極PGに印加される電圧に応じて対応する低感度画素の表面のポテンシャルを制御してもよい。
次に、実施の形態1における信号処理部70の他の構成例について説明する。
図12Aは、実施の形態1に係る信号処理部70の他の構成例を示す図である。また、図12Bは、図12Aの信号処理部70の動作例を示す説明図である。
図12Aは、図9Aと比べて、低感度信号生成回路741と補正回路751とが追加されている点が主に異なっている。以下、異なる点を中心に説明する。
低感度信号生成回路741は、低感度画素Kの画素信号(K)から第1低感度フレームを生成する。具体的には、信号処理部70は、低感度画素Kの画素信号(K)から構成されるフレームに、第1露光時間(tL)、第2露光時間(tM)、第3露光時間(tS)に応じた第1係数、第2係数および第3係数をそれぞれ掛けることにより、第1低感度フレーム、第2低感度フレームおよび第3低感度フレームを生成する。第1係数は、低感度画素Kの画素信号(K)を、第1高感度フレームの画素信号(L)にスケール合わせするための係数である。例えば、第1係数は、露光時間tK、第1露光時間tL、高感度画素PDのゲインおよび感度、低感度画素Kのゲインおよび感度に応じて定められる。
補正回路751は、補正回路752と同じ内部構成であり、第1高感度フレームからの画素信号(L)と、低感度信号生成回路741に生成された第1低感度フレームからの信号との差分を示す差分信号を検出し、第1高感度フレームからの画素信号(L)を差分信号によって補正することにより第1補正信号を生成する。
WDR合成回路76は、補正回路751からの第1補正信号、補正回路752からの第2補正信号および補正回路753からの第3補正信号を合成することにより合成画素信号を生成する。
図12Bに示すように、図12Aの低感度信号生成回路741、742、743は、低感度画素Kの画素信号(K)から、ワイドダイナミックレンジ機能(WDR機能)用に、第1低感度フレームから第3低感度フレームの3フレームを生成する。
一方、高感度画素PDからは、露光時間を変えた第1高感度フレームから第3高感度フレームの3フレームを生成する。
その後、補正部75は、第1高感度フレーム(L)、第2高感度フレーム(M)および第3高感度フレーム(S)を、第1低感度フレーム、第2低感度フレームおよび第3低感度フレームでそれぞれ補正し、補正した第1高感度フレーム(L)、補正した第2高感度フレーム(M)および補正した第3高感度フレーム(S)を生成する。
その後、WDR合成回路76は、補正した第1高感度フレームの補正画素信号(L)と、補正した第2高感度フレームの補正画素信号(M)と、補正した第3高感度フレームの補正画素信号(S)とを合成する。この合成により、ワイドダイナミックレンジ機能(WDR機能)を実現する、つまり、ダイナミックレンジが拡大される。
図13は、実施の形態2に係る、図12Aの信号処理部70における合成例を示す説明図である。図12Aに示したように、WDR合成回路76には、低感度信号生成回路741からの第1補正信号(つまり補正画素信号(L)、低感度信号生成回路742からの第2補正信号(つまり補正後の画素信号(M))、低感度信号生成回路743からの第3補正信号(つまり補正画素信号(S))が入力され、これらを合成する。図13の合成例では、WDR合成回路76は、補正画素信号(L)と、補正画素信号(M)に合成係数G1を掛けた信号と、補正画素信号(S)に合成係数G2を掛けた信号とを加算することにより合成後の画素信号を生成する。
これにより、フリッカー抑制とダイナミックレンジの拡大とを両立した画素信号をえることができる。また、図13の合成画素信号は、図11と比べると、画素信号(L)の代わりに補正画素信号(L)を用いているので、フリッカー抑制をより確実にすることができる。
上記のように実施の形態1の他の構成例における固体撮像装置1は、前記固体撮像装置1は、前記高感度画素に対して1垂直走査期間内に、第1露光時間だけ露光する第1露光動作、第2露光時間だけ露光する第2露光動作および第3露光時間だけ露光する第3露光動作を行うことにより第1高感度フレーム、第2高感度フレームおよび第3高感度フレームを生成し、第1露光時間は第2露光時間よりも長く、第2露光時間は第3露光時間よりも長く、前記信号処理部70は、前記低感度画素の信号から構成されるフレームに、第1露光時間から第3露光時間に応じた第1係数、第2係数および第3係数をそれぞれ掛けることにより、第1低感度フレーム、第2低感度フレームおよび第3低感度フレームを生成し、前記第1高感度フレームからの信号と、前記第1低感度フレームからの信号との差分信号を検出し、前記第1高感度フレームからの信号を前記差分信号によって補正して第1補正信号を生成し、前記第2高感度フレームからの信号と、前記第2低感度フレームからの信号との差分信号を検出し、前記第2高感度フレームからの信号を前記差分信号によって補正して第2補正信号を生成し、前記第3高感度フレームからの信号と、前記第3低感度フレームからの信号との差分信号を検出し、前記第3高感度フレームからの信号を前記差分信号によって補正して第3補正信号を生成し、前記第1補正信号、前記第2補正信号および第3補正信号を合成することにより前記画素信号を生成する。
(実施の形態2)
次に、実施の形態2における固体撮像装置1について説明する。実施の形態2では、低感度画素Kの代わりに、2種類の低感度画素K1、K2を備える固体撮像装置1の構成例について説明する。
図14は、実施の形態2に係る画素回路3の回路例を示す図である。
図14において画素回路3は、4画素1セル構造として、高感度画素PD1、PD2、低感度画素K1、K2、高感度画素PD1、PD2に対応する読み出しトランジスタTR11、TR12、低感度画素K1、K2に対応する読み出しトランジスタTR21、TR22、リセットトランジスタRS、ゲイン制御トランジスタGC、浮遊拡散層FD、増幅トランジスタSFおよび選択トランジスタSELを備える。
高感度画素PD1、PD2、低感度画素K1、K2はそれぞれ、光電変換する受光素子であり、受光量に応じた電荷を生成する。また、高感度画素PD1と高感度画素PD2の感度は同じである。低感度画素K1と低感度画素K2の感度は異なる。高感度画素PD1と低感度画素K1は1対であり、高感度画素PD2と低感度画素K2は1対である。
浮遊拡散層FDは、高感度画素PD1、PD2、低感度画素K1、K2から読み出しトランジスタTR11、TR12、TR21、TR22によってそれぞれ読み出された電荷を一時的に保持する。
図15は、ゲイン制御を伴う画素読み出しの動作例を示すタイムチャートである。浮遊拡散層FDにおける信号電荷を電圧に変換するゲインは、ゲイン制御トランジスタGCのオンおよびオフに応じて高いゲインと低いゲインとに切り替え可能である。図15の(a)は、浮遊拡散層FDの変換ゲインが高い状態での高感度画素PD1またはPD2から浮遊拡散層FDへの信号電荷の読み出し動作を示す。図15の(b)は、浮遊拡散層FDの変換ゲインが低い状態での低感度画素K1またはK2から浮遊拡散層FDへの信号電荷の読み出し動作を示す。
図15の(a)において、浮遊拡散層FDは、リセット制御信号φRSの正パルスによってリセットされ、読み出し制御信号φTR11またはφTR12の正パルスによって高感度画素PD1またはPD2から信号電荷が転送される。読み出し制御信号φTR11またはφTR12がハイレベルのときに、ゲイン制御信号φGCはローレベルであり、ゲイン制御トランジスタGCはオフになっている。つまり、浮遊拡散層FDの容量は主にCfd1となりFD変換ゲインが高くなる。
図15の(b)において、浮遊拡散層FDは、リセット制御信号φRSの正パルスによってリセットされ、読み出し制御信号φTR21またはφTR22の正パルスによって低感度画素K1またはK2から信号電荷が転送される。読み出し制御信号φTR21またはφTR22がハイレベルのときに、ゲイン制御信号φGCはハイレベルであり、ゲイン制御トランジスタGCはオンになっている。つまり、浮遊拡散層FDの容量は主にCfd1+Cfd2となり、FD変換ゲインが低くなる。
このように、ゲイン制御トランジスタGCは、ゲイン制御信号φGCによって、読み出し時にローレベルであれば浮遊拡散層FDの変換ゲインが高くなる。逆に、読み出し時にハイレベルであれば低くなる。
さらに、低感度画素K1およびK2は、制御電圧φPGによって低感度画素Kの表面近くに蓄積できる信号電荷量ひいては飽和レベルを可変にすることができる。図15の(b)のように露光時間中は制御電圧φPGはハイレベルであり、より多くの信号電荷を蓄積する。読み出し時には制御電圧φPGはローレベルであり、信号電荷を排出する。
なお、図14では、いわゆる4画素1セル構造の画素回路3の例を示したが、画素回路3は、4画素1セル以外の多画素1セル構造であってもよい。多画素1セル構造の単位画素は、例えば、複数の光電変換素子を有し、浮遊拡散層FD、リセットトランジスタRS、増幅トランジスタSFおよび選択トランジスタSELのいずれか、あるいは、すべてを単位セル内で共有する構造であってもよい。
図16Aは、実施の形態2に係る低感度画素K1、K2の制御電圧と画素飽和レベルとを示す図である。また、図16Bは、実施の形態2に係る照度・露光時間と電荷蓄積レベルとを示す図である。
図16Aは、図6Aと同様に、低感度画素K1、K2の飽和レベルが、制御電圧φPG1、φPG2によって可変であることを示している。低感度画素Kの制御電極PGは、このような特徴を有していることから、図16Bに示すように、(低感度画素K1の飽和/感度比)<(低感度画素K2の飽和/感度比)、とするためには、(制御電圧ΦPG1<制御電圧ΦPG2)とすれよい。
また、低感度画素K1、K2の感度は、(R、Gr、B、Gb)のオンチップフィルタにNDフィルタ、例えば、グレイフィルタを積層し、このグレイフィルタの厚さや積層領域を調整することにより感度を調整することができる。また、NDフィルタの代替手段として、メタル遮光を行って、開口面積を調整し感度を調整することができる。また、シャッターと読出しはローリング駆動を用いる。
図16Bにおける、飽和レベルと感度レベルは別々に調整することができるので、電荷蓄積レベルの傾きと飽和レベルは、照度と露光時間の積に対して、適切な値に設定することができる。この結果、飽和/感度比を調整することができ、画素のダイナミックレンジを任意に調整することができるようになる。
図17は、実施の形態2に係る高感度画素PD1、PD2および低感度画素K1、K2の配置例を示す図である。
図17に示すように、本実施の形態に係る固体撮像装置1は、複数の第1画素群G1と複数の第2画素群G2とを有する。第1画素群G1は、正方領域に配置された4つの高感度画素PD1と、当該正方領域に配置された4つの低感度画素K1とを有する。第2画素群G2は、正方領域に配置された4つの高感度画素PD2と、当該正方領域に配置された4つの低感度画素K2とを有する。第1画素群G1と第2画素群G2は、行方向および列方向に交互に配置される。
言い換えれば、第1画素群G1、G2は、それぞれ高感度画素4つと低感度画素4つを基本構成する。
4つの高感度画素PD1またはPD2は、(R、Gr、B、Gb)で示される。飽和/感度比の小さい低感度画素を総称してK1、大きい画素を総称してK2とする。そして、第1画素群G1は、4つ高感度画素(R、Gr、B、Gb)と、それに対応する4つ低感度画素K1からなる。第2画素群G2は、4つ高感度画素(R、Gr、B、Gb)と、それに対応する4つ低感度画素K2からなる。第1画素群G1または第2画素群内の4つ高感度画素PD1またはPD2は、ベイヤ配列になっている。同様に、4つの低感度画素K1もベイヤ配列になっている。また、同様に、4つの低感度画素K2もベイヤ配列になっている。
低感度画素K1と低感度画素K2とは、異なる飽和/感度比を有する。例えば、低感度画素K1の飽和/感度比は低感度画素K2よりも小さいものとする。
これにより、低感度画素K1、K2の点灯信号に対するダイナミックレンジを上げることができ、例えば、点灯と消灯を繰り返す発光源(パルス発光源、LED光源)に対して、同一フレームで比較的低照度の信号機から高照度のヘッドライトまでの信号までを受光できる。 なお、図14に示した画素回路3の構成例は、図17中の画素群GS5およびGS6に対応する。
次に、固体撮像装置1における高感度画素PD1、PD2および低感度画素K1、K2の露光動作について説明する。
図18A、実施の形態2に係る高感度画素PD1、PD2および低感度画素K1、K2の露光時間の一例を示す図である。また、図18Bは、実施の形態2に係る高感度画素PD1、PD2および低感度画素の露光時間と行走査の一例を示す図である。
高感度画素PD1は、高感度画素PD2と同じ感度、同じ飽和レベルである。高感度画素PD1およびPD2は、図8A、図8Bに示した高感度画素PDと同様に、1垂直走査期間1V内に、第1露光時間(tL)だけ露光する第1露光動作(Long)、第2露光時間(tM)だけ露光する第2露光動作(Middle)および第3露光時間tSだけ露光する第3露光動作(Short)を行うことにより、第1高感度フレーム(L)、第2高感度フレーム(M)および第3高感度フレーム(S)を生成する。
また、固体撮像装置1は、低感度画素K1に対して1垂直走査期間1V内に、1垂直走査期間に相当する露光期間(tK1)だけ露光する露光動作を行い、低感度フレーム(K1)を生成する。同様に、固体撮像装置1は、低感度画素K2に対して1垂直走査期間1V内に、1垂直走査期間に相当する露光期間(tK2)だけ露光する露光動作を行い、低感度フレーム(K2)を生成する。
なお、図18Bにおいて、低感度画素K1と低感度画素Kは同じ行内に存在するので、低感度画素K1の読み出しと低感度画素K2の読み出しは、同じタイミングで行うことができる。
本実施の形態に係る固体撮像装置は、高感度画素はダイナミックレンジ拡大のために、時分割して異なる露光時間(tL、tM、tS)で3回露光する。低感度画素K1、K2は並行して高感度画素よりも長い露光時間でそれぞれ露光する。すなわち、tK1>tL+tM+tSであり、tK2>tL+tM+tSである。
ここで、図中のLED光は、高感度画素の露光期間(Long、Middle、Short)では露光できないが(×印)、低感度画素K1、K2では露光できており(〇印)、高感度画素の信号を低感度画素の信号で補正すればフリッカー抑制可能であることがわかる。
なお、図18Bは、ローリングシャッター駆動として、高感度画素と低感度画素の出力シーケンスであり、各露光時間はK1、K2ともに任意に設定することが出来る。
低感度画素K1、K2の露光時間tK1、tK2をほぼ1垂直走査期間と同じにすることにより、点灯と消灯を繰り返す発光源(パルス発光源、LED光源)を受光するとき、点灯信号を確実に低感度画素で捉えることができる。
また、低感度画素K1の飽和/感度比は、低感度画素K2よりも小さいものとする。画素飽和の問題に対しては、低感度画素K1(飽和/感度比:小)では、低照度の外部光(パルス光、LED光、LD光)を捉えることができる。一方、低感度画素K2(飽和/感度比:大)では、高照度の外部光(パルス光、LED光、LD光)を捉えることができる。すなわち、点灯信号の課題に対しては時間軸では連続的に受光し、また、ダイナミックレンジの課題に対しては低感度画素K1とK2で広く受光することができる。
[信号処理部70の構成例]
次に、信号処理部70の構成について説明する。
図19Aは、実施の形態2に係る信号処理部70の構成例を示す図である。また、図19Bは、実施の形態2に係る図19Aの信号処理部70の動作例を示す説明図である。なお、補正回路751、753は図9Bと同じ構成でよい。
図19Aは、図12Aと比べて、主に、分割回路721、補間回路731、補間回路732が追加されている点と、低感度信号生成回路741〜743の異なる動作をする点とが異なる。以下、異なる点を中心に説明する。
分割回路721は、図19Bに示すように、低感度画素K1の画素信号(K1)と低感度画素K2からの画素信号(K2)とが混在する低感度フレームを、画素信号(K1)からなる低感度フレーム(K1)と、画素信号(K2)からなる低感度フレーム(K2)とに分割する。
補間回路731は、低感度フレーム(K1)において欠落している画素信号を補間して補間低感度フレーム(K1)を生成する。言い換えれば、複数の低感度画素K1から得られた複数の画素信号(K1)と、複数の画素信号(K1)を用いた補間により得られた複数の補間信号(P1)とから構成される補間低感度フレーム(K1)を生成する。補間信号P1は、周囲の少なくとも4つの画素信号(K1)を用いて、重心位置に応じた重み付け補間をすることにより生成される。
補間回路732は、低感度フレーム(K2)において欠落している画素信号を補間して補間低感度フレーム(K2)を生成する。言い換えれば、複数の低感度画素K2から得られた複数の画素信号(K2)と、複数の画素信号(K2)を用いた補間により得られた複数の補間信号(P2)とから構成される補間低感度フレーム(K2)を生成する。補間信号P2は、周囲の少なくとも4つの画素信号(K2)を用いて、重心位置に応じた重み付け補間をすることにより生成される。
低感度信号生成回路741は、補間低感度フレーム(K1)の画素信号(K1またはP1)と、補間低感度フレーム(K2)の画素信号(P2またはK2)とを合成することにより、第1高感度フレーム(L)を補正するための第1低感度フレーム(L)を生成する。具体的には、低感度信号生成回路741は、補間低感度フレーム(K1)の画素信号(K1またはP1)に第1種第1係数を掛け、補間低感度フレーム(K2)の画素信号(P2またはK2)に第2種第1係数を掛ける。
ここで、第1種第1係数は、第1露光時間(tL)および低感度画素K1の露光時間(tK1)に応じた係数であって、補間低感度フレーム(K1)の画素信号(K1またはP1)を、第1高感度フレームの画素信号(L)にスケール合わせするための係数である。例えば、第1種第1係数は、露光時間tK1、第1露光時間tL、高感度画素PDのゲインおよび感度、低感度画素K1のゲインおよび感度に応じて定められる。同様に、第2種第1係数は、第1露光時間(tL)および低感度画素K2の露光時間(tK2)に応じた係数であって、補間低感度フレーム(K2)の画素信号(K2またはP2)を、第1高感度フレームの画素信号(L)にスケール合わせするための係数である。例えば、第2種第1係数は、露光時間tK2、第1露光時間tL、高感度画素PDのゲインおよび感度、低感度画素K2のゲインおよび感度に応じて定められる。
さらに、低感度信号生成回路741は、第1種第1係数を掛けた補間低感度フレーム(K1)と、第2種第1係数を掛けた補間低感度フレーム(K2)とを合成することにより、第1低感度フレーム(L)を生成する。
低感度信号生成回路742は、補間低感度フレーム(K1)の画素信号(K1またはP1)と、補間低感度フレーム(K2)の画素信号(P2またはK2)とを合成することにより、第2高感度フレーム(M)を補正するための第2低感度フレーム(M)を生成する。具体的には、低感度信号生成回路742は、補間低感度フレーム(K1)の画素信号(K1またはP1)に第1種第2係数を掛け、補間低感度フレーム(K2)の画素信号(P2またはK2)に第2種第2係数を掛ける。
ここで、第1種第2係数は、第2露光時間(tM)および低感度画素K1の露光時間(tK1)に応じた係数であって、補間低感度フレーム(K1)の画素信号(K1またはP1)を、第2高感度フレームの画素信号(M)にスケール合わせするための係数である。例えば、第1種第2係数は、露光時間tK1、第2露光時間tM、高感度画素PDのゲインおよび感度、低感度画素K1のゲインおよび感度に応じて定められる。同様に、第2種第2係数は、第2露光時間(tM)および低感度画素K2の露光時間(tK2)に応じた係数であって、補間低感度フレーム(K2)の画素信号(K2またはP2)を、第2高感度フレームの画素信号(M)にスケール合わせするための係数である。例えば、第2種第2係数は、露光時間tK2、第2露光時間tM、高感度画素PDのゲインおよび感度、低感度画素K2のゲインおよび感度に応じて定められる。
さらに、低感度信号生成回路742は、第1種第2係数を掛けた補間低感度フレーム(K1)と、第2種第2係数を掛けた補間低感度フレーム(K2)とを合成することにより、第2低感度フレーム(M)を生成する。
低感度信号生成回路743は、補間低感度フレーム(K1)の画素信号(K1またはP1)と、補間低感度フレーム(K2)の画素信号(P2またはK2)とを合成することにより、第3高感度フレーム(S)を補正するための第3低感度フレーム(S)を生成する。具体的には、低感度信号生成回路742は、補間低感度フレーム(K1)の画素信号(K1またはP1)に第1種第3係数を掛け、補間低感度フレーム(K2)の画素信号(P2またはK2)に第2種第3係数を掛ける。
ここで、第1種第3係数は、第3露光時間(tS)および低感度画素K1の露光時間(tK1)に応じた係数であって、補間低感度フレーム(K1)の画素信号(K1またはP1)を、第2高感度フレームの画素信号(S)にスケール合わせするための係数である。例えば、第1種第3係数は、露光時間tK1、第3露光時間tS、高感度画素PDのゲインおよび感度、低感度画素K1のゲインおよび感度に応じて定められる。同様に、第2種第3係数は、第3露光時間(tS)および低感度画素K2の露光時間(tK2)に応じた係数であって、補間低感度フレーム(K2)の画素信号(K2またはP2)を、第3高感度フレームの画素信号(S)にスケール合わせするための係数である。例えば、第2種第3係数は、露光時間tK2、第3露光時間tS、高感度画素PDのゲインおよび感度、低感度画素K2のゲインおよび感度に応じて定められる。
さらに、低感度信号生成回路743は、第1種第3係数を掛けた補間低感度フレーム(K1)と、第2種第3係数を掛けた補間低感度フレーム(K2)とを合成することにより、第3低感度フレーム(S)を生成する。
補正部75およびWDR合成回路76は、図12Aと同様である。
図20は、実施の形態2に係る、被写体照度に対する高感度画素および低感度画素の特性を示す図である。また、図21は、実施の形態2に係る、図19Aの信号処理部70におけるWDR合成例を示す説明図である。図20および図21は、図10および図11と比べると、画素信号(K)の代わりに画素信号(K1)と画素信号(K2)に用いているので、ダイナミックレンジの拡大がより効果的になっている。
なお、低感度画素K1、K2の露光時間はtK1>tL+tM+tS、tK2>tL+tM+tSとし、tK1、tK2は1V同期期間の16.6ms(=1/60fps)程度からLEDの最小周波数に対応した11ms(=1/90Hz)程度にしてもよい。
また、低感度画素K1、K2の飽和/感度比に関しては、“低感度画素K1の飽和/感度比:低感度画素K2の飽和/感度比”は、例えば、1:20とし、最大被写体照度(太陽光の照度)の10万luxを受光しても飽和しないようにしてもよい。
また、このとき、高感度画素のダイナミックレンジ(DR)は簡易計算で、以下のようになる。
WDRのDR=1フレームのDR+最大/最小露光比
=72dB(AD12bit)+48dB(256/1倍)
=120dB
なお、ここで、1フレームのDRに関しては、画素のDR(=飽和/ノイズ比)が、ADbit精度を超えているとして、ADbit精度で制約を受けるとする。
また、低感度画素K1およびK2のDRに関しては、簡易計算で、同様に以下のようになる。
WDRのDR=1フレームのDR+飽和/感度比のK2/K1の比
=72dB(AD12bit)+26dB(20倍)
=98dB≒100dB
低感度画素K1およびK2のDRは10万luxからSNカーブを描くように設定する。
また、本実施の形態に係る固体撮像装置は、低感度画素の信号処理において、低感度画素が飽和しないように、また、飽和レベルが低すぎないように、制御電極PGの制御電圧ΦPGを調整して自動露光制御(AE)、ホワイトバランスを実施することもできる。
また、補間回路731および732による補間において、画素の重心がずれないように重心補正を実施する。
これにより、低感度画素に対しても最適な露光状態にすることが出来る。
また、制御電極PGは表面近くに電荷を蓄積するために暗電流の課題があり画質(S/N)が悪く、特に、S/Nを重視する低照度の画質としては許容できない場合がある。
しかしながら実施の形態1、2では、制御電極PGを有する低感度画素は、フリッカー抑制のための高感度画素信号の補正に使用しているため、S/Nが悪化するという課題を有しない。
なお、低感度画素K、K1、K2は飽和レベルの調整手段として、フォトゲート構造の制御電極PGを有する例を示したが、感度調整だけで所望の飽和/感度比を調整できれば、フォトゲートの構造を有しなくてもよい。
また、高感度画素が3つの高感度フレーム(L、M、S)を生成する例を示したが、これに限定するものではない。
また、高感度画素の配列として、ベイヤ配列(R、Gr、B、Gb)の例を示したが、これに限定するものではなく、(R、C、C、B)、(R、C、C、C)、(R、G、B、Ir)としてもよい。
以上説明してきたように実施の形態2における固体撮像装置1は、前記複数の低感度画素は、複数の第1低感度画素K1と複数の第2低感度画素K2とを含み、前記第1低感度画素K1の信号飽和レベルおよび感度の少なくとも一方は、第2低感度画素K2と異なっている。
ここで、前記固体撮像装置1は、複数の第1画素群G1と複数の第2画素群G2とを有し、前記第1画素群G1は、正方領域に配置された4つの前記高感度画素と、当該正方領域に配置された4つの前記第1低感度画素とを有し、前記第2画素群G2は、正方領域に配置された4つの前記高感度画素と、当該正方領域に配置された4つの前記第2低感度画素とを有し、前記第1画素群G1と前記第2画素群G2は、行方向および列方向に交互に配置されてもよい。
ここで、前記信号処理部70は、前記複数の第1低感度画素から得られた複数の第1画素信号と、前記複数の第1画素信号を用いた補間により得られた複数の第1補間信号とから構成される第1補間フレームを生成し、前記複数の第2低感度画素から得られた複数の第2画素信号と、前記複数の第2画素信号を用いた補間により得られた複数の第2補間信号とから構成される第2補間フレームを生成し、前記高感度画素からの信号と、前記第1補間フレームと前記第2補間フレームとの合成により得られた信号との差分信号を検出し、前記高感度画素の信号を前記差分信号によって補正することにより前記画素信号を生成してもよい。
ここで、前記固体撮像装置1は、前記高感度画素に対して1垂直走査期間内に、第1露光時間だけ露光する第1露光動作、第2露光時間だけ露光する第2露光動作および第3露光時間だけ露光する第3露光動作を行うことにより第1高感度フレーム、第2高感度フレームおよび第3高感度フレームを生成し、第1露光時間は第2露光時間よりも長く、第2露光時間は第3露光時間よりも長く、前記信号処理部70は、前記第1補間フレームと前記第2補間フレームとを、第1露光時間から第3露光時間に応じた第1係数から第3係数をそれぞれ用いて合成することにより、第1低感度フレーム、第2低感度フレームおよび第3低感度フレームを生成し、前記第1高感度フレームからの信号と、前記第1低感度フレームからの信号との差分信号を検出し、前記第1高感度フレームからの信号を前記差分信号によって補正して第1補正信号を生成し、前記第2高感度フレームからの信号と、前記第2低感度フレームからの信号との差分信号を検出し、前記第2高感度フレームからの信号を前記差分信号によって補正して第2補正信号を生成し、前記第3高感度フレームからの信号と、前記第3低感度フレームからの信号との差分信号を検出し、前記第3高感度フレームからの信号を前記差分信号によって補正して第3補正信号を生成し、前記第1補正信号、前記第2補正信号および第3補正信号を合成することにより前記画素信号を生成してもよい。
(実施の形態3)
実施の形態3では、上述した実施の形態1に係る固体撮像装置の変形例として、通常露光と中間露光とを繰り返す時間配分によって低感度画素Kの感度を調整可能にする固体撮像装置1について説明する。なお、以下では、実施の形態1との違いを中心に説明し、重複する説明は省略する。
図22Aは、実施の形態3に係る、通常露光と中間露光とを示すタイムチャートである。また、図22Bは、実施の形態3に係る、通常露光と中間露光との動作例を示す説明図である。
図22A、図22Bに示すように、通常露光では、転送電圧ΦTR=L、フォトゲートの制御電圧ΦPG=Hとして、低感度画素Kの表面近い電荷蓄積領域と深い電荷蓄積領域に電荷を蓄積する。一方、中間露光ではΦTR=H(ハイレベル)またはM(ミドルレベル)、ΦPG=Hとして低感度画素Kの表面近い電荷蓄積領域には電荷が蓄積され続けるが、深い電荷蓄積領域に電荷は蓄積されない。このような、通常露光と中間露光を交互に繰り返し制御することにより(多重露光と称する)、低感度画素Kの感度、つまり、受光量に対して発生する電荷量を調整することができるようになる。
つまり、低感度画素Kの感度は、上述のフォトダイオードの制御電圧ΦPGと転送電圧ΦTRのパルスのデューティを調整し、通常露光と中間露光(電荷排出)を繰り返し制御することによって蓄積電荷が可変される。
ここで、例えば、実施の形態2のように、2種類の低感度画素K1、K2を有すれば、感度の大小関係は、K1の通常露光時間>K2の通常露光時間とすれば、K1の感度>K2の感度となり、K1の飽和/感度比<K2の飽和/感度比とすることができる。
これにより、飽和レベルはφPGの電圧レベル、感度レベルは通常露光時間と中間露光時間との配分で調整することができる。これにより、飽和/感度比を任意に設定してのダイナミックレンジを任意に決めることができる。
また、この多重露光時の低感度画素Kの感度は、次式で表すことができる。
多重露光の感度=(感度1×通常露光時間+感度2×中間露光時間)/1V
感度1は1V当たり通常露光の感度である。また、感度2は1Vの当たりの中間露光の感度である。
さらに、通常露光と中間露光(電荷排出)のタイミングは、全行同時駆動が好ましい。これはローリングシャッター駆動では垂直走査回路14のアドレスデコード部の設計が複雑になるためである。
図23Aは、実施の形態3に係る高感度画素および低感度画素の露光時間の一例を示す図である。図23Bは、実施の形態3に係る高感度画素および低感度画素の露光時間と行走査の一例を示す図である。
図23Aのように、実施の形態に係る固体撮像装置1は、高感度画素に対してダイナミックレンジ拡大のために、時分割して異なる露光時間(tL、tM、tS)で3回露光する。低感度画素Kは並行して高感度画素よりも長い露光時間tKで多重露光する。多重露光は、例えば、通常露光と中間露光の繰り返しである。
なお、図23Bは、ローリングシャッター駆動として、高感度画素出力シーケンスを示し、各露光時間は任意に設定することが出来る。また、低感度画素Kの感度は、通常露光時間E1〜Enの合計と、中間露光時間M1〜Mmの合計との割合に応じて、上記の式に従って設定することができる。
これにより、ダイナミックレンジの課題に対しては低感度画素Kの多重露光で感度を広く調整することができる。
多重露光に関しては、低感度画素のフォトダイオードKの露光時間と中間露光時間の比は調整可能である。一例として、1H露光時間と3H中間露光時間、1H露光時間と7H中間露光時間、1H露光時間と15H中間露光時間、1H露光時間と31H中間露光時間、で設定することができる。また、信号読出し駆動と中間露光駆動が同時になるときは、信号読出し駆動が優先するように設計する。
以上説明してきたように実施の形態3における固体撮像装置1は、前記固体撮像装置1は、行列状に配置された複数の画素回路3を備え、前記複数の画素回路3のそれぞれは、少なくとも1つの前記高感度画素と、信号電荷を保持する浮遊拡散層FDと、前記少なくとも1つの前記高感度画素それぞれに対応して設けられ、対応する高感度画素の信号電荷を前記浮遊拡散層に転送する第1転送トランジスタと、少なくとも1つの前記低感度画素と、前記少なくとも1つの前記低感度画素それぞれに対応して設けられ、対応する低感度画素の信号電荷を前記浮遊拡散層に転送する第2転送トランジスタとを備え、前記固体撮像装置1は、前記低感度画素に対して1垂直走査期間内に通常露光動作と中間露光動作とを繰り返し、前記通常露光動作では、前記第2転送トランジスタのゲート電極がローレベルであり、前記中間露光動作では、前記第2転送トランジスタのゲート電極がハイレベルまたはミドルレベルであり、前記通常露光動作から中間露光動作への切り替えを全行同時に行い、前記中間露光動作から前記通常露光動作への切り替えを全行同時に行う。
これによれば、低感度画素Kの多重露光で感度を広く調整することができる。
(実施の形態4)
以下、図面を参照しながら、実施の形態4に係る撮像装置について説明する。なお、本実施の形態に備わる撮像装置は、上述した実施の形態1〜3に係る固体撮像装置1を1つ以上備える。以下、詳細を説明する。
図25Aは、実施の形態5に係る撮像装置の構成例を示すブロック図である。同図の撮像装置は、CIS(CMOS Image Sensor)91、ISP(Image Signal Processor)92およびモニタ93を備え、例えば、デジタルカメラやスマートフォンのカメラである。
CIS91は、各実施の形態に示した固体撮像装置1である。
ISP92は、CIS91からの画像信号を受けて、画像の拡大、縮小、圧縮符号化、復号化等々の画像処理を行う。
モニタ93は、撮像時のユーザ確認用のモニタである。
なお、CIS91とISP92とは、1チップのSoC(System on Chip)90であってもよいし、別チップであってもよい。CIS91とISP92とが別チップある場合、信号処理部70は、CIS91に備えられてもよいし、CIS92に備えられてもよい。
また、信号処理部70の一部は回路ではなくソフトウェアにより実現してもよい。
さらに、図25Bは、実施の形態5に係る撮像装置の他の構成例を示すブロック図である。同図の撮像装置は、CIS(CMOS Image Sensor)91、ISP(Image Signal Processor)92、センサー94、センサーECU(Electronic Control Unit)95、警告部96、および制御部97を備え、例えば、自動車に搭載されるカメラシステムである。
CIS91とISP92とは、図25Aと同様である。
センサー94は、例えば、測距用のレーダ(radar)センサー、測距用のライダー(Lidar:Light Detection and Ranging)センサーである。
センサーECU95は、ISP92、センサー94からの信号を受けた、警告部96および制御部97を制御する。
警告部96は、例えば、自動車のインスツルメントパネル内の各種の状態表示灯や警告灯等である。
制御部97は、例えば、自動車のステアリングやブレーキ等を動かすアクチュエーター等を制御する。
なお、図25Bの撮像装置は、ビューシステム、ADAS(Advanced Driver Assistance System:先進運転支援システム)や自動運転などのセンシングシステムに対応し、ビューシステムではモニタに接続され、前記センシングシステムではセンサーECUを介して、警告または制御(ステアリング、ブレーキなど)を実施するようにしてもよい。
図26Aは、実施の形態5に係る撮像装置の自動車M1への搭載例を示す図である。図26Bは、実施の形態5に係る図26Aの搭載例における撮像範囲の一例を示す図である。
図26Aでは、例えば図25Aの撮像装置が複数の取り付け箇所C1〜C9のそれぞれに取り付けられる。取り付け箇所C1は、自動車M1の前方部分である。取り付け箇所C2は、自動車M1の車体左側部分である。取り付け箇所C3は、自動車M1の車体右側部分である。取り付け箇所C4は、左側ドアミラーである。取り付け箇所C5は、右側ドアミラーである。取り付け箇所C6は、ルームミラーである。取り付け箇所C7は、自動車M1の後方中央部分である。取り付け箇所C8は、自動車M1の後方左側部分である。取り付け箇所C9は、自動車M1の後方右側部分である。
また、図26Bに示す、撮像範囲S1〜S9は、取り付け箇所C1〜C9の撮像カメラに対応している。
図26A、図26Bに示すように、ビュー用カメラやセンシング用カメラとしての撮像装置は、撮像の対象範囲に応じて、輸送機器(車両、自動車)の前方、サラウンド、サイド、リア、インテリジェントリアを取り付け位置にすることが出来る。
以上のように、実施の形態4における撮像装置は、上記の固体撮像装置1を備え、ビューシステム、ADAS(先進運転支援システム)のセンシングシステム、および、自動運転のセンシングシステムのいずれか1つのシステムを構成する。
ここで、前記撮像装置は、前記輸送機器の前方、左サイド、右サイド、ルームミラーの1つ以上に搭載されてもよい。
(その他の実施の形態)
以上、本開示の固体撮像装置、及びそれを用いる撮像装置について、上記実施の形態に基づいて説明してきたが、本開示の固体撮像装置、及びそれを用いる撮像装置は、上記実施の形態に限定されるものではない。上記実施の形態における任意の構成要素を組み合わせて実現される別の実施の形態や、上記実施の形態に対して本開示の主旨を逸脱しない範囲で当業者が思いつく各種変形を施して得られる変形例や、本開示の固体撮像装置、及びそれを用いる撮像装置を内蔵した各種機器も本発明に含まれる。
本開示は、固体撮像装置および撮像装置に利用可能である。
1 固体撮像装置
3 画素回路
10 画素アレイ部
12 水平走査回路
14 垂直走査回路
15 水平走査線群
18 水平信号線
19 垂直信号線
20 タイミング制御部
25 カラムAD回路
26 カラム処理部
27 参照信号生成部
70 信号処理部
72 WDR合成回路
75 補正部
76 WDR合成回路
711、712、713 補正回路
721 分割回路
731、732 補間回路
741、742、743 低感度信号生成回路
751、752、753 補正回路
757 差分検出回路
758 加算回路

Claims (15)

  1. 行列状に配置され所定の感度で光電変換する複数の高感度画素と、
    前記複数の高感度画素の隙間に行列状に配置され前記所定の感度よりも低い感度で光電変換する複数の低感度画素と、
    前記高感度画素からの信号と前記低感度画素からの信号との差分信号を検出し、前記高感度画素の信号を前記差分信号によって補正することにより画素信号を生成する信号処理部とを備える
    固体撮像装置。
  2. 前記高感度画素は、前記低感度画素と平行して露光し、
    前記低感度画素の露光時間は、前記高感度画素の露光時間よりも長く、かつ、1垂直同期期間よりも短く、所定のフリッカー周期よりも長い
    請求項1に記載の固体撮像装置。
  3. 前記信号処理部は、前記補正として、前記高感度画素の信号に前記差分信号を加算する
    請求項1または2に記載の固体撮像装置。
  4. 前記固体撮像装置は、
    前記高感度画素に対して1垂直走査期間内に、露光時間の異なる複数回の露光動作を行うことにより複数の高感度フレームを生成し、
    前記信号処理部は、
    前記複数の高感度フレームそれぞれの信号を、前記低感度画素からの信号によって補正し、
    補正後の複数の高感度フレームを合成する
    請求項1から3のいずれか1項に記載の固体撮像装置。
  5. 前記固体撮像装置は、
    前記高感度画素に対して1垂直走査期間内に、第1露光時間だけ露光する第1露光動作、第2露光時間だけ露光する第2露光動作および第3露光時間だけ露光する第3露光動作を行うことにより第1高感度フレーム、第2高感度フレームおよび第3高感度フレームを生成し、
    第1露光時間は第2露光時間よりも長く、第2露光時間は第3露光時間よりも長く、
    前記信号処理部は、
    前記低感度画素の信号から構成されるフレームに、第2露光時間および第3露光時間に応じた第2係数および第3係数をそれぞれ掛けることにより、第2低感度フレームおよび第3低感度フレームを生成し、
    前記第2高感度フレームからの信号と、前記第2低感度フレームからの信号との差分信号を検出し、前記第2高感度フレームからの信号を前記差分信号によって補正して第2補正信号を生成し、
    前記第3高感度フレームからの信号と、前記第3低感度フレームからの信号との差分信号を検出し、前記第3高感度フレームからの信号を前記差分信号によって補正して第3補正信号を生成し、
    前記第1高感度フレームからの信号、前記第2補正信号および第3補正信号を合成することにより前記画素信号を生成する
    請求項1から3のいずれか1項に記載の固体撮像装置。
  6. 前記固体撮像装置は、
    前記高感度画素に対して1垂直走査期間内に、第1露光時間だけ露光する第1露光動作、第2露光時間だけ露光する第2露光動作および第3露光時間だけ露光する第3露光動作を行うことにより第1高感度フレーム、第2高感度フレームおよび第3高感度フレームを生成し、
    第1露光時間は第2露光時間よりも長く、第2露光時間は第3露光時間よりも長く、
    前記信号処理部は、
    前記低感度画素の信号から構成されるフレームに、第1露光時間から第3露光時間に応じた第1係数、第2係数および第3係数をそれぞれ掛けることにより、第1低感度フレーム、第2低感度フレームおよび第3低感度フレームを生成し、
    前記第1高感度フレームからの信号と、前記第1低感度フレームからの信号との差分信号を検出し、前記第1高感度フレームからの信号を前記差分信号によって補正して第1補正信号を生成し、
    前記第2高感度フレームからの信号と、前記第2低感度フレームからの信号との差分信号を検出し、前記第2高感度フレームからの信号を前記差分信号によって補正して第2補正信号を生成し、
    前記第3高感度フレームからの信号と、前記第3低感度フレームからの信号との差分信号を検出し、前記第3高感度フレームからの信号を前記差分信号によって補正して第3補正信号を生成し、
    前記第1補正信号、前記第2補正信号および第3補正信号を合成することにより前記画素信号を生成する
    請求項1から3のいずれか1項に記載の固体撮像装置。
  7. 前記複数の低感度画素は、複数の第1低感度画素と複数の第2低感度画素とを含み、
    前記第1低感度画素の信号飽和レベルおよび感度の少なくとも一方は、第2低感度画素と異なっている
    請求項1から3のいずれか1項に記載の固体撮像装置。
  8. 前記固体撮像装置は、複数の第1画素群と複数の第2画素群とを有し、
    前記第1画素群は、正方領域に配置された4つの前記高感度画素と、当該正方領域に配置された4つの前記第1低感度画素とを有し、
    前記第2画素群は、正方領域に配置された4つの前記高感度画素と、当該正方領域に配置された4つの前記第2低感度画素とを有し、
    前記第1画素群と前記第2画素群は、行方向および列方向に交互に配置される
    請求項7に記載の固体撮像装置。
  9. 前記信号処理部は、
    前記複数の第1低感度画素から得られた複数の第1画素信号と、前記複数の第1画素信号を用いた補間により得られた複数の第1補間信号とから構成される第1補間フレームを生成し、
    前記複数の第2低感度画素から得られた複数の第2画素信号と、前記複数の第2画素信号を用いた補間により得られた複数の第2補間信号とから構成される第2補間フレームを生成し、
    前記高感度画素からの信号と、前記第1補間フレームと前記第2補間フレームとの合成により得られた信号との差分信号を検出し、前記高感度画素の信号を前記差分信号によって補正することにより前記画素信号を生成する
    請求項8に記載の固体撮像装置。
  10. 前記固体撮像装置は、
    前記高感度画素に対して1垂直走査期間内に、第1露光時間だけ露光する第1露光動作、第2露光時間だけ露光する第2露光動作および第3露光時間だけ露光する第3露光動作を行うことにより第1高感度フレーム、第2高感度フレームおよび第3高感度フレームを生成し、
    第1露光時間は第2露光時間よりも長く、第2露光時間は第3露光時間よりも長く、
    前記信号処理部は、
    前記第1補間フレームと前記第2補間フレームとを、第1露光時間から第3露光時間に応じた第1係数から第3係数をそれぞれ用いて合成することにより、第1低感度フレーム、第2低感度フレームおよび第3低感度フレームを生成し、
    前記第1高感度フレームからの信号と、前記第1低感度フレームからの信号との差分信号を検出し、前記第1高感度フレームからの信号を前記差分信号によって補正して第1補正信号を生成し、
    前記第2高感度フレームからの信号と、前記第2低感度フレームからの信号との差分信号を検出し、前記第2高感度フレームからの信号を前記差分信号によって補正して第2補正信号を生成し、
    前記第3高感度フレームからの信号と、前記第3低感度フレームからの信号との差分信号を検出し、前記第3高感度フレームからの信号を前記差分信号によって補正して第3補正信号を生成し、
    前記第1補正信号、前記第2補正信号および第3補正信号を合成することにより前記画素信号を生成する
    請求項9に記載の固体撮像装置。
  11. 前記固体撮像装置は、行列状に配置された複数の画素回路を備え、
    前記複数の画素回路のそれぞれは、
    少なくとも1つの前記高感度画素と、
    信号電荷を保持する浮遊拡散層と、
    前記少なくとも1つの前記高感度画素それぞれに対応して設けられ、対応する高感度画素の信号電荷を前記浮遊拡散層に転送する第1転送トランジスタと、
    少なくとも1つの前記低感度画素と、
    前記少なくとも1つの前記低感度画素それぞれに対応して設けられ、対応する低感度画素の信号電荷を前記浮遊拡散層に転送する第2転送トランジスタと、
    前記第2転送トランジスタと前記浮遊拡散層とを電気的に切断または接続するトランジスタとを備える
    請求項1から10のいずれか1項に記載の固体撮像装置。
  12. 前記固体撮像装置は、さらに、
    前記複数の低感度画素毎に設けられた制御電極であって、対応する低感度画素の一部を覆う制御電極を有し、
    前記制御電極は、前記制御電極に印加される電圧に応じて対応する低感度画素の表面のポテンシャルを制御する
    請求項1から11のいずれか1項に記載の固体撮像装置。
  13. 前記固体撮像装置は、行列状に配置された複数の画素回路を備え、
    前記複数の画素回路のそれぞれは、
    少なくとも1つの前記高感度画素と、
    信号電荷を保持する浮遊拡散層と、
    前記少なくとも1つの前記高感度画素それぞれに対応して設けられ、対応する高感度画素の信号電荷を前記浮遊拡散層に転送する第1転送トランジスタと、
    少なくとも1つの前記低感度画素と、
    前記少なくとも1つの前記低感度画素それぞれに対応して設けられ、対応する低感度画素の信号電荷を前記浮遊拡散層に転送する第2転送トランジスタとを備え、
    前記固体撮像装置は、
    前記低感度画素に対して1垂直走査期間内に通常露光動作と中間露光動作とを繰り返し、
    前記通常露光動作では、前記第2転送トランジスタのゲート電極がローレベルであり、
    前記中間露光動作では、前記第2転送トランジスタのゲート電極がハイレベルまたはミドルレベルであり、
    前記通常露光動作から中間露光動作への切り替えを全行同時に行い、前記中間露光動作から前記通常露光動作への切り替えを全行同時に行う
    請求項1から12のいずれか1項に記載の固体撮像装置。
  14. 請求項1から13のいずれか1項に記載の固体撮像装置を備え、
    ビューシステム、ADAS(先進運転支援システム)のセンシングシステム、および、自動運転のセンシングシステムのいずれか1つのシステムを構成する
    撮像装置。
  15. 前記撮像装置は、前記輸送機器の前方、左サイド、右サイド、ルームミラーの1つ以上に搭載される
    請求項14に記載の撮像装置。
JP2018554955A 2016-12-08 2017-11-30 固体撮像装置および撮像装置 Active JP7014734B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662431603P 2016-12-08 2016-12-08
US62/431,603 2016-12-08
PCT/JP2017/042988 WO2018105474A1 (ja) 2016-12-08 2017-11-30 固体撮像装置および撮像装置

Publications (2)

Publication Number Publication Date
JPWO2018105474A1 true JPWO2018105474A1 (ja) 2019-10-24
JP7014734B2 JP7014734B2 (ja) 2022-02-01

Family

ID=62491024

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018554955A Active JP7014734B2 (ja) 2016-12-08 2017-11-30 固体撮像装置および撮像装置
JP2018554956A Active JP7064444B2 (ja) 2016-12-08 2017-11-30 固体撮像装置、及びそれを用いる撮像装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2018554956A Active JP7064444B2 (ja) 2016-12-08 2017-11-30 固体撮像装置、及びそれを用いる撮像装置

Country Status (5)

Country Link
US (2) US10685997B2 (ja)
EP (1) EP3554065B1 (ja)
JP (2) JP7014734B2 (ja)
CN (2) CN110036630B (ja)
WO (2) WO2018105475A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110036630B (zh) * 2016-12-08 2021-08-20 新唐科技日本株式会社 固体摄像装置以及摄像装置、输送设备的反射镜
JP6748622B2 (ja) * 2017-02-16 2020-09-02 ソニーセミコンダクタソリューションズ株式会社 撮像システムおよび撮像装置
DE102017118160A1 (de) * 2017-08-09 2019-02-14 Valeo Schalter Und Sensoren Gmbh Ermitteln der maximalen Reichweite eines LIDAR-Sensors
CN109005346B (zh) * 2018-08-13 2020-04-03 Oppo广东移动通信有限公司 控制方法、装置、电子设备和计算机可读存储介质
US11172142B2 (en) 2018-09-25 2021-11-09 Taiwan Semiconductor Manufacturing Co., Ltd. Image sensor for sensing LED light with reduced flickering
JP7362651B2 (ja) 2018-11-07 2023-10-17 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び電子機器
CN111246051B (zh) 2018-11-09 2021-06-29 浙江宇视科技有限公司 自动检测条纹并抑制的方法、装置、设备及存储介质
JP2020188310A (ja) * 2019-05-10 2020-11-19 ソニーセミコンダクタソリューションズ株式会社 画像認識装置および画像認識方法
US10999549B2 (en) * 2019-06-20 2021-05-04 Pixart Imaging Incorporation Image sensor, column parallel ADC circuit and A/D conversion method thereof
TWI748460B (zh) * 2019-06-21 2021-12-01 大陸商廣州印芯半導體技術有限公司 飛時測距裝置及飛時測距方法
US11447063B2 (en) * 2019-07-18 2022-09-20 GM Global Technology Operations LLC Steerable scanning and perception system with active illumination
US10863106B1 (en) * 2019-10-21 2020-12-08 GM Global Technology Operations LLC Systems and methods for LED flickering and banding detection
US11196937B2 (en) 2019-11-25 2021-12-07 Qualcomm Incorporated High frame rate in high dynamic range processing
WO2021199807A1 (ja) * 2020-03-31 2021-10-07 パナソニックIpマネジメント株式会社 撮像装置および撮像方法
DE102021113883A1 (de) * 2020-06-04 2021-12-09 Samsung Electronics Co., Ltd. Bildsensor, elektronische vorrichtung, und betriebsverfahren eines bildsensors
JP2022020553A (ja) * 2020-07-20 2022-02-01 株式会社ユピテル システム及びプログラム等
CN111683212B (zh) * 2020-07-20 2021-05-04 成都微光集电科技有限公司 一种图像传感器及其测试方法
CN112165586A (zh) * 2020-09-28 2021-01-01 成都微光集电科技有限公司 Adc功能安全校验装置和方法、cmos图像传感器、参考像素单元
CN114743226A (zh) * 2020-12-23 2022-07-12 京东方科技集团股份有限公司 图像采集结构及其驱动方法、显示装置
JP2022100908A (ja) * 2020-12-24 2022-07-06 ゼタテクノロジーズ株式会社 固体撮像装置、固体撮像装置の信号処理方法、および電子機器
KR20230000673A (ko) 2021-06-25 2023-01-03 삼성전자주식회사 듀얼 컨버전 게인을 이용한 노이즈 감소를 위한 이미지 처리 장치 및 그 동작 방법
US11444630B1 (en) * 2021-06-30 2022-09-13 Novatek Microelectronics Corp. Column analog-to-digital converter and local counting method thereof

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07264488A (ja) * 1995-02-15 1995-10-13 Olympus Optical Co Ltd 電子的撮像装置
JP2006121617A (ja) * 2004-10-25 2006-05-11 Matsushita Electric Works Ltd 空間情報の検出装置
JP2011188148A (ja) * 2010-03-05 2011-09-22 Toshiba Corp 固体撮像装置
JP2013197989A (ja) * 2012-03-21 2013-09-30 Canon Inc 固体撮像装置
WO2015083562A1 (ja) * 2013-12-04 2015-06-11 ソニー株式会社 画像処理装置、画像処理方法、電子機器、並びにプログラム
JP2016119652A (ja) * 2014-12-17 2016-06-30 キヤノン株式会社 撮像装置及び撮像素子の駆動方法
WO2016147885A1 (ja) * 2015-03-16 2016-09-22 ソニー株式会社 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器
WO2017141727A1 (ja) * 2016-02-18 2017-08-24 ソニー株式会社 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器
JP2017183563A (ja) * 2016-03-31 2017-10-05 ソニー株式会社 撮像装置、駆動方法、および、電子機器
WO2017169216A1 (ja) * 2016-03-31 2017-10-05 ソニー株式会社 固体撮像素子、固体撮像素子の駆動方法、及び、電子機器

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3031606B2 (ja) * 1995-08-02 2000-04-10 キヤノン株式会社 固体撮像装置と画像撮像装置
JP2000083261A (ja) * 1998-09-04 2000-03-21 Advantest Corp 画像切出装置及びこれを搭載した画像入力ボード
JP3730442B2 (ja) 1999-05-14 2006-01-05 株式会社東芝 固体撮像装置
JP2002027196A (ja) 2000-07-04 2002-01-25 Ricoh Co Ltd 画像読取装置及び画像形成装置
JP3962278B2 (ja) * 2002-05-14 2007-08-22 富士フイルム株式会社 ディジタルカメラおよびそのシェーディング補正方法
JP2004112742A (ja) * 2002-07-25 2004-04-08 Fujitsu Ltd 画像歪みを抑制したイメージセンサ
JP4150599B2 (ja) * 2003-01-17 2008-09-17 富士フイルム株式会社 露出補正機能付きデジタルカメラ
JP4468657B2 (ja) * 2003-04-28 2010-05-26 オリンパス株式会社 撮像素子
US7224388B2 (en) * 2003-05-08 2007-05-29 Micron Technology, Inc. Wide dynamic range active pixel with knee response
JP4654857B2 (ja) 2005-09-26 2011-03-23 ソニー株式会社 Da変換装置、ad変換装置、半導体装置
JP4487944B2 (ja) * 2006-02-09 2010-06-23 ソニー株式会社 固体撮像装置
JP4846409B2 (ja) 2006-03-30 2011-12-28 富士フイルム株式会社 固体撮像装置
KR101338353B1 (ko) * 2007-05-30 2013-12-06 삼성전자주식회사 영상 촬상 장치 및 방법
US7825966B2 (en) * 2007-06-29 2010-11-02 Omnivision Technologies, Inc. High dynamic range sensor with blooming drain
TWI504256B (zh) * 2008-04-07 2015-10-11 Sony Corp 固態成像裝置,其訊號處理方法,及電子設備
JP2009278236A (ja) 2008-05-13 2009-11-26 Panasonic Corp 固体撮像装置
JP5115335B2 (ja) * 2008-05-27 2013-01-09 ソニー株式会社 固体撮像素子及びカメラシステム
JP4975700B2 (ja) 2008-08-06 2012-07-11 シャープ株式会社 Dac測定方法および固体撮像装置
ATE543215T1 (de) * 2009-03-24 2012-02-15 Sony Corp Festkörper-abbildungsvorrichtung, ansteuerverfahren für festkörper- abbildungsvorrichtung und elektronische vorrichtung
JP2011044801A (ja) * 2009-08-19 2011-03-03 Toshiba Corp 画像処理装置
JP2011091775A (ja) * 2009-10-26 2011-05-06 Toshiba Corp 固体撮像装置
JP2012039299A (ja) * 2010-08-05 2012-02-23 Toshiba Corp 固体撮像装置
US8823850B2 (en) 2010-12-30 2014-09-02 Hynix Semiconductor Inc. Image processing system with on-chip test mode for column ADCs
JP2012222529A (ja) * 2011-04-06 2012-11-12 Sony Corp 固体撮像素子および駆動方法、並びに電子機器
JP2013055500A (ja) * 2011-09-02 2013-03-21 Sony Corp 固体撮像素子およびカメラシステム
JP5980080B2 (ja) * 2012-10-02 2016-08-31 キヤノン株式会社 光電変換装置、撮像システム、光電変換装置の検査方法および撮像システムの製造方法
JP5813067B2 (ja) * 2012-12-20 2015-11-17 キヤノン株式会社 撮像装置の駆動方法、デジタル信号の補正方法、撮像装置、撮像システムの駆動方法、撮像システム
WO2015033497A1 (ja) * 2013-09-06 2015-03-12 パナソニックIpマネジメント株式会社 撮像装置及びその駆動方法
JP6408372B2 (ja) * 2014-03-31 2018-10-17 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及びその駆動制御方法、並びに、電子機器
JP6362091B2 (ja) * 2014-06-04 2018-07-25 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
JP6406888B2 (ja) 2014-06-17 2018-10-17 キヤノン株式会社 アナログデジタル変換回路の駆動方法、アナログデジタル変換回路、撮像装置、撮像システム、アナログデジタル変換回路の検査方法
JP6448340B2 (ja) 2014-12-10 2019-01-09 キヤノン株式会社 固体撮像装置、撮像システム及び固体撮像装置の駆動方法
US9467633B2 (en) * 2015-02-27 2016-10-11 Semiconductor Components Industries, Llc High dynamic range imaging systems having differential photodiode exposures
CN110036630B (zh) 2016-12-08 2021-08-20 新唐科技日本株式会社 固体摄像装置以及摄像装置、输送设备的反射镜

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07264488A (ja) * 1995-02-15 1995-10-13 Olympus Optical Co Ltd 電子的撮像装置
JP2006121617A (ja) * 2004-10-25 2006-05-11 Matsushita Electric Works Ltd 空間情報の検出装置
JP2011188148A (ja) * 2010-03-05 2011-09-22 Toshiba Corp 固体撮像装置
JP2013197989A (ja) * 2012-03-21 2013-09-30 Canon Inc 固体撮像装置
WO2015083562A1 (ja) * 2013-12-04 2015-06-11 ソニー株式会社 画像処理装置、画像処理方法、電子機器、並びにプログラム
JP2016119652A (ja) * 2014-12-17 2016-06-30 キヤノン株式会社 撮像装置及び撮像素子の駆動方法
WO2016147885A1 (ja) * 2015-03-16 2016-09-22 ソニー株式会社 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器
WO2017141727A1 (ja) * 2016-02-18 2017-08-24 ソニー株式会社 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器
JP2017183563A (ja) * 2016-03-31 2017-10-05 ソニー株式会社 撮像装置、駆動方法、および、電子機器
WO2017169216A1 (ja) * 2016-03-31 2017-10-05 ソニー株式会社 固体撮像素子、固体撮像素子の駆動方法、及び、電子機器

Also Published As

Publication number Publication date
JP7064444B2 (ja) 2022-05-10
US20190289238A1 (en) 2019-09-19
JPWO2018105475A1 (ja) 2019-10-24
US10685997B2 (en) 2020-06-16
US20190288020A1 (en) 2019-09-19
JP7014734B2 (ja) 2022-02-01
CN110036632A (zh) 2019-07-19
CN110036630A (zh) 2019-07-19
WO2018105475A1 (ja) 2018-06-14
WO2018105474A1 (ja) 2018-06-14
CN110036630B (zh) 2021-08-20
EP3554065B1 (en) 2021-12-29
CN110036632B (zh) 2021-07-09
EP3554065A4 (en) 2020-01-01
EP3554065A1 (en) 2019-10-16
US10847556B2 (en) 2020-11-24

Similar Documents

Publication Publication Date Title
JP7014734B2 (ja) 固体撮像装置および撮像装置
US10504949B2 (en) Solid-state imaging device, method of driving solid-state imaging device, imaging system, and movable object
US11336844B2 (en) Imaging device, imaging system, and movable object
JP6937736B2 (ja) 固体撮像装置および撮像装置
WO2021166584A1 (ja) 固体撮像装置、及びそれを用いる撮像装置
JP2015109503A (ja) イメージセンサおよびイメージセンサの動作方法、撮像装置、電子機器、並びにプログラム
US11070755B2 (en) Imaging device and signal processing device
US20170187968A1 (en) Image pickup apparatus, image pickup system, and control method for the image pickup apparatus
JP2012222529A (ja) 固体撮像素子および駆動方法、並びに電子機器
CN108432238B (zh) 固体摄像装置、固体摄像装置的驱动方法以及电子设备
US20220070396A1 (en) Solid-state imaging apparatus, imaging apparatus, and imaging method
JP7204480B2 (ja) 撮像装置、撮像システム、移動体及び撮像装置の制御方法
JP2019193169A (ja) 撮像装置、撮像システム、および、移動体
JP5051994B2 (ja) 固体撮像装置、固体撮像装置の駆動方法および撮像装置
US7800670B2 (en) Image pickup apparatus and image pickup method
WO2020241289A1 (ja) 固体撮像装置、及びそれを用いる撮像装置
CN108432239B (zh) 固体摄像装置、固体摄像装置的驱动方法以及电子设备
US20080074526A1 (en) Image pickup device and image pickup method
JP2010178197A (ja) 固体撮像装置の駆動方法、固体撮像装置およびカメラ
JP2006237789A (ja) 撮像装置
JP2017055244A (ja) 固体撮像装置
JP2014033391A (ja) 固体撮像装置

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20200217

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20200520

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201009

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220120