JP7102161B2 - 撮像装置、撮像システム、及び、移動体 - Google Patents

撮像装置、撮像システム、及び、移動体 Download PDF

Info

Publication number
JP7102161B2
JP7102161B2 JP2018025217A JP2018025217A JP7102161B2 JP 7102161 B2 JP7102161 B2 JP 7102161B2 JP 2018025217 A JP2018025217 A JP 2018025217A JP 2018025217 A JP2018025217 A JP 2018025217A JP 7102161 B2 JP7102161 B2 JP 7102161B2
Authority
JP
Japan
Prior art keywords
signal
output
circuit
lamp
gain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018025217A
Other languages
English (en)
Other versions
JP2019140650A (ja
Inventor
誠一郎 酒井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018025217A priority Critical patent/JP7102161B2/ja
Priority to US16/272,102 priority patent/US10979067B2/en
Publication of JP2019140650A publication Critical patent/JP2019140650A/ja
Application granted granted Critical
Publication of JP7102161B2 publication Critical patent/JP7102161B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M1/00Analogue/digital conversion; Digital/analogue conversion
    • H03M1/12Analogue/digital converters
    • H03M1/50Analogue/digital converters with intermediate conversion to time interval
    • H03M1/56Input signal compared with linear ramp
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M1/00Analogue/digital conversion; Digital/analogue conversion
    • H03M1/12Analogue/digital converters
    • H03M1/18Automatic control for modifying the range of signals the converter can handle, e.g. gain ranging
    • H03M1/181Automatic control for modifying the range of signals the converter can handle, e.g. gain ranging in feedback mode, i.e. by determining the range to be selected from one or more previous digital output values
    • H03M1/182Automatic control for modifying the range of signals the converter can handle, e.g. gain ranging in feedback mode, i.e. by determining the range to be selected from one or more previous digital output values the feedback signal controlling the reference levels of the analogue/digital converter
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14609Pixel-elements with integrated switching, control, storage or amplification elements
    • H01L27/14612Pixel-elements with integrated switching, control, storage or amplification elements involving a transistor
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14643Photodiode arrays; MOS imagers
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M1/00Analogue/digital conversion; Digital/analogue conversion
    • H03M1/12Analogue/digital converters
    • H03M1/18Automatic control for modifying the range of signals the converter can handle, e.g. gain ranging
    • H03M1/181Automatic control for modifying the range of signals the converter can handle, e.g. gain ranging in feedback mode, i.e. by determining the range to be selected from one or more previous digital output values
    • H03M1/183Automatic control for modifying the range of signals the converter can handle, e.g. gain ranging in feedback mode, i.e. by determining the range to be selected from one or more previous digital output values the feedback signal controlling the gain of an amplifier or attenuator preceding the analogue/digital converter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/581Control of the dynamic range involving two or more exposures acquired simultaneously
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745Circuitry for generating timing or clock signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M1/00Analogue/digital conversion; Digital/analogue conversion
    • H03M1/12Analogue/digital converters
    • H03M1/1205Multiplexed conversion systems
    • H03M1/123Simultaneous, i.e. using one converter per channel but with common control or reference circuits for multiple converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Measurement Of Optical Distance (AREA)

Description

本発明は、撮像装置、並びに、それを備える撮像システム及び移動体に関する。
デジタルカメラなどの撮像システムに搭載される撮像装置(撮像素子又はイメージセンサとも呼ばれる)では、光電変換により得られたアナログ信号をAD変換器によりデジタル信号に変換して出力する。特許文献1には、カメラのISO感度設定に応じて列アンプゲインを変え、さらに入射光量に応じてランプ信号の時間に対する変化率を変えることでAD変換ゲインを変える技術が記載されている。
特開2015-162751号公報
本発明者は、従来技術を用いてカメラのISO感度設定に応じて列アンプゲインを切り替えようとした場合、高ISO感度設定時に、画質が劣化してしまうおそれがあることを見出した。これは、ISO感度の高さに応じて列アンプに高ゲインを設定すると、アンプの応答性が低下してゲイン切り替え後の静定時間が長くなり、所望の時間内に画素信号の読み出し動作を完了することが困難となるためである。
本発明は上述した課題に鑑みてなされたものであり、高速な読み出し動作と高品質な画像取得が可能な撮像装置を提供することを目的とする。
本発明の第一態様は、受光量に応じた信号を出力する画素と、ランプ信号を用いて、前記画素から出力される信号に対応するデジタル値を得るAD変換部と、を備え、前記AD変換部は、前記画素から出力される信号を増幅する増幅回路と、前記増幅回路の出力信号と前記ランプ信号とを用いて生成する比較結果信号を出力する出力ノードを有する比較回路と、前記比較回路の結果に基づいて、前記出力信号に応じたデジタル値を保持するメモリと、前記増幅回路のゲインを切り替えるゲイン切り替え回路と、前記ランプ信号の傾き
を切り替えるランプ信号切り替え回路と、選択回路と、を有し、前記ゲイン切り替え回路と、前記ランプ信号切り替え回路とのそれぞれが、前記選択回路を介して、前記出力ノードに電気的に接続され、前記選択回路は、前記ゲイン切り替え回路と前記ランプ信号切り替え回路の一方に信号を選択的に出力する構成を備え、前記信号は、前記ゲイン切り替え回路においては前記ゲインの切り替えに用いる信号であり、前記ランプ信号切り替え回路においては前記傾きの切り替えに用いる信号であることを特徴とする撮像装置を提供する。
本発明の第二態様は、本発明の第一態様に係る撮像装置と、前記撮像装置から出力される信号を処理する信号処理部と、を有することを特徴とする撮像システムを提供する。
本発明の第三態様は、移動体であって、本発明の第一態様に係る撮像装置と、前記撮像装置の前記画素から出力される信号から、対象物までの距離情報を取得する距離情報取得手段と、前記距離情報に基づいて前記移動体を制御する制御手段と、を有することを特徴とする移動体を提供する。
本発明によれば、高速な読み出し動作と高品質な画像取得が可能な撮像装置を提供することができる。
第1実施形態の撮像装置のブロック図。 第1実施形態の画素の等価回路図。 第1実施形態の列回路の等価回路図。 第1実施形態の撮像装置の駆動モードAの動作タイミング図。 第1実施形態の撮像装置の駆動モードBの動作タイミング図。 第1実施形態における駆動モード切り替えの条件表。 第2実施形態における駆動モード切り替えの条件表。 第3実施形態における駆動モード切り替えの条件表。 第4実施形態の撮像システムのブロック図。 第5実施形態の撮像システム及び移動体のブロック図。
<第1実施形態>
(撮像装置)
図1は、本発明の第1実施形態の撮像装置(光電変換装置ともいう)の構成の一例を示したブロック図である。本実施形態の撮像装置は、複数の画素101が行列状に配列されている。図1では、16個の画素101を4行4列に配列した例を示しているが、実際の撮像装置では数千万個の画素101が配列されている。この撮像装置は、いわゆるCMOSイメージセンサである。
画素101は、光電変換により電荷を生成する光電変換部を含み、光電変換部で発生した電荷を電圧信号に変換して垂直出力線102に出力する。画素定電流源103は、垂直出力線102に電気的に接続され、垂直出力線102に電流を供給する。列回路104は、画素101の列に対応して設けられ、画素101の出力信号が垂直出力線102を介して列回路104に入力される。列回路104は、画素出力信号を増幅し、アナログデジタル変換(AD変換)を行うAD変換部である。ランプ信号出力回路105は、列回路104で行うAD変換に使用するランプ信号を生成するランプ信号供給部である。ランプ信号は、時間に対して電位が変化する信号である。本実施形態では一定の傾き(変化率)をもつランプ信号を用いるが、途中で傾きが変化するランプ信号を用いてもよい。ランプ信号出力回路105は、傾きの異なる複数種類のランプ信号を出力することができる。カウンタ回路106は、列回路104で行うAD変換に使用するカウント信号CNTを出力する。カウント信号CNTは、ランプ信号出力回路105のランプ信号が時間に依存した変化を開始した時から、不図示のクロックパルス供給部から供給されるクロックパルス信号CLKを計数する信号である。 列回路104でAD変換された信号は、水平走査回路10
7により、水平出力線108、信号処理回路109を介して撮像装置の外部に順次出力される。垂直走査回路110は、順次所定の行を選択する動作を行う。タイミング生成部111は、垂直走査回路110、水平走査回路107、列回路104、ランプ信号出力回路105、カウンタ回路106に駆動信号を供給する。また、タイミング生成部111は、外部の回路(例えば撮像システムの制御部)から撮像条件の設定値(ISO感度、フレームレートなど)を取得し、撮像条件に応じて後述する駆動モードの切り替えを行う、モード切り替え部としての機能も提供する。
(画素の構成)
図2は、本実施形態に係る画素101の回路構成の一例を示す図である。画素101において、光電変換部201は入射光を電荷に変換し蓄積する。ここでは例としてフォトダイオードを示している。転送MOSトランジスタ202は、光電変換部201に蓄積された電荷をフローティングディフュージョン(以下FD)203に転送する。FD203は、転送された電荷を電圧に変換する。選択MOSトランジスタ205がオンされると、増
幅MOSトランジスタ204は、FD203に発生した電圧信号を増幅して垂直出力線102に出力する。リセットMOSトランジスタ206は、FD203の電位、および、転送MOSトランジスタ202を介して光電変換部201の電位をSVDDにリセットする。転送MOSトランジスタ202、リセットMOSトランジスタ206、選択MOSトランジスタ205はそれぞれ垂直走査回路110に接続され、制御信号PTX、PRES、PSELにより制御される。
(列回路の構成)
図3は、本実施形態に係る列回路104の回路構成の一例を示す図である。画素101から出力された画素出力信号PIXOUTが、垂直出力線102を介して列アンプ301に入力される。
列アンプ301は、増幅回路であって、ゲイン切り替え回路302のゲイン設定結果に応じて画素出力信号PIXOUTを増幅し、比較器303へ出力する。列アンプ301は、増幅器AMP、入力容量C0、帰還容量Cf1、Cf2、Cf3、Cf4、スイッチSW1、SW2、SW3、SW4、SW5を含む。スイッチSW1~SW4は、ゲイン切り替え回路302によって制御される。スイッチSWは、C0リセットパルスPC0Rによって制御される。列アンプ301のゲインは、増幅器AMPの帰還経路上のアクティブな帰還容量Cfの容量値と入力容量C0の容量値の比で決まる。ゲイン切り替え回路302の動作に関する詳細は後述する。
比較器303の一方の入力には、図1のランプ信号出力回路105から供給されたランプ信号が、ランプ信号切り替え回路304の選択結果に応じて入力される。ランプ信号切り替え回路304の動作に関する詳細は後述する。比較器303の他方の入力には、列アンプ301の出力信号が入力される。
比較器303は、比較回路であって、列アンプ301から入力される列アンプ出力信号AMPOUTと、ランプ信号出力回路105から供給される信号VRAMPとを用いて比較結果信号を生成し、その比較結果信号を出力ノードに出力する。具体的には、比較器303は、信号VRAMPの電圧が信号AMPOUTの電圧より低い時にはローレベルを出力し、高い時にはハイレベルを出力する。
カウンタ回路106は、ランプ信号出力回路105の信号VRAMPが時間に依存した変化を開始した時から、不図示のクロックパルス供給部から供給されるクロックパルス信号CLKを計数するカウント信号CNTを出力する。即ち、カウンタ回路106は、クロックパルス信号CLKを信号VRAMPの電位の変化と並行して計数し、カウント信号CNTを生成して出力する。カウント信号CNTは、各列のNメモリ305A、Sメモリ305Bに共通して供給される。Nメモリ305A、Sメモリ305Bは、比較器303から供給される出力COMPOUTの信号値がローレベルからハイレベルに変化した時に、カウンタ回路106から供給されたカウント信号CNTを保持する。
Nメモリ305Aには、FD203のリセットレベルの信号(以下、N信号)をAD変換したデジタル信号が保持される。Sメモリ305Bには、光電変換部201の信号をFD203のN信号に重畳した信号(以下、S信号)をAD変換したデジタル信号が保持される。判定値メモリ305Cには、ランプ信号VRAMPにより生成された基準電圧VREFと列アンプ301の出力を、比較器303で比較判定した結果(以下、J信号)が保持される。J信号は選択回路306にも入力され、選択回路306はランプ信号切り替え回路304、ゲイン切り替え回路302のどちらかにJ信号を出力する。選択回路306の動作に関する詳細は後述する。
Nメモリ305A、Sメモリ305B、判定値メモリ305Cに保持された信号は、水平走査回路107からの制御信号によって、水平出力線108を介して信号処理回路109へ出力される。そして、信号処理回路109においてS信号からN信号が差し引かれ、ノイズ成分が除去された信号が出力される。信号処理回路109の処理に関する詳細は後述する。
ゲイン切り替え回路302とランプ信号切り替え回路304は、選択回路306を介して、比較器303の出力ノードに接続されている。この形態は、ゲイン切り替え回路302とランプ信号切り替え回路304が比較器303に電気的に接続されていると言える。なお、ゲイン切り替え回路302と比較器303の出力ノードとの間の電気的経路、およびランプ信号切り替え回路304と比較器303の出力ノードとの間の電気的経路に、選択回路306以外の素子(例えば抵抗素子、容量素子、論理回路等)を設けてもよい。このように選択回路306以外の他の素子が当該電気的経路に設けられている場合についても、各切り替え回路302、304と比較器303の出力ノードとが電気的に接続されている例に含まれる。別の言い方をすれば、比較器303の出力ノードとゲイン切り替え回路302との電気的な接続とは、比較器303の出力ノードの信号が、ゲイン切り替え回路302に入力される構成であると言える。また、比較器303の出力ノードとランプ信号切り替え回路304との電気的な接続とは、比較器303の出力ノードの信号が、ランプ信号切り替え回路304に入力される構成であると言える。また、比較器303の出力ノードには、Nメモリ305A、Sメモリ305B、判定値メモリ305Cも電気的に接続されている。比較器303の出力ノードと各メモリとの間の電気的経路にも他の素子が設けられてもよい。
本実施形態の撮像装置は、2つの画素信号読み出し動作を行うことが可能である。1つは画素101から出力される信号の大きさ(信号出力レベル)に応じて、ランプ信号の傾きを切り替えてAD変換を行う動作であり、もう1つは画素101の信号出力レベルに応じて列アンプゲインを切り替えてAD変換を行う動作である。前者の動作を「駆動モードA」と呼び、後者の動作を「駆動モードB」と呼ぶ。
(駆動モードA)
まず、画素101の信号出力レベルに応じてランプ信号の傾きを切り替えてAD変換を行う動作について説明する。
図4は、電荷読み出し動作の一例を示すタイミングチャートである。各駆動パルスのタイミング、画素出力電圧、列アンプ出力電圧、ランプ信号を模式的に示している。
時刻t400で、垂直走査回路110が、選択パルスPSELをハイレベルとし、画素信号PIXOUTを出力させる画素101の行を選択する。また垂直走査回路110は、リセットパルスPRESをハイレベルとし、FD203の電位をリセットする。
時刻t401で、垂直走査回路110は、リセットパルスPRESをローレベルとする。リセットパルスPRESをローレベルとした時に出力される画素信号PIXOUTを「画素基準信号」と表記する。画素基準信号は、画素101が有するノイズ成分を含む信号である。
時刻t402で、水平走査回路107は、C0リセットパルスPC0Rをハイレベルからローレベルに変え、増幅器AMP、入力容量C0のリセットを解除する。これにより、入力容量C0には、C0リセットパルスPC0Rをローレベルとした時の画素基準信号の電位に基づく電荷が保持され、列アンプ301は列アンプ出力信号AMPOUTを出力する。
時刻t403で、水平走査回路107は、比較器リセットパルスCOMPRESをハイレベルとし、所定時間後にローレベルとする。比較器リセットパルスCOMPRESは、
比較器303のリセットを行い初期化するためのものである。
時刻t404から時刻t406の期間で、ランプ信号出力回路105により、ランプ信号VRAMP_Lの電位が時間に依存して初期値から上昇する。なお、ランプ信号出力回路105は、傾きの異なる複数のランプ信号、すなわち傾きが小さいVRAMP_L、傾きが大きいVRAMP_H、さらに傾きが大きいVRAMP_Jを同時に出力し、列回路104に入力することができる。しかし、ここではVRAMP_Lのみを、ランプ信号切り替え回路304を介して比較器303に入力する。ランプ信号VRAMP_Lを参照電圧として使用することで、VRAMP_Hを使用したときよりも、単位時間当たりのランプ信号の電位変化量が小さいため、分解能の高いAD変換を行うことができる。これらの駆動は、タイミング生成部111から、ランプ信号出力回路105及びランプ信号切り替え回路304に制御信号を送ることにより実現される。
時刻t404で、ランプ信号VRAMP_Lの電位変化が開始されるとともに、カウンタ回路106はクロックパルス信号の計数を開始し、カウント信号CNTを各列のNメモリ305Aに供給する。時刻t405で、信号VRAMP_Lの電圧が列アンプ出力信号AMPOUTを上回り、比較器303が出力するCOMPOUTの信号値が変化する。この時のカウント信号CNTの値(カウント値)をNメモリ305Aが保持する。この時にNメモリ305Aが保持したカウント信号CNTの値が、N信号をAD変換したデジタル値である。時刻t406で、ランプ信号VRAMP_Lの時間に依存した電位変化を停止し、時刻t400の状態にリセットする。カウンタ回路106は、クロックパルス信号の計数を止め、そしてカウント信号CNTを初期値に戻す。
時刻t407に転送パルスPTXをハイレベルとし、時刻t408に転送パルスPTXをローレベルとする。これにより、光電変換部201に入射した光によって生成された信号電荷がFD203に転送される。増幅MOSトランジスタ204は、FD203に転送された信号電荷に基づく電圧信号を出力する。この電圧信号が選択MOSトランジスタ205を介して垂直出力線102に出力される。この信号が画素信号PIXOUTの一つである画像信号である。画像信号は、1フレーム期間における光電変換部201の受光量に応じた電圧を有するアナログ信号である。
列アンプ301は、画素基準信号と画像信号との電圧差を反転増幅した列アンプ出力信号AMPOUTを出力する。この時の列アンプ出力信号AMPOUTを「増幅画像信号」と表記する。増幅画像信号は比較器303の一方に入力される。
時刻t409から時刻t411の期間で、比較器303のもう一方にランプ信号VRAMP_Jが入力される。ランプ信号VRAMP_Jはランプ信号出力回路105によって生成され、ランプ信号切り替え回路304を介して比較器303に入力される。
時刻t409から時刻t410の期間で、ランプ信号出力回路105により、ランプ信号VRAMP_Jの電位を時間に依存して初期値から上昇させていく。時刻t410で、ランプ信号VRAMP_Jの電位変化を止める。時刻t410でのランプ信号VRAMP_Jの電圧が基準電圧VREF1となる。この基準電圧VREF1は、画像信号が低輝度の信号であるか高輝度の信号であるかを判定するための閾値として用いられる。
時刻t410から時刻t411の期間で、比較器303は基準電圧VREF1と列アンプ出力信号AMPOUTを比較する。列アンプ出力信号AMPOUTの電圧が基準電圧VREF1よりも低い場合には、比較器303の出力であるCOMPOUT(第2の比較結果信号)がローレベルからハイレベル(=1)となる。出力COMPOUTは、選択回路306にも入力されており、本動作モードにおいて、選択回路306はランプ信号切り替え回路304に切り替え信号を出力し、ランプ信号切り替え回路304はランプ信号VR
AMP_Lを選択して比較器303に入力する。すなわち、画像信号が低輝度の信号である場合には、相対的に傾きの小さい第1のランプ信号VRAMP_LがAD変換に用いられることとなる。
列アンプ出力信号AMPOUTの電圧が基準電圧VREF1よりも高い場合には、比較器303の出力であるCOMPOUT(第2の比較結果信号)はローレベル(=0)となる。選択回路306はランプ信号切り替え回路304に切り替え信号を出力し、ランプ信号切り替え回路304はランプ信号VRAMP_Hを選択して比較器303に入力する。すなわち、画像信号が高輝度の信号である場合には、第1のランプ信号VRAMP_Lに比べて傾きの大きい第2のランプ信号VRAMP_HがAD変換に用いられることとなる。
時刻t410から時刻t411の期間で、比較器303の出力COMPOUTの値(以後、判定値Jと呼ぶ)が、選択回路306に入力される。また判定値Jは、判定値メモリ305C(第2のメモリ)にも保持される。この判定値Jは、画像信号が低輝度の信号であるか(J=1)、高輝度の信号であるか(J=0)を表すフラグである。
時刻t411で、ランプ信号VRAMP_H及びVRAMP_Lのどちらの信号をS信号AD変換期間に使用するかの判定を終了し、ランプ信号VRAMP_Jの電位をリセットする。
時刻t412から時刻t414の期間で、ランプ信号出力回路105は、ランプ信号VRAMP_L電位、及び、VRAMP_H電位を時間に依存して初期値から上昇させていく。各列回路104が、VRAMP_L、VRAMP_Hのどちらを比較器303に入力するかは、時刻t410から時刻t411の間のCOMPOUTの値に応じて決定される。図4の場合、時刻t410から時刻t411の期間の列アンプ出力信号AMPOUTは基準電圧VREF1よりも大きいので、相対的に傾きの大きいランプ信号VRAMP_Hが選択される。
時刻t412で、ランプ信号VRAMP_Hの電位変化が開始するとともに、カウンタ回路106はクロックパルス信号の計数を開始し、カウント信号CNTを各列のSメモリ305Bに供給する。
時刻t413で、信号VRAMP_Hの電圧が列アンプ出力信号AMPOUTを上回り、比較器303が出力するCOMPOUTの信号値が変化する。この時のカウント信号CNTの値(カウント値)をSメモリ305Bが保持する。この時にSメモリ305Bが保持したカウント信号CNTの値が、S信号をAD変換したデジタル値である。
時刻t414で、ランプ信号VRAMP_L、ランプ信号VRAMP_Hの時間に依存した電位変化を停止し、時刻t400の状態にリセットする。カウンタ回路106はクロックパルス信号の計数を止め、そしてカウント信号CNTを初期値に戻す。
時刻t415以降、水平走査回路107により、列回路104を順次動作させることにより、Nメモリ305A、Sメモリ305B、判定値メモリ305Cに保持された信号は水平出力線108を介して信号処理回路109に送られる。そして、演算処理が行われた後、信号が撮像装置の外部に出力される。
信号処理回路109では、S信号からN信号を差し引いた差動信号レベル(光成分)が算出される。なお、S信号-N信号演算の前に、S信号のAD変換時に選択したランプ信号によって、AD変換結果の補正処理を行う。
ここで、AD変換結果の補正処理について説明する。例えば、ランプ信号VRAMP_Hの傾きがランプ信号VRAMP_Lの傾きの4倍である場合、カウント信号CNTの1
カウントに対応する信号振幅はVRAMP_Hのほうが4倍になる。そこで、信号の電位レベルに対するデジタル出力を合わせるために、VRAMP_HにてAD変換されたカウント値に対してデジタルゲインで4倍する処理を行う。信号処理回路109に入力されたS信号に対して補正処理が必要かどうかは、判定値メモリ305Cに保持された判定値Jにより判断することができる。判定値J=0であれば、ランプ信号VRAMP_Hが選択されているため、S信号を4倍する処理を行い、J=1であれば、ランプ信号VRAMP_Lが選択されているため、S信号を4倍する処理は行わない。
なお、判定値Jを求めるための閾値(基準電圧VREF1のレベル)は任意に設定可能であるが、ランプ信号VRAMP_Hの傾きがランプ信号VRAMP_Lの傾きの4倍である場合、AD変換したい出力信号振幅の1/4に設定すると良い。例えば、AD変換したい出力信号の振幅が1[V]であった場合、VREF1を振幅0.25[V]相当に設定する。AD変換時のカウンタを12ビット、4095までカウントする構成として、ランプ信号VRAMP_Lは、4095カウントで振幅0.25[V]となるよう制御する。そして、ランプ信号VRAMP_Hは、4095カウントで振幅1[V]となるよう制御する。
このような構成でAD変換を行った場合、補正処理後の結果は、0.25[V]以下の小振幅、すなわち低輝度の出力は、0から4095まで1カウント刻みで出力結果が得られる。また、0.25[V]より大きく1[V]以下の大振幅、すなわち高輝度の出力は4096から16380まで4カウント刻みで出力結果が得られる。このように、高輝度出力の分解能は低輝度より粗くなるものの、14ビット相当のカウントまで時間をかけることなく、高速にAD変換を行うことができる。
(駆動モードB)
次に、もう一つの画素信号読み出し動作である、画素101の信号出力レベルに応じて列アンプゲインを切り替えてAD変換を行う動作について説明する。
図5は、電荷読み出し動作の一例を示すタイミングチャートである。各駆動パルスのタイミング、画素出力電圧、列アンプ出力電圧、ランプ信号を模式的に示している。
時刻t500で、垂直走査回路110が、選択パルスPSELをハイレベルとし、画素信号PIXOUTを出力させる画素101の行を選択する。また垂直走査回路110は、リセットパルスPRESをハイレベルとし、FD203の電位をリセットする。
時刻t501で、垂直走査回路110は、リセットパルスPRESをローレベルとする。このリセットパルスPRESをローレベルとした時に出力される画素信号PIXOUTを「画素基準信号」と表記する。画素基準信号は、画素101が有するノイズ成分を含む信号である。
時刻t502で、水平走査回路107は、C0リセットパルスPC0Rをハイレベルからローレベルに変え、増幅器AMP及び入力容量C0のリセットを解除する。これにより、入力容量C0には、C0リセットパルスPC0Rをローレベルとした時の画素基準信号の電位に基づく電荷が保持される。また、スイッチSW3及びSW4をオフすることで帰還容量Cf1、Cf2のみを使用し、列アンプ301は列アンプ出力信号AMPOUTを出力する。
列アンプゲインは、増幅器AMPの帰還経路に接続される帰還容量Cf1、Cf2、Cf3、Cf4の容量値と、入力容量C0の容量値との比で決定される。本実施形態では、Cf1、Cf2、Cf3、Cf4の容量値は、それぞれ入力容量C0の容量値の1/8倍
、1/8倍、1/4倍、1/2倍とする。帰還容量Cf1、Cf2、Cf3、Cf4すべてを使用する際のゲインは、1/(1/8+1/8+1/4+1/2)=1倍である。帰還容量Cf1、Cf2のみ使用する際のゲインは1/(1/8+1/8)=4倍である。
時刻t503で、水平走査回路107は、比較器リセットパルスCOMPRESをハイレベルとし、所定時間後にローレベルとする。
時刻t504から時刻t506の期間で、ランプ信号出力回路105により、ランプ信号VRAMP_Hの電位が時間に依存して初期値から上昇する。ここではVRAMP_Hのみをランプ信号切り替え回路304を介して比較器303に入力する。例えば、ランプ信号VRAMP_Hの傾きがランプ信号VRAMP_Lの傾きの4倍である場合、VRAMP_LのAD変換ゲインを1倍とすると、VRAMP_Hは単位時間当たりのランプ信号の電位変化量が大きいためAD変換ゲインは1/4倍となる。詳細は後述するが、低輝度時に列アンプゲイン4倍を使用した際にVRAMP_HでAD変換ゲインを1/4倍することで、光信号に対するAD変換後のデジタル値を適正化している。これらの駆動は、タイミング生成部111からランプ信号出力回路105及びランプ信号切り替え回路304に制御信号を送ることにより実現される。
時刻t504で、ランプ信号VRAMP_Hの電位変化が開始されるとともに、カウンタ回路106はクロックパルス信号の計数を開始し、カウント信号CNTを各列のNメモリ305Aに供給する。時刻t505で、信号VRAMP_Hの電圧が列アンプ出力信号AMPOUTを上回り、比較器303が出力するCOMPOUTの信号値が変化する。この時のカウント信号CNTの値をNメモリ305Aが保持する。この時にNメモリ305Aが保持したカウント信号CNTの値が、N信号をAD変換した値である。時刻t506で、ランプ信号VRAMP_Hの時間に依存した電位変化を停止し、時刻t500の状態にリセットする。カウンタ回路106は、クロックパルス信号の計数を止め、そしてカウント信号CNTを初期値に戻す。
時刻t507に転送パルスPTXをハイレベルとし、時刻t508に転送パルスPTXをローレベルとする。これにより、光電変換部201に入射した光によって生成された信号電荷がFD203に転送される。増幅MOSトランジスタ204は、FD203に転送された信号電荷に基づく電圧信号を出力する。この電圧信号が選択MOSトランジスタ205を介して垂直出力線102に出力される。この信号が画素信号PIXOUTの一つである画像信号である。
列アンプ301は、画素基準信号と画像信号との電位差を反転増幅した列アンプ出力信号AMPOUTを出力する。この時の列アンプ出力信号AMPOUTを「増幅画像信号」と表記する。増幅画像信号は比較器303の一方に入力される。
時刻t509から時刻t511の期間で、比較器303のもう一方にランプ信号VRAMP_Jが入力される。ランプ信号VRAMP_Jはランプ信号出力回路105によって生成され、ランプ信号切り替え回路304を介して比較器303に入力される。
時刻t509から時刻t510の期間で、ランプ信号出力回路105により、ランプ信号VRAMP_Jの電位を時間に依存して初期値から上昇させていく。時刻t510で、ランプ信号VRAMP_Jの電位変化を止める。時刻t510でのランプ信号VRAMP_Jの電圧が基準電圧VREF2となる。この基準電圧VREF2は、画像信号が低輝度の信号であるか高輝度の信号であるかを判定するための閾値として用いられる。
時刻t510から時刻t511の期間で、比較器303は基準電圧VREF2と列アンプ出力信号AMPOUTを比較する。列アンプ出力信号AMPOUTの電圧が基準電圧VREF2よりも低い際には、比較器303の出力であるCOMPOUT(第2の比較結果
信号)がローレベルからハイレベル(=1)となる。出力COMPOUTは、選択回路306にも入力されており、本動作モードにおいて、選択回路306はゲイン切り替え回路302に切り替え信号を出力し、ゲイン切り替え回路302はゲイン切り替え信号を列アンプ301に入力する。信号AMPOUTの電圧が基準電圧VREF2よりも低い際には、スイッチSW1~SW4は変化せず、ゲインは4倍のまま変わらない。
信号AMPOUTの電圧が基準電圧VREF2よりも高い際には、比較器303の出力であるCOMPOUT(第2の比較結果信号)はローレベル(=0)となる。選択回路306はゲイン切り替え回路302に切り替え信号を出力し、スイッチSW3及びSW4をオンし、ゲインが1倍に切り替えられ、1倍で増幅された信号が出力される。
時刻t510から時刻t511の期間で、比較器303の出力COMPOUTの値(判定値J)が、選択回路306に入力される。また、判定値Jは、判定値メモリ305C(第2のメモリ)にも保持される。
時刻t511で、列アンプのゲインを1倍と4倍のどちらをS信号AD変換期間に使用するかの判定を終了し、ランプ信号VRAMP_Jの電位をリセットする。
時刻t512から時刻t514の期間で、ランプ信号出力回路105は、ランプ信号VRAMP_Hの電位を時間に依存して初期値から上昇させていく。図5の場合、時刻t510から時刻t511の期間の列アンプ出力信号AMPOUTの電圧は、基準電圧VREF2よりも大きいので、列アンプゲインは1倍に切り替えられている。
時刻t512で、ランプ信号VRAMP_Hの電位変化が開始するとともに、カウンタ回路106はクロックパルス信号の計数を開始し、カウント信号CNTを各列のSメモリ305Bに供給する。
時刻t513で、信号VRAMP_Hの電圧が列アンプ出力信号AMPOUTを上回り、比較器303が出力するCOMPOUTの信号値が変化する。この時のカウント信号CNTの信号値をSメモリ305Bが保持する。この時にSメモリ305Bが保持したカウント信号CNTの信号値が、S信号をAD変換した値である。
時刻t514で、ランプ信号VRAMP_Hの時間に依存した電位変化を停止し、時刻t500の状態にリセットする。カウンタ回路106はクロックパルス信号の計数を止め、そしてカウント信号CNTを初期値に戻す。
時刻t515以降、水平走査回路107により、列回路104を順次動作させることにより、Nメモリ305A、Sメモリ305B、判定値メモリ305Cに保持された信号は水平出力線108を介して信号処理回路109に送られる。そして、演算処理が行われた後、信号が撮像装置の外部に出力される。
信号処理回路109では、S信号からN信号を差し引いた差動信号レベル(光成分)が算出される。なお、S信号-N信号演算の前に、S信号のAD変換時に使用した列アンプゲインによって、AD変換結果の補正処理を行う。
ここで、AD変換結果の補正処理について説明する。信号処理回路109に入力されたS信号に対して補正処理が必要かどうかは、判定値メモリ305Cに保持された判定値Jにより判断することができる。判定値J=0であれば、列アンプゲインが4倍から1倍へゲイン低下する変更が行われるため、S信号を4倍する処理を行い、J=1であれば、列アンプゲインは4倍のままのため、S信号を4倍する処理は行わない。
なお、判定値Jを求めるための閾値(基準電圧VREF2のレベル)は任意に設定可能であるが、例えば、AD変換したい出力信号の振幅が1[V]であった場合、基準電圧VREF2を振幅1[V]相当に設定するとよい。AD変換時のカウンタを12ビット、4
095までカウントする構成として、ランプ信号VRAMP_Hは4095カウントで振幅1[V]となるよう制御する。
列アンプゲイン4倍のままでAD変換を行った場合、すなわち低輝度の出力は0から4095まで1カウント刻みで出力結果が得られる。列アンプゲインを4倍から1倍へ低下させてAD変換を行った場合、すなわち高輝度の出力は4096から16380まで4カウント刻みで出力結果が得られる。このように、高輝度出力の分解能は低輝度より粗くなるものの、14ビット相当のカウントまで時間をかけることなく、高速にAD変換を行うことができる。
ところで、撮像装置のISO感度が変更されると、それに連動して列アンプのゲインを切り替えて使用することが一般的に知られている。例えば、ISO100で列アンプゲイン1倍を使用したとすると、ISO200では列アンプゲイン2倍、ISO400では列アンプゲイン4倍といった具合である。
本実施形態の駆動モードBのISO100では、高輝度時は、光量に比例して発生する光ショットノイズが回路ノイズよりも支配的なため、列アンプゲイン1倍を使用する。一方、低輝度時は、回路ノイズが支配的なため、列アンプゲイン4倍を使用し、列アンプでゲインをかけて信号増幅を行う。これにより、後段の比較器で発生するノイズの影響が相対的に低下し、高画質な画像を得ることができる。よってISO100からランダムノイズ低減の効果を得ることができる。
(駆動モードの切り替え)
駆動モードBは、低輝度時のランダムノイズを低減できる点では有利であるが、ISO感度が高い場合に高ゲインの切り替え動作が必要になるという不利がある。例えばISO感度に比例してゲインを設定していくと、ISO25600の場合に、低輝度時に64倍、高輝度時に16倍という高ゲインの切り替えを行わなければならない。高ゲイン時はアンプの応答性が低下し、静定に時間がかかるため、所望の時間内に画素信号の読み出し動作を完了することが困難となる。一方、駆動モードAは、アンプの静定を待つ時間が必要ないので、高速化には有利である。
そこで、本実施形態では、設定されるISO感度に応じて駆動モードAとBを切り替える。具体的には、ISO感度が所定の感度より高い場合には、画素信号の読み出しを高速化するため駆動モードAに切り替え、それ以外の場合は、ランダムノイズを低減するため駆動モードBに切り替える。
続いて、ISO感度設定に応じて駆動モードを変更する具体例について説明する。図6は、本実施形態におけるISO感度、駆動モード、列アンプゲイン、ランプゲイン(ランプ信号の傾き)の関係を示す表である。本実施形態ではISO感度が100、200の場合には駆動モードBを使用し、ISO感度が400から25600は駆動モードAを使用する。ISO100とISO200では列アンプゲインを低輝度と高輝度で切り替え、ランプゲインは1/4倍で固定し、AD変換を行う。ISO400からISO25600は、各ISO感度で列アンプゲインを固定し、低輝度と高輝度でランプゲイン(ランプ信号の傾き)を切り替えている。図6に示したような設定表で駆動モードを切り替えることで、低ISO感度設定時はランダムノイズを低減することができ、高ISO感度設定時は列アンプで高ゲインをかけても高速化を達成することが可能となる。
<第2実施形態>
本発明の第2実施形態について説明する。第1実施形態では、ISO感度設定に応じて駆動モードを切り替えたのに対し、本実施形態では、フレームレートに応じて駆動モード
を切り替える。具体的には、フレームレートが所定のフレームレートより高い場合には、画素信号の読み出しを高速化するため駆動モードAに切り替え、それ以外の場合は、ランダムノイズを低減するため駆動モードBに切り替える。撮像装置の構成及び駆動方法は、第1実施形態と同様であるため、説明を省略する。
図7は、駆動モード切り替え条件の設定表である。図7の例では、15fps(フレーム/秒)、30fpsといった比較的低速なフレームレートでは、駆動モードBを使用し、ランダムノイズを低減する。そして、60fps、120fps、240fpsといった比較的高速なフレームレートでは、高速な読み出しが可能な駆動モードAを使用する。このように撮影条件に応じて適切に駆動モードを切り替えることによって、いずれのフレームレートにおいても高品質な画像を得ることができる。
<第3実施形態>
本発明の第3実施形態について説明する。本実施形態では、ISO感度設定とフレームレートに応じて駆動モードを切り替える。撮像装置の構成及び駆動方法は、第1実施形態と同様であるため、説明を省略する。
図8は、駆動モード切り替え条件の設定表である。図8の例では、ISO感度が第1の感度(ISO1600)より高い場合(ISO3200~ISO25600の場合)は駆動モードAに切り替える。また、ISO感度が第2の感度(ISO400)より低い場合(ISO100~ISO200の場合)は駆動モードBに切り替える。そして、ISO感度が第2の感度以上かつ第1の感度以下の場合(ISO400~ISO1600の場合)は、フレームレートが高ければ駆動モードBに、フレームレートが低ければ駆動モードAに切り替える。
このように、120fpsなどの高速モードでは高速読み出しが可能な駆動モードAで駆動し、15fpsなどの低速モードではISO1600まで駆動モードBで駆動し、ランダムノイズを低減する。撮影条件に応じて適切に駆動モードを切り替えることによって、高画質な画像を得ることができる。
<第4実施形態>
本発明の第4実施形態による撮像システムについて、図9を用いて説明する。図9は、本実施形態による撮像システムの概略構成を示すブロック図である。
上記第1乃至第3実施形態で述べた撮像装置は、種々の撮像システムに適用可能である。適用可能な撮像システムとしては、特に限定されるものではないが、例えば、デジタルスチルカメラ、デジタルカムコーダ、監視カメラ、複写機、ファックス、携帯電話、車載カメラ、観測衛星などが挙げられる。また、レンズなどの光学系と撮像装置とを備えるカメラモジュールも、撮像システムに含まれる。図9にはこれらのうちの一例として、デジタルスチルカメラのブロック図を例示している。
撮像システム500は、図9に示すように、撮像装置100、撮像光学系502、CPU510、レンズ制御部512、撮像装置制御部514、画像処理部516、絞りシャッタ制御部518、表示部520、操作スイッチ522、記録媒体524を備える。
撮像光学系502は、被写体の光学像を形成するための光学系であり、レンズ群、絞り504等を含む。絞り504は、その開口径を調節することで撮影時の光量調節を行なう機能を備えるほか、静止画撮影時には露光秒時調節用シャッタとしての機能も備える。レンズ群及び絞り504は、光軸方向に沿って進退可能に保持されており、これらの連動した動作によって変倍機能(ズーム機能)や焦点調節機能を実現する。撮像光学系502は
、撮像システムに一体化されていてもよいし、撮像システムへの装着が可能な撮像レンズでもよい。
撮像光学系502の像空間には、その撮像面が位置するように撮像装置100が配置されている。撮像装置100は、第1乃至第3実施形態で説明した撮像装置であり、CMOSセンサ(画素部)とその周辺回路(周辺回路領域)とを含んで構成される。撮像装置100は、複数の光電変換部を有する画素が2次元配置され、これらの画素に対してカラーフィルタが配置されることで、2次元単板カラーセンサを構成している。撮像装置100は、撮像光学系502により結像された被写体像を光電変換し、画像信号や焦点検出信号として出力する。
レンズ制御部512は、撮像光学系502のレンズ群の進退駆動を制御して変倍操作や焦点調節を行うためのものであり、その機能を実現するように構成された回路や処理装置により構成されている。絞りシャッタ制御部518は、絞り504の開口径を変化して(絞り値を可変として)撮影光量を調節するためのものであり、その機能を実現するように構成された回路や処理装置により構成される。
CPU510は、カメラ本体の種々の制御を司るカメラ内の制御装置であり、演算部、ROM、RAM、A/Dコンバータ、D/Aコンバータ、通信インターフェイス回路等を含む。CPU510は、ROM等に記憶されたコンピュータプログラムに従ってカメラ内の各部の動作を制御し、撮像光学系502の焦点状態の検出(焦点検出)を含むAF、撮像、画像処理、記録等の一連の撮影動作を実行する。CPU510は、信号処理部でもある。
撮像装置制御部514は、撮像装置100の動作を制御するとともに、撮像装置100から出力された信号をA/D変換してCPU510に送信するためのものであり、それら機能を実現するように構成された回路や制御装置により構成される。A/D変換機能は、撮像装置100が備えていてもかまわない。画像処理部516は、A/D変換された信号に対してγ変換やカラー補間等の画像処理を行って画像信号を生成するためのものであり、その機能を実現するように構成された回路や制御装置により構成される。表示部520は、液晶表示装置(LCD)等の表示装置であり、カメラの撮影モードに関する情報、撮影前のプレビュー画像、撮影後の確認用画像、焦点検出時の合焦状態等を表示する。操作スイッチ522は、電源スイッチ、レリーズ(撮影トリガ)スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。記録媒体524は、撮影済み画像等を記録するためのものであり、撮像システムに内蔵されたものでもよいし、メモリカード等の着脱可能なものでもよい。
このようにして、第1乃至第3実施形態による撮像装置100を適用した撮像システム500を構成することにより、高性能の撮像システムを実現することができる。
<第5実施形態>
本発明の第5実施形態による撮像システム及び移動体について、図10A及び図10Bを用いて説明する。図10A及び図10Bは、本実施形態による撮像システム及び移動体の構成を示す図である。
図10Aは、車載カメラに関する撮像システム400の一例を示したものである。撮像システム400は、撮像装置410を有する。撮像装置410は、上述の第1乃至第3実施形態に記載の撮像装置のいずれかである。撮像システム400は、撮像装置410により取得された複数の画像データに対し、画像処理を行う画像処理部412と、撮像装置410により取得された複数の画像データから視差(視差画像の位相差)の算出を行う視差
取得部414を有する。また、撮像システム400は、算出された視差に基づいて対象物までの距離を算出する距離取得部416と、算出された距離に基づいて衝突可能性があるか否かを判定する衝突判定部418と、を有する。ここで、視差取得部414や距離取得部416は、対象物までの距離情報を取得する距離情報取得手段の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離等に関する情報である。衝突判定部418はこれらの距離情報のいずれかを用いて、衝突可能性を判定してもよい。距離情報取得手段は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。また、FPGA(Field Programmable Gate Array)、ASIC(Application Specific Integrated Circuit)等によって実現されてもよいし、これらの組合せによって実現されてもよい。
撮像システム400は、車両情報取得装置420と接続されており、車速、ヨーレート、舵角などの車両情報を取得することができる。また、撮像システム400は、衝突判定部418での判定結果に基づいて、車両に対して制動力を発生させる制御信号を出力する制御装置である制御ECU430が接続されている。すなわち、制御ECU430は、距離情報に基づいて移動体を制御する移動体制御手段の一例である。また、撮像システム400は、衝突判定部418での判定結果に基づいて、ドライバーへ警報を発する警報装置440とも接続されている。例えば、衝突判定部418の判定結果として衝突可能性が高い場合、制御ECU430はブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして衝突を回避、被害を軽減する車両制御を行う。警報装置440は音等の警報を鳴らす、カーナビゲーションシステムなどの画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザに警告を行う。
本実施形態では、車両の周囲、例えば前方又は後方を撮像システム400で撮像する。図10Bに、車両前方(撮像範囲450)を撮像する場合の撮像システム400を示した。車両情報取得装置420は、撮像システム400を動作させ撮像を実行させるように指示を送る。上述の第1乃至第3実施形態の撮像装置を撮像装置410として用いることにより、本実施形態の撮像システム400は、測距の精度をより向上させることができる。
以上の説明では、他の車両と衝突しないように制御する例を述べたが、他の車両に追従して自動運転する制御、車線からはみ出さないように自動運転する制御等にも適用可能である。更に、撮像システムは、自動車等の車両に限らず、例えば、船舶、航空機あるいは産業用ロボットなどの移動体(移動装置)に適用することができる。加えて、移動体に限らず、高度道路交通システム(ITS)等、広く物体認識を利用する機器に適用することができる。
以上述べた実施形態は本発明の一具体例を述べたものにすぎず、本発明の範囲は上記実施形態の構成に限られるものではない。
100:撮像装置
101:画素
104:列回路(AD変換部)
301:列アンプ
302:ゲイン切り替え回路
303:比較器
304:ランプ信号切り替え回路
305A:Nメモリ
305B:Sメモリ
305C:判定値メモリ
306:選択回路

Claims (16)

  1. 受光量に応じた信号を出力する画素と、
    ランプ信号を用いて、前記画素から出力される信号に対応するデジタル値を得るAD変換部と、を備え、
    前記AD変換部は、
    前記画素から出力される信号を増幅する増幅回路と、
    前記増幅回路の出力信号と前記ランプ信号とを用いて生成する比較結果信号を出力する出力ノードを有する比較回路と、
    前記比較回路の結果に基づいて、前記出力信号に応じたデジタル値を保持するメモリと、
    前記増幅回路のゲインを切り替えるゲイン切り替え回路と、
    前記ランプ信号の傾きを切り替えるランプ信号切り替え回路と、
    選択回路と、を有し、
    前記ゲイン切り替え回路と、前記ランプ信号切り替え回路とのそれぞれが、前記選択回路を介して、前記出力ノードに電気的に接続され
    前記選択回路は、前記ゲイン切り替え回路と前記ランプ信号切り替え回路の一方に信号を選択的に出力する構成を備え、
    前記信号は、前記ゲイン切り替え回路においては前記ゲインの切り替えに用いる信号であり、前記ランプ信号切り替え回路においては前記傾きの切り替えに用いる信号である
    ことを特徴とする撮像装置。
  2. 前記信号は、前記比較回路における、前記増幅回路の出力信号と、閾値との比較による第2の比較結果信号であり、前記出力ノードから前記選択回路に出力されることを特徴とする請求項に記載の撮像装置。
  3. 前記AD変換部は、前記第2の比較結果信号を保持する第2のメモリをさらに有し、
    前記出力ノードに、前記第2のメモリと前記選択回路が電気的に接続されていることを特徴とする請求項に記載の撮像装置。
  4. 第1の傾きの第1のランプ信号と、前記第1の傾きよりも大きい傾きの第2の傾きの第2のランプ信号とを出力するランプ信号供給部をさらに有し、
    前記ランプ信号切り替え回路に前記第1のランプ信号と前記第2のランプ信号とが入力され、
    前記ランプ信号切り替え回路は、前記第1のランプ信号と前記第2のランプ信号の一方を選択して出力することによって、前記比較回路に出力するランプ信号の傾きの切り替えを行うことを特徴とする請求項1~のいずれか1項に記載の撮像装置。
  5. 受光量に応じた信号を出力する画素と、
    ランプ信号を用いて、前記画素から出力される信号に対応するデジタル値を得るAD変換部と、を備え、
    前記AD変換部は、
    前記画素から出力される信号を増幅する増幅回路と、
    前記増幅回路の出力信号と前記ランプ信号とを用いて生成する比較結果信号を出力する出力ノードを有する比較回路と、
    前記比較回路の結果に基づいて、前記出力信号に応じたデジタル値を保持するメモリと、
    前記増幅回路のゲインを切り替えるゲイン切り替え回路と、
    前記ランプ信号の傾きを切り替えるランプ信号切り替え回路と、を有し、
    前記ゲイン切り替え回路と、前記ランプ信号切り替え回路とが、前記出力ノードに電気的に接続され、
    前記AD変換部は、駆動モードとして、
    前記画素から出力される信号の大きさに応じて、AD変換に用いるランプ信号の傾きを前記ランプ信号切り替え回路によって切り替える、第1の駆動モードと、
    前記画素から出力される信号の大きさに応じて、前記増幅回路のゲインを前記ゲイン切り替え回路によって切り替える、第2の駆動モードと、を有する
    ことを特徴とする撮像装置
  6. 前記AD変換部は、駆動モードとして、
    前記画素から出力される信号の大きさに応じて、AD変換に用いるランプ信号の傾きを前記ランプ信号切り替え回路によって切り替える、第1の駆動モードと、
    前記画素から出力される信号の大きさに応じて、前記増幅回路のゲインを前記ゲイン切り替え回路によって切り替える、第2の駆動モードと、を有する
    ことを特徴とする請求項1~のいずれか1項に記載の撮像装置。
  7. 前記第1の駆動モードでは、前記画素から出力される信号が低輝度の信号である場合に、前記画素から出力される信号が高輝度の信号である場合よりも、傾きの小さいランプ信号に切り替えられる
    ことを特徴とする請求項5又は6に記載の撮像装置。
  8. 前記第1の駆動モードでは、前記増幅回路の出力信号が基準電圧より低い場合に、前記増幅回路の出力信号が前記基準電圧より高い場合よりも、傾きの小さいランプ信号に切り替えられる
    ことを特徴とする請求項5~のいずれか1項に記載の撮像装置。
  9. 前記第2の駆動モードでは、前記画素から出力される信号が低輝度の信号である場合に、前記画素から出力される信号が高輝度の信号である場合よりも、大きいゲインに切り替えられる
    ことを特徴とする請求項~8のいずれか1項に記載の撮像装置。
  10. 前記第2の駆動モードでは、前記増幅回路の出力信号が基準電圧より低い場合に、前記増幅回路の出力信号が前記基準電圧より高い場合よりも、大きいゲインに切り替えられることを特徴とする請求項~9のいずれか1項に記載の撮像装置。
  11. 撮像条件に応じて前記AD変換部の駆動モードを切り替えるモード切り替え部を有することを特徴とする請求項~10のいずれか1項に記載の撮像装置。
  12. 前記撮像条件はISO感度を含み、
    前記モード切り替え部は、ISO感度が所定の感度より高い場合に前記第1の駆動モードに切り替え、それ以外の場合に前記第2の駆動モードに切り替える
    ことを特徴とする請求項11に記載の撮像装置。
  13. 前記撮像条件はフレームレートを含み、
    前記モード切り替え部は、フレームレートが所定のフレームレートより高い場合に前記第1の駆動モードに切り替え、それ以外の場合に前記第2の駆動モードに切り替える
    ことを特徴とする請求項11に記載の撮像装置。
  14. 前記撮像条件はISO感度とフレームレートを含み、
    前記モード切り替え部は、
    ISO感度が第1の感度より高い場合に前記第1の駆動モードに切り替え、
    ISO感度が第2の感度より低い場合に前記第2の駆動モードに切り替え、
    ISO感度が前記第2の感度以上かつ前記第1の感度以下の場合には、フレームレートが所定のフレームレートより高い場合に前記第1の駆動モードに切り替え、それ以外の場合に前記第2の駆動モードに切り替える
    ことを特徴とする請求項11に記載の撮像装置。
  15. 請求項1~14のいずれか1項に記載の撮像装置と、
    前記撮像装置から出力される信号を処理する信号処理部と、
    を有することを特徴とする撮像システム。
  16. 移動体であって、
    請求項1~14のいずれか1項に記載の撮像装置と、
    前記撮像装置の前記画素から出力される信号から、対象物までの距離情報を取得する距離情報取得手段と、
    前記距離情報に基づいて前記移動体を制御する制御手段と、
    を有することを特徴とする移動体。
JP2018025217A 2018-02-15 2018-02-15 撮像装置、撮像システム、及び、移動体 Active JP7102161B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018025217A JP7102161B2 (ja) 2018-02-15 2018-02-15 撮像装置、撮像システム、及び、移動体
US16/272,102 US10979067B2 (en) 2018-02-15 2019-02-11 Image pickup device, image pickup system, and moving apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018025217A JP7102161B2 (ja) 2018-02-15 2018-02-15 撮像装置、撮像システム、及び、移動体

Publications (2)

Publication Number Publication Date
JP2019140650A JP2019140650A (ja) 2019-08-22
JP7102161B2 true JP7102161B2 (ja) 2022-07-19

Family

ID=67541237

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018025217A Active JP7102161B2 (ja) 2018-02-15 2018-02-15 撮像装置、撮像システム、及び、移動体

Country Status (2)

Country Link
US (1) US10979067B2 (ja)
JP (1) JP7102161B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7303682B2 (ja) * 2019-07-19 2023-07-05 キヤノン株式会社 光電変換装置及び撮像システム
JP7305487B2 (ja) * 2019-08-30 2023-07-10 キヤノン株式会社 放射線撮像装置、放射線撮像システム、及び、放射線撮像装置の制御方法
KR20210156458A (ko) 2020-06-18 2021-12-27 삼성전자주식회사 이미지 센싱 장치 및 이를 포함하는 전자 장치
KR20230011089A (ko) 2021-07-13 2023-01-20 삼성전자주식회사 복수 회 픽셀 신호의 샘플링을 수행하는 이미지 센서 및 이의 동작 방법
JP2023023220A (ja) 2021-08-04 2023-02-16 キヤノン株式会社 光電変換装置
CN115604596B (zh) * 2022-10-09 2024-03-15 成都微光集电科技有限公司 一种图像传感器读出系统、读出方法及其图像传感器

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013236362A (ja) 2012-04-12 2013-11-21 Canon Inc 撮像装置及び撮像システム
JP2015162751A (ja) 2014-02-26 2015-09-07 キヤノン株式会社 光電変換装置および撮像システム
JP2017161512A (ja) 2016-03-04 2017-09-14 キヤノン株式会社 測距装置及び移動体

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3501138A1 (de) 1984-01-18 1985-07-18 Canon K.K., Tokio/Tokyo Bildaufnahmevorrichtung
US4663669A (en) 1984-02-01 1987-05-05 Canon Kabushiki Kaisha Image sensing apparatus
JP5142696B2 (ja) 2007-12-20 2013-02-13 キヤノン株式会社 光電変換装置、及び光電変換装置を用いた撮像システム
JP5173493B2 (ja) 2008-02-29 2013-04-03 キヤノン株式会社 撮像装置及び撮像システム
JP5529613B2 (ja) 2009-04-17 2014-06-25 キヤノン株式会社 光電変換装置及び撮像システム
US8582003B2 (en) 2010-05-21 2013-11-12 Canon Kabushiki Kaisha Solid-state imaging apparatus
US9093351B2 (en) 2012-03-21 2015-07-28 Canon Kabushiki Kaisha Solid-state imaging apparatus
JP6482186B2 (ja) 2014-05-23 2019-03-13 キヤノン株式会社 撮像装置及びその駆動方法
JP6351404B2 (ja) 2014-07-02 2018-07-04 キヤノン株式会社 撮像装置及び撮像システム
JP6480768B2 (ja) 2015-03-17 2019-03-13 キヤノン株式会社 固体撮像装置及びその駆動方法
JP6755679B2 (ja) * 2016-03-04 2020-09-16 キヤノン株式会社 撮像装置
US10319765B2 (en) 2016-07-01 2019-06-11 Canon Kabushiki Kaisha Imaging device having an effective pixel region, an optical black region and a dummy region each with pixels including a photoelectric converter

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013236362A (ja) 2012-04-12 2013-11-21 Canon Inc 撮像装置及び撮像システム
JP2015162751A (ja) 2014-02-26 2015-09-07 キヤノン株式会社 光電変換装置および撮像システム
JP2017161512A (ja) 2016-03-04 2017-09-14 キヤノン株式会社 測距装置及び移動体

Also Published As

Publication number Publication date
US10979067B2 (en) 2021-04-13
US20190253067A1 (en) 2019-08-15
JP2019140650A (ja) 2019-08-22

Similar Documents

Publication Publication Date Title
JP7102161B2 (ja) 撮像装置、撮像システム、及び、移動体
US10504949B2 (en) Solid-state imaging device, method of driving solid-state imaging device, imaging system, and movable object
US10609316B2 (en) Imaging device and imaging system
JP7091080B2 (ja) 装置、システム、および移動体
JP6704893B2 (ja) 固体撮像装置、撮像システム、および固体撮像装置の駆動方法
US11303829B2 (en) Imaging device and drive method of imaging device
JP2020167544A (ja) 撮像装置、撮像システム、および撮像装置の駆動方法
US10249678B2 (en) Imaging device, method of driving imaging device, and imaging system
US10979647B2 (en) Imaging device and imaging system
US10742905B2 (en) Imaging device and method of driving imaging device
JP7263080B2 (ja) 撮像装置及び信号処理装置
US10965890B2 (en) Imaging device and imaging system
JP2017184185A (ja) 撮像装置、撮像システム、および、移動体
US11418745B2 (en) Imaging apparatus, imaging system, movable object, and method for driving imaging apparatus
JP7066392B2 (ja) 撮像装置
US11218654B2 (en) Photoelectric conversion device, imaging system, and movable body
US20240048862A1 (en) Photoelectric conversion device, driving method for photoelectric conversion device, and apparatus
US11575868B2 (en) Photoelectric conversion apparatus, method of driving photoelectric conversion apparatus, photoelectric conversion system, and moving body
US11792529B2 (en) Imaging apparatus, method of driving imaging apparatus, imaging system and mobile body
US20230276149A1 (en) Photoelectric conversion apparatus
JP2019129491A (ja) 光電変換装置、撮像システム、移動体
JP2019153985A (ja) 撮像装置
JP2022069133A (ja) 光電変換装置、光電変換システム、移動体
JP2021166369A (ja) 撮像装置および撮像装置の駆動方法
JP2023039308A (ja) 光電変換装置

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20181116

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210215

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220706

R151 Written notification of patent or utility model registration

Ref document number: 7102161

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151