JP7379000B2 - 光電変換装置、光電変換システム、および移動体 - Google Patents

光電変換装置、光電変換システム、および移動体 Download PDF

Info

Publication number
JP7379000B2
JP7379000B2 JP2019139134A JP2019139134A JP7379000B2 JP 7379000 B2 JP7379000 B2 JP 7379000B2 JP 2019139134 A JP2019139134 A JP 2019139134A JP 2019139134 A JP2019139134 A JP 2019139134A JP 7379000 B2 JP7379000 B2 JP 7379000B2
Authority
JP
Japan
Prior art keywords
processing circuit
avalanche diode
photoelectric conversion
conversion device
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019139134A
Other languages
English (en)
Other versions
JP2021022875A (ja
Inventor
晋太郎 前川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019139134A priority Critical patent/JP7379000B2/ja
Priority to US16/937,458 priority patent/US11601608B2/en
Publication of JP2021022875A publication Critical patent/JP2021022875A/ja
Application granted granted Critical
Publication of JP7379000B2 publication Critical patent/JP7379000B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • G01S7/4863Detector arrays, e.g. charge-transfer gates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L24/00Arrangements for connecting or disconnecting semiconductor or solid-state bodies; Methods or apparatus related thereto
    • H01L24/01Means for bonding being attached to, or being formed on, the surface to be connected, e.g. chip-to-package, die-attach, "first-level" interconnects; Manufacturing methods related thereto
    • H01L24/02Bonding areas ; Manufacturing methods related thereto
    • H01L24/07Structure, shape, material or disposition of the bonding areas after the connecting process
    • H01L24/08Structure, shape, material or disposition of the bonding areas after the connecting process of an individual bonding area
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/1462Coatings
    • H01L27/14621Colour filter arrangements
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14634Assemblies, i.e. Hybrid structures
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14643Photodiode arrays; MOS imagers
    • H01L27/14645Colour imagers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/79Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L2224/00Indexing scheme for arrangements for connecting or disconnecting semiconductor or solid-state bodies and methods related thereto as covered by H01L24/00
    • H01L2224/01Means for bonding being attached to, or being formed on, the surface to be connected, e.g. chip-to-package, die-attach, "first-level" interconnects; Manufacturing methods related thereto
    • H01L2224/02Bonding areas; Manufacturing methods related thereto
    • H01L2224/07Structure, shape, material or disposition of the bonding areas after the connecting process
    • H01L2224/08Structure, shape, material or disposition of the bonding areas after the connecting process of an individual bonding area
    • H01L2224/081Disposition
    • H01L2224/0812Disposition the bonding area connecting directly to another bonding area, i.e. connectorless bonding, e.g. bumpless bonding
    • H01L2224/08135Disposition the bonding area connecting directly to another bonding area, i.e. connectorless bonding, e.g. bumpless bonding the bonding area connecting between different semiconductor or solid-state bodies, i.e. chip-to-chip
    • H01L2224/08145Disposition the bonding area connecting directly to another bonding area, i.e. connectorless bonding, e.g. bumpless bonding the bonding area connecting between different semiconductor or solid-state bodies, i.e. chip-to-chip the bodies being stacked

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)

Description

本発明は、光電変換装置、光電変換システム、および移動体に関する。
受光部に到来する光子の数をデジタル的に計数し、その計数値をデジタル信号として画素から出力する光電変換装置が知られている。特許文献1には、複数のSingle-Photon Avalanche Diode(SPAD)領域と、複数のデジタルカウンタを備える撮像装置が記載されている。また、特許文献1には、各デジタルカウンタは各SPAD領域で受け取ったフォトンに応じて発生した出力パルスを受け取ることが記載されている。
米国特許公開公報第2015/0163429号明細書
しかしながら、特許文献1では、1つのSPAD領域で受け取ったフォトンが対応するデジタルカウンタのみに接続されているため、汎用性に欠ける。
本発明の一観点によれば、1以上の第1アバランシェダイオードと、前記第1アバランシェダイオードに接続可能に構成された第1処理回路と、1以上の第2アバランシェダイオードと、前記第2アバランシェダイオードに接続可能に構成された第2処理回路と、を備え、第1アバランシェダイオードは選択回路により前記第2処理回路に接続可能にされている。
本発明によれば、汎用性の高い光電変換装置を提供することが可能となる。
第1実施形態による光電変換装置の概略構成を示すブロック図である。 第1実施形態による光電変換装置の概略構成を示す図である。 第1実施形態による光電変換装置の画素の構成例を示す等価回路図である。 第1実施形態による光電変換装置の動作モードのタイミング図である。 第1実施形態による光電変換装置の動作モードのタイミング図である。 第1実施形態による光電変換装置の動作モードのタイミング図である。 第1実施形態による光電変換装置の動作モードのタイミング図である。 第2実施形態による光電変換装置の画素の構成例を示す等価回路図である。 第2実施形態による光電変換装置のタイミング図である。 第3実施形態による光電変換装置の画素の構成例を示す等価回路図である。 第4実施形態による光電変換装置の概略構成を説明する図である。 第5実施形態による光電変換装置の概略構成を説明する断面図である。 第6実施形態による光電変換システムの概略構成を示すブロック図である。 第7実施形態による光電変換システムおよび移動体の概略図である。 第7実施形態による光電変換システムの動作を示すフロー図である。
[第1実施形態]
本発明の第1実施形態による光電変換装置について、図1乃至図7を用いて説明する。図1は、本実施形態による光電変換装置の概略構成を示すブロック図である。図2は、本実施形態による光電変換装置の画素の概略構成を示す図である。図3は、本実施形態による光電変換装置の画素の構成例を示す等価回路図である。図4は、本実施形態による光電変換装置の第1の撮像モードのタイミングチャートである。図5は、本実施形態による光電変換装置の第2の撮像モードのタイミングチャートである。図6は、本実施形態による光電変換装置の測距モードのタイミングチャートである。図7は、本実施形態による光電変換装置のグローバルシャッタ動作モードのタイミングチャートである。
本実施形態による光電変換装置100は、図1に示すように、画素領域8と、垂直選択回路3と、選択信号供給回路4と、水平選択回路5と、出力回路6と、制御回路7と、を含む。
画素領域8には、複数行及び複数列に渡ってマトリクス状に配された複数の単位画素Pが設けられている。図1には、第0行から第5行までの6行と、第0列から第5列までの6列に配された36個の単位画素Pを、行番号及び列番号を示す符号とともに示している。例えば、第1行、第4列に配された単位画素Pには、「P14」の符号を付している。なお、画素領域8を構成する画素アレイの行数及び列数は、特に限定されるものではない。
画素領域8の画素アレイの各行には、第1の方向(図1において横方向)に延在して、制御線PVSELが配されている。制御線PVSELは、第1の方向に並ぶ単位画素Pにそれぞれ接続され、これら画素Pに共通の信号線をなしている。制御線PVSELの延在する第1の方向は、行方向或いは水平方向と表記することがある。なお、図1には、制御線PVSELを、行番号を示す符号とともに表している。例えば、第1行の制御線には、「PVSEL[1]」の符号を付している。
各行の制御線PVSELは、垂直選択回路3に接続されている。垂直選択回路3は、単位画素P内の信号生成回路(図示せず)を駆動するための制御信号を、制御線PVSELを介して単位画素Pに供給する回路部である。
画素領域8の画素アレイの各列には、第1の方向と交差する第2の方向(図1において縦方向)に延在して、出力線PDATが配されている。出力線PDATは、第2の方向に並ぶ単位画素Pにそれぞれ接続され、これら単位画素Pに共通の信号線をなしている。出力線PDATの延在する第2の方向は、列方向或いは垂直方向と表記することがある。なお、図1には、出力線PDATを、列番号を示す符号とともに表している。例えば、第4列の出力線には、「PDAT4」の符号を付している。出力線PDATの各々は、nビットのデジタル信号を出力するためのn本の信号線を備えている。
出力線PDATは、出力回路6に接続されている。出力線PDATは、出力線PDATを介して対応する列に接続された単位画素Pから出力される信号を出力する。単位画素Pから出力される信号は、出力線PDATのn本の信号線を介して入力されるnビットの信号である。
水平選択回路5は、各単位画素Pから信号を読み出すための制御信号を各単位画素Pに供給する回路部である。水平選択回路5は、各列の単位画素Pに、制御線PHSELを介して制御信号を供給する。水平選択回路5から制御信号を受信した単位画素Pは、水平出力線HSIGを介して出力回路6へと出力する。なお、図1には、制御線PHSELを、列番号を示す符号とともに表している。例えば、第4列の制御線には、「PHSEL[4]」の符号を付している。水平出力線HSIGは、nビットのデジタル信号を出力するためのn本の信号線を備えている。
出力回路6は、水平出力線HSIGを介して供給された信号を、出力信号SOUTとして光電変換装置100の外部へ出力するための回路部である。制御回路7は、垂直選択回路3、選択信号供給回路4、水平選択回路5、出力回路6の動作やそのタイミングを制御する制御信号を供給するための回路部である。なお、垂直選択回路3、選択信号供給回路4、水平選択回路5、出力回路6の動作やそのタイミングを制御する制御信号の少なくとも一部は、光電変換装置100の外部から供給してもよい。
図2に示すように、各々の単位画素Pは、1つの処理回路41と、1つの処理回路41に接続された1以上の光検出回路11と、選択回路30と、を備える。選択回路30は、光検出回路からの信号の入力先をどの処理回路にするかを選択することができるように構成されている。以下において、説明が共通する場合は、a,b,c,d等の添字を省略して説明する。
処理回路41は、1つの光検出回路11に含まれる1以上のアバランシェダイオード(AD)71の信号を処理するための回路である。処理回路41は、ADからの信号を計数する計数部や、AD71の信号を補正したり圧縮したりする回路等を含む。以下では、処理回路41が計数部である場合について説明する。
図2に、n(nは整数)行目に配された単位画素Pa、Pcと、m(mはn以外の整数)行目に配された単位画素Pb、Pdと、を示す。単位画素Pa、Pbは、l(lは整数)列目に配され、単位画素Pc、Pdは、k(kはl以外の整数)列目に配されている。図2では、制御線PVSEL[0]が単位画素Paに含まれる処理回路41aと単位画素Pcに含まれる処理回路41cを制御する。また、制御線PVSEL[1]が単位画素Pbに含まれる処理回路41bと単位画素Pdに含まれる処理回路41dを制御する。
単位画素Paに含まれる光検出回路11aと単位画素Pbに含まれる光検出回路11bとは選択回路30aを介して接続されている。単位画素Pcに含まれる光検出回路11cと単位画素Pdに含まれる光検出回路11dとは選択回路30bを介して接続されている。以下では、選択回路30、当該選択回路30を共有する複数の光検出回路11、当該選択回路30を共有する複数の処理回路41をまとめて画素ユニット40という。図2では、画素ユニット40は、2つの光検出回路11と2つの処理回路41とを含む。詳細は後述するが、選択回路30は、選択信号供給回路4から供給される制御信号PSWに応じて光検出回路と処理回路との電気的な接続関係を制御することができる。
図3に1つの画素ユニット40の等価回路図を示す。図3では、2つの光検出回路11および2つの処理回路が選択回路30を共有している。
光検出回路11は、光子の入射に応じてパルスを出力する。光検出回路11は、1以上のAD71と、1以上のP型MOSトランジスタ乃至は拡散抵抗などの抵抗素子により構成されるクエンチ素子72と、1以上のインバータ回路より構成される波形整形部73と、により構成される。処理回路41に含まれる計数部は、光検出回路11から出力されたパルスの計数値を示すカウント信号を生成する。
AD71のアノードは、電圧VSSを供給する電源線に接続されている。AD71のカソードは、クエンチ素子72を構成するP型MOSトランジスタのドレインに接続されている。クエンチ素子72を構成するP型MOSトランジスタのソースは、電圧VDDを供給する電源線に接続されている。波形整形部73の入力端子は、AD71とクエンチ素子72との間の接続ノードに接続されている。
AD71には、電圧VDD,VSSを供給する電源線から、クエンチ素子72を介してブレイクダウン電圧以上の大きさの逆バイアス電圧が印加されている。これにより、AD71は、ガイガーモードで動作するように設定されている。AD71に光子が入射すると、入射光子により励起された電子を基にアバランシェ現象により多数の電子(及び正孔)が発生し、AD71のカソードの電位が下がり、波形整形部73の閾値電圧を下回る。このアバランシェ現象により発生した電位の降下は、AD71のPN接合における逆バイアスが所定の値になると止まる。これによりアバランシェ電流も止まり、クエンチ素子72によってアバランシェダイオード71のカソード電位が電圧VDDまで引き上げられる。その途中でAD71のカソード電位は波形整形部73の閾値電圧になる。そして、AD71の動作領域は再びガイガーモードとなる。このように、AD71に1つの光子が入射するとカソード電位は波形整形部73の閾値電圧より高い電位から低い電位へ変化し、波形整形部73の閾値電圧より低い電位から高い電位へと変化する。したがって、波形整形部73は、1つの出力パルスを生成する。このような構成により、光検出回路11は、光子入射の有無を電圧パルス信号(信号PIXOUT)として出力することができる。
光検出回路11の出力端子でもある波形整形部73の出力端子は、選択回路30に接続されている。選択回路30は、2以上のAD71の出力ノードと2以上の処理回路41への入力ノードとの間に配されている。選択回路30は、選択回路30に接続された2以上のAD71と2以上の処理回路41とにおいて、所望のAD71と処理回路41とを選択して接続を制御する。図2では、選択回路30は、AD71aが含まれる光検出回路11aと処理回路41aとの接続および非接続を選択するスイッチ31と、光検出回路11aと処理回路41bとの接続および非接続を選択するスイッチ32と、を含む。さらに、選択回路30は、AD71bが含まれる光検出回路11bと処理回路41bとの接続および非接続を選択するスイッチ33と、光検出回路11bと処理回路41aとの接続および非接続を選択するスイッチ34と、を含む。スイッチ31、32、33、34のオンオフを制御することにより、所望の処理回路41においてパルスの計数を行うことができる。
スイッチ31、32、33、34は、例えば、N型MOSトランジスタにより構成される。スイッチ31、32、33、34を構成するN型MOSトランジスタのゲートは、制御線PSWに接続されている。制御線PSWは選択信号供給回路4に接続されており、N型MOSトランジスタのゲートに選択信号供給回路4からの制御信号を供給できるようになっている。スイッチ31、32、33、34は、制御線PSWから供給される制御信号に応じてオンになることにより導通される。図3では、制御信号PSW_11によりスイッチ31が制御され、制御信号PSW_12によりスイッチ32が制御され、制御信号PSW_21によりスイッチ33が制御され、制御信号PSW_22によりスイッチ33が制御される。
次に、本実施形態による光電変換装置のモードに応じた駆動方法について、図4から図7を用いて説明する。図4から図7では、垂直選択回路3から供給される制御信号PSW,選択信号供給回路4から供給される制御信号PVSEL、水平選択回路5から供給される制御信号PHSEL、出力信号PDATを示している。以下で、光電変換装置のモードに応じた駆動方法についてそれぞれ説明する。
<第1の撮像モード>
図4は、本実施形態による光電変換装置の第1の撮像モードにおける駆動方法を示すタイミングチャートである。
時刻t1において、垂直選択回路3は、不図示の制御信号をハイレベル(Hi)からローレベル(Lo)に制御する。これにより、総て単位画素Pの処理回路41に含まれる計数部がリセットされる。すなわち、計数部が示す計数値は0となる。次いで、時刻t2までの期間に制御信号をLoからHiに戻す。
時刻t2において、制御信号PSW11、21をLoからHiに制御し、スイッチ31およびスイッチ33をオンにする。これにより、光検出回路11aと処理回路41aとが接続され、光検出回路11bと処理回路41bとが接続される。時刻t2において、PSW12、22はLoに制御されている。時刻t3において、制御信号PSW11、21をHiからLoに制御し、スイッチ31およびスイッチ33をオフする。これにより、光検出回路11aと処理回路41aとが非接続となり、光検出回路11bと処理回路41bとが非接続となる。時刻t2から時刻t3までの期間において、処理回路41は光検出回路11から出力されるパルスの数をカウントする。
時刻t4において、垂直選択回路3は、制御信号PVSEL[0]をLoからHiへと制御する。
時刻t5において、水平選択回路5は、制御信号PHSEL[0]をLoからHiへと制御する。これにより、第n行第l列に属する単位画素Paの処理回路41aから出力される計数値が、対応する列の出力線PDATを介して出力回路6へと出力される。
時刻t6において、水平選択回路5は、制御信号PHSEL[0]をHiからLoへと制御し、制御信号PHSEL[1]をLoからHiへと制御する。これにより、図2に示す光電変換装置において、第n行第k列に属する単位画素Pcの処理回路41cから出力される計数値が、対応する列の出力線PDATを介して出力回路6へと出力される。
制御信号PVSEL[0]をLoに制御した後の時刻t6から時刻t7の期間において、水平選択回路5は、各列に対応する制御信号PHSELを、順次ハイレベルへと制御する。
時刻t7において、垂直選択回路3は、制御信号PVSEL[1]をLoからHiへと制御する。
時刻t8において、水平選択回路5は、制御信号PHSEL[0]をLoからHiへと制御する。これにより、第m行第l列に属する単位画素Pbの処理回路41bから出力される計数値が、対応する列の出力線PDATを介して出力回路6へと出力される。
時刻t9において、水平選択回路5は、制御信号PHSEL[1]をLoからHiへと制御する。これにより、第m行第k列に属する単位画素Pdの処理回路41dから出力される計数値が、対応する列の出力線PDATを介して出力回路6へと出力される。
水平選択回路5は、制御信号PHSELを制御して第1行に属する単位画素Pの処理回路から出力回路6へと出力する。時刻t4から時刻t7までの動作を繰り返し行う。
上述の説明の通り、第1の撮像モードにおいては、複数の単位画素Pの露光期間を同じ期間としている。言い換えると、時刻t2から時刻t3において複数の単位画素Pのそれぞれに含まれる光検出回路11から処理回路41へとパルスを同時に出力可能な状態としている。そして、各単位画素Pに含まれるADの信号が、同じ単位画素Pに含まれる処理回路41で処理されることとなる。つまり、各単位画素Pから各単位画素Pの信号が出力されることとなる。
<第2の撮像モード>
次に、本実施形態による光電変換装置の第2の撮像モードにおける駆動方法について、図5を用いて説明する。
第2の撮像モードは、単位画素Paと単位画素Pbとで露光期間が異なる以外は、第1の撮像モードと同様である。具体的には、時刻t2でスイッチ31をオンにした後にスイッチ33をオンにし、スイッチ31をオフした後にスイッチ33をオフしている。具体的には、光検出回路11aと処理回路41aを接続した後に、光検出回路11bと処理回路41bを接続している。そして、光検出回路11aと処理回路41aを非接続とした後に、光検出回路11bと処理回路41bを非接続としている。
<測距モード>
次に、本実施形態による光電変換装置の測距モードにおける駆動方法について、図6を用いて説明する。例えば、TOF(Time Of Flight)方式における駆動方法である。このモードにおいて、光検出回路11bに含まれるAD71bは非アバランシェ状態となっている。そして、制御信号PSW21および制御信号PSW22は常にオフしており、光検出回路11bは処理回路41aおよび処理回路41bと非接続状態となっている。
時刻t1において、垂直選択回路3は、不図示の制御信号をハイレベル(Hi)からローレベル(Lo)に制御する。これにより、総ての画素Pの処理回路41に含まれる計数部がリセットされる。すなわち、計数部が示す計数値は0となる。次いで、時刻t2までの期間に制御信号をLoからHiに戻す。
時刻t2において、制御信号PSW11をLoからHiに制御し、スイッチ31をオンにする。これにより、光検出回路11aと処理回路41aとが接続される。時刻t2において、スイッチ31をオンすると同時に、光源L1から対象物へと光を照射する。
時刻t3において、反射光L2が検出される。
光源L1からの光の照射が終了する時刻t4において、制御信号PSW11をHiからLoへと制御してスイッチ31をオフする。これにより、光検出回路11aと処理回路41aとが非接続となる。その後、制御信号PSW12をLoからHiへと制御してスイッチ32をオンする。これにより、光検出回路11aと処理回路41bとが接続される。
時刻t5において、反射光L2の検出が終了する。
時刻t6において、制御信号PSW12をHiからLoへと制御してスイッチ32をオフする。これにより、光検出回路11aと処理回路41bとが非接続となる。
これ以降の動作は、第1の撮像モードと同様であるため説明を省略する。
本実施形態では、時刻t2から時刻t4までの期間における処理回路41aの計数値と時刻t4から時刻t6までの期間における処理回路41bの計数値とを比較する。これにより、反射光の遅延時間を計算して対象物までの距離を測定することが可能となる。
<間引きモード>
次に、本実施形態による光電変換装置の間引きモードについて説明する。間引きモードでは、光源が設けられておらず、反射光が計測されない以外は、図6のタイミングチャートと同様であるため、図6を用いて説明する。
間引きとは、例えば、画素領域に配された複数の単位画素のうちの一部の単位画素の光検出回路11から信号を出さないモードである。例えば、図3において、光検出回路11aからの信号を読み出し、光検出回路11bからの信号を読み出さない場合が挙げられる。このモードによれば、画素領域に配されたすべての光検出回路11を動作させる場合と比較して、消費電力を低減できる。
間引きモードにおいて、処理回路41aに含まれる計数部のカウント値が飽和した場合に、それ以上信号を読み出すことができなくなる可能性がある。本実施形態では、処理回路41aに含まれる計数部のカウント値が飽和した場合に、その後に生じるパルス信号を処理回路41bに含まれる計数部でカウントすることが可能となる。例えば、図6において、時刻t4でカウント値が飽和したとすると、時刻t4以降の信号を処理回路41bでカウントすることができる。そして、処理回路41aと処理回路41bを加算することにより、処理回路41aのみで計数する場合に比べてダイナミックレンジを拡大することができる。
<グローバルシャッタ動作モード>
次に、本実施形態による光電変換装置のグローバルシャッタ動作モードにおける駆動方法について、図7を用いて説明する。図7では、間引きを行いながら、グローバルシャッタ動作を行っている。図7では、図2のように単位画素Pが少なくとも2行2列ある場合を想定して説明する。このモードにおいて、光検出回路11b、11dに含まれるAD71は非アバランシェ状態となっている。そして、制御信号PSW21および制御信号PSW22は常にオフしており、光検出回路11bは処理回路41aおよび処理回路41bと非接続状態となっており、光検出回路11dは処理回路41cおよび処理回路41dと非接続状態となっている。
時刻t1よりも前の期間において、処理回路41bには、光検出回路11aで検出された信号の計数値が保持されているものとする。
時刻t1において、垂直選択回路3は、不図示の制御信号をハイレベル(Hi)からローレベル(Lo)に制御する。これにより、処理回路41aに含まれる計数部がリセットされる。すなわち、計数部が示す計数値は0となる。次いで、時刻t2までの期間に制御信号をLoからHiに戻す。
時刻t2において、制御信号PSW11をLoからHiへと制御することにより、スイッチ31をオンする。これにより、光検出回路11aの信号が処理回路41aへと入力される状態となる。このとき、図2において、列方向に配された複数の単位画素Paに含まれる光検出回路11aの信号が処理回路41aへと入力される。つまり、ある行に配された光検出回路11aと、他の行に配された光検出回路11aとが同時に対応する処理回路41aに接続される。
時刻t3において、制御信号PVSEL[1]をLoからHiへと制御する。
時刻t4において、制御信号PHSEL[0]をLoからHiへと制御する。これにより、光検出回路11aと接続されていない、処理回路41bに含まれる計数部の計数値が順次出力部6へと出力される。
時刻t5において、制御信号PHSEL[1]をLoからHiへと制御する。これにより、光検出回路11cと接続されていない、処理回路41dに含まれる計数部の計数値が順次出力部6へと出力される。
時刻t6において、制御信号PSW11がHiからLoへと制御され、スイッチ31がオフする。これにより、処理回路41aへの信号の入力が終了する。
時刻t7において、制御信号PSW12をLoからHiへと制御し、スイッチ32をオンする。これにより、光検出回路11aからの信号が処理回路41bへと入力される状態となる。
時刻t8において、制御信号PVSEL[0]をLoからHiへと制御する。
時刻t9において、制御信号PHSEL[0]をLoからHiへと制御する。これにより、光検出回路11aと接続されていない、処理回路41aに含まれる計数部の計数値が順次出力部6へと出力される。
時刻t10において、制御信号PHSEL[1]をLoからHiへと制御する。これにより、光検出回路11cと接続されていない、処理回路41cに含まれる計数部の計数値が順次出力部6へと出力される。
時刻t11において、制御信号PSW12がHiからLoへと制御され、スイッチ32がオフする。これにより、処理回路41bへの信号の入力が終了する。
このようにグローバルシャッタ動作モードにおける駆動方法によれば、処理回路41aで信号をカウントしながら、処理回路41bから計数値を出力することができる。また、グローバルシャッタ動作モードにおける駆動方法によれば、ある行に配された光検出回路11と他の行に配された光検出回路11との信号を同時に処理回路41へと入力してもよい。このように、一方の処理回路41で信号をカウントする露光期間と、他方の処理回路41から信号を読み出す読み出し期間とを並行することができるため、順次信号を読み出す場合に比べて1枚の画像の生成にかかる時間を短くすることができる。なお、上記の説明では単位画素が2行2列で配される場合について説明したが、単位画素が2行2列以上にわたって配されていてもよい。また、本動作モードにおいて、光検出回路11の間引きは必須ではない。例えば、光検出回路11aと11bの出力を、論理ゲートなどで合算した信号を処理回路41に入力してもよい。
上記の通り、本実施形態による光電変換装置は、選択回路30により、動作モードに応じて光検出回路11と処理回路41との接続関係を自由に変更することが可能となる。したがって、汎用性の高い光電変換装置とすることができる。また、動作モードによっては、選択回路30がない場合には利用されない処理回路を利用することにより、面積効率の低下を防ぎながら性能を向上させることができる。
図3では、選択回路30がスイッチにより制御される場合について説明したが、処理回路41aと処理回路41bとを選択可能に構成されていればスイッチ以外の構成により制御されてもよい。例えば、選択回路30がANDゲートやORゲートなどの論理ゲートを含み、論理ゲートに入力する制御信号を制御することにより、信号を入力する処理回路41を選択してもよい。
図2及び図3では、光検出回路11は、1つのAD71を含んで構成されているが、2以上のAD71を含んでいてもよい。この場合は、1つのAD71に対して、1つのクエンチ素子72および1つの波形整形部73が配される。光検出回路11は、OR回路を含み、2以上のAD71に対応して配された2以上の波形整形部73からの出力端子がOR回路に接続される。OR回路の出力端子が光検出回路11の出力端子となり、選択回路30に接続される。
光電変換装置が複数の単位画素Pを含む場合は、一部の単位画素Pのみに選択回路30が配されていてもよい。一部の単位画素Pのみに選択回路30が配される場合であっても、ある程度の汎用性を確保することができる。例えば、測距モードで動作させる場合に、測距する画素ユニット40を固定し、測距を行わない単位画素Pには選択回路30が配されていなくてもよい。
各モードは並行して動作させてもよい。例えば、ある行に配された画素ユニット40は測距モードで動作させ、異なる行に配された画素ユニット40は第1の撮像モードで動作させてもよい。これにより、撮像と測距を並行で行うことができる。
図6に示す測距モードおよび間引きモード、並びに図7に示すグローバルシャッタ動作モードにおいて、スイッチ33は常にオフしている。処理回路41bに光検出回路11bからの信号が入力されなければよいため、スイッチ33がオフされている場合は、クエンチ素子からパルスが出力されてもよい。アバランシェ増倍により生じる消費電力を鑑みると、スイッチ33がオフされている期間において、AD71bはアバランシェ増倍しない電圧に制御されていることが好ましい。つまり、AD71bは、非アバランシェ状態であることが好ましい。AD71bはアバランシェ増倍するが、クエンチ素子が動作しない状態であってもよい。また、スイッチ33がオンであっても、AD71bがアバランシェ増倍しない電圧に制御されているか、クエンチ素子が動作しない状態であるか、のいずれか一方の条件を満たしていればよい。
測距モード、間引きモード、およびグローバルシャッタ動作モードにおいて、光検出回路11aから信号を読み出し、光検出回路11bから信号を読み出さない形態を説明したが、逆であってもよい。つまり、光検出回路11bから信号を読み出し、光検出回路11aから信号を読み出さない形態であってもよい。この場合は、この場合は、まずスイッチ31のオンオフのタイミングがスイッチ33のオンオフのタイミングに相当し、スイッチ32のオンオフのタイミングがスイッチ34のオンオフのタイミングに相当することとなる。
[第2実施形態]
本発明の第2実施形態による光電変換装置について、図8を用いて説明する。第1実施形態による光電変換装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。
本実施形態では、1つの画素ユニット40に、3つの光検出回路11および3つの処理回路41が含まれる点が第1の実施形態と異なる。その他の要素について、以下で説明する要素以外は、第1実施形態による光電変換装置と同様である。
本実施形態による光電変換装置の単位画素Pは、図8に示すように、第1実施形態と同様、光検出回路11と、処理回路41とを含む。光検出回路11および処理回路41は、図3に示す第1実施形態による光電変換装置と同様である。画素ユニット40に含まれる光検出回路11と処理回路41との接続関係を選択可能な選択回路に含まれるスイッチが第1実施形態とは異なる。
スイッチ31~38は、例えば、N型MOSトランジスタにより構成される。スイッチ31~38は、選択信号供給回路4からの制御信号PSWにより制御できる。
スイッチ31は、光検出回路11aからの出力された信号を画素ユニット40に含まれる処理回路41に伝達するか否かを制御する。スイッチ32は、光検出回路11bから出力された信号を画素ユニット40に含まれる処理回路41に伝達するか否かを制御する。スイッチ33は、光検出回路11cから出力された信号を画素ユニット40に含まれる処理回路41に伝達するか否かを制御する。スイッチ34は、処理回路41aへの信号の入力を制御する。スイッチ35は、処理回路41bへの信号の入力を制御する。スイッチ36は、処理回路41cへの信号の入力を制御する。スイッチ37、38は、画素ユニット40に含まれる光検出回路からの信号が、対応する単位画素Pとは異なる単位画素Pの処理回路41へと入力されるように制御する。
図9は、本実施形態による光電変換装置の測距と撮像とを1つの画素ユニット40で行う場合における駆動方法を示すタイミングチャートである。
図9において、時刻t1から時刻t6においては、第1実施形態の図6と同様であるため説明は省略する。本実施形態では、時刻t6において、処理回路41cのカウンタを開始する。具体的には、スイッチ33とスイッチ36がオンされるように制御信号PSW13とPSW33とを制御する。時刻t1において、垂直選択回路3は、不図示の制御信号をハイレベル(Hi)からローレベル(Lo)に制御する。
時刻t7において、少なくともスイッチ36をオフする。時刻t6から時刻t7で、撮像を行う。時刻t6から時刻t7を撮像期間Tとする。
照射光L1の照射が開始される時刻t2から終了する時刻t4までの期間をパルス期間tとし、撮像を開始する時刻t6から終了する時刻t7までを撮像期間Tとする。この場合は、外光成分は、撮像期間Tにおける撮像結果に対してt/Tにより求めることができる。そして、撮像信号と測距信号から外光成分を除去することができる。
図9では、測距期間と撮像期間とを異なる期間としている。これに限らず、照射光L1および反射光L2が、撮像信号を生成する光検出回路に入射することを防ぐことができるのであれば、測距期間と撮像期間との少なくとも一部の期間を重ねてもよい。
本実施形態によれば、第1実施形態で説明した機能に加えて、1つの画素ユニット40で外光成分を除去しつつ測距と撮像とを行うことが可能となる。
[第3実施形態]
本発明の第3実施形態による光電変換装置について、図10を用いて説明する。本実施形態は、1つの画素ユニット40が、4つの光検出回路11と4つの処理回路41とを含む点が第2実施形態とは異なる。第1及び第2実施形態による光電変換装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。
図10は1つの画素ユニット40が、4つの光検出回路11および4つの処理回路41を含む。また選択回路30は、画素ユニット40に含まれる各光検出回路11と各処理回路41との接続関係を自由に選択できるようになっている。具体的には、選択回路30はスイッチ31~43を含み、各スイッチのオンオフを制御することにより光検出回路11と処理回路41との接続関係を自由に設定することができる。
図10では、1つの画素ユニット40に含まれる単位画素Pが、2行2列で配されている。つまり、ある行に光検出回路11a、光検出回路11cが配され、異なる行に光検出回路11b、光検出回路11dが配される。
本実施形態の間引きモードでは、例えば、光検出回路11aに含まれるAD71aをアバランシェ状態とする。そして、光検出回路11bに含まれるAD71b、光検出回路11cに含まれるAD71c、および光検出回路11dに含まれるAD71dを非アバランシェ状態とする。
本実施形態によれば、第2実施形態と同様の効果を得ることができる。また、間引きモードにおいては、第1実施形態に比べて消費電力低減の効果が顕著となる。
[第4実施形態]
本発明の第4実施形態による光電変換装置について、図11を用いて説明する。本実施形態は、単位画素Pにカラーフィルタが配置されている点が第3実施形態と異なる。第1乃至第3実施形態による光電変換装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。
図11は、各単位画素Pの配置と、カラーフィルタとの配置との関係を示す図である。
図11において、緑色の光を透過するカラーフィルタをG、赤色の光を透過するカラーフィルタをR、青色の光を透過するカラーフィルタをBとする。選択回路により接続された4つの単位画素Pa、Pb、Pc、Pdは、すべて緑色の光を光電変換する単位画素Pである。つまり、この4つの単位画素Pa、Pb、Pc、Pdのカラーフィルタは、緑色の光を透過するカラーフィルタである。本実施形態では、RGGBにより構成される2行2列の単位画素セットのうちの1つのG画素が、隣り合う単位画素セットのうちの3つの単位画素セットに含まれる各G画素と接続される。
本実施形態による光電変換装置によれば、同じ色の光を光電変換する単位画素Pを接続することができるため、混色等が生じなくなる。
[第5実施形態]
本発明の第5実施形態による光電変換装置について、図12を用いて説明する。本実施形態は、積層型の光電変換装置である点が第1実施形態と異なる。第1実施形態乃至第4実施形態による光電変換装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。
図12は、本実施形態による光電変換装置の構造を示す概略断面図である。図12には、単位画素Pの断面構造を示している。光電変換装置は、第1のチップ101と、第2のチップ201と、を含む。第1のチップ101と第2のチップ201は、接合面10において接合されている。第1のチップ101には、単位画素Pの構成要素のうち、AD71が配される。第2のチップ201には、単位画素Pの構成要素のうち、単位画素PのAD71以外の他の構成要素、すなわち、クエンチ素子72、波形整形部73が配される。
第1のチップ101は、第1の半導体基板104を有する。第1の半導体基板104は、接合面10側の面である主面105と、その反対側の面である裏面106と、を有する。第1の半導体基板104内には、ウェル110と、ウェル110間を分離する素子分離領域113と、が設けられている。ウェル110内の主面105側には、主面105に接するN型領域111と、N型領域111の底部に接するP型領域112とのpn接合により構成されるAD71が設けられている。第1の半導体基板104の主面105上には、配線層121や配線層123を含む多層配線構造107が設けられている。AD71と配線層121との間や、配線層121と配線層123との間は、例えばタングステンからなるコンタクトプラグによって電気的に接続されている。第1の半導体基板104の裏面106には、平坦化層などを含むカラーフィルタ層130と、マイクロレンズ131と、が設けられている。
第2のチップ201は、第2の半導体基板204を有する。第2の半導体基板204は、接合面10側の面である主面と、その反対側の面である裏面と、を有する。第2の半導体基板204内の主面側には、ウェル220に設けられたN型のウェル216と、ウェル220に設けられたP型のウェル217間を分離する素子分離領域213と、が設けられている。ウェル216には、ソース/ドレイン領域とゲート電極とを含み、クエンチ素子72を構成するP型MOSトランジスタが設けられている。第2の半導体基板204の主面には、配線層221を含む多層配線構造207が設けられている。クエンチ素子の各端子と配線層221の間は、例えばタングステンからなるコンタクトプラグによって電気的に接続されている。
第1のチップ101と第2のチップ201とは、第1のチップ101の最上層の配線層123と第2のチップ201の最下層の配線層221とが接合面10において電気的に接続されるように、貼り合わされている。
このように、本実施形態による光電変換装置は、第1の半導体基板104の裏面106側から入射した光をマイクロレンズ131及びカラーフィルタ層130を介してAD71へと導く裏面照射型の光電変換装置として構成可能である。ただし、本実施形態の光電変換装置は、必ずしも裏面照射型の光電変換装置である必要はなく、表面照射型の光電変換装置であってもよい。
[第6実施形態]
図13は、本実施形態に係る光電変換システム1200の構成を示すブロック図である。本実施形態の光電変換システム1200は、光電変換装置1204を含む。ここで、光電変換装置1204は、上述の実施形態で述べた光電変換装置のいずれかを適用することができる。光電変換システム1200は例えば、撮像システムとして用いることができる。撮像システムの具体例としては、デジタルスチルカメラ、デジタルカムコーダー、監視カメラ等が挙げられる。図13では、光電変換システム1200としてデジタルスチルカメラの例を示している。
図13に示す光電変換システム1200は、光電変換装置1204、被写体の光学像を光電変換装置1204に結像させるレンズ1202、レンズ1202を通過する光量を可変にするための絞り1203、レンズ1202の保護のためのバリア1201を有する。レンズ1202および絞り1203は、光電変換装置1204に光を集光する光学系である。
光電変換システム1200は、光電変換装置1204から出力される出力信号の処理を行う信号処理部1205を有する。信号処理部1205は、必要に応じて入力信号に対して各種の補正、圧縮を行って出力する信号処理の動作を行う。光電変換システム1200は、更に、画像データを一時的に記憶するためのバッファメモリ部1206、外部コンピュータ等と通信するための外部インターフェース部(外部I/F部)1209を有する。更に光電変換システム1200は、撮像データの記録又は読み出しを行うための半導体メモリ等の記録媒体1211、記録媒体1211に記録または読み出しを行うための記録媒体制御インターフェース部(記録媒体制御I/F部)1210を有する。記録媒体1211は、光電変換システム1200に内蔵されていてもよく、着脱可能であってもよい。また、記録媒体制御I/F部1210から記録媒体1211との通信や外部I/F部1209からの通信は無線によってなされてもよい。
更に光電変換システム1200は、各種演算を行うとともにデジタルスチルカメラ全体を制御する全体制御・演算部1208、光電変換装置1204と信号処理部1205に各種タイミング信号を出力するタイミング発生部1207を有する。ここで、タイミング信号などは外部から入力されてもよく、光電変換システム1200は、少なくとも光電変換装置1204と、光電変換装置1204から出力された出力信号を処理する信号処理部1205とを有すればよい。第4の実施形態にて説明したようにタイミング発生部1207は光電変換装置に搭載されていてもよい。全体制御・演算部1208およびタイミング発生部1207は、光電変換装置1204の制御機能の一部または全部を実施するように構成してもよい。
光電変換装置1204は、画像用信号を信号処理部1205に出力する。信号処理部1205は、光電変換装置1204から出力される画像用信号に対して所定の信号処理を実施し、画像データを出力する。また、信号処理部1205は、画像用信号を用いて、画像を生成する。また、信号処理部1205は、光電変換装置1204から出力される信号に対して測距演算を行ってもよい。なお、信号処理部1205やタイミング発生部1207は、光電変換装置に搭載されていてもよい。つまり、信号処理部1205やタイミング発生部1207は、画素が配された基板に設けられていてもよく、第5の実施形態に記載したような別の基板に設けられている構成であってもよい。上述した各実施形態の光電変換装置を用いて撮像システムを構成することにより、より良質の画像が取得可能な撮像システムを実現することができる。
[第7実施形態]
本実施形態の光電変換システム及び移動体について、図14および図15を用いて説明する。図14は、本実施形態による光電変換システム及び移動体の構成例を示す概略図である。図15は、本実施形態による光電変換システムの動作を示すフロー図である。本実施形態では、光電変換システムとして、車載カメラの一例を示す。
図14は、車両システムとこれに搭載される撮像を行う光電変換システムの一例を示したものである。光電変換システム1301は、光電変換装置1302、画像前処理部1315、集積回路1303、光学系1314を含む。光学系1314は、光電変換装置1302に被写体の光学像を結像する。光電変換装置1302は、光学系1314により結像された被写体の光学像を電気信号に変換する。光電変換装置1302は、上述の各実施形態のいずれかの光電変換装置である。画像前処理部1315は、光電変換装置1302から出力された信号に対して所定の信号処理を行う。画像前処理部1315の機能は、光電変換装置1302内に組み込まれていてもよい。光電変換システム1301には、光学系1314、光電変換装置1302及び画像前処理部1315が、少なくとも2組設けられており、各組の画像前処理部1315からの出力が集積回路1303に入力されるようになっている。
集積回路1303は、撮像システム用途向けの集積回路であり、メモリ1305を含む画像処理部1304、光学測距部1306、測距演算部1307、物体認知部1308、異常検出部1309を含む。画像処理部1304は、画像前処理部1315の出力信号に対して、現像処理や欠陥補正等の画像処理を行う。メモリ1305は、撮像画像の一次記憶、撮像画素の欠陥位置を格納する。光学測距部1306は、被写体の合焦や、測距を行う。測距演算部1307は、複数の光電変換装置1302により取得された複数の画像データから測距情報の算出を行う。物体認知部1308は、車、道、標識、人等の被写体の認知を行う。異常検出部1309は、光電変換装置1302の異常を検出すると、主制御部1313に異常を発報する。
集積回路1303は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよいし、これらの組合せによって実現されてもよい。また、FPGA(Field Programmable Gate Array)やASIC(Application Specific Integrated Circuit)等によって実現されてもよいし、これらの組合せによって実現されてもよい。
主制御部1313は、光電変換システム1301、車両センサ1310、制御ユニット1320等の動作を統括・制御する。主制御部1313を持たず、光電変換システム1301、車両センサ1310、制御ユニット1320が個別に通信インターフェースを有して、それぞれが通信ネットワークを介して制御信号の送受を行う(例えばCAN規格)方法も取り得る。
集積回路1303は、主制御部1313からの制御信号を受け或いは自身の制御部によって、光電変換装置1302へ制御信号や設定値を送信する機能を有する。
光電変換システム1301は、車両センサ1310に接続されており、車速、ヨーレート、舵角などの自車両走行状態及び自車外環境や他車・障害物の状態を検出することができる。車両センサ1310は、対象物までの距離情報を取得する距離情報取得手段でもある。また、光電変換システム1301は、自動操舵、自動巡行、衝突防止機能等の種々の運転支援を行う運転支援制御部1311に接続されている。特に、衝突判定機能に関しては、光電変換システム1301や車両センサ1310の検出結果を基に他車・障害物との衝突推定・衝突有無を判定する。これにより、衝突が推定される場合の回避制御、衝突時の安全装置起動を行う。
また、光電変換システム1301は、衝突判定部での判定結果に基づいて、ドライバーに警報を発する警報装置1312にも接続されている。例えば、衝突判定部の判定結果として衝突可能性が高い場合、主制御部1313は、ブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして、衝突を回避、被害を軽減する車両制御を行う。警報装置1312は、音等の警報を鳴らす、カーナビゲーションシステムやメーターパネルなどの表示部画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザに警告を行う。
本実施形態では、車両の周囲、例えば前方又は後方を光電変換システム1301で撮影する。図14(b)に、車両前方を光電変換システム1301で撮像する場合の光電変換システム1301の配置例を示す。
2つの光電変換装置1302は、車両1300の前方に配置される。具体的には、車両1300の進退方位又は外形(例えば車幅)に対する中心線を対称軸に見立て、その対称軸に対して2つの光電変換装置1302が線対称に配置されると、車両1300と被写対象物との間の距離情報の取得や衝突可能性の判定を行う上で好ましい。また、光電変換装置1302は、運転者が運転席から車両1300の外の状況を視認する際に運転者の視野を妨げない配置が好ましい。警報装置1312は、運転者の視野に入りやすい配置が好ましい。
次に、光電変換システム1301における光電変換装置1302の故障検出動作について、図15を用いて説明する。光電変換装置1302の故障検出動作は、図15に示すステップS1410~S1480に従って実施される。
ステップS1410は、光電変換装置1302のスタートアップ時の設定を行うステップである。すなわち、光電変換システム1301の外部(例えば主制御部1313)又は光電変換システム1301の内部から、光電変換装置1302の動作のための設定を送信し、光電変換装置1302の撮像動作及び故障検出動作を開始する。
次いで、ステップS1420において、有効画素から画素信号を取得する。また、ステップS1430において、故障検出用に設けた故障検出画素からの出力値を取得する。この故障検出画素は、有効画素と同じく光電変換部を備える。この光電変換部には、所定の電圧が書き込まれる。故障検出用画素は、この光電変換部に書き込まれた電圧に対応する信号を出力する。なお、ステップS1420とステップS1430とは逆でもよい。
次いで、ステップS1440において、故障検出画素の出力期待値と、実際の故障検出画素からの出力値との該非判定を行う。ステップS1440における該非判定の結果、出力期待値と実際の出力値とが一致している場合は、ステップS1450に移行し、撮像動作が正常に行われていると判定し、処理ステップがステップS1460へと移行する。ステップS1460では、走査行の画素信号をメモリ1305に送信して一次保存する。そののち、ステップS1420に戻り、故障検出動作を継続する。一方、ステップS1440における該非判定の結果、出力期待値と実際の出力値とが一致していない場合は、処理ステップはステップS1470に移行する。ステップS1470において、撮像動作に異常があると判定し、主制御部1313、又は警報装置1312に警報を発報する。警報装置1312は、表示部に異常が検出されたことを表示させる。その後、ステップS1480において光電変換装置1302を停止し、光電変換システム1301の動作を終了する。
なお、本実施形態では、1行毎にフローチャートをループさせる例を例示したが、複数行毎にフローチャートをループさせてもよいし、1フレーム毎に故障検出動作を行ってもよい。ステップS1470の警報の発報は、無線ネットワークを介して、車両の外部に通知するようにしてもよい。
また、本実施形態では、他の車両と衝突しない制御を説明したが、他の車両に追従して自動運転する制御や、車線からはみ出さないように自動運転する制御などにも適用可能である。さらに、光電変換システム1301は、自車両等の車両に限らず、例えば、船舶、航空機或いは産業用ロボットなどの移動体(移動装置)に適用することができる。加えて、移動体に限らず、高度道路交通システム(ITS)等、広く物体認識を利用する機器に適用することができる。
本発明の光電変換装置は、更に、カラーフィルタやマイクロレンズを有する構成であってもよく、距離情報など各種情報を取得可能な構成であってもよい。また、増幅トランジスタはソースフォロワ回路の一部であるが、AD変換器の一部を構成していてもよい。具体的には、AD変換器が含む比較器の一部を増幅トランジスタが構成していてもよい。また、比較器の一部の構成が別の半導体基板に設けられている構成であってもよい。
本発明は、上記実施形態に限らず種々の変形が可能である。例えば、いずれかの実施形態の一部の構成を他の実施形態に追加した例や、他の実施形態の一部の構成と置換した例も、本発明の実施形態である。
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
11 アバランシェダイオード
41 処理回路
30 選択回路

Claims (19)

  1. 第1アバランシェダイオードと、前記第1アバランシェダイオードに接続可能に構成された第1処理回路と、
    第2アバランシェダイオードと、前記第2アバランシェダイオードに接続可能に構成された第2処理回路と、
    選択回路と、を備え、
    前記第1アバランシェダイオードには第1のマイクロレンズが配され、
    前記第2アバランシェダイオードには第2のマイクロレンズが配され、
    前記選択回路は、前記第1アバランシェダイオードからの信号の入力先を前記第1処理回路と前記第2処理回路とで選択することができ、前記第2アバランシェダイオードからの信号の入力先を前記第1処理回路と前記第2処理回路とで選択することができ、
    前記第1アバランシェダイオードからの信号は、前記第1処理回路に読み出された後に前記第2処理回路に読み出されることを特徴とする光電変換装置。
  2. 第1アバランシェダイオードと、前記第1アバランシェダイオードに接続可能に構成された第1処理回路と、
    第2アバランシェダイオードと、前記第2アバランシェダイオードに接続可能に構成された第2処理回路と、
    前記第1アバランシェダイオードには第1のマイクロレンズが配され、
    前記第2アバランシェダイオードには第2のマイクロレンズが配され、
    選択回路と、を備え、
    前記第1アバランシェダイオードからの信号は、前記選択回路を介して出力線に入力され、
    前記第1アバランシェダイオードは前記選択回路により前記第2処理回路に接続可能に構成され、
    前記第1アバランシェダイオードからの信号は、前記第1処理回路に読み出された後に前記第2処理回路に読み出されることを特徴とする光電変換装置。
  3. 前記第1処理回路および前記第2処理回路は前記第1アバランシェダイオードからの信号および前記第2アバランシェダイオードからの信号をカウントする計数部を含むことを特徴とする請求項1または2に記載の光電変換装置。
  4. 前記選択回路は、前記第1アバランシェダイオードからの信号の入力先を前記第1処理回路と前記第2処理回路とで選択することができ、前記第2アバランシェダイオードからの信号の入力先を前記第1処理回路と前記第2処理回路とで選択することができることを特徴とする請求項2または3に記載の光電変換装置。
  5. 前記選択回路は、第1スイッチおよび第2スイッチを含み、
    前記第1スイッチは、前記第1アバランシェダイオードと前記第1処理回路との接続および非接続を制御し、
    前記第2スイッチは、前記第2アバランシェダイオードと前記第2処理回路との接続および非接続を制御することを特徴とする請求項1乃至4のいずれか1項に記載の光電変換装置。
  6. 前記選択回路は、第3スイッチおよび第4スイッチを含み、
    前記第3スイッチは、前記第2アバランシェダイオードと前記第2処理回路との接続を制御し、
    前記第4スイッチは、前記第2アバランシェダイオードと前記第1処理回路との接続を制御することを特徴とする請求項5に記載の光電変換装置。
  7. 前記第1アバランシェダイオードからの信号が前記第2処理回路へ読み出される期間において、前記第2アバランシェダイオードからの信号は前記第2処理回路および前記第1処理回路のいずれにも入力されないことを特徴とする請求項1乃至6のいずれか1項に記載の光電変換装置。
  8. 前記第1アバランシェダイオードからの信号が前記第1処理回路および前記第2処理回路へ読み出されることを特徴とする請求項乃至7のいずれか1項に記載の光電変換装置。
  9. 前記第1アバランシェダイオードからの信号が前記第2処理回路へ読み出される期間において、前記第2アバランシェダイオードは非アバランシェ状態であることを特徴とする請求項1乃至のいずれか1項に記載の光電変換装置。
  10. 前記第1アバランシェダイオードおよび前記第2アバランシェダイオードを含む複数のアバランシェダイオードが複数行に渡って配され、
    前記第1アバランシェダイオードはn(nは整数)行に配され、
    前記第2アバランシェダイオードはm(mはn以外の整数)行に配されていることを特徴とする請求項に記載の光電変換装置。
  11. 1以上の第3アバランシェダイオードと、前記第3アバランシェダイオードに接続可能に構成された第3処理回路と、
    1以上の第4アバランシェダイオードと、前記第4アバランシェダイオードに接続可能に構成された第4処理回路と、を備え、
    前記第3アバランシェダイオードは、前記選択回路により前記第1処理回路、前記第2処理回路、および前記第4処理回路に接続可能に構成され、
    前記第4アバランシェダイオードは、前記選択回路により前記第1処理回路、前記第2処理回路、および前記第3処理回路に接続可能に構成されていることを特徴とする請求項1乃至10のいずれか1項に記載の光電変換装置。
  12. 前記第1アバランシェダイオード、前記第2アバランシェダイオード、前記第3アバランシェダイオード、および前記第4アバランシェダイオードを含む複数のアバランシェダイオードが複数行に渡って配され、
    前記第1アバランシェダイオードおよび前記第3アバランシェダイオードはn(nは整数)行に配され、
    前記第2アバランシェダイオードおよび前記第4アバランシェダイオードはm(mはn以外の整数)行に配されていることを特徴とする請求項1に記載の光電変換装置。
  13. 前記第1アバランシェダイオードからの信号が前記第2処理回路へ読み出される期間において、前記第2アバランシェダイオード、前記第3アバランシェダイオード、および前記第4アバランシェダイオードは非アバランシェ状態であることを特徴とする請求項1に記載の光電変換装置。
  14. 第1基板と、前記第1基板に積層された第2基板とを備え、
    前記第1基板は、前記第1処理回路および前記第2処理回路を含み、
    前記第2基板は、前記第1アバランシェダイオードおよび前記第2アバランシェダイオードを含むことを特徴とする請求項1乃至1のいずれか1項に記載の光電変換装置。
  15. 前記第1アバランシェダイオードからの信号が前記第1処理回路に読み出される期間と前記第1アバランシェダイオードからの信号が前記第2処理回路に読み出される期間が一部重複することを特徴とする請求項1または2に記載の光電変換装置。
  16. 請求項1乃至15のいずれか1項に記載の光電変換装置と、
    前記光電変換装置が出力する信号を処理する信号処理部と、を有することを特徴とする光電変換システム。
  17. 前記信号処理部は、前記光電変換装置からの信号に基づき、測距および撮像を行うことを特徴とする請求項16に記載の光電変換システム。
  18. 請求項1乃至15のいずれか1項に記載の光電変換装置と、
    前記光電変換装置からの信号に基づく測距情報から、対象物までの距離情報を取得する距離情報取得手段と、を有する移動体であって、
    前記距離情報に基づいて前記移動体を制御する制御手段をさらに有することを特徴とする移動体。
  19. 前記光電変換装置からの信号に基づき、撮像を行うことを特徴とする請求項18に記載の移動体。
JP2019139134A 2019-07-29 2019-07-29 光電変換装置、光電変換システム、および移動体 Active JP7379000B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019139134A JP7379000B2 (ja) 2019-07-29 2019-07-29 光電変換装置、光電変換システム、および移動体
US16/937,458 US11601608B2 (en) 2019-07-29 2020-07-23 Photoelectric conversion apparatus, photoelectric conversion system, and moving body

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019139134A JP7379000B2 (ja) 2019-07-29 2019-07-29 光電変換装置、光電変換システム、および移動体

Publications (2)

Publication Number Publication Date
JP2021022875A JP2021022875A (ja) 2021-02-18
JP7379000B2 true JP7379000B2 (ja) 2023-11-14

Family

ID=74258400

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019139134A Active JP7379000B2 (ja) 2019-07-29 2019-07-29 光電変換装置、光電変換システム、および移動体

Country Status (2)

Country Link
US (1) US11601608B2 (ja)
JP (1) JP7379000B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019075394A (ja) * 2017-10-12 2019-05-16 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子、および、電子装置
US20240145496A1 (en) * 2021-03-12 2024-05-02 Sony Corporation Imaging device and ranging system
JP2023115727A (ja) * 2022-02-08 2023-08-21 キヤノン株式会社 光電変換装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018221048A1 (ja) 2017-05-31 2018-12-06 シャープ株式会社 3次元画像素子および光レーダー装置
JP2019075610A (ja) 2017-10-12 2019-05-16 キヤノン株式会社 固体撮像素子及び撮像装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9210350B2 (en) 2013-12-09 2015-12-08 Omnivision Technologies, Inc. Low power imaging system with single photon avalanche diode photon counters and ghost image reduction
US9176361B2 (en) * 2014-03-11 2015-11-03 Sony Corporation Optical analog to digital converter and method
US10873740B2 (en) * 2017-04-28 2020-12-22 Sharp Kabushiki Kaisha Three-dimensional image sensor, optical radar apparatus, and processing apparatus
EP3428683B1 (en) 2017-07-11 2019-08-28 Sick Ag Optoelectronic sensor and method for measuring a distance

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018221048A1 (ja) 2017-05-31 2018-12-06 シャープ株式会社 3次元画像素子および光レーダー装置
JP2019075610A (ja) 2017-10-12 2019-05-16 キヤノン株式会社 固体撮像素子及び撮像装置

Also Published As

Publication number Publication date
US20210037203A1 (en) 2021-02-04
US11601608B2 (en) 2023-03-07
JP2021022875A (ja) 2021-02-18

Similar Documents

Publication Publication Date Title
JP6929671B2 (ja) 撮像装置及び撮像システム
US11169022B2 (en) Photo-detection device and imaging system
JP7379000B2 (ja) 光電変換装置、光電変換システム、および移動体
US11069823B2 (en) Photoelectric conversion device, photoelectric conversion system, and movable object comprising a comparison unit to compare the count value of pulse with a predetermined threshold value
JP7327949B2 (ja) 光電変換装置、光電変換システム、及び移動体
JP7353765B2 (ja) 光検出装置、光検出システム及び移動体
US11658197B2 (en) Photoelectric conversion apparatus, photoelectric conversion system, and moving object
JP2023155231A (ja) 光電変換装置、撮像システム、移動体
US20230062826A1 (en) Solid-state imaging device and imaging device with combined dynamic vision sensor and imaging functions
JP7434479B2 (ja) 光電変換装置及び撮像システム
TWI782208B (zh) 成像設備、成像系統、移動體以及用於層壓的半導體基板
US11695022B2 (en) Image capturing apparatus, image capturing system, and moving body
JP7422451B2 (ja) 光電変換装置、光電変換システム、および移動体
US10833207B2 (en) Photo-detection device, photo-detection system, and mobile apparatus
US11189742B2 (en) Photo-detection device, photo-detection system, and mobile apparatus
JP2024012454A (ja) 光電変換装置、光電変換システム、および移動体
JP7362352B2 (ja) 光電変換装置、光電変換システム、および移動体
JP2020047780A (ja) 光検出装置
JP7114264B2 (ja) 光電変換装置及び撮像システム
US11196948B2 (en) Photo-detection device and imaging system
US11140348B2 (en) AD conversion device, imaging device, imaging system, and mobile apparatus
US20220201182A1 (en) Photoelectric conversion device and method of driving photoelectric conversion device
JP2022112912A (ja) 光電変換装置、光電変換システムおよび移動体
JP2024038655A (ja) 光電変換装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220720

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230512

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230728

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231101

R151 Written notification of patent or utility model registration

Ref document number: 7379000

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151