JP6777074B2 - 固体撮像装置、撮像システムおよび距離計測方法 - Google Patents

固体撮像装置、撮像システムおよび距離計測方法 Download PDF

Info

Publication number
JP6777074B2
JP6777074B2 JP2017512227A JP2017512227A JP6777074B2 JP 6777074 B2 JP6777074 B2 JP 6777074B2 JP 2017512227 A JP2017512227 A JP 2017512227A JP 2017512227 A JP2017512227 A JP 2017512227A JP 6777074 B2 JP6777074 B2 JP 6777074B2
Authority
JP
Japan
Prior art keywords
infrared light
light conversion
unit
visible light
charge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017512227A
Other languages
English (en)
Other versions
JPWO2016167044A1 (ja
Inventor
拓也 佐野
拓也 佐野
寿史 若野
寿史 若野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2016167044A1 publication Critical patent/JPWO2016167044A1/ja
Application granted granted Critical
Publication of JP6777074B2 publication Critical patent/JP6777074B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H01L27/14605—Structural or functional details relating to the position of the pixel elements, e.g. smaller pixel elements in the center of the imager compared to pixel elements at the periphery
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14618—Containers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14623—Optical shielding
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14634—Assemblies, i.e. Hybrid structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14636—Interconnect structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14641—Electronic components shared by two or more pixel-elements, e.g. one amplifier shared by two pixel elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H01L27/14647—Multicolour imagers having a stacked pixel-element structure, e.g. npn, npnpn or MQW elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14649—Infrared imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Description

本技術は、固体撮像装置、撮像システムおよび距離計測方法に関する。詳しくは、被写体との距離を計測する距離計測画素を有する固体撮像装置、撮像システムおよびこれらにおける距離計測方法に関する。
従来、赤外光を被写体に照射し、反射された赤外光を受光して照射から受光までの時間を計測することにより、被写体との距離を計測する撮像システムが使用されている。このような方式はＴＯＦ（Time of Flight）方式と呼ばれ、被写体の動き検出や３次元形状の計測の際に広く使用される方式である。この撮像システムに使用する撮像素子は、可視光を電気信号に変換する光電変換素子を有する可視光画素と、反射された赤外光を電気信号に変換する光電変換素子を有する赤外光画素とにより構成されている。この赤外光画素により距離の計測が行われる。ここで、このような赤外光画素を距離計測画素と称する。通常、反射光は伝播の過程で減衰するため、可視光画素と同じ大きさの赤外光画素を距離計測画素として使用した場合には、光電変換の感度が不足して、距離計測の精度が低下する。これを防ぐためには、高感度の距離計測画素を使用することが望ましい。そこで、可視光画素の光電変換素子と比較して、４倍の受光面積の光電変換素子を有する距離計測画素を使用するシステムが提案されている（例えば、特許文献１参照。）。
米国特許出願公開第２００６／０１９２０８６号明細書
上述の従来技術は、光電変換素子としてシングルフォトンアバランシェダイオード（ＳＰＡＤ：Single Photon Avalanche diode）を使用するとともに、このＳＰＡＤ素子を可視光画素の光電変換素子の４倍の受光面積に構成している。これにより、光電変換の感度を高めて微弱な反射光における距離計測を可能にしている。しかし、可視光画素より大きな面積の距離計測画素を要するため、通常の撮像素子とは異なる設計ルールにより製造する必要がある。このため、コストが高いという問題がある。
本技術はこのような状況に鑑みて生み出されたものであり、可視光画素と同じ大きさに構成された距離計測画素を使用しながら、距離計測の精度を向上させることを目的とする。
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、可視光を受光する受光面が配置されて上記受光した上記可視光の受光量に応じた電荷を生成する複数の可視光変換部と上記複数の可視光変換部によりそれぞれ生成された上記電荷をそれぞれ異なる期間に排他的に保持する可視光電荷保持部とを備える可視光変換ブロックと、上記可視光変換部の上記受光面と略等しいサイズであるとともに赤外光を受光する受光面が配置されて上記受光した上記赤外光の受光量に応じた電荷を生成する複数の赤外光変換部と上記複数の赤外光変換部によりそれぞれ生成された上記電荷をまとめて同時に保持する赤外光電荷保持部とを備える赤外光変換ブロックとを具備する固体撮像装置である。これにより、上記複数の赤外光変換部によりそれぞれ生成された電荷がまとめて同時に保持されるという作用をもたらす。
また、この第１の側面において、上記可視光変換ブロックは、４個の上記可視光変換部と上記可視光電荷保持部とを備えてもよい。これにより、上記可視光変換ブロックは、４個の上記可視光変換部を有するという作用をもたらす。
また、この第１の側面において、上記赤外光変換ブロックは、４個の上記赤外光変換部と上記赤外光電荷保持部とを備えてもよい。これにより、上記赤外光変換ブロックは、４個の上記赤外光変換部を有するという作用をもたらす。
また、この第１の側面において、上記赤外光変換ブロックは、２個の上記赤外光変換部と、２個の上記可視光変換部と、上記２個の赤外光変換部により生成された上記電荷を保持する際には上記２個の赤外光変換部によりそれぞれ生成された上記電荷をまとめて同時に保持し、上記２個の可視光変換部により生成された上記電荷を保持する際には上記２個の可視光変換部によりそれぞれ生成された上記電荷をそれぞれ異なる期間に排他的に保持する上記赤外光電荷保持部とを備えてもよい。これにより、上記赤外光変換ブロックは、２個の上記赤外光変換部と２個の上記可視光変換部とを有するという作用をもたらす。
また、この第１の側面において、上記可視光変換ブロックは、赤色光に応じた上記電荷を生成する上記可視光変換部である赤色光変換部と緑色光に応じた上記電荷を生成する上記可視光変換部である緑色光変換部と青色光に応じた上記電荷を生成する上記可視光変換部である青色光変換部とがベイヤー配列形状に配置された上記４個の可視光変換部と上記可視光電荷保持部とを備えてもよい。これにより、上記可視光変換ブロックは、ベイヤー配列形状に配置された４個の可視光変換部を有するという作用をもたらす。
また、この第１の側面において、上記可視光変換ブロックは、赤色光に応じた上記電荷を生成する上記可視光変換部である赤色光変換部と緑色光に応じた上記電荷を生成する上記可視光変換部である緑色光変換部と青色光に応じた上記電荷を生成する上記可視光変換部である青色光変換部と白色光に応じた上記電荷を生成する上記可視光変換部である白色光変換部と上記可視光電荷保持部とを備えてもよい。これにより、上記可視光変換ブロックは、上記赤色光変換部と上記緑色光変換部と上記青色光変換部と上記白色光変換部の４個の可視光変換部を有するという作用をもたらす。
また、この第１の側面において、上記赤外光変換ブロックは、上記複数の赤外光変換部と上記赤外光電荷保持部との間を同時に導通させて上記複数の赤外光変換部によりそれぞれ生成された上記電荷を上記赤外光電荷保持部に転送する赤外光電荷転送部をさらに備えてもよい。これにより、上記複数の赤外光変換部により生成された上記電荷が同時に上記赤外光保持部に転送されるという作用をもたらす。
また、この第１の側面において、上記赤外光電荷保持部に保持された上記電荷に応じた信号を生成する赤外光信号生成部をさらに具備してもよい。これにより、上記赤外光電荷保持部に保持された上記電荷に応じた信号が生成されるという作用をもたらす。
また、本技術の第２の側面は、被写体に赤外光を出射する赤外光出射部と、可視光を受光する受光面が配置されて上記受光した上記可視光の受光量に応じた電荷を生成する複数の可視光変換部と上記複数の可視光変換部によりそれぞれ生成された上記電荷をそれぞれ異なる期間に排他的に保持する可視光電荷保持部とを備える可視光変換ブロックと、上記可視光変換部の上記受光面と略等しいサイズであるとともに上記出射されて上記被写体により反射された赤外光を受光する受光面が配置されて上記受光した上記赤外光の受光量に応じた電荷を生成する複数の赤外光変換部と上記複数の赤外光変換部によりそれぞれ生成された上記電荷をまとめて同時に保持する赤外光電荷保持部とを備える赤外光変換ブロックと、上記赤外光電荷保持部に保持された上記電荷に応じた信号を生成する赤外光信号生成部と、上記赤外光出射部における上記出射から上記赤外光変換ブロックの上記赤外光変換部における上記受光までの時間を上記生成された上記信号に基づいて計測することにより上記被写体との距離を計測する距離計測部とを具備する撮像システムである。これにより、上記複数の赤外光変換部によりそれぞれ生成された電荷がまとめて同時に保持されるという作用をもたらす。
また、本技術の第３の側面は、被写体に赤外光を出射する赤外光出射手順と、可視光を受光する受光面が配置されて上記受光した上記可視光の受光量に応じた電荷を生成する複数の可視光変換部と上記複数の可視光変換部によりそれぞれ生成された上記電荷をそれぞれ異なる期間に排他的に保持する可視光電荷保持部とを備える可視光変換ブロックにおける上記可視光変換部の上記受光面と略等しいサイズであるとともに上記出射されて上記被写体により反射された赤外光を受光する受光面が配置されて上記受光した上記赤外光の受光量に応じた電荷を生成する複数の赤外光変換部と上記複数の赤外光変換部によりそれぞれ生成された上記電荷をまとめて同時に保持する赤外光電荷保持部とを備える赤外光変換ブロックにおいて上記赤外光電荷保持部に保持された上記電荷に応じた信号を生成する赤外光信号生成手順と、上記赤外光の出射から上記赤外ブロックの上記赤外光変換部における上記受光までの時間を上記生成された上記信号に基づいて計測することにより上記被写体との距離を計測する距離計測手順とを具備する距離計測方法である。これにより、上記複数の赤外光変換部によりそれぞれ生成された電荷がまとめて同時に保持されるという作用をもたらす。
本技術によれば、可視光画素と同じ大きさの距離計測画素を使用しながら、距離計測の精度を向上させるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の実施の形態における撮像システム１の構成例を示す図である。 本技術の実施の形態における固体撮像装置２０の構成例を示す図である。 本技術の第１の実施の形態における画素の構成例を示す図である。 本技術の第１の実施の形態における画素の配置例を示す図である。 本技術の第１の実施の形態における画素の構成例を示す模式図である。 本技術の第１の実施の形態における距離の計測方法を示す図である。 本技術の第１の実施の形態における赤外光変換ブロックを例示する図である。 本技術の第１の実施の形態における撮像期間および距離計測期間の関係を示す図である。 本技術の第１の実施の形態における撮像方法を示す図である。 本技術の第１の実施の形態における距離の計測方法を示す図である。 本技術の第１の実施の形態における距離の計測の処理手順の一例を示す図である。 本技術の第１の実施の形態の変形例における可視光変換ブロックを例示する図である。 本技術の第２の実施の形態における赤外光変換ブロックを例示する図である。 本技術の第２の実施の形態における撮像期間および距離計測期間の関係を示す図である。 本技術の第２の実施の形態における撮像方法を示す図である。 本技術の第３の実施の形態における赤外光変換ブロックを例示する図である。 本技術の第３の実施の形態における距離の計測方法を示す図である。 本技術の第３の実施の形態における撮像方法を示す図である。 本技術の第４の実施の形態における赤外光変換ブロックを例示する図である。 本技術の第５の実施の形態における画素の配置例を示す図である。 本技術の第５の実施の形態における画素の構成例を示す図である。 本技術の第５の実施の形態における撮像方法を示す図である。
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（赤外光変換ブロックが２個の赤外光変換画素および２個の可視光変換画素により構成される場合の例）
２．第２の実施の形態（赤外光変換ブロックが４個の赤外光変換画素により構成される場合の例）
３．第３の実施の形態（赤外光変換ブロックが１個の赤外光変換画素および３個の可視光変換画素により構成される場合の例）
４．第４の実施の形態（ベイヤー配列におけるＧ画素の位置に赤外光変換画素が配置される場合の例）
５．第５の実施の形態（光電変換部に２個の電荷保持部が接続される場合の例）
＜１．第１の実施の形態＞
［撮像システムの構成］
図１は、本技術の実施の形態における撮像システム１の構成例を示す図である。この撮像システム１は、レンズ１０と、固体撮像装置２０と、信号処理部３０と、画像処理部４０と、距離計測部５０と、赤外光出射部６０とを備える。
レンズ１０は、固体撮像装置２０に対して光学的に被写体を結像するものである。固体撮像装置２０は、レンズ１０によって結像された光学画像を画像信号に変換し、出力するものである。この固体撮像装置２０は、光学画像が結像される面に画像信号を生成する画素が２次元に配置されて構成されている。この画素には、光学画像のうちの可視光に対応する可視光画素と赤外光に対応する赤外光画素とが含まれる。
この可視光画素は、受光した可視光に応じた信号を生成する画素であり、赤色光に応じた信号を生成する画素（Ｒ画素）、緑色光に応じた信号を生成する画素（Ｇ画素）および青色光に応じた信号を生成する画素（Ｂ画素）の３種の画素が例として挙られる。これらの画素により生成された信号である可視光信号により被写体の画像信号が構成される。
一方、赤外光画素は、受光した赤外光に応じた信号である赤外信号を生成する画素である。本技術の実施の形態における赤外光画素は、後述する赤外光出射部６０から出射されて被写体により反射された赤外光を受光し、赤外光信号を生成する。そして、この赤外光の出射から赤外光の受光までの時間を計測することにより、被写体までの距離が計測される。この赤外光画素が前述の距離計測画素（以下、Ｚ画素と称する。）に該当する。固体撮像装置２０の構成および距離の計測の詳細については、後述する。
信号処理部３０は、固体撮像装置２０から出力された画像信号を処理するものである。この信号処理部３０は、固体撮像装置２０から出力された画像信号を可視光信号および赤外光信号に分離し、それぞれ画像処理部４０および距離計測部５０に対して出力する。また、この信号処理部３０は、固体撮像装置２０の制御も行う。
画像処理部４０は、信号処理部３０から出力された可視光信号に対して画像処理を行うものである。この画像処理として、例えば、固体撮像装置２０により生成された単色の可視光信号に対して不足する他の色の信号を補間するデモザイク処理および可視光信号を輝度信号と色差信号に変換する処理等を行うことができる。画像処理部４０により処理された画像信号は、例えば、信号線（不図示）を経由して撮像システム１の外部に対して出力される。
距離計測部５０は、信号処理部３０から出力された赤外光信号に基づいて被写体との距離を計測するものである。また、この距離計測部５０は、赤外光出射部６０の制御も行う。
赤外光出射部６０は、距離計測部５０の制御に基づいて赤外光を被写体に出射するものである。
［固体撮像装置の構成］
図２は、本技術の実施の形態における固体撮像装置２０の構成例を示す図である。この固体撮像装置２０は、画素アレイ部１００と、垂直駆動部２００と、水平転送部３００と、アナログデジタル変換器（ＡＤＣ：Analog Digital Converter）４００とを備える。
画素アレイ部１００は、可視光画素と、赤外光画素と、信号生成部とを備え、これらが２次元アレイ状に配置されたものである。これら可視光画素および赤外光画素は、それぞれ可視光および赤外光に応じた電荷を生成する光電変換部を備えている。また、信号生成部は、光電変換部により生成された電荷を所定のタイミングで画像信号に変換して、出力するものである。光電変換を所定の期間行った後、これに基づく画像信号を生成することにより、露光を行うことができる。同図の画素アレイ部１００は、４個の画素（画素１１０、１２０、１３０および１４０）に対して１個の信号生成部１５０が配置された例を表している。この場合、画素１１０、１２０、１３０および１４０において生成された電荷が信号生成部１５０に転送され、この電荷に基づく画像信号が出力される。これらの画素のうち可視光画素により生成された電荷に基づく画像信号が可視光信号として出力され、赤外光画素により生成された電荷に基づく画像信号が赤外光信号として出力される。
上述した画素の選択を制御する信号等は、信号線１０１により伝達される。また、信号生成部１５０から出力された画像信号は、信号線１０２により伝達される。画素アレイ部１００には、これら信号線１０１および１０２が、ＸＹマトリクス状に配線されている。すなわち、同じ行に配置された画素１１０等には１つの信号線１０１が共通に配線され、同じ列に配置された画素１１０等の出力は、１つの信号線１０２に共通に配線されている。
垂直駆動部２００は、制御信号を生成して画素アレイ部１００に対して出力するものである。この垂直駆動部２００は、画素アレイ部１００の全ての信号線１０１に対して制御信号を出力する。垂直駆動部２００が出力する制御信号には、上述した画素１１０等における生成された電荷の信号生成部１５０への転送を制御する信号と、信号生成部１５０における画像信号の生成を制御する信号とが含まれる。
水平転送部３００は、画素アレイ部１００から出力された画像信号に対して処理を行うものである。この水平転送部３００には、画素アレイ部１００の１行分の画素１１０等に対応する出力信号が同時に入力される。この入力された画像信号に対して、水平転送部３００は、パラレル−シリアル変換を行い、変換後の画像信号を出力する。
アナログデジタル変換器４００は、水平転送部３００により出力された画像信号を、アナログ信号からデジタル信号に変換（ＡＤ変換）するものである。ＡＤ変換された画像信号は出力バッファ（不図示）を介して固体撮像装置２０の外部に出力される。
［画素の回路構成］
図３は、本技術の第１の実施の形態における画素の構成例を示す図である。同図は、画素１１０、１２０、１３０および１４０ならびに信号生成部１５０および電荷保持部１５１の回路構成を表したものである。
画素１１０は、光電変換部１１１と、電荷転送部１１３と、オーバーフロードレイン１１２とを備える。なお、電荷転送部１１３およびオーバーフロードレイン１１２は、ＭＯＳ（Metal Oxide Semiconductor）トランジスタにより構成される。
画素１１０には、信号線１０１のほかに、電源線Ｖｄｄおよび接地線が接続されている。画素１１０の電源はこれら電源線Ｖｄｄおよび接地線を通して供給される。また、信号線１０１は、複数の信号線（ＯＦＤ１およびＴＲ１）により構成されている。ＯＦＤ１（Over Flow Drain 1）は、オーバーフロードレイン１１２に制御信号を伝達する信号線である。ＴＲ１（Transfer 1）は、電荷転送部１１３に制御信号を伝達する信号線である。同図に表したように、これらは何れもＭＯＳトランジスタのゲートに接続される。ゲートおよびソース間の閾値電圧以上の電圧（以下、オン信号と称する。）がこれらの信号線を通して入力されると、該当するＭＯＳトランジスタが導通状態になる。
同図に表したように、光電変換部１１１のアノードは接地され、カソードは電荷転送部１１３のソースとオーバーフロードレイン１１２のソースに接続される。オーバーフロードレイン１１２のゲートおよびドレインは、それぞれＯＦＤ１およびＶｄｄに接続される。電荷転送部１１３のゲートは信号線ＴＲ１に接続され、ドレインは電荷保持部１５１の一端に接続される。
光電変換部１１１は、受光量に応じた電荷を生成して蓄積するものである。この光電変換部１１１は、フォトダイオードにより構成される。この光電変換部１１１には、可視光に対応する可視光変換部または赤外光に対応する赤外光変換部のいずれか一方が対応する。後述するように、画素ごとに配置されたカラーフィルタの特性を変更することにより、可視光変換部または赤外光変換部を構成することができる。
電荷転送部１１３は、光電変換部１１１により生成された電荷を電荷保持部１５１に転送するものである。この電荷転送部１１３は、光電変換部１１１と電荷保持部１５１との間を導通させることにより、電荷の転送を行う。
オーバーフロードレイン１１２は、光電変換部１１１により生成された電荷を排出するものである。このオーバーフロードレイン１１２は、光電変換部１１１において過剰に生成された電荷の排出を行う。また、光電変換部１１１とＶｄｄとの間を導通させることにより、光電変換部１１１に蓄積された全ての電荷の排出を行うこともできる。
画素１２０は、光電変換部１２１と、電荷転送部１２２と、オーバーフロードレイン１２３とを備える。
画素１２０に接続された信号線１０１は、複数の信号線（ＯＦＤ２およびＴＲ２）により構成されている。ＯＦＤ２（Over Flow Drain 2）は、オーバーフロードレイン１２３に制御信号を伝達する信号線である。ＴＲ２（Transfer 2）は、電荷転送部１２２に制御信号を伝達する信号線である。ＯＦＤ２およびＴＲ２は、それぞれオーバーフロードレイン１２３および電荷転送部１２２のゲートに接続される。これ以外の画素１２０の構成は画素１１０と同様であるため、説明を省略する。
画素１３０は、光電変換部１３１と、電荷転送部１３３と、オーバーフロードレイン１３２とを備える。
画素１３０に接続された信号線１０１は、複数の信号線（ＯＦＤ３およびＴＲ３）により構成されている。ＯＦＤ３（Over Flow Drain 3）は、オーバーフロードレイン１３２に制御信号を伝達する信号線である。ＴＲ３（Transfer 3）は、電荷転送部１３３に制御信号を伝達する信号線である。ＯＦＤ３およびＴＲ３は、それぞれオーバーフロードレイン１３２および電荷転送部１３３のゲートに接続される。これ以外の画素１３０の構成は画素１１０と同様であるため、説明を省略する。
画素１４０は、光電変換部１４１と、電荷転送部１４２と、オーバーフロードレイン１４３とを備える。
画素１４０に接続された信号線１０１は、複数の信号線（ＯＦＤ４およびＴＲ４）により構成されている。ＯＦＤ４（Over Flow Drain 4）は、オーバーフロードレイン１４３に制御信号を伝達する信号線である。ＴＲ４（Transfer 4）は、電荷転送部１４２に制御信号を伝達する信号線である。ＯＦＤ４およびＴＲ４は、それぞれオーバーフロードレイン１４３および電荷転送部１４２のゲートに接続される。これ以外の画素１４０の構成は画素１１０と同様であるため、説明を省略する。
電荷保持部１５１は、画素１１０、１２０、１３０および１４０から転送された電荷を保持するものである。
信号生成部１５０は、電荷保持部１５１に保持された信号に応じた信号を生成するものである。この信号生成部１５０は、ＭＯＳトランジスタ１５２乃至１５４を備える。
信号生成部１５０には、信号線１０１、信号線１０２、電源線Ｖｄｄおよび接地線が接続されている。信号線１０１は、複数の信号線（ＲＳＴおよびＳＥＬ）により構成されている。ＲＳＴ（Reset）は、ＭＯＳトランジスタ１５２に制御信号を伝達する信号線である。ＳＥＬ（Select）は、ＭＯＳトランジスタ１５４に制御信号を伝達する信号線である。信号線１０２は、信号生成部１５０により生成された信号を伝達する信号線である。
同図に表したように、ＭＯＳトランジスタ１５２および１５３のドレインは、Ｖｄｄに接続される。ＭＯＳトランジスタ１５２のソースおよびＭＯＳトランジスタ１５３のゲートは、前述の電荷転送部１１３、１２２、１３３および１４２のドレインが接続された電荷保持部１５１の一端に接続される。電荷保持部１５１の他の一端は、接地される。ＭＯＳトランジスタ１５３のソースはＭＯＳトランジスタ１５４のドレインに接続され、ＭＯＳトランジスタ１５４のソースは信号線１０２に接続される。ＭＯＳトランジスタ１５２およびＭＯＳトランジスタ１５４のゲートは、それぞれ信号線ＲＳＴおよびＳＥＬに接続される。
ＭＯＳトランジスタ１５３は、電荷保持部１５１に保持された電荷に応じた信号を生成するＭＯＳトランジスタである。ＭＯＳトランジスタ１５４は、ＭＯＳトランジスタ１５３により生成された信号を画像信号として信号線１０２に出力するＭＯＳトランジスタである。なお、信号線１０２には、図示しない定電流電源が接続されており、ＭＯＳトランジスタ１５３とともにソースフォロワー回路を構成する。この定電流電源は図２において説明した水平転送部３００に配置されている。
ＭＯＳトランジスタ１５２は、電荷保持部１５１に保持された電荷を排出するＭＯＳトランジスタである。このＭＯＳトランジスタ１５２は、電荷保持部１５１とＶｄｄとの間を導通させることにより電荷の排出を行う。
［画素における動作］
同図に表した画素の動作について画素１１０を例に挙げて説明する。まず、ＯＦＧからオン信号が入力されるとオーバーフロードレイン１１２は導通し、光電変換部１１１のカソードにＶｄｄが印加される。これにより、光電変換部１１１に蓄積されていた電荷が排出される。その後、受光量に応じた電荷が新たに生成されて、光電変換部１１１に蓄積される。
所定の露光時間が経過した後、ＴＲ１からオン信号が入力されると、電荷転送部１１３が導通する。これにより、光電変換部１１１と電荷保持部１５１との間が導通状態になり、光電変換部１１１に蓄積された電荷が電荷保持部１５１に転送されて保持される。ＭＯＳトランジスタ１５３のゲートは電荷保持部１５１に接続されているため、電荷保持部１５１に保持された電荷に基づく信号が生成される。この時、ＳＥＬからオン信号が入力されるとＭＯＳトランジスタ１５４が導通し、ＭＯＳトランジスタ１５３により生成された信号が信号線１０２に出力される。
その後、ＲＳＴからオン信号が入力されてＭＯＳトランジスタ１５２が導通すると、電荷保持部１５１にＶｄｄが印加されて、保持されていた電荷が排出される。
電荷転送部１１３、１２２、１３３および１４２のソースは電荷保持部１５１に共通に接続されている。このため、これらを制御するＴＲ１乃至ＴＲ４を制御することにより画素１１０、１２０、１３０および１４０のうちの所望の画素において生成された電荷に基づく画像信号を生成して出力することができる。
上述のように各画素の動作は、それぞれ変わるところがない。しかし、光電変換部（光電変換部１１１、１２１、１３１および１４１）の特性を変更することにより、各画素を可視光画素または赤外光画素として使用することができる。具体的には、各画素に配置されるカラーフィルタを変更することにより、光電変換部の特性を変更することができる。このカラーフィルタは、光電変換部に入射する光を選択するフィルタである。可視光のみを透過させるカラーフィルタを配置することにより、光電変換部を可視光に対応する光電変換部である可視光変換部にすることができ、当該可視光変換部を有する画素を可視光画素にすることができる。一方、赤外光のみを透過させるカラーフィルタを配置した場合には、光電変換部を赤外光に対応する光電変換部である赤外光変換部にすることができ、当該赤外光変換部を有する画素を赤外光画素にすることができる。カラーフィルタの配置の詳細については、後述する。
ここで、１個の電荷保持部とこの電荷保持部に共通に接続された複数の光電変換部との組合せを変換ブロックと称する。同図においては、電荷保持部１５１および４個の光電変換部（光電変換部１１１、１２１、１３１および１４１）により変換ブロックが構成される例を表した。この変換ブロックのうち、複数の可視光変換部により構成される変換ブロックを可視光変換ブロックと称する。また、複数の赤外光変換部からなる変換ブロックを赤外光変換ブロックと称する。さらに、可視光変換ブロックにおける電荷保持部を可視光電荷保持部と称し、赤外光変換ブロックにおける電荷保持部を赤外光電荷保持部と称する。後述するように、可視光電荷保持部は、複数の可視光変換部によりそれぞれ生成された電荷をそれぞれ異なる期間に排他的に保持する。これに対し、赤外光電荷保持部は、複数の赤外光変換部によりそれぞれ生成された前記電荷をまとめて同時に保持する。この赤外光電荷保持部に保持された電荷に応じた信号を生成する信号生成部１５０を赤外光信号生成部と称する。
［画素の配置］
図４は、本技術の第１の実施の形態における画素の配置例を示す図である。同図は、４つの変換ブロックの配置を表した平面図である。また、同図の左上の変換ブロックを図３において説明した画素等に対応させて説明する。ただし、オーバーフロードレイン１１２、１２３、１３２、１４３については、記載を省略している。同図に表したように、画素１１０、１２０、１３０および１４０の中央に電荷保持部１５１が配置されている。この電荷保持部１５１に対して各画素の電荷転送部１１３、１２２、１３３および１４２がそれぞれ隣接して配置され、これらの電荷転送部に対して光電変換部１１１、１２１、１３１および１４１が隣接して配置されている。信号生成部１５０は、これらの変換ブロック毎に隣接して配置される。同図に表した光電変換部１１１、１２１、１３１および１４１に対して被写体からの光が照射されると、光電変換が行われる。すなわち、光電変換部１１１等のうち、同図に示された領域が可視光等を受光する受光面に該当する。
また、画素にはそれぞれカラーフィルタ１１９、１２９、１３９および１４９が配置されている。各画素に記載されたＲ、Ｇ、ＢおよびＺの文字はカラーフィルタの種類を表している。ここで、Ｚの文字が記載された画素１２０および１４０のカラーフィルタ１２９および１４９は、赤外光を透過させるカラーフィルタである。このため、光電変換部１１１および１３１と同図の左下の変換ブロックにおける１６１、１７１、１８１および１９１とは可視光変換部に該当し、これらを有する画素１１０、１３０、１６０、１７０、１８０および１９０は可視光画素に該当する。一方、光電変換部１２１および１４１は赤外光変換部に該当し、これらを有する画素１２０および１４０は赤外光画素に該当する。同図より明らかなように、赤外光変換部の受光面は、可視光変換部の受光面と略等しいサイズである。
さらに、同図における左上の変換ブロックは、２個の赤外光変換部（光電変換部１２１および１４１）と２個の可視光変換部（光電変換部１１１および１３１）と赤外光電荷保持部（電荷保持部１５１）とを備えており、赤外光変換ブロックに該当する。また、この変換ブロックに隣接して配置された信号生成部１５０は、赤外光電荷保持部（電荷保持部１５１）に保持された電荷に応じた信号を生成する赤外光信号生成部に該当する。同様に、同図における右上の変換ブロックも赤外光変換ブロックに該当する。一方、同図における左下の変換ブロックは、４個の可視光変換部（光電変換部１６１、１７１、１８１および１９１）と可視光電荷保持部（電荷保持部１５９）とを備えており、可視光変換ブロックに該当する。同様に、同図における右下の変換ブロックも可視光変換ブロックに該当する。この可視光変換ブロックは、Ｒ、ＧおよびＢ画素がベイヤー配列に構成されている。
［画素の断面］
図５は、本技術の第１の実施の形態における画素の構成例を示す模式図である。同図は、図４におけるＡ−Ａ'線に沿う断面図である。画素１１０および１４０を例に挙げて説明する。同図の光電変換部１１１および１４１は、ｐ型半導体領域５１７と、その内部に埋め込まれたｎ型半導体領域５１１および５１２によりそれぞれ構成される。これらの界面に形成されたｐｎ接合部分において光電変換が行われ、受光量に応じた電荷が生成される。この際、生成された電荷のうち電子は、ｎ型半導体領域５１１および５１２に蓄積される。光電変換部の上方にはカラーフィルタ１１９または１４９と平坦化膜５０３とマイクロレンズ５０１とが順に配置されている。平坦化膜５０３は、画素の表面を平坦にするものである。マイクロレンズ５０１は、画素に照射された光を光電変換部に集光させるレンズである。カラーフィルタ１１９および１４９の間には遮光膜５０２が配置されている。この遮光膜５０２は、隣接する画素から斜めに入射する光を遮光するものである。
また、ｐ型半導体領域５１７における画素の間には、分離領域５１３が配置されている。この分離領域５１３は、画素同士を分離するとともに、隣接する画素から斜めに入射する光を遮光する領域である。画素１１０および画素１４０の中間部分に電荷保持部１５１が配置されている。この電荷保持部１５１は、ｎ型半導体領域５１４により構成される。このｎ型半導体領域５１４は、フローティングディフュージョン（ＦＤ）と称され、信号生成部１５０（不図示）が接続される領域である。同図に表したように、電荷保持部１５１は分離領域５１３の直下に配置されているため、分離領域５１３により遮光される。この電荷保持部１５１と光電変換部１１１および１４１との間に電荷転送部１１３および１４２が配置されている。これら電荷転送部１１３および１４２には、ゲート電極５１５および５１６がそれぞれ配置されている。これらのゲート電極にオン電圧が印加されると、光電変換部１１１または１４１と電荷保持部１５１との間のｐ型半導体領域５１７が導通し、電荷転送部１１３および１４２が導通状態になる。
ｐ型半導体領域５１７の下方には層間絶縁層５１９と配線層５１８とが配置されている。配線層５１８は、画素１１０および１４０の信号を伝達するものであり、図３において説明した信号線１０１および１０２を構成するものである。層間絶縁層５１９は、配線層５１８相互の絶縁を行うものである。
このように、同図の電荷保持部１５１は、分離領域５１３により遮光されるため、暗電流が低減される。
［距離の計測の原理］
図６は、本技術の第１の実施の形態における距離の計測方法を示す図である。同図の出射赤外光は、赤外光出射部６０により出射された赤外光の波形を表している。また、反射赤外光は、出射赤外光が被写体により反射されて固体撮像装置２０に入射した赤外光の波形を表している。固体撮像装置２０のＺ画素は、この反射赤外光を受光して赤外光信号に変換し、露光を行う。この際、２個のＺ画素を使用してそれぞれ異なる露光期間を設定し赤外光信号を生成する。第１の露光期間および第２の露光期間は、この２個のＺ画素に設定された露光期間の関係を表したものであり、２値化された波形の値「１」の期間が露光期間に該当する。
同図に表したように、出射赤外光は、５０％デューティにパルス幅変調されて赤外光出射部６０から出射される。これに対し、反射赤外光は、出射赤外光に対して位相が遅れた波形となる。同図のＤはこの位相の遅れを表している。これは、出射された赤外光が被写体により反射して固体撮像装置２０に到達するまでの時間に相当する。この時間を計測することにより被写体までの距離を算出することができる。
同図の第１の露光期間は、出射赤外光と同期した露光期間が設定されている。一方、第２の露光期間は、出射赤外光と１８０°位相がずれた露光期間が設定されている。第１の露光期間では、同図の期間７０１において反射光の光電変換が行われる。第２の露光期間では、同図の期間７０２において反射光の光電変換が行われる。これら期間７０１および７０２の比率は、位相遅れに基づいて変化する。すなわち、位相遅れＤが大きくなる程、期間７０１は短くなり、期間７０２は長くなる。そこで、第１の露光期間および第２の露光期間においてＺ画素により生成された赤外光信号の比率を算出することにより位相遅れＤを算出することができる。
ここで、第１および第２の露光期間が設定されたＺ画素の赤外光信号をそれぞれＳ１およびＳ２、出射赤外光の周期をＴとすると、Ｄは次式により算出することができる。
Ｄ＝Ｓ２×（Ｓ１＋Ｓ２）×Ｔ／２
被写体までの距離Ｌは、次式により算出することができる。
Ｌ＝Ｄ×ｃ／２ ・・・（式１）
ただし、ｃは光速である。例えば、被写体との距離が１０ｍの場合には、Ｄは約３３ｎｓとなる。この場合、Ｔを例えば、１００ｎｓ（出射赤外光の変調周波数は１０ＭＨｚ）にすることにより距離を計測することができる。これら赤外光出射部６０に対するパルス変調された赤外光の出力の制御および距離の算出は、図１において説明した距離計測部５０により行われる。
このように２個のＺ画素を用いることにより被写体との距離を算出することができる。なお、反射赤外光は、伝播の過程で減衰するため、赤外光の出射を繰返し行うとともに、Ｚ画素により生成された電荷の蓄積を行い、赤外光信号のレベルを高める必要がある。
［固体撮像装置の動作］
図７は、本技術の第１の実施の形態における赤外光変換ブロックを例示する図である。同図の画素の配置は、図４において説明した画素の配置と同様である。同図の上側２つの赤外光変換ブロック６２０および６３０に配置されたＺ画素（Ｚａ、Ｚｂ、ＺｃおよびＺｄ）からなる画素群６６０により距離の計測が行われる。ＺａおよびＺｃとＺｂおよびＺｄとは異なる赤外光変換ブロックに属しており、それぞれ異なる赤外光電荷保持部６２１および６３１に接続されている。図６において説明した第１の露光期間および第２の露光期間をＺａおよびＺｃとＺｂおよびＺｄとに適用し、距離の計測を行う。一方、同図の可視光変換ブロック６１０は、可視光電荷保持部６１１を備えている。この、可視光変換ブロック６１０は、可視光による撮像の用に供される。
図８は、本技術の第１の実施の形態における撮像期間および距離計測期間の関係を示す図である。同図に表したように、固体撮像装置２０は、被写体の画像信号を生成する撮像の後に、被写体との距離の計測を行う。これらが行われる期間である撮像期間および距離計測期間が交互に繰り返される。撮像期間では、可視光画素においてリセット、露光および信号出力が第１のラインから順に実行される。ここで、リセットとは、光電変換部に蓄積された電荷を排出することである。１ラインに含まれる全ての画素に対してリセットが行われ、露光が開始される。所定の露光期間の経過後に、光電変換により生成された電荷に基づく画像信号が生成されて出力される。これにより、当該ラインにおける露光が終了する。これらを全てのラインに対して行うことにより、１画面分の画像信号であるフレームを得ることができる。その後、距離計測期間に移行する。
距離計測期間では、赤外光画素においてリセット、露光および信号出力が第１のラインから順に実行される。この際、距離計測のための赤外光信号が生成されて出力される。
［撮像方法］
図９は、本技術の第１の実施の形態における撮像方法を示す図である。同図は可視光変換ブロック６１０における撮像方法を表した図であり、同図には入力信号と出力信号の関係が表されている。同図に記載された信号は、図３において説明した信号に対応する。このうち入力信号では、２値化された波形の値「１」の期間がオン信号の入力に該当する。また、可視光電荷保持部６１１以外の構成要素（電荷転送部やオーバーフロードレイン等）の符号は、図３において説明した構成要素と同じ符号を使用して説明する。
まず、ＯＦＤ１乃至ＯＦＤ４にオン信号を入力してオーバーフロードレイン１１２、１２３、１３２および１４３を導通させる（Ｔ１）。これにより、光電変換部１１１、１２１、１３１および１４１に蓄積された電荷が排出されて、リセットが実行される。リセット終了後に、ＯＦＤ１乃至ＯＦＤ４へのオン信号の入力を停止して、オーバーフロードレイン１１２、１２３、１３２および１４３を非導通にする（Ｔ２）。これにより、光電変換部１１１、１２１、１３１および１４１には、新たに光電変換による電荷が生成されて蓄積される。すなわち、露光が開始される。
所定の露光期間の経過後に、ＲＳＴにオン信号を入力して、信号生成部１５０のＭＯＳトランジスタ１５２を導通させる（Ｔ３）。これにより、可視光電荷保持部６１１の電荷が排出される。同時にＳＥＬにオン信号を入力して、信号生成部１５０のＭＯＳトランジスタ１５４を導通させる。これにより、以降の動作において、可視光電荷保持部６１１に電荷が転送されて保持された際に、この電荷に基づく可視光信号が信号線１０２に出力される。
次に、ＲＳＴのオン信号の入力を停止して、ＭＯＳトランジスタ１５２を非導通にするとともに、ＴＲ１にオン信号を入力して画素１１０の電荷転送部１１３を導通させる（Ｔ４）。これにより、光電変換部１１１に蓄積された電荷が可視光電荷保持部６１１に転送される。また、信号線１０２には、この可視光電荷保持部６１１に転送された電荷に基づく信号「Ｇ」が出力される。これは、画素１１０における可視光信号（緑色光に対応する画像信号）に該当する。この光電変換部１１１に蓄積された電荷の可視光電荷保持部６１１への転送により画素１１０における露光期間は停止し、図８において説明した信号出力に移行する。
次に、ＴＲ１へのオン信号の入力を停止するとともに、ＲＳＴにオン信号を入力する（Ｔ５）。これにより、可視光電荷保持部６１１に保持された電荷が排出され、画素１１０における信号出力が終了する。
次に、ＲＳＴへのオン信号の入力を停止するとともに、ＴＲ２にオン信号を入力して画素１２０の電荷転送部１２２を導通させる（Ｔ６）。これにより、光電変換部１２１に蓄積された電荷が可視光電荷保持部６１１に転送され、信号線１０２には転送された電荷に基づく信号「Ｂ」が出力される。これは、画素１２０における可視光信号（青色光に対応する画像信号）に該当する。その後、ＴＲ２へのオン信号の入力を停止するとともに、ＲＳＴにオン信号を入力する（Ｔ７）。これにより、可視光電荷保持部６１１の電荷が排出され、画素１２０における信号出力が終了する。
次に、ＲＳＴのオン信号の入力を停止し、ＴＲ３にオン信号を入力して画素１３０の電荷転送部１３３を導通させる（Ｔ８）。これにより、光電変換部１３１に蓄積された電荷が可視光電荷保持部６１１に転送され、信号線１０２には転送された電荷に基づく信号「Ｒ」が出力される。これは、画素１３０における可視光信号（赤色光に対応する画像信号）に該当する。その後、ＴＲ３へのオン信号の入力を停止するとともにＲＳＴにオン信号を入力する（Ｔ９）。これにより、可視光電荷保持部６１１の電荷が排出され、画素１３０における信号出力が終了する。
次に、ＲＳＴのオン信号の入力を停止し、ＴＲ４にオン信号を入力して画素１４０の電荷転送部１４２を導通させる（Ｔ１０）。これにより、光電変換部１４１に蓄積された電荷が可視光電荷保持部６１１に転送され、信号線１０２には転送された電荷に基づく信号「Ｇ」が出力される。これは、画素１４０における可視光信号（緑色光に対応する画像信号）に該当する。その後、ＴＲ４およびＳＥＬへのオン信号の入力を停止する（Ｔ１１）。これにより、画素１４０における信号出力が終了する。
図９において説明した処理を全てのラインについて行うと、１画面の撮像期間が終了する。このように、可視光変換ブロック６１０では、４個の光電変換部１１１、１２１、１３１および１４１によりそれぞれ生成された電荷がそれぞれ異なる期間（Ｔ４、Ｔ６、Ｔ８およびＴ１０）に排他的に可視光電荷保持部６１１に保持される。すなわち、複数の可視光変換部によりそれぞれ生成された電荷がそれぞれ異なる期間に排他的に可視光電荷保持部に保持される。
［距離の計測］
図１０は、本技術の第１の実施の形態における距離の計測方法を示す図である。同図は、画素群６６０における距離の計測方法を表した図である。同図には、画素群６６０のＺ画素における入力信号と、出射赤外光および反射赤外光と、赤外光電荷保持部６２１および６３１における保持電荷量との関係が表されている。なお、図７において説明した赤外光変換ブロック６２０および６３０の信号は、図３において説明した信号に対応する。すなわち、画素群６６０のＺ画素のうち、ＺａおよびＺｃの信号は、図３における画素１２０および１４０の信号にそれぞれ対応する。同様に、ＺｂおよびＺｄの信号は、図３における画素１１０および１３０の信号にそれぞれ対応する。赤外光電荷保持部６２１および６３１以外の構成要素の符号には、図３において説明した構成要素と同じ符号を用いて説明する。
まず、赤外光変換ブロック６２０および６３０のＲＳＴにオン信号を入力してＭＯＳトランジスタ１５２を導通させる。同時に、赤外光変換ブロック６２０のＯＦＤ２およびＯＦＤ４と、赤外光変換ブロック６３０のＯＦＤ１およびＯＦＤ３とにオン信号を入力してオーバーフロードレイン１２３、１４３、１１２および１３２を導通させる（Ｔ１）。これにより、赤外光電荷保持部６２１および６３１に保持された電荷が排出される。また、赤外光変換ブロック６２０の光電変換部１２１および１４１と、赤外光変換ブロック６３０の光電変換部１１１および１３１とに蓄積された電荷が排出されてリセットが行われる。リセット終了後、上述のＲＳＴおよびＯＦＤへのオン信号の入力が停止される（Ｔ２）。
次に、赤外光出射部６０から赤外光を出射させるとともに、赤外光変換ブロック６２０のＴＲ２およびＴＲ４にオン信号を入力し、赤外光変換ブロック６３０のＯＦＤ１およびＯＦＤ３にオン信号を入力する（Ｔ３）。これにより、赤外光変換ブロック６２０では、電荷転送部１２２および１４２が導通し、光電変換部１２１および１４１において反射赤外光に基づいて生成された電荷が赤外光電荷保持部６２１に保持される。一方、赤外光変換ブロック６３０では、オーバーフロードレイン１１２および１３２が導通し、光電変換部１１１および１３１がリセットされる。
次に、赤外光出射部６０における赤外光の出射を停止させるとともに、赤外光変換ブロック６２０のＴＲ２およびＴＲ４と、赤外光変換ブロック６３０のＯＦＤ１およびＯＦＤ３とにおけるオン信号の入力を停止する。同時に、赤外光変換ブロック６２０のＯＦＤ１およびＯＦＤ３と、赤外光変換ブロック６３０のＴＲ２およびＴＲ４とにオン信号を入力する（Ｔ４）。これにより、赤外光変換ブロック６２０では、オーバーフロードレイン１２３および１４３が導通し、光電変換部１２１および１４１がリセットされる。一方、赤外光変換ブロック６３０では、電荷転送部１１３および１３３が導通し、光電変換部１１１および１３１において反射赤外光に基づいて生成された電荷が赤外光電荷保持部６３１に保持される。
次に、赤外光変換ブロック６２０のＯＦＤ１およびＯＦＤ３と、赤外光変換ブロック６３０のＴＲ２およびＴＲ４とにおけるオン信号の入力を停止する（Ｔ５）。以後、Ｔ３およびＴ４の操作を所定の回数繰り返す。これにより、赤外光電荷保持部６２１および６３１には、反射赤外光に基づく電荷が蓄積されていく。
次に、赤外光変換ブロック６２０および６３０のＳＥＬにオン信号を入力する（Ｔ６）。これより、赤外光変換ブロック６２０および６３０のＭＯＳトランジスタ１５４が導通し、赤外光電荷保持部６２１および６３１に保持された電荷に基づく赤外光信号がそれぞれ出力される。その後、赤外光変換ブロック６２０および６３０のＳＥＬへのオン信号の入力を停止し、距離計測期間を終了する（Ｔ７）。
上述のように、赤外光変換ブロック６２０のＺａおよびＺｃでは、出射赤外光に同期した光電変換が行われる。すなわち、図６において説明した第１の露光期間がＺａおよびＺｃに設定される。一方、赤外光変換ブロック６３０のＺｂおよびＺｄでは、出射赤外光に対して１８０°位相がずれた期間において光電変換が行われる。すなわち、図６において説明した第２の露光期間がＺｂおよびＺｄに適用される。これらＺ画素からの赤外光信号に基づいて、距離計測部５０が被写体との距離を算出する。
このように、赤外光変換ブロック６２０では、電荷転送部１２２および１４２が同時に導通状態になり、２個の光電変換部１２１および１４１によりそれぞれ生成された電荷がまとめて同時（Ｔ３）に赤外光電荷保持部６２１に保持される。同様に、赤外光変換ブロック６３０では、電荷転送部１１３および１３３が同時に導通状態になり、２個の光電変換部１１１および１３１によりそれぞれ生成された電荷がまとめて同時（Ｔ４）に赤外光電荷保持部６３１に保持される。すなわち、複数の赤外光変換部によりそれぞれ生成された電荷がまとめて同時に赤外光電荷保持部に保持される。なお、電荷転送部１２２および１４２は、特許請求の範囲に記載の赤外光電荷転送部の一例である。
一方、赤外光変換ブロック６２０のＧ画素およびＲ画素は、図９において説明した撮像方法が適用されて、可視光信号が生成される。すなわち、これらの画素に含まれる可視光変換部によりそれぞれ生成された電荷は、それぞれ異なる期間に排他的に赤外光電荷保持部６２１に保持される。これは、赤外光変換ブロック６３０のＢ画素およびＧ画素においても同様である。
［距離の計測手順］
図１１は、本技術の第１の実施の形態における距離の計測処理手順の一例を示す図である。同図の処理は、撮像システム１において、距離の計測を行う際に実行される。図７において説明した符号を用いて処理の手順を説明する。
まず、赤外光出射部６０が被写体に対して赤外光を出射する（ステップＳ９０１）。次に、第１の露光期間が設定された赤外光変換ブロック６２０により、赤外光の露光が行われる（ステップＳ９０２）。所定の露光期間の経過後、この露光により生成された電荷が赤外光電荷保持部６２１に保持され（ステップＳ９０３）、赤外光出射部６０による赤外光の出射が停止される（ステップＳ９０４）。次に、第２の露光期間が設定された赤外光変換ブロック６３０により、赤外光の露光が行われ（ステップＳ９０５）、生成された電荷が赤外光電荷保持部６３１に保持される（ステップＳ９０６）。次に、所定の露光回数に達したか否かが判断される（ステップＳ９０７）。所定の露光回数に達していない場合には（ステップＳ９０７：Ｎｏ）、ステップＳ９０１からの処理を再度実行する。
一方、所定の露光回数に達していた場合には（ステップＳ９０７：Ｙｅｓ）、赤外光電荷保持部６２１および６３１に保持された電荷に基づく赤外光信号が生成される（ステップＳ９０８）。最後に、距離計測部５０が生成された赤外光信号に基づいて距離の算出を行う（ステップＳ９０９）。
本技術の第１の実施の形態では、図７において説明したように、画素群６６０のＺａおよびＺｃとＺｂおよびＺｄとに、それぞれ第１の露光期間および第２の露光期間が設定されて露光が行われる。これにより、第１の露光期間および第２の露光期間に基づく赤外光信号を同時に取得することができ、距離計測期間を短縮することができる。また、可視光画素における可視光変換部の受光面と同じサイズの受光面を有する２個の赤外光変換部を見かけ上並列に接続して使用し、光電変換を行うことにより、赤外光変換部の感度を高くすることができる。光電変換部の感度、すなわち単位時間当たりの電荷生成量は、光電変換部の受光面積に比例するためである。
可視光変換部の２倍の面積の赤外光変換部を構成しても感度を高めることは可能である。しかし、大面積の光電変換部では、電荷転送部による電荷の転送に要する時間が長くなるという問題がある。図５において説明した光電変換部１４１のｎ型半導体領域５１２において、蓄積された電荷の移動は、主に電荷の拡散によりなされるためである。これに対し、本技術の第１の実施の形態では、上述のように、可視光画素における可視光変換部の受光面と同じサイズの受光面を有する赤外光変換部を２個使用しており、電荷の転送に要する時間を可視光変換部と同じにすることができる。
また、図７の赤外光変換ブロック６２０と６３０とは隣接して配置されている。そのため、これらの赤外光変換ブロックにより生成された赤外光信号は、同一の被写体に基づく赤外光信号とみなすことができる。赤外光変換ブロック６２０および６３０が離れて配置された場合と比べ、距離の計測の精度を向上させることができる。
また、可視光変換ブロックは、４個の可視光画素により構成されるとともにベイヤー配列に構成されている。これに対し、本技術の第１の実施の形態における画素群６６０も４個のＺ画素により構成されている。これにより、画素アレイ部１００に対するＺ画素の配置を容易にすることができる。画素アレイ部１００の可視光画素を赤外光画素に置き換えることにより、固体撮像装置２０は構成される。この際、可視光変換ブロックとＺ画素の画素群６６０とが同数であることから、画素アレイ部１００全体に対するＲ画素、Ｇ画素およびＢ画素の比率を変更することなく、置き換えることができるためである。
さらに、本技術の第１の実施の形態では、Ｚ画素と可視光画素とを略等しい大きさにしている。これにより、カラーフィルタの構成を除いて、Ｚ画素と可視光画素とは半導体基板における拡散層の構成や配線パターン等を共用することができるため、同一の設計ルールに基づいて製造することができる。
このように、本技術の第１の実施の形態によれば、可視光画素と略等しい大きさの２個のＺ画素を並列に使用することにより、Ｚ画素の感度を向上させることができる。これにより、距離計測の精度を向上させることができる。
［変形例］
上述の実施の形態では、可視光画素としてＲ画素、Ｇ画素およびＢ画素の３画素により、可視光変換ブロックを構成していたが、白色光に対応するＷ画素を加えた４画素により構成してもよい。例えば、ベイヤー配列における２個のＧ画素のうちの１個の画素をＷ画素に置き換えた構成にすることができる。
図１２は、本技術の第１の実施の形態の変形例における可視光変換ブロックを例示する図である。同図においてＷの文字が記載された画素がＷ画素に該当し、当該画素には白色光を透過させるカラーフィルタが配置されている。同図においても、可視光変換ブロック６１１とＺ画素の画素群６６０とが同数になり、画素アレイ部１００全体に対するＲ画素、Ｇ画素、Ｂ画素およびＷ画素の比率を変更することなく、可視光画素を赤外光画素に置き換えることができる。
＜第２の実施の形態＞
上述の実施の形態では、２個のＺ画素と２個の可視光画素とにより構成された赤外光変換ブロックを使用して距離の計測を行っていた。これに対し、本技術の第２の実施の形態では、４個のＺ画素により構成された赤外光変換ブロックにより距離の計測を行う。これにより、Ｚ画素に接続する信号線の本数を削減することができる。
［固体撮像装置の動作］
図１３は、本技術の第２の実施の形態における赤外光変換ブロックを例示する図である。同図の赤外光変換ブロック６２０は、全ての画素がＺ画素により構成されている点で、図７において説明した赤外光変換ブロック６２０と異なる。すなわち、図７におけるＺ画素による画素群６６０と赤外光変換ブロック６２０の画素とが一致した構成となっている。このため、同図の赤外光変換ブロック６２０のＺ画素では、電荷転送部やオーバーフロードレインを４画素同時に動作させることができる。４個のＺ画素を使用して赤外光信号を生成するため、Ｚ画素の感度を高めることができ、距離計測の精度を向上させることができる。これ以外の固体撮像装置２０および撮像システム１の構成は本技術の第１の実施の形態の固体撮像装置２０および撮像システム１と同様であるため、説明を省略する。
図１４は、本技術の第２の実施の形態における撮像期間および距離計測期間の関係を示す図である。本技術の第２の実施の形態では、撮像期間の後に２度の距離計測期間である第１の距離計測期間および第２の距離計測期間が実行される点で、図８において説明した距離計測期間と異なる。
［撮像方法］
図１５は、本技術の第２の実施の形態における撮像方法を示す図である。前述のように赤外光変換ブロック６２０の全てのＺ画素の電荷転送部およびオーバーフロードレインに対して同じ信号が入力される。同図の第１の距離計測期間および第２の距離計測期間の操作はそれぞれ図１０において説明した赤外光変換ブロック６２０および６３０における操作と同様であるため、説明を省略する。
このように、本技術の第２の実施の形態によれば、４個のＺ画素により構成された赤外光変換ブロックにより距離の計測を行うことにより、Ｚ画素に供給する信号を共通にすることができる。これにより、信号線の本数を削減することができる。
＜第３の実施の形態＞
上述の第１の実施の形態では、２個のＺ画素と２個の可視光変換画素とにより構成された赤外光変換ブロックを使用して距離の計測を行っていた。これに対し、本技術の第３の実施の形態では、１個のＺ画素と３個の可視光変換画素とにより構成された赤外光変換ブロックにより距離の計測を行う。これにより、反射赤外光の露光を４相に分けて行う方式の距離計測方法を使用することができる。
［固体撮像装置の動作］
図１６は、本技術の第３の実施の形態における赤外光変換ブロックを例示する図である。同図の赤外光変換ブロック６２０、６３０、６４０および６５０は、１個のＺ画素と３個の可視光変換画素とにより構成されている点で、図７において説明した赤外光変換ブロック６２０および６３０と異なる。また、同図におけるＺ画素による画素群６６０は、これら４個の赤外光変換ブロックにまたがって配置されるとともに、２つのラインにまたがって配置される。これ以外の固体撮像装置２０および撮像システム１の構成は本技術の第１の実施の形態の固体撮像装置２０および撮像システム１と同様であるため、説明を省略する。
［距離の計測の原理］
図１７は、本技術の第３の実施の形態における距離の計測方法を示す図である。同図に表した距離の計測方法では、正弦波により振幅変調された赤外光を出射し、反射赤外光の位相遅れを計測することにより、距離を計測する。同図におけるａは、これら出射赤外光および反射赤外光の関係を表したものである。出射赤外光を同図におけるａの正のｘ軸方向に取ると、反射赤外光は被写体との距離に応じて遅れた位相の波形となる。この遅れをφにより表すと、φは次式により表される。
φ＝ｔａｎ−１（ｑ／ｒ）
ただし、ｑは反射波の波高値を表し、ｒは９０°進み位相における反射波の波高値を表している。
同図におけるｂは、これらｑおよびｒの取得方法を表したものである。出射赤外光の１周期における９０°の位相ごとに反射赤外光の波高値を計測する。これらをｐ１乃至４により表すと、ｑおよびｒは次式により表される。
ｑ＝｜（ｐ１−ｐ３）／２｜
ｒ＝｜（ｐ２−ｐ４）／２｜
このように、ｐ１およびｐ３と、ｐ２およびｐ４とにおいてそれぞれの差分を算出することにより、反射赤外光以外の赤外光の影響を除去することができる。φは次式により算出することができる。
φ＝ｔａｎ−１｜（ｐ１−ｐ３）／（ｐ２−ｐ４）｜
図６において説明したＤは、次のように算出することができる。
Ｄ＝Ｔ×φ／２π
次に、式１を用いて被写体までの距離Ｌを算出する。ここで、ｐ１乃至４は、出射赤外光の１周期に対して９０°毎に区切って露光を行い、生成された電荷を蓄積して赤外光信号に変換することにより取得することができる。同図におけるｂには、これらを第１乃至第４の露光期間として表している。
上述のように、同図に表した距離の計測方法では、４個のＺ画素を用い、差分を算出して距離の計測を行うため、反射赤外光以外の赤外光の影響を除去することができる。このため、図６において説明した距離の計測方法と比較して、精度の高い計測を行うことができる。
［撮像方法］
図１８は、本技術の第３の実施の形態における撮像方法を示す図である。同図のＺａ、Ｚｂ、ＺｃおよびＺｄのそれぞれに、図１７において説明した第１乃至第４の露光期間が設定された場合を想定する。まず、赤外光変換ブロック６２０、６３０、６４０および６５０のＲＳＴにオン信号を入力し、赤外光電荷保持部６２１、６３１、６４１および６５１に保持されていた電荷を排出する（Ｔ１）。なお、以降の説明では、赤外光変換ブロックの名称を省略して記載する。
このＲＳＴへの信号入力と同時に、ＯＦＤ４、ＯＦＤ３、ＯＦＤ２およびＯＦＤ１にオン信号を入力し、光電変換部１１１、１２１、１３１および１４１をリセットする。リセット終了後にＲＳＴ、ＯＦＤ１乃至４へのオン信号の入力を停止する（Ｔ２）。
次に、赤外光の出射を開始し、ＴＲ４、ＯＦＤ３、ＯＦＤ２およびＯＦＤ１にオン信号を入力する（Ｔ３）。これにより、画素１４０において反射赤外光に基づく露光が行われ、電荷が赤外光電荷保持部６２１に蓄積される。
次に、ＴＲ４およびＯＦＤ３へのオン信号の入力を停止するとともに、ＴＲ３、ＯＦＤ４、ＯＦＤ２およびＯＦＤ１にオン信号を入力する（Ｔ４）。これにより、画素１３０において反射赤外光に基づく露光が行われ、電荷が赤外光電荷保持部６３１に蓄積される。
次に、ＴＲ３およびＯＦＤ２へのオン信号の入力を停止するとともに、ＴＲ２、ＯＦＤ４、ＯＦＤ３およびＯＦＤ１にオン信号を入力する（Ｔ５）。これにより、画素１２０において反射赤外光に基づく露光が行われ、電荷が赤外光電荷保持部６４１に蓄積される。
次に、ＴＲ２およびＯＦＤ１へのオン信号の入力を停止するとともに、ＴＲ１、ＯＦＤ４、ＯＦＤ３およびＯＦＤ２にオン信号を入力する（Ｔ６）。これにより、画素１１０において反射赤外光に基づく露光が行われ、電荷が赤外光電荷保持部６５１に蓄積される。
次に、ＴＲ１およびＯＦＤ４へのオン信号の入力を停止する（Ｔ７）。以後、Ｔ３乃至Ｔ６の動作を所定の回数繰り返す。これにより、赤外光電荷保持部６２１、６３１、６４１および６５１には、反射赤外光に基づく電荷が蓄積されていく。
次に、赤外光変換ブロック６２０および６３０のＳＥＬにオン信号を入力する（Ｔ８）。これにより、赤外光電荷保持部６２１および６３１に保持された電荷に基づく赤外光信号が生成される。次に、赤外光変換ブロック６２０および６３０のＳＥＬへのオン信号の入力を停止するとともに、赤外光変換ブロック６４０および６５０のＳＥＬにオン信号を入力する（Ｔ９）。これにより、赤外光電荷保持部６４１および６５１に保持された電荷に基づく赤外光信号が生成される。図１６において説明したように、Ｚ画素による画素群６６０は２つのラインにまたがって配置されているため、ＳＥＬの信号を１ライン毎に入力して赤外光信号を取得する必要がある。その後、赤外光変換ブロック６４０および６５０のＳＥＬへのオン信号の入力を停止し、距離計測期間を終了する（Ｔ１０）。
上述の赤外光電荷保持部６２１、６３１、６４１および６５１に保持された電荷に基づく赤外光信号を取得することにより、９０°位相をずらした赤外光信号を得ることができる。これらの赤外光信号に基づいて距離計測部５０が被写体との距離を算出する。
このように、本技術の第３の実施の形態によれば、反射赤外光の露光を４相に分けて行う方式の距離計測方法を使用することができる。これにより、反射赤外光以外の赤外光の影響を除去することが可能になり、距離計測の精度を向上させることができる。
＜第４の実施の形態＞
上述の第３の実施の形態では、画素群６６０のＺ画素が隣接して配置されていた。これに対し、本技術の第４の実施の形態では、赤外光変換ブロックにおけるベイヤー配列のうちのＧ画素の位置にＺ画素が配置される。これにより、デモザイク処理を容易にすることができる。
［固体撮像装置の動作］
図１９は、本技術の第４の実施の形態における赤外光変換ブロックを例示する図である。同図の赤外光変換ブロック６２０、６３０、６４０および６５０は、１個のＺ画素と３個の可視光変換画素により構成されている。しかし、Ｚ画素がそれぞれの光電変換ブロックのベイヤー配列におけるＧ画素の位置に配置されている点で、図１６において説明した赤外光変換ブロック６２０、６３０、６４０および６５０と異なる。これ以外の固体撮像装置２０および撮像システム１の構成は本技術の第３の実施の形態の固体撮像装置２０および撮像システム１と同様であるため、説明を省略する。また、距離計測方法には、本技術の第３の実施の形態と同様に反射赤外光の露光を４相に分けて行う方式の距離計測方法を採用することができる。
前述のように、画像処理部４０では、固体撮像装置２０から出力された可視光信号に対するデモザイク処理が行うことができる。このデモザイク処理は、各画素における不足する色の信号を補間する処理であり、Ｚ画素に適用する際には、赤色光、緑色光および青色光の３つに対応する信号を補間する必要がある。この補間は、該当する色に対応する可視光画素のうち、Ｚ画素の周囲に配置された可視光画素により出力された可視光信号の平均値を算出することにより行うことができる。しかし、Ｚ画素における緑色光に対応する可視光信号については、同じ赤外光変換ブロックに含まれるＧ画素の信号を用いて補間を行うことができる。これにより、緑色光に対応する可視光信号のデモザイク処理を簡略化することができる。
このように、本技術の第４の実施の形態によれば、ベイヤー配列におけるＧ画素の位置にＺ画素を配置することにより、デモザイクの際に同じ赤外光変換ブロックに含まれるＧ画素の可視光信号を用いて補間することができる。これにより、可視光信号のデモザイク処理を簡略化することができる。
＜５．第５の実施の形態＞
上述の、本技術の第４の実施の形態では、Ｚ画素において生成された電荷は、１組の電荷転送部および電荷保持部により転送され、保持されていた。これに対し、本技術の第５の実施の形態では、２組の電荷転送部および電荷保持部を使用する。これにより、距離計測の精度を高めることができる。
［画素の配置］
図２０は、本技術の第５の実施の形態における画素の配置例を示す図である。同図のＺ画素（Ｚａ）である画素１４０は、電荷転送部１４４および電荷保持部１５５をさらに備える点で、図４において説明したＺ画素１４０と異なる。なお、同図に表された他のＺ画素（Ｚｂ、ＺｃおよびＺｄ）についても同様である。
［画素の回路構成］
図２１は、本技術の第５の実施の形態における画素の構成例を示す図である。同図は、赤外光変換ブロックのうち、Ｚ画素１４０、信号生成部１５０ならびに電荷保持部１５１および１５５の回路構成を表したものである。
同図の画素１４０は、オーバーフロードレイン１４３を備える必要はない。代わりに電荷転送部１４４をさらに備える。また、信号線１０１は、ＯＦＤ４の代わりにＴＲ５を備えている。このＴＲ５（Transfer 5）は、電荷転送部１４４に制御信号を伝達する信号線である。同図に表したように、光電変換部１４１のアノードは接地され、カソードは電荷転送部１４２および１４４のソースに接続される。電荷転送部１４２および１４４のゲートは、それぞれＴＲ４および５に接続される。電荷転送部１４２のドレインは、図３で説明した画素１４０と同様に電荷保持部１５１の一端に接続される。一方、電荷転送部１４４のドレインは、電荷保持部１５５の一端に接続される。
信号生成部１５０は、ＭＯＳトランジスタ１５６乃至１５８をさらに備える点で、図３において説明した信号生成部１５０と異なる。同図に表したように、ＭＯＳトランジスタ１５６および１５７のドレインは、Ｖｄｄに接続される。ＭＯＳトランジスタ１５６のソースおよびＭＯＳトランジスタ１５７のゲートは、前述の電荷転送部１４４のドレインが接続された電荷保持部１５５の一端に接続される。電荷保持部１５５の他の一端は、接地される。ＭＯＳトランジスタ１５７のソースはＭＯＳトランジスタ１５８のドレインに接続され、ＭＯＳトランジスタ１５８のソースは信号線１０２に接続される。同図に表したように、信号線１０２は、２本の信号線により構成され、それぞれＭＯＳトランジスタ１５４および１５８により出力された信号を伝達する。ＭＯＳトランジスタ１５６およびＭＯＳトランジスタ１５８のゲートは、それぞれ信号線ＲＳＴおよびＳＥＬに接続される。
ＭＯＳトランジスタ１５７は、電荷保持部１５５に保持された電荷に応じた信号を生成するＭＯＳトランジスタである。ＭＯＳトランジスタ１５８は、ＭＯＳトランジスタ１５７により生成された信号を画像信号として信号線１０２に出力するＭＯＳトランジスタである。ＭＯＳトランジスタ１５６は、電荷保持部１５５に保持された電荷を排出するＭＯＳトランジスタである。
このように、同図の画素１４０では、光電変換部１４１により生成された電荷を電荷保持部１５１および１５５に分けて転送することができる。これ以外の画素の構成は、図３において説明した画素等の構成と同様であるため、説明を省略する。また、本技術の第５の実施の形態における距離の計測方法には、図６において説明した距離の計測方法を使用することができる。これ以外の固体撮像装置２０および撮像システム１の構成は、本技術の第１の実施の形態の固体撮像装置２０および撮像システム１と同様であるため、説明を省略する。
［撮像方法］
図２２は、本技術の第５の実施の形態における撮像方法を示す図である。同図は、図２０において説明した画素１４０における入力信号と出力信号との関係等を表したものである。
まず、ＲＳＴ、ＴＲ４およびＴＲ５にオン信号を入力する（Ｔ１）。これにより、光電変換部１４１がリセットされ、電荷保持部１５１および１５５に保持された電荷が排出される。リセット終了後、上述のＲＳＴ、ＴＲ４およびＴＲ５へのオン信号の入力が停止される（Ｔ２）。
次に、赤外光出射部６０から赤外光を出射させるとともに、ＴＲ４にオン信号を入力する（Ｔ３）。これにより、光電変換部１４１により生成された反射赤外光に基づく電荷が電荷保持部１５１に保持される。
次に、赤外光出射部６０による赤外光の出射を停止させるとともに、ＴＲ４へのオン信号の入力を停止する。同時に、ＴＲ５にオン信号を入力する（Ｔ４）。これにより、光電変換部１４１により生成された反射赤外光に基づく電荷が電荷保持部１５５に保持される。
以後、Ｔ３およびＴ４の操作を所定の回数繰り返す。これにより、電荷保持部１５１および１５５には、反射赤外光に基づく電荷が蓄積されていく。
次に、ＳＥＬにオン信号を入力する（Ｔ６）。これにより、電荷保持部１５１および１５５に保持された電荷に基づく赤外光信号がそれぞれ出力される。その後、ＳＥＬへのオン信号の入力を停止し、距離計測期間を終了する（Ｔ７）。出力された赤外光信号に基づいて、距離計測部５０により、距離が算出される。
なお、赤外光の受光感度が不足する場合には、Ｚｂ、ＺｃおよびＺｄにおいても同様に赤外光信号を生成し、これらを加算して距離の算出に使用することも可能である。
このように、電荷保持部１５１には、出射赤外光に同期した光電変換に基づく電荷が蓄積される。一方、電荷保持部１５５には、出射赤外光と１８０°位相がずれたタイミングで光電変換が行われ、電荷が蓄積される。すなわち、図６において説明した第１および第２の露光期間を１個の画素により実行することができる。このため、第１および第２の露光期間を異なる画素により実行する場合と比較して、光電変換における感度のばらつき等の影響を低減することができ、距離計測の精度を向上させることができる。また、光電変換部１４１により生成された電荷は、全て電荷保持部１５１および１５５に転送されるため、画素１４０は、オーバーフロードレインを設ける必要はない。
このように、本技術の第５の実施の形態によれば、距離の計測に必要な２つの赤外光信号を１個の画素により生成することができる。これにより、光電変換における感度のばらつき等の影響を低減することができるため、距離計測の精度を向上させることができる。
［変形例］
上述の本技術の第５の実施の形態では、ベイヤー配列のうちのＧ画素の位置にＺ画素が配置される赤外光変換ブロックに対して、Ｚ画素の電荷転送部と電荷保持部とを追加して距離の計測を行っていた。これに対し、本技術の第１の実施の形態におけるＺ画素に電荷転送部と電荷保持部とをそれぞれ追加して距離の計測を行ってもよい。具体的には、図４において説明した画素１２０の光電変換部１２１および画素１４０の光電変換部１４１に電荷転送部を追加する。この追加した電荷転送部が共通に接続される電荷保持部をさらに備える構成にする。これにより、光電変換における感度のばらつき等の影響を低減することができるため、赤外光変換ブロックが２個の赤外光変換部と２個の可視光変換部とにより構成される場合において、距離計測の精度を向上させることができる。
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
なお、本技術は以下のような構成もとることができる。
（１）可視光を受光する受光面が配置されて前記受光した前記可視光の受光量に応じた電荷を生成する複数の可視光変換部と前記複数の可視光変換部によりそれぞれ生成された前記電荷をそれぞれ異なる期間に排他的に保持する可視光電荷保持部とを備える可視光変換ブロックと、
前記可視光変換部の前記受光面と略等しいサイズであるとともに赤外光を受光する受光面が配置されて前記受光した前記赤外光の受光量に応じた電荷を生成する複数の赤外光変換部と前記複数の赤外光変換部によりそれぞれ生成された前記電荷をまとめて同時に保持する赤外光電荷保持部とを備える赤外光変換ブロックと
を具備する固体撮像装置。
（２）前記可視光変換ブロックは、４個の前記可視光変換部と前記可視光電荷保持部とを備える前記（１）に記載の固体撮像装置。
（３）前記赤外光変換ブロックは、４個の前記赤外光変換部と前記赤外光電荷保持部とを備える前記（２）に記載の固体撮像装置。
（４）前記赤外光変換ブロックは、
２個の前記赤外光変換部と、
２個の前記可視光変換部と、
前記２個の赤外光変換部により生成された前記電荷を保持する際には前記２個の赤外光変換部によりそれぞれ生成された前記電荷をまとめて同時に保持し、前記２個の可視光変換部により生成された前記電荷を保持する際には前記２個の可視光変換部によりそれぞれ生成された前記電荷をそれぞれ異なる期間に排他的に保持する前記赤外光電荷保持部と
を備える
前記（２）に記載の固体撮像装置。
（５）前記可視光変換ブロックは、赤色光に応じた前記電荷を生成する前記可視光変換部である赤色光変換部と緑色光に応じた前記電荷を生成する前記可視光変換部である緑色光変換部と青色光に応じた前記電荷を生成する前記可視光変換部である青色光変換部とがベイヤー配列形状に配置された前記４個の可視光変換部と前記可視光電荷保持部とを備える前記（２）から（４）のいずれかに記載の固体撮像装置。
（６）前記可視光変換ブロックは、赤色光に応じた前記電荷を生成する前記可視光変換部である赤色光変換部と緑色光に応じた前記電荷を生成する前記可視光変換部である緑色光変換部と青色光に応じた前記電荷を生成する前記可視光変換部である青色光変換部と白色光に応じた前記電荷を生成する前記可視光変換部である白色光変換部と前記可視光電荷保持部とを備える前記（２）から（４）のいずれかに記載の固体撮像装置。
（７）前記赤外光変換ブロックは、前記複数の赤外光変換部と前記赤外光電荷保持部との間を同時に導通させて前記複数の赤外光変換部によりそれぞれ生成された前記電荷を前記赤外光電荷保持部に転送する赤外光電荷転送部をさらに備える前記（１）から（６）のいずれかに記載の固体撮像装置。
（８）前記赤外光電荷保持部に保持された前記電荷に応じた信号を生成する赤外光信号生成部をさらに具備する前記（１）から（７）のいずれかに記載の固体撮像装置。
（９）被写体に赤外光を出射する赤外光出射部と、
可視光を受光する受光面が配置されて前記受光した前記可視光の受光量に応じた電荷を生成する複数の可視光変換部と前記複数の可視光変換部によりそれぞれ生成された前記電荷をそれぞれ異なる期間に排他的に保持する可視光電荷保持部とを備える可視光変換ブロックと、
前記可視光変換部の前記受光面と略等しいサイズであるとともに前記出射されて前記被写体により反射された赤外光を受光する受光面が配置されて前記受光した前記赤外光の受光量に応じた電荷を生成する複数の赤外光変換部と前記複数の赤外光変換部によりそれぞれ生成された前記電荷をまとめて同時に保持する赤外光電荷保持部とを備える赤外光変換ブロックと、
前記赤外光電荷保持部に保持された前記電荷に応じた信号を生成する赤外光信号生成部と、
前記赤外光出射部における前記出射から前記赤外光変換ブロックの前記赤外光変換部における前記受光までの時間を前記生成された前記信号に基づいて計測することにより前記被写体との距離を計測する距離計測部と
を具備する撮像システム。
（１０）被写体に赤外光を出射する赤外光出射手順と、
可視光を受光する受光面が配置されて前記受光した前記可視光の受光量に応じた電荷を生成する複数の可視光変換部と前記複数の可視光変換部によりそれぞれ生成された前記電荷をそれぞれ異なる期間に排他的に保持する可視光電荷保持部とを備える可視光変換ブロックにおける前記可視光変換部の前記受光面と略等しいサイズであるとともに前記出射されて前記被写体により反射された赤外光を受光する受光面が配置されて前記受光した前記赤外光の受光量に応じた電荷を生成する複数の赤外光変換部と前記複数の赤外光変換部によりそれぞれ生成された前記電荷をまとめて同時に保持する赤外光電荷保持部とを備える赤外光変換ブロックにおいて前記赤外光電荷保持部に保持された前記電荷に応じた信号を生成する赤外光信号生成手順と、
前記赤外光の出射から前記赤外ブロックの前記赤外光変換部における前記受光までの時間を前記生成された前記信号に基づいて計測することにより前記被写体との距離を計測する距離計測手順と
を具備する距離計測方法。
１ 撮像システム
１０ レンズ
２０ 固体撮像装置
３０ 信号処理部
４０ 画像処理部
５０ 距離計測部
６０ 赤外光出射部
１００ 画素アレイ部
１１０、１２０、１３０、１４０、１６０、１７０、１８０、１９０ 画素
１１１、１２１、１３１、１４１、１６１、１７１、１８１、１９１ 光電変換部
１１２、１２３、１３２、１４３ オーバーフロードレイン
１１３、１２２、１３３、１４２、１４４ 電荷転送部
１１９、１２９、１３９、１４９ カラーフィルタ
１５０ 信号生成部
１５１、１５５、１５９ 電荷保持部
１５２〜１５４、１５６〜１５８ ＭＯＳトランジスタ
２００ 垂直駆動部
３００ 水平転送部
４００ アナログデジタル変換器
６１０ 可視光変換ブロック
６１１ 可視光電荷保持部
６２０、６３０、６４０、６５０ 赤外光変換ブロック
６２１、６３１、６４１、６５１ 赤外光電荷保持部

Claims (8)

  1. 可視光を受光する受光面が配置されて前記受光した前記可視光の受光量に応じた電荷を生成する複数の第１可視光変換部と前記複数の第１可視光変換部によりそれぞれ生成された前記電荷をそれぞれ異なる期間に排他的に保持する第１電荷保持部とを備える可視光変換ブロックと、
    複数の第２可視光変換部と前記第１可視光変換部および前記第２可視光変換部のそれぞれの受光面と略等しいサイズであるとともに赤外光を受光する受光面が配置されて前記受光した前記赤外光の受光量に応じた電荷を生成する複数の赤外光変換部と前記複数の第２可視光変換部によりそれぞれ生成された前記電荷を保持する際にはそれぞれ異なる期間に排他的に保持し、前記複数の赤外光変換部によりそれぞれ生成された前記電荷はまとめて同時に保持する第２電荷保持部とを備える赤外光変換ブロックと
    を具備し、
    前記赤外光変換ブロックは、前記第２電荷保持部に保持された信号に応じた信号を生成するトランジスタをさらに備える
    固体撮像装置。
  2. 前記可視光変換ブロックは、４個の前記第１可視光変換部と前記第１電荷保持部とを備える請求項１記載の固体撮像装置。
  3. 前記固体撮像装置は、前記赤外光変換ブロックを２つ具備し、
    前記２つの赤外光変換ブロックのそれぞれは、
    ２個の前記赤外光変換部と、
    ２個の前記第２可視光変換部と、
    前記２個の赤外光変換部により生成された前記電荷を保持する際には前記２個の赤外光変換部によりそれぞれ生成された前記電荷をまとめて同時に保持し、前記２個の第２可視光変換部により生成された前記電荷を保持する際には前記２個の第２可視光変換部によりそれぞれ生成された前記電荷をそれぞれ異なる期間に排他的に保持する前記第２電荷保持部と
    を備え、
    前記２つの赤外光変換ブロックの一方の前記赤外光変換部のそれぞれは、所定の露光期間に亘って赤外光を受光し、前記２つの赤外光変換ブロックの他方の前記赤外光変換部のそれぞれは、前記露光期間と位相の異なる露光期間に亘って赤外光を受光する
    請求項２記載の固体撮像装置。
  4. 前記可視光変換ブロックは、赤色光に応じた前記電荷を生成する前記第１可視光変換部である赤色光変換部と緑色光に応じた前記電荷を生成する前記第１可視光変換部である緑色光変換部と青色光に応じた前記電荷を生成する前記第１可視光変換部である青色光変換部とがベイヤー配列形状に配置された前記４個の第１可視光変換部と前記第１電荷保持部とを備える請求項２記載の固体撮像装置。
  5. 前記可視光変換ブロックは、赤色光に応じた前記電荷を生成する前記第１可視光変換部である赤色光変換部と緑色光に応じた前記電荷を生成する前記第１可視光変換部である緑色光変換部と青色光に応じた前記電荷を生成する前記第１可視光変換部である青色光変換部と白色光に応じた前記電荷を生成する前記第１可視光変換部である白色光変換部と前記第１電荷保持部とを備える請求項２記載の固体撮像装置。
  6. 前記赤外光変換ブロックは、前記複数の赤外光変換部と前記第２電荷保持部との間を同時に導通させて前記複数の赤外光変換部によりそれぞれ生成された前記電荷を前記第２電荷保持部に転送する赤外光電荷転送部をさらに備える請求項１記載の固体撮像装置。
  7. 被写体に赤外光を出射する赤外光出射部と、
    可視光を受光する受光面が配置されて前記受光した前記可視光の受光量に応じた電荷を生成する複数の第１可視光変換部と前記複数の第１可視光変換部によりそれぞれ生成された前記電荷をそれぞれ異なる期間に排他的に保持する第１電荷保持部とを備える可視光変換ブロックと、
    複数の第２可視光変換部と前記第１可視光変換部および前記第２可視光変換部のそれぞれの受光面と略等しいサイズであるとともに赤外光を受光する受光面が配置されて前記受光した前記赤外光の受光量に応じた電荷を生成する複数の赤外光変換部と前記複数の第２可視光変換部によりそれぞれ生成された前記電荷を保持する際にはそれぞれ異なる期間に排他的に保持し、前記複数の赤外光変換部によりそれぞれ生成された前記電荷はまとめて同時に保持する第２電荷保持部とを備える赤外光変換ブロックと、
    前記第２電荷保持部に保持された前記電荷に応じた信号を生成する赤外光信号生成部と、
    前記赤外光出射部における前記出射から前記赤外光変換ブロックの前記赤外光変換部における前記受光までの時間を前記生成された前記信号に基づいて計測することにより前記被写体との距離を計測する距離計測部と
    を具備し、
    前記赤外光変換ブロックは、前記第２電荷保持部に保持された信号に応じた信号を生成するトランジスタをさらに備える
    撮像システム。
  8. 被写体に赤外光を出射する赤外光出射手順と、
    可視光を受光する受光面が配置されて前記受光した前記可視光の受光量に応じた電荷を生成する複数の第１可視光変換部と前記複数の第１可視光変換部によりそれぞれ生成された前記電荷をそれぞれ異なる期間に排他的に保持する第１電荷保持部とを備える可視光変換ブロックと、
    複数の第２可視光変換部と前記第１可視光変換部および前記第２可視光変換部のそれぞれの受光面と略等しいサイズであるとともに赤外光を受光する受光面が配置されて前記受光した前記赤外光の受光量に応じた電荷を生成する複数の赤外光変換部と前記複数の第２可視光変換部によりそれぞれ生成された前記電荷を保持する際にはそれぞれ異なる期間に排他的に保持し、前記複数の赤外光変換部によりそれぞれ生成された前記電荷はまとめて同時に保持する第２電荷保持部とを備える赤外光変換ブロックとにおいて前記第２電荷保持部に保持された前記電荷に応じた信号を生成する赤外光信号生成手順と、
    前記赤外光の出射から前記赤外ブロックの前記赤外光変換部における前記受光までの時間を前記生成された前記信号に基づいて計測することにより前記被写体との距離を計測する距離計測手順と
    を具備し、
    前記赤外光変換ブロックは、前記第２電荷保持部に保持された信号に応じた信号を生成するトランジスタをさらに備える
    距離計測方法。
JP2017512227A 2015-04-14 2016-03-04 固体撮像装置、撮像システムおよび距離計測方法 Active JP6777074B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015082301 2015-04-14
JP2015082301 2015-04-14
PCT/JP2016/056714 WO2016167044A1 (ja) 2015-04-14 2016-03-04 固体撮像装置、撮像システムおよび距離計測方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020123833A Division JP7124849B2 (ja) 2015-04-14 2020-07-20 固体撮像装置、撮像システムおよび距離計測方法

Publications (2)

Publication Number Publication Date
JPWO2016167044A1 JPWO2016167044A1 (ja) 2018-02-08
JP6777074B2 true JP6777074B2 (ja) 2020-10-28

Family

ID=57126762

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017512227A Active JP6777074B2 (ja) 2015-04-14 2016-03-04 固体撮像装置、撮像システムおよび距離計測方法
JP2020123833A Active JP7124849B2 (ja) 2015-04-14 2020-07-20 固体撮像装置、撮像システムおよび距離計測方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2020123833A Active JP7124849B2 (ja) 2015-04-14 2020-07-20 固体撮像装置、撮像システムおよび距離計測方法

Country Status (4)

Country Link
US (3) US11076115B2 (ja)
JP (2) JP6777074B2 (ja)
CN (2) CN107210314B (ja)
WO (1) WO2016167044A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9729809B2 (en) 2014-07-11 2017-08-08 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device and driving method of semiconductor device or electronic device
WO2016167044A1 (ja) 2015-04-14 2016-10-20 ソニー株式会社 固体撮像装置、撮像システムおよび距離計測方法
JP7007088B2 (ja) * 2016-12-07 2022-01-24 ソニーセミコンダクタソリューションズ株式会社 受光素子、撮像素子および電子機器
JP6890263B2 (ja) * 2016-12-14 2021-06-18 パナソニックＩｐマネジメント株式会社 撮像制御装置、撮像制御方法、プログラムおよび記録媒体
KR102379380B1 (ko) * 2017-01-19 2022-03-28 소니 세미컨덕터 솔루션즈 가부시키가이샤 수광 소자, 촬상 소자, 및, 촬상 장치
JP6691101B2 (ja) * 2017-01-19 2020-04-28 ソニーセミコンダクタソリューションズ株式会社 受光素子
JP6761534B2 (ja) * 2017-08-09 2020-09-23 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置、電子装置および固体撮像装置の制御方法
CN111034179B (zh) * 2017-09-14 2022-09-20 新唐科技日本株式会社 固体摄像装置及具备该固体摄像装置的摄像装置
US10840284B2 (en) 2017-09-28 2020-11-17 Sony Semiconductor Solutions Corporation Imaging element with a first and second converging portion for converging light between a first and second signal extraction portion of adjacent pixels
JP7054639B2 (ja) * 2018-03-16 2022-04-14 ソニーセミコンダクタソリューションズ株式会社 受光素子および電子機器
US10785422B2 (en) * 2018-05-29 2020-09-22 Microsoft Technology Licensing, Llc Face recognition using depth and multi-spectral camera
CN110739325A (zh) * 2018-07-18 2020-01-31 索尼半导体解决方案公司 受光元件以及测距模块
US20210270940A1 (en) * 2018-07-18 2021-09-02 Sony Semiconductor Solutions Corporation Light-receiving element and distance-measuring module
CN110739324A (zh) 2018-07-18 2020-01-31 索尼半导体解决方案公司 受光元件以及测距模块
US11435476B2 (en) * 2018-10-12 2022-09-06 Microsoft Technology Licensing, Llc Time-of-flight RGB-IR image sensor
JP2020063970A (ja) * 2018-10-17 2020-04-23 パイオニア株式会社 投受光装置及び測距装置
CN110024374B (zh) * 2019-02-27 2021-08-10 深圳市汇顶科技股份有限公司 成像系统及成像系统的像素阵列和图像传感器
US20220155454A1 (en) * 2019-03-22 2022-05-19 Sony Semiconductor Solutions Corporation Analysis portion, time-of-flight imaging device and method
KR20210125744A (ko) * 2020-04-09 2021-10-19 에스케이하이닉스 주식회사 이미지 센싱 장치
US20230142762A1 (en) * 2020-05-20 2023-05-11 Sony Group Corporation Sensing system
WO2022197379A2 (en) * 2021-02-01 2022-09-22 Northwestern University Wavelength converting natural vision system
WO2023145782A1 (ja) * 2022-01-28 2023-08-03 国立大学法人静岡大学 固体撮像装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2642807B2 (ja) * 1991-08-20 1997-08-20 三洋電機株式会社 固体撮像装置
US7262402B2 (en) 2005-02-14 2007-08-28 Ecole Polytechnique Federal De Lausanne Integrated imager circuit comprising a monolithic array of single photon avalanche diodes
US7855740B2 (en) * 2007-07-20 2010-12-21 Eastman Kodak Company Multiple component readout of image sensor
JP2009158944A (ja) 2007-12-06 2009-07-16 Sony Corp 固体撮像装置、固体撮像装置の製造方法、及び電子機器
KR101467509B1 (ko) * 2008-07-25 2014-12-01 삼성전자주식회사 이미지 센서 및 이미지 센서 동작 방법
KR20100018449A (ko) 2008-08-06 2010-02-17 삼성전자주식회사 입체 이미지 센서의 픽셀 어레이
US7915652B2 (en) 2008-10-24 2011-03-29 Sharp Laboratories Of America, Inc. Integrated infrared and color CMOS imager sensor
JP5353200B2 (ja) * 2008-11-20 2013-11-27 ソニー株式会社 固体撮像装置および撮像装置
JP5250474B2 (ja) * 2009-04-28 2013-07-31 パナソニック株式会社 固体撮像装置
KR20110040402A (ko) * 2009-10-14 2011-04-20 삼성전자주식회사 필터 어레이, 이를 포함하는 이미지 센서, 및 신호 보간 방법
JP5585232B2 (ja) * 2010-06-18 2014-09-10 ソニー株式会社 固体撮像装置、電子機器
KR102025522B1 (ko) 2011-03-10 2019-11-26 사이오닉스, 엘엘씨 3차원 센서, 시스템, 및 관련 방법
JP2014207493A (ja) * 2011-08-24 2014-10-30 パナソニック株式会社 撮像装置
JP2013070030A (ja) * 2011-09-06 2013-04-18 Sony Corp 撮像素子、電子機器、並びに、情報処理装置
WO2014030185A1 (ja) * 2012-08-22 2014-02-27 株式会社島津製作所 画素アレイ基板およびそれを備えた放射線検出装置
JP2014067948A (ja) * 2012-09-27 2014-04-17 Fujifilm Corp 固体撮像素子および撮像装置
JP6150508B2 (ja) 2012-12-07 2017-06-21 キヤノン株式会社 撮像装置及び撮像システム
JP6308760B2 (ja) * 2012-12-20 2018-04-11 キヤノン株式会社 光電変換装置および光電変換装置を有する撮像装置
KR102009192B1 (ko) 2013-02-05 2019-08-09 삼성전자주식회사 이미지 센서의 단위 픽셀 및 이를 포함하는 이미지 센서
JP2014192348A (ja) 2013-03-27 2014-10-06 Sony Corp 固体撮像装置およびその製造方法、並びに電子機器
JP6368115B2 (ja) * 2013-05-10 2018-08-01 キヤノン株式会社 固体撮像装置およびカメラ
JP6373027B2 (ja) 2014-03-24 2018-08-15 キヤノン株式会社 撮像装置
WO2016167044A1 (ja) 2015-04-14 2016-10-20 ソニー株式会社 固体撮像装置、撮像システムおよび距離計測方法

Also Published As

Publication number Publication date
CN107210314B (zh) 2021-12-14
JP2020188275A (ja) 2020-11-19
US20180054581A1 (en) 2018-02-22
JPWO2016167044A1 (ja) 2018-02-08
US11128828B2 (en) 2021-09-21
JP7124849B2 (ja) 2022-08-24
WO2016167044A1 (ja) 2016-10-20
CN107210314A (zh) 2017-09-26
CN114420712A (zh) 2022-04-29
US11818486B2 (en) 2023-11-14
US11076115B2 (en) 2021-07-27
US20210377473A1 (en) 2021-12-02
US20200120300A1 (en) 2020-04-16

Similar Documents

Publication Publication Date Title
JP6777074B2 (ja) 固体撮像装置、撮像システムおよび距離計測方法
JP5566621B2 (ja) 距離測定センサ及びそれを備えた立体カラーイメージセンサ
US8035806B2 (en) Distance measuring sensor including double transfer gate and three dimensional color image sensor including the distance measuring sensor
JP7100518B2 (ja) 固体撮像素子及び撮像装置
US11115612B2 (en) Solid-state image sensor and image capture apparatus
US10708511B2 (en) Three-dimensional motion obtaining apparatus and three-dimensional motion obtaining method
JP6716902B2 (ja) 電子機器
JP2014225536A (ja) 固体撮像装置及びカメラ
WO2017056347A1 (ja) 固体撮像装置
JP6651720B2 (ja) 撮像素子および撮像装置
JP6643346B2 (ja) 固体撮像装置
JP5829036B2 (ja) 単位画素の信号加算方法
US11722792B2 (en) Image sensing device
JP6366325B2 (ja) 撮像システム
WO2022024911A1 (ja) 撮像素子及び撮像装置
JP6320132B2 (ja) 撮像システム
TW202218105A (zh) 感測器裝置及感測模組
WO2014203456A1 (ja) 固体撮像装置およびその駆動方法
KR20130006168A (ko) 센서 및 이를 포함하는 데이터 처리 시스템

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200218

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200720

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200731

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200908

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200921

R151 Written notification of patent or utility model registration

Ref document number: 6777074

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151