JPWO2018207661A1 - 光センサ、及び、電子機器 - Google Patents

光センサ、及び、電子機器 Download PDF

Info

Publication number
JPWO2018207661A1
JPWO2018207661A1 JP2019517570A JP2019517570A JPWO2018207661A1 JP WO2018207661 A1 JPWO2018207661 A1 JP WO2018207661A1 JP 2019517570 A JP2019517570 A JP 2019517570A JP 2019517570 A JP2019517570 A JP 2019517570A JP WO2018207661 A1 JPWO2018207661 A1 JP WO2018207661A1
Authority
JP
Japan
Prior art keywords
pixel
light
polarization
tof
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019517570A
Other languages
English (en)
Other versions
JP7044107B2 (ja
Inventor
釘宮　克尚
克尚 釘宮
高橋　洋
洋 高橋
健司 浅見
健司 浅見
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2018207661A1 publication Critical patent/JPWO2018207661A1/ja
Application granted granted Critical
Publication of JP7044107B2 publication Critical patent/JP7044107B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/499—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using polarisation effects
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith

Abstract

本技術は、消費電力を大にせずに、測距の精度の低下を抑制することができるようにする光センサ、及び、電子機器に関する。光センサは、発光部が発光した照射光が被写体において反射されて戻ってくる反射光を受光するTOF画素と、被写体からの光のうちの、複数の偏光面の光をそれぞれ受光する複数の偏光画素とを有する。本技術は、例えば、測距を行う場合に適用することができる。

Description

本技術は、光センサ、及び、電子機器に関し、特に、例えば、消費電力を大にせずに、測距の精度の低下を抑制することができるようにする光センサ、及び、電子機器に関する。
被写体（対象物）までの距離を測定する測距を行う測距方式としては、例えば、TOF(Time Of Flight)方式がある（例えば、特許文献１を参照）。
TOF方式では、原理的には、被写体に照射する光である照射光を発光し、その照射光が被写体において反射されて戻ってくる反射光を受光することで、照射光の発光から反射光の受光までの光の飛行時間、すなわち、照射光が被写体で反射されて戻ってくるまでの飛行時間Δtが求められる。そして、その飛行時間Δtと、光速c[m/s]とを用いて、式L=c×Δt／2に従って、被写体までの距離Lが求められる。
TOF方式では、照射光として、例えば、周期が数十nm秒のパルス波形やサイン波形等の赤外線等が用いられる。また、TOF方式では、実装上は、例えば、照射光がオンの期間の反射光の受光量と、照射光がオフの期間の反射光の受光量との比から、照射光と反射光との位相差が、飛行時間△t（に比例する値）として求められる。
TOF方式では、以上のように、照射光と反射光との位相差（飛行時間△t）から、被写体までの距離が求められるため、例えば、三角測量の原理を利用して測距を行うStereo Vision法やStructured Light法に比較して、遠距離の測距の精度が高い。また、TOF方式では、照射光を発光する光源と、反射光を受光する受光部とは、近い位置に配置されるため、装置の小型化が可能である。
特開2016-90436号公報
ところで、TOF方式では、測距の精度が、反射光を受光して得られる受光信号のS/N(Signal to Noise ratio)で決まるため、測距の精度のために、受光信号が積算される。
また、TOF方式では、Stereo Vision法やStructured Light法に比較して、測距の精度が距離に依存する程度が小さいが、それでも、遠距離になるほど、測距の精度が低下する。
遠距離の測距において、測距の精度を維持する方法としては、照射光の強度を大にする方法や、受光信号を積算する積算期間を長くする方法がある。
しかしながら、照射光の強度を大にする方法や、受光信号を積算する積算期間を長くする方法では、消費電力が大になる。
また、TOF方式では、例えば、鏡や水面等の鏡面反射が生じる被写体については、距離を誤検出することがある。
本技術は、このような状況に鑑みてなされたものであり、消費電力を大にせずに、測距の精度の低下を抑制することができるようにするものである。
本技術の光センサは、発光部が発光した照射光が被写体において反射されて戻ってくる反射光を受光するTOF画素と、前記被写体からの光のうちの、複数の偏光面の光をそれぞれ受光する複数の偏光画素とを備える光センサである。
本技術の電子機器は、光を集光する光学系と、光を受光する光センサとを備え、前記光センサは、発光部が発光した照射光が被写体において反射されて戻ってくる反射光を受光するTOF画素と、前記被写体からの光のうちの、複数の偏光面の光をそれぞれ受光する複数の偏光画素とを有する電子機器である。
本技術の光センサ及び電子機器においては、TOF画素において、発光部が発光した照射光が被写体において反射されて戻ってくる反射光が受光され、複数の偏光画素において、前記被写体からの光のうちの、複数の偏光面の光がそれぞれ受光される。
なお、光センサは、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
本技術によれば、消費電力を大にせずに、測距の精度の低下を抑制することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用した測距装置の一実施の形態の構成例を示すブロック図である。 光センサ１３の電気的構成例を示すブロック図である。 画素３１の基本的な構成例を示す回路図である。 画素アレイ２１の第１の構成例を示す平面図である。 画素アレイ２１の第１の構成例の偏光画素３１Ｐ及びTOF画素３１Ｔの構成例を示す断面図である。 TOF方式での距離の算出の原理を説明する図である。 偏光センサ６１の構成例を示す平面図である。 偏光センサ６１の電気的構成例を示す回路図である。 TOFセンサ６２の構成例を示す平面図である。 TOFセンサ６２の電気的構成例を示す回路図である。 画素アレイ２１の第２の構成例を示す平面図である。 画素アレイ２１の第２の構成例の偏光画素３１Ｐ及びTOF画素３１Ｔの構成例を示す断面図である。 画素アレイ２１の第３の構成例を示す平面図である。 画素アレイ２１の第３の構成例の偏光画素３１Ｐ及びTOF画素３１Ｔの構成例を示す断面図である。 画素アレイ２１の第４の構成例を示す平面図である。 画素アレイ２１の第４の構成例の偏光画素３１Ｐ及びTOF画素３１Ｔの構成例を示す断面図である。 画素アレイ２１の第５の構成例を示す平面図である。 画素アレイ２１の第５の構成例の偏光画素３１Ｐ及びTOF画素３１Ｔの構成例を示す断面図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
＜本技術を適用した測距装置の一実施の形態＞
図１は、本技術を適用した測距装置の一実施の形態の構成例を示すブロック図である。
図１において、測距装置は、被写体までの距離を測定（測距）し、例えば、その距離を画素値とする距離画像等の画像を出力する。
図１において、測距装置は、発光装置１１、光学系１２、光センサ１３、信号処理装置１４、及び、制御装置１５を有する。
発光装置１１は、TOF方式での測距のために、例えば、波長が850nm等の赤外線のパルスを照射光として発光する。
光学系１２は、集光レンズや絞り等の光学部品で構成され、被写体からの光を、光センサ１３上に集光する。
ここで、被写体からの光には、発光装置１１が発光した照射光が被写体で反射されて戻ってくる反射光が含まれる。また、被写体からの光には、発光装置１１以外の、例えば、太陽その他の光源からの光が被写体で反射されて光学系１２に入射する反射光が含まれる。
光センサ１３は、被写体からの光を、光学系１２を介して受光し、光電変換を行って、被写体からの光に対応する電気信号としての画素値を出力する。光センサ１３が出力する画素値は、信号処理装置１４に供給される。
光センサ１３は、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサを利用して構成することができる。
信号処理装置１４は、光センサ１３からの画素値を用いて所定の信号処理を行うことで、被写体までの距離を画素値とする距離画像等を生成して出力する。
制御装置１５は、発光装置１１や、光センサ１３、信号処理装置１４を制御する。
なお、信号処理装置１４及び制御装置１５（の一方又は両方）は、光センサ１３と一体的に構成することができる。信号処理装置１４及び制御装置１５を、光センサ１３と一体的に構成する場合には、光センサ１３の構造としては、例えば、積層型のCMOSイメージセンサと同様の構造を採用することができる。
＜光センサ１３の構成例＞
図２は、図１の光センサ１３の電気的構成例を示すブロック図である。
図２において、光センサ１３は、画素アレイ２１、画素駆動部２２、及び、ADC(Analog to Digital Converter)２３を有する。
画素アレイ２１は、縦×横がM×N個（M及びNは、1以上の整数で、そのうちの一方は、2以上の整数）の画素３１が、例えば、２次元平面上に格子状に配置されて構成される。
さらに、画素アレイにおいて、（上から）m行目（m＝1,2,・・・,M）の行方向（横方向）に並ぶN個の画素１１には、行方向に延びる画素制御線４１が接続されている。
また、（左から）n列目（n＝1,2,・・・,N）の列方向（縦方向）に並ぶM個の画素１１には、列方向に延びるVSL（垂直信号線）４２が接続されている。
画素３１は、そこに入射する光（入射光）の光電変換を行う。さらに、画素３１は、光電変換によって得られる電荷に対応する電圧（以下、画素信号ともいう）を、画素駆動部２２からの、画素制御線４１を介しての制御に従い、VSL４２上に出力する。
画素駆動部２２は、例えば、制御装置１５（図１）の制御等に従い、画素制御線４１を介して、その画素制御線４１に接続されている画素３１を制御（駆動）する。
ADC２３は、画素３１から、VSL４２を介して供給される画素信号（電圧）のAD(Analog to Digital)変換を行い、その結果得られるディジタルデータを、画素３１の画素値（画素データ）として出力する。
なお、図２では、ADC２３は、画素３１のN列のそれぞれに設けられており、n列目のADC２３は、n列目に並ぶM個の画素３１の画素信号のAD変換を担当する。
画素３１のN列のそれぞれに設けられているN個のADC２３によれば、例えば、１行に並ぶN個の画素３１の画素信号のAD変換を、同時に行うことができる。
以上のように、画素３１の各列に、その列の画素３１の画素信号のAD変換を担当するADCを設けるAD変換の方式は、列並列AD変換方式と呼ばれる。
光センサ１３でのAD変換の方式としては、列並列AD変換方式に限定されるものではない。すなわち、光センサ１３でのAD変換の方式としては、列並列AD変換方式以外の、例えば、エリアAD変換方式等を採用することができる。エリアAD変換方式では、M×N個の画素３１を、小エリアの画素３１に区分けして、小エリアごとに、その小エリアの画素３１の画素信号のAD変換を担当するADCが設けられる。
＜画素３１の構成例＞
図３は、図２の画素３１の基本的な構成例を示す回路図である。
図３において、画素３１は、PD(photodiode)５１、４個のnMOS(negative channel MOS)のFET(Field Effect Transistor)５２，５４，５５、及び、５６、並びに、FD(Floating Diffusion)５３を有する。
PD５１は、光電変換素子の一例であり、PD５１に入射する入射光を受光して、その入射光に対応する電荷を蓄積する。
PD５１のアノードはグランド(ground)に接続され（接地され）、PD５１のカソードは、FET５２のソースに接続されている。
FET５２は、PD５１に蓄積された電荷を、PD５１からFD５３に転送するためのFETであり、以下、転送Tr５２ともいう。
転送Tr５２のソースは、PD５１のカソードに接続され、転送Tr５２のドレインは、FD５３を介して、FET５４のソース、及び、FET５５のゲートに接続されている。
また、転送Tr５２のゲートは、画素制御線４１に接続されており、転送Tr５２のゲートには、画素制御線４１を介して、転送パルスTRGが供給される。
ここで、画素駆動部２２（図２）が、画素制御線４１を介して、画素３１を駆動（制御）するために、画素制御線４１に流す制御信号には、転送パルスTRG、リセットパルスRST、及び、選択パルスSELがある。
FD５３は、転送Tr５２のドレイン、FET５４のソース、及び、FET５５のゲートの接続点に形成されており、コンデンサの如く電荷を蓄積し、その電荷を電圧に変換する。
FET５４は、FD５３に蓄積された電荷（FD５３の電圧（電位））をリセットするためのFETであり、以下、リセットTr５４ともいう。
リセットTr５４のドレインは、電源Vddに接続されている。
また、リセットTr５４のゲートは、画素制御線４１に接続されており、リセットTr５４のゲートには、画素制御線４１を介して、リセットパルスRSTが供給される。
FET５５は、FD５６の電圧をバッファするためのFETであり、以下、増幅Tr５５ともいう。
増幅Tr５５のゲートは、FD５３に接続され、増幅Tr５５のドレインは、電源Vddに接続されている。また、増幅Tr５５のソースは、FET５６のドレインに接続されている。
FET５６は、VSL４２への信号の出力を選択するためのFETであり、以下、選択Tr５６ともいう。
選択Tr５６のソースは、VSL４２に接続されている。
また、選択Tr５６のゲートは、画素制御線４１に接続されており、選択Tr５６のゲートには、画素制御線４１を介して、選択パルスSELが供給される。
以上のように構成される画素３１では、PD５１において、そのPD５１に入射する入射光が受光され、入射光に対応する電荷が蓄積される。
その後、転送Tr５２に、TRGパルスが供給され、転送Tr５２がオンになる。
ここで、正確には、転送Tr５２のゲートには、TRGパルスとしての電圧が常時供給され、TRGパルスとしての電圧がL(low)レベルの場合に、転送Tr５２はオフになり、TRGパルスとしての電圧がH(high)レベルの場合に、転送Tr５２はオンになるが、本明細書では、記載の簡略化のために、転送Tr５２のゲートに、HレベルのTRGパルスとしての電圧が供給されることを、転送Tr５２に、TRGパルスが供給される、のように記載する。
転送Tr５２がオンになると、PD５１に蓄積された電荷は、転送Tr５２を介して、FD５３に転送されて、FD５３に蓄積される。
そして、FD５３に蓄積された電荷に対応する電圧としての画素信号が、増幅Tr５５のゲートに供給され、これにより、画素信号は、増幅Tr５５及び選択Tr５６を介して、VSL４２上に出力される。
なお、リセットパルスRSTは、FD５３に蓄積された電荷をリセットするときに、リセットTr５４に供給される。また、選択パルスSELは、画素３１の画素信号をVSL４２上に出力するときに、選択Tr５６に供給される。
ここで、画素３１において、FD５３、リセットTr５４、増幅Tr５５、及び、選択Tr５６は、PD５１に蓄積された電荷を電圧としての画素信号に変換して読み出す画素回路を構成する。
画素３１の構成としては、図３に示したように、１個の画素３１のPD５１（及び転送Tr５２）が、１つの画素回路を有する構成の他、複数の画素３１それぞれのPD５１（及び転送Tr５２）が、１つの画素回路を共有する共有画素の構成を採用することができる。
また、画素３１は、選択Tr５６なしで構成することができる。
＜画素アレイ２１の第１の構成例＞
図４は、図２の画素アレイ２１の第１の構成例を示す平面図である。
図４では、画素アレイ２１は、図２で説明したように、画素３１が２次元平面上に格子状に配置されて構成されている。
画素アレイ２１を構成する画素３１の種類としては、偏光画素３１ＰとTOF画素３１Ｔとの２種類が存在する。
図４では、偏光画素３１ＰとTOF画素３１Ｔとは、それぞれの受光面（画素３１が光を受光する面）のサイズが、同一サイズになるように形成されている。
図４の画素アレイ２１では、１以上の偏光画素３１Ｐと１以上のTOF画素３１Ｔとが２次元平面上に交互に配置されている。
ここで、横×縦が2×2画素の偏光画素３１Ｐを、1個の偏光センサ６１というとともに、横×縦が2×2画素のTOF画素３１Ｔを、1個のTOFセンサ６２ということとすると、図４の画素アレイ２１では、偏光センサ６１とTOFセンサ６２とが、格子状（チェック模様状）に配置されている。
なお、1個の偏光センサ６１は、2×2画素の偏光画素３１Ｐで構成する他、3×3画素や、4×4画素以上の偏光画素３１Ｐで構成することができる。また、1個の偏光センサ６１は、2×2画素等の正方形状に配置された偏光画素３１Ｐで構成する他、2×3画素や4×3画素等の長方形状に配置された偏光画素３１Ｐで構成することができる。TOFセンサ６２についても、同様である。
図４において、1個の偏光センサ６１を構成する2×2画素の偏光画素３１Ｐのうちの、左上、右上、左下、及び、右下の偏光画素３１Ｐを、それぞれ、偏光画素３１Ｐ１，３１Ｐ２，３１Ｐ３、及び、３１Ｐ４ともいうこととする。
同様に、1個のTOFセンサ６２を構成する2×2画素のTOF画素３１Ｔのうちの、左上、右上、左下、及び、右下のTOF画素３１Ｔを、それぞれ、TOF画素３１Ｔ１，３１Ｔ２，３１Ｔ３、及び、３１Ｔ４ともいうこととする。
1個の偏光センサ６１を構成する偏光画素３１Ｐ１，３１Ｐ２，３１Ｐ３、及び、３１Ｐ４は、例えば、それぞれ異なる偏光面の光を受光する。
したがって、1個の偏光センサ６１を構成する偏光画素３１Ｐ１，３１Ｐ２，３１Ｐ３、及び、３１Ｐ４では、被写体からの光のうちの、複数の偏光面の光それぞれが受光される。
なお、1個の偏光センサ６１を構成する複数の偏光画素３１Ｐのうちの一部の２以上の偏光画素３１Ｐそれぞれは、同一の偏光面の光を受光しても良い。例えば、偏光画素３１Ｐ１及び３１Ｐ２で、同一の偏光面の光を受光し、偏光画素３１Ｐ３及び３１Ｐ４では、それぞれ異なる偏光面の光を受光することができる。
偏光画素３１Ｐの受光面上には、所定の偏光面の光を通過させる偏光子（図４では図示せず）が形成されている。偏光画素３１Ｐは、偏光子を通過した光を受光することで、その偏光子が通過させる所定の偏光面の光を受光して光電変換を行う。
1個の偏光センサ６１を構成する偏光画素３１Ｐ１，３１Ｐ２，３１Ｐ３、及び、３１Ｐ４それぞれには、異なる偏光面の光を通過させる偏光子が設けられており、これにより、偏光画素３１Ｐ１，３１Ｐ２，３１Ｐ３、及び、３１Ｐ４は、それぞれ、被写体からの光のうちの、異なる偏光面の光を受光する。
光センサ１３では、1個の偏光センサ６１を構成する4個の偏光画素３１Ｐ１，３１Ｐ２，３１Ｐ３、及び、３１Ｐ４については、それぞれ、別個に、画素信号が読み出され、4個の画素値として、信号処理装置１４に供給される。
一方、1個のTOFセンサ６２を構成する4個のTOF画素３１Ｔ１，３１Ｔ２，３１Ｔ３、及び、３１Ｔ４については、その4個のTOF画素３１Ｔ１，３１Ｔ２，３１Ｔ３、及び、３１Ｔ４の画素信号を加算した値が読み出され、1個の画素値として、信号処理装置１４に供給される。
信号処理装置１４は、偏光センサ６１からの画素値（偏光画素３１Ｐ１，３１Ｐ２，３１Ｐ３、及び、３１Ｐ４それぞれの画素信号）と、TOFセンサ６２の画素値（TOF画素３１Ｔ１，３１Ｔ２，３１Ｔ３、及び、３１Ｔ４それぞれの画素信号の加算値）とを用いて、被写体までの距離を画素値とする距離画像を生成する。
なお、図４では、1個の偏光センサ６１を構成する4個の偏光画素３１Ｐ１，３１Ｐ２，３１Ｐ３、及び、３１Ｐ４は、その4個の偏光画素３１Ｐ１，３１Ｐ２，３１Ｐ３、及び、３１Ｐ４それぞれのPD５１が、FD５３を含む画素回路（図３）を共有する共有画素になっている。
同様に、1個のTOFセンサ６２を構成する4個のTOF画素３１Ｔ１，３１Ｔ２，３１Ｔ３、及び、３１Ｔ４は、その4個のTOF画素３１Ｔ１，３１Ｔ２，３１Ｔ３、及び、３１Ｔ４それぞれのPD５１が、FD５３を含む画素回路（図３）を共有する共有画素になっている。
図５は、図４の画素アレイ２１の第１の構成例の偏光画素３１Ｐ及びTOF画素３１Ｔの構成例を示す断面図である。
TOF画素３１Ｔは、発光装置１１が発光した照射光に対応する被写体からの反射光（照射光が被写体で反射されて戻ってくる反射光）を受光する。本実施の形態では、図１で説明したように、照射光として、波長が850nm等の赤外線のパルスを採用するため、そのような赤外線の帯域の光（だけ）を通過させるバンドパスフィルタ（通過フィルタ）７１が、TOF画素３１を構成するPD５１上に形成されている。
TOF画素３１Ｔ（のPD５１）は、被写体からの光を、バンドパスフィルタ７１を介して受光することにより、被写体からの光のうちの、照射光に対応する反射光を受光する。
偏光画素３１Ｐは、被写体からの光のうちの、所定の偏光面の光を受光する。そのため、偏光画素３１Ｐを構成するPD５１上には、所定の偏光面の光だけを通過させる偏光子８１が設けられている。
さらに、偏光画素３１Ｐの偏光子８１上（偏光子８１に光が入射する側）には、照射光に対応する反射光としての赤外線をカットするカットフィルタ７２が形成されている。
偏光画素３１Ｐ（のPD５１）は、被写体からの光を、カットフィルタ７２及び偏光子８１を介して受光することにより、被写体からの光のうちの、照射光に対応する反射光以外の光に含まれる所定の偏光面の光を受光する。
画素アレイ２１の第１の構成例では、以上のように、TOF画素３１Ｔには、バンドパスフィルタ７１が設けられ、偏光画素３１Ｐには、カットフィルタ７２が設けられているので、TOF画素３１Ｔでは、発光装置１１が発光した照射光に対応する反射光を受光することができ、偏光画素３１Ｐでは、被写体からの光のうちの、発光装置１１が発光した照射光に対応する反射光以外の光を受光することができる。
したがって、画素アレイ２１の第１の構成例では、偏光画素３１Ｐ（で構成される偏光センサ６１）と、TOF画素３１Ｔ（で構成されるTOFセンサ６２）とを同時に駆動すること（偏光画素３１Ｐ及びTOF画素３１Ｔで、被写体からの光を同時に受光し、その受光量に対応する画素値を出力すること）ができる。
なお、画素アレイ２１の第１の構成例については、偏光画素３１ＰとTOF画素３１Ｔとを同時に駆動する他、偏光画素３１ＰとTOF画素３１Ｔとを、別個のタイミングで駆動すること、例えば、交互に駆動すること（偏光画素３１Ｐ及びTOF画素３１Ｔで、被写体からの光を、交互に受光し、その受光量に対応する画素値を出力すること）ができる。
ところで、上述したように、光センサ３１では、1個の偏光センサ６１を構成する4個の偏光画素３１Ｐ１，３１Ｐ２，３１Ｐ３、及び、３１Ｐ４については、それぞれ、別個に、画素信号が読み出され、4個の画素値として、信号処理装置１４に供給される。
また、1個のTOFセンサ６２を構成する4個のTOF画素３１Ｔ１，３１Ｔ２，３１Ｔ３、及び、３１Ｔ４については、その4個のTOF画素３１Ｔ１，３１Ｔ２，３１Ｔ３、及び、３１Ｔ４の画素信号を加算した値が読み出され、1個の画素値として、信号処理装置１４に供給される。
信号処理装置１４は、偏光センサ６１からの画素値（偏光画素３１Ｐ１，３１Ｐ２，３１Ｐ３、及び、３１Ｐ４それぞれの画素信号）を用い、偏光方式で、被写体までの相対的な距離を算出する。
また、信号処理装置１４は、TOFセンサ６２の画素値（TOF画素３１Ｔ１，３１Ｔ２，３１Ｔ３、及び、３１Ｔ４それぞれの画素信号の加算値）を用い、TOF方式で、被写体までの絶対的な距離を算出する。
そして、信号処理装置１４は、偏光方式で算出された被写体までの相対的な距離を用いて、TOF方式で算出された被写体までの絶対的な距離を補正し、その補正後の距離を画素値とする距離画像を生成する。TOF方式の絶対的な距離の補正は、例えば、TOF方式の絶対的な距離の位置に対する変化量が、偏光方式の相対的な距離に一致するように行われる。
ここで、偏光方式では、被写体からの光の偏光状態が、被写体の面方向に応じて異なることを利用し、被写体からの光のうちの、複数の（異なる）偏光面の光それぞれに対応する画素値を用いて、被写体の法線方向が求められ、その法線方向から、被写体の任意の点を基準とする、被写体の各点までの相対的な距離が算出される。
TOF方式では、前述したように、照射光の発光から、その照射光に対応する反射光の受光までの飛行時間、すなわち、照射光としてのパルスと、その照射光に対応する反射光としてのパルスとの位相差を求めることにより、測距装置から被写体までの距離が、被写体までの絶対的な距離として算出される。
図６は、TOF方式での距離の算出の原理を説明する図である。
ここで、照射光は、例えば、所定のパルス幅Tpのパルスであり、説明を簡単にするため、照射光の周期は、2×Tpであるとする。
光センサ１３のTOFセンサ６２では、照射光が発光されてから、被写体までの距離Lに応じた飛行時間Δtだけ経過した後に、照射光に対応する反射光（照射光が被写体で反射された反射光）が受光される。
いま、照射光としてのパルスと同一のパルス幅で、同一の位相のパルスを、第１の受光パルスというとともに、照射光としてのパルスと同一のパルス幅で、照射光としてのパルスのパルス幅Tp（180度）だけ位相がずれたパルスを、第２の受光パルスということとする。
TOF方式では、第１の受光パルスの（Hレベルの）期間と、第２の受光パルスの期間とのそれぞれの期間において、反射光が受光される。
いま、第１の受光パルスの期間に受光された反射光の電荷量（受光量）を、Q1と表すとともに、第２の受光パルスの期間に受光された反射光の電荷量を、Q2と表すこととする。
この場合、飛行時間Δtは、式△t＝Tp×Q2／(Q1+Q2)に従って求めることができる。なお、照射光と、その照射光に対応する反射光との位相差φは、式φ＝180度×Q2／(Q1+Q2)で表される。
飛行時間Δtは、電荷量Q2に比例し、したがって、被写体までの距離Lが近距離である場合には、電荷量Q2は小になり、被写体までの距離Lが遠距離である場合には、電荷量Q2は大になる。
ところで、TOF方式の測距では、照射光を発光する発光装置１１等の光源が必須であるが、その光源が発する照射光よりも強い光が存在する場合には、測距の精度が低下する。
また、TOF方式では、遠距離の測距の精度を維持する方法として、照射光の強度を大にする方法や、画素信号（受光信号）を積算する積算期間を長くする方法があるが、これらの方法では、消費電力が大になる。
さらに、TOF方式の測距では、照射光と同一の位相の第１の受光パルスの期間の反射光の受光量と、照射光と位相が180度だけずれた第２の受光パルスの期間の反射光の受光量とを用いて、被写体までの距離が算出されるため、第１の受光パルスの期間の反射光の受光量に対応する画素信号と、第２の受光パルスの期間の反射光の受光量に対応する画素信号とのAD変換が必要となる。したがって、TOF方式の測距では、可視光を受光して画像の撮像（以下、通常撮像ともいう）を行う場合の２倍の回数のAD変換が必要であり、TOF方式の測距には、通常撮像と同様の回数のAD変換を行えばよいStereo Vision法やStructured Light法の測距と比較して、単純には、２倍の時間を要する。
以上のように、TOF方式の測距は、Stereo Vision法やStructured Light法の測距と比較して、時間を要する。
また、TOF方式では、例えば、鏡や水面等の鏡面反射が生じる被写体については、距離を誤検出しやすい。
さらに、TOF方式では、照射光として、赤外線等の、可視光でない光を採用する場合には、TOF方式の測距と同時に、通常撮像を行って、例えば、RGB(Red, Green, Blue)等のカラーの画像を得ることは困難である。
これに対して、図１の測距装置では、光センサ１３は、偏光方式の測距に用いられる偏光画素３１Ｐと、TOF方式の測距に用いられるTOF画素３１Ｔとを有し、それらの偏光画素３１ＰとTOF画素３１Ｔとは、2×2個の偏光画素３１Ｐで構成される偏光センサ６１と、2×2個のTOF画素３１Ｔで構成されるTOFセンサ６２との単位で、格子状に配置されている。
さらに、図１の測距装置では、信号処理装置１４は、図４及び図５で説明したように、偏光センサ６１からの画素値（偏光画素３１Ｐ１，３１Ｐ２，３１Ｐ３、及び、３１Ｐ４それぞれの画素信号）を用い、偏光方式で、被写体までの相対的な距離を算出するとともに、TOFセンサ６２の画素値（TOF画素３１Ｔ１，３１Ｔ２，３１Ｔ３、及び、３１Ｔ４それぞれの画素信号の加算値）を用い、TOF方式で、被写体までの絶対的な距離を算出する。
そして、信号処理装置１４は、偏光方式で算出された被写体までの相対的な距離を用いて、TOF方式で算出された被写体までの絶対的な距離を補正し、その補正後の距離を画素値とする距離画像を生成する。
したがって、消費電力を大にせずに、測距の精度の低下を抑制することができる。すなわち、TOF方式の測距の結果を、偏光方式の測距の結果によって補正することで、特に、遠距離でのTOF方式の測距の精度の低下を改善することができる。
また、偏光方式の測距では、TOF方式の測距のように、照射光を必要としないため、屋外での測距において、照射光以外の、例えば、太陽光等の光の影響によって、TOF方式の測距の精度が低下する場合であっても、TOF方式の測距の結果を、偏光方式の測距の結果で補正することにより、測距の精度の低下を抑制することができる。
さらに、偏光方式の測距の消費電力は、TOF方式の測距の消費電力よりも低いため、例えば、光センサ１３を構成するTOF画素３１Ｔの数を少なくするとともに、偏光画素３１Ｐの画像を多くすることにより、低消費電力化と、距離画像の高解像度化とを両立させることができる。
また、TOF方式は、鏡や水面等の鏡面反射が生じる被写体については、距離を誤検出しやすいのに対して、偏光方式は、そのような被写体について、（相対的な）距離を精度良く算出することができる。したがって、TOF方式の測距の結果を、偏光方式の測距の結果で補正することにより、鏡面反射が生じる被写体に対する測距の精度の低下を抑制することができる。
さらに、偏光画素３１Ｐだけを配置して第１の光センサを構成するとともに、TOF画素３１Ｔだけを配置して第２の光センサを構成した場合には、第１及び第２の光センサそれぞれの設置位置の違いに応じて、第１及び第２の光センサで同一の被写体が映る画素の座標がずれる。これに対して、偏光画素３１Ｐ（で構成される偏光センサ６１）と、TOF画素３１Ｔ（で構成されるTOFセンサ６２）とで構成される光センサ１３では、第１及び第２の光センサで生じるような座標のずれは生じない。したがって、信号処理装置１４では、そのような座標のずれを考慮せずに、信号処理を行うことができる。
また、偏光画素３１Ｐと、TOF画素３１Ｔとで構成される光センサ１３では、偏光画素３１Ｐにおいて、例えば、R(red)や、G(Green)、B(Blue)の光を受光しても測距の精度に影響しない。したがって、複数の偏光画素３１Ｐそれぞれにおいて、Rや、G、Bの光を、適宜受光するように、光センサ１３を構成することにより、光センサ１３では、測距と同時に、通常撮像で得られるのと同様のカラーの画像を取得することができる。
さらに、偏光画素３１Ｐは、通常撮像を行う画素上に、偏光子８１を形成して構成することができることから、偏光画素３１Ｐの画素値を用いる偏光方式では、Stereo Vision法や、Structured Light法と同様に、フレームレートを高速化し、被写体までの相対的な距離を高速に取得することができる。したがって、偏光方式で算出された被写体までの相対的な距離を用いて、TOF方式で算出された被写体までの絶対的な距離を補正することにより、時間を要するTOF方式の測距を補って、高速な測距を行うことが可能となる。
また、本実施の形態では、TOFセンサ６２において、そのTOFセンサ６２を構成する4個のTOF画素３１Ｔ１ないし３１Ｔ４の画素信号を加算した値を、1個の画素値として読み出すこととしたが、TOFセンサ６２を構成する4個のTOF画素３１Ｔ１ないし３１Ｔ４については、4個のTOF画素３１Ｔ１ないし３１Ｔ４それぞれから画素信号を読み出すことができる。この場合、TOF方式の測距の解像度を向上させ、ひいては、偏光方式で算出された被写体までの相対的な距離を用いて、TOF方式で算出された被写体までの絶対的な距離を補正することにより得られる距離の解像度を向上させることができる。
図７は、図４の偏光センサ６１の構成例を示す平面図である。図８は、図４の偏光センサ６１の電気的構成例を示す回路図である。
偏光センサ６１を構成する4個の偏光画素３１Ｐ１ないし３１Ｐ４の受光面上には、図７に示すように、偏光子８１が形成されている。偏光画素３１Ｐ１ないし３１Ｐ４それぞれの偏光子８１は、異なる偏光面の光を通過させるようになっている。
また、偏光センサ６１を構成する4個の偏光画素３１Ｐ１ないし３１Ｐ４は、図８に示すように、FD５３を含む画素回路を共有している。
すなわち、偏光画素３１Ｐ１ないし３１Ｐ４それぞれのPD５１は、偏光画素３１Ｐ１ないし３１Ｐ４それぞれの転送Tr５２を介して、偏光画素３１Ｐ１ないし３１Ｐ４で共有する1個のFD５３に接続されている。
偏光画素３１Ｐ１ないし３１Ｐ４で共有するFD５３は、図７に示すように、横×縦が2×2に配置された偏光画素３１Ｐ１ないし３１Ｐ４（で構成される偏光センサ６１）の中心に配置されている。
以上のように構成される偏光センサ６１では、偏光画素３１Ｐ１ないし３１Ｐ４の転送Tr５２が、順番にオンにされる。これにより、偏光画素３１Ｐ１ないし３１Ｐ４それぞれの画素信号（偏光画素３１Ｐ１ないし３１Ｐ４のPD５１で受光された、異なる偏光面の光の受光量に対応する画素信号それぞれ）が、順番に読み出される。
図９は、図４のTOFセンサ６２の構成例を示す平面図である。図１０は、図４のTOFセンサ６２の電気的構成例を示す回路図である。
ここで、TOFセンサ６２については、そのTOFセンサ６２を構成するTOF画素３１Ｔ１ないし３１Ｔ４のPD５１を、それぞれ、PD５１1，PD５１2，PD５１3、及び、PD５１4とも記載する。
TOF画素３１Ｔ＃ｉは（＃ｉ＝１，２，３，４）、図９及び図１０に示すように、転送Tr５２として、第１転送Tr５２1#i、及び、第２転送Tr５２2#iの２個のFETを有する。
さらに、TOFセンサ６２は、図９及び図１０に示すように、TOF画素３１Ｔ１ないし３１Ｔ４の他に、２個の第３転送Tr５２31及び５２32、２個の第４転送Tr５２41及び５２42、２個の第１メモリ１１１13及び１１１24、並びに、２個の第２メモリ１１２12及び１１２34を有する。
なお、図１０では、第ｊ転送Tr５２#j#iのゲートに供給される転送パルスTRGを、TRG#jと図示してある（＃ｊ＝１，２，３，４）。＃ｊが同一の値の転送パルスTRG#jは、同一の転送パルスである。
TOF画素３１Ｔ１のPD５１1は、第１転送Tr５２11を介して、第１メモリ１１１13に接続されている。
さらに、TOF画素３１Ｔ１のPD５１1は、第２転送Tr５２21を介して、第２メモリ１１２12にも接続されている。
TOF画素３１Ｔ２のPD５１2は、第１転送Tr５２12を介して、第１メモリ１１１24に接続されている。
さらに、TOF画素３１Ｔ２のPD５１2は、第２転送Tr５２22を介して、第２メモリ１１２12にも接続されている。
TOF画素３１Ｔ３のPD５１3は、第１転送Tr５２13を介して、第１メモリ１１１13に接続されている。
さらに、TOF画素３１Ｔ３のPD５１3は、第２転送Tr５２23を介して、第２メモリ１１２34にも接続されている。
TOF画素３１Ｔ４のPD５１4は、第１転送Tr５２14を介して、第１メモリ１１１24に接続されている。
さらに、TOF画素３１Ｔ４のPD５１4は、第２転送Tr５２24を介して、第２メモリ１１２34にも接続されている。
第１メモリ１１１13は、第３転送Tr５２31を介して、FD５３に接続され、第１メモリ１１１24は、第３転送Tr５２32を介して、FD５３に接続されている。
第２メモリ１１２12は、第４転送Tr５２41を介して、FD５３に接続され、第２メモリ１１２34は、第４転送Tr５２42を介して、FD５３に接続されている。
以上のように構成されるTOFセンサ６２では、TOF画素３１Ｔ１ないし３１Ｔ４それぞれの画素信号（TOF画素３１Ｔ１ないし３１Ｔ４のPD５１1ないしPD５１4で受光された光の受光量に対応する画素信号それぞれ）の加算値が、１個の画素信号として読み出される。
すなわち、TOFセンサ６２では、第１転送Tr５２1#iと第２転送Tr５２2#iとが交互にオンになる。
第１転送Tr５２1#iがオンになったとき、PD５１1に蓄積された電荷、及び、PD５１3に蓄積された電荷が、第１転送Tr５２11及び５２13をそれぞれ介して、第１メモリ１１１13に転送されて加算されるとともに、PD５１2に蓄積された電荷、及び、PD５１4に蓄積された電荷が、第１転送Tr５２12及び５２14をそれぞれ介して、第１メモリ１１１24に転送されて加算される。
一方、第２転送Tr５２2#iがオンになったとき、PD５１1に蓄積された電荷、及び、PD５１2に蓄積された電荷が、第２転送Tr５２21及び５２22をそれぞれ介して、第２メモリ１１２12に転送されて加算されるとともに、PD５１3に蓄積された電荷、及び、PD５１4に蓄積された電荷が、第２転送Tr５２23及び５２24をそれぞれ介して、第２メモリ１１２34に転送されて加算される。
第１転送Tr５２1#i及び第２転送Tr５２2#iのオンオフが所定の回数だけ繰り返された後、第４転送Tr５２41及び５２42がオンになっていないタイミングで、第３転送Tr５２31及び５２32がオンになり、第１メモリ１１１13及び１１１24に記憶された電荷が、第３転送Tr５２31及び５２32をそれぞれ介して、FD５３に転送されて加算される。
これにより、FD５３には、第１転送Tr５２11ないし５２14がオンになったときにPD５１1ないし５１4から転送された電荷の加算値が記憶され、この加算値に対応する電圧が、例えば、図６で説明した第１の受光パルスの期間に受光された反射光の電荷量に対応する画素信号として読み出される。
さらに、第１転送Tr５２1#i及び第２転送Tr５２2#iのオンオフが所定の回数だけ繰り返された後、第３転送Tr５２31及び５２32がオンになっていないタイミングで、第４転送Tr５２41及び５２42がオンになり、第２メモリ１１２12及び１１２34に記憶された電荷が、第４転送Tr５２41及び５２42をそれぞれ介して、FD５３に転送されて加算される。
これにより、FD５３には、第２転送Tr５２21ないし５２24がオンになったときにPD５１1ないし５１4から転送された電荷の加算値が記憶され、この加算値に対応する電圧が、例えば、図６で説明した第２の受光パルスの期間に受光された反射光の電荷量に対応する画素信号として読み出される。
なお、TOFセンサ６２では、第１メモリ１１１13及び１１１24、並びに、第２メモリ１１２12及び１１２34に対して、電荷が流れるように、ポテンシャルをつけることができる。
また、偏光画素３１Ｐ及びTOF画素３１Ｔは、共有画素の構成ではなく、１個のPD５１が、１個の画素回路を使用する構成をとることができる。
＜画素アレイ２１の第２の構成例＞
図１１は、図２の画素アレイ２１の第２の構成例を示す平面図である。図１２は、図１１の画素アレイ２１の第２の構成例の偏光画素３１Ｐ及びTOF画素３１Ｔの構成例を示す断面図である。
なお、図１１及び図１２において、図４及び図５の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図１１及び図１２においては、偏光画素３１Ｐのバンドパスフィルタ７１上に、カラーフィルタ１５１が形成されており、このカラーフィルタ１５１が形成されている点で、画素アレイ２１の第２の構成例は、図４及び図５の場合と相違する。
図１１及び図１２では、カラーフィルタ１５１として、Rの光を通過させる１５１Ｒ、Gの光を通過させるカラーフィルタ１５１Ｇｒ及び１５１Ｇｂ、並びに、Bの光を通過させる１５１Ｂが、ベイヤ配列になるように、偏光センサ６１を構成する偏光画素３１Ｐ１ないし３１Ｐ４上に形成されている。
すなわち、例えば、偏光画素３１Ｐ１には、カラーフィルタ１５１Ｇｂが、偏光画素３１Ｐ２には、カラーフィルタ１５１Ｂが、偏光画素３１Ｐ３には、カラーフィルタ１５１Ｒが、偏光画素３１Ｐ４には、カラーフィルタ１５１Ｇｒが、それぞれ形成されている。
以上のように、偏光画素３１Ｐに、カラーフィルタ１５１が形成されている場合には、偏光画素３１Ｐの画素値を用いて、カラーの画像を構成することができる。その結果、カラーの画像と、そのカラーの画像に映る被写体までの距離を表す距離画像とを、同時に得ることができる。
なお、図４及び図５の画素アレイ２１の第１の構成例では、偏光画素３１Ｐにカラーフィルタ１５１が設けられていないため、カラーの画像を構成することは困難であるが、偏光画素３１Ｐの画素値から白黒の画像を構成することができる。さらに、画素アレイ２１の第１の構成例では、偏光画素３１Ｐにカラーフィルタ１５１が設けられていないため、カラーフィルタ１５１が設けられている場合に比較して、感度を向上させること、すなわち、同一時間での受光量を大にすることができ、S/Nを向上させることができる。
＜画素アレイ２１の第３の構成例＞
図１３は、図２の画素アレイ２１の第３の構成例を示す平面図である。図１４は、図１３の画素アレイ２１の第３の構成例の偏光画素３１Ｐ及びTOF画素３１Ｔの構成例を示す断面図である。
なお、図１３及び図１４において、図４及び図５の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
画素アレイ２１の第３の構成例は、偏光画素３１Ｐ上にバンドパスフィルタ７１が設けられておらず、かつ、TOF画素３１Ｔ上に、カットフィルタ７２が設けられていない点で、図４及び図５の場合と相違する。
画素アレイ２１の第３の構成例では、偏光画素３１Ｐにおいて、TOF方式で用いられる赤外線の照射光に対応する反射光を受光しないように（反射光に対応する画素値を出力しないように）、偏光画素３１ＰとTOF画素３１Ｔとが、別個のタイミングで駆動される。すなわち、偏光画素３１ＰとTOF画素３１Ｔとは、例えば、交互に駆動される（発光装置１１は、TOF画素３１Ｔが駆動されるときに、照射光を発光する）。
以上のように、偏光画素３１ＰとTOF画素３１Ｔとを交互に駆動することで、偏光画素３１Ｐで、TOF方式で用いられる赤外線の照射光に対応する反射光を受光することを防止して、精度良く測距を行い、低消費電力化を図ることができる。
なお、画素アレイ２１の第３の構成例は、特に、例えば、動きが高速でない被写体の測距に有用である。
＜画素アレイ２１の第４の構成例＞
図１５は、図２の画素アレイ２１の第４の構成例を示す平面図である。図１６は、図１５の画素アレイ２１の第４の構成例の偏光画素３１Ｐ及びTOF画素３１Ｔ’の構成例を示す断面図である。
なお、図１５及び図１６において、図４及び図５の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
図１５及び図１６においては、TOFセンサ６２が、４個のTOF画素３１Ｔ（３１Ｔ１ないし３１Ｔ４）に代えて、サイズが大きい１個のTOF画素３１Ｔ’で構成されており、かかる点で、画素アレイ２１の第４の構成例は、TOFセンサ６２がサイズが小さい４個のTOF画素３１Ｔで構成される図４及び図５の場合と相違する。
図４及び図５では、偏光画素３１ＰとTOF画素３１Ｔとは、それぞれの受光面のサイズが、同一サイズになるように形成されているが、画素アレイ２１の第４の構成例では、TOF画素３１Ｔ’の受光面のサイズが、TOF画素３１Ｔ、したがって、偏光画素３１Ｐよりも大になるように形成されている。
すなわち、TOF画素３１Ｔ’（の受光面）は、偏光画素３１ＰやTOF画素３１Ｔの2×2個分と同一サイズになっている。
受光面が大のTOF画素３１Ｔ’では、受光面が小のTOF画素３１Ｔに比較して、感度が向上するので、すなわち、同一時間での受光量が大であるので、受光時間（露光時間）を短くしても、すなわち、TOF画素３１Ｔ’を高速で駆動しても、TOF画素３１Ｔと同様のS/Nを維持することができる。
但し、受光面が大のTOF画素３１Ｔ’では、受光面が小のTOF画素３１Ｔから1個の画素値を出力する場合に比較して、解像度が低下する。
以上のように、TOF画素３１Ｔ’では、高速が駆動が可能になるが、解像度が低下する。しかしながら、小さい偏光画素３１Ｐの画素値から偏光方式で算出される被写体までの相対的な距離を用いて、大きいTOF画素３１Ｔ’の画素値からTOF方式で算出される被写体までの絶対的な距離を補正することにより、大きいTOF画素３１Ｔ’を採用することに起因する解像度の低下を補って、測距の高速化及び高解像度化を図ることが可能となる。
＜画素アレイ２１の第５の構成例＞
図１７は、図２の画素アレイ２１の第５の構成例を示す平面図である。図１８は、図１７の画素アレイ２１の第５の構成例の偏光画素３１Ｐ及びTOF画素３１Ｔの構成例を示す断面図である。
なお、図１７及び図１８において、図１５及び図１６の場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
画素アレイ２１の第５の構成例は、偏光画素３１Ｐ上にバンドパスフィルタ７１が設けられておらず、かつ、TOF画素３１Ｔ’上に、カットフィルタ７２が設けられていない点で、図１５及び図１６の場合と相違する。
画素アレイ２１の第５の構成例では、第３の構成例の場合と同様に、偏光画素３１Ｐにおいて、TOF方式で用いられる赤外線の照射光に対応する反射光を受光しないように、偏光画素３１ＰとTOF画素３１Ｔ’とが、別個のタイミングで、すなわち、例えば、交互に駆動される。
したがって、画素アレイ２１の第５の構成例では、第３の構成例の場合と同様に、偏光画素３１Ｐで、TOF方式で用いられる赤外線の照射光に対応する反射光を受光することを防止して、精度良く測距を行うことができる。さらに、画素アレイ２１の第５の構成例では、低消費電力化を図ることができる。
なお、画素アレイ２１の第５の構成例は、第３の構成例と同様に、動きが高速でない被写体の測距に有用である。
＜移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
図１９は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１９に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｅｒ Ａｓｓｉｓｔａｎｃｅ Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１９の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
図２０は、撮像部１２０３１の設置位置の例を示す図である。
図２０では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
なお、図２０には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうちの、撮像部１２０３１に適用され得る。具体的には、例えば、図１の光センサ１３は、撮像部１２０３１に適用することができる。撮像部１２０３１に本開示に係る技術を適用することにより、消費電力を大にせずに、測距の精度の低下を抑制し、例えば、ADASの機能の実現に資することができる。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、図１５及び図１６の画素アレイ２１の第４の構成例においては、図１１及び図１２の画素アレイ２１の第２の構成例と同様に、カラーフィルタ１５１を設けることができる。
また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
なお、本技術は、以下の構成をとることができる。
＜１＞
発光部が発光した照射光が被写体において反射されて戻ってくる反射光を受光するTOF画素と、
前記被写体からの光のうちの、複数の偏光面の光をそれぞれ受光する複数の偏光画素と
を備える光センサ。
＜２＞
１以上の前記TOF画素と１以上の前記偏光画素とが平面上に交互に配置された
＜１＞に記載の光センサ。
＜３＞
前記TOF画素が、前記偏光画素と同一サイズ又は前記偏光画素より大のサイズに形成された
＜１＞又は＜２＞に記載の光センサ。
＜４＞
前記偏光画素は、所定の偏光面の光を通過させる偏光子を介して、前記被写体からの光を受光することにより、前記被写体からの光のうちの、所定の偏光面の光を受光する
＜１＞ないし＜３＞のいずれかに記載の光センサ。
＜５＞
前記TOF画素上に形成された、前記照射光の波長の光を通過させる通過フィルタと、
前記偏光画素上に形成された、前記照射光の波長の光をカットするカットフィルタと
をさらに備える＜１＞ないし＜４＞のいずれかに記載の光センサ。
＜６＞
前記TOF画素と前記偏光画素とは、同時に又は交互に駆動される
＜１＞ないし＜５＞のいずれかに記載の光センサ。
＜７＞
複数の偏光画素の画素値を用いて得られる被写体の法線方向から算出される前記被写体までの相対的な距離を用いて、前記TOF画素の画素値を用いて算出される前記被写体までの絶対的な距離が補正される
＜１＞ないし＜６＞のいずれかに記載の光センサ。
＜８＞
光を集光する光学系と、
光を受光する光センサと、
を備え
前記光センサは、
発光部が発光した照射光が被写体において反射されて戻ってくる反射光を受光するTOF画素と、
前記被写体からの光のうちの、複数の偏光面の光をそれぞれ受光する複数の偏光画素と
を有する
電子機器。
１１ 発光装置， １２ 光学系， １３ 光センサ， １４ 信号処理装置， １５ 制御装置， ２１ 画素アレイ， ２２ 画素駆動部， ２３ ADC， ３１ 画素， ４１ 画素制御線， ４２ VSL， ５１ PD， ５２ FET， ５３ FD， ５４ないし５６ FET， ３１Ｐ 偏光画素， ３１Ｔ，３１Ｔ’ TOF画素， ６１ 偏光センサ， ６２ TOFセンサ， ７１ バンドパスフィルタ， ７２ カットフィルタ， ８１ 偏光子， １５１ カラーフィルタ

Claims (8)

  1. 発光部が発光した照射光が被写体において反射されて戻ってくる反射光を受光するTOF画素と、
    前記被写体からの光のうちの、複数の偏光面の光をそれぞれ受光する複数の偏光画素と
    を備える光センサ。
  2. １以上の前記TOF画素と１以上の前記偏光画素とが平面上に交互に配置された
    請求項１に記載の光センサ。
  3. 前記TOF画素が、前記偏光画素と同一サイズ又は前記偏光画素より大のサイズに形成された
    請求項１に記載の光センサ。
  4. 前記偏光画素は、所定の偏光面の光を通過させる偏光子を介して、前記被写体からの光を受光することにより、前記被写体からの光のうちの、所定の偏光面の光を受光する
    請求項１に記載の光センサ。
  5. 前記TOF画素上に形成された、前記照射光の波長の光を通過させる通過フィルタと、
    前記偏光画素上に形成された、前記照射光の波長の光をカットするカットフィルタと
    をさらに備える請求項１に記載の光センサ。
  6. 前記TOF画素と前記偏光画素とは、同時に又は交互に駆動される
    請求項１に記載の光センサ。
  7. 複数の偏光画素の画素値を用いて得られる被写体の法線方向から算出される前記被写体までの相対的な距離を用いて、前記TOF画素の画素値を用いて算出される前記被写体までの絶対的な距離が補正される
    請求項１に記載の光センサ。
  8. 光を集光する光学系と、
    光を受光する光センサと、
    を備え
    前記光センサは、
    発光部が発光した照射光が被写体において反射されて戻ってくる反射光を受光するTOF画素と、
    前記被写体からの光のうちの、複数の偏光面の光をそれぞれ受光する複数の偏光画素と
    を有する
    電子機器。
JP2019517570A 2017-05-11 2018-04-27 光センサ、及び、電子機器 Active JP7044107B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017094357 2017-05-11
JP2017094357 2017-05-11
PCT/JP2018/017150 WO2018207661A1 (ja) 2017-05-11 2018-04-27 光センサ、及び、電子機器

Publications (2)

Publication Number Publication Date
JPWO2018207661A1 true JPWO2018207661A1 (ja) 2020-06-18
JP7044107B2 JP7044107B2 (ja) 2022-03-30

Family

ID=64105660

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019517570A Active JP7044107B2 (ja) 2017-05-11 2018-04-27 光センサ、及び、電子機器

Country Status (5)

Country Link
US (1) US20200057149A1 (ja)
JP (1) JP7044107B2 (ja)
CN (1) CN110603458B (ja)
DE (1) DE112018002395T5 (ja)
WO (1) WO2018207661A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111198382B (zh) * 2018-11-16 2022-07-12 精準基因生物科技股份有限公司 飞时测距传感器以及飞时测距方法
US11448739B2 (en) * 2019-03-08 2022-09-20 Synaptics Incorporated Derivation of depth information from time-of-flight (TOF) sensor data
US11018170B2 (en) * 2019-06-28 2021-05-25 Pixart Imaging Inc. Image sensor and control method for the same
KR20210050896A (ko) * 2019-10-29 2021-05-10 에스케이하이닉스 주식회사 이미지 센싱 장치
JP7458746B2 (ja) * 2019-11-01 2024-04-01 キヤノン株式会社 光電変換装置、撮像システム及び移動体
TW202220200A (zh) * 2020-06-16 2022-05-16 日商索尼半導體解決方案公司 攝像元件及電子機器
JP2022026074A (ja) * 2020-07-30 2022-02-10 ソニーセミコンダクタソリューションズ株式会社 撮像素子及び撮像装置
WO2022056743A1 (en) * 2020-09-16 2022-03-24 Huawei Technologies Co., Ltd. Method for measuring distance using time-of-flight method and system for measuring distance

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007515879A (ja) * 2003-12-17 2007-06-14 ノキア コーポレイション 赤外線画像と通常画像を生成する方法及び画像生成装置
JP2010256138A (ja) * 2009-04-23 2010-11-11 Canon Inc 撮像装置及びその制御方法
JP2014514733A (ja) * 2011-03-10 2014-06-19 サイオニクス、インク． ３次元センサ、システム、および関連する方法
JP2015114307A (ja) * 2013-12-16 2015-06-22 ソニー株式会社 画像処理装置と画像処理方法および撮像装置
WO2016088483A1 (ja) * 2014-12-01 2016-06-09 ソニー株式会社 画像処理装置と画像処理方法
US20160195429A1 (en) * 2015-01-07 2016-07-07 Semiconductor Components Industries, Llc Image sensors with multi-functional pixel clusters
WO2016136086A1 (ja) * 2015-02-27 2016-09-01 ソニー株式会社 撮像装置と画像処理装置と画像処理方法
WO2016136085A1 (ja) * 2015-02-27 2016-09-01 ソニー株式会社 画像処理装置と画像処理方法および撮像素子
WO2017056821A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 情報取得装置と情報取得方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9473688B2 (en) * 2012-12-20 2016-10-18 Canon Kabushiki Kaisha Image pickup apparatus comprising a plurality of imaging sensors and image processing units
CN108919294B (zh) * 2013-11-20 2022-06-14 新唐科技日本株式会社 测距摄像系统以及固体摄像元件
JP6455088B2 (ja) 2014-11-06 2019-01-23 株式会社デンソー 光飛行型測距装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007515879A (ja) * 2003-12-17 2007-06-14 ノキア コーポレイション 赤外線画像と通常画像を生成する方法及び画像生成装置
JP2010256138A (ja) * 2009-04-23 2010-11-11 Canon Inc 撮像装置及びその制御方法
JP2014514733A (ja) * 2011-03-10 2014-06-19 サイオニクス、インク． ３次元センサ、システム、および関連する方法
JP2015114307A (ja) * 2013-12-16 2015-06-22 ソニー株式会社 画像処理装置と画像処理方法および撮像装置
WO2016088483A1 (ja) * 2014-12-01 2016-06-09 ソニー株式会社 画像処理装置と画像処理方法
US20160195429A1 (en) * 2015-01-07 2016-07-07 Semiconductor Components Industries, Llc Image sensors with multi-functional pixel clusters
WO2016136086A1 (ja) * 2015-02-27 2016-09-01 ソニー株式会社 撮像装置と画像処理装置と画像処理方法
WO2016136085A1 (ja) * 2015-02-27 2016-09-01 ソニー株式会社 画像処理装置と画像処理方法および撮像素子
WO2017056821A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 情報取得装置と情報取得方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JO, SUNGEUN 外５名: ""High resolution three-dimensional flash LIDAR system using a polarization modulating Pockels cell", OPTICS EXPRESS [ONLINE], vol. Volume 24, Issue 26, JPN6021037183, 18 November 2016 (2016-11-18), pages 1580 - 1585, ISSN: 0004601229 *

Also Published As

Publication number Publication date
US20200057149A1 (en) 2020-02-20
DE112018002395T5 (de) 2020-01-23
CN110603458B (zh) 2024-03-22
CN110603458A (zh) 2019-12-20
JP7044107B2 (ja) 2022-03-30
WO2018207661A1 (ja) 2018-11-15

Similar Documents

Publication Publication Date Title
JP7044107B2 (ja) 光センサ、及び、電子機器
US10746874B2 (en) Ranging module, ranging system, and method of controlling ranging module
US11425318B2 (en) Sensor and control method
JP7146483B2 (ja) 受光装置およびその制御方法、並びに電子機器
WO2020116185A1 (ja) 固体撮像装置、信号処理チップ、および、電子機器
WO2020170861A1 (ja) イベント信号検出センサ及び制御方法
WO2020195966A1 (ja) 撮像システム及び撮像システムの制御方法、並びに、物体認識システム
WO2020105314A1 (ja) 固体撮像素子、および、撮像装置
EP3865911B1 (en) Sensor fusion system, synchronization control device, and synchronization control method
WO2020129657A1 (ja) センサ及び制御方法
US20220222912A1 (en) Light receiving device, solid-state imaging apparatus, electronic equipment, and information processing system
WO2020246186A1 (ja) 撮像システム
TW202127637A (zh) 受光元件、測距模組
WO2020137318A1 (ja) 測定装置、測距装置および測定方法
WO2022270034A1 (ja) 撮像装置、電子機器、および光検出方法
WO2021235222A1 (ja) 受光装置およびその駆動制御方法、並びに、測距装置
US20230228875A1 (en) Solid-state imaging element, sensing system, and control method of solid-state imaging element
WO2022254792A1 (ja) 受光素子およびその駆動方法、並びに、測距システム
WO2021100593A1 (ja) 測距装置及び測距方法
WO2022239459A1 (ja) 測距装置及び測距システム
WO2022196139A1 (ja) 撮像装置および撮像システム
WO2023079840A1 (ja) 撮像装置および電子機器
WO2022149388A1 (ja) 撮像装置および測距システム
WO2021261079A1 (ja) 光検出装置および測距システム
WO2023181662A1 (ja) 測距装置および測距方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220228

R151 Written notification of patent or utility model registration

Ref document number: 7044107

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151