WO2022158570A1 - 距離画像撮像装置、及び距離画像撮像方法 - Google Patents

距離画像撮像装置、及び距離画像撮像方法 Download PDF

Info

Publication number
WO2022158570A1
WO2022158570A1 PCT/JP2022/002193 JP2022002193W WO2022158570A1 WO 2022158570 A1 WO2022158570 A1 WO 2022158570A1 JP 2022002193 W JP2022002193 W JP 2022002193W WO 2022158570 A1 WO2022158570 A1 WO 2022158570A1
Authority
WO
WIPO (PCT)
Prior art keywords
charge
distance
amount
accumulated
unit
Prior art date
Application number
PCT/JP2022/002193
Other languages
English (en)
French (fr)
Inventor
邦広 畠山
友洋 中込
Original Assignee
凸版印刷株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2021008219A external-priority patent/JP2022112389A/ja
Priority claimed from JP2021008218A external-priority patent/JP2022112388A/ja
Application filed by 凸版印刷株式会社 filed Critical 凸版印刷株式会社
Priority to CN202280010872.9A priority Critical patent/CN116868087A/zh
Priority to EP22742689.7A priority patent/EP4283253A1/en
Publication of WO2022158570A1 publication Critical patent/WO2022158570A1/ja
Priority to US18/355,978 priority patent/US20240022833A1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705Pixels for depth measurement, e.g. RGBZ
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • G01C3/08Use of electric radiation detectors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • G01S7/4863Detector arrays, e.g. charge-transfer gates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4865Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation

Definitions

  • TOF Time of Flight
  • TOF utilizes the fact that the speed of light is known, and irradiates an object with light pulses in the near-infrared region. Then, the time difference between the time when the light pulse is applied and the time when the reflected light of the applied light pulse is received by the object is measured. The distance to the object is calculated based on this time difference.
  • the charge ratio is the sum of the distance calculation charge amount accumulated in each of the distance calculation charge accumulation units and the sum of the distance calculation charge amounts accumulated in each of the distance calculation charge accumulation units. Alternatively, it is the ratio of the charge amount for distance calculation by one or a combination of a plurality of them.
  • the pixel is provided with a first charge storage section, a second charge storage section, a third charge storage section, and a fourth charge storage section, which are the four charge storage sections.
  • the distance image processing unit stores the charges in the order of the first charge storage unit, the second charge storage unit, the third charge storage unit, and the fourth charge storage unit at a timing synchronized with the irradiation of the light pulse.
  • the diffuser plate 22 is an optical component that diffuses the laser light in the near-infrared wavelength band emitted by the light source device 21 over the area of the surface that irradiates the subject OB.
  • the pulsed laser light diffused by the diffusion plate 22 is emitted as a light pulse PO, and is irradiated onto the object OB.
  • the distance calculation unit 42 calculates the distance to the object OB based on the pixel signal output from the distance image sensor 32, and outputs the calculated distance information.
  • the distance calculation unit 42 calculates the distance to the subject OB based on the charge amounts accumulated in the plurality of charge accumulation units CS.
  • Modification 1 of the first embodiment Modification 1 of the first embodiment will now be described.
  • the present modified example 1 is different from the above-described first embodiment in that the storage unit 44 stores two pieces of table information 440 (440A) divided by the threshold value Th.
  • Modification 2 of the first embodiment Modification 2 of the first embodiment will now be described.
  • the second modification differs from the first embodiment in that the storage unit 44 stores table information 440 (440B) corresponding to the range of the unit accumulated charge amount Qint.
  • the sum of the distance calculation charge amount accumulated in each of the two distance calculation charge accumulation units, the two distance calculation charge accumulation units It is possible to calculate the amount of charge for distance calculation accumulated in one of them and the amount of charge for distance calculation accumulated in the other. Therefore, the charge ratio R can be calculated without specifying the two distance calculation charge storage units.
  • the table information 540 is created so that the table intervals are different depending on whether the reflected light RL is accumulated unevenly or not.
  • the table interval is an interval corresponding to the difference between adjacent variables when the variables (charge ratio R or distance D) included in the table information 540 are arranged in ascending order or descending order.
  • FIG. 22 shows an example in which the charge ratio R is represented by the formula (16). That is, FIG. 22 shows an upward-sloping characteristic in which the distance D increases as the charge ratio R increases.
  • the charge ratio threshold is set to (1.0-charge ratio R5), the table interval for charge ratios equal to or lower than the charge ratio threshold is set finely, and the table interval for charge ratios greater than the charge ratio threshold is coarsely set. be.
  • the pixel 421 of the distance image capturing device 101 includes three charge storage units CS1 to CS3 has been described as an example. However, it is not limited to this.
  • the pixel 421 of the distance image pickup device 101 may be configured to include four or more (for example, N (N ⁇ 4)) charge storage units CS.
  • the charge amount Q2# is the charge amount (second distance calculation charge amount) obtained by subtracting the charge amount Qb corresponding to the external light component from the charge amount Q2 (second charge amount) accumulated in the charge storage section CS2 in FIG. is.
  • the charge storage unit CS2 is the charge storage unit CS in which the amount of charge corresponding to the reflected light RL reflected by the light pulse PO reflected by the object OB is stored next to the charge storage unit CS1. It is an example of a "second charge storage section".
  • the table interval of variables that are unevenly distributed is smaller than the table interval of variables that are not unevenly distributed.
  • the distance image processing unit 104 determines the distance after correction by linear interpolation. Using the table information 540, the distance image processing unit 104 calculates a first distance (for example, distance D11) associated with a charge ratio (for example, charge ratio R1) smaller than the calculated charge ratio R, and A second distance (for example, distance D12) associated with a large charge ratio (for example, charge ratio R2) is extracted. The distance image processing unit 104 determines the distance obtained by linearly interpolating the extracted first distance (for example, distance D11) and second distance (for example, distance D12) as the corrected distance (measured distance). .
  • a first distance for example, distance D11
  • a charge ratio for example, charge ratio R1
  • a second distance for example, distance D12
  • the distance image processing unit 104 determines the distance obtained by linearly interpolating the extracted first distance (for example, distance D11) and second distance (for example, distance D12) as the corrected distance (measured distance).
  • the pixel 421 includes three or more charge storage units CS.
  • the storage unit 144 stores table information 540 for each combination of the first charge storage unit and the second charge storage unit among the three or more charge storage units CS.
  • the distance image processing section 4 determines a combination of the first charge storage section and the second charge storage section based on the amount of charge stored in the three or more charge storage sections CS.
  • the distance image processing unit 104 determines that the sum of the amount of charge accumulated in each of the two charge accumulation units whose charge accumulation timings are consecutive among the three or more charge accumulation units CS is equal to that of the other two charge accumulation units.
  • the distance calculation unit 142 compares the charge ratio XR with the threshold value ThR.
  • the threshold ThR is set in the vicinity of the value of the charge ratio XR corresponding to the vicinity of switching of the time windows.
  • the distance calculation unit 142 selects the charge ratio XR as the charge ratio R when the charge ratio XR is equal to or less than the threshold ThR.
  • the distance calculator 142 selects the charge ratio YR as the charge ratio R when the charge ratio XR exceeds the threshold ThR.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本発明は、光源部(2、102)と;光電変換素子(PD)及び複数の電荷蓄積部(CS1~CS4)を具備する画素(321、421)と、画素駆動回路(323、423)とを有する受光部(3、103)と;電荷比に被写体までの対応距離が対応付けられたテーブル情報(440、540)を記憶する記憶部(44、144)と、複数の電荷蓄積部(CS1~CS4)のそれぞれに蓄積された電荷量(Q1~Q4)とテーブル情報(440、540)を用いて、被写体(OB)までの測定距離(D)を決定する距離画像処理部(4、104)と;を備え、距離画像処理部(4、104)は、複数の電荷蓄積部(CS1~CS4)のそれぞれに蓄積された電荷量(Q1~Q4)に基づいて電荷比(R)を算出し、算出した電荷比(R)に対応する対応距離(D)をテーブル情報(440、540)から取得し、取得した対応距離(D)を用いて測定距離を決定する、距離画像撮像装置(1、101)である。

Description

距離画像撮像装置、及び距離画像撮像方法
 本発明は、距離画像撮像装置、及び距離画像撮像方法に関する。本願は、2021年1月21日に日本に出願された日本国特願2021-008218号および日本国特願2021-008219号に基づき優先権を主張し、その内容をここに援用する。
 従来から、物体との距離を計測するための技術として、光パルスの飛行時間を測定する技術がある。このような技術は、タイム・オブ・フライト(Time of Flight、以下、TOFという)と呼ばれる。TOFでは、光の速度が既知であることを利用し、物体に近赤外領域の光パルスを照射する。そして、この光パルスを照射した時刻と、照射した光パルスが物体によって反射してきた反射光を受光した時刻との時間差を測定する。この時間差に基づいて物体との距離を算出する。フォトダイオード(光電変換素子)を用いて距離を測定するための光を検出する測距センサが実用化されている。
 そして、近年では、物体との距離のみではなく、物体を含む二次元の画像における画素ごとの奥行き情報、つまり、物体に対する三次元の情報を得ることができる測距センサが実用化されている。このような測距センサは、距離画像撮像装置ともいわれている。距離画像撮像装置では、フォトダイオードを含む画素がシリコン基板に二次元の行列状に複数配置され、この画素面で物体に反射した反射光を受光する。距離画像撮像装置では、それぞれの画素が受光した光量(電荷)に基づいた光電変換信号を1つの画像分出力することによって、物体を含む二次元の画像と、この画像を構成するそれぞれの画素ごとの距離の情報を得ることができる。例えば、特許文献1には、1つの画素に3つの電荷蓄積部が設けられ、順番に電荷を振り分けて距離を計算する技術が開示されている。
日本国特許第4235729号公報
 このような距離画像撮像装置では、物体によって反射してきた反射光を画素が受光し、受光した反射光の光量を電荷に光電変換し、変換した電荷を電荷蓄積部に蓄積させ、蓄積させた電荷量に基づいて距離の情報を算出する。しかしながら、蓄積された電荷量から算出される距離が、実際の距離(実距離)に対して誤差がある場合がある。
 本発明は、上記の課題に基づいてなされたものであり、電荷蓄積部に蓄積された電荷量に基づいて算出される距離に誤差がある場合であっても、実際の距離に近づくように補正することができる距離画像撮像装置、及び距離画像撮像方法を提供することを目的とする。すなわち、電荷蓄積部に蓄積された電荷量に基づいて算出される距離と実際の距離との間に誤差がある場合でも、算出される距離を実際の距離に近づくように補正(演算)することができる距離画像撮像装置、及び距離画像撮像方法を提供することを目的とする。
 本発明の距離画像撮像装置は、被写体が存在する測定空間に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子、及び前記電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定のタイミングで前記画素における前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、電荷比に被写体までの対応距離が対応付けられたテーブル情報を記憶する記憶部と、前記電荷蓄積部のそれぞれに蓄積された電荷量と前記テーブル情報を用いて、前記被写体までの測定距離を決定する距離画像処理部と、を備える。前記距離画像処理部は、複数の前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて前記電荷比を算出し、算出した前記電荷比に対応する前記対応距離を前記テーブル情報から取得し、取得した前記対応距離を用いて前記測定距離を決定する。
 本発明の距離画像撮像装置では、前記記憶部は、単位蓄積回数あたりに蓄積される電荷量に基づく第1変数ごとに、前記電荷比に基づく第2変数と前記被写体までの距離に対応する対応距離との関係を示す前記テーブル情報を記憶している。前記第1変数は、単位蓄積回数あたりに前記電荷蓄積部のそれぞれに蓄積される電荷量の和に対応する変数である。前記第2変数は、複数の前記電荷蓄積部のうち前記光パルスが前記被写体に反射した反射光に対応する電荷量が振り分けて蓄積される二つ以上の距離演算用電荷蓄積部のそれぞれに蓄積された電荷量から外光成分を減算した距離演算用電荷量を用いて示される電荷比に対応する変数である。前記距離画像処理部は、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて前記第1変数及び前記第2変数を算出し、算出した前記第1変数に対応する前記テーブル情報を選択し、選択した前記テーブル情報を用いて、算出した前記第2変数に対応する前記対応距離を取得し、取得した前記対応距離を用いて、前記測定距離を決定する。
 本発明の距離画像撮像装置では、前記電荷比は、前記距離演算用電荷蓄積部のそれぞれに蓄積された前記距離演算用電荷量の和に対する、二つ以上の前記距離演算用電荷蓄積部のいずれか一つまたは複数の組み合わせによる前記距離演算用電荷量の比である。
 本発明の距離画像撮像装置では、前記距離画像処理部は、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて前記第1変数及び前記第2変数を算出し、算出した前記第1変数に対応する前記テーブル情報を選択し、選択した前記テーブル情報から、前記第2変数より小さい電荷比に対応付けられた第1距離と、前記第2変数より大きい電荷比に対応付けられた第2距離とを抽出し、抽出した前記第1距離と前記第2距離を線形補間することによって前記測定距離を決定する。
 本発明の距離画像撮像装置では、前記画素は、三つ以上の前記電荷蓄積部を具備し、前記距離画像処理部は、三つ以上の前記電荷蓄積部のそれぞれに蓄積された電荷量のうち、最も少ない電荷量を、外光成分に相当する電荷量とする。
 本発明の距離画像撮像装置では、前記画素は、三つ以上の前記電荷蓄積部を具備する。前記距離画像処理部は、三つ以上の前記電荷蓄積部のうち、予め決められた外光蓄積用電荷蓄積部に前記反射光に対応する電荷が蓄積されないように、前記外光蓄積用電荷蓄積部に電荷を蓄積させるタイミングを制御し、前記外光蓄積用電荷蓄積部に蓄積された電荷量を、外光成分に相当する電荷量とする。
 本発明の距離画像撮像装置では、前記記憶部は、前記第1変数が閾値より小さい場合に対応する前記テーブル情報である第1テーブル情報と、前記第1変数が前記閾値より大きい場合に対応する前記テーブル情報である第2テーブル情報とを記憶する。前記閾値は、前記光電変換素子から前記電荷蓄積部までの経路における電荷の転送効率によって生じる距離ずれに応じて決定される値である。距離画像処理部は、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて前記第1変数及び前記第2変数を算出し、算出した前記第1変数が前記閾値より小さい場合に前記第1テーブル情報を選択し、算出した前記第1変数が前記閾値より大きい場合に前記第2テーブル情報を選択する。
 本発明の距離画像撮像装置では、前記記憶部は、二つの前記距離演算用電荷蓄積部の組合せごとに前記テーブル情報を記憶する。前記距離画像処理部は、三つ以上の前記電荷蓄積部のうち、電荷を蓄積させるタイミングが連続する二つの前記電荷蓄積部のそれぞれに蓄積された電荷量の和が、他の二つの前記電荷蓄積部のそれぞれに蓄積された電荷量よりも大きい組合せを、前記距離演算用電荷蓄積部の組合せと決定し、決定した前記距離演算用電荷蓄積部の組合せに応じて前記テーブル情報を選択する。
 本発明の距離画像撮像装置では、前記画素には、三つの前記電荷蓄積部である第1電荷蓄積部、第2電荷蓄積部、及び第3電荷蓄積部が設けられている。前記距離画像処理部は、前記光パルスの照射に同期させたタイミングで、前記第1電荷蓄積部、第2電荷蓄積部、及び第3電荷蓄積部の順に、前記電荷が蓄積されるように制御し、前記第1電荷蓄積部に蓄積された第1電荷量と前記第3電荷蓄積部に蓄積された第3電荷量とを用いて、前記第1電荷量と前記第3電荷量との差分である第1算出値を算出し、前記第1算出値を、二つの前記距離演算用電荷蓄積部のいずれか一方の前記距離演算用電荷量とする。
 本発明の距離画像撮像装置では、前記画素には、四つの前記電荷蓄積部である第1電荷蓄積部、第2電荷蓄積部、第3電荷蓄積部、及び第4電荷蓄積部が設けられている。前記距離画像処理部は、前記光パルスの照射に同期させたタイミングで、前記第1電荷蓄積部、第2電荷蓄積部、第3電荷蓄積部、及び第4電荷蓄積部の順に、前記電荷が蓄積されるように前記画素駆動回路を制御し、前記第1電荷蓄積部に蓄積された第1電荷量と前記第3電荷蓄積部に蓄積された第3電荷量とを用いて、前記第1電荷量と前記第3電荷量との差分である第1算出値を算出し、前記第2電荷蓄積部に蓄積された第2電荷量と前記第4電荷蓄積部に蓄積された第4電荷量とを用いて、前記第2電荷量と前記第4電荷量との差分である第2算出値を算出し、前記第1算出値の絶対値と前記第2算出値の絶対値を加算した加算値を、二つの前記距離演算用電荷蓄積部における前記距離演算用電荷量の和とし、前記第1算出値を二つの前記距離演算用電荷蓄積部における一方の前記距離演算用電荷量とし、前記第2算出値を二つの前記距離演算用電荷蓄積部における他方の前記距離演算用電荷量する。
 本発明の距離画像撮像装置では、前記電荷比は、複数の前記電荷蓄積部のうち前記光パルスが前記被写体に反射した反射光に対応する電荷が振り分けて蓄積される二つ以上の電荷蓄積部のそれぞれに蓄積された電荷量から外光成分に相当する電荷量を減算した距離演算用電荷量を用いて示される比率であり、前記テーブル情報は、前記テーブル情報に含まれる前記電荷比と前記対応距離のいずれかである変数のそれぞれを昇順或いは降順に並べた場合に隣り合う前記変数の差分に相当するテーブル間隔について、前記電荷比が、所定の上限値を上回る状態、又は所定の下限値を下回る状態である偏在状態にある前記変数のテーブル間隔が、前記偏在状態にない前記変数のテーブル間隔よりも小さくなるように、作成されている。
 本発明の距離画像撮像装置では、複数の前記電荷蓄積部のうち前記光パルスが前記被写体に反射した反射光に対応する電荷が最初に蓄積される電荷蓄積部を第1電荷蓄積部とする。前記反射光に対応する電荷が前記第1電荷蓄積部の次に蓄積される電荷蓄積部を第2電荷蓄積部とする。前記第1電荷蓄積部に蓄積された第1電荷量から外光成分に相当する電荷量を減算した電荷量を第1距離演算用電荷量とする。前記第2電荷蓄積部に蓄積された第2電荷量から外光成分に相当する電荷量を減算した電荷量を第2距離演算用電荷量とする。前記電荷比は、前記第1距離演算用電荷量、及び前記第2距離演算用電荷量の和に対する、前記第2距離演算用電荷量の比である。前記偏在状態は、前記電荷比が所定の上限値を上回る、又は所定の下限値を下回る状態である。
 本発明の距離画像撮像装置では、前記テーブル情報に含まれる前記変数のそれぞれは、前記電荷比が第1閾値未満となる第1範囲、前記電荷比が第1閾値以上かつ第2閾値未満となる第2範囲、及び前記電荷比が第2閾値以上かつ第3閾値未満となる第3範囲のいずれかの範囲に含まれる値である。前記第3範囲における前記テーブル間隔は、前記第2範囲における前記テーブル間隔よりも小さい。
 本発明の距離画像撮像装置では、前記テーブル情報に含まれる前記変数のそれぞれは、前記電荷比が第1閾値未満となる第1範囲、前記電荷比が第1閾値以上かつ第2閾値未満となる第2範囲、及び前記電荷比が第2閾値以上かつ第3閾値未満となる第3範囲のいずれかの範囲に含まれる値である。前記第1範囲における前記テーブル間隔は、前記第2範囲における前記テーブル間隔よりも小さい。
 本発明の距離画像撮像装置では、前記距離画像処理部は、複数の前記電荷蓄積部のそれぞれに蓄積された電荷量に基づく前記電荷比を算出し、前記算出した電荷比より小さい電荷比に対応付けられた第1距離と、前記算出した電荷比より大きい電荷比に対応付けられた第2距離とを、前記テーブル情報から抽出し、抽出した前記第1距離と前記第2距離を線形補間することによって前記測定距離を決定する。
 本発明の距離画像撮像装置では、前記画素は、三つ以上の前記電荷蓄積部を具備する。前記距離画像処理部は、三つ以上の前記電荷蓄積部のそれぞれに蓄積された電荷量のうち、最も少ない電荷量を、外光成分に相当する電荷量とする。
 本発明の距離画像撮像装置では、前記画素は、三つ以上の前記電荷蓄積部を具備する。前記距離画像処理部は、三つ以上の前記電荷蓄積部のうち、予め決められた外光蓄積用電荷蓄積部に前記反射光に対応する電荷が蓄積されないように、前記外光蓄積用電荷蓄積部に電荷を蓄積させるタイミングを制御し、前記外光蓄積用電荷蓄積部に蓄積された電荷量を、外光成分に相当する電荷量とする。
 本発明の距離画像撮像装置では、前記画素には、三つの前記電荷蓄積部である第1電荷蓄積部、第2電荷蓄積部、及び第3電荷蓄積部が設けられている。前記距離画像処理部は、前記光パルスの照射に同期させたタイミングで、前記第1電荷蓄積部、第2電荷蓄積部、及び第3電荷蓄積部の順に、前記電荷が蓄積されるように制御し、前記第1電荷蓄積部に蓄積された第1電荷量と前記第3電荷蓄積部に蓄積された第3電荷量とを用いて、前記第1電荷量と前記第3電荷量との差分である第1算出値を算出し、前記第1算出値を、三つの前記電荷蓄積部のうち前記光パルスが前記被写体に反射した反射光に対応する電荷量が振り分けて蓄積される二つの距離演算用電荷蓄積部のいずれか一方に蓄積された前記反射光に対応する電荷量とする。
 本発明の距離画像撮像装置では、前記画素には、四つの前記電荷蓄積部である第1電荷蓄積部、第2電荷蓄積部、第3電荷蓄積部、及び第4電荷蓄積部が設けられている。前記距離画像処理部は、前記光パルスの照射に同期させたタイミングで、前記第1電荷蓄積部、第2電荷蓄積部、第3電荷蓄積部、及び第4電荷蓄積部の順に、前記電荷が蓄積されるように前記画素駆動回路を制御し、前記第1電荷蓄積部に蓄積された第1電荷量と前記第3電荷蓄積部に蓄積された第3電荷量とを用いて、前記第1電荷量と前記第3電荷量との差分である第1算出値を算出し、前記第2電荷蓄積部に蓄積された第2電荷量と前記第4電荷蓄積部に蓄積された第4電荷量とを用いて、前記第2電荷量と前記第4電荷量との差分である第2算出値を算出し、前記第1算出値の絶対値と前記第2算出値の絶対値を加算した加算値を、四つの前記電荷蓄積部のうち前記光パルスが前記被写体に反射した反射光に対応する電荷量が振り分けて蓄積される二つの距離演算用電荷蓄積部のそれぞれに蓄積された前記反射光に対応する電荷量である距離演算用電荷量の和とし、前記第1算出値を、二つの前記距離演算用電荷蓄積部における一方の前記距離演算用電荷量とし、前記第2算出値を二つの前記距離演算用電荷蓄積部における他方の前記距離演算用電荷量する。
 本発明の距離画像撮像装置では、前記画素は、三つ以上の前記電荷蓄積部を具備している。三つ以上の前記電荷蓄積部のうち前記光パルスが前記被写体に反射した反射光に対応する電荷が最初に蓄積される電荷蓄積部を第1電荷蓄積部とする。前記反射光に対応する電荷が前記第1電荷蓄積部の次に蓄積される電荷蓄積部を第2電荷蓄積部とする。前記記憶部は、前記第1電荷蓄積部と前記第2電荷蓄積部の組合せごとに前記テーブル情報を記憶する。前記距離画像処理部は、三つ以上の前記電荷蓄積部のうち、電荷を蓄積させるタイミングが連続する二つの前記電荷蓄積部のそれぞれに蓄積された電荷量の和が、他の二つの前記電荷蓄積部のそれぞれに蓄積された電荷量よりも大きい組合せを、前記第1電荷蓄積部及び前記第2電荷蓄積部の組合せと決定し、決定した前記第1電荷蓄積部及び前記第2電荷蓄積部の組合せに応じて前記テーブル情報を選択する。
 本発明の距離画像撮像装置では、複数の前記電荷蓄積部のうち前記光パルスが前記被写体に反射した反射光に対応する電荷が最初に蓄積される電荷蓄積部を第1電荷蓄積部とする。前記反射光に対応する電荷が前記第1電荷蓄積部の次に蓄積される電荷蓄積部を第2電荷蓄積部とする。前記記憶部は、近距離にある前記被写体に反射した反射光に対応する電荷量が蓄積される前記第1電荷蓄積部と前記第2電荷蓄積部の組合せに対応する前記テーブル情報である近距離用情報と、遠距離にある前記被写体に反射した反射光に対応する電荷量が蓄積される前記第1電荷蓄積部と前記第2電荷蓄積部の組合せに対応する前記テーブル情報である遠距離用情報とを記憶する。前記近距離用情報に含まれる前記変数のそれぞれは、前記電荷比が第1閾値未満となる第1範囲、前記電荷比が第1閾値以上かつ第2閾値未満となる第2範囲、及び前記電荷比が第2閾値以上かつ第3閾値未満となる第3範囲いずれかの範囲に含まれる値である。前記第3範囲における前記テーブル間隔は、前記第2範囲における前記テーブル間隔よりも小さい。前記遠距離用情報に含まれる前記変数のそれぞれは、前記電荷比が第4閾値未満となる第4範囲、前記電荷比が第4閾値以上かつ第5閾値未満となる第5範囲、及び前記電荷比が第5閾値以上かつ第6閾値未満となる第6範囲いずれかの範囲に含まれる値である。前記第4範囲における前記テーブル間隔は、前記第5範囲における前記テーブル間隔よりも小さい。
 本発明の距離画像撮像方法は、被写体が存在する測定空間に光パルスを照射する光源部と、入射した光に応じた電荷を発生する光電変換素子、及び前記電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定のタイミングで前記画素における前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、電荷比に被写体までの対応距離が対応付けられたテーブル情報を記憶する記憶部と、前記電荷蓄積部のそれぞれに蓄積された電荷量と前記テーブル情報を用いて、前記被写体までの測定距離を決定する距離画像処理部と、を備える距離画像撮像装置による距離画像撮像方法である。前記距離画像処理部は、複数の前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて前記電荷比を算出し、算出した前記電荷比に対応する前記対応距離を前記テーブル情報から取得し、取得した前記対応距離を用いて前記測定距離を決定する、距離画像撮像方法。
 本発明の距離画像撮像方法は、前記記憶部は、単位蓄積回数あたりに蓄積される電荷量に基づく第1変数ごとに、前記電荷比である第2変数と前記被写体までの距離に対応する前記対応距離との関係を示す前記テーブル情報を記憶する、前記距離画像撮像装置による距離画像撮像方法である。本発明の距離画像撮像方法では、前記第1変数は、単位蓄積回数あたりに前記電荷蓄積部のそれぞれに蓄積される電荷量の和に対応する変数である。前記第2変数は、三つ以上の前記電荷蓄積部のうち前記光パルスが前記被写体に反射した反射光に対応する電荷量が振り分けて蓄積される二つ以上の距離演算用電荷蓄積部のそれぞれに蓄積された電荷量から外光成分を減算した距離演算用電荷量を用いて示される電荷比に対応する変数である。前記距離画像処理部は、前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて前記第1変数及び前記第2変数を算出し、算出した前記第1変数に対応する前記テーブル情報を選択し、選択した前記テーブル情報を用いて、算出した前記第2変数に対応する前記対応距離を取得し、取得した前記対応距離を用いて、前記測定距離を決定する。
 本発明の距離画像撮像方法では、前記電荷比は、複数の前記電荷蓄積部のうち前記光パルスが前記被写体に反射した反射光に対応する電荷が振り分けて蓄積される二つ以上の電荷蓄積部のそれぞれに蓄積された電荷量から外光成分に相当する電荷量を減算した距離演算用電荷量を用いて示される比率であり、前記テーブル情報は、前記テーブル情報に含まれる前記電荷比と前記対応距離のいずれかである変数のそれぞれを昇順又は降順に並べた場合に隣り合う前記変数の差分に相当するテーブル間隔について、前記電荷比が、所定の上限値を上回る状態、又は所定の下限値を下回る状態である偏在状態にある前記変数のテーブル間隔が、前記偏在状態にない前記変数のテーブル間隔よりも小さくなるように、作成されている。
 本発明によれば、電荷蓄積部に蓄積された電荷量に基づいて算出される距離に誤差がある場合であっても、実際の距離に近づくように補正することができる。すなわち、電荷蓄積部に蓄積された電荷量に基づいて算出される距離と実際の距離との間に誤差がある場合でも、算出される距離を実際の距離に近づくように補正(演算)することができる。
第1実施形態の距離画像撮像装置の概略構成を示したブロック図である。 第1実施形態の距離画像センサの概略構成を示したブロック図である。 第1実施形態の画素の構成の一例を示した回路図である。 第1実施形態の画素を駆動するタイミングの例を示すタイミングチャートである。 第1実施形態のテーブル情報の構成の例を示す図である。 第1実施形態のテーブル情報の構成の例を示す図である。 第1実施形態のテーブル情報の構成の例を示す図である。 第1実施形態のテーブル情報の構成の例を示す図である。 第1実施形態のテーブル情報を説明する図である。 第1実施形態の距離画像処理部がテーブル情報を用いて線形補間を行う処理を説明する図である。 第1実施形態の距離画像処理部が外光成分を決定する処理を説明する図である。 第1実施形態の距離画像処理部が外光成分を決定する処理を説明する図である。 第1実施形態の距離画像処理部が行う処理の流れを示すフローチャートである。 第1実施形態の効果を説明する図である。 第1実施形態の変形例1におけるテーブル情報の構成の例を示す図である。 第1実施形態の変形例2におけるテーブル情報の構成の例を示す図である。 第1実施形態の変形例3における二つのタイムウィンドウを説明する図である。 第1実施形態の変形例3におけるテーブル情報の構成の例を示す図である。 第1実施形態の変形例3におけるテーブル情報の構成の例を示す図である。 第2実施形態の距離画像撮像装置の概略構成を示したブロック図である。 第2実施形態の距離画像センサの概略構成を示したブロック図である。 第2実施形態の画素の構成の一例を示した回路図である。 第2実施形態の画素を駆動するタイミングの例を示すタイミングチャートである。 第2実施形態のテーブル情報の構成の例を示す図である。 第2実施形態のテーブル情報を説明する図である。 第2実施形態の距離画像処理部がテーブル情報を用いて線形補間を行う処理を説明する図である。 第2実施形態の距離画像処理部が外光成分を決定する処理を説明する図である。 第2実施形態の距離画像処理部4が外光成分を決定する処理を説明する図である。 第2実施形態の距離画像処理部が行う処理の流れを示すフローチャートである。 第2実施形態の効果を説明する図である。 第2実施形態の変形例における二つのタイムウィンドウを説明する図である。 第2実施形態の変形例におけるテーブル情報の構成の例を示す図である。 第2実施形態の変形例におけるテーブル情報の構成の例を示す図である。 第2実施形態の変形例におけるテーブル情報を説明する図である。 第2実施形態の変形例におけるテーブル情報の構成の例を示す図である。 第2実施形態の変形例におけるテーブル情報を説明する図である。
(第1実施形態)
 以下、第1実施形態の距離画像撮像装置を、図面を参照しながら説明する。
 まず、第1実施形態について説明する。図1は、本発明の第1実施形態の距離画像撮像装置1の概略構成を示したブロック図である。図1に示した構成の距離画像撮像装置1は、光源部2と、受光部3と、距離画像処理部4とを備える。図1には、距離画像撮像装置1において距離を測定する対象物である被写体OBも、距離画像撮像装置1と併せて示している。
 光源部2は、距離画像処理部4からの制御に従って、距離画像撮像装置1において距離を測定する対象の被写体OBが存在する撮影対象の空間に光パルスPOを照射する。光源部2は、例えば、垂直共振器面発光レーザー(VCSEL:Vertical Cavity Surface Emitting Laser)などの面発光型の半導体レーザーモジュールである。光源部2は、光源装置21と、拡散板22とを備える。
 光源装置21は、被写体OBに照射する光パルスPOとなる近赤外の波長帯域(例えば、波長が850nm~940nmの波長帯域)のレーザー光を発光する光源である。光源装置21は、例えば、半導体レーザー発光素子である。光源装置21は、タイミング制御部41からの制御に応じて、パルス状のレーザー光を発光する。
 拡散板22は、光源装置21が発光した近赤外の波長帯域のレーザー光を、被写体OBに照射する面の広さに拡散する光学部品である。拡散板22が拡散したパルス状のレーザー光が、光パルスPOとして出射され、被写体OBに照射される。
 受光部3は、距離画像撮像装置1において距離を測定する対象の被写体OBによって反射された光パルスPOの反射光RLを受光し、受光した反射光RLに応じた画素信号を出力する。受光部3は、レンズ31と、距離画像センサ32とを備える。
 レンズ31は、入射した反射光RLを距離画像センサ32に導く光学レンズである。レンズ31は、入射した反射光RLを距離画像センサ32側に出射して、距離画像センサ32の受光領域に備えた画素に受光(入射)させる。
 距離画像センサ32は、距離画像撮像装置1に用いられる撮像素子である。距離画像センサ32は、二次元の受光領域に複数の画素を備える。距離画像センサ32のそれぞれの画素の中に、1つの光電変換素子と、この1つの光電変換素子に対応する複数の電荷蓄積部と、それぞれの電荷蓄積部に電荷を振り分ける構成要素とが設けられる。つまり、画素は、複数の電荷蓄積部に電荷を振り分けて蓄積させる振り分け構成の撮像素子である。
 距離画像センサ32は、タイミング制御部41からの制御に応じて、光電変換素子が発生した電荷をそれぞれの電荷蓄積部に振り分ける。また、距離画像センサ32は、電荷蓄積部に振り分けられた電荷量に応じた画素信号を出力する。距離画像センサ32には、複数の画素が二次元の行列状に配置されており、それぞれの画素の対応する1フレーム分の画素信号を出力する。
 距離画像処理部4は、距離画像撮像装置1を制御し、被写体OBまでの距離を演算する。距離画像処理部4は、タイミング制御部41と、距離演算部42と、測定制御部43と、記憶部44とを備える。なお、距離画像処理部4の機能部(タイミング制御部41、距離演算部42、測定制御部43、及び記憶部44)の一部が、距離画像センサ32に組み込まれていてもよい。
 タイミング制御部41は、測定制御部43の制御に応じて、測定に要する様々な制御信号を出力するタイミングを制御する。ここでの様々な制御信号とは、例えば、光パルスPOの照射を制御する信号、反射光RLを複数の電荷蓄積部に振り分けて蓄積させる信号、1フレームあたりの振り分け回数(蓄積回数)を制御する信号などである。振り分け回数とは、電荷蓄積部CS(図3を参照)に電荷を振り分ける処理を繰返す回数である。この電振り分け回数と、電荷を振り分ける処理1回あたりに各電荷蓄積部CSに電荷を蓄積させる時間(後述する蓄積時間Ta)の積が露光時間となる。
 距離演算部42は、距離画像センサ32から出力された画素信号に基づいて、被写体OBまでの距離を算出し、算出した距離情報を出力する。距離演算部42は、複数の電荷蓄積部CSに蓄積された電荷量に基づいて、被写体OBまでの距離を演算する。
 本第1実施形態では、距離演算部42は、後述するテーブル情報440を用いて、被写体OBまでの距離を決定する。テーブル情報440については、後で詳しく説明する。また、距離演算部42が、テーブル情報440を用いて被写体OBまでの距離を決定する方法については、後で詳しく説明する。
 測定制御部43は、タイミング制御部41を制御する。例えば、測定制御部43は、1フレームの振り分け回数及び蓄積時間Ta等を設定し、設定した内容で撮像が行われるようにタイミング制御部41を制御する。
 記憶部44は、記憶媒体、例えば、HDD(Hard Disk Drive)、フラッシュメモリ、EEPROM(Electrically Erasable Programmable Read Only Memory)、RAM(Random Access read/write Memory)、ROM(Read Only Memory)、または、これらの記憶媒体の任意の組み合わせによって構成される。記憶部44は、例えば、テーブル情報440を記憶する。テーブル情報440については、後で詳しく説明する。
 このような構成によって、距離画像撮像装置1では、光源部2が被写体OBに照射した近赤外の波長帯域の光パルスPOが被写体OBによって反射された反射光RLを受光部3が受光し、距離画像処理部4が、被写体OBとの距離を測定した距離情報を出力する。
 なお、図1においては、距離画像処理部4を内部に備えた構成の距離画像撮像装置1が示されているが、距離画像処理部4は、距離画像撮像装置1の外部に備える構成要素であってもよい。
 次に、距離画像撮像装置1において撮像素子として用いられる距離画像センサ32の構成について説明する。図2は、実施形態の距離画像撮像装置1に用いられる撮像素子(距離画像センサ32)の概略構成を示したブロック図である。
 図2に示すように、距離画像センサ32は、例えば、複数の画素321が配置された受光領域320と、制御回路322と、振り分け動作を有した垂直走査回路323と、水平走査回路324と、画素信号処理回路325とを備える。
 受光領域320は、複数の画素321が配置された領域であって、図2では、8行8列に二次元の行列状に配置された例を示している。画素321は、受光した光量に相当する電荷を蓄積する。制御回路322は、距離画像センサ32を統括的に制御する。制御回路322は、例えば、距離画像処理部4のタイミング制御部41からの指示に応じて、距離画像センサ32の構成要素の動作を制御する。なお、距離画像センサ32に備えた構成要素の制御は、タイミング制御部41が直接行う構成であってもよい。この場合、制御回路322を省略することも可能である。
 垂直走査回路323は、制御回路322からの制御に応じて、受光領域320に配置された画素321を行ごとに制御する回路である。垂直走査回路323は、画素321の電荷蓄積部CSそれぞれに蓄積された電荷量に応じた電圧信号を画素信号処理回路325に出力させる。この場合、垂直走査回路323は、光電変換素子により変換された電荷を画素321の電荷蓄積部それぞれに振り分ける。つまり、垂直走査回路323は、「画素駆動回路」の一例である。
 画素信号処理回路325は、制御回路322からの制御に応じて、それぞれの列の画素321から対応する垂直信号線に出力された電圧信号に対して、予め定めた信号処理(例えば、ノイズ抑圧処理やA/D変換処理など)を行う回路である。
 水平走査回路324は、制御回路322からの制御に応じて、画素信号処理回路325から出力される信号を、水平信号線に順次出力させる回路である。これにより、1フレーム分蓄積された電荷量に相当する画素信号が、水平信号線を経由して距離画像処理部4に順次出力される。
 以下では、画素信号処理回路325がA/D変換処理を行い、画素信号がデジタル信号であるものとして説明する。
 ここで、距離画像センサ32に備える受光領域320内に配置された画素321の構成について説明する。図3は、実施形態の距離画像センサ32の受光領域320内に配置された画素321の構成の一例を示した回路図である。図3には、受光領域320内に配置された複数の画素321のうち、1つの画素321の構成の一例を示している。画素321は、3つの画素信号読み出し部を備えた構成の一例である。
 図3に示すように、画素321は、1つの光電変換素子PDと、ドレインゲートトランジスタGDと、対応する出力端子Oから電圧信号を出力する3つの画素信号読み出し部RUとを備える。画素信号読み出し部RUのそれぞれは、読み出しゲートトランジスタGと、フローティングディフュージョンFDと、電荷蓄積容量Cと、リセットゲートトランジスタRTと、ソースフォロアゲートトランジスタSFと、選択ゲートトランジスタSLとを備える。それぞれの画素信号読み出し部RUでは、フローティングディフュージョンFDと電荷蓄積容量Cとによって電荷蓄積部CSが構成されている。
 なお、図3においては、3つの画素信号読み出し部RUの符号「RU」の後に、「1」、「2」または「3」の数字を付与することによって、それぞれの画素信号読み出し部RUを区別する。また、3つの画素信号読み出し部RUと同様に、3つの画素信号読み出し部RUに備えたそれぞれの構成要素も、それぞれの画素信号読み出し部RUを表す数字をそれぞれの構成要素を表す符号の後に示すことによって、区別して表す。
 図3に示した画素321において、出力端子O1から電圧信号を出力する画素信号読み出し部RU1は、読み出しゲートトランジスタG1と、フローティングディフュージョンFD1と、電荷蓄積容量C1と、リセットゲートトランジスタRT1と、ソースフォロアゲートトランジスタSF1と、選択ゲートトランジスタSL1とを備える。画素信号読み出し部RU1では、フローティングディフュージョンFD1と電荷蓄積容量C1とによって電荷蓄積部CS1が構成されている。画素信号読み出し部RU2および画素信号読み出し部RU3も、画素信号読み出し部RU1と同様の構成である。
 光電変換素子PDは、入射した光を光電変換して電荷を発生させ、発生させた電荷を蓄積する埋め込み型のフォトダイオードである。光電変換素子PDの構造は任意であってよい。光電変換素子PDは、例えば、P型半導体とN型半導体とを接合した構造のPNフォトダイオードであってもよいし、P型半導体とN型半導体との間にI型半導体を挟んだ構造のPINフォトダイオードであってもよい。また、光電変換素子PDは、フォトダイオードに限定されるものではなく、例えば、フォトゲート方式の光電変換素子であってもよい。
 画素321では、光電変換素子PDが入射した光を光電変換して発生させた電荷を3つの電荷蓄積部CSのそれぞれに振り分け、振り分けられた電荷の電荷量に応じたそれぞれの電圧信号を、画素信号処理回路325に出力する。
 距離画像センサ32に配置される画素の構成は、図3に示したような、3つの画素信号読み出し部RUを備えた構成に限定されるものではなく、複数の画素信号読み出し部RUを備えた構成の画素であればよい。つまり、距離画像センサ32に配置される画素に備える画素信号読み出し部RU(電荷蓄積部CS)の数は、2つであってもよいし、4つ以上であってもよい。
 また、図3に示した構成の画素321では、電荷蓄積部CSが、フローティングディフュージョンFDと電荷蓄積容量Cとによって構成される一例を示した。しかし、電荷蓄積部CSは、少なくともフローティングディフュージョンFDによって構成されればよく、画素321が電荷蓄積容量Cを備えない構成であってもよい。
 また、図3に示した構成の画素321では、ドレインゲートトランジスタGDを備える構成の一例を示したが、これに限定されない。例えば、電荷蓄積部CSに蓄積されずに光電変換素子PDに残っている電荷を破棄する必要がない場合には、ドレインゲートトランジスタGDを備えない構成であってもよい。
 次に、画素321の駆動タイミングについて図4を用いて説明する。図4は、第1実施形態の画素321を駆動するタイミングを示すタイミングチャートである。
 図4では、光パルスPOを照射するタイミングを「L」、反射光が受光されるタイミングを「R」、駆動信号TX1のタイミングを「G1」、駆動信号TX2のタイミングを「G2」、駆動信号TX3のタイミングを「G3」、駆動信号RSTDのタイミングを「GD」、という項目名でそれぞれ示している。なお、駆動信号TX1は、読み出しゲートトランジスタG1を駆動させる信号である。駆動信号TX2、TX3についても、駆動信号TX1と同様である。
 図4に示すように、光パルスPOが照射時間Toで照射され、遅延時間Td遅れて反射光RLが距離画像センサ32に受光される。垂直走査回路323は、光パルスPOの照射に同期させて、電荷蓄積部CS1、CS2、及びCS3にその順に電荷を蓄積させる。図4では、1回の振り分け処理において、光パルスPOを照射して電荷蓄積部CS1、CS2、及びCS3に順に電荷を蓄積させるまでの時間を「単位蓄積期間」と表している。「単位蓄積期間」において行われる振り分け処理を1フレームに相当する蓄積回数だけ繰り返し行った後に、その間に蓄積された電荷量を読み出す処理が行われる。この蓄積された電荷量を読み出す処理が行われる時間を「読み出し期間」と表している。
 まず、図4を用いて近距離にある物体からの反射光RLを受光する場合について説明する。垂直走査回路323は、光パルスPOを照射させるタイミングに同期させて、ドレインゲートトランジスタGDをオフ状態にするとともに、読み出しゲートトランジスタG1をオン状態とする。垂直走査回路323は、読み出しゲートトランジスタG1をオン状態としてから蓄積時間Taが経過した後に、読み出しゲートトランジスタG1をオフ状態にする。これにより、読み出しゲートトランジスタG1がオン状態に制御されている間に光電変換素子PDにより光電変換された電荷は、読み出しゲートトランジスタG1を介して電荷蓄積部CS1に蓄積される。
 次に、垂直走査回路323は、読み出しゲートトランジスタG1をオフ状態としたタイミングで、読み出しゲートトランジスタG2を蓄積時間Taオン状態にする。これにより、読み出しゲートトランジスタG2がオン状態に制御されている間に光電変換素子PDにより光電変換された電荷は、読み出しゲートトランジスタG2を介して電荷蓄積部CS2に蓄積される。
 次に、垂直走査回路323は、電荷蓄積部CS2への電荷の蓄積を終了させたタイミングで、読み出しゲートトランジスタG3をオン状態にし、蓄積時間Taが経過した後に、読み出しゲートトランジスタG3をオフ状態にする。これにより、読み出しゲートトランジスタG3がオン状態に制御されている間に光電変換素子PDにより光電変換された電荷は、読み出しゲートトランジスタG3を介して電荷蓄積部CS3に蓄積される。
 次に、垂直走査回路323は、電荷蓄積部CS3への電荷の蓄積を終了させたタイミングで、ドレインゲートトランジスタGDをオン状態にして電荷の排出を行う。これにより、光電変換素子PDにより光電変換された電荷はドレインゲートトランジスタGDを介して破棄される。
 垂直走査回路323は、上述したような駆動を、1フレームに渡って所定の振り分け回数分繰り返し行う。その後、垂直走査回路323は、それぞれの電荷蓄積部CSに振り分けられた電荷量に応じた電圧信号を出力する。具体的に、垂直走査回路323は、選択ゲートトランジスタSL1を所定時間オン状態にすることにより、画素信号読み出し部RU1を介して電荷蓄積部CS1に蓄積された電荷量に対応する電圧信号を出力端子O1から出力させる。同様に、垂直走査回路323は、順次、選択ゲートトランジスタSL2、SL3をオン状態とすることにより、電荷蓄積部CS2、CS3に蓄積された電荷量に対応する電圧信号を出力端子O2、O3から出力させる。そして、画素信号処理回路325、及び水平走査回路324を介して、電荷蓄積部CS1~CS3のそれぞれに蓄積された、1フレーム分の電荷量に相当する電気信号が、距離演算部42に出力される。
 なお、上記では、光源部2が読み出しゲートトランジスタG1がオン状態となったタイミングで、光パルスPOを照射する場合を例に説明した。しかしながら、これに限定されることはない。光源部2は、少なくとも近距離にある物体からの反射光RLが電荷蓄積部CS1、CS2に跨って受光されるようなタイミングで光パルスPOを照射すればよい。例えば、光源部2は、読み出しゲートトランジスタG1がオン状態となる手前のタイミングで光パルスPOを照射するようにしてもよい。また、上記では、光パルスPOを照射する照射時間Toが蓄積時間Taと同じ長さである場合を例に説明した。しかしながら、これに限定されることはない。照射時間Toと蓄積時間Taとが異なる時間間隔であってもよい。
 図4に示すような近距離受光画素においては、光パルスPOを照射するタイミングと、電荷蓄積部CS1~CS3のそれぞれに電荷を蓄積させるタイミングとの関係から、電荷蓄積部CS1及びCS2に、反射光RL及び外光成分に相当する電荷量が振り分けられて保持される。また、電荷蓄積部CS3には、背景光などの外光成分に相当する電荷量が保持される。この場合、電荷蓄積部CS1及びCS2は、「距離演算用電荷蓄積部」の一例である。この場合、電荷蓄積部CS1及びCS2に蓄積される反射光RLに相当する電荷量は、「距離演算用電荷量」の一例である。
 電荷蓄積部CS1及びCS2に振り分けられる電荷量の配分(振り分け比率)は、光パルスPOが被写体OBに反射して距離画像撮像装置1に入射されるまでの遅延時間Tdに応じた比率となる。
 距離演算部42は、この原理を利用して、従来の近距離受光画素においては、以下の(1)式により、遅延時間Tdを算出する。
 Td=To×(Q2-Q3)/(Q1+Q2-2×Q3) …(1)
 ここで、Toは光パルスPOが照射された期間、Q1は電荷蓄積部CS1に蓄積された電荷量、Q2は電荷蓄積部CS2に蓄積された電荷量、Q3は電荷蓄積部CS3に蓄積された電荷量、を示す。なお、(1)式では、電荷蓄積部CS1及びCS2に蓄積される電荷量のうち外光成分に相当する電荷量が電荷蓄積部CS3に蓄積された電荷量と同量であることを前提とする。
 距離演算部42は、近距離受光画素においては、(1)式で求めた遅延時間Tdに、光速(速度)を乗算させることにより、被写体OBまでの往復の距離を算出する。そして、距離演算部42は、上記で算出した往復の距離を1/2とすることにより、被写体OBまでの距離を求める。
 ここで、従来の距離画像撮像装置1において、蓄積された電荷量から算出される距離(測定距離)に誤差が生じる要因について説明する。
 誤差が生じる一因として、距離画像撮像装置1における回路内での信号遅延により、矩形の立上りや立下りにおいて遅延が発生し、波形になまりが生じることが、考えられる。すなわち、このような光パルス及びゲートパルスのなまり及び電荷転送の遅延が、測定する距離に誤差が生じる要因となっている。この対策として、例えば、電荷比Rに距離Dが対応付けられた対応表(「テーブル情報」の一例)を用いて誤差を補正する方法が、採用されている。ここでの距離は、被写体OBまでの距離である。
 ここでの電荷比Rは、反射光RLが振り分けられて蓄積される二つの電荷蓄積部CS(図4における電荷蓄積部CS1及びCS2)のそれぞれに蓄積された電荷量の比率である。この場合、電荷比Rは、例えば、以下の(2)式、或いは(3)式で示される。
 R=Q1#/(Q1#+Q2#) …(2)
 R=Q2#/(Q1#+Q2#) …(3)
 ただし、
 Q1#=Q1-Qb
 Q2#=Q2-Qb
 Q1は電荷蓄積部CS1に蓄積された電荷量
 Q2は電荷蓄積部CS2に蓄積された電荷量
 Qbは電荷蓄積部CSに蓄積される外光成分に相当する電荷量
 電荷比Rに距離Dが対応付けられた対応表を用いることによって、(1)式により算出した距離に誤差が生じる場合であっても、誤差が少なくなるように距離を補正することが可能となる。なお、外光成分に相当する電荷量Qbを算出する方法については、後で詳しく説明する。
 また、誤差が生じる別の要因として、1回の光電変換で発生する電荷の絶対量によって、電荷を転送する効率(転送効率)が異なることが、考えられる。ここでの転送とは、光電変換素子PDから電荷蓄積部CSのそれぞれに電荷が蓄積されることである。
 例えば、光電変換素子PDに入射される光の強度(光量)が小さい場合、光電変換素子PDに入射される光の強度が大きい場合と比較して、転送効率が低下する。これは、転送経路にポテンシャルのポケット(穴)が形成されている場合等に、そのポケットを埋めるために転送中の電荷に係る電子が使用されるためと考えられている。
 例えば、光電変換素子PDに入射される光の強度が大きい場合には、光電変換素子PDで発生する電荷量が多い。このため、ポケットを埋めるために電子が使用されたとしても、全体の電荷量は、ほとんど変化せず、転送効率は、さほど低下しない。
 一方、光電変換素子PDに入射される光の強度が小さい場合には、光電変換素子PDで発生する電荷量が少ない。このため、ポケットを埋めるために電子が使用された場合には、全体の電荷量が、大きく減少し、転送効率が低下する。
 電荷比Rに距離Dが対応付けられた対応表を用いた場合、このような転送効率の良し悪しを考慮することができない。その理由は、電荷比Rは、1フレームあたりに蓄積された電荷量Q1、或いはQ2を対象として算出される値であり、1回の蓄積回数で蓄積された電荷量が判らないためである。この結果、測定距離と、実際の距離とが異なり、転送効率の良し悪しを考慮することができないことは、距離ずれが生じる原因となっている。
 この対策として、本実施形態では、単位蓄積電荷量Qintごとに、テーブル情報440を作成する。単位蓄積電荷量Qintは、単位蓄積回数(例えば、1回の蓄積回数)あたりに電荷蓄積部CS1~CS3のそれぞれに蓄積された電荷量の総和である。例えば、単位蓄積電荷量Qintは、以下の(4)式で示される。
 Qint=QSUM/int …(4)
 ただし、
 QSUM=Q1+Q2+Q3
 Q1は電荷蓄積部CS1に蓄積された電荷量
 Q2は電荷蓄積部CS2に蓄積された電荷量
 Q3は電荷蓄積部CS3に蓄積された電荷量
 intは1フレームあたりの蓄積回数
 或いは、単位蓄積電荷量Qintに代えて、単位蓄積電子数Nintごとに、テーブル情報440を作成するようにしてもよい。単位蓄積電子数Nintは、単位蓄積回数(例えば、1回の蓄積回数)あたりに電荷蓄積部CS1~CS3のそれぞれに蓄積された電子数の総和である。例えば、単位蓄積電子数Nintは、以下の(5)式で示される。
 Nint=NSUM/int …(5)
 ただし、
 NSUM=Q1/CG1+Q2/CG2+Q3/CG3
 NSUMは電荷蓄積部CS1~CS3に蓄積された電子数の総和[e
 intは1フレームあたりの蓄積回数
 Q1は電荷蓄積部CS1に蓄積された電荷量[V]
 Q2は電荷蓄積部CS2に蓄積された電荷量[V]
 Q3は電荷蓄積部CS3に蓄積された電荷量[V]
 CG1は電荷蓄積部CS1に蓄積された電荷量の変換ゲイン[V/e
 CG2は電荷蓄積部CS2に蓄積された電荷量の変換ゲイン[V/e
 CG3は電荷蓄積部CS3に蓄積された電荷量の変換ゲイン[V/e
 変換ゲインCG1~CG3は、電荷を電子数に換算(変換)する係数であり、例えば、レイアウトなどを考慮して予め決定された値である。変換ゲインCG1~CG3は、互いに異なる値であってもよいし、変換ゲインCG1~CG3の全部または一部が同じ値であってもよい。
 このように、単位蓄積電荷量Qint(又は、単位蓄積電子数Nint)ごとにテーブル情報440が作成される構成により、単位蓄積電荷量Qint(又は、単位蓄積電子数Nint)に応じて、適切なテーブル情報440を選択することが可能となる。
 例えば、単位蓄積電荷量Qintが多く、転送効率が低下していない場合には、通常のテーブル情報440を用いて距離を補正する。一方、単位蓄積電荷量Qintが少なく、転送効率が低下している場合には、転送効率が低い場合に対応させたテーブル情報440を用いて距離を補正する。これにより、電荷の転送効率が異なる場合であっても、距離を精度よく補正することが可能となる。ここで、単位蓄積電荷量Qintは、「第1変数」の一例である。電荷比Rは、「第2変数」の一例である。
 ここで、テーブル情報440について図5A~図5Dを用いて説明する。図5A~図5Dは、第1実施形態のテーブル情報440の構成の例を示す図である。図5Aには、単位蓄積電荷量QintがQint1である場合における、電荷比Rに距離を対応づけたテーブル情報440が示されている。図5Bには、単位蓄積電荷量QintがQint2である場合における、電荷比Rに距離を対応づけたテーブル情報440が示されている。図5Cには、単位蓄積電荷量QintがQint3である場合における、電荷比Rに距離を対応づけたテーブル情報440が示されている。図5Dには、単位蓄積電荷量QintがQint4である場合における、電荷比Rに距離を対応づけたテーブル情報440が示されている。
 この例では、電荷の比率が同じ電荷比R1である場合であっても、単位蓄積電荷量QintがQint1であれば、距離D11となる。一方、単位蓄積電荷量QintがQint3であれば、距離D31となる。このように、電荷比Rが同じ値であっても、蓄積処理1回あたりに蓄積された電荷量に応じて、演算後の距離を異なる値とすることができる。
 図6は、第1実施形態のテーブル情報440を説明する図である。図6には、ある単位蓄積電荷量Qintにおける電荷比Rと距離(図6では、実距離Dと記載)の関係が示されている。図6に示すように、電荷比Rと距離Dの関係は、比例関係になるとは限らず、非線形となる場合がある。このような場合、電荷比Rと距離Dとの関係を関数で表そうとすると複雑な多次元の関係式となると考えられる。このような場合、距離を補正する度に複雑な多次元の関係式を演算しなければならず、処理負荷がかかる。電荷比Rと距離Dの関係を図5A~図5Dのテーブル情報440に示すような対応表とすることにより、電荷比Rと距離Dの関係が非線形となる場合であっても、処理負荷を増大させることなく、補正に係る処理を実行することが可能となる。
 図7は、第1実施形態の距離画像処理部4がテーブル情報440を用いて線形補間を行う処理を説明する図である。図7には、図6の特性の一部(電荷比R1~R2の範囲)が示されている。この図7の例では、光電変換素子PDに蓄積された電荷量に基づいて算出した電荷比が、電荷比R1と電荷比R2の中間の値に相当する電荷比Rであった場合を例示している。この場合、距離演算部42は、電荷比R1に対応する距離D11と、電荷比R2に対応する距離D12とを線形補間することによって、電荷比Rに対応する距離を算出するようにしてもよい。線形補間することによって、距離をより精度良く算出することが可能となる。
 また、2つの距離Dを線形補間した場合に、補間した距離の精度が所定の範囲内となるように、テーブル情報440における複数の電荷比Rの間隔が設定されるようにしてもよい。この場合、テーブル情報440における複数の電荷比Rの間隔は、例えば、線形とみなせる範囲内に設定される。
 ここで、外光成分に相当する電荷量Qbを算出する方法について、図8、図9を用いて説明する。図8、図9は、第1実施形態の距離画像処理部4が外光成分を決定する処理を説明する図である。
(外光成分に相当する電荷量Qbを算出する方法1)
 図8には、図4と比較して遠距離にある物体からの反射光RLを受光した場合のタイミングチャートが示されている。図8において、垂直走査回路323が、光パルスPOを照射させるタイミング、読み出しゲートトランジスタG1~G3、及びドレインゲートトランジスタGDをオン状態とするタイミング等は、図4と同様であるため、その説明を省略する。
 図8に示すように、図4のタイミングチャートと比較して遅延時間Tdが大きい場合、図4と同じタイミングで電荷蓄積部CS1~CS3のそれぞれに電荷を蓄積させた場合、電荷蓄積部CS1に外光成分に相当する電荷量Qbが蓄積され、電荷蓄積部CS2及びCS3に反射光RL及び外光成分に相当する電荷量Qbが振り分けられて蓄積される。この場合、電荷蓄積部CS2及びCS3は、「距離演算用電荷蓄積部」の一例である。
 すなわち、遅延時間Tdが大きくない場合(図4の場合)には、電荷蓄積部CS3に外光成分に相当する電荷量Qbが蓄積され、遅延時間Tdが大きい場合(図8の場合)には、電荷蓄積部CS1に外光成分に相当する電荷量Qbが蓄積される。図4、および図8の何れの場合であっても、電荷蓄積部CS1~CS3のそれぞれに同じ量の外光成分に相当する電荷量Qbが蓄積される。したがって、反射光RLが振り分けて蓄積された電荷蓄積部CSは、他の外光成分のみが蓄積された電荷蓄積部CSと比較して、より多くの電荷量が蓄積されることとなる。
 この性質を利用して、距離演算部42は、電荷蓄積部CS1~CS3に蓄積された電荷量のうち、最も少ない電荷量を、外光成分に相当する電荷量Qbと決定する。
 なお、ここでの電荷比Rは、反射光RLが振り分けられて蓄積される二つの電荷蓄積部CS(図8における電荷蓄積部CS2及びCS3)のそれぞれに蓄積された電荷量の比率である。この場合、電荷比Rは、例えば、以下の(6)式、或いは(7)式で示される。
 R=Q2#/(Q2#+Q3#) …(6)
 R=Q3#/(Q2#+Q3#) …(7)
 ただし、
 Q2#=Q2-Qb
 Q3#=Q3-Qb
 Q2は電荷蓄積部CS2に蓄積された電荷量
 Q3は電荷蓄積部CS3に蓄積された電荷量
 Qbは電荷蓄積部CSに蓄積される外光成分に相当する電荷量
(外光成分に相当する電荷量Qbを算出する方法2)
 距離画像撮像装置1は、予め決定された特定の電荷蓄積部CSに外光成分に相当する電荷量Qbのみが蓄積されるように、タイミングを制御するようにしてもよい。この場合、距離演算部42は、遅延時間Tdの大小に関わらず、その特定の電荷蓄積部CSに蓄積された電荷量を、外光成分に相当する電荷量Qbと決定することができる。
 図9には、電荷蓄積部CS1に外光成分に相当する電荷量Qbのみが蓄積されるように制御した場合のタイミングチャートが示されている。図9において、垂直走査回路323が、光パルスPOを照射させるタイミング、読み出しゲートトランジスタG1~G3、及びドレインゲートトランジスタGDをオン状態とするタイミング、等は、図4と同様であるため、その説明を省略する。
 図9の例に示すように、光パルスPOを照射する前に、電荷蓄積部CS1に電荷を蓄積させることによって、電荷蓄積部CS1に外光成分に相当する電荷量Qbのみが蓄積されるようにすることができる。この場合、距離演算部42は、電荷蓄積部CS1に蓄積された電荷量を、外光成分に相当する電荷量Qbと決定する。この場合、電荷蓄積部CS1は、「予め決められた外光蓄積用電荷蓄積部」の一例である。
 図10は、第1実施形態の距離画像処理部4が行う処理の流れを示すフローチャートである。距離演算部42は、電荷蓄積部CS1~CS3のそれぞれに蓄積された電荷量Q1~Q3を取得する(ステップS10)。距離演算部42は、取得した電荷量Q1~Q3を用いて、外光成分に相当する電荷量Qbを算出する(ステップS11)。距離演算部42は、電荷量Q1~Q3のうち最も少ない電荷量を電荷量Qbとしてもよいし、予め決定された特定の電荷蓄積部CS(例えば、図9における電荷蓄積部CS1)に蓄積された電荷量を電荷量Qbとしてもよい。
 距離演算部42は、電荷量Q1~Q3、及び電荷量Qbを用いて、電荷比Rを算出する(ステップS12)。距離演算部42は、例えば、(2)式、又は(3)式に、電荷量Q1~Q3、及び電荷量Qbを代入することによって、電荷比Rを算出する。この場合において、距離演算部42は、テーブル情報440に示された電荷比Rの構成に合致するように(2)式、又は(3)式のいずれかを選択し、選択した式を用いて、電荷比Rを算出する。
 距離演算部42は、電荷量Q1~Q3、及び蓄積回数intを用いて、単位蓄積電荷量Qintを算出する(ステップS13)。蓄積回数intは、予め決定された値であり、例えば、記憶部44に記憶される。この場合、距離演算部42は、記憶部44から蓄積回数intを読み出し、電荷量Q1~Q3、及び読み出した蓄積回数intを(4)式に代入することによって、単位蓄積電荷量Qintを算出する。
 距離演算部42は、ステップS13で算出した単位蓄積電荷量Qintを用いて、単位蓄積電荷量Qintに対応するテーブル情報440を選択する(ステップS14)。距離演算部42は、選択したテーブル情報440を用いて、ステップS12で算出した電荷比Rに対応する距離を選択する。この場合において、距離演算部42は、線形補間するための二つの電荷比Rのそれぞれに対応付けられた、二つの距離を選択するようにしてもよいし、ステップS12で算出した電荷比Rに最も近い電荷比Rに対応する一つの距離を選択するようにしてもよい。
 距離演算部42は、二つの距離を選択した場合(ステップS16のYES)、線形補間により距離(測定距離)を決定する(ステップS17)。一方、距離演算部42は、一つの距離を選択した場合(ステップS16のNO)、選択した距離を補正後の距離(測定距離)と決定する(ステップS18)。
 なお、上記では、距離画像撮像装置1の画素321が三つの電荷蓄積部CS1~CS3を備える場合を例に説明した。しかしながら、これに限定されない。距離画像撮像装置1の画素321が四つ以上(例えば、N個(N≧4))の電荷蓄積部CSを備える構成であってもよい。
 また、図10に示すフローにおいて、演算の有効又は無効が判断されるようにしてもよい。例えば、距離演算部42は、ステップS12で求めた電荷比Rが、所定の上限閾値(例えば、0.98など)を超える場合、演算を無効と判断する。また、距離演算部42は、ステップS12で求めた電荷比Rが、所定の下限閾値(例えば、0.12など)を下回る場合、演算を無効と判断する。
 距離画像撮像装置1の画素321がN個(N≧4)の電荷蓄積部CSを備える場合、ステップS10で、距離演算部42は、電荷蓄積部CS1~CSNのそれぞれに蓄積された電荷量Q1~QNを取得する。ステップS11で、距離演算部42は、取得した電荷量Q1~Q3を用いて、外光成分に相当する電荷量Qbを算出する。距離演算部42が電荷量Qbを算出する方法は、距離画像撮像装置1の画素321が三つの電荷蓄積部CS1~CS3を備える場合と同様である。
 ステップS12で、距離演算部42は、電荷蓄積部CS1~CSNから、反射光RLに対応する電荷が振り分けて蓄積された二つの電荷蓄積部CS(距離測定用電荷蓄積部)を選択する。距離演算部42が二つの電荷蓄積部CSを選択する方法は、例えば、連続して電荷が蓄積される二つの電荷蓄積部CSの組合せのうち、それぞれの電荷蓄積部CSに蓄積された電荷量の和が最も大きいものを、反射光RLに対応する電荷が振り分けて蓄積された二つの電荷蓄積部CS(距離測定用電荷蓄積部)とする。距離演算部42は、反射光RLに対応する電荷が振り分けて蓄積された二つの電荷蓄積部CSのそれぞれに蓄積された電荷量、及び外光成分に相当する電荷量Qbを用いて、電荷比Rを算出する。ステップS13~S18の処理は、距離画像撮像装置1の画素321が三つの電荷蓄積部CS1~CS3を備える場合と同様である。
 或いは、距離画像撮像装置1の画素321が2個の電荷蓄積部CSを備える構成であってもよい。この場合、距離画像撮像装置1は、1回の測定につき、外光成分に相当する電荷のみを蓄積させる処理(第1処理という)と、反射光RLを含む電荷を蓄積させる処理(第2処理という)との、2つの電荷蓄積に係る処理を行う。例えば、距離画像撮像装置1は、最初のフレームで第1処理を行い、次のフレームで第2処理を行う。第1処理を行う場合、距離画像撮像装置1は、光パルスPOを照射せずに、電荷蓄積部CS1、CS2のそれぞれに電荷を蓄積させる。第2処理を行う場合、距離画像撮像装置1は、光パルスPOを照射して、電荷蓄積部CS1、CS2のそれぞれに電荷を蓄積させる。
 この場合、ステップS10で、距離演算部42は、第1処理で電荷蓄積部CS1、CS2のそれぞれに蓄積された電荷量Q1f、Q2fを取得する。また、距離演算部42は、第2処理で電荷蓄積部CS1、CS2のそれぞれに蓄積された電荷量Q1s、Q2sを取得する。ステップS11で、距離演算部42は、取得した電荷量Q1f、およびQ2fのいずれかを外光成分に相当する電荷量Qbとする。ステップS12で、距離演算部42は、取得した電荷量Q1s、Q2s、及び電荷量Qbを用いて、電荷比Rを算出する。距離演算部42が電荷比Rを算出する方法は、距離画像撮像装置1の画素321が三つの電荷蓄積部CS1~CS3を備える場合と同様である。
 以上に説明したように、実施形態の距離画像撮像装置1は、光源部2と、受光部3と、距離画像処理部4とを備える。光源部2は、被写体OBが存在する測定空間に光パルスPOを照射する。受光部3は、画素321と、垂直走査回路323(駆動回路の一例)を備える。画素321は、光電変換素子PDと、複数の電荷蓄積部CSを具備する。垂直走査回路323は、光パルスPOの照射に同期させた所定のタイミングで、画素321における電荷蓄積部CSのそれぞれに電荷を振り分けて蓄積させる。距離画像処理部4は、記憶部44を備える。記憶部44は、テーブル情報440を記憶する。テーブル情報440は、単位蓄積電荷量Qint(第1変数の一例)ごとに、電荷比R(第2変数の一例)と距離D(対応距離の一例)との関係を示す情報である。単位蓄積電荷量Qintは、(4)式、又は(5)式で表される変数である。単位蓄積電荷量Qintは、単位蓄積回数あたりに電荷蓄積部CS1~CS3のそれぞれに蓄積される電荷量の和に対応する変数である。電荷比Rは、(2)式、又は(3)式で表される変数である。電荷比Rは、二つ以上の距離演算用電荷蓄積部(例えば、図4の電荷蓄積部CS1、及びCS2)のそれぞれに蓄積された電荷量(例えば、図4の電荷量Q1、及びQ2)から外光成分(電荷量Qb)を減算した電荷量を用いて示される比率である。電荷比Rは、二つ以上の距離演算用電荷蓄積部のいずれか一つまたは複数の組み合わせによる距離演算用電荷量の比である。例えば、電荷比Rは、反射光RLに応じた電荷量(Q1#+Q2#)に対する、いずれか一方の電荷量(Q1#、又はQ2#)の比、すなわち(2)式、又は(3)式で表される変数である。距離画像処理部4は、電荷蓄積部CSのそれぞれに蓄積された電荷量に基づいて単位蓄積電荷量Qint、及び電荷比Rを算出する。距離画像処理部4は、算出した単位蓄積電荷量Qintに対応するテーブル情報440を選択する。距離演算部42は、選択したテーブル情報440を用いて、算出した電荷比Rに対応する距離(対応距離)を取得する。距離演算部42は、取得した距離(対応距離)を用いて、補正後の距離(測定距離)を決定する。
 これにより、第1実施形態の距離画像撮像装置1は、テーブル情報440を用いて電荷比Rに対応する距離を取得することができる。したがって、電荷蓄積部CS1~CS3に蓄積された電荷量Q1~Q3に基づいて算出される距離に誤差がある場合であっても、実際の距離Dに近づくように補正することができる。すなわち電荷蓄積部CS1~CS3に蓄積された電荷量Q1~Q3に基づいて算出される距離を実際の距離Dに近づくように補正することができる。しかも、本実施形態では、テーブル情報440は、単位蓄積電荷量Qintごとに作成されている。このため、単位蓄積電荷量Qintに応じて適切なテーブル情報440を選択することが可能である。したがって、1回の蓄積処理あたりに蓄積される電荷量Qintの絶対値によって転送効率が大きく異なる場合であっても、精度よく距離を補正することができる。
 また、第1実施形態の距離画像撮像装置1では、距離画像処理部4は、線形補間することによって補正後の距離を決定するようにする。距離画像処理部4は、テーブル情報440を用いて、算出した電荷比Rより小さい電荷比(例えば、電荷比R1)に対応付けられた第1距離(例えば、距離D11)と、電荷比Rより大きい電荷比(例えば、電荷比R2)に対応付けられた第2距離(例えば、距離D12)とを抽出する。距離画像処理部4は、抽出した第1距離(例えば、距離D11)と第2距離(例えば、距離D12)を線形補間し、それによって得られる距離を補正後の距離(測定距離)と決定する。これにより、第1実施形態の距離画像撮像装置1では、より精度よく距離を補正することができる。
 また、第1実施形態の画素321は、三つ以上の電荷蓄積部CS1~CS3を具備する。距離画像処理部4は、電荷蓄積部CS1~CS3のそれぞれに蓄積された電荷量Q1~Q3のうち最も少ない電荷量を、外光成分に対応する電荷量Qbとする。これにより、第1実施形態の距離画像撮像装置1では、電荷蓄積部CS1~CS3のそれぞれに蓄積された電荷量Q1~Q3を比較するという容易な処理により、外光成分に対応する電荷量Qbを算出することができる。
 また、第1実施形態の画素321は、三つ以上の電荷蓄積部CS1~CS3を具備する。距離画像処理部4は、電荷蓄積部CS1~CS3のうち特定の電荷蓄積部CSに、外光成分に相当する光量のみが蓄積されるように、蓄積タイミングを制御する。距離演算部42は、この特定の電荷蓄積部CSに蓄積された電荷量Qを、外光成分に対応する電荷量Qbとする。これにより、第1実施形態の距離画像撮像装置1では、特定の電荷蓄積部CSに蓄積された電荷量Qを、外光成分に対応する電荷量Qbとして算出することができる。これにより、容易に外光成分に対応する電荷量Qbを決定できる。
(第1実施形態の効果)
 ここで、第1実施形態の距離画像撮像装置1における効果を、図11を用いて説明する。図11は、第1実施形態の効果を説明する図である。図11には、実際の距離(実距離)と測定距離との関係が示されている。図11の横軸は実距離、縦軸は測定距離を示す。ここでの距離は、被写体OBまでの距離である。図11において、黒丸で示したテーブル情報440を使用しない(テーブル情報不使用)場合の測定距離は、例えば、(1)式に電荷量Q1~Q3を代入することによって算出される距離である。黒三角で示したテーブル情報440を使用する場合(テーブル情報使用の場合)の測定距離は、テーブル情報440を用いて算出された距離である。この図11に示すように、テーブル情報使用の場合における測定距離は、実距離に一致する。一方、テーブル情報不使用の場合における測定距離は、実距離とは一致せず、誤差を含む値となっている。すなわち、本第1実施形態の距離画像撮像装置1では、テーブル情報440を用いて測定距離を決定することにより、より実距離に近い値を算出することが可能である。
(第1実施形態の変形例1)
 ここで、第1実施形態の変形例1について説明する。本変形例1では、記憶部44が、閾値Thで分けた二つのテーブル情報440(440A)を記憶する点において、上述した第1実施形態と相違する。
 図12は、第1実施形態の変形例1におけるテーブル情報440Aの構成の例を示す図である。図12に示すように、テーブル情報440Aの上段には、単位蓄積電荷量Qintが閾値Th未満である場合における、電荷比Rと距離Dの関係が示されている。テーブル情報440Aの下段には、単位蓄積電荷量Qintが閾値Th以上である場合における、電荷比Rと距離Dの関係が示されている。この図12の例に示すように、テーブル情報440(440A)は、単位蓄積電荷量Qintと電荷比Rとを変数とする二次元の対応表であってもよい。
 すでに説明したように、転送効率の良し悪しは、1回の蓄積処理で転送される電荷の絶対量に依存する。このため、ある閾値Th未満の電荷量が転送される場合には、転送効率が低下し、その閾値以上の電荷量が転送される場合には、転送効率が低下しないと考えられる。本変形例1では、このような閾値Thで分けた二つのテーブル情報440(テーブル情報440Aにおける上段と下段)を、予め作成し、記憶部44に記憶させる。距離演算部42は、算出した単位蓄積電荷量Qintと閾値Thとを比較し、比較結果に応じて二つのテーブル情報440Aの上段と下段とのいずれかを選択する。具体的に、距離演算部42は、単位蓄積電荷量Qintが閾値Th未満である場合には、テーブル情報440Aの上段の対応表を選択する。距離演算部42は、単位蓄積電荷量Qintが閾値Th以上である場合には、テーブル情報440Aの下段の対応表を選択する。距離演算部42は、選択した対応表を用いて距離を決定する。
 上述したように、第1実施形態の変形例1に係る距離画像撮像装置1では、記憶部44は、テーブル情報440Aの上段に対応する情報(「第1テーブル情報」の一例)と、テーブル情報440Aの下段に対応する情報(「第2テーブル情報」の一例)との二つの情報を記憶する。テーブル情報440Aの上段に対応する情報は、単位蓄積電荷量Qintが閾値Thより小さい場合に対応する情報である。テーブル情報440Aの下段に対応する情報は、単位蓄積電荷量Qintが閾値Thより大きい場合に対応する情報である。閾値Thは、光電変換素子PDから電荷蓄積部CSまでの経路における電荷の転送効率に応じて決定される値である。距離画像処理部4は、電荷蓄積部CS1~CS3のそれぞれに蓄積された電荷量に基づいて、単位蓄積電荷量Qint、及び電荷比Rを算出する。距離画像処理部4は、算出した単位蓄積電荷量Qintが閾値Thより小さい場合にテーブル情報440Aの上段に対応する情報を選択する。距離画像処理部4は、算出した単位蓄積電荷量Qintが閾値Thより大きい場合にテーブル情報440Aの下段に対応する情報を選択する。
 これにより、第1実施形態の変形例1に係る距離画像撮像装置1では、電荷の転送効率の良し悪しに対応する二つのテーブル情報440のいずれかを選択することができ、記憶部44に記憶させるテーブル情報440の数が少ない場合であっても、精度よく距離を決定することが可能となる。
(第1実施形態の変形例2)
 ここで、第1実施形態の変形例2について説明する。本変形例2では、記憶部44が、単位蓄積電荷量Qintの範囲に対応させたテーブル情報440(440B)を記憶する点において、上述した第1実施形態と相違する。
 図13は、第1実施形態の変形例2におけるテーブル情報440Bの構成の例を示す図である。テーブル情報440Bの上段には、単位蓄積電荷量Qintが閾値Th1以上かつ閾値Th2未満である場合における、電荷比Rと距離Dの関係が示されている。テーブル情報440Bの下段には、単位蓄積電荷量Qintが閾値Th2以上かつ閾値Th3未満である場合における、電荷比Rと距離Dの関係が示されている。
 本変形例2において、テーブル情報440Bにおける単位蓄積電荷量Qintの範囲は、例えば、転送効率の傾向が似た範囲に対応させる。距離演算部42は、算出した単位蓄積電荷量Qintが、複数のテーブル情報440Bにおけるいずれの単位蓄積電荷量Qintの範囲に対応するかを判定し、判定結果に応じて複数のテーブル情報440Bのうちいずれかを選択する。距離演算部42は、選択した対応表を用いて距離を決定する。これにより、電荷の転送効率の傾向に応じて複数のテーブル情報440Bのうちいずれかを選択することができ、精度よく距離を決定することが可能となる。
(第1実施形態の変形例3)
 ここで、第1実施形態の変形例3について説明する。本変形例3では、記憶部44が、複数のタイムウィンドウごとのテーブル情報440を記憶する点において、上述した第1実施形態と相違する。ここでのタイムウィンドウとは、距離測定用電荷蓄積部の組合せに対応する。
 例えば、図4では、距離測定用電荷蓄積部の組合せは、電荷蓄積部CS1及びCS2である。この組み合わせが、一つ目のタイムウィンドウに相当する。この一つ目のタイムウィンドウにて振り分けて蓄積される電荷の電荷比Rに応じて距離が決定される。
 また、図8では、距離測定用電荷蓄積部の組合せは、電荷蓄積部CS2及びCS3である。この組み合わせが、二つ目のタイムウィンドウに相当する。この二つ目のタイムウィンドウにて振り分けて蓄積される電荷の電荷比Rに応じて距離が決定される。
 図14は、第1実施形態の変形例3における二つのタイムウィンドウの特性を説明する図である。ここでの特性は、実距離と測定距離の対応関係を示す特性である。図14の横軸は実距離、縦軸は測定距離を示す。特性L0は、実距離と測定距離の理想的な関係を示している。特性L1は、一つ目のタイムウィンドウにおける実距離と測定距離の関係を示している。特性L2は、二つ目のタイムウィンドウにおける実距離と測定距離の関係を示している。この図14の例に示すように、あるタイムウィンドウと別のタイムウィンドウでは、実距離と測定距離の対応関係が互いに異なる場合が多い。このため、あるタイムウィンドウでは精度よく補正を行うことができるテーブル情報440を用いて、別のタイムウィンドウの距離を補正する場合、精度よく補正できるとは限らない。
 この対策として、本変形例3では、記憶部44に、タイムウィンドウごとのテーブル情報440を予め作成し、記憶部44に記憶させる。
 図15、及び図16は、第1実施形態の変形例3におけるテーブル情報440Cの構成の例を示す図である。図15には、あるタイムウィンドウに相当する距離測定用電荷蓄積部の組合せ(例えば、電荷蓄積部CS1、及びCS2)に用いるテーブル情報440Cが、示されている。図16には、別のタイムウィンドウに相当する距離測定用電荷蓄積部の組合せ(例えば、電荷蓄積部CS2、及びCS3)に用いるテーブル情報440Dが、示されている。図15、及び図16に示すように、テーブル情報440C(400D)では、単位蓄積電荷量Qintと電荷比Rとが同一の値であっても、タイムウィンドウが異なる場合には、異なる距離Dが対応付けられている。すなわち、テーブル情報440Cの単位蓄積電荷量Qintと電荷比Rの値と、テーブル情報440Dの単位蓄積電荷量Qintと電荷比Rの値とが同一であっても、テーブル情報440Cの単位蓄積電荷量Qintと電荷比Rの値に対応付けられた距離Dの値と、テーブル情報440Dの単位蓄積電荷量Qintと電荷比Rの値に対応付けられた距離Dの値とは、異なる。このように、タイムウィンドウごとのテーブル情報440を作成することにより、それぞれのタイムウィンドウに応じた補正を行うことが可能となる。
 以上に説明したように、第1実施形態の変形例3に係る距離画像撮像装置1では、記憶部44は、タイムウィンドウ(二つの距離演算用電荷蓄積部の組合せ)ごとにテーブル情報440C、400Dを記憶する。距離画像処理部4は、電荷蓄積部CS1~CS3のそれぞれに蓄積された電荷量に基づいて、二つの距離演算用電荷蓄積部の組合せを決定する。距離画像処理部4は、電荷蓄積部CS1~CS3のうち、電荷を蓄積させるタイミングが連続する二つの電荷蓄積部CS(例えば、電荷蓄積部CS1及びCS2)のそれぞれに蓄積された電荷量の和(Q1+Q2)が、他の二つの電荷蓄積部CSのそれぞれに蓄積された電荷量よりも大きい組合せを、距離演算用電荷蓄積部の組合せと決定する。距離画像処理部4は、決定した距離演算用電荷蓄積部の組合せに応じて、テーブル情報440Cおよびテーブル情報400Dのうちいずれかを選択する。
 これにより、第1実施形態の変形例3に係る距離画像撮像装置1では、タイムウィンドウに応じてテーブル情報440を選択することができる。これにより、タイムウィンドウごとに実距離と測定距離の対応関係が異なる傾向となる場合であっても、それぞれのタイムウィンドウに適するテーブル情報440を選択することができ、精度よく距離を決定することが可能となる。
(第1実施形態の変形例4)
 ここで、第1実施形態の変形例4について説明する。本変形例1では、外光のみが蓄積された電荷蓄積部CS、或いは反射光RLが振り分けられて蓄積される二つの電荷蓄積部CS(距離演算用電荷蓄積部)を特定することなく電荷比Rを算出する点において、上述した第1実施形態と相違する。
 本変形例4では、距離演算部42は、特許文献WO2019/031510に記載されている方法を利用する。特許文献WO2019/031510には、指標値が所定の閾値を超えるか否かに応じて、距離演算に用いる演算式が選択される技術が、記載されている。ここでの指標値は、特許文献WO2019/031510における「距離データ有効性判定信号」である。また、ここでの演算式は、特許文献WO2019/031510における「距離参照値」であり、本実施形態の「電荷比R」に相当する。以下では、画素321が三つの電荷蓄積部CSを備える場合と、画素321が四つの電荷蓄積部CSを備える場合とに分けて、具体的な電荷比Rの算出方法を説明する。
(画素321が三つの電荷蓄積部CSを備える場合)
 本変形例4において、距離演算部42は、以下の(8)式、或いは(9)式を用いて電荷比Rを算出する。ここでは、図4、及び図8に示すタイミングチャートにしたがって、電荷蓄積部CS1、CS2、CS3にその順に、電荷が蓄積されるものとする。すなわち、距離演算部42は、光パルスPOの照射に同期させたタイミングで、電荷蓄積部CS1、CS2,及びCS3にその順に、電荷が蓄積されるように制御する。この場合、電荷蓄積部CS1は、「第1電荷蓄積部」の一例である。電荷蓄積部CS2は、「第2電荷蓄積部」の一例である。電荷蓄積部CS3は、「第3電荷蓄積部」の一例である。また、電荷蓄積部CS1に蓄積された電荷量は、「第1電荷量」の一例である。電荷蓄積部CS2に蓄積された電荷量は、「第2電荷量」の一例である。電荷蓄積部CS3に蓄積された電荷量は、「第3電荷量」の一例である。
 R=1-(Q1-Q3)/SA …(8)
 R=(Q1-Q3)/SA   …(9)
 ただし、
 SA=|Q1-Q3|+Q2-0.5×SB
 SB=|Q1+Q3|-|Q1-Q3|
 Q1は電荷蓄積部CS1に蓄積された電荷量
 Q2は電荷蓄積部CS2に蓄積された電荷量
 Q3は電荷蓄積部CS3に蓄積された電荷量
 記憶部44には、単位蓄積電荷量Qintごとに、電荷比Rに距離を対応づけたテーブル情報440が記憶されている。距離演算部42は、単位蓄積電荷量Qintを算出し、算出した単位蓄積電荷量Qintに対応するテーブル情報440を用いて電荷比Rに対応づけられた距離を、測定距離とする。
(画素321が四つの電荷蓄積部CSを備える場合)
 まず、画素321が四つの電荷蓄積部CSを備える場合における、画素321の駆動タイミングについて説明する。この場合、例えば、図4、及び図8にさらに読み出しゲートトランジスタG4の項目が追加され、電荷蓄積部CS1、CS2、CS3、CS4にその順に、電荷が蓄積される。この場合、電荷蓄積部CS1は、「第1電荷蓄積部」の一例である。電荷蓄積部CS2は、「第2電荷蓄積部」の一例である。電荷蓄積部CS3は、「第3電荷蓄積部」の一例である。電荷蓄積部CS4は、「第4電荷蓄積部」の一例である。また、電荷蓄積部CS1に蓄積された電荷量は、「第1電荷量」の一例である。電荷蓄積部CS2に蓄積された電荷量は、「第2電荷量」の一例である。電荷蓄積部CS3に蓄積された電荷量は、「第3電荷量」の一例である。電荷蓄積部CS4に蓄積された電荷量は、「第4電荷量」の一例である。
 具体的には、図4、及び図8に示すタイミングで、光パルスPOの照射、ドレインゲートトランジスタGDをオフ状態とする制御、読み出しゲートトランジスタG1~G3をオン状態とする制御が、行われる。次に、垂直走査回路323は、電荷蓄積部CS3への電荷の蓄積を終了させたタイミングで、読み出しゲートトランジスタG4をオン状態にし、蓄積時間Taが経過した後に、読み出しゲートトランジスタG4をオフ状態にする。これにより、読み出しゲートトランジスタG4がオン状態に制御されている間に光電変換素子PDにより光電変換された電荷は、読み出しゲートトランジスタG4を介して電荷蓄積部CS4に蓄積される。次に、垂直走査回路323は、電荷蓄積部CS4への電荷の蓄積を終了させたタイミングで、ドレインゲートトランジスタGDをオン状態にして電荷の排出を行う。これにより、光電変換素子PDにより光電変換された電荷は、ドレインゲートトランジスタGDを介して破棄される。
 上記のようなタイミングにて制御された電荷蓄積部CS1~CS4のそれぞれに蓄積された電荷量に基づいて、距離演算部42は、以下の(10)式、或いは(11)式を用いて、電荷比XRを算出する。
 XR=1-(Q1-Q3)/SA …(10)
 XR=(Q1-Q3)/SA   …(11)
 ただし、
 SA=|Q1-Q3|+|Q2-Q4|
 Q1は電荷蓄積部CS1に蓄積された電荷量
 Q2は電荷蓄積部CS2に蓄積された電荷量
 Q3は電荷蓄積部CS3に蓄積された電荷量
 Q4は電荷蓄積部CS4に蓄積された電荷量
 また、距離演算部42は、以下の(12)式、或いは(13)式を用いて、電荷比YRを算出する。
 YR=2-(Q2-Q4)/SA …(12)
 YR=1+(Q2-Q4)/SA …(13)
 ただし、
 SA=|Q1-Q3|+|Q2-Q4|
 Q1は電荷蓄積部CS1に蓄積された電荷量
 Q2は電荷蓄積部CS2に蓄積された電荷量
 Q3は電荷蓄積部CS3に蓄積された電荷量
 Q4は電荷蓄積部CS4に蓄積された電荷量
 距離演算部42は、電荷比XRと閾値ThRとを比較する。閾値ThRは、タイムウィンドウの切り替わり付近に相当する電荷比XRの値の近傍に設定される。距離演算部42は、電荷比XRが閾値ThR以下である場合、電荷比XRを、電荷比Rとして選択する。一方、距離演算部42は、電荷比XRが閾値ThRを超えている場合、電荷比YRを、電荷比Rとして選択する。
 記憶部44には、単位蓄積電荷量Qintごとに、電荷比Rに距離を対応づけたテーブル情報440が記憶されている。距離演算部42は、単位蓄積電荷量Qintを算出し、算出した単位蓄積電荷量Qintに対応するテーブル情報440を用いて電荷比Rに対応づけられた距離を、測定距離とする。
 以上に説明したように、第1実施形態の変形例4に係る距離画像撮像装置1では、画素321は、三つの電荷蓄積部CS1~CS3を具備する。距離画像処理部4は、光パルスPOの照射に同期させたタイミングで、電荷蓄積部CS1、CS2、CS3にその順に、電荷が蓄積されるように制御する。距離演算部42は、(8)式または(9)式のように、(Q1-Q3)を、二つの距離演算用電荷蓄積部のいずれか一方の電荷蓄積部CSに蓄積された、反射光RLに対応する電荷量(距離演算用電荷量)とする。Q1は、電荷蓄積部CS1に蓄積された電荷量である。Q3は、電荷蓄積部CS3に蓄積された電荷量である。
 これにより、第1実施形態の変形例4に係る距離画像撮像装置1では、二つの距離演算用電荷蓄積部を特定することなく、二つの距離演算用電荷蓄積部のいずれか一方に蓄積された距離演算用電荷量を算出することができる。このため、(8)式または(9)式のSAに示すように、二つの距離演算用電荷蓄積部のそれぞれに蓄積された距離演算用電荷量の和を算出することによって、電荷比Rを算出することが可能である。したがって、第1実施形態の変形例4に係る距離画像撮像装置1では、遅延時間Tdの長さに応じて、(2)式または(3)式を適用するかの場合分けと、(6)式または(7)式を適用するかの場合分けとを行うことなく、また、外光のみが蓄積された電荷蓄積部CSを特定し、外光成分に相当する電荷量Qbを算出することなく、容易に電荷比Rを算出することができる。さらに、二つのタイムウィンドウの境界においても同一の演算式((8)式または(9)式)を適用することができる。そのため、タイムウィンドウの境界における不連続性を改善させることが可能である。
 また、第1実施形態の変形例4に係る距離画像撮像装置1では、画素321は、四つの電荷蓄積部CS1~CS4を具備する。距離画像処理部4は、光パルスPOの照射に同期させたタイミングで、電荷蓄積部CS1、CS2、CS3、CS4にその順に、電荷が蓄積されるように制御する。距離演算部42は、(Q1-Q3)を、二つの距離演算用電荷蓄積部の一方の電荷蓄積部CSに蓄積された電荷量から計算される信号量とする。距離演算部42は、(Q2-Q4)を、二つの距離演算用電荷蓄積部の他方の電荷蓄積部CSに蓄積された電荷量から計算される信号量とする。距離演算部42は、|Q1-Q3|+|Q2-Q4|を、二つの距離演算用電荷蓄積部のそれぞれの電荷蓄積部CSに蓄積された電荷量から計算される信号量の和とする。
 これにより、第1実施形態の変形例4に係る距離画像撮像装置1では、二つの距離演算用電荷蓄積部のそれぞれに蓄積された距離演算用電荷量の和、二つの距離演算用電荷蓄積部のいずれか一方に蓄積された距離演算用電荷量、及び他方に蓄積された距離演算用電荷量を算出することができる。このため、二つの距離演算用電荷蓄積部を特定することなく、電荷比Rを算出することが可能である。
 さらに、この場合、タイムウィンドウの境界において(10)式における電荷比XRと(12)式における電荷比YRとが同じ値となる。このため、タイムウィンドウの境界における不連続性を改善させることが可能である。
 なお、上述した少なくとも一つの実施形態では、電荷比Rが、二つの距離演算用電荷蓄積部のそれぞれに蓄積された距離演算用電荷量の和に対する、二つの距離演算用電荷蓄積部のいずれか一方の距離演算用電荷量の比である場合を例に説明した。しかしながら、これに限定されない。電荷比Rは、少なくとも二つの距離演算用電荷蓄積部のそれぞれに蓄積された距離演算用電荷量を用いて示される比率であればよい。例えば、電荷比Rは、二つの距離演算用電荷蓄積部のうち、いずれか一方の距離演算用電荷量に対する、他方の距離演算用電荷量の比であってもよい。
 また、図9では、光パルスPOを照射する前に電荷蓄積部CS1に電荷を蓄積させることによって、電荷蓄積部CS1に外光成分に相当する電荷量Qbのみが蓄積されるように制御する場合を例に説明した。しかしながら、これに限定されない。光パルスPOを照射し、反射光RLを受光した後に電荷蓄積部CS3に電荷を蓄積させるように制御してもよい。この場合、電荷蓄積部CS3に外光成分に相当する電荷量Qbのみが蓄積される。この場合、電荷蓄積部CS3は、「予め決められた外光蓄積用電荷蓄積部」の一例である。
 また、外光成分に相当する電荷量Qbのみを蓄積させる電荷蓄積部CSを固定する場合において、図8に示すように、電荷蓄積部CS1~CS3を、連続的にオン状態とするようにしてもよい。
 また、電荷蓄積部CS1~CS3を連続的にオン状態とする場合、それぞれのオン状態を切り替えるタイミングにGAP(ギャップ)を入れるように駆動を制御するようにしてもよい。ここでのGAPとは、電荷蓄積部CS同士が同時にオン状態となる重複を抑制するための駆動であり、電荷蓄積部CSの全てをオフ状態に制御することである。例えば、光パルスPOを照射する照射時間Toを10[clk]とした場合、電荷蓄積部CSに電荷を蓄積させる蓄積時間Taを9[clk]、GAPを1[clk]とする。そして、電荷蓄積部CSをオフ状態からオン状態に切り替えるタイミング、或いは電荷蓄積部CSをオン状態からオフ状態に切り替えるタイミングにてGAPを設けるように駆動を制御する。
 上述した実施形態における距離画像撮像装置1、距離画像処理部4の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク、等の記憶装置のことをいう。さらに、「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するものも含んでもよく、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、さらに、FPGA、等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
 以上、本発明の第1実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 
(第2実施形態)
 以下、第2実施形態の距離画像撮像装置を、図面を参照しながら説明する。
 まず、実施形態について説明する。図17は、本発明の第2実施形態の距離画像撮像装置の概略構成を示したブロック図である。図17に示した構成の距離画像撮像装置101は、光源部102と、受光部103と、距離画像処理部104とを備える。図17には、距離画像撮像装置101において距離を測定する対象物である被写体OBも、距離画像撮像装置101と併せて示している。
 光源部102は、距離画像処理部104からの制御に従って、距離画像撮像装置101において距離を測定する対象の被写体OBが存在する撮影対象の空間に光パルスPOを照射する。光源部2は、例えば、垂直共振器面発光レーザー(VCSEL:Vertical Cavity Surface Emitting Laser)などの面発光型の半導体レーザーモジュールである。光源部102は、光源装置121と、拡散板122とを備える。
 光源装置121は、被写体OBに照射する光パルスPOとなる近赤外の波長帯域(例えば、波長が850nm~940nmの波長帯域)のレーザー光を発光する光源である。光源装置121は、例えば、半導体レーザー発光素子である。光源装置121は、タイミング制御部141からの制御に応じて、パルス状のレーザー光を発光する。
 拡散板122は、光源装置121が発光した近赤外の波長帯域のレーザー光を、被写体OBに照射する面の広さに拡散する光学部品である。拡散板122が拡散したパルス状のレーザー光が、光パルスPOとして出射され、被写体OBに照射される。
 受光部103は、距離画像撮像装置101において距離を測定する対象の被写体OBによって反射された光パルスPOの反射光RLを受光し、受光した反射光RLに応じた画素信号を出力する。受光部103は、レンズ131と、距離画像センサ132とを備える。
 レンズ131は、入射した反射光RLを距離画像センサ132に導く光学レンズである。レンズ131は、入射した反射光RLを距離画像センサ132側に出射して、距離画像センサ132の受光領域に備えた画素に受光(入射)させる。
 距離画像センサ132は、距離画像撮像装置101に用いられる撮像素子である。距離画像センサ132は、二次元の受光領域に複数の画素を備える。距離画像センサ132のそれぞれの画素の中に、1つの光電変換素子と、この1つの光電変換素子に対応する複数の電荷蓄積部と、それぞれの電荷蓄積部に電荷を振り分ける構成要素とが設けられる。つまり、画素は、複数の電荷蓄積部に電荷を振り分けて蓄積させる振り分け構成の撮像素子である。
 距離画像センサ132は、タイミング制御部141からの制御に応じて、光電変換素子が発生した電荷をそれぞれの電荷蓄積部に振り分ける。また、距離画像センサ132は、電荷蓄積部に振り分けられた電荷量に応じた画素信号を出力する。距離画像センサ132には、複数の画素が二次元の行列状に配置されており、それぞれの画素の対応する1フレーム分の画素信号を出力する。
 距離画像処理部104は、距離画像撮像装置101を制御し、被写体OBまでの距離を演算する。距離画像処理部104は、タイミング制御部141と、距離演算部142と、測定制御部143と、記憶部144とを備える。
 タイミング制御部141は、測定制御部143の制御に応じて、測定に要する様々な制御信号を出力するタイミングを制御する。ここでの様々な制御信号とは、例えば、光パルスPOの照射を制御する信号、反射光RLを複数の電荷蓄積部に振り分けて蓄積させる信号、1フレームあたりの振り分け回数(蓄積回数)を制御する信号などである。振り分け回数とは、電荷蓄積部CS(図19参照)に電荷を振り分ける処理を繰返す回数である。この電振り分け回数と、電荷を振り分ける処理1回あたりに各電荷蓄積部に電荷を蓄積させる時間(後述する蓄積時間Ta)の積が露光時間となる。
 距離演算部142は、距離画像センサ132から出力された画素信号に基づいて、被写体OBまでの距離を算出し、算出した距離情報を出力する。距離演算部142は、複数の電荷蓄積部に蓄積された電荷量に基づいて、被写体OBまでの距離を演算する。
 本第2実施形態では、距離演算部142は、後述するテーブル情報540を用いて、被写体OBまでの距離を決定する。テーブル情報540については後で詳しく説明する。また、距離演算部142が、テーブル情報540を用いて被写体OBまでの距離を決定する方法については、後で詳しく説明する。
 測定制御部143は、タイミング制御部141を制御する。例えば、測定制御部143は、1フレームの振り分け回数及び蓄積時間Ta等を設定し、設定した内容で撮像が行われるようにタイミング制御部141を制御する。
 記憶部144は、記憶媒体、例えば、HDD(Hard Disk Drive)、フラッシュメモリ、EEPROM(Electrically Erasable Programmable Read Only Memory)、RAM(Random Access read/write Memory)、ROM(Read Only Memory)、または、これらの記憶媒体の任意の組み合わせによって構成される。記憶部144は、例えば、テーブル情報540を記憶する。テーブル情報540については、後で詳しく説明する。
 このような構成によって、距離画像撮像装置101では、光源部102が被写体OBに照射した近赤外の波長帯域の光パルスPOが被写体OBによって反射された反射光RLを受光部103が受光し、距離画像処理部104が、被写体OBとの距離を測定した距離情報を出力する。
 なお、図17においては、距離画像処理部104を内部に備えた構成の距離画像撮像装置101が示されているが、距離画像処理部104は、距離画像撮像装置101の外部に備える構成要素であってもよい。
 次に、距離画像撮像装置101において撮像素子として用いられる距離画像センサ32の構成について説明する。図18は、実施形態の距離画像撮像装置101に用いられる撮像素子(距離画像センサ32)の概略構成を示したブロック図である。
 図18に示すように、距離画像センサ132は、例えば、複数の画素421が配置された受光領域420と、制御回路422と、振り分け動作を有した垂直走査回路423と、水平走査回路424と、画素信号処理回路425とを備える。
 受光領域420は、複数の画素421が配置された領域であって、図18では、8行8列に二次元の行列状に配置された例を示している。画素421は、受光した光量に相当する電荷を蓄積する。制御回路422は、距離画像センサ132を統括的に制御する。制御回路422は、例えば、距離画像処理部104のタイミング制御部141からの指示に応じて、距離画像センサ132の構成要素の動作を制御する。なお、距離画像センサ132に備えた構成要素の制御は、タイミング制御部141が直接行う構成であってもよい。この場合、制御回路1322を省略することも可能である。
 垂直走査回路423は、制御回路422からの制御に応じて、受光領域420に配置された画素421を行ごとに制御する回路である。垂直走査回路423は、画素421の電荷蓄積部CSそれぞれに蓄積された電荷量に応じた電圧信号を画素信号処理回路425に出力させる。この場合、垂直走査回路423は、光電変換素子により変換された電荷を画素421の電荷蓄積部それぞれに振り分ける。つまり、垂直走査回路423は、「画素駆動回路」の一例である。
 画素信号処理回路425は、制御回路422からの制御に応じて、それぞれの列の画素421から対応する垂直信号線に出力された電圧信号に対して、予め定めた信号処理(例えば、ノイズ抑圧処理やA/D変換処理など)を行う回路である。
 水平走査回路424は、制御回路422からの制御に応じて、画素信号処理回路425から出力される信号を、水平信号線に順次出力させる回路である。これにより、1フレーム分蓄積された電荷量に相当する画素信号が、水平信号線を経由して距離画像処理部104に順次出力される。
 以下では、画素信号処理回路425がA/D変換処理を行い、画素信号がデジタル信号であるものとして説明する。
 ここで、距離画像センサ132に備える受光領域420内に配置された画素421の構成について説明する。図19は、実施形態の距離画像センサ132の受光領域420内に配置された画素421の構成の一例を示した回路図である。図19には、受光領域420内に配置された複数の画素421のうち、1つの画素421の構成の一例を示している。画素421は、3つの画素信号読み出し部を備えた構成の一例である。
 図19に示すように、画素421は、1つの光電変換素子PDと、ドレインゲートトランジスタGDと、対応する出力端子Oから電圧信号を出力する3つの画素信号読み出し部RUとを備える。画素信号読み出し部RUのそれぞれは、読み出しゲートトランジスタGと、フローティングディフュージョンFDと、電荷蓄積容量Cと、リセットゲートトランジスタRTと、ソースフォロアゲートトランジスタSFと、選択ゲートトランジスタSLとを備える。それぞれの画素信号読み出し部RUでは、フローティングディフュージョンFDと電荷蓄積容量Cとによって電荷蓄積部CSが構成されている。
 なお、図19においては、3つの画素信号読み出し部RUの符号「RU」の後に、「1」、「2」または「3」の数字を付与することによって、それぞれの画素信号読み出し部RUを区別する。また、3つの画素信号読み出し部RUと同様に、3つの画素信号読み出し部RUに備えたそれぞれの構成要素も、それぞれの画素信号読み出し部RUを表す数字をそれぞれの構成要素を表す符号の後に示すことによって、区別して表す。
 図19に示した画素421において、出力端子O1から電圧信号を出力する画素信号読み出し部RU1は、読み出しゲートトランジスタG1と、フローティングディフュージョンFD1と、電荷蓄積容量C1と、リセットゲートトランジスタRT1と、ソースフォロアゲートトランジスタSF1と、選択ゲートトランジスタSL1とを備える。画素信号読み出し部RU1では、フローティングディフュージョンFD1と電荷蓄積容量C1とによって電荷蓄積部CS1が構成されている。画素信号読み出し部RU2および画素信号読み出し部RU3も、画素信号読み出し部RU1と同様の構成である。
 光電変換素子PDは、入射した光を光電変換して電荷を発生させ、発生させた電荷を蓄積する埋め込み型のフォトダイオードである。光電変換素子PDの構造は任意であってよい。光電変換素子PDは、例えば、P型半導体とN型半導体とを接合した構造のPNフォトダイオードであってもよいし、P型半導体とN型半導体との間にI型半導体を挟んだ構造のPINフォトダイオードであってもよい。また、光電変換素子PDは、フォトダイオードに限定されるものではなく、例えば、フォトゲート方式の光電変換素子であってもよい。
 画素421では、光電変換素子PDが入射した光を光電変換して発生させた電荷を3つの電荷蓄積部CSのそれぞれに振り分け、振り分けられた電荷の電荷量に応じたそれぞれの電圧信号を、画素信号処理回路425に出力する。
 距離画像センサ132に配置される画素の構成は、図19に示したような、3つの画素信号読み出し部RUを備えた構成に限定されるものではなく、複数の画素信号読み出し部RUを備えた構成の画素であればよい。つまり、距離画像センサ132に配置される画素に備える画素信号読み出し部RU(電荷蓄積部CS)の数は、2つであってもよいし、4つ以上であってもよい。
 また、図19に示した構成の画素421では、電荷蓄積部CSが、フローティングディフュージョンFDと電荷蓄積容量Cとによって構成される一例を示した。しかし、電荷蓄積部CSは、少なくともフローティングディフュージョンFDによって構成されればよく、画素421が電荷蓄積容量Cを備えない構成であってもよい。
 また、図19に示した構成の画素421では、ドレインゲートトランジスタGDを備える構成の一例を示したが、これに限定されない。例えば、電荷蓄積部CSに蓄積されずに光電変換素子PDに残っている電荷を破棄する必要がない場合には、ドレインゲートトランジスタGDを備えない構成であってもよい。
 次に、画素421の駆動タイミングについて図20を用いて説明する。図20は、第2実施形態の画素421を駆動するタイミングを示すタイミングチャートである。
 図20では、光パルスPOを照射するタイミングを「L」、反射光が受光されるタイミングを「R」、駆動信号TX1のタイミングを「G1」、駆動信号TX2のタイミングを「G2」、駆動信号TX3のタイミングを「G3」、駆動信号RSTDのタイミングを「GD」、という項目名でそれぞれ示している。なお、駆動信号TX1は、読み出しゲートトランジスタG1を駆動させる信号である。駆動信号TX2、TX3についても、駆動信号TX1と同様である。
 図20に示すように、光パルスPOが照射時間Toで照射され、遅延時間Td遅れて反射光RLが距離画像センサ132に受光される。垂直走査回路423は、光パルスPOの照射に同期させて、電荷蓄積部CS1、CS2、及びCS3にその順に、電荷を蓄積させる。図20では、1回の振り分け処理において、光パルスPOを照射して電荷蓄積部CS1、CS2、及びCS3にその順に電荷を蓄積させるまでの時間を「単位蓄積期間」と表している。「単位蓄積期間」において行われる振り分け処理を1フレームに相当する蓄積回数だけ繰り返し行った後に、その間に蓄積された電荷量を読み出す処理が行われる。この蓄積された電荷量を読み出す処理が行われる時間を「読み出し期間」と表している。
 まず、図20を用いて近距離にある物体からの反射光RLを受光する場合について説明する。垂直走査回路423は、光パルスPOを照射させるタイミングに同期させて、ドレインゲートトランジスタGDをオフ状態にするとともに、読み出しゲートトランジスタG1をオン状態とする。垂直走査回路423は、読み出しゲートトランジスタG1をオン状態としてから蓄積時間Taが経過した後に、読み出しゲートトランジスタG1をオフ状態にする。これにより、読み出しゲートトランジスタG1がオン状態に制御されている間に光電変換素子PDにより光電変換された電荷は、読み出しゲートトランジスタG1を介して電荷蓄積部CS1に蓄積される。
 次に、垂直走査回路423は、読み出しゲートトランジスタG1をオフ状態としたタイミングで、読み出しゲートトランジスタG2を蓄積時間Taオン状態にする。これにより、読み出しゲートトランジスタG2がオン状態に制御されている間に光電変換素子PDにより光電変換された電荷は、読み出しゲートトランジスタG2を介して電荷蓄積部CS2に蓄積される。
 次に、垂直走査回路423は、電荷蓄積部CS2への電荷の蓄積を終了させたタイミングで、読み出しゲートトランジスタG3をオン状態にし、蓄積時間Taが経過した後に、読み出しゲートトランジスタG3をオフ状態にする。これにより、読み出しゲートトランジスタG3がオン状態に制御されている間に光電変換素子PDにより光電変換された電荷は、読み出しゲートトランジスタG3を介して電荷蓄積部CS3に蓄積される。
 次に、垂直走査回路423は、電荷蓄積部CS3への電荷の蓄積を終了させたタイミングで、ドレインゲートトランジスタGDをオン状態にして電荷の排出を行う。これにより、光電変換素子PDにより光電変換された電荷はドレインゲートトランジスタGDを介して破棄される。
 垂直走査回路423は、上述したような駆動を、1フレームに渡って所定の振り分け回数分繰り返し行う。その後、垂直走査回路423は、それぞれの電荷蓄積部CSに振り分けられた電荷量に応じた電圧信号を出力する。具体的に、垂直走査回路423は、選択ゲートトランジスタSL1を所定時間オン状態にすることにより、画素信号読み出し部RU1を介して電荷蓄積部CS1に蓄積された電荷量に対応する電圧信号を出力端子O1から出力させる。同様に、垂直走査回路423は、順次、選択ゲートトランジスタSL2、SL3をオン状態とすることにより、電荷蓄積部CS2、CS3に蓄積された電荷量に対応する電圧信号を出力端子O2、O3から出力させる。そして、画素信号処理回路425、及び水平走査回路424を介して、電荷蓄積部CSのそれぞれに蓄積された、1フレーム分の電荷量に相当する電気信号が距離演算部142に出力される。
 なお、上記では、光源部102が読み出しゲートトランジスタG1がオン状態となったタイミングで、光パルスPOを照射する場合を例に説明した。しかしながら、これに限定されることはない。光源部102は、少なくとも近距離にある物体からの反射光RLが電荷蓄積部CS1、CS2に跨って受光されるようなタイミングで光パルスPOを照射すればよい。例えば、光源部102は、読み出しゲートトランジスタG1がオン状態となる手前のタイミングで光パルスPOを照射するようにしてもよい。また、上記では、光パルスPOを照射する照射時間Toが蓄積時間Taと同じ長さである場合を例に説明した。しかしながら、これに限定されることはない。照射時間Toと蓄積時間Taとが異なる時間間隔であってもよい。
 図20に示すような近距離受光画素においては、光パルスPOを照射するタイミングと、電荷蓄積部CS1~CS3のそれぞれに電荷を蓄積させるタイミングとの関係から、電荷蓄積部CS1及びCS2に、反射光RL及び外光成分に相当する電荷量が振り分けられて保持される。また、電荷蓄積部CS3には、背景光などの外光成分に相当する電荷量が保持される。この場合、電荷蓄積部CS1及びCS2は、「距離演算用電荷蓄積部」の一例である。
 電荷蓄積部CS1及びCS2に振り分けられる電荷量の配分(振り分け比率)は、光パルスPOが被写体OBに反射して距離画像撮像装置101に入射されるまでの遅延時間Tdに応じた比率となる。
 距離演算部142は、この原理を利用して、従来の近距離受光画素においては、以下の(1)式により、遅延時間Tdを算出する。
 Td=To×(Q2-Q3)/(Q1+Q2-2×Q3) …(14)
 ここで、Toは光パルスPOが照射された期間、Q1は電荷蓄積部CS1に蓄積された電荷量、Q2は電荷蓄積部CS2に蓄積された電荷量、Q3は電荷蓄積部CS3に蓄積された電荷量、を示す。なお、(14)式では、電荷蓄積部CS1及びCS2に蓄積される電荷量のうちの外光成分に相当する電荷量が電荷蓄積部CS3に蓄積された電荷量と同量であることを前提とする。
 距離演算部142は、近距離受光画素においては、(14)式で求めた遅延時間Tdに、光速(速度)を乗算させることにより、被写体OBまでの往復の距離を算出する。そして、距離演算部142は、上記で算出した往復の距離を1/2とすることにより、被写体OBまでの距離を求める。
 ここで、従来の距離画像撮像装置101において、蓄積された電荷量から算出される距離(測定距離)に誤差が生じる要因について説明する。
 誤差が生じる一因として、距離画像撮像装置101に入射された光がレンズ131などの光学系において乱反射することが考えられる。すなわち、このような乱反射が画素が受光する光量に影響し、測定する距離に誤差が生じる要因となっている。この対策として、例えば、電荷比Rに距離Dが対応付けられた対応表(「テーブル情報」の一例)を用いて、誤差を補正する方法が採用されている。ここでの距離は、被写体OBまでの距離である。また、電荷比Rは、「変数」の一例である。距離Dは、「対応距離」の一例である。
 ここでの電荷比Rは、反射光RLが振り分けられて蓄積される二つの電荷蓄積部CS(図20における電荷蓄積部CS1及びCS2)のそれぞれに蓄積された電荷量の比率である。この場合、電荷比Rは、例えば、以下の(15)式における比率H1、或いは(16)式における比率H2で示される。比率H1は、「電荷比」の一例である。比率H2は、「電荷比」の一例である。以下、比率H1、H2を単に電荷比Rと称する。
 H1=Q1#/(Q1#+Q2#) …(15)
 H2=Q2#/(Q1#+Q2#) …(16)
 ただし、
 Q1#=Q1-Qb
 Q2#=Q2-Qb
 Q1は電荷蓄積部CS1に蓄積された電荷量
 Q2は電荷蓄積部CS2に蓄積された電荷量
 Qbは電荷蓄積部CSに蓄積される外光成分に相当する電荷量
 電荷比Rに距離Dが対応付けられた対応表を用いることによって、(14)式により算出した距離に誤差が生じる場合であっても、誤差が少なくなるように距離を補正することが可能となる。なお、外光成分に相当する電荷量Qbを算出する方法については、後で詳しく説明する。
 また、誤差が生じやすくなるケースとして、反射光RLが振り分けられて蓄積される二つの電荷蓄積部CS(図20における電荷蓄積部CS1及びCS2)のそれぞれに蓄積された電荷量の比率が偏っている場合が考えられる。ここでの偏っているとは、二つの電荷蓄積部CSの一方に反射光RLに起因する電荷のほぼ全量が蓄積され、残りの電荷蓄積部CSには反射光RLに起因する電荷量がごく僅かしか蓄積されないことである。すなわち、電荷比Rが0に近い値、或いは1に近い値となることである。
 例えば、反射光RLの90%程度の光量に相当する電荷量が電荷蓄積部CS1に蓄積され、残り10%程度の光量に相当する電荷量が電荷蓄積部CS2に蓄積されるような場合である。この場合、(15)式に基づく電荷比Rは、R=0.9程度であり、(16)式に基づく電荷比Rは、R=0.1程度である。或いは、反射光RLの10%程度の光量に相当する電荷量が、電荷蓄積部CS1に蓄積され、残り90%程度の光量に相当する電荷量が、電荷蓄積部CS2に蓄積されるような場合である。この場合、(15)式に基づく電荷比Rは、R=0.1程度であり、(16)式に基づく電荷比Rは、R=0.9程度である。
 ここで、電荷蓄積部CSには、ノイズ成分となる電荷も蓄積されている。ここでのノイズ成分とは、反射光RLとは異なる光(例えば、光パルス及びゲートパルス)のなまり及び電荷転送の遅延などに起因する電荷量である。反射光RLが振り分けられて蓄積される二つの電荷蓄積部CSにも、このようなノイズ成分が、反射光RLに起因する電荷量の大小に関わらず、一定量、蓄積される。
 反射光RLが偏って蓄積された場合、反射光RLに起因する電荷量がほぼ全量蓄積された電荷蓄積部CS、反射光RLに起因する電荷量がごく僅かしか蓄積されない電荷蓄積部CSともに、一定量のノイズ成分が蓄積される。このため、反射光RLに起因する電荷量がごく僅かしか蓄積されない電荷蓄積部CSは、SN比が低下する。ここでのSは、目的とする信号成分であり、距離演算に用いられる反射光RLに起因する電荷量である。また、ここでのNは、ノイズ成分に起因する電荷量である。SN比が低い電荷量を用いて距離を演算した場合、演算結果に誤差が生じ易くなる。SN比が低い、すなわち電荷比Rが所定の閾値(例えば、0.9など)を超える「偏在状態」にある場合、ノイズを考慮しない理想的な計算式から外れるため、測定距離の誤差が大きくなる。対策として、テーブル間隔を、一律に細かく(小さく)することが考えられる。しかし、SN比が高い、すなわち電荷比Rが「偏在状態」にない場合に、不必要にテーブル間隔が細かくなり、テーブルのメモリ容量を増大させる。
 この対策として、本第2実施形態では、反射光RLが偏って蓄積された場合と、そうでない場合とで、異なるテーブル間隔となるように、テーブル情報540を作成する。ここでのテーブル間隔とは、テーブル情報540に含まれる変数(電荷比R又は距離D)のそれぞれを昇順、或いは降順に並べた場合に隣り合う変数の差分に相当する間隔である。
 以下では、テーブル情報540における変数を電荷比Rとした場合を例に説明する。しかしながら、これに限定されることはない。テーブル情報540における変数を距離Dとした場合にも、反射光RLが偏って蓄積された場合と、そうでない場合とで、異なるテーブル間隔となるように、テーブル情報540を作成することが可能である。
 反射光RLが偏って蓄積された場合とは、例えば、反射光RLが振り分けられて蓄積される二つの電荷蓄積部CS(図20における電荷蓄積部CS1及びCS2)のそれぞれに蓄積された電荷量の比率が所定値以上である場合である。ここでの所定値は、目標とする測定距離の精度等に応じて任意に設定されてよい。このような反射光RLが偏って蓄積された状態は、「偏在状態」の一例である。
 例えば、テーブル情報540に含まれる電荷比Rのうち、ある範囲(反射光RLが偏って蓄積された場合の電荷比が取り得る範囲)にある電荷比Rについては、間隔が小さい細かいテーブル間隔となるようにテーブル情報540を作成する。一方、別の範囲(反射光RLが偏って蓄積されていない場合の電荷比が取り得る範囲)にある電荷比Rについては、間隔が大きい粗いテーブル間隔となるようにテーブル情報540を作成する(図22、図31、図33を参照)。これにより、誤差が生じやすくなる範囲にある電荷比Rから距離Dを決定しようとした場合に、細かいテーブル間隔で作成された電荷比群から適切な電荷比を選択することができる。このため、決定する距離の精度を向上させることが可能となる。
 ここで、テーブル情報540について図21、図22を用いて説明する。図21は、第2実施形態のテーブル情報540の構成の例を示す図である。図21に示すように、テーブル情報540は、例えば、電荷比閾値、テーブル間隔、電荷比、及び距離の各項目を備える。電荷比閾値は、テーブル間隔を変更する閾値を示す情報である。テーブル間隔は、テーブル情報540における電荷比同士の間隔を示す情報である。電荷比は(15)式、又は(16)式で示される比率である。距離は電荷比に対応付けられた距離である。この図21、図22の例では、電荷比閾値R5未満の電荷比群(電荷比R1~R4)のテーブル間隔を間隔TK2とし、電荷比閾値R5以上の電荷比群(電荷比R5~R9)のテーブル間隔を間隔TK3とする例が、示されている。
 図22は、実施形態のテーブル情報540を説明する図である。図22の横軸は電荷比R、縦軸は距離Dを示す。図22では、横軸の電荷比Rの大きさに応じて、2つの範囲E2、E3が、設定されている。範囲E2は、電荷比が電荷比R5未満となる範囲である。範囲E3は、電荷比が電荷比R5以上となる範囲である。ここで、範囲E2は、「第2範囲」の一例である。範囲E3は、「第3範囲」の一例である。
 図22には、図21のテーブル情報540に基づく電荷比Rと距離Dとの関係が示されている。図21のテーブル情報540には、電荷比閾値として電荷比R5が設定されている。この場合、範囲E2に含まれる電荷比R1~R4のテーブル間隔が、間隔TK2となる。また、範囲E3に含まれる電荷比R5~R9のテーブル間隔が、間隔TK3となる。間隔TK3は、間隔TK2よりも小さい。
 なお、図22では、電荷比Rが(16)式で表される場合の例を示している。すなわち、図22では、電荷比Rが増加するにつれて距離Dが増加する、右肩上がりの特性が示されている。電荷比Rが(15)式で表される場合には、電荷比Rが増加するにつれて距離Dが減少する、右肩下がりの特性となる。この場合、電荷比閾値は、(1.0-電荷比R5)に設定され、電荷比閾値以下の電荷比のテーブル間隔が細かく設定され、電荷比閾値より大きい電荷比のテーブル間隔が粗く設定される。
 図23は、第2実施形態の距離画像処理部104がテーブル情報540を用いて線形補間を行う処理を説明する図である。図23には、図22の特性の一部(電荷比R1~R2の範囲)が示されている。この図23の例では、光電変換素子PDに蓄積された電荷量に基づいて算出した電荷比が、電荷比R1と電荷比R2の中間の値に相当する電荷比Rであった場合を例示している。この場合、距離演算部142は、電荷比R1に対応する距離D11と、電荷比R2に対応する距離D12とを線形補間することによって、電荷比Rに対応する距離を算出するようにしてもよい。線形補間することによって、距離をより精度良く算出することが可能となる。
 また、2つの距離Dを線形補間した場合に、補間した距離の精度が所定の範囲内となるように、テーブル情報540における複数の電荷比Rの間隔が設定されるようにしてもよい。この場合、テーブル情報540における複数の電荷比Rの間隔は、例えば、線形とみなせる範囲内に設定される。
 上述したとおり、反射光RLが偏って蓄積される場合、光パルス及びゲートパルスのなまり及び電荷転送の遅延などにより、電荷比RにおけるSN比が低下して電荷比Rと距離Dの関係が非線形となる傾向にある。このような非線形となる範囲でテーブル間隔を小さくする。これにより、線形補間をして距離を決定する場合に、その距離の精度を向上させることが可能となる。
 ここで、外光成分に相当する電荷量Qbを算出する方法について、図24、図25を用いて説明する。図24、図25は、第2実施形態の距離画像処理部104が外光成分を決定する処理を説明する図である。
(外光成分に相当する電荷量Qbを算出する方法3)
 図24には、図20と比較して遠距離にある物体からの反射光RLを受光した場合のタイミングチャートが示されている。図24において、垂直走査回路423が、光パルスPOを照射させるタイミング、読み出しゲートトランジスタG1~G3、及びドレインゲートトランジスタGDをオン状態とするタイミング等は、図20と同様であるため、その説明を省略する。
 図24に示すように、図20のタイミングチャートと比較して遅延時間Tdが大きい場合、図20と同じタイミングで電荷蓄積部CS1~CS3のそれぞれに電荷を蓄積させた場合、電荷蓄積部CS1に外光成分に相当する電荷量Qbが蓄積され、電荷蓄積部CS2及びCS3に反射光RL及び外光成分に相当する電荷量Qbが振り分けられて蓄積される。この場合、電荷蓄積部CS2及びCS3は、「距離演算用電荷蓄積部」の一例である。
 すなわち、遅延時間Tdが大きくない場合(図20の場合)には、電荷蓄積部CS3に外光成分に相当する電荷量Qbが蓄積され、遅延時間Tdが大きい場合(図24の場合)には、電荷蓄積部CS1に外光成分に相当する電荷量Qbが蓄積される。図20、図24の何れの場合であっても、電荷蓄積部CS1~CS3のそれぞれに同じ量の外光成分に相当する電荷量Qbが蓄積される。したがって、反射光RLが振り分けて蓄積された電荷蓄積部CSは、他の外光成分のみが蓄積された電荷蓄積部CSと比較して、より多くの電荷量が蓄積されることとなる。
 この性質を利用して、距離演算部142は、電荷蓄積部CS1~CS3に蓄積された電荷量のうち、最も少ない電荷量を、外光成分に相当する電荷量Qbと決定する。
(外光成分に相当する電荷量Qbを算出する方法3)
 距離画像撮像装置101は、予め決定された特定の電荷蓄積部CSに外光成分に相当する電荷量Qbのみが蓄積されるように、タイミングを制御するようにしてもよい。この場合、距離演算部142は、遅延時間Tdの大小に関わらず、その特定の電荷蓄積部CSに蓄積された電荷量を、外光成分に相当する電荷量Qbと決定することができる。
 図25には、電荷蓄積部CS1に外光成分に相当する電荷量Qbのみが蓄積されるように制御した場合のタイミングチャートが示されている。図25において、垂直走査回路423が、光パルスPOを照射させるタイミング、読み出しゲートトランジスタG1~G3、及びドレインゲートトランジスタGDをオン状態とするタイミング等は、図20と同様であるため、その説明を省略する。
 図25の例に示すように、光パルスPOを照射する前に、電荷蓄積部CS1に電荷を蓄積させることによって、電荷蓄積部CS1に外光成分に相当する電荷量Qbのみが蓄積されるようにすることができる。この場合、距離演算部142は、電荷蓄積部CS1に蓄積された電荷量を、外光成分に相当する電荷量Qbと決定する。この場合、電荷蓄積部CS1は予め決められた外光蓄積用電荷蓄積部」の一例である。
 図26は、第2実施形態の距離画像処理部104が行う処理の流れを示すフローチャートである。距離演算部142は、電荷蓄積部CS1~CS3のそれぞれに蓄積された電荷量Q1~Q3を取得する(ステップS110)。距離演算部142は、取得した電荷量Q1~Q3を用いて、外光成分に相当する電荷量Qbを算出する(ステップS111)。距離演算部142は、電荷量Q1~Q3のうち最も少ない電荷量を電荷量Qbとしてもよいし、予め決定された特定の電荷蓄積部CS(例えば、図25における電荷蓄積部CS1)に蓄積された電荷量を電荷量Qbとしてもよい。
 距離演算部142は、電荷量Q1~Q3、及び電荷量Qbを用いて、電荷比Rを算出する(ステップS112)。距離演算部142は、例えば、(2)式、又は(3)式に、電荷量Q1~Q3、及び電荷量Qbを代入することによって、電荷比Rを算出する。この場合において、距離演算部142は、テーブル情報540に示された電荷比Rの構成に合致するように(15)式、又は(16)式のいずれかを選択し、選択した式を用いて、電荷比Rを算出する。
 距離演算部142は、テーブル情報540を用いて、ステップS112で算出した電荷比Rに対応する距離を選択する(ステップS113)。この場合において、距離演算部142は、線形補間するための二つの電荷比のそれぞれに対応付けられた、二つの距離を選択するようにしてもよいし、ステップS112で算出した電荷比Rに最も近い電荷比に対応する一つの距離を選択するようにしてもよい。
 距離演算部142は、二つの距離を選択した場合(ステップS114のYES)、線形補間により距離(測定距離)を決定する(ステップS115)。一方、距離演算部142は、一つの距離を選択した場合(ステップS114のNO)、選択した距離を補正後の距離(測定距離)と決定する(ステップS116)。
 なお、上記では、距離画像撮像装置101の画素421が三つの電荷蓄積部CS1~CS3を備える場合を例に説明した。しかしながら、これに限定されない。距離画像撮像装置101の画素421が四つ以上(例えば、N個(N≧4))の電荷蓄積部CSを備える構成であってもよい。
 距離画像撮像装置101の画素421がN個(N≧4)の電荷蓄積部CSを備える場合、ステップS110で、距離演算部142は、電荷蓄積部CS1~CSNのそれぞれに蓄積された電荷量Q1~QNを取得する。ステップS111で、距離演算部142は、取得した電荷量Q1~Q3を用いて、外光成分に相当する電荷量Qbを算出する。距離演算部142が電荷量Qbを算出する方法は、距離画像撮像装置101の画素421が三つの電荷蓄積部CS1~CS3を備える場合と同様である。
 ステップS112で、距離演算部142は、電荷蓄積部CS1~CSNから、反射光RLに対応する電荷が振り分けられて蓄積された二つの電荷蓄積部CS(距離測定用電荷蓄積部)を選択する。距離演算部142が二つの電荷蓄積部CSを選択する方法は、例えば、連続して電荷が蓄積される二つの電荷蓄積部CSの組合せのうち、それぞれの電荷蓄積部CSに蓄積された電荷量の和が最も大きいものを、反射光RLに対応する電荷が振り分けられて蓄積された二つの電荷蓄積部CS(距離測定用電荷蓄積部)とする。距離演算部142は、反射光RLに対応する電荷が振り分けられて蓄積された二つの電荷蓄積部CSのそれぞれに蓄積された電荷量、及び外光成分に相当する電荷量Qbを用いて、電荷比Rを算出する。ステップS13~S16の処理は、距離画像撮像装置101の画素421が三つの電荷蓄積部CS1~CS3を備える場合と同様である。
 或いは、距離画像撮像装置1の画素421が2個の電荷蓄積部CSを備える構成であってもよい。この場合、距離画像撮像装置1は、1回の測定につき、外光成分に相当する電荷のみを蓄積させる処理(第1処理という)と、反射光RLを含む電荷を蓄積させる処理(第2処理という)との、2つの電荷蓄積に係る処理を行う。例えば、距離画像撮像装置1は、最初のフレームで第1処理を行い、次のフレームで第2処理を行う。第1処理を行う場合、距離画像撮像装置101は、光パルスPOを照射せずに、電荷蓄積部CS1、CS2のそれぞれに電荷を蓄積させる。第2処理を行う場合、距離画像撮像装置101は、光パルスPOを照射して、電荷蓄積部CS1、CS2のそれぞれに電荷を蓄積させる。
 この場合、ステップS110で、距離演算部142は、第1処理で電荷蓄積部CS1、CS2のそれぞれに蓄積された電荷量Q1f、Q2fを取得する。また、距離演算部142は、第2処理で電荷蓄積部CS1、CS2のそれぞれに蓄積された電荷量Q1s、Q2sを取得する。ステップS111で、距離演算部142は、取得した電荷量Q1f、又はQ2fのいずれか、もしくは両方を外光成分に相当する電荷量Qbとする。ステップS112で、距離演算部142は、取得した電荷量Q1s、Q2s、及び電荷量Qbを用いて、電荷比Rを算出する。距離演算部142が電荷比Rを算出する方法は、距離画像撮像装置101の画素421が三つの電荷蓄積部CS1~CS3を備える場合と同様である。
 以上に説明したように、第2実施形態の距離画像撮像装置101は、光源部102と、受光部103と、記憶部144と、距離画像処理部104とを備える。光源部102は、被写体OBが存在する測定空間に光パルスPOを照射する。受光部103は、画素421と、垂直走査回路423(駆動回路の一例)を備える。画素421は、光電変換素子PDと、三つ以上の電荷蓄積部CSを具備する。垂直走査回路423は、光パルスPOの照射に同期させた所定のタイミングで、画素421における電荷蓄積部CSのそれぞれに電荷を振り分けて蓄積させる。記憶部144は、テーブル情報540を記憶する。テーブル情報540は、電荷比Rに被写体OBまでの距離(対応距離)が対応付けられた情報である。距離画像処理部104は、電荷蓄積部CSのそれぞれに蓄積された電荷量と、テーブル情報540とを用いて、被写体OBまでの測定距離を決定する。電荷比Rは、三つ以上の電荷蓄積部CSのうち、反射光RLに対応する電荷が振り分けて蓄積される二つ以上の電荷蓄積部CSのそれぞれに蓄積された電荷量から外光成分に相当する電荷量を減算した電荷量(距離演算用電荷量)を用いて示される比率である。具体的には、電荷比Rは、電荷量Q1#とQ2#を用いて示される比であり、例えば、電荷量Q1#とQ2#の和に対する電荷量Q2#の比である。電荷量Q1#は、図20における電荷蓄積部CS1に蓄積される電荷量Q1(第1電荷量)から外光成分に相当する電荷量Qbを減算した電荷量(第1距離演算用電荷量)である。電荷蓄積部CS1は、複数の電荷蓄積部CSのうち、光パルスPOが被写体OBに反射した反射光RLに対応する電荷量が最初にされる電荷蓄積部CSであり、「第1電荷蓄積部」の一例である。電荷量Q2#は、図20における電荷蓄積部CS2に蓄積される電荷量Q2(第2電荷量)から外光成分に相当する電荷量Qbを減算した電荷量(第2距離演算用電荷量)である。電荷蓄積部CS2は、複数の電荷蓄積部CSのうち、光パルスPOが被写体OBに反射した反射光RLに対応する電荷量が電荷蓄積部CS1の次にされる電荷蓄積部CSであり、「第2電荷蓄積部」の一例である。テーブル情報540は、偏在状態にある変数のテーブル間隔が、偏在状態にない変数のテーブル間隔よりも小さい。偏在状態にあるとは、電荷量Q1#と電荷量Q2#が極端に偏った状態にあることであり、電荷量Q1#と電荷量Q2#の比率(電荷比R)が所定の閾値より大きい状態である。偏在状態は、例えば、電荷比Rが所定の上限値を上回る、又は所定の下限値を下回る状態である。変数は、テーブル情報540における電荷比R又は距離Dのいずれかである。テーブル間隔とは、テーブル情報540における変数のそれぞれを昇順に並べた場合に隣り合う変数の差分である。距離画像処理部104は、複数の電荷蓄積部CSのそれぞれに蓄積された電荷量に基づいて電荷比Rを算出し、算出した電荷比Rに対応する対応距離をテーブル情報540から取得し、取得した対応距離を用いて測定距離を決定する。
 これにより、第2実施形態の距離画像撮像装置101は、テーブル情報540を用いて電荷比Rに対応する距離Dを取得することができる。したがって、電荷蓄積部CS1~CS3に蓄積された電荷量Q1~Q3に基づいて算出される距離に誤差がある場合であっても、実際の距離に近づくように補正することができる。すなわち、電荷蓄積部CS1~CS3に蓄積された電荷量Q1~Q3に基づいて算出される距離を実際の距離Dに近づくように補正することができる。しかも、本第2実施形態では、テーブル情報540は、電荷量Q1#、Q2#が偏った状態で蓄積されている場合に、電荷量Q1#、Q2#が偏っていない状態で蓄積されている場合と比較して、テーブル間隔が小さくなるように作成される。このため、電荷量Q1#、Q2#が偏った状態で蓄積され、誤差が生じやすい状態にあっても、精度よく距離を補正することができる。また、このため、テーブル情報540におけるテーブル間隔を一律に小さくした場合と比較して、メモリ増大を抑制することができる。したがって、テーブル間隔を非線形にすることで、メモリ増大を抑制しつつ、距離ずれ領域を精度よく演算することが可能になる。距離ずれ領域とは、SN比が低い、すなわち電荷比Rが所定の閾値を超える「偏在状態」にある領域である。
 また、第2実施形態の距離画像撮像装置101では、テーブル情報540に含まれる電荷比R(変数)のそれぞれは、図22における範囲E2、E3のいずれかの範囲に含まれる値である。範囲E2は、電荷比Rが電荷比閾値R5(第2閾値)未満となる範囲であり、「第2範囲」の一例である。範囲E3は、電荷比Rが電荷比閾値R5以上となる範囲であり、「第3範囲」の一例である。範囲E3におけるテーブル間隔は、範囲E2におけるテーブル間隔よりも小さい。これにより、電荷量Q1#と比較して、Q2#が多く蓄積された偏った状態で蓄積され、誤差が生じやすい状態にあっても、精度よく距離を補正することができる。
 また、第2実施形態の距離画像撮像装置101では、距離画像処理部104は、線形補間することによって補正後の距離を決定するようにする。距離画像処理部104は、テーブル情報540を用いて、算出した電荷比Rより小さい電荷比(例えば、電荷比R1)に対応付けられた第1距離(例えば、距離D11)と、電荷比Rより大きい電荷比(例えば、電荷比R2)に対応付けられた第2距離(例えば、距離D12)とを抽出する。距離画像処理部104は、抽出した第1距離(例えば、距離D11)と第2距離(例えば、距離D12)を線形補間することによって得られる距離を、補正後の距離(測定距離)と決定する。本第2実施形態では、テーブル情報540は、電荷量Q1#、Q2#が偏った状態で蓄積されている場合に、偏っていない状態と比較してテーブル間隔が小さくなるように作成されるので、線形補間する場合に、より精度よく、距離を補正することができる。
 また、第2実施形態の距離画像処理部104は、電荷蓄積部CS1~CS3のそれぞれに蓄積された電荷量のうち、最も少ない電荷量を、外光成分に対応する電荷量Qbとする。これにより、第2実施形態の距離画像撮像装置101では、電荷蓄積部CS1~CS3のそれぞれに蓄積された電荷量を比較するという容易な処理により、外光成分に対応する電荷量Qbを算出することができる。
 また、第2実施形態の距離画像処理部104は、電荷蓄積部CS1~CS3のうちの特定の電荷蓄積部CSに、外光成分に相当する光量のみが蓄積されるように、蓄積タイミングを制御する。距離演算部142は、この特定の電荷蓄積部CSに蓄積された電荷量を、外光成分に対応する電荷量Qbとする。これにより、第2実施形態の距離画像撮像装置101では、特定の電荷蓄積部CSに蓄積された電荷量を、外光成分に対応する電荷量Qbとして算出することができ、容易に外光成分に対応する電荷量Qbを決定できる。
(第2実施形態の効果)
 ここで、第2実施形態の距離画像撮像装置101における効果を、図27を用いて説明する。図27は、第1実施形態の効果を説明する図であると共に、第2実施形態の効果を説明する図でもある。図27には、実際の距離(実距離)と測定距離との関係が示されている。図27の横軸は実距離、縦軸は測定距離を示す。ここでの距離は、被写体OBまでの距離である。図27において、黒丸で示したテーブル情報540を使用しない(テーブル情報不使用)場合の測定距離は、例えば、(14)式に電荷量Q1~Q3を代入することによって算出される距離である。黒三角で示したテーブル情報540を使用する(テーブル情報使用)場合の測定距離は、テーブル情報540を用いて算出された距離である。この図27に示すように、テーブル情報使用の場合における測定距離は、実距離に一致する。一方、テーブル情報不使用の場合における測定距離は、実距離とは一致せず、誤差を含む値となっている。すなわち、本第2実施形態の距離画像撮像装置101では、テーブル情報540を用いて測定距離を決定することにより、より実距離に近い値を算出することが可能である。
(第2実施形態の変形例1)
 ここで、第2実施形態の変形例1について説明する。本第1変形例では、記憶部144が、複数のタイムウィンドウごとのテーブル情報540を記憶する点において、上述した第2実施形態と相違する。ここでのタイムウィンドウとは、距離測定用電荷蓄積部の組合せに対応する。距離測定用電荷蓄積部とは、反射光RLに対応する電荷が振り分けられて蓄積される二つの電荷蓄積部CSである。
 例えば、図20では、距離測定用電荷蓄積部の組合せは電荷蓄積部CS1及びCS2である。この組み合わせが、一つ目のタイムウィンドウに相当する。この一つ目のタイムウィンドウにて振り分けて蓄積される電荷の電荷比Rに応じて、距離Dが決定される。
 また、図24では、距離測定用の電荷蓄積部の組合せは電荷蓄積部CS2及びCS3である。この組み合わせが、二つ目のタイムウィンドウに相当する。この二つ目のタイムウィンドウにて振り分けて蓄積される電荷の電荷比Rに応じて、距離Dが決定される。
 図28は、第2実施形態の変形例1における二つのタイムウィンドウの特性を説明する図である。ここでの特性は、実距離と測定距離の対応関係を示す特性である。図28の横軸は実距離、縦軸は測定距離を示す。特性L0は、理想的な実距離と測定距離の関係を示している。特性L1は一つ目のタイムウィンドウにおける実距離と測定距離の関係を示している。特性L2は、二つ目のタイムウィンドウにおける実距離と測定距離の関係を示している。この図28の例に示すように、タイムウィンドウと別のタイムウィンドウでは、実距離と測定距離の対応関係が互いに異なる特性を示す場合が多い。このため、あるタイムウィンドウでは精度よく補正を行うことができるテーブル情報540を用いて、別のタイムウィンドウの距離を補正する場合、精度よく補正できるとは限らない。また、上述したとおり、反射光RLに対応する電荷が偏った状態で蓄積される場合に、誤差が生じやすくなる。このため、タイムウィンドウの繋ぎ部TSにおいて、距離の誤差が大きくなる。
 ここで、一つ目のタイムウィンドウには、二つ目のタイムウィンドウと比較して近距離にある被写体OBからの反射光RLが受光される。この場合において、一つ目のタイムウィンドウに対応させたテーブル情報540は、「近距離用情報」の一例である。一方、二つ目のタイムウィンドウには、一つ目のタイムウィンドウと比較して遠距離にある被写体OBからの反射光RLが受光される。この場合において、二つ目のタイムウィンドウに対応させたテーブル情報540は、「遠距離用情報」の一例である。
 この対策として、本第2実施形態の変形例1では、記憶部144に、タイムウィンドウごとのテーブル情報540を予め作成し、記憶部144に記憶させる。
 図29、及び図30は、第2実施形態の変形例1におけるテーブル情報540A、540Bの構成の例を示す図である。図29には、あるタイムウィンドウに相当する距離測定用電荷蓄積部の組合せ(この例では、電荷蓄積部CS1、及びCS2)に用いるテーブル情報540Aが、示されている。図30には、別のタイムウィンドウに相当する距離測定用電荷蓄積部の組合せ(例えば、電荷蓄積部CS2、及びCS3)に用いるテーブル情報540Bが、示されている。このように、タイムウィンドウごとのテーブル情報540A、540Bを作成することにより、それぞれのタイムウィンドウに応じた補正を行うことが可能となる。
 図29に示すように、テーブル情報540Aは、例えば、タイムウィンドウ、電荷比閾値、テーブル間隔、電荷比、及び距離の各項目を備える。タイムウィンドウは、距離測定用電荷蓄積部の組合せを示す情報である。この図29の例では、タイムウィンドウに(Q1Q2)が示され、距離測定用電荷蓄積部の組合せが電荷蓄積部CS1、CS2であることが示されている。電荷比閾値、テーブル間隔、電荷比、及び距離については、図21と同様であるため、その説明を省略する。
 図30に示すように、テーブル情報540Bは、例えば、タイムウィンドウ、電荷比閾値、テーブル間隔、電荷比、及び距離の各項目を備える。タイムウィンドウは、図29と同様であり、電荷比閾値、テーブル間隔、電荷比、及び距離については、図21と同様であるため、その説明を省略する。この図30の例では、タイムウィンドウに(Q2Q3)が示され、距離測定用の電荷蓄積部の組合せが電荷蓄積部CS2、CS3であることが示されている。また、電荷比閾値R15未満の電荷比群(電荷比R11~R14)のテーブル間隔を間隔TK4とし、電荷比閾値R15以上の電荷比群(電荷比R15~R19)のテーブル間隔を間隔TK5とする例が、示されている。
 図31は、第2実施形態の変形例におけるテーブル情報540Bを説明する図である。図31の横軸は電荷比R、縦軸は距離Dを示す。図31では、横軸の電荷比Rの大きさに応じて、2つの範囲E11、E12が設定されている。範囲E11は、電荷比が電荷比R15未満となる範囲である。範囲E12は、電荷比が電荷比R15以上となる範囲である。ここで、範囲E11は、「第1範囲」の一例である。範囲E12は、「第2範囲」の一例である。また、範囲E11は、「第4範囲」の一例である。範囲E12は、「第5範囲」の一例である。
 図31には、図30のテーブル情報540Bに基づく電荷比Rと距離Dとの関係が、示されている。テーブル情報540Bには電荷比閾値として電荷比R15が、設定されている。この場合、範囲E11に含まれる電荷比R11~R14のテーブル間隔が、間隔TK4となる。また、範囲E12に含まれる電荷比R15~R19のテーブル間隔が、間隔TK5となる。間隔TK4は、間隔TK5よりも小さい。
 なお、図31では、電荷比Rが(16)式で表される場合の例を示している。すなわち、図31では、電荷比Rが増加するにつれて距離Dが増加する、右肩上がりの特性が示されている。電荷比Rが(15)式で表される場合には、電荷比Rが増加するにつれて距離Dが減少する、右肩下がりの特性となる。この場合、電荷比閾値は(1.0-電荷比R15)に設定され、電荷比閾値以下の電荷比のテーブル間隔が、粗く(すなわち、広く)設定され、電荷比閾値より大きい電荷比のテーブル間隔が、細かく(すなわち、狭く)設定される。
 このように、本第2実施形態の変形例1では、タイムウィンドウごとにテーブル情報540を作成し、タイムウィンドウの繋ぎ部TSにおいて、繋ぎ部TSでない部分と比較してテーブル間隔が小さく細かくなるようにする。これにより、タイムウィンドウごとに適切なテーブル情報540を選択でき、かつ、距離の誤差が生じやすい繋ぎ部TSにおいても、より精度よく距離を決定することが可能となる。
 或いは、タイムウィンドウの繋ぎ部TSのみならず、二つ目のタイムウィンドウの両端部において、テーブル間隔が小さく細かくなるようにテーブル情報540を作成するようにしてもよい。これにより、距離の誤差が生じやすいタイムウィンドウの端部において、より精度よく距離を決定することが可能となる。
 図32は、第2実施形態の変形例1におけるテーブル情報540Cの構成の例を示す図である。図32に示すように、テーブル情報540Cは、例えば、タイムウィンドウ、電荷比閾値、テーブル間隔、電荷比、及び距離の各項目を備える。タイムウィンドウは、図29と同様であり、テーブル間隔、電荷比、及び距離については、図21と同様であるため、その説明を省略する。
 ここでは、電荷比閾値が、上限と下限の二つ、設定される。この図32の例では、上限の電荷比閾値が電荷比R20、下限の電荷比閾値が電荷比R15に設定することが、示されている。そして、下限の電荷比閾値R15未満の電荷比群(電荷比R11~R14)のテーブル間隔を間隔TK4とし、下限の電荷比閾値R15以上かつ上限の電荷比閾値R20未満の電荷比群(電荷比R15~R19)のテーブル間隔を間隔TK5とし、上限の電荷比閾値R20以上の電荷比群(電荷比R20~R24)のテーブル間隔を間隔TK6とすることが、示されている。
 図33は、第2実施形態の変形例1におけるテーブル情報540Cを説明する図である。図33の横軸は電荷比R、縦軸は距離Dを示す。図33では、横軸の電荷比Rの大きさに応じて、3つの範囲E11~E13が設定されている。範囲E11は、電荷比が電荷比R15未満となる範囲である。範囲E12は、電荷比が電荷比R15以上かつ電荷比R20未満となる範囲である。範囲E13は、電荷比が電荷比R20以上となる範囲である。ここで、範囲E11は、「第1範囲」の一例である。範囲E12は、「第2範囲」の一例である。範囲E13は、「第3範囲」の一例である。また、範囲E11は、「第4範囲」の一例である。範囲E12は、「第5範囲」の一例である。範囲E13は、「第6範囲」の一例である。
 図33には、図32のテーブル情報540Cに基づく電荷比Rと距離Dとの関係が、示されている。テーブル情報540Cには、上限の電荷比閾値として電荷比R20、下限の電荷比閾値として電荷比R15が、それぞれ設定されている。この場合、範囲E11に含まれる電荷比R11~R14のテーブル間隔が、間隔TK4となる。また、範囲E12に含まれる電荷比R15~R19のテーブル間隔が、間隔TK5となる。また、範囲E13に含まれる電荷比R20~R24のテーブル間隔が、間隔TK6となる。間隔TK4は、間隔TK5よりも小さい。間隔TK6は、間隔TK5よりも小さい。
 なお、図32では、電荷比Rが(16)式で表される場合の例を示している。すなわち、図32では、電荷比Rが増加するにつれて距離Dが増加する、右肩上がりの特性が示されている。電荷比Rが(15)式で表される場合には、電荷比Rが増加するにつれて距離Dが減少する、右肩下がりの特性となる。この場合、電荷比閾値は(1.0-電荷比R15)、及び(1.0-電荷比R20)に設定される。電荷比閾値(1.0-電荷比R20)以上かつ(1.0-電荷比R15)未満のテーブル間隔が、粗く(すなわち、広く)設定される。電荷比閾値(1.0-電荷比R20)未満のテーブル間隔が、細かく(すなわち、狭く)設定される。また、電荷比閾値(1.0-電荷比R15)以上のテーブル間隔が、細かく(すなわち、狭く)設定される。
 このように、本第2実施形態の変形例1では、タイムウィンドウごとにテーブル情報540を作成し、二つ目のタイムウィンドウの両端においてテーブル間隔が小さく細かくなるようにする。これにより、タイムウィンドウごとに適切なテーブル情報540を選択でき、かつ、距離の誤差が生じやすいタイムウィンドウの端部においても、より精度よく距離を決定することが可能となる。
 なお、上記では、二つ目のタイムウィンドウの両端においてテーブル間隔が小さく細かくなるように、テーブル情報540Cを作成する場合を例示して説明した。しかしながら、これに限定されることはない。一つ目のタイムウィンドウの両端においてテーブル間隔が小さく細かくなるように、テーブル情報540Aを作成するようにしてもよい。また、距離画像撮像装置101が複数のタイムウィンドウを備えない構成である場合における一つのタイムウィンドウの両端において、テーブル間隔が小さく細かくなるようにテーブル情報540を作成するようにしてもよい。
 以上に説明したように、実施形態の変形例1に係る距離画像撮像装置101では、テーブル情報540に含まれる電荷比R(変数)のそれぞれは、図31における範囲E11、E12のいずれかの範囲に含まれる値である。範囲E11は、電荷比Rが電荷比閾値R15未満となる範囲であり、「第1範囲」の一例である。範囲E12は、電荷比Rが電荷比閾値R15以上となる範囲であり、「第2範囲」の一例である。範囲E11におけるテーブル間隔は、範囲E12におけるテーブル間隔よりも小さい。これにより、電荷量Q1#と比較して、Q2#がごく僅かしか蓄積されない偏った状態で蓄積され、誤差が生じやすい状態にあっても、精度よく距離を補正することができる。
 また、第2実施形態の変形例1に係る距離画像撮像装置101では、画素421は、三つ以上の電荷蓄積部CSを具備する。記憶部144は、三つ以上の電荷蓄積部CSのうちの第1電荷蓄積部と前記第2電荷蓄積部の組合せごとにテーブル情報540を記憶する。距離画像処理部4は、三つ以上の電荷蓄積部CSに蓄積された電荷量に基づいて第1電荷蓄積部及び第2電荷蓄積部の組合せを決定する。距離画像処理部104は、三つ以上の電荷蓄積部CSのうち、電荷を蓄積させるタイミングが連続する二つの前記電荷蓄積部のそれぞれに蓄積された電荷量の和が、他の二つの前記電荷蓄積部のそれぞれに蓄積された電荷量よりも大きい組合せを、第1電荷蓄積部及び第2電荷蓄積部の組合せと決定する。距離画像処理部104は、決定した第1電荷蓄積部及び第2電荷蓄積部の組合せに応じてテーブル情報540を選択する。これにより、第2実施形態の変形例1では、タイムウィンドウごとに適切なテーブル情報540を選択でき、タイムウィンドウごとに特性が異なる場合においてもより精度よく距離を決定することが可能となる。
 また、第2実施形態の変形例1に係る距離画像撮像装置101では、記憶部144は、テーブル情報540Aとテーブル情報540Bとを記憶する。テーブル情報540Aは、一つ目のタイムウィンドウに対応するテーブル情報540であり、「近距離用情報」の一例である。テーブル情報540Bは、二つ目のタイムウィンドウに対応するテーブル情報540であり、「遠距離用情報」の一例である。テーブル情報540Aに含まれる電荷比R(変数)のそれぞれは、図22における範囲E2、E3のいずれかの範囲に含まれる値である。範囲E3におけるテーブル間隔は、範囲E2におけるテーブル間隔よりも小さい。テーブル情報540Bに含まれる電荷比R(変数)のそれぞれは、図31における範囲E11、E12のいずれかの範囲に含まれる値である。範囲E11におけるテーブル間隔は、範囲E12におけるテーブル間隔よりも小さい。これにより、第2実施形態の変形例1に係る距離画像撮像装置101では、タイムウィンドウごとに適切なテーブル情報540を選択でき、かつ、距離の誤差が生じやすいタイムウィンドウの繋ぎ部TSにおいて、より適切な距離を選択することが可能となる。したがって、精度よく距離を決定することができる。
(第2実施形態の変形例2)
 ここで、第2実施形態の変形例2について説明する。本変形例2では、外光のみが蓄積された電荷蓄積部CS、或いは反射光RLが振り分けられて蓄積される二つの電荷蓄積部CS(距離演算用電荷蓄積部)を特定することなく電荷比Rを算出する点において、上述した第2実施形態と相違する。
 本変形例2では、距離演算部142は、特許文献WO2019/031510に記載されている方法を利用する。特許文献WO2019/031510には、指標値が所定の閾値を超えるか否かに応じて、距離演算に用いる演算式が選択される技術が記載されている。ここでの指標値は、特許文献WO2019/031510における「距離データ有効性判定信号」である。また、ここでの演算式は、特許文献WO2019/031510における「距離参照値」であり、本実施形態の「電荷比R」に相当する。以下では、画素421が三つの電荷蓄積部CSを備える場合と、画素421が四つの電荷蓄積部CSを備える場合に分けて、具体的な電荷比Rの算出方法を説明する。
(画素421が三つの電荷蓄積部CSを備える場合)
 本変形例2において、距離演算部142は、以下の(17)式、或いは(18)式を用いて電荷比Rを算出する。ここでは、図20、及び図24に示すタイミングチャートにしたがって、電荷蓄積部CS1、CS2、CS3の順に、電荷が蓄積されるものとする。すなわち、距離演算部42は、光パルスPOの照射に同期させたタイミングで、電荷蓄積部CS1、CS2,及びCS3の順に、電荷が蓄積されるように制御する。この場合、電荷蓄積部CS1は「第1電荷蓄積部」の一例である。電荷蓄積部CS2は、「第2電荷蓄積部」の一例である。電荷蓄積部CS3は、「第3電荷蓄積部」の一例である。また、電荷蓄積部CS1に蓄積された電荷量は、「第1電荷量」の一例である。電荷蓄積部CS2に蓄積された電荷量は、「第2電荷量」の一例である。電荷蓄積部CS3に蓄積された電荷量は、「第3電荷量」の一例である。
 R=1-(Q1-Q3)/SA …(17)
 R=(Q1-Q3)/SA   …(18)
 ただし、
 SA=|Q1-Q3|+Q2-0.5×SB
 SB=|Q1+Q3|-|Q1-Q3|
 Q1は電荷蓄積部CS1に蓄積された電荷量
 Q2は電荷蓄積部CS2に蓄積された電荷量
 Q3は電荷蓄積部CS3に蓄積された電荷量
 記憶部144には、単位蓄積電荷量Qintごとに、電荷比Rに距離を対応づけたテーブル情報540が記憶されている。距離演算部142は、単位蓄積電荷量Qintを算出し、算出した単位蓄積電荷量Qintに対応するテーブル情報540を用いて電荷比Rに対応づけられた距離を、測定距離とする。
(画素421が四つの電荷蓄積部CSを備える場合)
 まず、画素421が四つの電荷蓄積部CSを備える場合における、画素421の駆動タイミングについて説明する。この場合、例えば、図20、及び図24にさらに読み出しゲートトランジスタG4の項目が追加され、電荷蓄積部CS1、CS2、CS3、CS4にその順に、電荷が蓄積される。この場合、電荷蓄積部CS1は、「第1電荷蓄積部」の一例である。電荷蓄積部CS2は、「第2電荷蓄積部」の一例である。電荷蓄積部CS3は、「第3電荷蓄積部」の一例である。電荷蓄積部CS4は、「第4電荷蓄積部」の一例である。また、電荷蓄積部CS1に蓄積された電荷量は、「第1電荷量」の一例である。電荷蓄積部CS2に蓄積された電荷量は、「第2電荷量」の一例である。電荷蓄積部CS3に蓄積された電荷量は、「第3電荷量」の一例である。電荷蓄積部CS4に蓄積された電荷量は、「第4電荷量」の一例である。
 具体的には、図20、及び図24に示すタイミングで、光パルスPOの照射、ドレインゲートトランジスタGDをオフ状態とする制御、読み出しゲートトランジスタG1~G3をオン状態とする制御が、行われる。次に、垂直走査回路1323は、電荷蓄積部CS3への電荷の蓄積を終了させたタイミングで、読み出しゲートトランジスタG4をオン状態にし、蓄積時間Taが経過した後に、読み出しゲートトランジスタG4をオフ状態にする。これにより、読み出しゲートトランジスタG4がオン状態に制御されている間に光電変換素子PDにより光電変換された電荷は、読み出しゲートトランジスタG4を介して電荷蓄積部CS4に蓄積される。次に、垂直走査回路423は、電荷蓄積部CS4への電荷の蓄積を終了させたタイミングで、ドレインゲートトランジスタGDをオン状態にして電荷の排出を行う。これにより、光電変換素子PDにより光電変換された電荷は、ドレインゲートトランジスタGDを介して破棄される。
 上記のようなタイミングにて制御された電荷蓄積部CSのそれぞれに蓄積された電荷量に基づいて、距離演算部142は、以下の(19)式、或いは(20)式を用いて、電荷比XRを算出する。
 XR=1-(Q1-Q3)/SA …(19)
 XR=(Q1-Q3)/SA   …(20)
 ただし、
 SA=|Q1-Q3|+|Q2-Q4|
 Q1は電荷蓄積部CS1に蓄積された電荷量
 Q2は電荷蓄積部CS2に蓄積された電荷量
 Q3は電荷蓄積部CS3に蓄積された電荷量
 Q4は電荷蓄積部CS4に蓄積された電荷量
 また、距離演算部142は、以下の(21)式、或いは(22)式を用いて、電荷比YRを算出する。
 YR=2-(Q2-Q4)/SA …(21)
 YR=1+(Q2-Q4)/SA …(22)
 ただし、
 SA=|Q1-Q3|+|Q2-Q4|
 Q1は電荷蓄積部CS1に蓄積された電荷量
 Q2は電荷蓄積部CS2に蓄積された電荷量
 Q3は電荷蓄積部CS3に蓄積された電荷量
 Q4は電荷蓄積部CS4に蓄積された電荷量
 距離演算部142は、電荷比XRと閾値ThRとを比較する。閾値ThRは、タイムウィンドウの切り替わり付近に相当する電荷比XRの値の近傍に設定される。距離演算部142は、電荷比XRが閾値ThR以下の場合、電荷比XRを、電荷比Rとして選択する。一方、距離演算部142は、電荷比XRが閾値ThRを超えている場合、電荷比YRを、電荷比Rとして選択する。
 記憶部144には、単位蓄積電荷量Qintごとに、電荷比Rに距離を対応づけたテーブル情報540が記憶されている。距離演算部142は、単位蓄積電荷量Qintを算出し、算出した単位蓄積電荷量Qintに対応するテーブル情報540を用いて電荷比Rに対応づけられた距離を、測定距離とする。
 以上に説明したように、第2実施形態の変形例2に係る距離画像撮像装置101では、画素421は、三つの電荷蓄積部CS1~CS3を具備する。距離画像処理部104は、光パルスPOの照射に同期させたタイミングで、電荷蓄積部CS1、CS2、CS3にその順に、電荷が蓄積されるように制御する。距離演算部142は、(17)式または(18)式のように、(Q1-Q3)を、二つの距離演算用電荷蓄積部のいずれか一方の電荷蓄積部CSに蓄積された、反射光RLに対応する電荷量(距離演算用電荷量)とする。Q1は、電荷蓄積部CS1に蓄積された電荷量である。Q3は、電荷蓄積部CS3に蓄積された電荷量である。
 これにより、第2実施形態の変形例2に係る距離画像撮像装置101では、二つの距離演算用電荷蓄積部を特定することなく、二つの距離演算用電荷蓄積部のいずれか一方に蓄積された距離演算用電荷量を算出することができる。このため、(17)式または(18)式のSAに示すように、二つの距離演算用電荷蓄積部のそれぞれに蓄積された距離演算用電荷量の和を算出することによって、電荷比Rを算出することが可能である。したがって、第2実施形態の変形例2に係る距離画像撮像装置101では、遅延時間Tdの長さに応じて、外光のみが蓄積された電荷蓄積部CSを特定し、外光成分に相当する電荷量Qbを算出することなく、容易に電荷比Rを算出することができる。さらに、二つのタイムウィンドウの境界においても同一の演算式((17)式または(18)式)を適用することができるため、タイムウィンドウの境界における不連続性を改善させることが可能である。
 また、第2実施形態の変形例2に係る距離画像撮像装置101では、画素421は、四つの電荷蓄積部CS1~CS4を具備する。距離画像処理部104は、光パルスPOの照射に同期させたタイミングで、電荷蓄積部CS1、CS2、CS3、CS4にその順に、電荷が蓄積されるように制御する。距離演算部142は、(Q1-Q3)を、二つの距離演算用電荷蓄積部の一方の電荷蓄積部CSに蓄積された電荷量から計算される信号量とする。距離演算部142は、(Q2-Q4)を、二つの距離演算用電荷蓄積部の他方の電荷蓄積部CSに蓄積された電荷量から計算される信号量とする。距離演算部142は、|Q1-Q3|+|Q2-Q4|を、二つの距離演算用電荷蓄積部のそれぞれの電荷蓄積部CSに蓄積された電荷量から計算される信号量の和とする。
 これにより、第2実施形態の変形例2に係る距離画像撮像装置101では、二つの距離演算用電荷蓄積部のそれぞれに蓄積された距離演算用電荷量の和、二つの距離演算用電荷蓄積部のいずれか一方に蓄積された距離演算用電荷量、及び他方に蓄積された距離演算用電荷量を算出することができる。このため、二つの距離演算用電荷蓄積部を特定することなく、電荷比Rを算出することが可能である。
 さらに、この場合、タイムウィンドウの境界において(19)式における電荷比XRと(21)式における電荷比YRとが同じ値となる。このため、タイムウィンドウの境界における不連続性を改善させることが可能である。 
 なお、上述した第2実施形態では、距離画像処理部104が記憶部144を備える構成を例示して説明したが、これに限定されない。記憶部144は、少なくとも距離画像撮像装置101に設けられていればよく、距離画像処理部104とは異なる機能部に設けられていてもよい。
 また、上述した第2実施形態では、テーブル間隔を電荷比Rの差分とする場合を例に説明したが、これに限定されない。テーブル間隔は、距離Dの差分であってもよい。テーブル情報540を作成する場合においては、測定空間に測定距離が均一となる物体(例えば、壁、等)を被写体OBとして設置し、距離画像撮像装置101から被写体OBまでの距離を変化させながら反射光RL電荷の蓄積を行い、電荷比Rと距離Dとの関係を取得する。この場合においては、測定範囲の最小値、及び最大値の近傍において、反射光RLに対応する電荷量が偏って蓄積され、距離に誤差が生じやすくなる。
 例えば、一つのタイムウィンドウで測定可能な範囲が1.8m程度であり、3つのタイムウィンドウを備える構成である場合を考える。この場合、それぞれのタイムウィンドウの端部に相当する距離の範囲において、誤差が生じやすくなる。タイムウィンドウの端部に相当する距離とは、例えば、一つ目のタイムウィンドウの端部に相当する距離1.6m~1.8m程度の範囲である。また、二つ目のタイムウィンドウの両端部に相当する距離1.8m~2.0m、及び3.4m~3.6m程度の範囲である。また、三つ目のタイムウィンドウの両端部に相当する距離3.6m~3.8m、及び5.2m~5.4m程度の範囲である。これらの距離の範囲においては、テーブル間隔が小さく細かくなるように、テーブル情報540を作成する。具体的には、距離画像撮像装置101から被写体OB(例えば、壁)までの距離を、細かく(例えば、0.05m刻み)変化させながら反射光RL電荷の蓄積を行い、テーブル情報540を作成する。一方、タイムウィンドウの端部に相当しない距離の範囲においては、テーブル間隔が大きく粗くなるように、テーブル情報540を作成する。具体的には、距離画像撮像装置101から被写体OB(例えば、壁)までの距離を、粗く(例えば、0.5m刻み)変化させながら反射光RL電荷の蓄積を行い、テーブル情報540を作成する。
 また、上述した少なくとも一つの実施形態では、電荷比Rが二つの距離演算用電荷蓄積部のそれぞれに蓄積された距離演算用電荷量の和に対する、二つの距離演算用電荷蓄積部のいずれか一方の距離演算用電荷量の比である場合を例に説明した。しかしながら、これに限定されない。電荷比Rは、少なくとも二つの距離演算用電荷蓄積部のそれぞれに蓄積された距離演算用電荷量を用いて示される比率であればよい。例えば、電荷比Rは、二つの距離演算用電荷蓄積部のいずれか一方の距離演算用電荷量に対する、他方の距離演算用電荷量の比であってもよい。
 また、図25では、光パルスPOを照射する前に電荷蓄積部CS1に電荷を蓄積させることによって、電荷蓄積部CS1に外光成分に相当する電荷量Qbのみが蓄積されるように制御する場合を例に説明した。しかしながらこれに限定されない。光パルスPOを照射し、反射光RLを受光した後に電荷蓄積部CS3に電荷を蓄積させるように制御してもよい。この場合、電荷蓄積部CS3に外光成分に相当する電荷量Qbのみが蓄積される。この場合、電荷蓄積部CS3は、「予め決められた外光蓄積用電荷蓄積部」の一例である。
 また、外光成分に相当する電荷量Qbとして、別フレームにおいて取得された外光成分に相当する電荷量や、距離画像撮像装置101に特定の外光測定用の画素421を設けることによって取得された外光成分に相当する電荷量が、用いられてもよい。上記方法を用いて、例えば、画素421が二つの電荷蓄積部CSのみを具備する場合であっても、二つの電荷蓄積部CSのそれぞれに蓄積された電荷量から、外光成分に相当する電荷量を減算することができる。したがって、画素421が二つの電荷蓄積部CSのみを具備する場合であっても、電荷比Rを計算することが可能である。
 上述した実施形態における距離画像撮像装置101、距離画像処理部104の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD-ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するものも含んでもよく、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、さらに、FPGA、等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
 以上、本発明の第2実施形態について図面を参照して詳述してきたが、具体的な構成は第2実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。
 本発明によれば、電荷蓄積部に蓄積された電荷量に基づいて算出される距離に誤差がある場合であっても、実際の距離に近づくように補正することができる。すなわち、電荷蓄積部に蓄積された電荷量に基づいて算出される距離と実際の距離との間に誤差がある場合であっても、算出される距離を実際の距離に近づくように補正(演算)することができる。
 1、101…距離画像撮像装置
 2、102…光源部
 3、103…受光部
 32、132…距離画像センサ
 321、421…画素
 323、423…垂直走査回路
 4、104…距離画像処理部
 41、141…タイミング制御部
 42、142…距離演算部
 43、143…測定制御部
 44、144…記憶部
 440、540…テーブル情報
 CS…電荷蓄積部
 PO…光パルス

Claims (24)

  1.  被写体が存在する測定空間に光パルスを照射する光源部と、
     入射した光に応じた電荷を発生する光電変換素子、及び前記電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定のタイミングで前記画素における前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、
     電荷比に被写体までの対応距離が対応付けられたテーブル情報を記憶する記憶部と、
     前記電荷蓄積部のそれぞれに蓄積された電荷量と前記テーブル情報を用いて、前記被写体までの測定距離を決定する距離画像処理部と、
    を備え、
     前記距離画像処理部は、
     複数の前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて前記電荷比を算出し、
     算出した前記電荷比に対応する前記対応距離を前記テーブル情報から取得し、 
     取得した前記対応距離を用いて前記測定距離を決定する、
    距離画像撮像装置。
  2.  前記記憶部は、単位蓄積回数あたりに蓄積される電荷量に基づく第1変数ごとに、前記電荷比に基づく第2変数と前記被写体までの距離に対応する前記対応距離との関係を示す前記テーブル情報を記憶し、
     前記第1変数は、単位蓄積回数あたりに前記電荷蓄積部のそれぞれに蓄積される電荷量の和に対応する変数であり、
     前記第2変数は、三つ以上の前記電荷蓄積部のうち前記光パルスが前記被写体に反射した反射光に対応する電荷量が振り分けて蓄積される二つ以上の距離演算用電荷蓄積部のそれぞれに蓄積された電荷量から外光成分を減算した距離演算用電荷量を用いて示される電荷比に対応する変数であり、
     前記距離画像処理部は、
     前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて前記第1変数及び前記第2変数を算出し、
     算出した前記第1変数に対応する前記テーブル情報を選択し、
     選択した前記テーブル情報を用いて、算出した前記第2変数に対応する前記対応距離を取得し、
     取得した前記対応距離を用いて、前記測定距離を決定する、
     請求項1に記載の距離画像撮像装置。
  3.  前記電荷比は、前記距離演算用電荷蓄積部のそれぞれに蓄積された前記距離演算用電荷量の和に対する、二つ以上の前記距離演算用電荷蓄積部のいずれか一つまたは複数の組み合わせによる前記距離演算用電荷量の比である、
     請求項2に記載の距離画像撮像装置。
  4.  前記距離画像処理部は、
     前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて前記第1変数及び前記第2変数を算出し、
     算出した前記第1変数に対応する前記テーブル情報を選択し、
     選択した前記テーブル情報から、前記第2変数より小さい電荷比に対応付けられた第1距離と、前記第2変数より大きい電荷比に対応付けられた第2距離とを抽出し、
     抽出した前記第1距離と前記第2距離を線形補間することによって前記測定距離を決定する、
     請求項2に記載の距離画像撮像装置。
  5.  前記画素は、三つ以上の前記電荷蓄積部を具備し、
     前記距離画像処理部は、三つ以上の前記電荷蓄積部のそれぞれに蓄積された電荷量のうち、最も少ない電荷量を、外光成分に相当する電荷量とする、
     請求項2から請求項4のいずれか一項に記載の距離画像撮像装置。
  6.  前記画素は、三つ以上の前記電荷蓄積部を具備し、
     前記距離画像処理部は、
     三つ以上の前記電荷蓄積部のうち、予め決められた外光蓄積用電荷蓄積部に前記反射光に対応する電荷が蓄積されないように、前記外光蓄積用電荷蓄積部に電荷を蓄積させるタイミングを制御し、
     前記外光蓄積用電荷蓄積部に蓄積された電荷量を、外光成分に相当する電荷量とする、
     請求項2から請求項4のいずれか一項に記載の距離画像撮像装置。
  7.  前記記憶部は、
     前記第1変数が閾値より小さい場合に対応する前記テーブル情報である第1テーブル情報と、
     前記第1変数が前記閾値より大きい場合に対応する前記テーブル情報である第2テーブル情報と、
    を記憶し、
     前記閾値は、前記光電変換素子から前記電荷蓄積部までの経路における電荷の転送効率に応じて決定される値であり、
     前記距離画像処理部は、
     前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて前記第1変数及び前記第2変数を算出し、
     算出した前記第1変数が前記閾値より小さい場合に前記第1テーブル情報を選択し、
     算出した前記第1変数が前記閾値より大きい場合に前記第2テーブル情報を選択する、
     請求項2に記載の距離画像撮像装置。
  8.  前記記憶部は、二つの前記距離演算用電荷蓄積部の組合せごとに前記テーブル情報を記憶し、
     前記距離画像処理部は、
     三つ以上の前記電荷蓄積部のうち、電荷を蓄積させるタイミングが連続する二つの前記電荷蓄積部のそれぞれに蓄積された電荷量の和が、他の二つの前記電荷蓄積部のそれぞれに蓄積された電荷量よりも大きい組合せを、前記距離演算用電荷蓄積部の組合せと決定し、
     決定した前記距離演算用電荷蓄積部の組合せに応じて前記テーブル情報を選択する、
     請求項2に記載の距離画像撮像装置。
  9.  前記画素には、三つの前記電荷蓄積部である第1電荷蓄積部、第2電荷蓄積部、及び第3電荷蓄積部が設けられ、
     前記距離画像処理部は、
     前記光パルスの照射に同期させたタイミングで、前記第1電荷蓄積部、第2電荷蓄積部、及び第3電荷蓄積部にその順に、前記電荷が蓄積されるように制御し、
     前記第1電荷蓄積部に蓄積された第1電荷量と前記第3電荷蓄積部に蓄積された第3電荷量とを用いて、前記第1電荷量と前記第3電荷量との差分である第1算出値を算出し、
     前記第1算出値を、二つの前記距離演算用電荷蓄積部のいずれか一方の前記距離演算用電荷量とする、
     請求項2に記載の距離画像撮像装置。
  10.  前記画素には、四つの前記電荷蓄積部である第1電荷蓄積部、第2電荷蓄積部、第3電荷蓄積部、及び第4電荷蓄積部が設けられ、
     前記距離画像処理部は、
     前記光パルスの照射に同期させたタイミングで、前記第1電荷蓄積部、第2電荷蓄積部、第3電荷蓄積部、及び第4電荷蓄積部の順に、前記電荷が蓄積されるように前記画素駆動回路を制御し、
     前記第1電荷蓄積部に蓄積された第1電荷量と前記第3電荷蓄積部に蓄積された第3電荷量とを用いて、前記第1電荷量と前記第3電荷量との差分である第1算出値を算出し、
     前記第2電荷蓄積部に蓄積された第2電荷量と前記第4電荷蓄積部に蓄積された第4電荷量とを用いて、前記第2電荷量と前記第4電荷量との差分である第2算出値を算出し、
     前記第1算出値の絶対値と前記第2算出値の絶対値を加算した加算値を、二つの前記距離演算用電荷蓄積部における前記距離演算用電荷量の和とし、
     前記第1算出値を二つの前記距離演算用電荷蓄積部における一方の前記距離演算用電荷量とし、
     前記第2算出値を二つの前記距離演算用電荷蓄積部における他方の前記距離演算用電荷量する、
     請求項2に記載の距離画像撮像装置。
  11.  前記電荷比は、複数の前記電荷蓄積部のうち前記光パルスが前記被写体に反射した反射光に対応する電荷が振り分けて蓄積される二つ以上の電荷蓄積部のそれぞれに蓄積された電荷量から外光成分に相当する電荷量を減算した距離演算用電荷量を用いて示される比率であり、
     前記テーブル情報は、前記テーブル情報に含まれる前記電荷比と前記対応距離のいずれかである変数のそれぞれを昇順或いは降順に並べた場合に隣り合う前記変数の差分に相当するテーブル間隔について、前記電荷比が、所定の上限値を上回る状態、又は所定の下限値を下回る状態である偏在状態にある前記変数のテーブル間隔が、前記偏在状態にない前記変数のテーブル間隔よりも小さくなるように、作成されている、
     請求項1に記載の距離画像撮像装置。
  12.  複数の前記電荷蓄積部のうち前記光パルスが前記被写体に反射した反射光に対応する電荷が最初に蓄積される電荷蓄積部を第1電荷蓄積部とし、
     前記反射光に対応する電荷が前記第1電荷蓄積部の次に蓄積される電荷蓄積部を第2電荷蓄積部とし、
     前記第1電荷蓄積部に蓄積された第1電荷量から外光成分に相当する電荷量を減算した電荷量を第1距離演算用電荷量とし、
     前記第2電荷蓄積部に蓄積された第2電荷量から外光成分に相当する電荷量を減算した電荷量を第2距離演算用電荷量とし、
     前記電荷比は、前記第1距離演算用電荷量、及び前記第2距離演算用電荷量の和に対する、前記第2距離演算用電荷量の比であり、
     前記偏在状態は、前記電荷比が所定の上限値を上回る、又は所定の下限値を下回る状態である、
     請求項11に記載の距離画像撮像装置。
  13.  前記テーブル情報に含まれる前記変数のそれぞれは、前記電荷比が第1閾値未満となる第1範囲、前記電荷比が第1閾値以上かつ第2閾値未満となる第2範囲、及び前記電荷比が第2閾値以上となる第3範囲のいずれかの範囲に含まれる値であり、
     前記第3範囲における前記テーブル間隔は、前記第2範囲における前記テーブル間隔よりも小さい、
     請求項11又は請求項12に記載の距離画像撮像装置。
  14.  前記テーブル情報に含まれる前記変数のそれぞれは、前記電荷比が第1閾値未満となる第1範囲、前記電荷比が第1閾値以上かつ第2閾値未満となる第2範囲、及び前記電荷比が第2閾値以上となる第3範囲のいずれかの範囲に含まれる値であり、
     前記第1範囲における前記テーブル間隔は、前記第2範囲における前記テーブル間隔よりも小さい、
     請求項11から請求項13のいずれか一項に記載の距離画像撮像装置。
  15.  前記距離画像処理部は、
     複数の前記電荷蓄積部のそれぞれに蓄積された電荷量に基づく前記電荷比を算出し、
     前記算出した電荷比より小さい電荷比に対応付けられた第1距離と、前記算出した電荷比より大きい電荷比に対応付けられた第2距離とを、前記テーブル情報から抽出し、
     抽出した前記第1距離と前記第2距離を線形補間することによって前記測定距離を決定する、
     請求項11から請求項14のいずれか一項に記載の距離画像撮像装置。
  16.  前記画素は、三つ以上の前記電荷蓄積部を具備し、
     前記距離画像処理部は、三つ以上の前記電荷蓄積部のそれぞれに蓄積された電荷量のうち、最も少ない電荷量を、外光成分に相当する電荷量とする、
     請求項11から請求項15のいずれか一項に記載の距離画像撮像装置。
  17.  前記画素は、三つ以上の前記電荷蓄積部を具備し、
     前記距離画像処理部は、
     三つ以上の前記電荷蓄積部のうち、予め決められた外光蓄積用電荷蓄積部に前記反射光に対応する電荷が蓄積されないように、前記外光蓄積用電荷蓄積部に電荷を蓄積させるタイミングを制御し、
     前記外光蓄積用電荷蓄積部に蓄積された電荷量を、外光成分に相当する電荷量とする、
     請求項11から請求項15のいずれか一項に記載の距離画像撮像装置。
  18. 前記画素には、三つの前記電荷蓄積部である第1電荷蓄積部、第2電荷蓄積部、及び第3電荷蓄積部が設けられ、
     前記距離画像処理部は、
     前記光パルスの照射に同期させたタイミングで、前記第1電荷蓄積部、第2電荷蓄積部、及び第3電荷蓄積部の順に、前記電荷が蓄積されるように制御し、
     前記第1電荷蓄積部に蓄積された第1電荷量と前記第3電荷蓄積部に蓄積された第3電荷量とを用いて、前記第1電荷量と前記第3電荷量との差分である第1算出値を算出し、
     前記第1算出値を、三つの前記電荷蓄積部のうち前記光パルスが前記被写体に反射した反射光に対応する電荷量が振り分けて蓄積される二つの距離演算用電荷蓄積部のいずれか一方に蓄積された前記反射光に対応する電荷量とする、
     請求項11から請求項15のいずれか一項に記載の距離画像撮像装置。
  19.  前記画素には、四つの前記電荷蓄積部である第1電荷蓄積部、第2電荷蓄積部、第3電荷蓄積部、及び第4電荷蓄積部が設けられ、
     前記距離画像処理部は、
     前記光パルスの照射に同期させたタイミングで、前記第1電荷蓄積部、第2電荷蓄積部、第3電荷蓄積部、及び第4電荷蓄積部の順に、前記電荷が蓄積されるように前記画素駆動回路を制御し、
     前記第1電荷蓄積部に蓄積された第1電荷量と前記第3電荷蓄積部に蓄積された第3電荷量とを用いて、前記第1電荷量と前記第3電荷量との差分である第1算出値を算出し、
     前記第2電荷蓄積部に蓄積された第2電荷量と前記第4電荷蓄積部に蓄積された第4電荷量とを用いて、前記第2電荷量と前記第4電荷量との差分である第2算出値を算出し、
     前記第1算出値の絶対値と前記第2算出値の絶対値を加算した加算値を、四つの前記電荷蓄積部のうち前記光パルスが前記被写体に反射した反射光に対応する電荷量が振り分けて蓄積される二つの距離演算用電荷蓄積部のそれぞれに蓄積された前記反射光に対応する電荷量である距離演算用電荷量の和とし、
     前記第1算出値を、二つの前記距離演算用電荷蓄積部における一方の前記距離演算用電荷量とし、
     前記第2算出値を二つの前記距離演算用電荷蓄積部における他方の前記距離演算用電荷量する、
     請求項11から請求項15のいずれか一項に記載の距離画像撮像装置。
  20.  前記画素は、三つ以上の前記電荷蓄積部を具備し、
     三つ以上の前記電荷蓄積部のうち前記光パルスが前記被写体に反射した反射光に対応する電荷が最初に蓄積される電荷蓄積部を第1電荷蓄積部とし、
     前記反射光に対応する電荷が前記第1電荷蓄積部の次に蓄積される電荷蓄積部を第2電荷蓄積部とし、
     前記記憶部は、前記第1電荷蓄積部と前記第2電荷蓄積部の組合せごとに前記テーブル情報を記憶し、
     前記距離画像処理部は、
     三つ以上の前記電荷蓄積部のうち、電荷を蓄積させるタイミングが連続する二つの前記電荷蓄積部のそれぞれに蓄積された電荷量の和が、他の二つの前記電荷蓄積部のそれぞれに蓄積された電荷量よりも大きい組合せを、前記第1電荷蓄積部及び前記第2電荷蓄積部の組合せと決定し、
     決定した前記第1電荷蓄積部及び前記第2電荷蓄積部の組合せに応じて前記テーブル情報を選択する、
     請求項11に記載の距離画像撮像装置。
  21. 複数の前記電荷蓄積部のうち前記光パルスが前記被写体に反射した反射光に対応する電荷量が最初に蓄積される電荷蓄積部を第1電荷蓄積部とし、
     前記反射光に対応する電荷量が前記第1電荷蓄積部の次に蓄積される電荷蓄積部を第2電荷蓄積部とし、
     前記記憶部は、
     近距離にある前記被写体に反射した反射光に対応する電荷量が蓄積される前記第1電荷蓄積部と前記第2電荷蓄積部の組合せに対応する前記テーブル情報である近距離用情報と、
     遠距離にある前記被写体に反射した反射光に対応する電荷量が蓄積される前記第1電荷蓄積部と前記第2電荷蓄積部の組合せに対応する前記テーブル情報である遠距離用情報と、
    を記憶し、
     前記近距離用情報に含まれる前記変数のそれぞれは、前記電荷比が第1閾値未満となる第1範囲、前記電荷比が第1閾値以上かつ第2閾値未満となる第2範囲、及び前記電荷比が第2閾値以上となる第3範囲いずれかの範囲に含まれる値であり、
     前記第3範囲における前記テーブル間隔は、前記第2範囲における前記テーブル間隔よりも小さく、
     前記遠距離用情報に含まれる前記変数のそれぞれは、前記電荷比が第4閾値未満となる第4範囲、前記電荷比が第4閾値以上かつ第5閾値未満となる第5範囲、及び前記電荷比が第5閾値以上となる第6範囲いずれかの範囲に含まれる値であり、
     前記第4範囲における前記テーブル間隔は、前記第5範囲における前記テーブル間隔よりも小さい、
     請求項11に記載の距離画像撮像装置。
  22.  被写体が存在する測定空間に光パルスを照射する光源部と、
     入射した光に応じた電荷を発生する光電変換素子、及び前記電荷を蓄積する複数の電荷蓄積部を具備する画素と、前記光パルスの照射に同期させた所定のタイミングで前記画素における前記電荷蓄積部のそれぞれに前記電荷を振り分けて蓄積させる画素駆動回路と、を有する受光部と、
     電荷比に被写体までの対応距離が対応付けられたテーブル情報を記憶する記憶部と、
     前記電荷蓄積部のそれぞれに蓄積された電荷量と前記テーブル情報を用いて、前記被写体までの測定距離を決定する距離画像処理部と、
    を備える距離画像撮像装置による距離画像撮像方法であって、
     前記距離画像処理部は、
     複数の前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて前記電荷比を算出し、
     算出した前記電荷比に対応する前記対応距離を前記テーブル情報から取得し、
     取得した前記対応距離を用いて前記測定距離を決定する、
     距離画像撮像方法。
  23.  前記記憶部は、単位蓄積回数あたりに蓄積される電荷量に基づく第1変数ごとに、前記電荷比である第2変数と前記被写体までの距離に対応する前記対応距離との関係を示す前記テーブル情報を記憶する、前記距離画像撮像装置による距離画像撮像方法であって、
     前記第1変数は、単位蓄積回数あたりに前記電荷蓄積部のそれぞれに蓄積される電荷量の和に対応する変数であり、
     前記第2変数は、三つ以上の前記電荷蓄積部のうち前記光パルスが前記被写体に反射した反射光に対応する電荷量が振り分けて蓄積される二つ以上の距離演算用電荷蓄積部のそれぞれに蓄積された電荷量から外光成分を減算した距離演算用電荷量を用いて示される電荷比に対応する変数であり、
     前記距離画像処理部は、
     前記電荷蓄積部のそれぞれに蓄積された電荷量に基づいて前記第1変数及び前記第2変数を算出し、
     算出した前記第1変数に対応する前記テーブル情報を選択し、
     選択した前記テーブル情報を用いて、算出した前記第2変数に対応する前記対応距離を取得し、
     取得した前記対応距離を用いて、前記測定距離を決定する、
     請求項22に記載の距離画像撮像方法。
  24.  前記電荷比は、複数の前記電荷蓄積部のうち前記光パルスが前記被写体に反射した反射光に対応する電荷が振り分けて蓄積される二つ以上の電荷蓄積部のそれぞれに蓄積された電荷量から外光成分に相当する電荷量を減算した距離演算用電荷量を用いて示される比率であり、
     前記テーブル情報は、前記テーブル情報に含まれる前記電荷比と前記対応距離のいずれかである変数のそれぞれを昇順又は降順に並べた場合に隣り合う前記変数の差分に相当するテーブル間隔について、前記電荷比が、所定の上限値を上回る状態、又は所定の下限値を下回る状態である偏在状態にある前記変数のテーブル間隔が、前記偏在状態にない前記変数のテーブル間隔よりも小さくなるように作成されている、
     請求項22に記載の距離画像撮像方法。
PCT/JP2022/002193 2021-01-21 2022-01-21 距離画像撮像装置、及び距離画像撮像方法 WO2022158570A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202280010872.9A CN116868087A (zh) 2021-01-21 2022-01-21 距离图像摄像装置及距离图像摄像方法
EP22742689.7A EP4283253A1 (en) 2021-01-21 2022-01-21 Distance image capturing device and distance image capturing method
US18/355,978 US20240022833A1 (en) 2021-01-21 2023-07-20 Range imaging device and range imaging method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2021-008219 2021-01-21
JP2021-008218 2021-01-21
JP2021008219A JP2022112389A (ja) 2021-01-21 2021-01-21 距離画像撮像装置、及び距離画像撮像方法
JP2021008218A JP2022112388A (ja) 2021-01-21 2021-01-21 距離画像撮像装置、及び距離画像撮像方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/355,978 Continuation US20240022833A1 (en) 2021-01-21 2023-07-20 Range imaging device and range imaging method

Publications (1)

Publication Number Publication Date
WO2022158570A1 true WO2022158570A1 (ja) 2022-07-28

Family

ID=82548808

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/002193 WO2022158570A1 (ja) 2021-01-21 2022-01-21 距離画像撮像装置、及び距離画像撮像方法

Country Status (3)

Country Link
US (1) US20240022833A1 (ja)
EP (1) EP4283253A1 (ja)
WO (1) WO2022158570A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009005098A1 (ja) * 2007-07-03 2009-01-08 Hamamatsu Photonics K.K. 裏面入射型測距センサ及び測距装置
US20180252800A1 (en) * 2015-09-21 2018-09-06 Photonic Vision Limited Time of flight distance sensor
WO2019031510A1 (ja) 2017-08-08 2019-02-14 国立大学法人静岡大学 距離画像測定装置及び距離画像測定方法
US20190086521A1 (en) * 2017-09-19 2019-03-21 Rockwell Automation Technologies, Inc. Pulsed-based time of flight methods and system
JP2019219400A (ja) * 2018-06-21 2019-12-26 アナログ ディヴァイスィズ インク 内部散乱に起因する飛行時間型深度画像の破損を測定すること、及び除去すること
JP2020003250A (ja) * 2018-06-26 2020-01-09 国立大学法人静岡大学 距離計測装置
JP2021008218A (ja) 2019-07-02 2021-01-28 川崎重工業株式会社 ハイブリッド車両
JP2021008219A (ja) 2019-07-02 2021-01-28 Thk株式会社 客室内における座席配列の変更構造

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009005098A1 (ja) * 2007-07-03 2009-01-08 Hamamatsu Photonics K.K. 裏面入射型測距センサ及び測距装置
US20180252800A1 (en) * 2015-09-21 2018-09-06 Photonic Vision Limited Time of flight distance sensor
WO2019031510A1 (ja) 2017-08-08 2019-02-14 国立大学法人静岡大学 距離画像測定装置及び距離画像測定方法
US20190086521A1 (en) * 2017-09-19 2019-03-21 Rockwell Automation Technologies, Inc. Pulsed-based time of flight methods and system
JP2019219400A (ja) * 2018-06-21 2019-12-26 アナログ ディヴァイスィズ インク 内部散乱に起因する飛行時間型深度画像の破損を測定すること、及び除去すること
JP2020003250A (ja) * 2018-06-26 2020-01-09 国立大学法人静岡大学 距離計測装置
JP2021008218A (ja) 2019-07-02 2021-01-28 川崎重工業株式会社 ハイブリッド車両
JP2021008219A (ja) 2019-07-02 2021-01-28 Thk株式会社 客室内における座席配列の変更構造

Also Published As

Publication number Publication date
EP4283253A1 (en) 2023-11-29
US20240022833A1 (en) 2024-01-18

Similar Documents

Publication Publication Date Title
CN211554305U (zh) LiDAR读出电路
US20220196812A1 (en) Time of flight sensor
WO2018211762A1 (ja) 光センサ、電子機器、演算装置、及び光センサと検知対象物との距離を測定する方法
US20190052821A1 (en) A Vision Sensor, a Method of Vision Sensing, and a Depth Sensor Assembly
CN104838645A (zh) 成像元件、成像装置、电子设备、阈值计算装置和成像方法
JP7463671B2 (ja) 距離画像撮像装置、及び距離画像撮像方法
CN108344984B (zh) 光检测和测距系统
JP2009192499A (ja) 距離画像生成装置
WO2020066432A1 (ja) 固体撮像素子、固体撮像素子の制御方法および電子機器
US20220286664A1 (en) Detection device and detection method using avalanche diode array and calibration matrix generating method thereof
WO2020178920A1 (ja) 距離画像撮像装置および距離画像撮像装置による距離画像撮像方法
CN112114328A (zh) 飞时测距装置
WO2022158570A1 (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2022112388A (ja) 距離画像撮像装置、及び距離画像撮像方法
JP2022112389A (ja) 距離画像撮像装置、及び距離画像撮像方法
US20220317250A1 (en) Lidar sensor and method for removing noise of the same
CN116710803A (zh) 距离图像摄像装置以及距离图像摄像方法
JP2022109077A (ja) 距離画像撮像装置、及び距離画像撮像方法
EP3962069A1 (en) Event sensor and method for generating a signal stream comprising event data
US20230333218A1 (en) Range imaging apparatus and range imaging method
JP2022162392A (ja) 距離画像撮像装置、及び距離画像撮像方法
WO2023100826A1 (ja) 距離測定装置
WO2023033170A1 (ja) 距離画像撮像装置及び距離画像撮像方法
JP7253846B2 (ja) 距離画像センサ及び距離画像撮像装置
JP2024014073A (ja) 距離画像撮像装置、及び距離画像撮像方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22742689

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280010872.9

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022742689

Country of ref document: EP

Effective date: 20230821