WO2022176498A1 - Ranging sensor and ranging device - Google Patents

Ranging sensor and ranging device Download PDF

Info

Publication number
WO2022176498A1
WO2022176498A1 PCT/JP2022/002120 JP2022002120W WO2022176498A1 WO 2022176498 A1 WO2022176498 A1 WO 2022176498A1 JP 2022002120 W JP2022002120 W JP 2022002120W WO 2022176498 A1 WO2022176498 A1 WO 2022176498A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
light emission
period
luminance
unit
Prior art date
Application number
PCT/JP2022/002120
Other languages
French (fr)
Japanese (ja)
Inventor
勇輝 菊池
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Publication of WO2022176498A1 publication Critical patent/WO2022176498A1/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/10Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/32Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/32Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal

Landscapes

  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

The present invention achieves reduction of a ranging process in a ranging sensor and a ranging device. This ranging sensor comprises a light emission control unit, a light receiving unit, and a ranging unit. The light emission control unit of the ranging sensor causes a light emitting unit to emit a pulse train of light that repeats a light emission period during which the luminance varies and a non-light emission period. The light receiving unit of the ranging sensor receives reflected light resulting from the light reflected by an object. The ranging unit of the ranging sensor measures the distance to the object on the basis of the time between the emission of the light and the reception of the reflected light.

Description

測距センサ及び測距装置Ranging sensor and ranging device
 本開示は、測距センサ及び測距装置に関する。 The present disclosure relates to ranging sensors and ranging devices.
 撮像素子等を受光センサとして使用する測距センサが使用されている。この撮像素子等を使用する測距センサでは、ToF(Time of Flight)法による測定が採用される。このToF法は、対象物に光を照射して対象物により反射された反射光を受光し、光が対象物との間を往復する時間を計時して対象物までの距離を検出する方法である。このToF法として、直接ToF及び間接ToFが使用されている。 A distance measuring sensor that uses an image sensor etc. as a light receiving sensor is used. A distance measuring sensor using such an image pickup device employs measurement by the ToF (Time of Flight) method. The ToF method is a method of irradiating an object with light, receiving the reflected light reflected by the object, and measuring the time it takes for the light to travel back and forth between the object and detecting the distance to the object. be. As this ToF method, direct ToF and indirect ToF are used.
 直接ToF法は、対象物への光の照射から反射光の受光までの時間を直接測定する方式である。簡便に計時できる反面、近距離の測定では誤差が大きい、環境光の影響を受けやすいという欠点がある。 The direct ToF method is a method that directly measures the time from irradiating the object with light to receiving the reflected light. Although it can be used to measure time easily, it has the disadvantages of being susceptible to environmental light and having large errors in short-distance measurements.
 これに対し、間接ToF法は、正弦波やパルス列等の繰り返し波形に変調された光を対象物に出射し、検出した反射光と出射光との位相差から光の往復時間を算出する方法である。比較的近距離の測定が可能であり、計算の過程において環境光の影響を除去できる利点がある。しかし、間接ToF法では、出射光の繰り返し波形の周期Tに相当する往復距離が測距範囲となり、周期Tを超える往復距離の測定には、誤差を生じることとなる。出射光の周期を長くすることにより、測距範囲を広くすることができる。しかし、出射光の周期を長くすると感度が低下するという問題を生じる。 On the other hand, the indirect ToF method is a method in which light modulated into a repetitive waveform such as a sine wave or pulse train is emitted to an object, and the round trip time of the light is calculated from the phase difference between the detected reflected light and the emitted light. be. It has the advantage of being able to measure relatively short distances and removing the influence of ambient light in the process of calculation. However, in the indirect ToF method, the reciprocating distance corresponding to the period T of the repeated waveform of the emitted light is the distance measurement range, and the measurement of the reciprocating distance exceeding the period T causes an error. By lengthening the period of emitted light, the distance measurement range can be widened. However, if the period of emitted light is lengthened, there arises a problem that the sensitivity is lowered.
 そこで、異なる周期の出射光による測定を組み合わせて測距を行う測距装置が提案されている(例えば、特許文献1参照)。この測距装置においては、被写体に照射する光の周期及び受光素子の露光期間が異なる2つの測距を行い、これらの測定結果に基づいて対象物までの距離を算出する。 Therefore, a distance measuring device has been proposed that performs distance measurement by combining measurements using emitted light of different periods (see, for example, Patent Document 1). In this distance measuring device, two distance measurements are performed with different periods of light irradiating the object and exposure periods of the light receiving elements, and the distance to the object is calculated based on these measurement results.
特開2015-028780号公報JP 2015-028780 A
 しかしながら、上記の従来技術では、測距処理を2度行うことになるため、測距に時間が掛かるという問題がある。 However, with the conventional technology described above, since the distance measurement process is performed twice, there is a problem that distance measurement takes time.
 そこで、本開示では、測距処理を短縮する測距センサ及び測距装置を提案する。 Therefore, the present disclosure proposes a ranging sensor and a ranging device that shorten the ranging process.
 本開示の測距センサは、発光制御部と、受光部と、測距部とを備える。発光制御部は、期間中に輝度が変化する発光期間と非発光期間とを繰り返すパルス列状の光を発光部に出射させる。受光部は、上記光が対象物に反射された反射光を受光する。測距部は、上記光の出射から上記反射光の受光までの時間に基づいて上記対象物までの距離を測定する。 A distance measuring sensor of the present disclosure includes a light emission control section, a light receiving section, and a distance measuring section. The light emission control unit causes the light emission unit to emit light in the form of a pulse train that repeats a light emission period and a non-light emission period during which the luminance changes. The light-receiving unit receives reflected light of the light reflected by the object. The distance measuring unit measures the distance to the object based on the time from emission of the light to reception of the reflected light.
本開示の第1の実施形態に係る測距装置の構成例を示す図である。1 is a diagram illustrating a configuration example of a distance measuring device according to a first embodiment of the present disclosure; FIG. 本開示の実施形態に係る測距装置の構成例を示す図である。1 is a diagram illustrating a configuration example of a distance measuring device according to an embodiment of the present disclosure; FIG. 本開示の実施形態に係る撮像素子の構成例を示す図である。It is a figure showing an example of composition of an image sensor concerning an embodiment of this indication. 本開示の実施形態に係る画素の構成例を示す図である。FIG. 2 is a diagram showing a configuration example of a pixel according to an embodiment of the present disclosure; FIG. 本開示の実施形態に係る電荷の振り分けによる受光信号の生成の一例を示す図である。FIG. 4 is a diagram illustrating an example of generation of a light reception signal by allocating electric charges according to the embodiment of the present disclosure; 本開示の比較例に係る受光信号の生成の一例を示す図である。FIG. 5 is a diagram showing an example of generation of a light reception signal according to a comparative example of the present disclosure; 本開示の実施形態に係る遅れ位相の検出の一例を示す図である。FIG. 5 is a diagram illustrating an example of lag phase detection according to an embodiment of the present disclosure; 本開示の実施形態に係る遅れ位相の検出の一例を示す図である。FIG. 5 is a diagram illustrating an example of lag phase detection according to an embodiment of the present disclosure; 本開示の実施形態に係る測距範囲及び感度の関係の一例を示す図である。FIG. 4 is a diagram illustrating an example of a relationship between a ranging range and sensitivity according to an embodiment of the present disclosure; FIG. 本開示の第1の実施形態に係る出射光及び受光信号の生成の一例を示す図である。FIG. 4 is a diagram illustrating an example of generation of emitted light and received light signals according to the first embodiment of the present disclosure; 本開示の第1の実施形態に係る遅れ位相の検出の一例を示す図である。FIG. 4 is a diagram illustrating an example of lag phase detection according to the first embodiment of the present disclosure; 本開示の第1の実施形態に係る遅れ位相の検出の一例を示す図である。FIG. 4 is a diagram illustrating an example of lag phase detection according to the first embodiment of the present disclosure; 本開示の第1の実施形態に係る遅れ位相の検出の一例を示す図である。FIG. 4 is a diagram illustrating an example of lag phase detection according to the first embodiment of the present disclosure; 本開示の第1実施形態に係る遅れ位相の検出の他の例を示す図である。FIG. 7 is a diagram showing another example of lag phase detection according to the first embodiment of the present disclosure; 本開示の第1実施形態に係る遅れ位相の検出の他の例を示す図である。FIG. 7 is a diagram showing another example of lag phase detection according to the first embodiment of the present disclosure; 本開示の第1実施形態に係る遅れ位相の検出の他の例を示す図である。FIG. 7 is a diagram showing another example of lag phase detection according to the first embodiment of the present disclosure; 本開示の第1実施形態に係る遅れ位相の検出の他の例を示す図である。FIG. 7 is a diagram showing another example of lag phase detection according to the first embodiment of the present disclosure; 本開示の第1実施形態に係る遅れ位相の検出の他の例を示す図である。FIG. 7 is a diagram showing another example of lag phase detection according to the first embodiment of the present disclosure; 本開示の第1実施形態に係る遅れ位相の検出の他の例を示す図である。FIG. 7 is a diagram showing another example of lag phase detection according to the first embodiment of the present disclosure; 本開示の第1実施形態に係る遅れ位相の検出の他の例を示す図である。FIG. 7 is a diagram showing another example of lag phase detection according to the first embodiment of the present disclosure; 本開示の第1実施形態に係る遅れ位相の検出の他の例を示す図である。FIG. 7 is a diagram showing another example of lag phase detection according to the first embodiment of the present disclosure; 本開示の第1実施形態に係る遅れ位相の検出の他の例を示す図である。FIG. 7 is a diagram showing another example of lag phase detection according to the first embodiment of the present disclosure; 本開示の第1の実施形態に係る測距処理の一例を示す図である。It is a figure showing an example of ranging processing concerning a 1st embodiment of this indication. 本開示の第1の実施形態に係る測距処理の他の例を示す図である。FIG. 7 is a diagram showing another example of distance measurement processing according to the first embodiment of the present disclosure; FIG. 本開示の第1の実施形態に係る対象物追尾処理の一例を示す図である。FIG. 4 is a diagram illustrating an example of object tracking processing according to the first embodiment of the present disclosure; FIG. 本開示の第1の実施形態に係るパラメータ設定処理の一例を示す図である。FIG. 5 is a diagram illustrating an example of parameter setting processing according to the first embodiment of the present disclosure; FIG. 本開示の第2の実施形態に係る出射光及び受光信号の生成の一例を示す図である。FIG. 7 is a diagram illustrating an example of generation of emitted light and received light signals according to the second embodiment of the present disclosure; 本開示の実施形態に係る発光部の構成例を示す図である。FIG. 3 is a diagram showing a configuration example of a light emitting unit according to an embodiment of the present disclosure; FIG. 本開示の実施形態に係る発光部の構成例を示す図である。FIG. 3 is a diagram showing a configuration example of a light emitting unit according to an embodiment of the present disclosure; FIG. 本開示の実施形態に係る発光部の構成例を示す図である。FIG. 3 is a diagram showing a configuration example of a light emitting unit according to an embodiment of the present disclosure; FIG. 本開示の実施形態に係る画素の構成例を示す図である。FIG. 2 is a diagram showing a configuration example of a pixel according to an embodiment of the present disclosure; FIG. 本開示の実施形態の変形例に係る測距装置の構成例を示す図である。FIG. 11 is a diagram showing a configuration example of a distance measuring device according to a modification of the embodiment of the present disclosure;
 以下に、本開示の実施形態について図面に基づいて詳細に説明する。説明は、以下の順に行う。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
1.第1の実施形態
2.第2の実施形態
3.発光部の構成
4.画素の構成
5.変形例
Embodiments of the present disclosure will be described in detail below with reference to the drawings. The explanation is given in the following order. In addition, in each of the following embodiments, the same parts are denoted by the same reference numerals, thereby omitting redundant explanations.
1. First Embodiment 2. Second Embodiment 3. 3. Structure of light emitting unit; 5. Pixel configuration; Modification
 (1.第1の実施形態)
 [測距装置の構成]
 図1は、本開示の第1の実施形態に係る測距装置の構成例を示す図である。同図は、測距装置1の構成例を表すブロック図である。測距装置1は、対象部までの距離を測定するものである。測距装置1は、センサ部200と、発光部60と、CPU50とを備える。
(1. First Embodiment)
[Configuration of Range Finder]
FIG. 1 is a diagram showing a configuration example of a distance measuring device according to the first embodiment of the present disclosure. FIG. 1 is a block diagram showing a configuration example of the distance measuring device 1. As shown in FIG. A distance measuring device 1 measures a distance to a target part. The distance measuring device 1 includes a sensor section 200, a light emitting section 60, and a CPU 50. As shown in FIG.
 同図は、対象物2までの距離を測定する例を表したものである。発光部60が出射光3を対象物2に出射する。この出射光3が対象物2により反射されて反射光4を生じる。センサ部200は、この反射光4を受光する。発光部60の出射光3の出射から反射光4の受光までの時間がセンサ部200により測定され、対象物2までの距離が算出される。 The figure shows an example of measuring the distance to the object 2. A light emitting unit 60 emits emitted light 3 to the object 2 . This emitted light 3 is reflected by the object 2 to produce reflected light 4 . The sensor section 200 receives this reflected light 4 . The sensor unit 200 measures the time from the emission of the emitted light 3 of the light emitting unit 60 to the reception of the reflected light 4, and the distance to the object 2 is calculated.
 発光部60は、距離測定の対象物に光を出射するものである。同図の発光部60は、発光素子62と、発光素子駆動部61とを備える。 The light emitting unit 60 emits light to the object for distance measurement. A light emitting unit 60 in the figure includes a light emitting element 62 and a light emitting element driving unit 61 .
 発光素子62は、光を出射する素子である。この発光素子62は、例えば、レーザダイオードにより構成することができる。 The light emitting element 62 is an element that emits light. This light emitting element 62 can be configured by, for example, a laser diode.
 発光素子駆動部61は、発光素子62を駆動するものである。この発光素子駆動部61は、発光素子62の発光に要する駆動電流を供給するものである。発光素子駆動部61は、センサ部200の制御に基づいて発光素子62を駆動する。なお、センサ部200及び発光素子駆動部61の間は、例えば、LVDS(Low Voltage Differential Signaling)信号線により接続することができる。 The light emitting element driving section 61 drives the light emitting element 62 . The light emitting element driving section 61 supplies a drive current required for the light emitting element 62 to emit light. The light emitting element drive section 61 drives the light emitting element 62 based on the control of the sensor section 200 . The sensor unit 200 and the light emitting element driving unit 61 can be connected by, for example, LVDS (Low Voltage Differential Signaling) signal lines.
 センサ部200は、撮像素子210と、ロジック部220と、パルスジェネレータ230と、画素駆動部240と、LVDS送信部250と、PLL260とを備える。 The sensor section 200 includes an imaging element 210, a logic section 220, a pulse generator 230, a pixel driving section 240, an LVDS transmission section 250, and a PLL 260.
 撮像素子210は、対象物2からの反射光4を受光するものである。後述するように、撮像素子210には、入射光の光電変換を行う光電変換素子を有する複数の画素が配置される。この画素により反射光4等が受光される。この撮像素子210は、受光した反射光4に基づいて受光信号を生成し、ロジック部220に対して出力する。また、撮像素子210は、対象物2を含む被写体の撮像を行うこともできる。 The imaging element 210 receives the reflected light 4 from the object 2. As will be described later, the imaging element 210 is provided with a plurality of pixels each having a photoelectric conversion element that photoelectrically converts incident light. Reflected light 4 and the like are received by this pixel. The imaging device 210 generates a light reception signal based on the received reflected light 4 and outputs it to the logic section 220 . The imaging element 210 can also capture an image of a subject including the target object 2 .
 ロジック部220は、センサ部200の全体を制御するものである。このロジック部220は、後述するパルスジェネレータ230を制御して撮像素子210の駆動信号や発光部60の駆動信号を生成させる。また、ロジック部220は、撮像素子210から出力された受光信号に基づいて対象物2までの距離の算出を更に行う。 The logic section 220 controls the sensor section 200 as a whole. The logic unit 220 controls a pulse generator 230 (to be described later) to generate drive signals for the imaging element 210 and the light emitting unit 60 . Moreover, the logic unit 220 further calculates the distance to the object 2 based on the received light signal output from the imaging element 210 .
 パルスジェネレータ230は、発光部60や撮像素子210を駆動するパルス信号を生成するものである。 The pulse generator 230 generates a pulse signal for driving the light emitting section 60 and the imaging device 210.
 画素駆動部240は、パルスジェネレータ230からの駆動パルス信号に基づいて撮像素子210の画素の駆動信号を生成するものである。画素駆動部240により生成される画素駆動信号は、撮像素子210に出力される。 The pixel drive section 240 generates drive signals for the pixels of the imaging device 210 based on drive pulse signals from the pulse generator 230 . A pixel driving signal generated by the pixel driving section 240 is output to the imaging device 210 .
 LVDS送信部250は、パルスジェネレータ230からの駆動パルス信号をLVDSの信号に変換して送信するものである。LVDS送信部250により送信された駆動パルス信号は、発光素子駆動部61に内蔵されるLVDS受信部により受信される。 The LVDS transmission unit 250 converts the drive pulse signal from the pulse generator 230 into an LVDS signal and transmits the LVDS signal. The driving pulse signal transmitted by the LVDS transmitting section 250 is received by the LVDS receiving section built in the light emitting element driving section 61 .
 PLL260は、外部から入力されるクロック信号に同期したクロック信号を生成し、パルスジェネレータ230に供給するものである。 The PLL 260 generates a clock signal synchronized with an externally input clock signal and supplies it to the pulse generator 230 .
 CPU(Central Processing Unit)50は、センサ部200を制御するものである。 A CPU (Central Processing Unit) 50 controls the sensor section 200 .
 なお、センサ部200及び発光素子駆動部61の間は、LVDS以外の信号線により接続することもできる。 Note that the sensor unit 200 and the light emitting element driving unit 61 can be connected by signal lines other than LVDS.
 [測距装置の機能構成]
 図2は、本開示の実施形態に係る測距装置の構成例を示す図である。同図は、測距装置1を機能ブロック毎に分けた場合の構成例を表す図である。同図の測距装置1は、測距センサ300と、発光部60とを備える。
[Function configuration of rangefinder]
FIG. 2 is a diagram illustrating a configuration example of a distance measuring device according to an embodiment of the present disclosure; This figure is a diagram showing a configuration example when the distance measuring device 1 is divided into functional blocks. The distance measuring device 1 shown in FIG.
 測距センサ300は、図1のセンサ部200及びCPU50により構成される。この測距センサ300は、発光制御部320と、受光部310と、測距部330とを備える。 The distance measuring sensor 300 is composed of the sensor section 200 and the CPU 50 shown in FIG. This ranging sensor 300 includes a light emission control section 320 , a light receiving section 310 and a ranging section 330 .
 発光制御部320は、発光部60の出射光を制御するものである。同図の測距センサ300は、間接ToF法による測距を行う。前述のように、間接ToF法では、正弦波やパルス列等の一定の周期の波形に変調された光、すなわち、輝度が一定の周期において変化する光を対象物に出射する。発光制御部320は、このような一定の周期において変化する光を発光部60に出射させる制御を行う。例えば、発光制御部320は、それぞれ略等しい期間の発光期間と非発光期間とを繰り返すパルス列状の光を発光部60に出力させる制御を行う。後述するように、発光制御部320は、この発光期間中に輝度が変化する光を発光部60に出射させる制御を更に行う。 The light emission control section 320 controls the emitted light of the light emitting section 60 . A ranging sensor 300 in the figure performs ranging by the indirect ToF method. As described above, in the indirect ToF method, light modulated into a waveform of a constant cycle such as a sine wave or a pulse train, that is, light whose luminance changes in a constant cycle is emitted to the object. The light emission control unit 320 controls the light emitting unit 60 to emit light that changes in such a constant cycle. For example, the light emission control section 320 controls the light emission section 60 to output light in the form of a pulse train that repeats a light emission period and a non-light emission period of substantially equal periods. As will be described later, the light emission control unit 320 further controls the light emission unit 60 to emit light whose luminance changes during the light emission period.
 受光部310は、出射光3が対象物2に反射された反射光4を受光するものである。この受光部310は、発光部60における出射光3に同期した受光を行う。具体的には、上述の発光期間と非発光期間とを繰り返すパルス列状の光が出射される際に、発光期間に同期した期間において受光を行う。例えば、受光部310は、出射光3の発光期間と同じタイミングにおいて受光を行う。この場合、対象物2との距離が増加する程、受光部310に受光される反射光4が減少する。これにより、出射光3に対する反射光4の位相差を検出することができる。また、受光部310は、出射光3の発光期間に同期するとともに位相をずらして受光することもできる。例えば、受光部310は、出射光3の発光期間に対して0、90、180及び270度遅れた期間においてそれぞれ受光を行い、4つの受光信号を生成することもできる。これらの受光信号は、測距部330に対して出力される。 The light receiving section 310 receives the reflected light 4 which is the output light 3 reflected by the object 2 . The light receiving section 310 receives light in synchronization with the emitted light 3 from the light emitting section 60 . Specifically, when a pulse train of light that repeats the above-described light emission period and non-light emission period is emitted, light is received in a period synchronized with the light emission period. For example, the light receiving section 310 receives light at the same timing as the emission period of the emitted light 3 . In this case, the reflected light 4 received by the light receiving section 310 decreases as the distance to the object 2 increases. Thereby, the phase difference of the reflected light 4 with respect to the emitted light 3 can be detected. Further, the light receiving section 310 can also receive light in synchronization with the emission period of the emitted light 3 while shifting the phase. For example, the light receiving section 310 can receive light in periods delayed by 0, 90, 180, and 270 degrees with respect to the light emission period of the emitted light 3, and generate four light receiving signals. These received light signals are output to the distance measuring section 330 .
 測距部330は、反射光4の受光量の比率から受光までの時間を算出し、対象物2までの距離を測定するものである。また、測距部330は、発光制御部320を制御して上述のパルス列状の光の周期や出射光3の輝度を調整する。測距部330は、出射光3の周期、発光期間及び出射タイミングを制御するとともに受光部310から出力される受光信号に基づいて出射光3に対する反射光4の位相遅れを検出し、対象物2までの距離を測定する。 The distance measuring unit 330 calculates the time until the light is received from the ratio of the received light amount of the reflected light 4, and measures the distance to the object 2. Further, the distance measurement unit 330 controls the light emission control unit 320 to adjust the period of the above-described pulse train light and the brightness of the emitted light 3 . The distance measurement unit 330 controls the cycle, light emission period, and emission timing of the emitted light 3, and detects the phase delay of the reflected light 4 with respect to the emitted light 3 based on the received light signal output from the light receiving unit 310. Measure the distance to
 [撮像素子の構成]
 図3は、本開示の実施形態に係る撮像素子の構成例を示す図である。同図は、撮像素子210の構成例を表すブロック図である。撮像素子210は、被写体の画像データを生成する半導体素子である。また、撮像素子210は、被写体(対象物2)からの反射光(反射光4)を検出して受光信号を生成する。撮像素子210は、画素アレイ部10と、垂直駆動部20と、カラム信号処理部30と、制御部40とを備える。
[Configuration of imaging device]
FIG. 3 is a diagram illustrating a configuration example of an imaging device according to an embodiment of the present disclosure; This figure is a block diagram showing a configuration example of the imaging device 210 . The imaging device 210 is a semiconductor device that generates image data of a subject. The imaging device 210 also detects reflected light (reflected light 4) from a subject (object 2) and generates a light receiving signal. The imaging device 210 includes a pixel array section 10 , a vertical driving section 20 , a column signal processing section 30 and a control section 40 .
 画素アレイ部10は、複数の画素100が配置されて構成されたものである。同図の画素アレイ部10は、複数の画素100が2次元行列の形状に配列される例を表したものである。ここで、画素100は、入射光の光電変換を行う光電変換部を備え、照射された入射光に基づいて被写体の画像信号を生成するものである。この光電変換部には、例えば、フォトダイオードを使用することができる。それぞれの画素100には、信号線11及び12が配線される。画素100は、信号線11により伝達される制御信号に制御されて画像信号を生成し、信号線12を介して生成した画像信号を出力する。なお、信号線11は、2次元行列の形状の行毎に配置され、1行に配置された複数の画素100に共通に配線される。信号線12は、2次元行列の形状の列毎に配置され、1列に配置された複数の画素100に共通に配線される。 The pixel array section 10 is configured by arranging a plurality of pixels 100 . A pixel array section 10 in the figure represents an example in which a plurality of pixels 100 are arranged in a two-dimensional matrix. Here, the pixel 100 includes a photoelectric conversion unit that photoelectrically converts incident light, and generates an image signal of a subject based on the irradiated incident light. A photodiode, for example, can be used for this photoelectric conversion unit. Signal lines 11 and 12 are wired to each pixel 100 . The pixels 100 generate image signals under the control of control signals transmitted by the signal lines 11 and output the generated image signals via the signal lines 12 . The signal line 11 is arranged for each row in a two-dimensional matrix and is commonly wired to the plurality of pixels 100 arranged in one row. The signal line 12 is arranged for each column in the shape of a two-dimensional matrix and is commonly wired to a plurality of pixels 100 arranged in one column.
 垂直駆動部20は、上述の画素100の制御信号を生成するものである。同図の垂直駆動部20は、画素アレイ部10の2次元行列の行毎に制御信号を生成し、信号線11を介して順次出力する。 The vertical driving section 20 generates control signals for the pixels 100 described above. A vertical drive unit 20 in FIG. 1 generates a control signal for each row of the two-dimensional matrix of the pixel array unit 10 and sequentially outputs the control signal via the signal line 11 .
 カラム信号処理部30は、画素100により生成された画像信号の処理を行うものである。同図のカラム信号処理部30は、信号線12を介して伝達される画素アレイ部10の1行に配置された複数の画素100からの画像信号の処理を同時に行う。この処理として、例えば、画素100により生成されたアナログの画像信号をデジタルの画像信号に変換するアナログデジタル変換や画像信号のオフセット誤差を除去する相関二重サンプリング(CDS:Correlated Double Sampling)を行うことができる。処理後の画像信号は、撮像素子210の外部の回路等に対して出力される。 The column signal processing unit 30 processes image signals generated by the pixels 100 . A column signal processing unit 30 shown in the figure simultaneously processes image signals from a plurality of pixels 100 arranged in one row of the pixel array unit 10 and transmitted through the signal line 12 . As this processing, for example, analog-to-digital conversion for converting analog image signals generated by the pixels 100 into digital image signals and correlated double sampling (CDS) for removing offset errors in image signals may be performed. can be done. The processed image signal is output to a circuit or the like outside the imaging device 210 .
 制御部40は、垂直駆動部20及びカラム信号処理部30を制御するものである。同図の制御部40は、信号線41及び42を介して制御信号をそれぞれ出力して垂直駆動部20及びカラム信号処理部30を制御する。 The control unit 40 controls the vertical driving unit 20 and the column signal processing unit 30. A control unit 40 shown in the figure outputs control signals through signal lines 41 and 42 to control the vertical driving unit 20 and the column signal processing unit 30 .
 [画素の構成]
 図4は、本開示の実施形態に係る画素の構成例を示す図である。同図は、画素100の構成例を表す回路図である。同図の画素100は、光電変換部101及び102と、電圧印加部103及び104と、電荷保持部105及び106と、MOSトランジスタ111乃至118とを備える。
[Pixel configuration]
FIG. 4 is a diagram showing a configuration example of a pixel according to the embodiment of the present disclosure. This figure is a circuit diagram showing a configuration example of the pixel 100 . A pixel 100 in the figure includes photoelectric conversion units 101 and 102, voltage application units 103 and 104, charge holding units 105 and 106, and MOS transistors 111 to 118. FIG.
 前述のように、画素100には、信号線11及び12が配線される。同図の信号線11には、信号線Vb1、信号線Vb2、信号線RST、信号線TRG及び信号線SELが含まれる。信号線12には、信号線Vo1及び信号線Vo2が含まれる。この他、画素100には、電源線Vddが配線される。この電源線Vddは、画素100に電源を供給する配線である。 As described above, the signal lines 11 and 12 are wired to the pixel 100 . The signal lines 11 in the figure include a signal line Vb1, a signal line Vb2, a signal line RST, a signal line TRG, and a signal line SEL. The signal lines 12 include a signal line Vo1 and a signal line Vo2. In addition, the pixel 100 is wired with a power line Vdd. The power supply line Vdd is a wiring that supplies power to the pixels 100 .
 光電変換部101のアノードは接地され、カソードはMOSトランジスタ111のソース及びMOSトランジスタ112のソースに接続される。MOSトランジスタ112のドレインは、MOSトランジスタ113のゲート及び電荷保持部105の一端に接続される。電荷保持部105の他の一端は、接地される。MOSトランジスタ111のドレイン及びMOSトランジスタ113のドレインは、電源線Vddに接続される。MOSトランジスタ113のソースはMOSトランジスタ114のドレインに接続され、MOSトランジスタ114のソースは、信号線Vo1に接続される。 The photoelectric conversion unit 101 has an anode grounded and a cathode connected to the sources of the MOS transistors 111 and 112 . The drain of the MOS transistor 112 is connected to the gate of the MOS transistor 113 and one end of the charge holding portion 105 . Another end of the charge holding unit 105 is grounded. The drain of the MOS transistor 111 and the drain of the MOS transistor 113 are connected to the power supply line Vdd. The source of MOS transistor 113 is connected to the drain of MOS transistor 114, and the source of MOS transistor 114 is connected to signal line Vo1.
 光電変換部102のアノードは接地され、カソードはMOSトランジスタ115のソース及びMOSトランジスタ116のソースに接続される。MOSトランジスタ116のドレインは、MOSトランジスタ117のゲート及び電荷保持部106の一端に接続される。電荷保持部106の他の一端は、接地される。MOSトランジスタ117のドレイン及びMOSトランジスタ115のドレインは、電源線Vddに接続される。MOSトランジスタ117のソースはMOSトランジスタ118のドレインに接続され、MOSトランジスタ118のソースは、信号線Vo2に接続される。 The anode of the photoelectric conversion unit 102 is grounded, and the cathode is connected to the sources of the MOS transistors 115 and 116 . The drain of the MOS transistor 116 is connected to the gate of the MOS transistor 117 and one end of the charge holding portion 106 . Another end of the charge holding unit 106 is grounded. The drain of the MOS transistor 117 and the drain of the MOS transistor 115 are connected to the power supply line Vdd. The source of MOS transistor 117 is connected to the drain of MOS transistor 118, and the source of MOS transistor 118 is connected to signal line Vo2.
 電圧印加部103及び104には、それぞれ信号線Vb1及び信号線Vo2が接続される。MOSトランジスタ111及び115のゲートには、信号線SELが接続される。MOSトランジスタ112及び116のゲートには、信号線TRGが接続される。MOSトランジスタ114及び118のゲートには、信号線SELが接続される。 A signal line Vb1 and a signal line Vo2 are connected to the voltage application units 103 and 104, respectively. A signal line SEL is connected to the gates of the MOS transistors 111 and 115 . A signal line TRG is connected to the gates of the MOS transistors 112 and 116 . A signal line SEL is connected to the gates of the MOS transistors 114 and 118 .
 光電変換部101及び102は、入射光の光電変換を行う素子である。この光電変換部101及び102は、図20において後述する半導体基板120に形成されるフォトダイオードにより構成することができる。なお、図20において後述するように、光電変換部101及び102は、2つのカソード領域及び共通のアノード領域を備える単一の半導体素子により構成される。 The photoelectric conversion units 101 and 102 are elements that perform photoelectric conversion of incident light. The photoelectric conversion units 101 and 102 can be composed of photodiodes formed on a semiconductor substrate 120, which will be described later with reference to FIG. As will be described later with reference to FIG. 20, the photoelectric conversion units 101 and 102 are composed of a single semiconductor element having two cathode regions and a common anode region.
 電圧印加部103及び104は、光電変換部101及び102のカソード領域の近傍の半導体基板に電圧を印加するものである。電圧印加部103及び104は、それぞれ光電変換部101及び102のカソード領域の近傍に配置される。電圧印加部103及び104に異なる電圧を印加することにより、光電変換部101及び102の近傍の半導体基板に電界を形成することができる。この電界により光電変換により生成される電荷を光電変換部101及び102に振り分けることができる。具体的には、電圧印加部104より高い電圧を電圧印加部103に印加することにより、光電変換により生成される電荷(電子)を光電変換部101に振り分けることができる。また、電圧印加部103より高い電圧を電圧印加部104に印加することにより、光電変換により生成される電荷(電子)を光電変換部102に振り分けることができる。 The voltage application units 103 and 104 apply voltages to the semiconductor substrates in the vicinity of the cathode regions of the photoelectric conversion units 101 and 102 . The voltage application units 103 and 104 are arranged near the cathode regions of the photoelectric conversion units 101 and 102, respectively. By applying different voltages to the voltage application units 103 and 104 , an electric field can be formed in the semiconductor substrate near the photoelectric conversion units 101 and 102 . Electric charges generated by photoelectric conversion can be distributed to the photoelectric conversion units 101 and 102 by this electric field. Specifically, by applying a voltage higher than that of the voltage application unit 104 to the voltage application unit 103 , charges (electrons) generated by photoelectric conversion can be distributed to the photoelectric conversion units 101 . In addition, by applying a voltage higher than that of the voltage application unit 103 to the voltage application unit 104 , charges (electrons) generated by photoelectric conversion can be distributed to the photoelectric conversion unit 102 .
 電荷保持部105及び106は、電荷を保持するものである。この電荷保持部105及び106は、それぞれ光電変換部101及び102の光電変換により生成される電荷を保持する。電荷保持部105及び106は、半導体基板120に形成される半導体領域である浮遊拡散領域(FD:Floating Diffusion)により構成することができる。 The charge holding units 105 and 106 hold charges. The charge holding units 105 and 106 hold charges generated by photoelectric conversion of the photoelectric conversion units 101 and 102, respectively. The charge holding portions 105 and 106 can be configured by floating diffusion regions (FDs), which are semiconductor regions formed in the semiconductor substrate 120 .
 MOSトランジスタ112及び116は、光電変換部の光電変換により生成される電荷を電荷保持部に転送するものである。MOSトランジスタ112は、光電変換部101の光電変換により生成される電荷を電荷保持部105に転送する。また、MOSトランジスタ116は、光電変換部102の光電変換により生成される電荷を電荷保持部106に転送する。この転送は、光電変換部及び電荷保持部の間を導通させることにより行うことができる。MOSトランジスタ112及び116の制御信号は、信号線TRGにより伝達される。 The MOS transistors 112 and 116 transfer charges generated by photoelectric conversion of the photoelectric conversion section to the charge holding section. The MOS transistor 112 transfers charges generated by photoelectric conversion of the photoelectric conversion unit 101 to the charge holding unit 105 . Also, the MOS transistor 116 transfers charges generated by photoelectric conversion of the photoelectric conversion unit 102 to the charge holding unit 106 . This transfer can be performed by conducting between the photoelectric conversion portion and the charge holding portion. Control signals for the MOS transistors 112 and 116 are transmitted through a signal line TRG.
 MOSトランジスタ111及び115は、光電変換部及び電荷保持部をリセットするものである。MOSトランジスタ111は、光電変換部101及び電荷保持部105のリセットを行う。MOSトランジスタ115は、光電変換部102及び電荷保持部106のリセットを行う。このリセットは、電荷保持部と電源線Vddとの間を導通して電荷保持部の電荷を排出することにより行うことができる。MOSトランジスタ111及び115の制御信号は、信号線RSTにより伝達される。 The MOS transistors 111 and 115 are for resetting the photoelectric conversion section and the charge holding section. The MOS transistor 111 resets the photoelectric conversion portion 101 and the charge holding portion 105 . The MOS transistor 115 resets the photoelectric conversion portion 102 and the charge holding portion 106 . This reset can be performed by conducting between the charge holding portion and the power supply line Vdd to discharge the charge in the charge holding portion. Control signals for the MOS transistors 111 and 115 are transmitted through a signal line RST.
 MOSトランジスタ113及び117は、電荷保持部に保持される電荷に基づいて画像信号を生成するものである。MOSトランジスタ113は、電荷保持部105に保持された電荷に基づいて画像信号を生成する。また、MOSトランジスタ117は、電荷保持部106に保持された電荷に基づいて画像信号を生成する。 The MOS transistors 113 and 117 generate image signals based on the charge held in the charge holding portion. The MOS transistor 113 generates an image signal based on the charges held in the charge holding portion 105 . Also, the MOS transistor 117 generates an image signal based on the charges held in the charge holding portion 106 .
 MOSトランジスタ114は、MOSトランジスタ113により生成された画像信号を信号線Vo1に出力するMOSトランジスタである。MOSトランジスタ118は、MOSトランジスタ117により生成された画像信号を信号線Vo2に出力するMOSトランジスタである。MOSトランジスタ114及び118の制御信号は、信号線SELにより伝達される。 The MOS transistor 114 is a MOS transistor that outputs the image signal generated by the MOS transistor 113 to the signal line Vo1. The MOS transistor 118 is a MOS transistor that outputs the image signal generated by the MOS transistor 117 to the signal line Vo2. Control signals for the MOS transistors 114 and 118 are transmitted through a signal line SEL.
 MOSトランジスタ111乃至114及び電荷保持部105により光電変換部101の光電変換に基づく画像信号を生成することができる。また、MOSトランジスタ115乃至118及び電荷保持部106により光電変換部102の光電変換に基づく画像信号を生成することができる。この画像信号は、被写体の撮像の用に供される。 An image signal based on photoelectric conversion of the photoelectric conversion unit 101 can be generated by the MOS transistors 111 to 114 and the charge holding unit 105 . Also, an image signal based on photoelectric conversion of the photoelectric conversion unit 102 can be generated by the MOS transistors 115 to 118 and the charge holding unit 106 . This image signal is used for imaging a subject.
 また、電圧印加部103及び104に電圧を印加して光電変換部101及び102の光電変換により生成される電荷の振り分けを行い、電荷保持部105及び106にそれぞれ保持させることにより、振り分けられた電荷に応じた信号である受光信号を生成することができる。この受光信号は、測距に使用することができる。 In addition, the voltages are applied to the voltage application units 103 and 104 to distribute the charges generated by the photoelectric conversion of the photoelectric conversion units 101 and 102, and the distributed charges are held in the charge holding units 105 and 106, respectively. can generate a received light signal, which is a signal corresponding to . This received light signal can be used for distance measurement.
 [電荷の振り分けによる受光信号の生成]
 図5は、本開示の実施形態に係る電荷の振り分けによる受光信号の生成の一例を示す図である。同図は、画素100における受光信号の生成の一例を表すタイミング図である。同図において、「出射光」及び「反射光」は、図1において説明した出射光3及び反射光4の輝度の波形を表す。これらの波形の点線は、輝度のゼロのレベルを表す。
[Generation of received light signal by distribution of electric charge]
FIG. 5 is a diagram illustrating an example of generation of a received light signal by charge distribution according to the embodiment of the present disclosure. This figure is a timing chart showing an example of generation of a light reception signal in the pixel 100. As shown in FIG. In the figure, "outgoing light" and "reflected light" represent waveforms of luminance of the outgoing light 3 and reflected light 4 described in FIG. The dashed lines in these waveforms represent the zero level of brightness.
 また、「Vb1」及び「Vb2」は、それぞれ信号線Vb1及び信号線Vb2により伝達されて電圧印加部103及び104に印加される電圧を表す。「SEL」は、信号線SELの制御信号を表す。これらの信号等は、2値化された波形により表され、値「1」が高い電圧が印加された状態を表し、値「0」が0Vを表す。「Vo1」及び「Vo2」は、それぞれ信号線Vo1及びVo2の信号を表す。 Also, "Vb1" and "Vb2" represent voltages that are transmitted by the signal line Vb1 and the signal line Vb2 and applied to the voltage applying units 103 and 104, respectively. “SEL” represents a control signal for the signal line SEL. These signals and the like are represented by binarized waveforms, where a value of "1" represents a state in which a high voltage is applied, and a value of "0" represents 0V. "Vo1" and "Vo2" represent signals on the signal lines Vo1 and Vo2, respectively.
 また、同図の蓄積期間は光電変換部101及び102により生成される電荷を電荷保持部105及び106に蓄積させる期間であり、受光信号生成期間は蓄積された電荷に基づいて受光信号が生成される期間である。 An accumulation period in the figure is a period for accumulating charges generated by the photoelectric conversion units 101 and 102 in the charge holding units 105 and 106, and a light reception signal is generated based on the accumulated charges during the light reception signal generation period. period.
 蓄積期間において、発光部60は、発光期間及び非発光期間を周期Tにて繰り返すパルス列の出射光3を出射する。すると、反射光4が受光部310に入射する。この反射光4は、出射光3に対して位相φずれた波形となる。このφが出射光3の出射から反射光4の受光までの時間に応じた位相差になる。 During the accumulation period, the light emitting unit 60 emits the emitted light 3 of a pulse train in which the light emitting period and the non-light emitting period are repeated at a cycle T. Then, the reflected light 4 is incident on the light receiving section 310 . This reflected light 4 has a waveform with a phase φ shifted from that of the emitted light 3 . This φ is the phase difference corresponding to the time from the emission of the emitted light 3 to the reception of the reflected light 4 .
 出射光3に同期して信号線Vb1及びVb2を介して電圧印加部103及び104に電圧が印加される。同図の「Vb1」及び「Vb2」に表したように、電圧印加部103及び104には、交互に電圧が印加され、光電変換部101及び102の電荷が振り分けられる。この振り分けられた電荷は、電荷保持部105及び106にそれぞれ蓄積される。この蓄積期間は、例えば、4msにすることができる。この蓄積期間の経過後に、出射光3の出射及び電圧印加部103及び104に電圧が停止され、受光信号生成期間に移行する。 A voltage is applied to the voltage applying units 103 and 104 through the signal lines Vb1 and Vb2 in synchronization with the emitted light 3. As indicated by "Vb1" and "Vb2" in the figure, voltages are alternately applied to the voltage application units 103 and 104, and the charges of the photoelectric conversion units 101 and 102 are distributed. The distributed charges are accumulated in the charge holding units 105 and 106, respectively. This accumulation period can be, for example, 4 ms. After the accumulating period has elapsed, the output of the emitted light 3 and the voltage applied to the voltage applying sections 103 and 104 are stopped, and the period shifts to the photodetection signal generation period.
 受光信号生成期間において、信号線SELに信号が出力され、MOSトランジスタ114及び118のゲートに印加される。これにより、MOSトランジスタ114及び118が導通し、電荷保持部105及び106に蓄積されて保持された電荷に応じた受光信号が出力される。信号線Vo1及びVo2には、それぞれ電荷保持部105に保持された電荷に応じた受光信号A及び電荷保持部106に保持された電荷に応じた受光信号Bが出力される。このように、電荷の振り分けが行われ、振り分けられた電荷に基づく受光信号A及びBが生成される。以下、電荷保持部105に対応する受光信号A及び電荷保持部106に対応する受光信号BをそれぞれタップAの受光信号及びタップBの受光信号と称する。このような、出射光3と受光部310における受光とのタイミングの制御は、図2において説明した測距部330が行う。 During the light reception signal generation period, a signal is output to the signal line SEL and applied to the gates of the MOS transistors 114 and 118 . As a result, the MOS transistors 114 and 118 are rendered conductive, and light reception signals corresponding to the charges accumulated and held in the charge holding portions 105 and 106 are output. A light receiving signal A corresponding to the charge held in the charge holding unit 105 and a light receiving signal B corresponding to the charge held in the charge holding unit 106 are output to the signal lines Vo1 and Vo2, respectively. In this way, the charges are distributed, and the received light signals A and B are generated based on the distributed charges. The light reception signal A corresponding to the charge holding portion 105 and the light reception signal B corresponding to the charge holding portion 106 are hereinafter referred to as the light reception signal of the tap A and the light reception signal of the tap B, respectively. Such timing control between the emitted light 3 and the light reception by the light receiving section 310 is performed by the distance measurement section 330 described with reference to FIG.
 また、測距部330は、複数の画素100により生成されたタップAの受光信号及びタップBの受光信号から画素100毎に測距データを作成する。この画素100毎の複数の測距データから画像を生成する。この画像は、対象物を含む被写体の奥行き方向の形状を表す画像に相当する。このような画像は、深度マップ(デプスマップ:Depth Map)と称される。この深度マップにより被写体の立体的な形状を検出することができる。 Further, the distance measurement unit 330 creates distance measurement data for each pixel 100 from the light reception signal of the tap A and the light reception signal of the tap B generated by the plurality of pixels 100 . An image is generated from a plurality of distance measurement data for each pixel 100 . This image corresponds to an image representing the shape of a subject including the object in the depth direction. Such an image is called a depth map. The three-dimensional shape of the subject can be detected from this depth map.
 [間接ToF法における受光信号の生成]
 図6は、本開示の比較例に係る受光信号の生成の一例を示す図である。同図は、画素100の間接ToF法における受光信号の生成の一例を表すタイミング図である。同図において、測距部330は、4つの異なる位相において反射光4の振り分けを行い、受光信号を生成する制御を行う。
[Generation of received light signal in indirect ToF method]
FIG. 6 is a diagram illustrating an example of generation of a received light signal according to a comparative example of the present disclosure. This figure is a timing chart showing an example of the generation of the received light signal in the indirect ToF method of the pixel 100 . In the figure, a distance measuring unit 330 distributes the reflected light 4 in four different phases, and controls the generation of light receiving signals.
 同図の出射光3は、略等しい期間の発光期間及び非発光期間を備える周期Tの出射光を採用する。同図の出射光3の発光期間は、一定の輝度の矩形波となる。以下、この矩形波をパルス光401と称する。また、このような出射光3を単一輝度出射光と称する。この出射光3に応じて一定の輝度のパルス光402を備える反射光4が受光部310に入射する。この反射光4を出射光3に同期するとともに0度、90度、180度及び270度の4つの遅れ位相において電荷の振り分けを行い受光信号A及びBを生成する。 Emitted light 3 in the same figure employs emitted light with a cycle T having substantially equal light emitting periods and non-light emitting periods. The emitted light 3 shown in FIG. 4 is a rectangular wave with constant luminance during the emission period. This rectangular wave is hereinafter referred to as pulsed light 401 . In addition, such emitted light 3 is referred to as single-luminance emitted light. Reflected light 4 including pulsed light 402 with a constant luminance is incident on the light receiving section 310 according to the emitted light 3 . The reflected light 4 is synchronized with the emitted light 3, and the light receiving signals A and B are generated by distributing electric charges in four phases of 0, 90, 180 and 270 degrees.
 同図の「0度」、「90度」、「180度」及び「270度」は、0度、90度、180度及び270度の4つの遅れ位相において電荷の振り分けを行う場合の波形をそれぞれ表したものである。これらの波形のそれぞれの上側の波形はタップAを表し、下側の波形はタップBを表す。また、同図の「0度」、「90度」、「180度」及び「270度」における実線の波形は、それぞれの遅れ位相におけるそれぞれのタップの電荷の振り分け期間を表すガイド信号を表す。ガイド信号が値「1」の期間に自身のタップに電荷が振り分けられる。また、同図の「0度」、「90度」、「180度」及び「270度」におけるハッチングを付した領域は、それぞれのタップの電荷保持部(電荷保持部105及び106)における電荷の蓄積を表す。 "0 degrees", "90 degrees", "180 degrees", and "270 degrees" in the figure represent waveforms when electric charges are distributed in four delay phases of 0 degrees, 90 degrees, 180 degrees, and 270 degrees. Each is represented. The upper waveform of each of these waveforms represents tap A and the lower waveform represents tap B. Solid-line waveforms at "0 degrees", "90 degrees", "180 degrees", and "270 degrees" in FIG. Electric charge is distributed to its own tap during the period when the guide signal has a value of "1". Also, the hatched areas at "0 degrees", "90 degrees", "180 degrees", and "270 degrees" in the same figure are the charges in the charge holding portions (charge holding portions 105 and 106) of the respective taps. represents accumulation.
 同図の位相遅れ0度の場合を例に挙げて説明する。タップA(上側)において、反射光4のパルス光402とガイド信号の値「1」の部分とが重なる期間において電荷が電荷保持部105に蓄積される。同図の「A0」は、タップA側の電荷保持部105への蓄積電荷A0を表す。また、タップB(下側)において、反射光4のパルス光402とガイド信号の値「1」の部分とが重なる期間において電荷が電荷保持部106に蓄積される。同図の「B0」は、タップB側の電荷保持部106への蓄積電荷B0を表す。このようなタップA及びタップBにおける電荷の蓄積が蓄積期間に繰り返される。 The case of the phase delay of 0 degrees in the figure will be described as an example. At the tap A (upper side), electric charge is accumulated in the electric charge holding portion 105 during the period in which the pulsed light 402 of the reflected light 4 and the portion of the guide signal having a value of "1" overlap. "A0" in the figure represents the accumulated charge A0 in the charge holding unit 105 on the tap A side. Further, at the tap B (lower side), charges are accumulated in the charge holding unit 106 during the period when the pulsed light 402 of the reflected light 4 overlaps with the value "1" portion of the guide signal. "B0" in the figure represents the accumulated charge B0 in the charge holding unit 106 on the tap B side. Such charge accumulation at tap A and tap B is repeated during the accumulation period.
 遅れ位相90度、180度及び270度においても同様に、タップA及びタップBにおける電荷の蓄積が蓄積期間に繰り返される。そして、遅れ位相90度、180度及び270度において、蓄積電荷A90及びB90、蓄積電荷A180及びB180並びに蓄積電荷A270及びB270が生成される。 Similarly, in the lagging phases of 90 degrees, 180 degrees and 270 degrees, charge accumulation at taps A and B is repeated during the accumulation period. Then, accumulated charges A90 and B90, accumulated charges A180 and B180, and accumulated charges A270 and B270 are generated at the delayed phases of 90 degrees, 180 degrees and 270 degrees.
 次に、これら蓄積電荷A0及びB0に基づいて0度におけるタップAの受光信号A0及びタップBにおける受光信号B0を生成する。また、90度におけるタップAの受光信号A90及びタップBにおける受光信号B90を生成する。また、180度におけるタップAの受光信号A180及びタップBにおける受光信号B180を生成する。また、270度におけるタップAの受光信号A270及びタップBにおける受光信号B270を生成する。これら8つの信号により出射光3及び反射光4の位相差φを算出する。 Next, a light receiving signal A0 at tap A at 0 degrees and a light receiving signal B0 at tap B are generated based on these accumulated charges A0 and B0. Also, a light receiving signal A90 at tap A at 90 degrees and a light receiving signal B90 at tap B are generated. Also, a light receiving signal A180 at tap A at 180 degrees and a light receiving signal B180 at tap B are generated. Also, a light receiving signal A270 at tap A and a light receiving signal B270 at tap B at 270 degrees are generated. A phase difference φ between the emitted light 3 and the reflected light 4 is calculated from these eight signals.
 上述のタップA0等を使用して下記の演算を行い、Signal0~Signal3を算出する。
 Signal0=タップA0-タップB0
 Signal1=タップA90-タップB90
 Signal2=タップA180-タップB180
 Signal3=タップA270-タップB270
次に、Signal0~Signal3を使用して下記の演算を行い、I及びQを算出する。
 I=(Signal0-Signal1)/2
 Q=(Signal2-Signal3)/2
ここで、Iは、反射光4の出射光3に同相の成分に相当する信号である。また、Qは、反射光4の出射光3に対する直交する方向の成分に相当する信号である。このI、Q及び出射光3の周期Tに基づいて、次式により対象物2までの距離dを算出することができる。
 d=c×T×arctan(Q/I)/4π  式(1)
ここで、cは、光速を表す。
Signal0 to Signal3 are calculated by performing the following calculations using the above tap A0 and the like.
Signal0 = tap A0 - tap B0
Signal1=Tap A90-Tap B90
Signal2=Tap A180-Tap B180
Signal3=Tap A270-Tap B270
Next, using Signal0 to Signal3, the following calculation is performed to calculate I and Q.
I=(Signal0−Signal1)/2
Q=(Signal2-Signal3)/2
Here, I is a signal corresponding to a component of the reflected light 4 that is in phase with the emitted light 3 . Q is a signal corresponding to the component of the reflected light 4 in the orthogonal direction to the emitted light 3 . Based on the I, Q, and the period T of the emitted light 3, the distance d to the object 2 can be calculated by the following equation.
d=c×T×arctan(Q/I)/4π Formula (1)
where c represents the speed of light.
 [遅れ位相の検出と測距]
 図7A及び7Bは、本開示の実施形態に係る遅れ位相の検出の一例を示す図である。図7Aは、上述のI及びQと遅れ位相φの関係を表す図である。図7Aの実線のグラフがIを表し、点線のグラフがQを表す。I及びQは、三角波の形状となる。また、Qは、Iに対して90度遅れ位相となる。
[Lagging phase detection and distance measurement]
7A and 7B are diagrams illustrating an example of lag phase detection according to an embodiment of the present disclosure. FIG. 7A is a diagram showing the relationship between I and Q described above and the lag phase φ. The solid line graph in FIG. 7A represents I, and the dotted line graph represents Q. FIG. I and Q are in the form of triangular waves. Also, Q has a 90-degree lag phase with respect to I.
 図7Bは、I及びQをそれぞれx軸及びy軸に対応させたグラフを表したものである。図7Bの正のx軸が出射光3の方向を表し、点線の矢印が反射光を表す。IQ座標において、反射光4は、出射光3からφの遅れ位相となる。 FIG. 7B shows a graph in which I and Q correspond to the x-axis and y-axis, respectively. The positive x-axis of FIG. 7B represents the direction of the emitted light 3 and the dotted arrow represents the reflected light. In the IQ coordinates, the reflected light 4 has a phase lag of φ from the emitted light 3 .
 図6等により明らかなように、間接ToF法における測距範囲は、出射光3の周期Tにより制限される。広い測定レンジにおいて測距を行うためには、出射光3の周期Tを長くする必要がある。しかし、出射光3の周期Tを長くすると測距の感度が低下する。この様子を図8において説明する。 As is clear from FIG. 6 and the like, the distance measurement range in the indirect ToF method is limited by the period T of the emitted light 3. In order to perform distance measurement in a wide measurement range, it is necessary to lengthen the period T of the emitted light 3 . However, if the period T of the emitted light 3 is lengthened, the sensitivity of distance measurement is lowered. This situation will be described with reference to FIG.
 [測距範囲と感度の関係]
 図8は、本開示の実施形態に係る測距範囲及び感度の関係の一例を示す図である。同図の横軸は対象物2までの実距離を表し、縦軸は測定した位相差を表す。また、同図の実線のグラフ421は、比較的短い周期(T)の場合を表す。同図の破線のグラフ422は、比較的長い周期(4T)の場合を表す。何れのグラフにおいても、実距離が出射光3の周期に対応する距離、すなわち、周期に相当する時間を光の往復に要する距離に達すると、測定値が0になる。比較的短い周期のグラフ421は、実距離に対する測定値の変化(傾き)が大きくなり、高い感度となる。反面、グラフ421では、測定範囲が狭くなる。一方、比較的長い周期のグラフ422は、感度が低く、測定範囲が広くなる。短い周期の出射光3を使用する測距と長い周期の出射光3を使用する測距とを併用することにより、高い精度を保ちながら比較的遠方の対象物2までの距離を算出することは可能である。しかし、この場合には、2度の測距が必要となる。
[Relationship between range and sensitivity]
FIG. 8 is a diagram illustrating an example of the relationship between the ranging range and sensitivity according to the embodiment of the present disclosure. The horizontal axis in the figure represents the actual distance to the object 2, and the vertical axis represents the measured phase difference. A solid line graph 421 in FIG. 4 represents the case of a relatively short period (T). A dashed line graph 422 in the figure represents the case of a relatively long period (4T). In any graph, the measured value becomes 0 when the actual distance reaches the distance corresponding to the period of the emitted light 3, that is, the distance required for the round trip of light corresponding to the period. Graph 421 with a relatively short period has a large change (slope) in the measured value with respect to the actual distance, and has high sensitivity. On the other hand, the graph 421 narrows the measurement range. On the other hand, the relatively long period graph 422 has low sensitivity and a wide measurement range. It is possible to calculate the distance to the relatively distant object 2 while maintaining high accuracy by using both the distance measurement using the short-period emitted light 3 and the distance measurement using the long-period emitted light 3. It is possible. However, in this case, two distance measurements are required.
 このような問題を解決するため、発光期間の輝度が変化する出射光3を使用した測距を提案する。 In order to solve such problems, we propose distance measurement using emitted light 3 whose luminance changes during the light emission period.
 [本開示における出射光及び受光信号の生成]
 図9は、本開示の第1の実施形態に係る出射光及び受光信号の生成の一例を示す図である。同図は、図6と同様に、画素100の間接ToF法における受光信号の生成の一例を表すタイミング図である。同図の出射光3は、発光期間の輝度を変化させる点で、図6の出射光3と異なる。
[Generation of emitted light and received light signal in the present disclosure]
FIG. 9 is a diagram illustrating an example of generation of emitted light and received light signals according to the first embodiment of the present disclosure. Similar to FIG. 6, this figure is a timing chart showing an example of generation of a light reception signal in the indirect ToF method of the pixel 100. In FIG. The emitted light 3 in FIG. 6 differs from the emitted light 3 in FIG. 6 in that the luminance of the light emission period is changed.
 同図の出射光3は、略等しい期間の発光期間及び非発光期間を備える周期Tの出射光である。また、同図の出射光3の発光期間は、高輝度発光期間433及び低輝度発光期間434を含んで構成される。同図の出射光3は、高輝度発光期間433が発光期間の中央に配置される場合の例を表したものである。また、高輝度発光期間433は当該高い輝度のパルス光431により構成され、低輝度発光期間434は当該低い輝度のパルス光432により構成されるととらえることもできる。このような出射光3を2段階輝度出射光と称する。 The emitted light 3 in the figure is emitted light with a period T having substantially equal periods of light emission and non-light emission. In addition, the light emission period of the emitted light 3 in the figure includes a high luminance light emission period 433 and a low luminance light emission period 434 . Emitted light 3 in the figure represents an example in which the high-luminance light emission period 433 is arranged in the center of the light emission period. Further, it can also be considered that the high-luminance light emission period 433 is composed of the high-luminance pulsed light 431 and the low-luminance light-emission period 434 is composed of the low-luminance pulsed light 432 . Such emitted light 3 is referred to as two-level luminance emitted light.
 同図の反射光(1)及び反射光(2)は、対象物2までの距離が異なる場合の例を表したものである。これら反射光(1)及び反射光(2)のそれぞれについて位相遅れ0度及び90度の場合を記載した。  Reflected light (1) and reflected light (2) in the figure represent examples in which the distances to the object 2 are different. The cases of the phase delay of 0 degrees and 90 degrees are described for the reflected light (1) and the reflected light (2), respectively.
 同図の反射光(1)の場合では、出射光3の高輝度発光期間433に対応する反射光4の高輝度発光期間とガイド信号が切り替わる時期とが重ならない場合の例を表したものである。この場合には、後述するように比較的低い感度となる。 In the case of reflected light (1) in the same figure, the high-luminance light emission period of the reflected light 4 corresponding to the high-luminance light emission period 433 of the emitted light 3 does not overlap with the timing at which the guide signal is switched. be. In this case, the sensitivity is relatively low as described later.
 同図の反射光(2)の場合では、出射光3の高輝度発光期間433に対応する反射光4の高輝度発光期間とガイド信号が切り替わる時期とが重なる場合の例を表したものである。同図の0度(2)において、高輝度発光期間433に対応する反射光4の高輝度発光期間がガイド信号の切り替わり時期に重なる形状になる。このため、反射光4の高輝度発光期間がタップA及びタップBに分割されて振り分けられる。反射光4の遅れ位相の変化に対するタップA及びタップBの受光信号の変化が大きくなり、感度が高くなる。 In the case of reflected light (2) in the figure, the high-luminance light emission period of the reflected light 4 corresponding to the high-luminance light emission period 433 of the emitted light 3 overlaps with the time at which the guide signal is switched. . At 0 degrees (2) in the figure, the high-luminance light emission period of the reflected light 4 corresponding to the high-luminance light emission period 433 overlaps with the switching timing of the guide signal. Therefore, the high-intensity light emission period of the reflected light 4 is divided and distributed to the tap A and the tap B. FIG. The change in the light reception signals of the taps A and B with respect to the change in the delayed phase of the reflected light 4 is increased, and the sensitivity is increased.
 [遅れ位相の検出と測距]
 図10A、10B及び10Cは、本開示の第1の実施形態に係る遅れ位相の検出の一例を示す図である。図10Aは、上述の出射光3の高輝度発光期間433及び低輝度発光期間434の関係を表した図である。同図の出射光3は、高輝度発光期間433の輝度及び低輝度発光期間434の輝度を1.0:0.25に設定する場合の例を表したものである。図10Bは、図7Bと同様に、I及びQをそれぞれx軸及びy軸に対応させてI及びQに対応する点を記載して構成されたグラフを表したものである。同図のグラフは、正十二角形の形状となる。同図のグラフでは、点間隔が広い領域が位相遅れに対する変化の大きな領域となる。すなわち、当該領域が高感度領域459になる。この高感度領域459は、位相遅れが0度、90度、180度及び270度となる領域の近傍に現れる。また、この領域は、反射光4の高輝度発光期間がガイド信号の切り替わり時期に重なる位相遅れの領域である。
[Lagging phase detection and distance measurement]
10A, 10B, and 10C are diagrams illustrating an example of lag phase detection according to the first embodiment of the present disclosure. FIG. 10A is a diagram showing the relationship between the high-luminance light emission period 433 and the low-luminance light emission period 434 of the emitted light 3 described above. Emitted light 3 in the figure represents an example in which the luminance in the high-luminance light emission period 433 and the luminance in the low-luminance light emission period 434 are set to 1.0:0.25. FIG. 10B, like FIG. 7B, represents a graph configured to describe points corresponding to I and Q, with I and Q corresponding to the x-axis and y-axis, respectively. The graph in the figure has a regular dodecagon shape. In the graph of the same figure, the area with wide point spacing is the area where the change with respect to the phase delay is large. That is, the area becomes the high sensitivity area 459 . This high sensitivity area 459 appears in the vicinity of the areas where the phase lag is 0 degrees, 90 degrees, 180 degrees and 270 degrees. Also, this region is a region of phase delay in which the high-intensity light emission period of the reflected light 4 overlaps with the switching timing of the guide signal.
 図10Cは、対象物2までの距離と検出された遅れ位相との関係を表した図である。グラフの傾きが大きくなる領域が、高感度領域459に該当する。この高感度領域459は、位相遅れが90度の近傍の領域となる。 FIG. 10C is a diagram showing the relationship between the distance to the object 2 and the detected lag phase. A region where the slope of the graph is large corresponds to the high sensitivity region 459 . This high sensitivity region 459 is a region in the vicinity of the phase delay of 90 degrees.
 図11A、11B及び11Cは、本開示の第1実施形態に係る遅れ位相の検出の他の例を示す図である。この図11A、11B及び11Cは、高輝度発光期間433が発光期間の初期に配置される場合の例を表した図である。同図の場合、高感度領域459は、位相遅れが45度、135度、225度及び315度となる領域の近傍に現れる。この領域は、反射光4の高輝度発光期間がガイド信号の切り替わり時期に重なる位相遅れの領域である。 11A, 11B, and 11C are diagrams showing other examples of lag phase detection according to the first embodiment of the present disclosure. 11A, 11B, and 11C are diagrams showing examples in which the high-brightness light emission period 433 is arranged at the beginning of the light emission period. In the case of the figure, the high sensitivity region 459 appears in the vicinity of the regions where the phase delays are 45 degrees, 135 degrees, 225 degrees and 315 degrees. This area is a phase-delayed area in which the high-intensity emission period of the reflected light 4 overlaps with the guide signal switching timing.
 図11Cは、対象物2までの距離と検出された遅れ位相との関係を表した図である。同図の高感度領域459は、位相遅れが45度の近傍の領域となる。 FIG. 11C is a diagram showing the relationship between the distance to the object 2 and the detected lag phase. A high-sensitivity region 459 in the figure is a region in the vicinity of a phase delay of 45 degrees.
 図12A、12B及び12Cは、本開示の第1実施形態に係る遅れ位相の検出の他の例を示す図である。この図12A、12B及び12Cは、高輝度発光期間433が発光期間の末期に配置される場合の例を表した図である。同図の場合においても、高感度領域459は、位相遅れが45度、135度、225度及び315度となる領域の近傍に現れる。 12A, 12B, and 12C are diagrams showing other examples of lag phase detection according to the first embodiment of the present disclosure. 12A, 12B, and 12C are diagrams showing examples in which the high-luminance light emission period 433 is arranged at the end of the light emission period. Also in the case of FIG. 4, the high-sensitivity regions 459 appear in the vicinity of the regions where the phase delays are 45 degrees, 135 degrees, 225 degrees and 315 degrees.
 図12Cは、対象物2までの距離と検出された遅れ位相との関係を表した図である。同図においても、高感度領域459は、位相遅れが45度の近傍の領域となる。 FIG. 12C is a diagram showing the relationship between the distance to the object 2 and the detected lag phase. Also in the same figure, the high sensitivity region 459 is a region in the vicinity of the phase delay of 45 degrees.
 図13A、13B及び13Cは、本開示の第1の実施形態に係る遅れ位相の検出の他の例を示す図である。この図13A、13B及び13Cは、図11Aに対して出射光3の高輝度発光期間433及び低輝度発光期間434の輝度差を変更した場合の例を表した図である。同図の出射光3は、高輝度発光期間433の輝度及び低輝度発光期間434の輝度を1.0:0.4に設定する場合の例を記載した。図13B及び13Cをみると、図13Aの出射光3にすることにより、図11B及び11Cの場合と比較して高感度領域459とそれ以外の領域との感度の差を小さくすることができる。 13A, 13B, and 13C are diagrams showing other examples of lag phase detection according to the first embodiment of the present disclosure. 13A, 13B, and 13C are diagrams showing examples in which the luminance difference between the high-luminance light emission period 433 and the low-luminance light emission period 434 of the emitted light 3 is changed with respect to FIG. 11A. As for emitted light 3 in FIG. 4, an example is described in which the luminance in the high-luminance light emission period 433 and the luminance in the low-luminance light emission period 434 are set to 1.0:0.4. 13B and 13C, the output light 3 of FIG. 13A can reduce the difference in sensitivity between the high-sensitivity region 459 and the other regions compared to the case of FIGS. 11B and 11C.
 このように、高輝度発光期間433の位置を変えることにより、高感度の領域を移動させることができる。これにより、対象物2の位置に応じて高輝度発光期間433の位置を調整することができ、高感度領域459の位置を変更することができる。比較的離れた位置の対象物2までの距離を高い感度にて検出することが可能になる。また、高感度領域459から外れる領域であっても距離の測定が可能である。このため、対象物が奥行き方向に動く場合であっても距離を測定することができる。また、高輝度発光期間433及び低輝度発光期間434の輝度の差を調整することにより、高感度領域459とそれ以外の領域の感度の変化を調整することができる。 In this way, by changing the position of the high-luminance light emission period 433, it is possible to move the high-sensitivity region. As a result, the position of the high-luminance light emission period 433 can be adjusted according to the position of the object 2, and the position of the high-sensitivity region 459 can be changed. It becomes possible to detect the distance to the object 2 at a relatively distant position with high sensitivity. Further, distance measurement is possible even in areas outside the high sensitivity area 459 . Therefore, the distance can be measured even when the object moves in the depth direction. Further, by adjusting the difference in luminance between the high-luminance light emission period 433 and the low-luminance light emission period 434, it is possible to adjust the change in sensitivity between the high-sensitivity region 459 and other regions.
 なお、高輝度発光期間433の位置の調整には、発光期間に対する高輝度発光期間433の長さの調整も含まれる。すなわち、低輝度発光期間434に対する高輝度発光期間433の比率を調整することにより高感度領域459の位置を変更することもできる。例えば、対象物の形状等に応じて高輝度発光期間433の長さを調整することができる。 The adjustment of the position of the high-luminance light emission period 433 also includes adjustment of the length of the high-luminance light emission period 433 with respect to the light emission period. That is, by adjusting the ratio of the high-luminance light emission period 433 to the low-luminance light emission period 434, the position of the high-sensitivity region 459 can also be changed. For example, the length of the high-brightness light emission period 433 can be adjusted according to the shape of the object.
 なお、上述の例では、出射光3における高輝度発光期間433の位置を調整したが、受光の際のガイド信号に時間的なオフセットを設定することもできる。この場合、このオフセットを調整することにより、高感度領域459の位置を調整することができる。 In the above example, the position of the high-luminance light emission period 433 in the emitted light 3 was adjusted, but it is also possible to set a temporal offset in the guide signal when receiving light. In this case, the position of the high sensitivity area 459 can be adjusted by adjusting this offset.
 [測距処理]
 図14は、本開示の第1の実施形態に係る測距処理の一例を示す図である。同図は、測距装置1における測距の手順を表すフローチャートである。また、同図の処理では、まず通常の測距を行う。その結果に応じてユーザから対象物指定の操作を受けた場合に、指定された領域に高感度領域を合わせた測距に切り替える処理を行う。
[Range processing]
FIG. 14 is a diagram illustrating an example of ranging processing according to the first embodiment of the present disclosure. This figure is a flow chart showing the procedure of distance measurement in the distance measuring device 1 . Also, in the process of the figure, first, normal distance measurement is performed. When an operation for designating an object is received from the user according to the result, processing is performed to switch to distance measurement in which the high-sensitivity region is aligned with the designated region.
 まず、測距レンジに応じた出射光の周期を設定する(ステップS101)。次に、設定した周期Tの単一輝度出射光を出射する(ステップS102)。次に、測距を行う(ステップS103)。次に、深度マップを生成する(ステップS104)。次に、対象物の指定がされたか否かを判断する(ステップS105)。この対象物の指定は、例えば、ユーザが深度マップを参照して行うことができる。この判断の結果、対象物が指定されない場合には(ステップS105,No)、ステップS103からの処理を再度実行する。 First, the period of emitted light is set according to the distance measurement range (step S101). Next, single-luminance emission light with the set period T is emitted (step S102). Next, distance measurement is performed (step S103). Next, a depth map is generated (step S104). Next, it is determined whether or not an object has been specified (step S105). For example, the user can refer to the depth map to specify the object. As a result of this determination, if the object is not designated (step S105, No), the process from step S103 is executed again.
 一方、対象物が指定された場合には(ステップS105,Yes)、対象物の形状認識を行う(ステップS106)。次に、2段階輝度出射光のパラメータを設定する(ステップS107)。次に、2段階輝度出射光を出射する(ステップS108)。次に、測距を行う(ステップS109)。次に、深度マップを生成する(ステップS110)。その後、ステップS105の処理に移行する。 On the other hand, if the object is specified (step S105, Yes), the shape of the object is recognized (step S106). Next, the parameters of the two-level luminance emitted light are set (step S107). Next, a two-level luminance emitted light is emitted (step S108). Next, distance measurement is performed (step S109). Next, a depth map is generated (step S110). After that, the process proceeds to step S105.
 ステップS110において生成された深度マップは、アプリケーションソフトにより使用することができる。 The depth map generated in step S110 can be used by application software.
 図15は、本開示の第1の実施形態に係る測距処理の他の例を示す図である。同図は、図14と同様に、測距装置1における測距の手順を表すフローチャートである。同図の処理は、対象物2を自動的に追尾する点で、図14の処理と異なる。 FIG. 15 is a diagram showing another example of distance measurement processing according to the first embodiment of the present disclosure. Similar to FIG. 14, FIG. The processing in FIG. 14 differs from the processing in FIG. 14 in that the object 2 is automatically tracked.
 まず、測距レンジに応じた出射光の周期を設定する(ステップS121)。例えば、測距レンジを7mに設定することができる。次に、設定した周期Tの単一輝度出射光を出射する(ステップS122)。次に、測距を行う(ステップS123)。次に、深度マップを生成する(ステップS124)。次に、測距レンジ内で対象物が検知されたか否かを判断する(ステップS125)。測距レンジ内で対象物が検知されない場合には(ステップS125,No)、ステップS123からの処理を再度実行する。 First, the period of emitted light is set according to the distance measurement range (step S121). For example, the ranging range can be set to 7m. Next, single-luminance emission light with the set period T is emitted (step S122). Next, distance measurement is performed (step S123). Next, a depth map is generated (step S124). Next, it is determined whether or not an object has been detected within the ranging range (step S125). If the object is not detected within the ranging range (step S125, No), the process from step S123 is executed again.
 一方、測距レンジ内で対象物が検知される場合には(ステップS125,Yes)、対象物をアプリケーション指定の人の特徴と比較するステップS126。その判断の結果、対象物が人と判定されない場合には(ステップS127,No)、ステップS123からの処理を再度実行する。一方、対象物が人と判断される場合には(ステップS127,Yes)、対象物追尾S130の処理に移行する。 On the other hand, if the object is detected within the ranging range (step S125, Yes), the object is compared with the application-specified human characteristics in step S126. As a result of the determination, if the object is not determined to be a person (step S127, No), the process from step S123 is executed again. On the other hand, if the object is determined to be a person (step S127, Yes), the process proceeds to object tracking S130.
 なお、図15の処理は、この例に限定されない。例えば、対象物として動物等の人以外の物を検知して追尾することもできる。 Note that the processing in FIG. 15 is not limited to this example. For example, it is possible to detect and track objects other than humans, such as animals.
 [測距処理]
 図16は、本開示の第1の実施形態に係る対象物追尾処理の一例を示す図である。同図は、図15における対象物追尾S130の処理を表したものである。まず、対象物に応じた輝度差、高輝度発光期間のデューティを設定する(ステップS131)。これは、予め記憶していたテーブルから、初期値として高感度領域459が10%となる輝度差及びデューティを設定することにより行うことができる。次に、高輝度パルスの位置を設定する(ステップS132)。これは、例えば、図9において説明した高い輝度のパルス光432の位置又は高輝度発光期間433の位置を設定することにより行うことができる。また、受光の際のガイド信号の時間的なオフセットの調整により行うこともできる。
[Range processing]
FIG. 16 is a diagram illustrating an example of object tracking processing according to the first embodiment of the present disclosure. This figure shows the processing of object tracking S130 in FIG. First, the luminance difference and the duty of the high-luminance light emission period are set according to the object (step S131). This can be done by setting, as initial values, the brightness difference and the duty at which the high sensitivity region 459 is 10% from a table stored in advance. Next, the position of the high-intensity pulse is set (step S132). This can be done, for example, by setting the position of the high-luminance pulsed light 432 or the position of the high-luminance light emission period 433 described in FIG. It can also be performed by adjusting the temporal offset of the guide signal during light reception.
 次に、2段階輝度出射光を出射する(ステップS133)。次に、測距を行う(ステップS134)。次に、深度マップを生成する(ステップS135)。次に、対象物の過去の画像と比較する(ステップS136)。次に、比較の結果、対象物が奥行き方向に動いたか否かを判断する(ステップS137)。対象物が奥行き方向に動いた場合には(ステップS137,Yes)、ステップS132の処理に移行する。一方、対象物が奥行き方向に動いていない場合には(ステップS137,No)、対象の形状が変化したか否かを判断する(ステップS138)。その結果、対象物の形状が変化しない場合には(ステップS138,No)、ステップS134の処理に移行する。対象物の形状が変化した場合には(ステップS138,Yes)、ステップS131の処理に移行する。 Next, two-level luminance emitted light is emitted (step S133). Next, distance measurement is performed (step S134). Next, a depth map is generated (step S135). Next, it compares with the past image of the object (step S136). Next, as a result of the comparison, it is determined whether or not the object has moved in the depth direction (step S137). If the object moves in the depth direction (step S137, Yes), the process proceeds to step S132. On the other hand, if the object has not moved in the depth direction (step S137, No), it is determined whether or not the shape of the object has changed (step S138). As a result, when the shape of the object does not change (step S138, No), the process proceeds to step S134. If the shape of the object has changed (step S138, Yes), the process proceeds to step S131.
 以上の処理により、対象物が奥行き方向に動く場合であっても、対象物の位置に高感度領域459を配置することができる。 With the above processing, even if the object moves in the depth direction, the high sensitivity region 459 can be arranged at the position of the object.
 [判定機の処理]
 図17は、本開示の第1の実施形態に係るパラメータ設定処理の一例を示す図である。まず、距離ブロック毎に画像を分解する(ステップS141)。これは、対象物を含む画像に対して行う処理である。次に、対象物を含むブロックの測距情報を取得する(ステップS142)。次に、対象物付近を高感度領域に含む2段階輝度出射光のパラメータを算出する(ステップS143)。
[Processing of judging machine]
FIG. 17 is a diagram illustrating an example of parameter setting processing according to the first embodiment of the present disclosure. First, the image is decomposed for each distance block (step S141). This is a process performed on an image containing an object. Next, the ranging information of the block containing the object is acquired (step S142). Next, the parameter of the two-step luminance emitted light including the vicinity of the object in the high-sensitivity region is calculated (step S143).
 このように、本開示の第1の実施形態の測距装置1は、発光期間において輝度が変化する出射光を使用して測距を行うことにより、測距範囲内に高い感度の領域を配置することができる。このため、比較的離れた距離の対象物の測距感度を向上させることができる。これにより、比較的離れた距離の対象物の測距処理を簡略化することができる。 In this way, the distance measuring device 1 according to the first embodiment of the present disclosure performs distance measurement using emitted light whose luminance changes during the light emission period, thereby arranging a highly sensitive area within the distance measurement range. can do. Therefore, it is possible to improve the distance measurement sensitivity for an object at a relatively long distance. This makes it possible to simplify the range finding process for an object at a relatively long distance.
 (2.第2の実施形態)
 上述の第1の実施形態の測距装置1は、90度毎の遅れ位相の受光を行っていた。これに対し、本開示の第2の実施形態の測距装置1は、遅れの位相を変更する点で、上述の第1の実施形態と異なる。
(2. Second embodiment)
The range finder 1 of the first embodiment described above performs light reception with a lag phase of every 90 degrees. On the other hand, the range finder 1 of the second embodiment of the present disclosure differs from the above-described first embodiment in that the delay phase is changed.
 [本開示における出射光及び受光信号の生成]
 図18は、本開示の第2の実施形態に係る出射光及び受光信号の生成の一例を示す図である。同図は、図9と同様に、画素100の間接ToF法における受光信号の生成の一例を表すタイミング図である。同図の受光処理は、60度毎の遅れ位相にて行う点で、図9の受光処理と異なる。
[Generation of emitted light and received light signal in the present disclosure]
FIG. 18 is a diagram illustrating an example of generation of emitted light and received light signals according to the second embodiment of the present disclosure. Similar to FIG. 9, this figure is a timing chart showing an example of generation of a light receiving signal in the indirect ToF method of the pixel 100. In FIG. The light receiving process in FIG. 9 differs from the light receiving process in FIG. 9 in that the light receiving process is performed with a phase delay of 60 degrees.
 同図の「60度」及び「120度」は、それぞれ60度及び120度の3つの遅れ位相において電荷の振り分けを行う場合の波形をそれぞれ表したものである。 "60 degrees" and "120 degrees" in the figure respectively represent the waveforms in the case of distributing charges in three delay phases of 60 degrees and 120 degrees, respectively.
 これ以外の測距装置1の構成は本開示の第1の実施形態における測距装置1の構成と同様であるため、説明を省略する。 The configuration of the distance measuring device 1 other than this is the same as the configuration of the distance measuring device 1 according to the first embodiment of the present disclosure, so description thereof will be omitted.
 このように、本開示の第2の実施形態の測距装置1は、60度毎に遅れる受光処理により測距処理を行うことができる。高感度領域459となる領域を広げることができる。 In this way, the distance measuring device 1 according to the second embodiment of the present disclosure can perform distance measurement processing by light reception processing delayed every 60 degrees. A region that becomes the high sensitivity region 459 can be widened.
 (3.発光部の構成)
 上述の第1の実施形態等における発光部60の構成例について説明する。
(3. Configuration of Light Emitting Part)
A configuration example of the light emitting unit 60 in the above-described first embodiment and the like will be described.
 図19A-19Cは、本開示の実施形態に係る発光部の構成例を示す図である。図19Aの発光部60は、発光素子駆動部61及び63と、発光素子62及び64とを備える。発光素子64は、発光素子62より高い輝度に発光する素子である。発光素子62を駆動する発光素子駆動部61に低輝度発光期間434に対応する発光パルス信号を入力する。また、発光素子64を駆動する発光素子駆動部63に高輝度発光期間433に対応する発光タイミング信号を入力する。これにより、異なる発光輝度の出射光3を出力させることができる。 19A-19C are diagrams showing configuration examples of a light emitting unit according to an embodiment of the present disclosure. The light emitting unit 60 in FIG. 19A includes light emitting element driving units 61 and 63 and light emitting elements 62 and 64 . The light emitting element 64 is an element that emits light with higher luminance than the light emitting element 62 . A light emission pulse signal corresponding to the low luminance light emission period 434 is input to the light emitting element driving section 61 that drives the light emitting element 62 . Further, a light emission timing signal corresponding to the high luminance light emission period 433 is input to the light emitting element driving section 63 that drives the light emitting element 64 . As a result, emitted light 3 with different emission luminance can be output.
 図19Bの発光部60は、発光素子駆動部61に発光タイミング信号に加えて発光輝度信号を入力する。同図の発光素子駆動部61は、この発光輝度信号に応じて発光素子62を構成するレーザダイオードの電流を制御する。これにより、異なる発光輝度の出射光3を出力させることができる。 The light emitting unit 60 in FIG. 19B inputs the light emitting luminance signal in addition to the light emitting timing signal to the light emitting element driving unit 61 . A light-emitting element driving section 61 shown in the figure controls the current of the laser diode constituting the light-emitting element 62 in accordance with the light emission luminance signal. As a result, emitted light 3 with different emission luminance can be output.
 図19Cの発光部60には、図19Bの発光部60と同様に、発光素子駆動部61に発光タイミング信号及び発光輝度信号を入力する。この発光輝度信号として、同図に表したように、輝度及びパルス幅が異なる信号を使用し、交互に入力する。これにより、発光素子62に対して異なる輝度の発光を交互に繰り返す駆動を行うことができる。このような輝度が異なる光が発光部60から出射される場合であっても、撮像素子210においてこれらの光に応じた電荷が累積される結果、図9の出射光と同等の効果を得ることができる。図19Bの発光素子駆動部61と比較して、発光輝度信号の波形を簡略化することができる。高い周波数の発光駆動を行う場合であっても、高輝度及び低輝度の発光駆動を容易に行うことができる。なお、同図の発光タイミング信号等は、同図の発光素子駆動部61の動作を説明するために記載したものである。同図の発光部60を測距装置に適用する際には、撮像素子210の画素100における振り分けを考慮した波形にする必要がある。 In the light emitting unit 60 of FIG. 19C, similarly to the light emitting unit 60 of FIG. 19B, the light emission timing signal and the light emission luminance signal are input to the light emitting element driving unit 61. As the light emission luminance signal, signals having different luminances and pulse widths are used and alternately input as shown in FIG. Thus, the light emitting element 62 can be driven to alternately emit light with different luminance. Even when such light with different brightness is emitted from the light emitting unit 60, as a result of accumulation of electric charge corresponding to the light in the imaging element 210, an effect equivalent to that of the emitted light in FIG. 9 can be obtained. can be done. The waveform of the light emission luminance signal can be simplified as compared with the light emitting element driving section 61 of FIG. 19B. High-luminance and low-luminance light emission driving can be easily performed even when high-frequency light emission driving is performed. It should be noted that the light emission timing signal and the like in the same figure are described to explain the operation of the light emitting element driving section 61 in the same figure. When applying the light emitting unit 60 of FIG. 1 to a distance measuring device, it is necessary to create a waveform that takes into account the distribution of the pixels 100 of the image sensor 210 .
 (4.画素の構成)
 上述の第1の実施形態等における画素100の構成例について説明する。
(4. Configuration of Pixel)
A configuration example of the pixel 100 in the above-described first embodiment and the like will be described.
 図20は、本開示の実施形態に係る画素の構成例を示す図である。同図は、撮像素子210における画素100の構成例を表す断面図である。同図の画素100は、半導体基板120と、配線領域130と、保護膜140と、オンチップレンズ150を備える。 FIG. 20 is a diagram showing a configuration example of a pixel according to the embodiment of the present disclosure. This figure is a cross-sectional view showing a configuration example of the pixel 100 in the image sensor 210 . A pixel 100 shown in FIG.
 半導体基板120は、光電変換部101及び102等の素子が配置される半導体の基板である。同図の半導体基板120は、p型のウェル領域に構成される。このウェル領域にn型の半導体領域を配置することにより、光電変換部101及び102に該当するフォトダイオードを形成することができる。この場合、p型のウェル領域が共通のアノード領域に該当し、n型の半導体領域121及び122が光電変換部101および102のそれぞれのカソード領域に該当する。また、n型の半導体領域121の近傍にp型の半導体領域123が配置され、n型の半導体領域122の近傍にp型の半導体領域124が配置される。これらの領域が電圧印加部103及び104を構成する。この電圧印加部103及び104に異なる電圧を印加することにより、電荷501を振り分けることができる。 The semiconductor substrate 120 is a semiconductor substrate on which elements such as the photoelectric conversion units 101 and 102 are arranged. A semiconductor substrate 120 in the figure is configured as a p-type well region. By arranging an n-type semiconductor region in this well region, photodiodes corresponding to the photoelectric conversion units 101 and 102 can be formed. In this case, the p-type well region corresponds to a common anode region, and the n- type semiconductor regions 121 and 122 correspond to cathode regions of the photoelectric conversion units 101 and 102, respectively. A p-type semiconductor region 123 is arranged near the n-type semiconductor region 121 , and a p-type semiconductor region 124 is arranged near the n-type semiconductor region 122 . These regions constitute voltage application sections 103 and 104 . By applying different voltages to the voltage applying units 103 and 104, the charge 501 can be distributed.
 この電圧印加部103及び104に異なる電圧を印加することにより、電荷501を振り分けることができる。同図は、電圧印加部103及び104にそれぞれ1.5V及び0Vを印加する例を表したものである。この電圧の印加により、電圧印加部103から電圧印加部104に向かう方向の電界が半導体基板120に形成される。同図の電荷501は電子であるため、この電界とは逆の方向に移動する。同図に表したように、電荷501は、電圧印加部103の側に移動してn型の半導体領域121に到達する。このように、電荷501を光電変換部101および102に振り分けることができる。 By applying different voltages to the voltage application units 103 and 104, the charge 501 can be distributed. The figure shows an example in which 1.5 V and 0 V are applied to the voltage application units 103 and 104, respectively. By applying this voltage, an electric field is formed in the semiconductor substrate 120 in the direction from the voltage application section 103 to the voltage application section 104 . Since charges 501 in the figure are electrons, they move in the direction opposite to this electric field. As shown in the figure, the charge 501 moves toward the voltage application section 103 and reaches the n-type semiconductor region 121 . Thus, the charge 501 can be distributed to the photoelectric conversion units 101 and 102 .
 なお、画素100の構成は、この例に限定されない。例えば、MOSトランジスタ112及び116が1つの光電変換部(光電変換部101)に共通に接続される構成の画素100を適用することもできる。この場合、MOSトランジスタ112及び116が交互に電荷を転送することにより振り分けを行うことができる。 Note that the configuration of the pixel 100 is not limited to this example. For example, the pixel 100 having a configuration in which the MOS transistors 112 and 116 are commonly connected to one photoelectric conversion unit (photoelectric conversion unit 101) can also be applied. In this case, the MOS transistors 112 and 116 alternately transfer the electric charges, so that the distribution can be performed.
 (5.変形例)
 上述の測距装置1の変形例について説明する。
(5. Modification)
A modification of the distance measuring device 1 described above will be described.
 図21は、本開示の実施形態の変形例に係る測距装置の構成例を示す図である。同図は、測距装置1の構成例を表す断面図である。同図のセンサ部200は、CPU50を備える点で、図1のセンサ部200と異なる。 FIG. 21 is a diagram showing a configuration example of a distance measuring device according to a modification of the embodiment of the present disclosure. This figure is a cross-sectional view showing a configuration example of the distance measuring device 1. As shown in FIG. A sensor unit 200 in FIG. 1 is different from the sensor unit 200 in FIG. 1 in that it includes a CPU 50 .
 なお、本技術は以下のような構成も取ることができる。
(1)
 期間中に輝度が変化する発光期間と非発光期間とを繰り返すパルス列状の光を発光部に出射させる発光制御部と、
 前記光が対象物に反射された反射光を受光する受光部と、
 前記光の出射から前記反射光の受光までの時間に基づいて前記対象物までの距離を測定する測距部と
を有する測距センサ。
(2)
 前記発光制御部は、高輝度発光期間及び低輝度発光期間を含む前記発光期間を有する前記光を前記発光部に出射させる前記(1)に記載の測距センサ。
(3)
 前記発光制御部は、前記対象物に応じて前記発光期間における前記高輝度発光期間の位置を調整する前記(2)に記載の測距センサ。
(4)
 前記発光制御部は、前記対象物までの距離に応じて前記発光期間における前記高輝度発光期間の位置を調整する前記(3)に記載の測距センサ。
(5)
 前記発光制御部は、前記対象物に応じて前記発光期間における前記高輝度発光期間の長さを調整する前記(3)に記載の測距センサ。
(6)
 前記発光制御部は、前記対象物に応じて前記高輝度発光期間及び前記低輝度発光期間の輝度差を調整する前記(2)に記載の測距センサ。
(7)
 前記発光制御部は、前記高輝度発光期間及び前記低輝度発光期間に対応する輝度の光をそれぞれ異なる前記発光期間に出射させる前記(2)に記載の測距センサ。
(8)
 前記受光部は、前記発光期間に同期する受光期間に前記反射光を受光して受光信号を生成する前記(1)から(7)の何れかに記載の測距センサ。
(9)
 前記受光部は、異なる位相の前記受光期間に基づく複数の前記受光信号を生成し、
 前記測距部は、複数の前記受光信号に基づいて前記対象物までの距離を測定する
前記(8)に記載の測距センサ。
(10)
 発光部と、
 期間中に輝度が変化する発光期間と非発光期間とを繰り返すパルス列状の光を前記発光部に出射させる発光制御部と、
 前記光が対象物に反射された反射光を受光する受光部と、
 前記光の出射から前記反射光の受光までの時間に基づいて前記対象物までの距離を測定する測距部と
を有する測距装置。
Note that the present technology can also take the following configuration.
(1)
a light emission control unit that causes the light emitting unit to emit a pulse train of light that repeats a light emitting period and a non-light emitting period in which the luminance changes during the period;
a light receiving unit that receives reflected light of the light reflected by an object;
and a distance measuring unit that measures the distance to the object based on the time from emission of the light to reception of the reflected light.
(2)
The distance measuring sensor according to (1), wherein the light emission control section causes the light emission section to emit the light having the light emission period including a high-luminance light emission period and a low-luminance light emission period.
(3)
The distance measuring sensor according to (2), wherein the light emission control unit adjusts the position of the high-luminance light emission period in the light emission period according to the object.
(4)
The distance measuring sensor according to (3), wherein the light emission control unit adjusts the position of the high-luminance light emission period in the light emission period according to the distance to the object.
(5)
The distance measuring sensor according to (3), wherein the light emission control unit adjusts the length of the high-luminance light emission period in the light emission period according to the object.
(6)
The distance measuring sensor according to (2), wherein the light emission control unit adjusts a luminance difference between the high-luminance light emission period and the low-luminance light emission period according to the object.
(7)
The distance measuring sensor according to (2), wherein the light emission control unit emits light with luminance corresponding to the high-luminance light emission period and the low-luminance light emission period in different light emission periods.
(8)
The distance measuring sensor according to any one of (1) to (7), wherein the light receiving section receives the reflected light during a light receiving period synchronized with the light emitting period to generate a light receiving signal.
(9)
The light receiving unit generates a plurality of light receiving signals based on the light receiving periods with different phases,
The distance measuring sensor according to (8), wherein the distance measuring unit measures the distance to the object based on the plurality of light receiving signals.
(10)
a light emitting unit;
a light emission control unit that causes the light emitting unit to emit a pulse train of light that repeats a light emitting period and a non-light emitting period in which the luminance changes during the period;
a light receiving unit that receives reflected light of the light reflected by an object;
a distance measuring unit that measures the distance to the object based on the time from emission of the light to reception of the reflected light.
 1 測距装置
 60 発光部
 62、64 発光素子
 61、63 発光素子駆動部
 100 画素
 200 センサ部
 210 撮像素子
 300 測距センサ
 310 受光部
 320 発光制御部
 330 測距部
 433 高輝度発光期間
 434 低輝度発光期間
1 distance measuring device 60 light emitting unit 62, 64 light emitting element 61, 63 light emitting element driving unit 100 pixel 200 sensor unit 210 imaging element 300 distance measuring sensor 310 light receiving unit 320 light emission control unit 330 distance measuring unit 433 high luminance light emitting period 434 low luminance Emission period

Claims (10)

  1.  期間中に輝度が変化する発光期間と非発光期間とを繰り返すパルス列状の光を発光部に出射させる発光制御部と、
     前記光が対象物に反射された反射光を受光する受光部と、
     前記光の出射から前記反射光の受光までの時間に基づいて前記対象物までの距離を測定する測距部と
    を有する測距センサ。
    a light emission control unit that causes the light emitting unit to emit a pulse train of light that repeats a light emitting period and a non-light emitting period in which the luminance changes during the period;
    a light receiving unit that receives reflected light of the light reflected by an object;
    and a distance measuring unit that measures the distance to the object based on the time from emission of the light to reception of the reflected light.
  2.  前記発光制御部は、高輝度発光期間及び低輝度発光期間を含む前記発光期間を有する前記光を前記発光部に出射させる請求項1に記載の測距センサ。 The distance measuring sensor according to claim 1, wherein the light emission control section causes the light emission section to emit the light having the light emission period including a high-luminance light emission period and a low-luminance light emission period.
  3.  前記発光制御部は、前記対象物に応じて前記発光期間における前記高輝度発光期間の位置を調整する請求項2に記載の測距センサ。 The distance measuring sensor according to claim 2, wherein the light emission control unit adjusts the position of the high-luminance light emission period in the light emission period according to the object.
  4.  前記発光制御部は、前記対象物までの距離に応じて前記発光期間における前記高輝度発光期間の位置を調整する請求項3に記載の測距センサ。 The distance measuring sensor according to claim 3, wherein the light emission control unit adjusts the position of the high-luminance light emission period in the light emission period according to the distance to the object.
  5.  前記発光制御部は、前記対象物に応じて前記発光期間における前記高輝度発光期間の長さを調整する請求項3に記載の測距センサ。 The distance measuring sensor according to claim 3, wherein the light emission control unit adjusts the length of the high-luminance light emission period in the light emission period according to the object.
  6.  前記発光制御部は、前記対象物に応じて前記高輝度発光期間及び前記低輝度発光期間の輝度差を調整する請求項2に記載の測距センサ。 The distance measuring sensor according to claim 2, wherein the light emission control unit adjusts the luminance difference between the high-luminance light emission period and the low-luminance light emission period according to the object.
  7.  前記発光制御部は、前記高輝度発光期間及び前記低輝度発光期間に対応する輝度の光をそれぞれ異なる前記発光期間に出射させる請求項2に記載の測距センサ。 The distance measuring sensor according to claim 2, wherein the light emission control unit emits light of luminance corresponding to the high luminance light emission period and the low luminance light emission period in different light emission periods.
  8.  前記受光部は、前記発光期間に同期する受光期間に前記反射光を受光して受光信号を生成する請求項1に記載の測距センサ。 The distance measuring sensor according to claim 1, wherein the light receiving section receives the reflected light during a light receiving period synchronized with the light emitting period and generates a light receiving signal.
  9.  前記受光部は、異なる位相の前記受光期間に基づく複数の前記受光信号を生成し、
     前記測距部は、複数の前記受光信号に基づいて前記対象物までの距離を測定する
    請求項8に記載の測距センサ。
    The light receiving unit generates a plurality of light receiving signals based on the light receiving periods with different phases,
    The distance measuring sensor according to claim 8, wherein the distance measuring section measures the distance to the object based on a plurality of the received light signals.
  10.  発光部と、
     期間中に輝度が変化する発光期間と非発光期間とを繰り返すパルス列状の光を前記発光部に出射させる発光制御部と、
     前記光が対象物に反射された反射光を受光する受光部と、
     前記光の出射から前記反射光の受光までの時間に基づいて前記対象物までの距離を測定する測距部と
    を有する測距装置。
    a light emitting unit;
    a light emission control unit that causes the light emitting unit to emit a pulse train of light that repeats a light emitting period and a non-light emitting period in which the luminance changes during the period;
    a light receiving unit that receives reflected light of the light reflected by an object;
    a distance measuring unit that measures the distance to the object based on the time from emission of the light to reception of the reflected light.
PCT/JP2022/002120 2021-02-16 2022-01-21 Ranging sensor and ranging device WO2022176498A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-022683 2021-02-16
JP2021022683A JP2022124821A (en) 2021-02-16 2021-02-16 Range-finding sensor and range finder

Publications (1)

Publication Number Publication Date
WO2022176498A1 true WO2022176498A1 (en) 2022-08-25

Family

ID=82930781

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/002120 WO2022176498A1 (en) 2021-02-16 2022-01-21 Ranging sensor and ranging device

Country Status (2)

Country Link
JP (1) JP2022124821A (en)
WO (1) WO2022176498A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130107000A1 (en) * 2011-10-27 2013-05-02 Microvision, Inc. Scanning Laser Time of Flight 3D Imaging
US20180175586A1 (en) * 2016-12-16 2018-06-21 STMicroelectronics (Alps) SAS Sinusoidal optical emission method, and corresponding circuit
JP2019203741A (en) * 2018-05-22 2019-11-28 スタンレー電気株式会社 Tof system distance measuring device
WO2020184028A1 (en) * 2019-03-11 2020-09-17 ソニーセミコンダクタソリューションズ株式会社 Distance measuring device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130107000A1 (en) * 2011-10-27 2013-05-02 Microvision, Inc. Scanning Laser Time of Flight 3D Imaging
US20180175586A1 (en) * 2016-12-16 2018-06-21 STMicroelectronics (Alps) SAS Sinusoidal optical emission method, and corresponding circuit
JP2019203741A (en) * 2018-05-22 2019-11-28 スタンレー電気株式会社 Tof system distance measuring device
WO2020184028A1 (en) * 2019-03-11 2020-09-17 ソニーセミコンダクタソリューションズ株式会社 Distance measuring device

Also Published As

Publication number Publication date
JP2022124821A (en) 2022-08-26

Similar Documents

Publication Publication Date Title
US10686994B2 (en) Imaging device, and solid-state imaging element used for same
US10545239B2 (en) Distance-measuring imaging device and solid-state imaging device
US11448757B2 (en) Distance measuring device
US7586077B2 (en) Reference pixel array with varying sensitivities for time of flight (TOF) sensor
US8767189B2 (en) Solid state imaging device and distance image measurement device
KR102136850B1 (en) A depth sensor, and a method of operating the same
CN108780151B (en) Time-of-flight distance measuring device and method for detecting multipath errors
US20140313376A1 (en) Processing of time-of-flight signals
JP5744511B2 (en) Sensor, method of operating the same, and data processing system including the sensor
WO2021103428A1 (en) Depth measurement system and method
WO2006030989A1 (en) A range image sensor
JP5180501B2 (en) Ranging device and ranging method
WO2017138032A1 (en) Time-of-flight distance measuring device and method for detecting multipath error
US11698447B2 (en) Beam steering aware pixel clustering of segmented sensor area and implementing averaging algorithms for pixel processing
JP2006084430A (en) Range image sensor
US11523099B2 (en) Measurement device
JP3906858B2 (en) Distance image sensor
WO2022176498A1 (en) Ranging sensor and ranging device
JP2002195807A (en) Optical displacement measuring device and projection light quantity correction method
WO2022158603A1 (en) Distance image capturing device and distance image capturing method
WO2022259640A1 (en) Distance measurement sensor, distance measurement device, and distance measurement method
US20220011437A1 (en) Distance measuring device, distance measuring system, distance measuring method, and non-transitory storage medium
WO2022224580A1 (en) Distance measurement device and distance measurement system
JP2008241258A (en) Range finder and range finding method
US20230296738A1 (en) Distance measurement device, distance measurement method, and phase detection device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22755822

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22755822

Country of ref document: EP

Kind code of ref document: A1