WO2020175118A1 - 測距装置、測距方法、並びにプログラム - Google Patents

測距装置、測距方法、並びにプログラム Download PDF

Info

Publication number
WO2020175118A1
WO2020175118A1 PCT/JP2020/005029 JP2020005029W WO2020175118A1 WO 2020175118 A1 WO2020175118 A1 WO 2020175118A1 JP 2020005029 W JP2020005029 W JP 2020005029W WO 2020175118 A1 WO2020175118 A1 WO 2020175118A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
imaging
distance
unit
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/005029
Other languages
English (en)
French (fr)
Inventor
小野　博明
草刈　高
神谷　拓郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to US17/431,233 priority Critical patent/US12517254B2/en
Publication of WO2020175118A1 publication Critical patent/WO2020175118A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—Three-dimensional [3D] imaging with simultaneous measurement of time-of-flight at a two-dimensional [2D] array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4911—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4915—Time delay measurement, e.g. operational details for pixel components; Phase measurement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Definitions

  • Patent Document 1 JP-A-2016-090268
  • the third image to be illuminated and the second mode for controlling are switched and controlled, and the calculation unit, when in the first mode, outputs the first signal obtained in the first image. And calculating the distance using the second signal obtained in the second imaging, in the second mode, the first signal, the second signal, and the third imaging The distance is calculated using the third signal obtained in.
  • a first image pickup for causing the light emitting unit to emit light at a first frequency and a first light emission intensity; and for causing the light emitting unit to emit light at a second frequency, and A second mode of controlling the second imaging to emit light with a first emission intensity, a first mode for controlling the first imaging, a second imaging, and causing the light emitting unit to emit light at a first frequency, And a second mode for controlling the third imaging in which the second emission intensity is weaker than the first emission intensity, and a second mode for controlling, and the calculation unit controls the second mode.
  • the distance is calculated using the first signal obtained in the first imaging and the second signal obtained in the second imaging, and in the second mode, the distance is calculated.
  • the distance is calculated using the first signal, the second signal, and the third signal obtained by the third imaging.
  • Fig. 28 is a diagram for describing 1 to 10 combination processing.
  • FIG. 33 is a diagram for explaining high-frequency 1 to 10 synthesis processing.
  • FIG. 39 is a diagram for describing distance measurement for switching between the normal mode and the high precision mode.
  • FIG. 17 is a diagram showing four-phase exposure timings of 0 degrees, 90 degrees, 180 degrees, and 270 degrees, with their heads aligned so that the phase difference can be easily understood.
  • the high frequency and the low frequency refer to the case where the frequency of the other is high or low with respect to one frequency.
  • a frequency lower than this high frequency is described as a low frequency.
  • the high frequency and the low frequency may be variable or may be fixed. As will be described later, since the distance that can be measured is determined by the frequency, the present technology can be applied even when the frequency is made variable and the distance that can be measured is changed.
  • the distance ports calculated by the phase difference 0 are the distance 0 1, the distance 0 2, the distance 0 3, the distance port 4, and the distance port 5. is there.
  • the phase difference 0 when the phase difference 0 is calculated, it is 0 to 1.5 (distance port between 11 and 11) or ...! 5 to 3.0 (distance between 0 and 0112. 3.0 to 4.5 (distance between 0 and 0 0 3), 4.5 to 6.0 (distance between 0 and 0114, or 6.0 to 7.5 (I don't know if the distance between 0 and 0 is 0, so I can't decide.
  • the distance ports calculated by the phase difference 0 I are the distance 0, 1, the distance 0, 2, and the distance 0, 3.
  • the phase difference 0 is it 0 to 2.5 (distance between 0 and 0), or is it 2.5 to 5.0 (distance between 0 and 0 0 2 Or 5.
  • the distance may be measured by long-time exposure.
  • Subframe II 1_ a frame for distance measurement by irradiating high-frequency irradiation light and imaging with long-time exposure (hereinafter referred to as sub-frame II 1_), and high-frequency irradiation light. It consists of a frame (hereinafter referred to as sub-frame 3) that performs distance measurement by irradiating and imaging with short-time exposure.
  • Subframe !_ has detection period 0 !_ 0, detection period 0 1_ 1, detection period 0
  • the signal processing unit As described above, the low-frequency irradiation light is emitted, and the detection signal obtained by the long-time exposure imaging, the low-frequency irradiation light is emitted, and the detection signal obtained by the short-time exposure imaging, the high-frequency irradiation
  • the signal processing unit The configuration is shown in Fig. 30.
  • the distance that can be measured is shorter than the distance measurement using the low-frequency irradiation light. If you want to measure the distance of a short distance (near distance), use the high frequency irradiation light to measure the distance. If you want to measure the distance of a long distance (long distance), use the low frequency irradiation light. be able to.
  • the integrated processing unit 302 includes subframes! _ And the subframe! A high-frequency 1 to 10 image in which _ and subframe II 3 are combined is supplied.
  • the integration processing unit 3002 calculates the distance to a predetermined object by integrating the sub-frame image 1_ and the high frequency images 1 to 10 and outputs the result as a distance measurement result.
  • the integration processing unit 506 is the integration processing unit of the signal processing unit 1 3 shown in Fig. 35.
  • the distance is calculated and output.
  • step 3503 the distance is calculated from the signals of the multiple frequencies.
  • the normal mode control unit 501 outputs the subframe I and the subframe II from the light receiving unit 12 to the integrated processing unit 506.
  • the integration processing unit 506 calculates the distance using the detection signal 8 and the detection signal sine included in each of the subframe I and the subframe, and uniquely specifies the distance from the plurality of candidates.
  • the distance is calculated using the detection signal and the detection signal depth included in each of the images, and the distance is uniquely specified from a plurality of candidates.
  • step 505 If it is determined in step 505 that the shooting has not ended, the process is returned to step 3501, and the processing from that point onward is repeated. If it is determined that the shooting has ended, The flow chart processing shown in FIG.
  • the normal mode When adjusting the emission intensity on the light source side described with reference to (3) in Fig. 46 to create a period corresponding to long exposure and a period corresponding to short exposure, the normal mode is used.
  • the control unit 50 1 and the high precision mode control unit 50 3 calculate the light emission intensity corresponding to the exposure length supplied from the optimum exposure calculation unit 50 2, and the light emission unit 1 ⁇ 2020/175 118 66 ⁇ (:171? 2020 /005029
  • the distance measuring device wherein the first frequency is higher than the second frequency.
  • the control unit controls the driving unit
  • a first imaging for causing the light emitting unit to emit light at a first frequency and to emit light at a first duty ratio
  • a third image pickup in which the light emitting unit emits light at a first frequency and emits light at a second emission intensity weaker than the first emission intensity

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本技術は、測距可能な距離を延ばした測距を行えるようにする測距装置、測距方法、並びにプログラムに関する。 照射光を発光する発光部と、照射光が対象物において反射した反射光を受光する受光部とを制御する制御部を備え、発光部を第１の周波数で発光させ、受光部を第１の露光時間で露光させる第１の撮像と、発光部を第２の周波数で発光させ、受光部を第１の露光時間で露光させる第２の撮像と、を制御する第１のモードと、第１の撮像と、第２の撮像と、発光部を第１の周波数で発光させ、受光部を第２の露光時間で露光させる第３の撮像と、を制御する第２のモードと、を切り替えて制御する。第１の撮像で得られた第１の信号と第２の撮像で得られた第２の信号を用いて距離を算出するか、第１の信号、第２の信号、および第３の撮像で得られた第３の信号を用いて距離を算出する。本技術は、例えば、所定の物体までの距離を測定する測距装置に適用できる。

Description

明 細 書
発明の名称 ： 測距装置、 測距方法、 並びにプログラム
技術分野
[0001] 本技術は、 測距装置、 測距方法、 並びにプログラムに関し、 例えば、 測距 可能距離が長い測距を行うことができるようにする測距装置、 測距方法、 並 びにプログラムに関する。
背景技術
[0002] 近年、 半導体技術の進歩により、 物体までの距離を測定する測距装置の小 型化が進んでいる。 これにより、 例えば、 通信機能を備えた小型の情報処理 装置である、 いわゆるスマートフォンなどのモバイル端末に測距装置を搭載 することが実現されている。 対象物までの距離を測定する測距装置 (センサ ) としては、 例えば、 TO F (Time Of Flight) センサがある (例えば、 特 許文献 1 を参照) 。
先行技術文献
特許文献
[0003] 特許文献 1 :特開 2016-090268号公報
発明の概要
発明が解決しようとする課題
[0004] 測距装置の測距方式として、 間接 TO F方式が知られている。 間接 TO F 方式を用いた測距システムでは、 所定のパルス幅で繰り返し発光する LED (Li ght Emitting Diode) やレーザから照射されたアクティブ光が対象物にあた つて反射した光を受光することで発生する電荷量を用いて対象物までの距離 が測定される。
[0005] このアクティブ光の周波数により測距できる距離に制限が設けられるため 、 測距できる距離を延ばすことが望まれている。 また、 飽和することなく測 距できる、 換言すればダイナミックレンジを向上させることも望まれている \¥02020/175118 2 卩（：17 2020/005029
[0006] 本技術は、 このような状況に鑑みてなされたものであり、 測距できる距離 を延ばし、 ダイナミックレンジを向上させた測距を行えるようにするもので ある。
課題を解決するための手段
[0007] 本技術の一側面の第 1の測距装置は、 照射光を発光する発光部と、 前記照 射光が対象物において反射した反射光を受光する受光部と、 前記照射光の発 光から前記反射光の受光までの時間に基づいて、 前記対象物までの距離を算 出する算出部と、 前記発光部と前記受光部を制御する制御部とを備え、 前記 制御部は、 前記発光部を第 1の周波数で発光させ、 前記受光部を前記第 1の 露光時間で露光させる第 1の撮像と、 前記発光部を第 2の周波数で発光させ 、 前記受光部を前記第 1の露光時間で露光させる第 2の撮像と、 を制御する 第 1のモードと、 前記第 1の撮像と、 前記第 2の撮像と、 前記発光部を第 1 の周波数で発光させ、 前記受光部を第 2の露光時間で露光させる第 3の撮像 と、 を制御する第 2のモードと、 を切り替えて制御し、 前記算出部は、 前記 第 1のモードのときは、 前記第 1の撮像で得られた第 1の信号と前記第 2の 撮像で得られた第 2の信号を用いて前記距離を算出し、 前記第 2のモードの ときは、 前記第 1の信号、 前記第 2の信号、 および前記第 3の撮像で得られ た第 3の信号を用いて前記距離を算出する。
[0008] 本技術の一側面の第 1の測距方法は、 測距を行う測距装置が、 照射光を発 光する発光部と、 前記照射光が対象物において反射した反射光を受光する受 光部と、 前記照射光の発光から前記反射光の受光までの時間に基づいて、 前 記対象物までの距離を算出する算出部と、 前記発光部と前記受光部を制御す る制御部とを備え、 前記制御部が、 前記発光部を第 1の周波数で発光させ、 前記受光部を前記第 1の露光時間で露光させる第 1の撮像と、 前記発光部を 第 2の周波数で発光させ、 前記受光部を第 1の露光時間で露光させる第 2の 撮像と、 を制御する第 1のモードと、 前記第 1の撮像と、 前記第 2の撮像と 、 前記発光部を第 1の周波数で発光させ、 前記受光部を第 2の露光時間で露 光させる第 3の撮像と、 を制御する第 2のモードと、 を切り替えて制御し、 〇 2020/175118 3 卩（：171? 2020 /005029
前記算出部が、 前記第 1のモードのときは、 前記第 1の撮像で得られた第 1 の信号と前記第 2の撮像で得られた第 2の信号を用いて前記距離を算出し、 前記第 2のモードのときは、 前記第 1の信号、 前記第 2の信号、 および前記 第 3の撮像で得られた第 3の信号を用いて前記距離を算出する。
[0009] 本技術の一側面のプログラムは、 照射光を発光する発光部と、 前記照射光 が対象物において反射した反射光を受光する受光部と、 前記照射光の発光か ら前記反射光の受光までの時間に基づいて、 前記対象物までの距離を算出す る算出部と、 前記発光部と前記受光部を制御する制御部とを備える測距装置 のコンピュータに、 前記制御部が、 前記発光部を第 1の周波数で発光させ、 前記受光部を第 1の露光時間で露光させる第 1の撮像と、 前記発光部を第 2 の周波数で発光させ、 前記受光部を前記第 1の露光時間で露光させる第 2の 撮像と、 を制御する第 1のモードと、 前記第 1の撮像と、 前記第 2の撮像と 、 前記発光部を第 1の周波数で発光させ、 前記受光部を第 2の露光時間で露 光させる第 3の撮像と、 を制御する第 2のモードと、 を切り替えて制御し、 前記算出部が、 前記第 1のモードのときは、 前記第 1の撮像で得られた第 1 の信号と前記第 2の撮像で得られた第 2の信号を用いて前記距離を算出し、 前記第 2のモードのときは、 前記第 1の信号、 前記第 2の信号、 および前記 第 3の撮像で得られた第 3の信号を用いて前記距離を算出するステップを含 む処理を実行させる。
[0010] 本技術の一側面の第 2の測距装置は、 照射光を発光する発光部と、 前記照 射光が対象物において反射した反射光を受光する受光部と、 前記照射光の発 光から前記反射光の受光までの時間に基づいて、 前記対象物までの距離を算 出する算出部と、 前記発光部と前記受光部を制御する制御部とを備え、 前記 制御部は、 前記発光部を第 1の周波数で発光させ、 かつ第 1のデューティ比 で発光させる第 1の撮像と、 前記発光部を第 2の周波数で発光させ、 かつ前 記第 1のデューティ比で発光させる第 2の撮像と、 を制御する第 1のモード と、 前記第 1の撮像と、 前記第 2の撮像と、 前記発光部を第 1の周波数で発 光させ、 かつ前記第 1のデューティ比よりも小さい第 2のデューティ比で発 〇 2020/175118 4 卩（：171? 2020 /005029
光させる第 3の撮像と、 を制御する第 2のモードと、 を切り替えて制御し、 前記算出部は、 前記第 1のモードのときは、 前記第 1の撮像で得られた第 1 の信号と前記第 2の撮像で得られた第 2の信号を用いて前記距離を算出し、 前記第 2のモードのときは、 前記第 1の信号、 前記第 2の信号、 および前記 第 3の撮像で得られた第 3の信号を用いて前記距離を算出する。
[001 1 ] 本技術の一側面の第 2の測距方法は、 測距を行う測距装置が、 照射光を発 光する発光部と、 前記照射光が対象物において反射した反射光を受光する受 光部と、 前記照射光の発光から前記反射光の受光までの時間に基づいて、 前 記対象物までの距離を算出する算出部と、 前記発光部と前記受光部を制御す る制御部とを備え、 前記制御部が、 前記発光部を第 1の周波数で発光させ、 かつ第 1のデューティ比で発光させる第 1の撮像と、 前記発光部を第 2の周 波数で発光させ、 かつ前記第 1のデューティ比で発光させる第 2の撮像と、 を制御する第 1のモードと、 前記第 1の撮像と、 前記第 2の撮像と、 前記発 光部を第 1の周波数で発光させ、 かつ前記第 1のデューティ比よりも小さい 第 2のデューティ比で発光させる第 3の撮像と、 を制御する第 2のモードと 、 を切り替えて制御し、 前記算出部が、 前記第 1のモードのときは、 前記第 1の撮像で得られた第 1の信号と前記第 2の撮像で得られた第 2の信号を用 いて前記距離を算出し、 前記第 2のモードのときは、 前記第 1の信号、 前記 第 2の信号、 および前記第 3の撮像で得られた第 3の信号を用いて前記距離 を算出する。
[0012] 本技術の一側面の第 3の測距装置は、 照射光を発光する発光部と、 前記照 射光が対象物において反射した反射光を受光する受光部と、 前記照射光の発 光から前記反射光の受光までの時間に基づいて、 前記対象物までの距離を算 出する算出部と、 前記発光部と前記受光部を制御する制御部とを備え、 前記 制御部は、 前記発光部を第 1の周波数で発光させ、 かつ第 1の発光強度で発 光させる第 1の撮像と、 前記発光部を第 2の周波数で発光させ、 かつ前記第 1の発光強度で発光させる第 2の撮像と、 を制御する第 1のモードと、 前記 第 1の撮像と、 前記第 2の撮像と、 前記発光部を第 1の周波数で発光させ、 〇 2020/175118 5 卩（：171? 2020 /005029
かつ前記第 1の発光強度よりも弱い第 2の発光強度で発光させる第 3の撮像 と、 を制御する第 2のモードと、 を切り替えて制御し、 前記算出部は、 前記 第 1のモードのときは、 前記第 1の撮像で得られた第 1の信号と前記第 2の 撮像で得られた第 2の信号を用いて前記距離を算出し、 前記第 2のモードの ときは、 前記第 1の信号、 前記第 2の信号、 および前記第 3の撮像で得られ た第 3の信号を用いて前記距離を算出する。
[0013] 本技術の一側面の第 3の測距方法は、 測距を行う測距装置が、 照射光を発 光する発光部と、 前記照射光が対象物において反射した反射光を受光する受 光部と、 前記照射光の発光から前記反射光の受光までの時間に基づいて、 前 記対象物までの距離を算出する算出部と、 前記発光部と前記受光部を制御す る制御部とを備え、 前記制御部が、 前記発光部を第 1の周波数で発光させ、 かつ第 1の発光強度で発光させる第 1の撮像と、 前記発光部を第 2の周波数 で発光させ、 かつ前記第 1の発光強度で発光させる第 2の撮像と、 を制御す る第 1のモードと、 前記第 1の撮像と、 前記第 2の撮像と、 前記発光部を第 1の周波数で発光させ、 かつ前記第 1の発光強度よりも弱い第 2の発光強度 で発光させる第 3の撮像と、 を制御する第 2のモードと、 を切り替えて制御 し、 前記算出部が、 前記第 1のモードのときは、 前記第 1の撮像で得られた 第 1の信号と前記第 2の撮像で得られた第 2の信号を用いて前記距離を算出 し、 前記第 2のモードのときは、 前記第 1の信号、 前記第 2の信号、 および 前記第 3の撮像で得られた第 3の信号を用いて前記距離を算出する。
[0014] 本技術の一側面の第 1の測距装置、 第 1の測距方法、 およびプログラムに おいては、 照射光を発光する発光部と、 照射光が対象物において反射した反 射光を受光する受光部と、 照射光の発光から反射光の受光までの時間に基づ いて、 対象物までの距離を算出する算出部と、 発光部と受光部を制御する制 御部とが備えられる。 制御部が、 発光部を第 1の周波数で発光させ、 受光部 を第 1の露光時間で露光させる第 1の撮像と、 発光部を第 2の周波数で発光 させ、 受光部を第 1の露光時間で露光させる第 2の撮像と、 を制御する第 1 のモードと、 第 1の撮像と、 第 2の撮像と、 発光部を第 1の周波数で発光さ 〇 2020/175118 6 卩（：171? 2020 /005029
せ、 受光部を第 2の露光時間で露光させる第 3の撮像と、 を制御する第 2の モードと、 を切り替えて制御し、 算出部が、 第 1のモードのときは、 第 1の 撮像で得られた第 1の信号と第 2の撮像で得られた第 2の信号を用いて距離 を算出し、 第 2のモードのときは、 第 1の信号、 第 2の信号、 および第 3の 撮像で得られた第 3の信号を用いて距離を算出する。
[0015] 本技術の一側面の第 2の測距装置、 第 2の測距方法においては、 照射光を 発光する発光部と、 照射光が対象物において反射した反射光を受光する受光 部と、 照射光の発光から反射光の受光までの時間に基づいて、 対象物までの 距離を算出する算出部と、 発光部と受光部を制御する制御部とが備えられる 。 制御部が、 発光部を第 1の周波数で発光させ、 かつ第 1のデューティ比で 発光させる第 1の撮像と、 発光部を第 2の周波数で発光させ、 かつ第 1のデ ューティ比で発光させる第 2の撮像と、 を制御する第 1のモードと、 第 1の 撮像と、 第 2の撮像と、 発光部を第 1の周波数で発光させ、 かつ第 1のデュ —ティ比よりも小さい第 2のデューティ比で発光させる第 3の撮像と、 を制 御する第 2のモードと、 を切り替えて制御し、 算出部が、 第 1のモードのと きは、 第 1の撮像で得られた第 1の信号と第 2の撮像で得られた第 2の信号 を用いて距離を算出し、 第 2のモードのときは、 第 1の信号、 第 2の信号、 および第 3の撮像で得られた第 3の信号を用いて距離を算出する。
[0016] 本技術の一側面の第 3の測距装置、 第 3の測距方法においては、 照射光を 発光する発光部と、 照射光が対象物において反射した反射光を受光する受光 部と、 照射光の発光から反射光の受光までの時間に基づいて、 対象物までの 距離を算出する算出部と、 発光部と受光部を制御する制御部とが備えられる 。 制御部が、 発光部を第 1の周波数で発光させ、 かつ第 1の発光強度で発光 させる第 1の撮像と、 発光部を第 2の周波数で発光させ、 かつ第 1の発光強 度で発光させる第 2の撮像と、 を制御する第 1のモードと、 第 1の撮像と、 第 2の撮像と、 発光部を第 1の周波数で発光させ、 かつ第 1の発光強度より も弱い第 2の発光強度で発光させる第 3の撮像と、 を制御する第 2のモード と、 を切り替えて制御し、 算出部が、 第 1のモードのときは、 第 1の撮像で 〇 2020/175118 7 卩（：171? 2020 /005029
得られた第 1の信号と第 2の撮像で得られた第 2の信号を用いて距離を算出 し、 第 2のモードのときは、 第 1の信号、 第 2の信号、 および第 3の撮像で 得られた第 3の信号を用いて距離を算出する。
［0017］ なお、 測距装置は、 独立した装置であっても良いし、 1つの装置を構成し ている内部ブロックであっても良い。
［0018］ また、 プログラムは、 伝送媒体を介して伝送することにより、 または、 記 録媒体に記録して、 提供することができる。
図面の簡単な説明
［0019］ ［図 1］本技術を適用した測距装置の一実施の形態の構成を示す図である。
［図 2］受光部の構成例を示す図である。
［図 3］画素の構成例を示す図である。
［図 4］画素における電荷の振り分けを説明する図である。
［図 5］ 9 0度毎に位相が遅れた 4通りの受光の一例を示す図である。
［図 6］位相遅れ 0度の受光による検出期間での検出信号の一例を示す図である
［図 7］位相遅れ 9 0度の受光による検出期間での検出信号の一例を示す図であ る。
［図 8］位相遅れ 1 8 0度の受光による検出期間での検出信号の一例を示す図で ある。
［図 9］位相遅れ 2 7 0度の受光による検出期間での検出信号の一例を示す図で ある。
［図 10］ 9 0度毎に位相が遅れた 4通りの照射光の一例を示す図である。
［図 1 1］ 9 0度毎に位相が遅れた 4通りの照射光による 4つの検出期間を利用 した測距について説明する図である。
［図 12］位相遅れ 0度の照射光による検出期間での検出信号の一例を示す図で ある。
［図 13］位相遅れ 9 0度の照射光による検出期間での検出信号の一例を示す図 である。 20/175118 8 卩（：171? 2020 /005029
［図 14］位相遅れ 1 8 0度の照射光による検出期間での検出信号の一例を示す 図である。
［図 15］位相遅れ 2 7 0度の照射光による検出期間での検出信号の一例を示す 図である。
［図 16］ 1 フレームにおける検出信号について説明するための図である。
［図 17］検出期間と検出信号の関係を説明するための図である。
［図 18］ 1 フレームにおける検出信号について説明するための図である。
［図 19］ 1 フレームにおける検出信号について説明するための図である。
［図 20］測距可能距離について説明するための図である。
［図 21］測距可能距離について説明するための図である。
［図 22］ 2つの周波数を用いた測距について説明するための図である。
［図 23］信号処理部の構成例を示す図である。
［図 24］信号処理部の動作について説明するための図である。
［図 25］2つの露光時間を用いた測距について説明するための図である。
［図 26］信号処理部の構成例を示す図である。
［図 27］信号処理部の動作について説明するための図である。
［図 28］1~1 0 合成処理について説明するための図である。
［図 29］2つの周波数、 2つの露光時間を用いた測距について説明するための 図である。
［図 30］信号処理部の構成例を示す図である。
［図 31］信号処理部の動作について説明するための図である。
［図 32］低周波の 1~1 0 合成処理について説明するための図である。
［図 33］高周波の 1~1 0 合成処理について説明するための図である。
［図 34］2つの周波数、 2つの露光時間を用いた測距について説明するための 図である。
［図 35］信号処理部の構成例を示す図である。
［図 36］信号処理部の動作について説明するための図である。
［図 37］統合処理について説明するための図である。 〇 2020/175118 9 卩（：171? 2020 /005029
［図 38］通常モードと高精度モードを切り替える測距について説明するための 図である。
［図 39］通常モードと高精度モードを切り替える測距について説明するための 図である。
［図 40］信号処理部の構成例を示す図である。
［図 41］信号処理部の動作について説明するための図である。
［図 42］信号処理部の構成例を示す図である。
［図 43］信号処理部の信号処理について説明するための図である。
［図 44］信号処理部の構成例を示す図である。
［図 45］信号処理部の動作について説明するための図である。
［図 46］長時間露光と短時間露光の実現の仕方について説明するための図であ る。
［図 47］記録媒体について説明するための図である。
［図 48］車両制御システムの概略的な構成の一例を示すブロック図である。
［図 49］車外情報検出部及び撮像部の設置位置の一例を示す説明図である。 発明を実施するための形態
［0020］ 以下に、 本技術を実施するための形態 （以下、 実施の形態という） につい て説明する。
［0021］ 本技術は、 例えば間接丁〇 方式により測距を行う測距システムを構成す る受光素子や、 そのような受光素子を有する撮像装置などに適用することが 可能である。
［0022］ 例えば測距システムは、 車両に搭載され、 車外にある対象物までの距離を 測定する車載用のシステムや、 ユーザの手等の対象物までの距離を測定し、 その測定結果に基づいてユーザのジェスチヤを認識するジェスチヤ認識用の システムなどに適用することができる。 この場合、 ジェスチヤ認識の結果は 、 例えば力ーナビゲーシヨンシステムの操作等に用いることができる。 ［0023］ <測距装置の構成例 >
図 1は、 本技術を適用した測距装置の一実施の形態の構成例を示している [0024] 測距装置 1 0は、 レンズ 1 1、 受光部 1 2、 信号処理部 1 3、 発光部 1 4 、 および発光制御部 1 5を備える。 図 1の測距装置 1 0は、 物体に対して光 を照射し、 その光 （照射光） が物体で反射した光 （反射光） を受光すること で物体までの距離を測定する。
[0025] 測距装置 1 0の発光系は、 発光部 1 4と発光制御部 1 5から成る。 発光系 においては、 発光制御部 1 5が、 信号処理部 1 3からの制御に従い、 発光部 1 4により赤外光 （丨 R） を照射させる。 レンズ 1 1 と受光部 1 2の間に I Rバンドフイルタを設け、 丨 Rバンドパスフイルタの透過波長帯に対応する 赤外光を発光部 1 4が発光する構成とするようにしても良い。
[0026] 発光部 1 4は、 測距装置 1 0の筐体内に配置してもよいし、 測距装置 1 0 の筐体外部に配置してもよい。 発光制御部 1 5は、 後述するように、 発光部 1 4を、 所定の周波数で発光させる。
[0027] 信号処理部 1 3は、 例えば、 受光部 1 2から供給される検出信号に基づい て、 測距装置 1 〇から物体までの距離を算出する算出部として機能する。
[0028] <撮像素子の構成 >
図 2は、 受光部 1 2の構成例を示すブロック図である。 受光部 1 2は、 CM0 S （Comp lementary Meta I Ox i de Sem i conductor） イメージセンサとすること ができる。
[0029] 受光部 1 2は、 画素アレイ部 4 1、 垂直駆動部 4 2、 カラム処理部 4 3、 水平駆動部 4 4、 およびシステム制御部 4 5を含む。 画素アレイ部 4 1、 垂 直駆動部 4 2、 カラム処理部 4 3、 水平駆動部 4 4、 およびシステム制御部 4 5は、 図示しない半導体基板 （チップ） 上に形成されている。
[0030] 画素アレイ部 4 1 には、 入射光量に応じた電荷量の光電荷を発生して内部 に蓄積する光電変換素子を有する単位画素 （例えば、 図 3の画素 5 0） が行 列状に 2次元配置されている。 なお、 以下では、 入射光量に応じた電荷量の 光電荷を、 単に 「電荷」 と記述し、 単位画素を、 単に 「画素」 と記述する場 合もある。 [0031 ] 画素アレイ部 4 1 にはさらに、 行列状の画素配列に対して行毎に画素駆動 線 4 6が図の左右方向 （画素行の画素の配列方向） に沿って形成され、 列毎 に垂直信号線 4 7が図の上下方向 （画素列の画素の配列方向） に沿って形成 されている。 画素駆動線 4 6の一端は、 垂直駆動部 4 2の各行に対応した出 力端に接続されている。
[0032] 垂直駆動部 4 2は、 シフトレジスタやアドレスデコーダなどによって構成 され、 画素アレイ部 4 1の各画素を、 全画素同時あるいは行単位等で駆動す る画素駆動部である。 垂直駆動部 4 2によって選択走査された画素行の各単 位画素から出力される画素信号は、 垂直信号線 4 7の各々を通してカラム処 理部 4 3に供給される。 カラム処理部 4 3は、 画素アレイ部 4 1の画素列毎 に、 選択行の各単位画素から垂直信号線 4 7を通して出力される画素信号に 対して所定の信号処理を行うとともに、 信号処理後の画素信号を一時的に保 持する。
[0033] 具体的には、 カラム処理部 4 3は、 信号処理として少なくとも、 ノイズ除 去処理、 例えば CDS （Cor re lated Doub le Samp l i ng ;相関二重サンプリング） 処理を行う。 このカラム処理部 4 3による相関二重サンプリングにより、 リ セツ トノイズや増幅トランジスタの閾値ばらつき等の画素固有の固定パター ンノイズが除去される。 なお、 カラム処理部 4 3にノイズ除去処理以外に、 例えば、 AD （アナログデジタル） 変換機能を持たせ、 信号レベルをデジタル 信号で出力することも可能である。
[0034] 水平駆動部 4 4は、 シフトレジスタやアドレスデコーダなどによって構成 され、 カラム処理部 4 3の画素列に対応する単位回路を順番に選択する。 こ の水平駆動部 4 4による選択走査により、 カラム処理部 4 3で信号処理され た画素信号が順番に信号処理部 4 8に出力される。
[0035] システム制御部 4 5は、 各種のタイミング信号を生成するタイミングジエ ネレータ等によって構成され、 タイミングジエネレータで生成された各種の タイミング信号を基に垂直駆動部 4 2、 カラム処理部 4 3、 および水平駆動 部 4 4などの駆動制御を行う。 [0036] 画素アレイ部 4 1 において、 行列状の画素配列に対して、 画素行毎に画素 駆動線 46が行方向に沿って配線され、 各画素列に 2つの垂直信号線 47が 列方向に沿って配線されている。 例えば画素駆動線 46は、 画素から信号を 読み出す際の駆動を行うための駆動信号を伝送する。 なお、 図 2では、 画素 駆動線 46について 1本の配線として示しているが、 1本に限られるもので はない。 画素駆動線 46の一端は、 垂直駆動部 42の各行に対応した出力端 に接続されている。
[0037] <単位画素の構造 >
次に、 画素アレイ部 4 1 に行列状に配置されている単位画素 50の具体的 な構造について説明する。
[0038] 画素 50は、 1つのフォトダイオード 6 1で発生した電荷がタップ 5 1 - 1およびタップ 5 1 —2に振り分けられるように構成されている。 そして、 フォトダイオード 6 1で発生した電荷のうち、 タップ 5 1 - 1 に振り分けら れた電荷が垂直信号線 47 - 1から読み出されて検出信号 Aとして出力され る。 また、 タップ 5 1 _2に振り分けられた電荷が垂直信号線 47— 2から 読み出されて検出信号巳として出力される。
[0039] タップ 5 1 - 1は、 転送トランジスタ 62 - 1、 F D （Floating Diffusio n） 部 63 - 1、 選択トランジスタ 64- 1、 およびリセッ トトランジスタ 6 5- 1 により構成される。 同様に、 タップ 5 1 -2は、 転送トランジスタ 6 2-2、 F D部 63-2、 選択トランジスタ 64 - 2、 およびリセッ トトラ ンジスタ 65 - 2により構成される。
[0040] 図 4を参照して、 画素 50における電荷の振り分けについて説明する。 こ こで、 振り分けとは、 画素 50 （フォトダイオード 3 1） に蓄積された電荷 を異なるタイミングで読み出すことで、 タップ毎に読み出しを行うことを意 味する。
[0041] 図 4に示すように、 照射時間内に照射のオン/オフを繰り返すように変調 （1周期 =T p） された照射光が発光部 1 4から出力され、 物体までの距離 に応じた遅延時間 T dだけ遅れて、 フォトダイオード 6 1 において反射光が 〇 2020/175118 13 卩（：171? 2020 /005029
受光される。
[0042] 転送制御信号丁（^_八は、 転送トランジスタ 6 2 _ 1のオン/オフを制御し、 転送制御信号丁（^_8は、 転送トランジスタ 6 2 - 2のオン/オフを制御する。 図示するように、 転送制御信号
Figure imgf000015_0001
が、 照射光と同一の位相である一方で、 転送制御信号丁（^_8は、 転送制御信号丁（^_八を反転した位相となっている。
[0043] 従って、 フォトダイオード 6 1が反射光を受光することにより発生する電 荷は、 転送制御信号丁（^_八に従って転送トランジスタ 6 2 _ 1がオンとなって いる間では 0部 6 3 - 1 に転送される。 また転送制御信号
Figure imgf000015_0002
に従って転 送トランジスタ 6 2 - 2のオンとなっている間では 0部 6 3 - 2に転送さ れる。 これにより、 照射時間丁の照射光の照射が周期的に行われる所定の期 間において、 転送トランジスタ 6 2— 1 を介して転送された電荷は 0部 6 3 - 1 に順次蓄積され、 転送トランジスタ 6 2— 2を介して転送された電荷 は 0部 6 3— 2に順次蓄積される。
[0044] そして、 電荷を蓄積する期間の終了後、 選択信号 3巳 !_ 1 に従って選択 トランジスタ 6 4 - 1がオンとなると、 0部 6 3 - 1 に蓄積されている電 荷が垂直信号線 4 7 - 1 を介して読み出され、 その電荷量に応じた検出信号 八が受光部 1 2から出力される。 同様に、 選択信号 3巳 !_ 2に従って選択 トランジスタ 6 4 - 2がオンとなると、 0部 6 3 - 2に蓄積されている電 荷が垂直信号線 4 7 - 2を介して読み出され、 その電荷量に応じた検出信号 巳が受光部 1 2から出力される。
[0045] 0部 6 3— 1 に蓄積されている電荷は、 リセッ ト信号（^丁_八に従ってリセ ッ トトランジスタ 6 5 - 1がオンになると排出される。 0部 6 3 - 2に蓄 積されている電荷は、 リセッ ト信号
Figure imgf000015_0003
に従ってリセッ トトランジスタ 6 5 — 2がオンになると排出される。
[0046] このように、 画素 5 0は、 フォトダイオード 6 1が受光した反射光により 発生する電荷を、 遅延時間丁 に応じてタップ 5 1 _ 1およびタップ 5 1 —
2に振り分けて、 検出信号 および検出信号巳を出力することができる。 そ して、 遅延時間丁 は、 発光部 1 4で発光した光が物体まで飛行し、 物体で 〇 2020/175118 14 卩（：171? 2020 /005029
反射した後に受光部 1 2まで飛行する時間に応じたもの、 即ち、 物体までの 距離に応じたものである。 従って、 測距装置 1 〇は、 検出信号 および検出 信号巳に基づき、 遅延時間丁 に従って物体までの距離 （デブス） を求める ことができる。
[0047] ＜受光側で位相をずらした測距＞
図 5乃至図 9を参照し、 受信側で位相をずらして受光し、 検出信号を取得 する場合について説明する。
[0048] 例えば、 図 5に示すように、 9 0度毎に位相が遅れた 4通りの受光が行わ れる。 即ち、 照射側の位相とずれなく受光する位相遅れ 0度の受光を基準と して、 位相遅れ 9 0度の受光、 位相遅れ 1 8 0度の受光、 および、 位相遅れ 2 7 0度の受光が行われ、 それぞれ検出信号 と検出信号巳を検出する期間 〇〇 が 4回設けられる。
[0049] 即ち、 図 6に示したように、 例えば、 位相遅れ 0度の受光により反射光を 検出する検出期間 0 0、 位相遅れ 9 0度の受光により反射光を検出する検出 期間 0 1、 位相遅れ 1 8 0度の受光により反射光を検出する検出期間 0 2、 および、 位相遅れ 2 7 0度の受光により反射光を検出する検出期間 0 3が連 続的に設けられる。
[0050] 図 6には、 検出期間 0 0における受光、 反射光、 転送制御信号
Figure imgf000016_0001
と転送 制御信号
Figure imgf000016_0002
並びに、 検出信号 と検出信号巳の一例が示されている。 図 6に示すように、 照射光の発光開始と同タイミング （位相遅れ 0度） で、 夕 ップ 5 1 _ 1の転送制御信号丁（^_八がオンにされ、 タップ 5 1 _ 1 において受 光 （転送） が開始される。 また、 転送制御信号
Figure imgf000016_0003
がオフにされるタイミン グで、 転送制御信号丁[¾1^がオンにされ、 タップ 5 1 - 2において受光 （転送 ） が開始される。
[0051 ] このように位相遅れ 0度の受光が行われることで、 遅延時間丁 に応じた 電荷量でタップ 5 1 — 1およびタップ 5 1 — 2に電荷が振り分けられ、 イン テグレーシヨン期間において電荷がそれぞれ蓄積される。 その後、 リードア ウト期間において、 それぞれインテグレーシヨン期間で蓄積された電荷量の 〇 2020/175118 15 卩（：171? 2020 /005029
電荷が読み出されて、 検出期間 0〇における検出信号八 0および検出信号巳 0が出力される。
［0052］ 図 7には、 検出期間〇 1 における受光、 反射光、 転送制御信号
Figure imgf000017_0001
と転送 制御信号
Figure imgf000017_0002
並びに、 検出信号 と検出信号巳の一例が示されている。 図 7に示すように、 照射光の発光開始から 9 0度位相が遅れたタイミングで、 タップ 5 1 — 1の転送制御信号丁（^_八がオンにされ、 タップ 5 1 — 1 において 受光 （転送） が開始される。 また、 転送制御信号
Figure imgf000017_0003
がオフにされるタイミ ングで、 転送制御信号
Figure imgf000017_0004
がオンにされ、 タップ 5 1 - 2において受光 （転 送） が開始される。
［0053］ このように位相遅れ 9 0度の受光が行われることで、 遅延時間丁 に応じ た電荷量でタップ 5 1 - 1およびタップ 5 1 - 2に電荷が振り分けられ、 イ ンテグレーシヨン期間において電荷がそれぞれ蓄積される。 その後、 リード アウト期間において、 それぞれインテグレーシヨン期間で蓄積された電荷量 の電荷が読み出されて、 検出期間〇 1 における検出信号八 9 0および検出信 号巳 9 0が出力される。
［0054］ 図 8には、 検出期間 0 2における受光、 反射光、 転送制御信号
Figure imgf000017_0005
と転送 制御信号
Figure imgf000017_0006
並びに、 検出信号 と検出信号巳の一例が示されている。 図 8に示すように、 照射光の発光開始から 1 8 0度位相が遅れたタイミングで 、 タップ 5 1 — 1の転送制御信号丁（^_八がオンにされ、 タップ 5 1 — 1 におい て受光 （転送） が開始される。 また、 転送制御信号
Figure imgf000017_0007
がオフにされるタイ ミングで、 転送制御信号
Figure imgf000017_0008
がオンにされ、 タップ 5 1 - 2において受光 （ 転送） が開始される。
［0055］ このように位相遅れ 1 8 0度の受光が行われることで、 遅延時間丁［¾に応 じた電荷量でタップ 5 1 - 1およびタップ 5 1 - 2に電荷が振り分けられ、 インテグレーシヨン期間において電荷がそれぞれ蓄積される。 その後、 リー ドアウト期間において、 それぞれインテグレーシヨン期間で蓄積された電荷 量の電荷が読み出されて、 検出期間〇 2における検出信号八 1 8 0および検 出信号巳 1 8 0が出力される。 〇 2020/175118 16 卩（：171? 2020 /005029
[0056] 図 9には、 検出期間 0 3における受光、 反射光、 転送制御信号
Figure imgf000018_0001
と転送 制御信号
Figure imgf000018_0002
並びに、 検出信号 と検出信号巳の一例が示されている。 図 9に示すように、 照射光の発光開始から 2 7 0度位相が遅れたタイミングで 、 タップ 5 1 — 1の転送制御信号丁（^_八がオンにされ、 タップ 5 1 — 1 におい て受光 （転送） が開始される。 また、 転送制御信号
Figure imgf000018_0003
がオフにされるタイ ミングで、 転送制御信号
Figure imgf000018_0004
がオンにされ、 タップ 5 1 - 2において受光 （ 転送） が開始される。
[0057] このように位相遅れ 2 7 0度の受光が行われることで、 遅延時間丁 [¾に応 じた電荷量でタップ 5 1 - 1およびタップ 5 1 - 2に電荷が振り分けられ、 インテグレーシヨン期間において電荷がそれぞれ蓄積される。 その後、 リー ドアウト期間において、 それぞれインテグレーシヨン期間で蓄積された電荷 量の電荷が読み出されて、 検出期間〇 3における検出信号八 2 7 0および検 出信号巳 2 7 0が出力される。
[0058] このように、 検出期間 0 0では位相遅れ 0度の受光で検出信号八 0および 検出信号巳 0が検出され、 検出期間 0 1では位相遅れ 9 0度の受光で検出信 号八 9 0および検出信号巳 9 0が検出される。 同様に、 検出期間〇 2では位 相遅れ 1 8 0度の受光で検出信号 1 8 0および検出信号巳 1 8 0が検出さ れ、 検出期間 0 3では位相遅れ 2 7 0度の受光で検出信号 2 7 0および検 出信号巳 2 7 0が検出される。
[0059] 照射側では、 受光が開始される位相遅れにかかわらず、 位相遅れなく、 換 言すれば常に同じタイミングで照射光の照射が開始される。
[0060] このように 2つのタップ 5 1で 4つの位相遅れの受光を行い、 所定の物体 までの距離を測距する場合、 4つの検出期間により得られる信号に基づいて 、 信号処理部 1 3 （図 1） の処理が行われる。
[0061 ] <発光側で位相をずらす測距>
図 1 0乃至図 1 5を参照し、 発光側で位相をずらして発光し、 検出信号を 取得する場合について説明する。
[0062] 例えば、 図 1 0に示すように、 9 0度毎に位相が遅れた 4通りの照射光が 用いられる。 即ち、 位相遅れ〇度の照射光を基準として、 位相遅れ 9 0度の 照射光、 位相遅れ 1 8 0度の照射光、 および、 位相遅れ 2 7 0度の照射光を 用いて、 それぞれ検出信号 Aと検出信号 Bを検出する期間 (quad) が 4回設 けられる。
[0063] 即ち、 図 1 1 に示すように、 例えば、 位相遅れ 0度の照射光による反射光 を検出する検出期間 Q O、 位相遅れ 9 0度の照射光による反射光を検出する 検出期間 Q 1、 位相遅れ 1 8 0度の照射光による反射光を検出する検出期間 Q 2、 および、 位相遅れ 2 7 0度の照射光による反射光を検出する検出期間 Q 3が連続的に設けられる。 また、 検出期間 Q O、 検出期間 Q 1、 検出期間 Q 2、 および検出期間 Q 3では、 電荷をリセッ トするリセッ ト期間、 電荷を 蓄積するインテグレーション期間、 電荷を読み出すリードアウト期間が設け られている。
[0064] そして、 検出期間 Q O、 検出期間 Q 1、 検出期間 Q 2、 および検出期間 Q
3からなる検出期間と、 その後の待機期間 (dead t i me / i d le t i me) とによ り、 1枚の距離画像を出力するための 1 フレームが構成される。 このような 1 フレームが繰り返され、 フレーム番号 tのフレーム、 フレーム番号 t + 1 のフレーム、 フレーム番号 t + 2のフレームのように、 所定のフレームレー 卜で連続的にフレ _ムが出力される。 なお、 上記した受光側で位相をずらす 測距においても、 図 1 1 に示したように、 リセッ ト期間、 インテグレーショ ン期間、 リードアウト期間は、 それぞれ設けられている。
[0065] 図 1 2には、 検出期間 Q Oにおける照射光、 反射光、 転送制御信号 TRT_Aと 転送制御信号 TRT_B、 並びに、 検出信号 Aと検出信号 Bの一例が示されている 。 図 1 2に示すように、 照射光は、 位相遅れ 0度で照射される。 受信側では 、 照射光の照射がオンにされたタイミングで、 転送制御信号 TRT_Aがオンにさ れ、 受光 (転送) が開始される。
[0066] 遅延時間 T Rに応じた電荷量でタップ 5 1 _ 1およびタップ 5 1 _ 2に電 荷が振り分けられ、 インテグレーション期間において電荷がそれぞれ蓄積さ れる。 その後、 リードアウト期間において、 それぞれインテグレーション期 〇 2020/175118 18 卩（：171? 2020 /005029
間で蓄積された電荷量の電荷が読み出されて、 検出期間 0 0における検出信 号八 0および検出信号巳 0が出力される。
[0067] 図 1 3には、 検出期間〇 1 における照射光、 反射光、 転送制御信号丁（^_八と 転送制御信号
Figure imgf000020_0001
並びに、 検出信号 と検出信号巳の一例が示されている 。 図 1 3に示すように、 照射光は、 位相遅れ 9 0度で照射される。 受信側で は、 位相遅れ〇度のタイミングで、 転送制御信号
Figure imgf000020_0002
がオンにされ、 受光 （ 転送） が開始される。
[0068] 遅延時間丁 に応じた電荷量でタツプ 5 1 _ 1およびタツプ 5 1 _ 2に電 荷が振り分けられ、 インテグレーション期間において電荷がそれぞれ蓄積さ れる。 その後、 リードアウト期間において、 それぞれインテグレーション期 間で蓄積された電荷量の電荷が読み出されて、 検出期間 0 1 における検出信 号八 9 0および検出信号巳 9 0が出力される。
[0069] 図 1 4には、 検出期間 0 2における照射光、 反射光、 転送制御信号丁（^_八と 転送制御信号
Figure imgf000020_0003
並びに、 検出信号 と検出信号巳の一例が示されている 。 図 1 4に示すように、 照射光は、 位相遅れ 1 8 0度で照射される。 受信側 では、 位相遅れ〇度のタイミングで、 転送制御信号
Figure imgf000020_0004
がオンにされ、 受光 （転送） が開始される。
[0070] 遅延時間丁 に応じた電荷量でタツプ 5 1 _ 1およびタツプ 5 1 _ 2に電 荷が振り分けられ、 インテグレーション期間において電荷がそれぞれ蓄積さ れる。 その後、 リードアウト期間において、 それぞれインテグレーション期 間で蓄積された電荷量の電荷が読み出されて、 検出期間 0 2における検出信 号八 1 8 0および検出信号巳 1 8 0が出力される。
[0071 ] 図 1 5には、 検出期間 0 3における照射光、 反射光、 転送制御信号丁（^_八と 転送制御信号
Figure imgf000020_0005
並びに、 検出信号 と検出信号巳の一例が示されている 。 図 1 5に示すように、 照射光は、 位相遅れ 2 7 0度で照射される。 受信側 では、 位相遅れ〇度のタイミングで、 転送制御信号
Figure imgf000020_0006
がオンにされ、 受光 （転送） が開始される。
[0072] 遅延時間丁 に応じた電荷量でタツプ 5 1 _ 1およびタツプ 5 1 _ 2に電 〇 2020/175118 19 卩（：171? 2020 /005029
荷が振り分けられ、 インテグレーション期間において電荷がそれぞれ蓄積さ れる。 その後、 リードアウト期間において、 それぞれインテグレーション期 間で蓄積された電荷量の電荷が読み出されて、 検出期間 0 3における検出信 号八 2 7 0および検出信号巳 2 7 0が出力される。
[0073] このように、 検出期間 0 0では位相遅れ 0度の照射光を用いて検出信号八
0および検出信号巳 0が検出され、 検出期間 0 1では位相遅れ 9 0度の照射 光を用いて検出信号八 9 0および検出信号巳 9 0が検出される。 同様に、 検 出期間〇 2では位相遅れ 1 8 0度の照射光を用いて検出信号八 1 8 0および 検出信号巳 1 8 0が検出され、 検出期間 0 3では位相遅れ 2 7 0度の照射光 を用いて検出信号八 2 7 0および検出信号巳 2 7 0が検出される。
[0074] 受信側では、 照射される照射光の位相遅れにかかわらず、 位相遅れなく、 換言すれば常に同じタイミングで受信が開始される。
[0075] このように 2つのタップ 5 1で 4つの位相差の照射光を用いて所定の物体 までの距離を測距する場合、 4つの検出期間により得られる信号に基づいて 、 信号処理部 1 3 （図 1） の処理が行われる。
[0076] 以下に説明する本技術は、 照射光の位相をずらして照射することで測距を 行う場合と、 受光の位相をずらして測距を行う場合に適用できる。 どちらに も適用可能であるため、 以下の説明では、 図 1 6のように図示し、 説明を続 ける。
[0077] <距離の算出について >
図 1 6に示すように、 1 フレームの検出期間は、 検出期間〇〇、 検出期間 0 1、 検出期間 0 2、 検出期間 0 3から構成される。 検出期間 0 0において 、 検出信号八 0と検出信号巳 0が取得され、 検出期間 0 1 において、 検出信 号八 9 0と検出信号巳 9 0が取得される。 また、 検出期間 0 2において、 検 出信号八 1 8 0と検出信号巳 1 8 0が取得され、 検出期間 0 3において、 検 出信号八 2 7 0と検出信号巳 2 7 0が取得される。
[0078] 信号処理部 1 3 （図 1） は、 これらの検出信号を用いて、 次式 （1） に基 づき、 位相差 0を算出し、 次式 （2） に基づき、 距離口を算出し、 次式 （3 \¥0 2020/175118 20 2020 /005029
） に基づき信頼度〇を算出する。
[0079] [数 1 ]
I = 0〇— 0180= (八〇— 6〇)— (八180— 6180)
0—〇90—〇270— (八9〇_89〇)— (八270_ ¾70)
Figure imgf000022_0001
[0080] [数 2]
Figure imgf000022_0002
[0081 ] [数 3]
Figure imgf000022_0003
[0082] 式 （1） において、 I は、 検出信号八〇から検出信号巳〇を減算した値〇
0から、 検出信号八 1 8 0から検出信号巳 1 8 0を減算した値（3 1 8 0を減 算した値を表す。 0は、 検出信号 9 0から検出信号巳 9 0を減算した値〇 9 0から、 検出信号八 2 7 0から検出信号巳 2 7 0を減算した値〇 2 7 0を 減算した値を表す。 位相差 0は、 （ I / 0） のアークタンジェントを演算す ることで算出される。
[0083] 式 （2） において、 0は光速であり、 丁 はパルス幅を表す。 位相差 0に 基づいて遅延時間丁 を求めることができ、 遅延時間丁 により対象物まで の距離口が求められる。
[0084] 式 （3） は、 算出された距離の信頼度を表す値を算出するための式である 。 信頼度〇は、 丨の 2乗と 0の 2乗を加算した値の平方根を算出することで 求められる。 なお、 信頼度〇の演算は、 距離口の算出において不可欠な要素 ではなく、 省略することも可能である。
[0085] 以下の説明では、 2つのタップ 5 1で 4つの位相差の照射光を用いて所定 の物体までの距離を測距する場合 （以下、 適宜、 2タップ 4フェーズと称す る） を例に挙げて説明を行うが、 2つのタップ 5 1で 2つの位相差の照射光 〇 2020/175118 21 卩（：171? 2020 /005029
を用いて所定の物体までの距離を測距する場合や、 1つのタップ 5 1で 4つ の位相差の照射光を用いて所定の物体までの距離を測距する場合に対しても 本技術を適用することはできる。
[0086] < 2タップ 2フェーズについて >
2つのタップ 5 1で 2つの位相差の照射光を用いて、 または 2つの位相差 で受光を行うことで、 所定の物体までの距離を測距する場合 （以下、 適宜、
2タップ 2フェーズと称する） について簡便に説明を加える。 ここでは、 2 つの位相差で受光を行うことで、 所定の物体までの距離を測距する場合を例 に挙げて説明を続ける。
[0087] 図 1 7は、 0度、 9 0度、 1 8 0度、 2 7 0度の 4位相の露光タイミング を、 位相差がわかりやすいように先頭を揃えて図示した図である。
[0088] 実際には、 図 1 6に示したように、 検出信号 0と検出信号巳 0を取得す るための撮像が検出期間 0 0において行われ、 検出信号八 9 0と検出信号巳 9〇を取得するための撮像が検出期間〇 1 において行われ、 検出信号八 1 8 0と検出信号巳 1 8 0を取得するための撮像が検出期間〇 2において行われ 、 検出信号八 2 7 0と検出信号巳 2 7 0を取得するための撮像が検出期間〇 3において行われる。
[0089] この時間方向に順次行われる撮像を、 検出期間の先頭を揃えて縦方向に並 ベて図示すると図 1 7のようになる。 検出期間〇〇の先頭から、 検出信号八 〇を撮像するための露光が行われ、 その次に、 検出信号巳 0を撮像するため の露光が行われる。
[0090] 検出期間 0 1の先頭から 9 0度位相がずれた時点から、 検出信号 9 0を 撮像するための露光が行われ、 その次に、 検出信号巳 9 0を撮像するための 露光が行われる。
[0091 ] 検出期間 0 2の先頭から 1 8 0度位相がずれた時点から、 検出信号 1 8 〇を撮像するための露光が行われ、 その次に、 検出信号巳 1 8 0を撮像する ための露光が行われる。
[0092] 検出期間 0 3の先頭から 2 7 0度位相がずれた時点から、 検出信号 2 7 〇 2020/175118 22 卩（：171? 2020 /005029
〇を撮像するための露光が行われ、 その次に、 検出信号巳 2 7 0を撮像する ための露光が行われる。
[0093] ここで、 検出期間 0 0における検出信号巳〇の露光時間と、 検出期間 0 2 における検出信号八 1 8 0の露光時間を比べると、 同一のタイミングで露光 が行われていることが読み取れる。 よって、 検出期間〇 2における検出信号 八 1 8 0は、 検出期間〇〇における検出信号巳〇で代用できる。 同様に、 検 出期間 0 2における検出信号巳 1 8 0は、 検出期間 0 0における検出信号八 0で代用できる。
[0094] 同様に、 検出期間〇 1 における検出信号巳 9 0の露光時間と、 検出期間 0
3における検出信号八 2 7 0の露光時間を比べると、 同一のタイミングで露 光が行われていることが読み取れる。 よって、 検出期間〇 3における検出信 号八 2 7 0は、 検出期間〇 1 における検出信号巳 9 0で代用できる。 同様に 、 検出期間 0 3における検出信号巳 2 7 0は、 検出期間〇 1 における検出信 号八 9 0で代用できる。
[0095] このことから、 図 1 8に示すように、 検出期間〇〇と検出期間〇 1 を 1 フ レームの検出期間とし、 検出期間 0 0において、 検出信号八 0と検出信号巳 0が取得されるようにする。
[0096] この検出期間〇 0において取得される検出信号八 0は、 検出信号巳 1 8 0 として用いることができる。 また、 検出期間〇 0において取得される検出信 号巳〇は、 検出信号八 1 8 0として用いることができる。 よって、 この場合 、 検出期間〇〇において、 検出信号 〇、 検出信号巳〇、 検出信号 1 8 0 、 検出信号巳 1 8 0が取得されたのと同等に扱うことができる。
[0097] また、 検出期間 0 1 において取得される検出信号八 9 0は、 検出信号巳 2
7 0として用いることができる。 また、 検出期間〇 1 において取得される検 出信号巳 9 0は、 検出信号八 2 7 0として用いることができる。 よって、 こ の場合、 検出期間 0 1 において、 検出信号 9 0、 検出信号巳 9 0、 検出信 号八 2 7 0、 検出信号巳 2 7 0が取得されたのと同等に扱うことができる。
[0098] よって、 図 1 6を参照して説明した 2タップ 4フエーズの場合と同等に、 〇 2020/175118 23 2020 /005029
図 1 8を参照して説明した 2タップ 2フェーズの場合も扱うことができる。
[0099] 図 1 6を参照して説明した 2タップ 4フェーズにおける式 （1） における 値丨 と値〇は、 次式 （4） のように表される。
[0100] [数 4]
Figure imgf000025_0001
〇 =〇9〇_〇270 =八9〇_89〇 （4）
[0101 ] 値丨 は、 検出信号八 0から検出信号巳 0を減算することで求められ、 値〇 は、 検出信号八 9 0から検出信号巳 9 0を減算することで求められる。 値 I と値 0が取得されるため、 上記した 2タップ方式の場合と同じく、 式 （1） により位相差 0を算出することができ、 式 （2） により距離口を算出するこ とができる。
[0102] ＜ 1タップ 4フェーズについて＞
1つのタップ 5 1 （ 1つのタップ 5 1 を備える画素 5 0の構成は不図示） で 4つの位相差の照射光を用いて、 または 4つの位相差で受光を行うことで 、 所定の物体までの距離を測距する場合 （以下、 適宜、 1タップ 4フェーズ と称する） について簡便に説明を加える。
[0103] 1タップ 4フェーズにおける時間方向の撮像順を図 1 6と同じように表す と、 図 1 9のようになる。 検出期間〇〇において、 上記した式 （1） におけ る値＜3 0が取得される。 検出期間
Figure imgf000025_0002
において、 上記した式 （1） における 値〇 9 0が取得される。 検出期間〇 2において、 上記した式 （1） における 値〇 1 8 0が取得される。 検出期間〇 3において、 上記した式 （1） におけ る値 0 2 7 0が取得される。
[0104] 上記した式 （1） における値丨 と値〇は、 1タップ方式の場合、 次式 （5 ） のように表される。
[数 5]
I =〇〇-〇18〇
〇 =〇9〇-〇27〇 - · - （5） 〇 2020/175118 24 卩（：171? 2020 /005029
[0105] 値丨 と値〇が取得されるため、 上記した 2タップ方式の場合と同じく、 式 （1） により位相差 0を算出することができ、 式 （2） により距離口を算出 することができる。
[0106] 本技術は、 上記した 2タップ 4フェーズ、 2タップ 2フェーズ、 および 1 タップ 4フェーズに対して適用できる。 以下の説明では、 2タップ 4フェー ズに本技術を適用した場合を例に挙げて説明を続ける。
[0107] ＜第 1の実施の形態＞
＜2つの周波数を用いた測距について＞
上記した方法、 例えば、 2タップ 4フェーズと称した方法により、 対象物 に発光部 1 4 （図 1） で発光した光を照射し、 その照射光が対象物において 反射した反射光を受光し、 照射光の発光から反射光の受光までの時間を測定 することで、 対象物までの距離を測定するようにした場合、 その測定できる 距離は、 発光部 1 4が発光する照射光の周波数に依存する。
[0108] 図 2 0の八は、 照射光が高周波である場合の位相差と距離との関係を表す グラフであり、 図 2 0の巳は、 照射光が低周波である場合の位相差と距離と の関係を表すグラフである。 図 2 0のグラフにおいて、 縦軸は位相差を表し 、 横軸は距離を表す。 位相差は、 上記した式 （1） で算出される位相差 0で あり、 距離は、 上記した式 （2） で算出される距離口であるとする。
[0109] なお、 高周波、 低周波とは、 一方の周波数を基準としたとき、 他方の周波 数が高いまたは低い場合を示す。 例えば、 高周波を基準としたとき、 この高 周波の周波数より低い周波数を、 低周波と記述する。 また、 高周波と低周波 は、 可変であっても良いし、 固定であっても良い。 後述するように、 周波数 により測距可能な距離が決定されるため、 周波数を可変にし、 測距可能な距 離が変更できるようにした場合にでも本技術は適用できる。
[01 10] 図 2 0の八を参照するに、 照射光が高周波 （ここでは、 周波数干 IIである とする） の場合であり、 その 1周期で測定できる距離は 0乃至 1 . 5 （ ） であった場合を想定する。 このような場合、 位相差 0 = 0乃至 2 71：に対応す る距離口は、 0乃至 1 . 5 （〇〇 となる。 〇 2020/175118 25 卩（：171? 2020 /005029
[0111] 位相差 øとして、 位相差 0 が算出された場合、 その位相差 0 により算 出される距離口としては、 距離 0 1、 距離 0 2、 距離 0 3、 距離口 4、 距離口 5がある。 この場合、 位相差 0 が算出されたとき、 0乃至 1 . 5 （〇〇 の間の距離口 11 1であるのか、 ·! . 5乃至 3. 0 （〇〇 の間の距 離 0112であるのか、 3. 0乃至 4. 5 （〇〇 の間の距離 0 II 3であるのか 、 4. 5乃至 6. 0 （〇〇 の間の距離 0114であるのか、 または 6. 0乃至 7. 5 （〇〇 の間の距離 0 5であるのかわからず、 決定することができな い。
[0112] 照射光の周波数が、 周波数チ である場合、 0乃至 1. 5 （ ） の範囲で あれば、 一意に距離を求めることができる。 しかしながら、 1. 5 （〇〇 以 上の距離に対しては、 誤った結果である可能性がある。
[0113] 図 20の巳を参照するに、 照射光が低周波 （ここでは、 周波数干 丨である とする） の場合であり、 その 1周期で測定できる距離は 0乃至 2. 5 （ ） であった場合を想定する。 このような場合、 位相差 0 = 0乃至 271：に対応す る距離口は、 0乃至 2. 5 （〇〇 となる。
[0114] 位相差 0として、 位相差 0 Iが算出された場合、 その位相差 0 I により算 出される距離口としては、 距離 0 丨 1、 距離 0 丨 2、 距離 0 丨 3がある。 こ の場合、 位相差 0 丨が算出されたとき、 0乃至 2. 5 （〇〇 の間の距離 0 丨 1であるのか、 2. 5乃至 5. 0 （〇〇 の間の距離 0 丨 2であるのか、 5.
0乃至 7. 5 （〇〇 の間の距離 0 丨 3であるのかわからず、 決定することが できない。
[0115] 照射光の周波数が、 周波数チ 丨である場合、 0乃至 2. 5 （ ） の範囲で あれば、 一意に距離を求めることができる。 しかしながら、 2. 5 （〇〇 以 上の距離に対しては、 誤った結果である可能性がある。
[0116] このように、 測距できる距離は、 照射光の周波数に依存する。 照射光の周 波数が高周波である場合、 換言すれば、 パルス幅が短い場合、 測距できる距 離は短くなるが、 解像度を高めることができる。 一方で、 照射光の周波数が 低周波である場合、 換言すれば、 パルス幅が長い場合、 測距できる距離は長 〇 2020/175118 26 卩（：171? 2020 /005029
くなるが、 解像度は低くなる可能性がある。
[01 17] 測距できる距離を長く し、 かつ解像度を維持または向上させるために、 照 射光の周波数として高周波と低周波を用いるようにする。 このことについて 、 図 2 1 を参照して説明する。
[01 18] 図 2 1は、 図 2 0の八で示した高周波の場合のグラフと図 2 0の巳に示し た低周波のグラフを重ねて図示したグラフである。 図 2 1 においても、 図 2 0の を参照して説明した場合と同じく、 周波数干 IIの高周波で測距したと き、 位相差が位相差 0 と検出され、 その位相差 0 で特定される距離とし て距離口 II 1、 距離 0 11 2、 距離 0 11 3、 距離口 11 4、 距離 0 11 5が候補し て算出される。
[01 19] また図 2 1 においても、 図 2 0の巳を参照して説明した場合と同じく、 周 波数千 Iの低周波で測距したとき、 位相差が位相差 0 I と検出され、 その位 相差 0 Iで特定される距離として距離口 I 1、 距離 0 I 2、 距離 0 I 3が候 補して算出される。
[0120] このように、 測距結果の候補が複数あるとき、 周波数チ の高周波で測距 したときの候補と、 周波数チ 丨の低周波で測距したときの候補を比較するこ とで、 複数の候補から一意に 1つの結果を決定することができる。 処理の一 例を説明する。
[0121 ] 距離 0 I 1 と、 距離 0 II 1、 距離 0 11 2、 距離 0 11 3、 距離口 11 4、 距離 口 5をそれぞれ比較したとき、 距離口 丨 1 と最も近いのは、 距離口 1で あると判定される。 比較は、 例えば、 差分を算出することで行われる。 その 差分が最も小さい値を有する距離口 IIが求められる。 この場合、 距離口 I 1 と距離ロ 1の差分値 （差分値 とする） が最も小さくなるため、 測距結果 の候補として、 距離口 II 1 に絞り込まれる。
[0122] 距離 0 I 2と、 距離 0 II 1、 距離 0 11 2、 距離 0 11 3、 距離口 11 4、 距離 口 5をそれぞれ比較したとき、 距離口 丨 2と最も近いのは、 距離 0 3で あると判定される。 この場合も、 距離口 I 2と距離〇 3の差分値 （差分値 巳とする） が最も小さくなるため、 測距結果の候補として、 距離口 II 3に絞 〇 2020/175118 27 卩（：171? 2020 /005029
り込まれる。
[0123] 距離口 I 3と、 距離口 II 1、 距離 0 11 2、 距離 0 11 3、 距離口 11 4、 距離 口 5をそれぞれ比較したとき、 距離口 丨 3と最も近いのは、 距離口 4で あると判定される。 この場合も、 距離口 I 3と距離〇 4の差分値 （差分値 〇とする） が最も小さくなるため、 測距結果の候補として、 距離口 II 4に絞 り込まれる。
[0124] 差分値 、 差分値巳、 差分値＜3が比較され、 最も小さい値が検出される。
図 2 1 を参照するに、 差分値八が最も小さいため、 差分値八が検出される。 差分値 は、 距離 0 I 1 と距離 0 1の差分値である。 よって、 このような 場合、 距離口 II 1が、 測距結果として一意に決定される。
[0125] このように、 2つの異なる周波数の照射光を用いて測距し、 それぞれの周 波数で得られる測距結果を比較することで、 複数の候補から一意に測距結果 を特定することができる。
[0126] このように、 2つの異なる周波数の照射光を用いて測距することで、 測距 できる距離を長くすることができる。 例えば、 図 2 0、 図 2 1 を参照した説 明において、 高周波だけ用いた場合には 0乃至 1 . 5 （〇〇 が測距できる範 囲であり、 低周波だけを用いた場合には〇乃至 2 . 5 （ ） が測距できる範 囲であったが、 高周波と低周波を用いた場合には、 0乃至 7 . 5 （ ） が測 距できる範囲となる。
[0127] すなわち、 測距可能な距離は、 低周波の 1周期と高周波の 1周期の最小公 倍数となる。 よって、 組み合わせる周波数により、 より測距可能な距離を延 ばすことができる。
[0128] また、 2つの異なる周波数を用いることにより、 解像度が下がるようなこ とはない。 よって、 解像度を維持したまま、 測距可能な距離を延ばすことが できる。
[0129] このように、 低周波の照射光と高周波の照射光を、 それぞれ照射すること で測距を行う場合、 また上記した 2タップ 4フェーズ方式で測距を行う場合 、 図 2 2に示すように測距が行われる。 〇 2020/175118 28 卩（：171? 2020 /005029
[0130] なお、 以下の説明においては、 低周波の照射光と高周波の照射光の 2種類 の周波数を用いて測距を行う場合を例に挙げて説明を続けるが、 2種類以上 の周波数を用いた測距を行うようにしても良い。
[0131 ] 1 フレームは、 低周波の照射光を用いて測距を行うフレーム （以下、 サブ フレーム丨 と記述する） と、 高周波の照射光を用いて測距を行うフレーム （ 以下、 サブフレーム IIと記述する） から構成される。
[0132] サブフレーム丨 とサブフレーム は、 それぞれ図 1 6を参照して説明した
2タップ 4フェーズ方式の場合と同じく、 4つの検出期間を有し、 それぞれ の検出期間で、 検出信号 と検出信号巳を取得する。
[0133] サブフレーム丨 は、 検出期間 0 丨 0、 検出期間 0 丨 1、 検出期間 0 丨 2、 検出期間 0 丨 3を含む。 検出期間 0 丨 0において、 検出信号八 I 0と検出信 号巳 丨 0が取得される。 検出期間〇 丨 1 において、 検出信号八 丨 9 0と検出 信号巳 丨 9 0が取得される。 検出期間〇 丨 2において、 検出信号八 1 1 8 0 と検出信号巳 I 1 8 0が取得される。 検出期間 0 丨 3において、 検出信号八 1 2 7 0と検出信号巳 I 2 7 0が取得される。
[0134] サブフレーム は、 検出期間〇 〇、 検出期間 0 1、 検出期間 0 2、 検出期間〇 3を含む。 検出期間〇 〇において、 検出信号八 〇と検出信 号巳 II 0が取得される。 検出期間〇 1 において、 検出信号八 II 9 0と検出 信号巳 11 9 0が取得される。 検出期間〇 2において、 検出信号八 II 1 8 0 と検出信号巳 II 1 8 0が取得される。 検出期間 0 11 3において、 検出信号八 2 7 0と検出信号巳 2 7 0が取得される。
[0135] このように、 低周波の照射光と高周波の照射光を、 それぞれ照射すること で測距を行う場合、 信号処理部 1 3 3は、 図 2 3に示す統合処理部 1 0 1 を 含み、 統合処理部 1 〇 1 によりサブフレーム丨 とサブフレーム が処理され ることで、 測距が行われる。
[0136] 統合処理部 1 0 1 には、 受光部 1 2 （図 1） から、 サブフレーム丨 とサブ フレーム IIが順次供給される。 なお、 サブフレーム丨の後、 サブフレーム II が供給されるとして説明を続けるが、 サブフレーム の後、 サブフレーム I 〇 2020/175118 29 卩（：171? 2020 /005029
が供給されるようにしてもよい。 換言すれば、 低周波の照射光による測距の 後に、 高周波の照射光による測距を行っても良いし、 高周波の照射光による 測距の後に、 低周波の照射光による測距を行っても良い。
[0137] 統合処理部 1 0 1は、 図 2 1 を参照して説明したように、 低周波の照射光 による測距により得られた距離候補と、 高周波の照射光による測距により得 られた距離候補を用いて、 1つの距離を特定し、 測距結果として出力する。
[0138] 図 2 4に示したフローチヤートを参照し、 図 2 3に示した信号処理部 1 3
3に含まれる統合処理部 1 0 1の処理について説明を加える。
[0139] ステップ 3 1 0 1 において、 統合処理部 1 0 1は、 検出信号を取得する。
図 2 2を参照して説明したように、 低周波の照射光により測距が行われた後 、 高周波の照射光により測距が行われる場合、 統合処理部 1 〇 1は、 検出信 号八 I 0と検出信号巳 I 0、 検出信号 I 9 0と検出信号巳 I 9 0、 検出信 号八 I 1 8 0と検出信号巳 1 1 8 0、 検出信号 I 2 7 0と検出信号巳 I 2 7 0を、 順次取得する。
[0140] サブフレーム丨 に含まれる検出信号が取得された後、 サブフレーム に含 まれる検出信号が順次取得される。 すなわち統合処理部 1 〇 1は、 検出信号 八 〇と検出信号巳 〇、 検出信号 9 0と検出信号巳 9 0、 検出信号 八 II 1 8 0と検出信号巳 II 1 8 0、 検出信号 11 2 7 0と検出信号巳 2 7 〇を、 順次取得する。
[0141 ] ステップ 3 1 0 2において、 統合処理部 1 0 1は、 低周波の照射光を照射 したときに得られた検出信号と、 高周波の照射光を照射したときに得られた 検出信号を統合することで、 対象物までの距離を測距する。
[0142] 統合処理部 1 0 1は、 低周波の照射光を照射したときに得られた検出信号 八 I 0と検出信号巳 I 0、 検出信号 I 9 0と検出信号巳 I 9 0、 検出信号 八 I 1 8 0と検出信号巳 1 1 8 0、 検出信号 I 2 7 0と検出信号巳 I 2 7 〇を用いて、 図 1 6を参照して説明したように、 式 （1） に基づき位相差を 算出し、 式 （2） に基づき距離を算出する。 このとき算出される距離は、 図 2 0の を参照して説明したように、 複数の候補が考えられる。 〇 2020/175118 30 卩（：171? 2020 /005029
[0143] 統合処理部 1 0 1は、 高周波の照射光を照射したときに得られた検出信号 八 〇と検出信号巳 〇、 検出信号 9 0と検出信号巳 9 0、 検出信号 八 II 1 8 0と検出信号巳 II 1 8 0、 検出信号 11 2 7 0と検出信号巳 2 7 0を用いて、 図 1 6を参照して説明したように、 式 （1） に基づき位相差を 算出し、 式 （2） に基づき距離を算出する。 このとき算出される距離は、 図 2 0の巳を参照して説明したように、 複数の候補が考えられる。
[0144] 図 2 1 を参照して説明したように、 低周波の照射光を照射したときに得ら れた検出信号から算出された距離口 I と、 高周波の照射光を照射したときに 得られた検出信号から算出された距離ロ とから、 一意に、 距離を検出する ことができる。 統合処理部 1 0 1は、 低周波の照射光のときに得られる結果 と高周波の照射光のときに得られる結果を統合することで、 測距結果を算出 する。
[0145] このように、 低周波の照射光と高周波の照射光を、 それぞれ照射すること で測距を行い、 得られる結果を統合することで、 所定の精度の解像度を維持 したまま測定できる距離を延ばすことができる。
[0146] ＜第 2の実施の形態＞
＜2つの露光時間を用いた測距について＞
受光部 1 2 （図 1） は、 図 2を参照して説明したように、 画素アレイ部 4 1 を有し、 フォトダイオード 6 1 （図 3） を含む構成とされている。 このよ うなフォトダイオードを含むイメージセンサは、 屋内や野外、 昼間や夜間と いった多様な環境下で使用されることが想定される。 外光の変化等に応じて 、 フォトダイオードにおける電荷蓄積期間を制御することによって露光時間 を調整し、 感度を最適値にする電子シャッタ動作などが行われる。
[0147] また、 イメージセンサにおいて、 そのダイナミックレンジを拡大する方法 として、 露光時間の異なる複数の画像を連続的に撮影して合成する手法が知 られている。 すなわち、 長時間露光画像と短時間露光画像を連続的に個別に 撮影し、 暗い画像領域については長時間露光画像を利用し、 長時間露光画像 では白とびとなってしまうような明るい画像領域では短時間露光画像を利用 する合成処理によって、 1つの画像を生成する手法である。 このように、 複 数の異なる露光画像を合成することで、 白とびのないダイナミックレンジの 広い画像、 すなわち広ダイナミックレンジ画像 ( H D R画像) を得ることが できる。
[0148] このようなことは、 T O Fによる測距を行う測距装置 1 0においても同様 であり、 飽和してしまった場合、 正確な検出信号を得られず、 測距が行えな い可能性がある。 測距装置 1 〇においても、 飽和が起きないように制御され るのが好ましい。 T〇 Fによる測距を行う測距装置 1 0においても広ダイナ ミックレンジが得られる撮像が行われるようにし、 測距が行えないような状 況が発生しないようにする。
[0149] ここでは、 測距装置 1 0において、 長時間露光画像と短時間露光画像を連 続的に個別に撮影することで、 高ダイナミックレンジを実現した測距につい て説明する。
[0150] このように、 長時間露光と短時間露光で、 それぞれ撮像することで測距を 行う場合、 また上記した 2タップ 4フェーズ方式で測距を行う場合、 図 2 5 に示すように測距が行われる。
[0151 ] なお、 長時間露光、 短時間露光とは、 一方の露光時間を基準としたとき、 他方の露光時間が長いまたは短い場合を示す。 例えば、 長時間露光を基準と したとき、 この長時間露光の露光時間より短い露光時間を、 短時間露光と記 述する。 長時間露光や短時間露光は、 可変であっても良いし、 固定であって も良い。 可変である場合、 所謂 A E (Automat i c Exposure) で露光時間が設 定されるようにすることができる。
[0152] また、 長時間露光と短時間露光の一方が可変、 他方は固定とされていても 良い。 また、 長時間露光と短時間露光の両方が固定とされていても良い。 長 時間露光と短時間露光は、 所定の比率で設定されているようにしても良い。 長時間露光と短時間露光の一方を可変とし、 その可変とされている露光時間 に対して、 所定の比率で、 他方の露光時間が設定されるようにしても良い。
[0153] なお、 ここでは、 2種類の露光時間を用いた測距を例に挙げて説明するが 〇 2020/175118 32 卩（：171? 2020 /005029
、 2種類以上の露光時間を用いて測距する場合にも本技術を適用できる。
[0154] 1 フレームは、 長時間露光での撮像で測距を行うフレーム （以下、 サブフ レーム!_と記述する） と、 短時間露光での撮像で測距を行うフレーム （以下 、 サブフレーム 3と記述する） から構成される。
[0155] サブフレーム!_とサブフレーム3は、 それぞれ図 1 6を参照して説明した
2タップ 4フェーズ方式の場合と同じく、 4つの検出期間を有し、 それぞれ の検出期間で、 検出信号 と検出信号巳を取得する。
[0156] サブフレーム!_は、 検出期間 0!_ 0、 検出期間〇1_ 1、 検出期間〇!_ 2、 検出期間 01- 3を含む。 検出期間 0!_ 0において、 検出信号八 !_ 0と検出信 号巳 1_ 0が取得される。 検出期間〇 1- 1 において、 検出信号八 !_ 90と検出 信号巳 !_ 90が取得される。 検出期間〇 1- 2において、 検出信号八 1_ 1 80 と検出信号巳 1_ 1 80が取得される。 検出期間 01_ 3において、 検出信号八 1- 270と検出信号巳 1_ 270が取得される。
[0157] サブフレーム3は、 検出期間 030、 検出期間 031、 検出期間 032、 検出期間 033を含む。 検出期間 030において、 検出信号八 30と検出信 号巳 30が取得される。 検出期間〇 31 において、 検出信号八390と検出 信号巳 390が取得される。 検出期間 032において、 検出信号八31 80 と検出信号巳31 80が取得される。 検出期間 033において、 検出信号八 3270と検出信号巳 3270が取得される。
[0158] このように、 長時間露光での撮像で得られる検出信号と短時間露光での撮 像で得られる検出信号を用いて測距を行う場合、 信号処理部 1 3 は、 図 2 6に示す 1~10 合成部 201 を含み、 1~10 合成部 201 によりサブフレー ム!_とサブフレーム 3が処理されることで、 測距が行われる。
[0159] 1~1〇 [¾合成部201 には、 受光部 1 2 （図 1） から、 サブフレーム!_とサ ブフレーム3が順次供給される。 なお、 サブフレーム!_の後、 サブフレーム 3が供給されるとして説明を続けるが、 サブフレーム 3の後、 サブフレーム !_が供給されるようにしてもよい。 換言すれば、 長時間露光による測距の後 に、 短時間露光による測距を行っても良いし、 短時間露光による測距の後に 〇 2020/175118 33 卩（：171? 2020 /005029
、 長時間露光による測距を行っても良い。
[0160] 図 2 7に示したフローチヤートを参照し、 図 2 6に示した信号処理部 1 3 bに含まれる 1~1 0 合成部 2 0 1の処理について説明を加える。
[0161 ] ステップ 3 2 0 1 において、 1~1 0 合成部 2 0 1は、 検出信号を取得する 。 図 2 5を参照して説明したように、 長時間露光により測距が行われた後、 短時間露光により測距が行われる場合、 ！! 0 合成部 2 0 1は、 検出信号八 !_ 0と検出信号巳 !_ 0、 検出信号 !_ 9 0と検出信号巳 !_ 9 0、 検出信号八 1- 1 8 0と検出信号巳 !_ 1 8 0、 検出信号 !_ 2 7 0と検出信号巳 !_ 2 7 0 を、 順次取得する。
[0162] サブフレーム!_に含まれる検出信号が取得された後、 サブフレーム 3に含 まれる検出信号が順次取得される。 すなわち 1~1 0 合成部 2 0 1は、 検出信 号八 3 0と検出信号巳 3 0、 検出信号
Figure imgf000035_0001
と検出信号巳 3 9 0、 検出信 号八 3 1 8 0と検出信号巳 3 1 8 0、 検出信号
Figure imgf000035_0002
と検出信号
Figure imgf000035_0003
7 0を、 順次取得する。
[0163] ステップ 3 2 0 2において、 1~1 0 合成部 2 0 1は、 長時間露光のときに 得られた検出信号と、 短時間露光のときに得られた検出信号を合成すること で、 画像を生成する。
[0164] ステップ 3 2 0 2における 1~1 0 合成処理について、 図 2 8のフローチヤ —卜を参照して説明する。 図 2 8のフローチヤートを参照して説明する 1~1 0 合成処理は、 画素毎に行われる。
[0165] ステップ 3 2 2 1 において、 処理対象とされている画素における長時間露 光による撮像は、 飽和しているか否かが判定される。 ステップ 3 2 2 1 にお いて、 長時間露光による撮像は、 飽和していないと判定された場合、 ステッ プ3 2 2 2に処理が進められる。
[0166] ステップ 3 2 2 2において、 1~1 0 合成部 2 0 1は、 長時間露光による撮 像は飽和していないため、 長時間露光で撮像したときに得られた測距結果を 、 出力する。 1~1〇 [¾合成部2 0 1は、 長時間露光による撮像は飽和していな い場合、 サブフレーム！-で得られる検出結果 !_ 0乃至 !_ 2 7 0と検出結 〇 2020/175118 34 卩（：171? 2020 /005029
果巳 1_ 0乃至巳 1_ 2 7 0を用いて、 距離 0を算出し、 その算出結果が測距結 果として出力する。 このとき算出されるのは、 処理対象とされている画素で 撮像されている物体までの距離である。
[0167] なお、 長時間露光による撮像が飽和していない場合、 短時間露光による撮 像も飽和していない可能性が高い。 よって、 長時間露光の撮像で得られた検 出信号と短時間露光の撮像で得られた検出信号を、 所定の方法、 例えば、 重 み付け係数を、 それぞれの検出信号に乗算し、 加算するといった演算を行う ことで合成し、 合成した後の信号を用いて、 距離口が算出されるようにして も良い。
[0168] —方、 ステップ 3 2 2 1 において、 処理対象とされている画素における長 時間露光による撮像は飽和していると判定された場合、 ステップ 3 2 2 3に 処理が進められる。 ステップ3 2 2 3において、 短時間露光による撮像は、 飽和しているか否かが判定される。 ステップ3 2 2 3において、 短時間露光 による撮像は、 飽和していないと判定された場合、 ステップ 3 2 2 4に処理 が進められる。
[0169] ステップ 3 2 2 4において、 1~1 0 合成部 2 0 1は、 短時間露光による撮 像は飽和していないため、 短時間露光で撮像したときに得られた測距結果を 、 出力する。 1~1〇 [¾合成部2 0 1は、 短時間露光による撮像は飽和していな い場合、 サブフレーム 3で得られる検出結果
Figure imgf000036_0001
2 7 0と検出結 果巳3 0乃至巳3 2 7 0を用いて、 距離 0を算出し、 その算出結果が測距結 果として出力する。 このとき算出されるのは、 処理対象とされている画素で 撮像されている物体までの距離である。
[0170] —方、 ステップ 3 2 2 3において、 短時間露光による撮像は飽和している と判定された場合、 ステップ 3 2 2 5に処理が進められる。 ステップ 3 2 2 5に処理が来る場合、 長時間露光による撮像は飽和し、 短時間露光による撮 像も飽和している場合であるため、 無効値が出力される。
[0171 ] このような処理が 1 フレームに含まれる画素毎に行われることで、 長時間 露光の撮像により飽和していない画素においては、 長時間露光の撮像により 〇 2020/175118 35 卩（：171? 2020 /005029
得られた検出信号が用いられて距離が算出され、 長時間露光の撮像により飽 和している画素においては、 短時間露光の撮像により得られた検出信号が用 いられて距離が算出される。 よって、 1 フレーム （1画像） において、 広ダ イナミックレンジを実現した測距を行うことができる。
[0172] このように、 長時間露光での撮像と短時間露光での撮像がそれぞれ行われ 、 得られる結果が合成されることで、 広ダイナミックレンジを実現した測距 を行うことができる。
[0173] ＜第 3の実施の形態＞
＜ 2つの周波数、 2つの露光時間を用いた測距について＞
第 1の実施の形態のように、 高周波と低周波の 2つの周波数の照射光を用 いた測距によれば、 測距可能な距離を延ばせるが、 撮像時に飽和してしまう 可能性があり、 測距が行えない状況が発生する可能性がある。
[0174] 第 2の実施の形態のように、 長時間露光と短時間露光の 2つの露光時間を 用いた測距によれば、 撮影時に飽和してしまう可能性を低減し、 広ダイナミ ックレンジを実現した測距を行うことができるが、 測距可能な距離は、 照射 光の周波数に依存し、 所望の距離まで測距できない可能性がある。
[0175] そこで、 第 1の実施の形態と第 2の実施の形態を組み合わせ、 高周波と低 周波の 2つの周波数の照射光を用いた測距と、 長時間露光と短時間露光の 2 つの露光時間を用いた測距を組み合わせることで、 広ダイナミックレンジで 測距を行え、 かつ測距できる距離を延ばすことができる測距が行えるように した第 3の実施の形態について以下に説明を加える。
[0176] このように、 高周波と低周波の 2つの周波数の照射光を用いた測距と長時 間露光と短時間露光の 2つの露光時間を用いた測距を組み合わせることで測 距を行う場合、 また上記した 2タップ 4フェーズ方式で測距を行う場合、 図 2 9に示すように測距が行われる。
[0177] 1 フレームは、 低周波の照射光を照射し、 長時間露光で撮像を行うことで 測距を行うフレーム （以下、 サブフレーム丨 ！_と記述する） 、 低周波の照射 光を照射し、 短時間露光で撮像を行うことで測距を行うフレーム （以下、 サ 〇 2020/175118 36 卩（：171? 2020 /005029
ブフレーム I 3と記述する） 、 高周波の照射光を照射し、 長時間露光で撮像 を行うことで測距を行うフレーム （以下、 サブフレーム II 1_と記述する） 、 および高周波の照射光を照射し、 短時間露光で撮像を行うことで測距を行う フレーム （以下、 サブフレーム 3と記述する） から構成される。
[0178] なお、 低周波の照射光による測距の後に、 高周波の照射光による測距が行 われる場合を例に挙げて説明を続けるが、 高周波の照射光による測距の後に 、 低周波の照射光による測距が行われるようにしても良い。 また長時間露光 による測距の後に、 短時間露光の測距が行われる場合を例に挙げて説明を行 うが、 短時間露光による測距の後に、 長時間露光の測距が行われるようにし ても良い。
[0179] サブフレーム丨 ！_、 サブフレーム丨 3、 サブフレーム ！_、 およびサブフ レーム 3は、 それぞれ図 1 6を参照して説明した 2タップ 4フエーズ方式 の場合と同じく、 4つの検出期間を有し、 それぞれの検出期間で、 検出信号 八と検出信号巳を取得する。
[0180] サブフレーム丨 ！_は、 検出期間 0 丨 ！_ 0、 検出期間 0 丨 ！_ 1、 検出期間 0
I 1- 2、 検出期間 0 丨 1_ 3を含む。 検出期間 0 丨 ！_ 0において、 検出信号八 I 1- 0と検出信号巳 I !_ 0が取得される。 検出期間 0 丨 ！_ 1 において、 検出 信号八 丨 1_ 9 0と検出信号巳 丨 1_ 9 0が取得される。 検出期間 0 丨 1_ 2にお いて、 検出信号八 I !_ 1 8 0と検出信号巳 I !_ 1 8 0が取得される。 検出期 間〇 丨 ！_ 3において、 検出信号八 丨 ！_ 2 7 0と検出信号巳 丨 ！_ 2 7 0が取得 される。
[0181 ] サブフレーム I 3は、 検出期間 0 丨 3 0、 検出期間 0 1 3 1、 検出期間 0
I 3 2、 検出期間 0 丨 3 3を含む。 検出期間 0 丨 3 0において、 検出信号八 I 3 0と検出信号巳 丨 3 0が取得される。 検出期間〇 丨 3 1 において、 検出 信号八 1 3 9 0と検出信号巳 丨 3 9 0が取得される。 検出期間〇 丨 3 2にお いて、 検出信号八 I 3 1 8 0と検出信号巳 I 3 1 8 0が取得される。 検出期 間〇 丨 3 3において、 検出信号八 1 3 2 7 0と検出信号巳 1 3 2 7 0が取得 される。 〇 2020/175118 37 卩（：171? 2020 /005029
[0182] サブフレーム !_は、 検出期間 0 !_ 0、 検出期間 0 1_ 1、 検出期間 0
1^ 1_ 2、 検出期間 0111_ 3を含む。 検出期間 0 II 1_ 0において、 検出信号八 II 1_ 0と検出信号巳 II 1_ 0が取得される。 検出期間〇 II !_ 1 において、 検出 信号八 1*11_ 90と検出信号巳 1*11_ 90が取得される。 検出期間〇 1"11_ 2にお いて、 検出信号八 II !_ 1 80と検出信号巳 II !_ 1 80が取得される。 検出期 間〇 !_ 3において、 検出信号八 !_ 270と検出信号巳 !_ 270が取得 される。
[0183] サブフレーム 3は、 検出期間 0 30、 検出期間 0 31、 検出期間 0
32、 検出期間 0 33を含む。 検出期間 0 30において、 検出信号八 30と検出信号巳 30が取得される。 検出期間〇 31 において、 検出 信号八 390と検出信号巳 390が取得される。 検出期間〇 32にお いて、 検出信号八
Figure imgf000039_0001
が取得される。 検出期 間〇 33において、 検出信号八 3270と検出信号巳 3270が取得 される。
[0184] このように、 低周波の照射光を照射し、 長時間露光による撮像で得られる 検出信号、 低周波の照射光を照射し、 短時間露光による撮像で得られる検出 信号、 高周波の照射光を照射し、 長時間露光による撮像で得られる検出信号 、 および高周波の照射光を照射し、 短時間露光による撮像で得られる検出信 号を用いて測距を行う場合、 信号処理部
Figure imgf000039_0002
図 30に示す構成とされ る。
[0185] 信号処理部 1 3〇は、 1~1〇 [¾合成部301 _ 1、 1~1〇 [¾合成部301 _2 、 および統合処理部 302を備える。 1~10 合成部 301 _ 1 と 1~10 合成 部 301 _2は、 長時間露光による撮像結果と短時間露光による撮像結果を 合成する。
[0186] 1~10 合成部 301 - 1 には、 受光部 1 2 （図 1） から、 サブフレーム I
!_とサブフレーム 1 3が順次供給される。 1~10 合成部 301 _ 1は、 供給 されたサブフレーム 丨 ！_とサブフレーム 丨 3から、 低周波の
Figure imgf000039_0003
画像を生 成し、 統合処理部 302に供給する。 〇 2020/175118 38 卩（：171? 2020 /005029
[0187] 1~10 合成部 301 -2には、 受光部 1 2 （図 1） から、 サブフレーム
!_とサブフレーム 1^ 3が順次供給される。 1~10 合成部 301 _ 2は、 供給 されたサブフレーム ！_とサブフレーム 3から、 高周波の
Figure imgf000040_0001
画像を生 成し、 統合処理部 302に供給する。
[0188] 統合処理部 302は、 図 23に示した統合処理部 1 01 と同じく、 低周波 の照射光で撮像されたときに得られた検出信号、 この場合、 低周波の 1~1口
Figure imgf000040_0002
画像と、 高周波の照射光で撮像されたときに得られた検出信号、 この場合、 高周波の 1~10 画像を統合することで、 所定の物体までの距離を算出し、 測 距結果として出力する。
[0189] 図 3 1 に示したフローチヤートを参照し、 図 30に示した信号処理部 1 3 に含まれる 1~10 合成部 301 と統合処理部 302の処理について説明を加 ス ·る。
[0190] ステップ 3301 において、 信号処理部 1 3は、 検出信号を取得する。
[0191] 1~10 合成部 301 - 1は、 サブフレーム丨 ！_に含まれる検出信号八 丨 ！_
0と検出信号巳 I !_ 0、 検出信号 I 1_ 90と検出信号巳 I 1_ 90、 検出信 号八 I !_ 1 80と検出信号巳 I !_ 1 80、 検出信号 I !_ 270と検出信号 巳 丨 ！_ 270を、 順次取得する。
[0192] また、 1~10 合成部 301 - 1は、 サブフレーム丨 3に含まれる検出信号 八 I 30と検出信号巳 I 30、 検出信号 I 390と検出信号巳 1 390、 検出信号 I 31 80と検出信号巳 1 31 80, 検出信号 I 3270と検 出信号巳 I 3270を、 順次取得する。
[0193] 1~10 合成部 301 - 2は、 サブフレーム ！_に含まれる検出信号八 ！_
0と検出信号巳 !_ 0、 検出信号 !_ 90と検出信号巳 !_ 90、 検出信 号八 II !_ 1 80と検出信号巳 II !_ 1 80、
Figure imgf000040_0003
と検出信号 巳 111_ 270を、 順次取得する。
[0194] また、
Figure imgf000040_0004
合成部 301 -2は、 サブフレーム 3に含まれる検出信号 八 30と検出信号巳 30、 検出信号 390と検出信号巳 390、
Figure imgf000040_0005
〇 2020/175118 39 卩（：171? 2020 /005029
出信号巳 3 2 7 0を、 順次取得する。
[0195] ステップ3 3 0 2において、 1~1 0 合成部 3 0 1 _ 1は、 低周波の照射光 を照射し、 長時間露光のときに得られた検出信号と、 短時間露光のときに得 られた検出信号を合成することで、 低周波の照射光を照射したときに得られ
Figure imgf000041_0001
（低周波 1~1 0 画像と記述する） を生成する。
[0196] ステップ 3 3 0 2における低周波の 1~1 0 合成処理について、 図 3 2のフ 口ーチヤートを参照して説明する。 図 3 2のフローチヤートを参照して説明 する低周波の 1~1 0 合成処理は、 画素毎に行われる。
[0197] ステップ 3 3 2 1 において、 処理対象とされている画素における長時間露 光による撮像は、 飽和しているか否かが判定される。 ステップ 3 3 2 1 にお いて、 長時間露光による撮像は、 飽和していないと判定された場合、 ステッ プ3 3 2 2に処理が進められる。
[0198] ステップ 3 3 2 2において、 1~1 0 合成部 3 0 1 - 1は、 長時間露光によ る撮像は飽和していないため、 長時間露光で撮像したときに得られた結果を 、 出力する。 ！! 0 合成部 3 0 1 _ 1は、 長時間露光による撮像は飽和して いない場合、 サブフレーム 丨 ！_に含まれる処理対象とされている画素から得 られた検出結果八 丨 ！_ 0乃至八 丨 ！_ 2 7 0と検出結果巳 丨 ！_ 0乃至巳 丨 ！_ 2 7 0を、 低周波 1~1 0 画像の一部として出力する。
[0199] ここでは、 検出信号が、 低周波 1~1 0 画像として出力されるとして説明す るが、 サブフレーム丨 ！_で得られる検出結果八 丨 ！_ 0乃至八 丨 ！_ 2 7 0と検 出結果巳 丨 ！_ 0乃至巳 丨 ！_ 2 7 0を用いて、 式 （ 1） に基づき位相差 0を算 出し、 その算出結果が低周波 1~1 0 画像として出力されるようにしても良い 。 また位相差 0を用いて、 式 （2） に基づき距離 0 （複数の候補） を算出し 、 その距離口が出力されるようにしても良い。
[0200] なお、 長時間露光による撮像が飽和していない場合、 短時間露光による撮 像も飽和していない可能性が高い。 よって、 長時間露光の撮像で得られた検 出信号と短時間露光の撮像で得られた検出信号を、 所定の方法、 例えば、 重 み付け係数を、 それぞれの検出信号に乗算し、 加算するといった演算を行う 〇 2020/175118 40 卩（：171? 2020 /005029
ことで合成し、 合成した後の信号を用いて、 位相差 0や距離〇が算出される ようにしても良い。
[0201 ] —方、 ステップ 3 3 2 1 において、 処理対象とされている画素における長 時間露光による撮像は飽和していると判定された場合、 ステップ3 3 2 3に 処理が進められる。 ステップ3 3 2 3において、 短時間露光による撮像は、 飽和しているか否かが判定される。 ステップ3 3 2 3において、 短時間露光 による撮像は、 飽和していないと判定された場合、 ステップ 3 3 2 4に処理 が進められる。
[0202] ステップ3 3 2 4において、 1~1 0 合成部 3 0 1 — 1は、 短時間露光によ る撮像は飽和していないため、 短時間露光で撮像したときに得られた結果を 、 出力する。 1~1 0 合成部 3 0 1 _ 1は、 短時間露光による撮像は飽和して いない場合、 サブフレーム 丨 3に含まれる処理対象とされている画素から得 られた検出結果八 丨 3 0乃至八 1 3 2 7 0と検出結果巳 丨 3 0乃至巳 丨 3 2 7 0を、 低周波 1~1 0 画像の一部として出力する。
[0203] ここでは、 検出信号が、 低周波 1~1 0 画像として出力されるとして説明す るが、 サブフレーム丨 3で得られる検出結果八 丨 3 0乃至八 丨 3 2 7 0と検 出結果巳 丨 3 0乃至巳 1 3 2 7 0を用いて、 式 （ 1） に基づき位相差 0を算 出し、 その算出結果が低周波 1~1 0 画像として出力されるようにしても良い 。 また位相差 0を用いて、 式 （2） に基づき距離 0 （複数の候補） を算出し 、 その距離口が出力されるようにしても良い。
[0204] —方、 ステップ3 3 2 3において、 短時間露光による撮像は飽和している と判定された場合、 ステップ 3 3 2 5に処理が進められる。 ステップ 3 3 2 5に処理が来る場合、 長時間露光による撮像は飽和し、 短時間露光による撮 像も飽和している場合であるため、 処理対象とされている画素に対しては無 効値が出力される。
[0205] このような処理が 1 フレームに含まれる画素毎に行われることで、 長時間 露光の撮像により飽和していない画素においては、 長時間露光の撮像により 得られた検出信号が出力され、 長時間露光の撮像により飽和している画素に 〇 2020/175118 41 卩（：171? 2020 /005029
おいては、 短時間露光の撮像により得られた検出信号が出力される。
[0206] すなわち、 1~1 0 合成部 3 0 1 _ 1は、 低周波の照射光を照射し、 長時間 露光で撮像したことにより得られたサブフレーム丨 しと、 短時間露光で撮像 したことにより得られたサブフレーム丨 3を合成することで、 低周波
Figure imgf000043_0001
画像を生成する。 この生成された低周波 1~1 0 画像は、 図 2 2乃至図 2 4を 参照して説明した 2つの周波数を用いた測距におけるサブフレーム I に該当 する。
[0207] ステップ 3 3 0 3 （図 3 1） において、 1~1 0 合成部 3 0 1 - 2は、 高周 波の照射光を照射し、 長時間露光のときに得られた検出信号と、 短時間露光 のときに得られた検出信号を合成することで、 高周波の照射光を照射したと きに得られる
Figure imgf000043_0002
（高周波 1~1 0 画像と記述する） を生成する。
[0208] ステップ 3 3 0 3における高周波の 1~1 0 合成処理について、 図 3 3のフ 口ーチヤートを参照して説明する。 図 3 3のフローチヤートを参照して説明 する高周波の 1~1 0 合成処理は、 画素毎に行われる。
[0209] ステップ 3 3 4 1 において、 処理対象とされている画素における長時間露 光による撮像は、 飽和しているか否かが判定される。 ステップ 3 3 4 1 にお いて、 長時間露光による撮像は、 飽和していないと判定された場合、 ステッ プ3 3 4 2に処理が進められる。
[0210] ステップ 3 3 4 2において、 1~1 0 合成部 3 0 1 - 2は、 長時間露光によ る撮像は飽和していないため、 長時間露光で撮像したときに得られた結果を 、 出力する。
Figure imgf000043_0003
合成部 3 0 1 _ 2は、 長時間露光による撮像は飽和して いない場合、 サブフレーム II 1_に含まれる処理対象とされている画素から得 られた検出結果八 1_ 0乃至八 1_ 2 7 0と検出結果巳 1_ 0乃至巳 1_ 2 7 0を、 高周波 1~1 0 画像の一部として出力する。
[021 1 ] ここでは、 検出信号が、 高周波 1~1 0 画像として出力されるとして説明す るが、 サブフレーム ！_で得られる検出結果八 ！_ 0乃至八 ！_ 2 7 0と検 出結果巳 !_ 0乃至巳 !_ 2 7 0を用いて、 式 （1） に基づき位相差 0を算 出し、 その算出結果が高周波 ! ! 0 画像として出力されるようにしても良い 〇 2020/175118 42 卩（：171? 2020 /005029
。 また位相差 0を用いて、 式 （2） に基づき距離 0 （複数の候補） を算出し 、 その距離口が出力されるようにしても良い。
[0212] なお、 長時間露光による撮像が飽和していない場合、 短時間露光による撮 像も飽和していない可能性が高い。 よって、 長時間露光の撮像で得られた検 出信号と短時間露光の撮像で得られた検出信号を、 所定の方法、 例えば、 重 み付け係数を、 それぞれの検出信号に乗算し、 加算するといった演算を行う ことで合成し、 合成した後の信号を用いて、 位相差 0や距離〇が算出される ようにしても良い。
[0213] —方、 ステップ 3 3 4 1 において、 処理対象とされている画素における長 時間露光による撮像は飽和していると判定された場合、 ステップ3 3 4 3に 処理が進められる。 ステップ3 3 4 3において、 短時間露光による撮像は、 飽和しているか否かが判定される。 ステップ 3 3 4 3において、 短時間露光 による撮像は、 飽和していないと判定された場合、 ステップ 3 3 4 4に処理 が進められる。
[0214] ステップ 3 3 4 4において、 1~1 0 合成部 3 0 1 — 2は、 短時間露光によ る撮像は飽和していないため、 短時間露光で撮像したときに得られた結果を 、 出力する。 1~1 0 合成部 3 0 1 _ 2は、 短時間露光による撮像は飽和して いない場合、 サブフレーム II 3に含まれる処理対象とされている画素から得 られた検出結果八 3 0乃至八 3 2 7 0と検出結果巳 3 0乃至巳 3 2 7 0を、 高周波 1~1 0 画像の一部として出力する。
[0215] ここでは、 検出信号が、 高周波 1~1 0 画像として出力されるとして説明す るが、 サブフレーム 3で得られる検出結果八 3 0乃至八 3 2 7 0と検 出結果巳 3 0乃至巳 3 2 7 0を用いて、 式 （1） に基づき位相差 0を算 出し、 その算出結果が高周波 1~1 0 画像として出力されるようにしても良い 。 また位相差 0を用いて、 式 （2） に基づき距離 0 （複数の候補） を算出し 、 その距離口が出力されるようにしても良い。
[0216] —方、 ステップ 3 3 4 3において、 短時間露光による撮像は飽和している と判定された場合、 ステップ 3 3 4 5に処理が進められる。 ステップ 3 3 4 〇 2020/175118 43 卩（：171? 2020 /005029
5に処理が来る場合、 長時間露光による撮像は飽和し、 短時間露光による撮 像も飽和している場合であるため、 処理対象とされている画素に対しては無 効値が出力される。
[0217] このような処理が 1 フレームに含まれる画素毎に行われることで、 長時間 露光の撮像により飽和していない画素においては、 長時間露光の撮像により 得られた検出信号が出力され、 長時間露光の撮像により飽和している画素に おいては、 短時間露光の撮像により得られた検出信号が出力される。
[0218] すなわち、
Figure imgf000045_0001
合成部 3 0 1 _ 2は、 高周波の照射光を照射し、 長時間 露光で撮像したことにより得られたサブフレーム II 1_と、 短時間露光で撮像 したことにより得られたサブフレーム 3を合成することで、 高周波 1~1 0
Figure imgf000045_0002
画像を生成する。 この生成された高周波 1~1 0 画像は、 図 2 2乃至図 2 4を 参照して説明した 2つの周波数を用いた測距におけるサブフレーム IIに該当 する。
[0219] ステップ 3 3 0 4 （図 3 1） において、 統合処理部 3 0 2は、 低周波 1~1 0 画像と高周波 1~1 0 画像を統合する。 統合処理部 3 0 2には、
Figure imgf000045_0003
部 3 0 1 _ 1から、 低周波 1~1 0 画像が供給される。 この低周波 1~1 0 画像 は、 上記したような処理が行われることで生成された広ダイナミックレンジ の画像であり、 サブフレーム丨 （図 2 3） に該当する画像である。
[0220] また統合処理部 3 0 2には、 1~1 0 合成部 3 0 1 _ 2から、 高周波
Figure imgf000045_0004
画像が供給される。 この高周波
Figure imgf000045_0005
画像は、 上記したような処理が行われ ることで生成された広ダイナミックレンジの画像であり、 サブフレーム （ 図 2 3） に該当する画像である。
[0221 ] 統合処理部 3 0 2は、 サブフレーム丨 とサブフレーム11に該当する低周波
1~1 0 画像と高周波 1~1 0 画像を取得するため、 サブフレーム丨 とサブフレ _ム11を取得し、 処理する統合処理部 1 0 1 （図 2 3） と同様の処理を行う ことで距離を算出することができる。 統合処理部 1 0 1 （図 2 3） における 処理については既に説明したため、 統合処理部 3 0 2における処理について は、 説明を省略する。 〇 2020/175118 44 卩（：171? 2020 /005029
[0222] このように、 長時間露光による撮像と短時間露光による撮像を行うことで 、 広ダイナミックレンジの画像を取得し、 その広ダイナミックレンジの画像 を用いて測距を行うことで、 ダイナミックレンジを向上させた測距を行うこ とができる。 また、 低周波の照射光を照射した撮像と高周波の照射光を照射 した撮像を行うことで、 測距できる距離を延ばすことができる。
[0223] ＜第 4の実施の形態＞
＜ 2つの周波数、 2つの露光時間を用いた他の測距について＞ 図 2 9乃至図 3 3を参照して第 3の実施の形態として説明したように、 2 つの周波数、 2つの露光時間を用いた測距によれば、 ダイナミックレンジを 向上させ、 かつ測距できる距離を延ばすことができる。
[0224] ここで、 再度図 2 9を参照する。 図 2 9に示したように、 第 3の実施の形 態によれば、 4つのサブフレームを取得し、 処理する必要がある。 この場合 、 4つのサブフレームを時間方向で順次撮像する必要があるため、 撮像にか かる時間が増す可能性がある。 また、 4つのサブフレームを処理するために かかる時間や処理負担が増す可能性もある。
[0225] 取得するサブフレーム数を減らすことで、 撮影にかかる時間や、 取得され たサブフレームを処理する時間や処理負担を軽減する測距について説明を加 ス ·る。
[0226] 第 4の実施の形態として、 図 3 4に示すように、 取得するサブフレームを 、 サブフレーム丨 1_、 サブフレーム 1_、 およびサブフレーム 3の 3つの サブフレームとした場合について説明する。
[0227] サブフレーム I 1_は、 低周波の照射光を照射し、 長時間露光で撮像を行う ことで測距を行うフレームであり、 図 2 9を参照して説明したサブフレーム I 1_に該当するサブフレームである。 また、 サブフレーム丨 1_は、 図 2 2を 参照して説明したサブフレーム丨 に該当するサブフレームである。
[0228] サブフレーム 1_は、 高周波の照射光を照射し、 長時間露光で撮像を行う ことで測距を行うサブフレームであり、 図 2 9を参照して説明したサブフレ —ム1"1 1_に該当するサブフレームである。 〇 2020/175118 45 卩（：171? 2020 /005029
[0229] サブフレーム 3は、 高周波の照射光を照射し、 短時間露光で撮像を行う ことで測距を行うサブフレームであり、 図 2 9を参照して説明したサブフレ —ム1"1 3に該当するサブフレームである。
[0230] 図 3 4に示した実施の形態は、 図 2 9に示した実施の形態と比較し、 低周 波を照射し、 短時間露光で撮像を行うことで測距を行うサブフレーム 丨 3を 取得し、 処理する処理が省略された形態とされている。
[0231 ] 測距を行うとき、 距離が近い方が、 距離が遠い方よりも飽和しやすい傾向 にある。 図 2 0を参照して説明したように、 高周波の照射光を用いた測距は 、 測距可能な距離が、 低周波の照射光を用いた測距よりも短くなる。 距離が 近い方 （近距離） を測距したい場合、 高周波の照射光を用いて測距し、 距離 が遠い方 （遠距離） を測距したい場合、 低周波の照射光を用いて測距するこ とができる。
[0232] 近距離の方が、 遠距離よりも飽和しやすい傾向にあるため、 近距離を測定 する高周波の照射光を用いた撮像の方が、 遠距離を測定する低周波の照射光 を用いた撮像よりも、 飽和する可能性が高いと考えられる。 そこで、 高周波 の照射光を用いた撮像は、 長時間露光と短時間露光を行うことで、 飽和する 可能性を低減し、 広ダイナミックレンジでの撮像が行われるようにする。
[0233] 一方で、 飽和する可能性が低い低周波の照射光を用いた撮像は、 長時間露 光により撮像を行うことで、 3 / 1\1比が低下することがない撮像が行われる ようにする。 また、 低周波の照射光を用いた撮像は、 飽和する可能性が低い ため、 短時間露光による撮像を省略する。
[0234] このように、 低周波を照射し、 短時間露光で撮像を行うことで測距を行う サブフレーム丨 3を取得する処理を省略しても、 測距可能な距離を延ばし、 飽和する可能性を低減した測距を行うことができる。
[0235] また、 上記した 4つのサブフレームを取得して測距を行う場合と比べて、
3つのサブフレームを取得して測距する場合は、 サブフレームを取得する時 間、 換言すれば、 撮像にかかる時間を短くすることができる。 一般的に、 撮 像にかかる時間が長くなると、 動被写体を撮像しているとぶれが生じ、 動被 〇 2020/175118 46 卩（：171? 2020 /005029
写体特性が悪化してしまう可能性がある。 撮像にかかる時間が短くなること で、 動被写体特性の悪化を低減することができる。
[0236] また、 処理するサブフレーム数が減ることで、 処理するための時間を低減 し、 処理能力の負荷を低減することもできる。 このことから、 低消費電力化 することも可能となる。
[0237] このような測距を行う場合、 信号処理部 1 3 は、 図 3 5に示すような構 成を有する。 信号処理部 1 3 は、 1~1 0 合成部 3 0 1 - 2 , および統合処 理部 3 0 2を備える。 図 3 5に示した信号処理部 1 3は、 図 3 0に示した信 号処理部 1 3から、 1~1 0 合成部 3 0 1 - 1 を削除した構成となっているた め、 図 3 0に示した信号処理部 1 3と同一の部分には同一の符号を付し、 適 宜説明は省略する。
[0238] 1~1 0 合成部 3 0 1 - 2には、 受光部 1 2 （図 1） から、 サブフレーム
!_とサブフレーム 1^ 3が順次供給される。 1~1 0 合成部 3 0 1 _ 2は、 供給 されたサブフレーム ！_とサブフレーム 3から、 高周波の
Figure imgf000048_0001
画像を生 成し、 統合処理部 3 0 2に供給する。
[0239] 統合処理部 3 0 2には、 サブフレーム 丨 ！_と、 サブフレーム ！_とサブフ レーム II 3が合成された高周波 1~1 0 画像が供給される。 統合処理部 3 0 2 は、 サブフレーム 丨 1_と高周波 1~1 0 画像を統合することで、 所定の物体ま での距離を算出し、 測距結果として出力する。
[0240] 図 3 6に示したフローチヤートを参照し、 図 3 5に示した信号処理部 1 3
¢1の処理について説明を加える。
[0241 ] ステップ 3 4 0 1 において、 信号処理部 1 3 は、 検出信号を取得する。
[0242] ステップ3 4 0 2において、 1~1 0 合成部 3 0 1 - 2は、 高周波の照射光 を照射し、 長時間露光のときに得られた検出信号と、 短時間露光のときに得 られた検出信号を合成することで、 高周波の照射光を照射したときに得られ る高周波 ! ! 0 画像を生成する。
[0243] ステップ 3 4 0 2における高周波の 1~1 0 合成処理は、 図 3 3に示したフ 口ーチヤートに基づき行われる。 図 3 3に示したフローチヤートに基づく処 〇 2020/175118 47 卩（：171? 2020 /005029
理については既に説明したので、 ここでは説明を省略する。
[0244] ステップ 3 4 0 3において、 統合処理部 3 0 2により統合処理が実行され る。 ステップ 3 4 0 3において実行される統合処理について、 図 3 7に示し たフローチヤートを参照し説明する。
[0245] ステップ 3 4 2 1 において、 低周波の照射光を照射し、 長時間露光による 撮像が、 飽和しているか否かが判定される。 この場合、 サブフレーム 丨 ！_に 含まれている処理対象とされている画素は、 飽和しているか否かが判定され る。 ステップ 3 4 2 1 において、 低周波の照射光を照射し、 長時間露光によ る撮像は飽和していないと判定された場合、 ステップ3 4 2 2に処理は進め られる。
[0246] ステップ3 4 2 2において、 高周波の照射光を照射したときの撮像は、 飽 和しているか否かが判定される。 この場合、 1~1 0 合成部 3 0 1 _ 2により 生成された高周波 1~1 0 画像のうちの、 処理対象とされている画素は、 飽和 しているか否かが判定される。
[0247] ステップ 3 4 0 2の処理 （図 3 3に示したフローチヤートに基づく処理） が実行されることで生成された高周波 ! ! 0 画像には、 飽和している画素は 含まれていない可能性が高いが、 ステップ 3 3 4 5 （図 3 3） において、 無 効値が出力されている可能性もある。 そこで、 ステップ 3 4 0 2においては 、 高周波 1~1 0 画像のうち処理対象とされている画素の画素値は、 無効値で あるか否かが判定される。
[0248] ステップ 3 4 0 2において、 処理対象とされている高周波 1~1 0 画像内の 画素の画素値は、 無効値ではないと判定された場合、 ステップ3 4 2 3に処 理が進められる。 ステップ3 4 2 3において、 低周波の照射光が照射された ときに得られた画像と高周波の照射光が照射されたときに得られた画像が合 成され、 出力される。 この場合、 サブフレーム丨 ！_で得られる画像と、 高周 波 1~1 0 画像が合成される。
[0249] この合成は、 図 3 1のステップ 3 3 0 4で実行される処理と同様に行われ るため、 その説明は省略するが、 サブフレーム丨 ！_に含まれる検出信号を用 〇 2020/175118 48 卩（：171? 2020 /005029
いて算出される距離と、 高周波 1~1 0 画像に含まれる検出信号を用いて算出 される距離とから、 一意に、 距離を求める処理が実行される。
[0250] —方、 ステップ 3 4 2 2において、 処理対象とされている高周波 1~1 0 画 像内の画素の画素値は、 無効値であると判定された場合、 ステップ 3 4 2 4 に処理が進められる。
[0251 ] ステップ 3 4 2 4において、 無効値が出力される。 ステップ 3 4 2 4に処 理が来るのは、 高周波 1~1 0 画像の処理対象とされている画素が飽和してい るため、 高周波 1~1 0 画像からは距離を算出できないときである。 また、 低 周波の照射光が照射されたときに得られたサブフレーム 丨 ！_は、 飽和してい ないと判定されたときである。
[0252] サブフレーム 丨 ！_は、 飽和していないため、 このサブフレーム 丨 ！_から距 離を算出し、 算出された距離が、 測距結果として出力されるようにしても良 い。 この場合、 図 2 0の巳を参照して説明したように、 複数の測距結果が算 出されるため、 誤った測距結果が出力される可能性がある。 よって、 ここで は、 誤った結果が出力されないように、 無効値が出力されるとして説明を続 ける。
[0253] または、 算出される複数の測距結果から 1つの測距結果に特定できた場合 には、 その測距結果が出力されるようにしても良い。
[0254] 例えば、 処理対象とされている画素の近傍の画素であり、 ステップ 3 4 2
3に処理が進められ、 測距結果が出された画素が検出される。 検出された画 素の測距結果に近い値を有する測距結果が、 処理対象とされている画素から 算出された複数の測距結果から検出される。 このような検出処理が、 ステッ プ3 4 2 4において実行されるようにし、 測距結果が出力されるようにして も良い。
[0255] —^5、 ステップ 3 4 2 1 において、 低周波の照射光を照射し、 長時間露光 による撮像が、 飽和していると判定された場合、 ステップ3 4 2 5に処理が 進められる。 ステップ 3 4 2 5の処理は、 ステップ 3 4 2 2の処理と同じく 、 高周波の照射光を照射したときの撮像は、 飽和しているか否かが判定され 〇 2020/175118 49 卩（：171? 2020 /005029
る。 換言すれば、 ステップ 3 4 2 5において、 処理対象とされている高周波 1~1 0 画像内の画素の画素値は、 無効値であるか否かが判定される。
[0256] ステップ 3 4 2 5において、 処理対象とされている高周波 1~1 0 画像内の 画素の画素値は、 無効値ではないと判定された場合、 ステップ 3 4 2 6に処 理が進められる。 ステップ 3 4 2 6に処理が来た場合、 処理対象とされてい る高周波 1~1 0 画像内の画素から検出された検出信号が用いられ、 距離が算 出され、 その算出値が測距結果として出力される。
[0257] この場合も、 ステップ 3 4 2 4に処理が来た場合と同様であり、 高周波の 照射光が照射されたときの撮像または低周波の照射光が照射されたときの撮 像のどちらかが飽和している状態であるため、 複数の測距結果が算出され、 —意に特定できない可能性がある。 よって、 ステップ 3 4 2 6においても、 ステップ 3 4 2 4と同じく、 複数の測距結果から一意に測距結果が特定され る処理が行われるようにしても良い。 または無効値が出力されるようにして も良い。
[0258] —方、 ステップ 3 4 2 5において、 処理対象とされている高周波 1~1 0 画 像内の画素の画素値は、 無効値であると判定された場合、 ステップ 3 4 2 7 に処理が進められる。 ステップ 3 4 2 7において、 処理対象とされている画 素からの測距結果は、 無効であることを示す無効値が出力される。
[0259] このように、 長時間露光による撮像と短時間露光による撮像を行うことで 、 広ダイナミックレンジの画像を取得し、 その広ダイナミックレンジの画像 を用いて測距を行うことで、 ダイナミックレンジを向上させた測距を行うこ とができる。 また、 低周波の照射光を照射した撮像と高周波の照射光を照射 した撮像を行うことで、 測距できる距離を延ばすことができる。
[0260] また処理するサブフレーム数を少なくすることで、 撮影や処理にかかる時 間を短く し、 処理負荷を低減し、 動被写体特性が悪化することを抑制するこ とができる。
[0261 ] ＜第 5の実施の形態＞
第 1乃至第 4の実施の形態は、 組み合わせて用いることができる。 第 5の 〇 2020/175118 50 卩（：171? 2020 /005029
実施の形態とし、 図 3 8を参照し、 2つの周波数を用いた測距を行う第 1の 実施の形態と、 2つの周波数と 2つの露光時間を用いた測距を行う第 3の実 施の形態を組み合わせた場合について説明する。 また、 図 3 9を参照し、 2 つの周波数を用いた測距を行う第 1の実施の形態と、 2つの周波数と 2つの 露光時間を用いた測距を行う第 4の実施の形態を組み合わせた場合について 説明する。
[0262] 図 3 8を参照するに、 測距のモードとして、 通常モードと高精度モードが ある。 通常モードは、 第 1の実施の形態が適用されたモードであり、 低周波 の照射光と高周波の照射光を用いた測距を行うモードである。 この通常モー ドでは、 八巳
Figure imgf000052_0001
で露光が制御される。
[0263] 通常モードでは、 図 2 2を参照して説明した場合と同じく、 低周波の照射 光が照射されたときに撮像されるサブフレーム 丨 と、 高周波の照射光が照射 されたときに撮像されるサブフレーム IIが取得される。 またこのサブフレー ム 丨 とサブフレーム1"1とから、 1 フレ _ムが構成される。
[0264] 高精度モードは、 第 3の実施の形態が適用されたモードであり、 低周波の 照射光と高周波の照射光を用いた測距と長時間露光と短時間露光での測距を 行うモードである。
[0265] 高精度モードでは、 図 2 9を参照して説明した場合と同じく、 低周波の照 射光が照射され、 長時間露光で撮像されたサブフレーム 丨 し、 低周波の照射 光が照射され、 短時間露光で撮像されたサブフレーム 丨 3、 高周波の照射光 が照射され、 長時間露光で撮像されたサブフレーム II 1_、 および高周波の照 射光が照射され、 短時間露光で撮像されたサブフレーム II 3が取得される。 またこのサブフレーム 丨 1_、 サブフレーム 丨 3、 サブフレーム II 1_、 および サブフレーム1"1 3とから、 1 フレ _ムが構成される。
[0266] 図 3 8に示した例では、 フレーム 1 とフレーム 2は、 通常モードで撮像さ れ、 フレーム 3で高精度モードに切り替わり、 フレーム 4で通常モードに戻 り、 通常モードが維持されたままフレーム 5が撮像される。
[0267] 通常モードから高精度モードに切り替わるタイミングについては、 後述す 〇 2020/175118 51 卩（：171? 2020 /005029
る。 通常モードから高精度モードに切り替わるとき、 露光長は維持される。 図 3 8に示した例では、 フレーム 2のサブフレーム 丨 の露光時間は、 フレー ム 3のサブフレーム 丨 1_に引き継がれ、 フレーム 2のサブフレーム 1*1の露光 時間は、 フレーム 3のサブフレーム 1_に引き継がれる。
[0268] すなわち、 通常モード時の低周波の照射光を用いた撮像を行うときの露光 時間が、 高精度モード時の低周波の照射光を用いた撮像を行うときの長時間 露光の露光時間に設定される。 また、 通常モード時の高周波の照射光を用い た撮像を行うときの露光時間が、 高精度モード時の高周波の照射光を用いた 撮像を行うときの長時間露光の露光時間に設定される。
[0269] 高精度モード時の長時間露光の露光長は、 前フレームの通常モード時の露 光長が維持されるため、 また通常モード時の露光長は、 日により設定され るため、 高精度モード時の長時間露光の露光長は、 可変となる。
[0270] 高精度モード時の長時間露光の露光長に合わせて、 高精度モード時の短時 間露光の露光長も可変としても良い。 高精度モード時の短時間露光の露光長 を可変とした場合、 高精度モード時の長時間露光の露光長に対する比率で設 定されるようにしても良い。
[0271 ] 例えば、 高精度モード時の短時間露光の露光長は、 長時間露光の露光長の 半分 （0 . 5） に設定するといったように、 高精度モード時の長時間露光の 露光長に対する比率で短時間露光の露光長が設定されるようにしても良い。
[0272] 高精度モード時の短時間露光の露光長は、 高精度モード時の長時間露光の 露光長に係わらず、 固定値としても良い。
[0273] 高精度モードから通常モードに切り替わるときも、 露光長は維持される。
図 3 8に示した例では、 フレーム 3のサブフレーム 丨 ！_の露光時間は、 フレ —ム 4のサブフレーム 丨 に引き継がれ、 フレーム 3のサブフレーム1"1 1_の露 光時間は、 フレーム 3のサブフレーム IIに引き継がれる。
[0274] このように、 通常モードと高精度モードの切り替わり時に、 露光時間が維 持されるようにすることで、 露光時間がフレーム間で急激に変化するような ことを防ぐことができ、 ユーザに違和感を与えるようなことを防ぐことがで 〇 2020/175118 52 卩（：171? 2020 /005029
きる。
[0275] 図 3 8に示した例では、 高精度モードは、 1 フレームしかない場合を例に 挙げて説明したが、 複数フレームが連続して高精度モードで撮像されるよう にしても良い。 高精度モード時に、 複数フレームが撮像されるようにした場 合、 高精度モード中に、 露光長が変更されるようにしても良い。
[0276] 高精度モード中に露光長が変更される場合、 高精度モードから通常モード に切り替わるとき、 高精度モードの最後のフレームの露光長が、 通常モード の露光長として引き継がれる。
[0277] 図 3 8に示した例は、 高精度モードのときに取得されるサブフレーム 丨 ！_ とサブフレーム II 1_は、 前の通常モードのフレームのサブフレーム 丨 とサブ フレーム と露光時間が同じなため、 高精度モードは、 通常モードの撮像に 短時間露光での撮像が追加されたモードであるとも言える。
[0278] 通常モード時の露光長が高精度モード時にも維持され、 高精度モード時で は、 通常モードの撮像に短時間露光での撮像が追加されるため、 通常モード 時の露光長は、 高精度モード時に短時間露光での撮像が追加されても、 1 フ レーム内に収まる時間に制限される。
[0279] 通常モード時のサブフレーム丨の露光長を露光長丨 とし、 サブフレーム の露光長を露光長 1*1とする。 また、 高精度モード時のサブフレーム 丨 1_の露 光長を露光長丨 1-とし、 サブフレーム I 3の露光長を露光長丨 3とし、 サブ フレーム 1_の露光長を露光長 1"1 1_とし、 サブフレーム1"1 3の露光長を露光 とする。 またフレームレートが、 3 0 干 3である場合、 1 フレーム 時間は、 1 / 3 0秒となる。
[0280] 露光長丨 1-十露光長丨 3十露光長 1_十露光長 II 3 < 1 フレーム時間 （ 1
/ 3 0秒）
となる。
露光長丨 ！- =露光長 I、 露光長 1_ =露光長 IIであるため、 この不等号は 露光長丨 十露光長丨 3十露光長 1"1十露光長 11 3 < 1 フレーム時間 〇 2020/175118 53 卩（：171? 2020 /005029
と書き換えられる。
[0281 ] よって、
露光長丨 十露光長 ＜ 1 フレーム時間一 （露光長丨 3十露光長 3） となる。
この不等号が満たされるように、 通常モード時の露光長は設定される。 な お、 露光量丨 と露光量 1*1は、 露光量 I =露光量 IIであり、 露光長 I 3と露光 長 11 3は、 露光長丨 3 =露光長 11 3である。
[0282] 次に、 第 1の実施の形態と第 4の実施の形態を組み合わせた場合について 説明する。 図 3 9に示すように、 高精度モードのときは、 第 4の実施の形態 のように、 3枚のサブフレームで測距が行われるようにしても良い。 図 3 9 に示した場合も、 基本的に、 図 3 8に示した場合と同様であるため、 同様な 説明は適宜省略する。
[0283] 高精度モードでは、 図 3 4を参照して説明した場合と同じく、 低周波の照 射光が照射され、 長時間露光で撮像されたサブフレーム 丨 し、 高周波の照射 光が照射され、 長時間露光で撮像されたサブフレーム II 1_、 および高周波の 照射光が照射され、 短時間露光で撮像されたサブフレーム 3が取得される 。 またこのサブフレーム 丨 1_、 サブフレーム II 1_、 およびサブフレーム11 3 とから、 1 フレ _ムが構成される。
[0284] 通常モードから高精度モードに切り替わるとき、 露光長は維持される。 図
3 9に示した例では、 フレーム 2のサブフレーム 丨 の露光時間は、 フレーム 3のサブフレーム 丨 ！_に引き継がれ、 フレーム 2のサブフレーム 1*1の露光時 間は、 フレーム 3のサブフレーム 1_に引き継がれる。
[0285] また高精度モードから通常モードに切り替わるときも、 露光長は維持され る。 図 3 9に示した例では、 フレーム 3のサブフレーム丨 1_の露光時間は、 フレーム 4のサブフレーム 丨 に引き継がれ、 フレーム 3のサブフレーム II 1_ の露光時間は、 フレーム 3のサブフレーム IIに引き継がれる。
[0286] このように、 通常モードと高精度モードの切り替わり時に、 露光時間が維 持されるようにすることで、 露光時間がフレーム間で急激に変化するような 〇 2020/175118 54 卩（：171? 2020 /005029
ことを防ぐことができ、 ユーザに違和感を与えるようなことを防ぐことがで きる。
[0287] 図 3 9に示した例では、 高精度モードは、 1 フレームしかない場合を例に 挙げて説明したが、 複数フレームが連続して高精度モードで撮像されるよう にしても良い。 高精度モード時に、 複数フレームが撮像されるようにした場 合、 高精度モード中に、 露光長が変更されるようにしても良い。
[0288] 高精度モード中に露光長が変更される場合、 高精度モードから通常モード に切り替わるとき、 高精度モードの最後のフレームの露光長が、 通常モード の露光長として引き継がれる。
[0289] 図 3 9に示した例は、 高精度モードのときに取得されるサブフレーム 丨 ！_ とサブフレーム II 1_は、 前の通常モードのフレームのサブフレーム 丨 とサブ フレーム と露光時間が同じなため、 高精度モードは、 通常モードの撮像に 、 高周波の照射光を照射し、 短露光時間での撮像が追加されたモードである とも言える。
[0290] 図 3 9に示した例では、
露光長丨 1-十露光長 1_十露光長 II 3 < 1 フレーム時間 （ 1 / 3 0秒） となる。
露光長丨 1- =露光長 1、 露光長 1_ =露光長 IIであるため、 この不等号は 露光長丨 十露光長 十露光長 II 3 < 1 フレーム時間
と書き換えられる。
[0291 ] よって、
露光長丨 十露光長 < 1 フレーム時間一露光長 3
となる。
この不等号が満たされるように、 通常モード時の露光長は設定される。 な お、 露光量丨 と露光量 1*1は、 露光量 I =露光量 IIである。
[0292] 以下の説明においては、 図 3 9に示した場合を例に挙げて説明する。
[0293] <トリガーによる切替 > 〇 2020/175118 55 卩（：171? 2020 /005029 図 4 0は、 図 3 9を参照して説明した通常モードと高精度モードを、 所定 のトリガーが入力されたときに切り替える信号処理部 1 3 6の構成を示す図 である。 図 4 0に示した信号処理部 1 3 6は、 通常モード制御部 5 0 1、 最 適露光算出部 5 0 2、 高精度モード制御部 5 0 3、 モード切替部 5 0 4、 1~1 口 合成部 5 0 5、 および統合処理部 5 0 6を備える。
[0294] 通常モード制御部 5 0 1は、 通常モード時に、 受光部 1 2 （図 1） に対し て制御信号を送信する。 また通常モード制御部 5 0 1は、 通常モード時に、 受光部 1 2からのサブフレームの入力を制御する。
[0295] 通常モード制御部 5 0 1は、 受光部 1 2が、 サブフレーム I とサブフレー ム 1*1を撮像するように制御する。 また、 通常モード制御部 5 0 1は、 受光部 1 2で撮像されたサブフレーム I とサブフレーム IIを取得し、 統合処理部 5 0 6に出力する。
[0296] 高精度モード制御部 5 0 3は、 高精度モード時に、 受光部 1 2に対して制 御信号を送信する。 また高精度モード制御部 5 0 3は、 高精度モード時に、 受光部 1 2からのサブフレームの入力を制御する。
[0297] 高精度モード制御部 5 0 3は、 受光部 1 2が、 サブフレーム I !_、 サブフ レーム |1 1_、 およびサブフレーム11 3を撮像するように制御する。 また、 高 精度モード制御部 5 0 3は、 受光部 1 2で撮像されたサブフレーム I !_、 サ ブフレーム |1 1_、 およびサブフレーム11 3を取得し、 サブフレーム 丨 1 -を統 合処理部 5 0 6に出力し、 サブフレーム 1_とサブフレーム 3を 1~1 0 合 成部 5 0 5に出力する。
[0298] 最適露光算出部 5 0 2は、 受光部 1 2からのサブフレームを用いて、 次の フレームの撮像に適した露光長を設定する。 設定された露光長は、 通常モー ド制御部 5 0 1 と高精度モード制御部 5 0 3に供給され、 通常モード制御部 5 0 1 または高精度モード制御部 5 0 3は、 設定されている露光長に基づき 、 受光部 1 2の露光時間を制御する。
[0299] モード切替部 5 0 4は、 外部から所定のトリガーが入力されたとき、 通常 モードと高精度モードを切り替える。 所定のトリガーとは、 例えば、 撮像時 〇 2020/175118 56 卩（：171? 2020 /005029
にユーザが操作するシャツタボタンが操作されているときとすることができ る。 ここでは、 シャツタボタンが操作されていることをトリガーとして説明 するが、 他のトリガーが設定されている場合にも本技術は適用できる。
[0300] シャツタボタンが操作された場合、 その操作情報が、 モード切替部 5 0 4 に供給される。 モード切替部 5 0 4は、 所定のトリガーが入力された場合、 通常モードから高精度モードに切り替える。 高精度モードに切り替えられた 場合、 通常モード制御部 5 0 1は、 処理を停止し、 高精度モード制御部 5 0 3は、 処理を開始する。
[0301 ] またシャツタボタンの操作が終了された場合、 モード切替部 5 0 4は、 高 精度モードから通常モードに切り替える。 通常モードに切り替えられた場合 、 通常モード制御部 5 0 1は、 処理を開始し、 高精度モード制御部 5 0 3は 、 処理を停止する。
[0302] このように、 シャツタボタンが操作されているときに高精度モードで動作 するようにした場合、 シャツタボタンが操作されているとき、 すなわち撮像 が行われるときには、 高精度で撮像が行われるようにすることができる。
[0303] またシャツタボタンが操作されていないときには、 例えばライブビューと 称される、 その時点で撮像されている画像をディスプレイに表示する画像と して、 受光部 1 2で撮像している画像をユーザに提供することができる。
[0304] 1~1 0 合成部 5 0 5は、 図 3 5に示した信号処理部 1 3 の 1~1 0 合成部
3 0 1 _ 2と同様の機能を有し、 高精度モード制御部 5 0 3から供給される サブフレーム II 1_とサブフレーム II 3を合成し、 高周波
Figure imgf000058_0001
を生成し 、 統合処理部 5 0 6に供給する。
[0305] 統合処理部 5 0 6は、 図 2 3に示した信号処理部 1 3 3の統合処理部 1 0
1 と同様の機能を有し、 通常モード制御部 5 0 1から供給されるサブフレー ム丨 とサブフレーム IIを用いて、 距離を算出し、 出力する。
[0306] また統合処理部 5 0 6は、 図 3 5に示した信号処理部 1 3 の統合処理部
3 0 2と同様の機能も有し、 高精度モード制御部 5 0 3から供給されるサブ フレーム丨 ！_と、 ！! 0 合成部 5 0 5から供給される高周波 ! ! 0 画像を用 〇 2020/175118 57 卩（：171? 2020 /005029
いて、 距離を算出し、 出力する。
[0307] 図 4 0に示した信号処理部 1 3㊀の動作について、 図 4 1 のフローチャー 卜を参照して説明する。
[0308] ステップ 3 5 0 1 において、 高精度出力のトリガー信号を受信したか否か が判定される。 高精度出力のトリガー信号とは、 例えば、 シャッタボタンが 操作されたことや、 シャッタボタンが操作され続けていることを示す信号、 換言すれば撮像を指示する信号である。
[0309] ステップ 3 5 0 1 において、 高精度出力のトリガー信号は受信していない と判定された場合、 ステップ 3 5 0 2に処理は進められる。 高精度出力の卜 リガー信号を受信していないため、 通常モードによる測距が行われる。
[0310] ステップ 3 5 0 2において、 複数周波数、 この場合、 低周波と高周波の照 射光を用いた撮像が行われる。 通常モード制御部 5 0 1は、 発光制御部 1 5 （図 1） に対して、 低周波の照射光を露光時間 （この場合、 長時間露光） に 相当する時間照射し、 その後高周波の照射光を露光時間に相当する時間照射 するという制御を行わせるための制御信号を出力する。 また、 受光部 1 2 （ 図 1） が、 最適露光算出部 5 0 2により算出された露光時間で露光を行うよ うに、 受光部 1 2に対して制御信号を出力する。
[031 1 ] このように、 通常モード制御部 5 0 1からの制御信号に基づき、 発光部 1 4により照射光の照射が行われ、 受光部 1 2により受光が行われることで、 サブフレーム丨 とサブフレーム 1*1が撮像される。
[0312] ステップ 3 5 0 3において、 複数周波数の信号から距離が算出される。 通 常モード制御部 5 0 1は、 受光部 1 2からのサブフレーム I とサブフレーム IIを統合処理部 5 0 6に出力する。 統合処理部 5 0 6は、 サブフレーム I と サブフレーム のそれぞれに含まれる検出信号八と検出信号巳を用いて、 距 離を算出し、 複数の候補から一意に距離を特定する。
[0313] ステップ 3 5 0 4において、 最適露光長が算出される。 最適露光算出部 5
0 2は、 入力されたサブフレームから、 次のフレームの撮像時の露光長を算 出する。 算出された露光長は、 通常モード制御部 5 0 1 と高精度モード制御 〇 2020/175118 58 卩（：171? 2020 /005029
部 5 0 3に供給される。
[0314] ステップ 3 5 0 5において、 撮影は終了か否かが判定される。 例えば、 測 距装置 1 0の電源がオフにされた場合、 測距装置 1 0として機能させるため のアプリケーシヨンが閉じられた場合などに、 撮影は終了であると判定され る。
[0315] ステップ 3 5 0 5において、 撮影は終了していないと判定された場合、 ス テップ3 5 0 1 に処理が戻され、 それ以降の処理が繰り返される。 一方、 撮 影は終了したと判定された場合、 図 4 1 に示したフローチヤートの処理は終 了される。
[0316] 一方、 ステップ 3 5 0 1 において、 高精度出力のトリガー信号を受信した と判定された場合、 ステップ 3 5 0 6に処理は進められる。 高精度出力の卜 リガー信号を受信しているため、 高精度モードによる測距が行われる。
[0317] ステップ 3 5 0 6において、 複数周波数と複数露光長、 この場合、 低周波 の照射光で長時間露光した撮像、 高周波の照射光で長時間露光した撮像、 お よび高周波の照射光で短時間露光した撮像が行われる。
[0318] 高精度モード制御部 5 0 3は、 発光制御部 1 5 （図 1） に対して、 低周波 の照射光を長時間露光に相当する時間照射し、 高周波の照射光を長時間露光 に相当する時間照射し、 高周波の照射光を短時間露光に相当する時間照射す るという制御を行わせるための制御信号を出力する。
[0319] また、 受光部 1 2 （図 1） が、 最適露光算出部 5 0 2により算出された露 光時間 （長時間露光） で露光を行うように、 また、 短時間露光の露光時間と して設定された露光時間で露光が行われるように、 受光部 1 2に対して制御 信号を出力する。
[0320] 最適露光算出部 5 0 2により算出された露光時間は、 前のフレームの撮像 時に設定されている値であり、 ステップ3 5 0 4において算出された値であ る。 よって、 通常モード時のフレームの露光時間が、 高精度モード時のフレ —ムの露光時間として維持される。 また、 短時間露光の露光時間は、 上記し たように、 長時間露光に対する比率で算出され、 設定される値、 または固定 〇 2020/175118 59 卩（：171? 2020 /005029
値として設定されている値が用いられる。
[0321 ] このように、 通常モード制御部 5 0 1からの制御信号に基づき、 発光部 1 4により照射光の照射が行われ、 受光部 1 2により受光が行われることで、 サブフレーム丨 ！_、 サブフレーム ！_、 およびサブフレーム 3が撮像され る。
[0322] ステップ3 5 0 7において、 複数周波数と複数露光の撮像により得られた 信号から距離が算出される。 高精度モード制御部 5 0 3は、 受光部 1 2から のサブフレーム丨 ！_を統合処理部 5 0 6に出力する。 また、 高精度モード制 御部 5 0 3は、 サブフレーム ！_とサブフレーム 3を、
Figure imgf000061_0001
合成部 5 0 5に出力する。
[0323] 1~1〇 [¾合成部5 0 5は、 図 3 3に示したフローチヤートを参照して説明し た場合と同様の処理を行うことで、 高周波 1~1 0 画像を生成し、 統合処理部 5 0 6に出力する。 統合処理部 5 0 6は、 サブフレーム
Figure imgf000061_0002
画像のそれぞれに含まれる検出信号 と検出信号巳を用いて、 距離を算出し 、 複数の候補から一意に距離を特定する。
[0324] ステップ3 5 0 5において、 撮影は終了か否かが判定される。 ステップ
5 0 5において、 撮影は終了していないと判定された場合、 ステップ 3 5 0 1 に処理が戻され、 それ以降の処理が繰り返され、 撮影は終了したと判定さ れた場合、 図 4 1 に示したフローチヤートの処理は終了される。
[0325] 高精度モード時にも、 露光長を変更するようにした場合、 ステップ 3 5 0
7からステップ 3 5 0 5に処理が進められるとき、 最適露光長が算出される ようにしても良い。
[0326] このように、 所定のトリガーが入力されたとき、 通常モードから高精度モ -ドに切り替わるようにすることで、 消費電力や処理負荷を低減させること ができる。
[0327] このようなトリガーの入力により通常モードと高精度モードを切り替える 信号処理部 1 3の適用例を、 図 4 2に示す。 図 4 2に示した信号処理部 1 3 干は、 [¾〇巳センサ 5 5 1からの信号を入力し、 処理する機能が追加されて \¥02020/175118 60 卩（：17 2020/005029
いる。 〇巳センサ 5 5 1からは、 通常のカラー画像を取得することができ る。
[0328] 信号処理部 1 3チは、 カラー画像から、 例えば背景を削除し、 人を残すと いった処理を行う。 このような処理を行う図 4 2に示した信号処理部 1 3は 、 図 4 0に示した信号処理部 1 3 にマッビング部 5 6 1 とエフェクト部 5 6 2をさらに追加した構成とされている。
[0329] マッピング部 5 6 1は、 統合処理部 5 0 6から出力される距離を、 カラー 画像上の対応する画素位置にマッピングする。 すなわち、 得られるカラー画 像に対応する距離画像を生成する。 例えば、 図 4 3の距離画像 が生成され る。 この距離画像八が得られたときに
Figure imgf000062_0001
巳センサ 5 5 1で得られたカラー 画像は、 例えば、 図 4 3のカラー画像巳である。
[0330] カラー画像巳は、 人と背景が撮影されている。 このカラー画像巳に対応す る距離画像が、 距離画像 であり、 人の部分は、 略同一の距離を表す色で表 示され、 背景の部分は、 人の部分とは異なる距離であることを表す色で表示 される。
[0331 ] エフェクト部 5 6 2は、 距離画像 で略同一の距離であり、 近景にある部 分を残し、 他の部分を削除する処理を行う。 この場合、 近景に居る人が残り 、 背景が削除されることで、 エフェクト画像 0 （図 4 3） が得られる。
[0332] 図 4 2に示したような信号処理部 1 3を有する装置においては、 通常モー ドのときには、 統合処理部 5 0 6から距離画像 、 または/および
Figure imgf000062_0002
巳セ ンサ 5 5 1から得られたカラー画像巳が出力されるようにすることができる
[0333] 高精度モードのときには、 高精度での撮像が行われることで距離画像八が 取得され、 その距離画像 に基づき、 カラー画像巳に対してエフェクト処理 が実行される。 そしてエフェクト後のエフェクト画像＜3が出力される。 高精 度モードのときには、 距離画像 、 カラー画像巳、 エフェクト画像＜3のうち のいずれか 1つの画像、 または複数の画像を出力するようにすることができ る。 〇 2020/175118 61 卩（：171? 2020 /005029
[0334] ＜第 6の実施の形態＞
＜シーンによる切替＞
第 5の実施の形態では、 所定のトリガーにより通常モードと高精度モード を切り替える場合を例に挙げて説明した。 第 6の実施の形態として、 所定の シーンにより通常モードと高精度モードを切り替える場合を例に挙げて説明 する。
[0335] 図 4 4に、 所定のシーンにより通常モードと高精度モードを切り替える信 号処理部 1 3 9の構成例を示す。 図 4 4に示した信号処理部 1 3 9は、 図 4 0に示した信号処理部 1 3干と比較し、 モード切替部 5 0 4の代わりに、 シ —ン判定部 6 0 1 を備えた構成とされている点が異なり、 他の部分は同様で ある。
[0336] シーン判定部 6 0 1は、 統合処理部 5 0 6から出力される画像から、 所定 のシーンであるか否かを判定し、 所定のシーンであると判定したとき、 通常 モード制御部 5 0 1 による制御から、 高精度モード制御部 5 0 3による制御 に切り替える。
[0337] 所定のシーンとは、 顔が検出されたシーンとすることができる。 例えば、 顔認証のときに、 高精度モードで測距が行われるようにすることができる。
[0338] 図 4 4に示した信号処理部 1 3の動作について、 図 4 5に示したフローチ ヤートを参照して説明する。 第 5の実施の形態における信号処理部 1 3干と 同様の処理については、 適宜説明を省略する。
[0339] ステップ 3 6 0 1乃至 3 6 0 4の処理は、 ステップ 3 5 0 2乃至 3 5 0 5 （図 4 1） と同じく、 通常モード時における処理である。 通常モードにおい てフレーム 丨 とフレーム が取得され、 距離画像が生成されると、 その生成 された距離画像を用いて、 シーン判定部 6 0 1は、 所定のシーンであるか否 かを判定する。
[0340] 距離画像ではなく、 白黒の画像が用いられて、 所定のシーンの判定が行わ れるようにしても良い。 図 2に示したように、 受光部 1 2は、 フォトダイオ —ド 6 1 （図 3） が 2次元的に配置されている画素アレイ部 4 1 を備え、 撮 〇 2020/175118 62 卩（：171? 2020 /005029
像を行う。 この撮像により、 白黒、 所謂モノクロの画像を得ることができる 。 よって、 このモノクロ画像を用いて、 撮像されている物体を認識し、 その 物体が人の顔であるか否かを判定することができる。
[0341 ] ステップ 3 6 0 5において、 シーン判定部 6 0 1は、 高精度モードに移行 するシーンであるか否かを判定する。 シーン判定部 6 0 1は、 距離画像 （ま たはモノクロ画像） を解析し、 例えば、 顔と判定できる領域がある場合、 所 定のシーンであると判定する。
[0342] ステップ 3 6 0 5において、 シーン判定部 6 0 1 により、 高精度出力が必 要な所定のシーンではないと判定された場合、 ステップ 3 6 0 1 に処理が戻 され、 それ以降の処理が繰り返される。
[0343] —方、 ステップ 3 6 0 5において、 シーン判定部 6 0 1 により、 高精度出 力が必要な所定のシーンであると判定された場合、 ステップ 3 6 0 6に処理 が進められる。 高精度出力が必要な所定のシーンであると判定されたため、 高精度モードによる測距が行われる。
[0344] ステップ 3 6 0 6 , 3 6 0 7の処理は、 ステップ 3 5 0 6 , 3 5 0 7 （図 4 1） と同じく、 高精度モード時における処理である。
[0345] このように、 所定のシーン、 例えば、 顔認識が実行されているときには、 高精度モードに移行し、 高精度で撮像された画像が用いられ、 後段の処理部 で顔認証の処理が実行できるようにすることができる。
[0346] ＜第 7の実施の形態＞
＜露光時間の調整の仕方＞
上記した説明においては、 受光部 1 2のイメージセンサの露光時間を調整 することで、 長時間露光や短時間露光を調整する場合を例に挙げて説明した
[0347] 上記した説明において、 例えば高周波の照射光を用いて長時間露光で撮像 し、 その後、 高周波の照射光を用いて短時間露光で撮像するといった場合、 図 4 6の八に示すように、 1周期における光源 （発光部 1 4） の発光時間 （ オンとされている時間） は、 長時間露光のときの発光時間が短時間露光のと 〇 2020/175118 63 卩（：171? 2020 /005029
きの発光時間よりも長く設定されている。 また、 センサ （受光部 1 2） の露 光時間は、 長時間露光 （図 4 6の八の左図） は、 短時間露光 （図 4 6の巳の 右図） よりも長い時間とされている。 図 4 6の八に示すように、 光源の発光 時間と露光時間は、 同時間に設定されている。
[0348] 受光側で長時間露光や短時間露光を実現することは、 上記したように可能 である。 発光側の発光を制御することで、 長時間露光時の状態と短時間露光 時の状態を作り出すこともできる。 また発光部 1 4の発光時間は、 長時間露 光と短時間露光のときとで、 同一としても良いが、 短時間露光のときに、 発 光部 1 4の発光時間も短くすることで、 消費電力を低減することができる。
[0349] 図 4 6の巳は、 デューティ比で長時間露光時の状態と短時間露光時の状態 を作り出すときを示している。 図 4 6の巳の左図は、 長時間露光時の状態を 表し、 右図は、 短時間露光時の状態を表している。
[0350] 図 4 6の巳の下段に示したセンサ側の図を参照するに、 センサ側において は長時間露光と短時間露光で同一の露光時間とされている。 一方で、 図 4 6 の巳の上段に示した光源側の図を参照するに、 光源側においては長時間露光 時の状態を作り出すために、 デューティ比が 5 0 % （図中、 〇1^ =50%） とさ れ、 短時間露光時の状態を作り出すために、 デューティ比が 2 5 % （図中、 11士 =25%） とされている。
[0351 ] センサ側で光源の発光により発生した反射光のみを受光すると仮定した場 合、 センサが露光していても、 光源が発光していなければ受光されない。 図 4 6の巳に示した例では、 発光時間は、 長時間露光に該当する期間では、 デ ューティ比が 5 0 %であるのに対し、 短時間露光に該当する期間では、 半分 の 2 5 %に設定されている。
[0352] よって、 センサ側では、 長時間露光に該当する期間と短時間露光に該当す る期間で、 露光時間を同じにしたとしても、 実際に受光している時間は、 長 時間露光に該当する期間において受光している時間の半分程度の時間が、 短 時間露光に該当する期間において受光している時間となる。
[0353] よって、 発光側の発光時間を調整することで、 センサ側の露光時間を調整 〇 2020/175118 64 卩（：171? 2020 /005029
することができる。
[0354] 図 4 6の（3は、 発光側の発光強度を制御することで、 長時間露光時の状態 と短時間露光時の状態を作り出す場合を示している。 図 4 6の 0の左図は、 長時間露光時の状態を表し、 右図は、 短時間露光時の状態を表している。
[0355] 図 4 6の〇の下段に示したセンサ側の図を参照するに、 センサ側において は長時間露光と短時間露光で同一の露光時間とされている。 一方で、 図 4 6 の〇の上段に示した光源側の図を参照するに、 光源側においては長時間露光 時の状態を作り出すために、 光源強度が 1 0 0 %とされ、 短時間露光時の状 態を作り出すために、 光源強度が 5 0 %とされている。
[0356] センサ側で光源の発光により発生した反射光のみを受光すると仮定した場 合、 センサが露光していても、 光源が発光していなければ受光されない。 ま た光源の発光強度が強ければ、 単位時間当たりに受光される光量も増える。
[0357] 図 4 6の〇に示した例では、 発光時間は、 長時間露光に該当する期間では 、 発光強度が 1 0 0 %であるのに対し、 短時間露光に該当する期間では、 半 分の 5 0 %に設定されている。
[0358] よって、 センサ側では、 長時間露光に該当する期間と短時間露光に該当す る期間で、 露光時間を同じにしたとしても、 単位時間当たりに受光される光 量が異なり、 長時間露光に該当する期間において受光している時間の半分程 度の光量が、 短時間露光に該当する期間において受光している光量となる。
[0359] よって、 発光側の発光強度を調整することで、 センサ側の露光時間を調整 することができる。
[0360] このような長時間露光に該当する期間と短時間露光に該当する期間を作り 出す方法は、 上記した第 1乃至第 6の実施の形態のいずれとも組み合わせる ことができる。 一例として、 第 6の実施の形態と組み合わせ場合について説 明を加える。
[0361 ] 図 4 4に示した信号処理部 1 3の構成例を再度参照する。 図 4 6の を参 照して説明したセンサ側で露光時間を調整することで、 長時間露光に該当す る期間と短時間露光に該当する期間を作り出す場合、 通常モード制御部 5 0 〇 2020/175118 65 卩（：171? 2020 /005029
1 または高精度モード制御部 5 0 3は、 最適露光算出部 5 0 2から供給され る露光長で、 受光部 1 2の露光を制御するための制御信号を、 受光部 1 2に 対して出力する。
[0362] 通常モード制御部 5 0 1 または高精度モード制御部 5 0 3は、 高周波の照 射光を照射するときには、 発光部 1 4が高周波の照射光を照射するように制 御するための制御信号を、 発光制御部 1 5に対して出力し、 低周波の照射光 を照射するときには、 発光部 1 4が低周波の照射光を照射するように制御す るための制御信号を、 発光制御部 1 5に対して出力する。
[0363] 図 4 6の巳を参照して説明した光源側でデューティ比を調整することで、 長時間露光に該当する期間と短時間露光に該当する期間を作り出す場合、 通 常モード制御部 5 0 1 と高精度モード制御部 5 0 3は、 最適露光算出部 5 0 2から供給される露光長に対応するデューティ比を算出し、 そのデューティ 比で発光部 1 4の発光を制御するための制御信号を、 発光制御部 1 5に対し て出力する。
[0364] この場合、 最適露光算出部 5 0 2は、 最適なデューティ比を算出する最適 デューティ比算出部とし、 通常モード制御部 5 0 1 と高精度モード制御部 5 0 3は、 最適デューティ比算出部から供給されるデューティ比を、 発光制御 咅6 1 5に対して出力するようにしても良い。
[0365] また通常モード制御部 5 0 1 または高精度モード制御部 5 0 3は、 デュー ティ比の他に、 高周波の照射光を照射するときには、 発光部 1 4が高周波の 照射光を照射するように制御するための制御信号を、 発光制御部 1 5に対し て出力し、 低周波の照射光を照射するときには、 発光部 1 4が低周波の照射 光を照射するように制御するための制御信号を、 発光制御部 1 5に対して出 力する。
[0366] 図 4 6の（3を参照して説明した光源側で発光強度を調整することで、 長時 間露光に該当する期間と短時間露光に該当する期間を作り出す場合、 通常モ -ド制御部 5 0 1 と高精度モード制御部 5 0 3は、 最適露光算出部 5 0 2か ら供給される露光長に対応する発光強度を算出し、 その発光強度で発光部 1 〇 2020/175118 66 卩（：171? 2020 /005029
4の発光を制御するための制御信号を、 発光制御部 1 5に対して出力する。
[0367] この場合、 最適露光算出部 5 0 2は、 最適な発光強度を算出する最適発光 強度算出部とし、 通常モード制御部 5 0 1 と高精度モード制御部 5 0 3は、 最適発光強度算出部から供給される発光強度を、 発光制御部 1 5に対して出 力するようにしても良い。
[0368] また通常モード制御部 5 0 1 または高精度モード制御部 5 0 3は、 発光強 度の他に、 高周波の照射光を照射するときには、 発光部 1 4が高周波の照射 光を照射するように制御するための制御信号を、 発光制御部 1 5に対して出 力し、 低周波の照射光を照射するときには、 発光部 1 4が低周波の照射光を 照射するように制御するための制御信号を、 発光制御部 1 5に対して出力す る。
[0369] このように、 通常モード制御部 5 0 1 または高精度モード制御部 5 0 3に より、 受光側の露光時間を調整する、 光源側のデューティ比を調整する、 ま たは光源側の発光強度を調整することで、 長時間露光に該当する期間と短時 間露光に該当する期間を作り出すことができる。
[0370] 上述したように、 検出期間〇〇乃至〇3 （例えば、 図 1 6） において、 検 出信号八 0乃至八 2 7 0と検出信号巳 0乃至巳 2 7 0が取得される。 これら の検出信号が、 発光側の発光のタイミングを〇度、 9 0度、 1 8 0度、 2 7 0度の位相差分ずらして取得される場合、 図 4 6の巳を参照して説明した場 合を適用し、 位相差とデューティ比が制御されることで、 発光が行われるよ うにしても良い。
[0371 ] これらの検出信号が、 発光側の発光のタイミングを 0度、 9 0度、 1 8 0 度、 2 7 0度の位相差分ずらして取得される場合、 図 4 6の（3を参照して説 明した場合を適用し、 位相差と発光強度が制御されることで、 発光が行われ るようにしても良い。
[0372] これらの検出信号が、 受光側の受光開始のタイミングを 0度、 9 0度、 1
8 0度、 2 7 0度の位相差分ずらして取得される場合、 図 4 6の を参照し て説明した場合を適用し、 位相差と露光時間が制御されることで、 受光が行 われるようにしても良い。
[0373] 本技術によれば、 測距可能距離を延ばした測距を行うことができる。 また 本技術によれば、 ダイナミックレンジを向上させた測距を行うことが可能と なる。 また、 本技術によれば、 測距可能距離を延ばし、 ダイナミックレンジ を向上させた測距を行った場合であっても、 撮像にかかる時間や処理にかか る時間を短縮し、 処理負荷を低減させることができる。
[0374] また本技術によれば、 処理するフレーム数を低減することができるため、 動被写体耐性を向上させ、 より多くのフレームを取得することが可能となる ため、 より高速な撮影 (測距) が可能となる。
[0375] <記録媒体について >
上述した一連の処理は、 ハードウェアにより実行することもできるし、 ソ フトウェアにより実行することもできる。 一連の処理をソフトウェアにより 実行する場合には、 そのソフトウェアを構成するプログラムが、 コンピュー 夕にインストールされる。 ここで、 コンビュータには、 専用のハードウェア に組み込まれているコンビュータや、 各種のプログラムをインストールする ことで、 各種の機能を実行することが可能な、 例えば汎用のパーソナルコン ピュータなどが含まれる。
[0376] 図 47は、 上述した一連の処理をプログラムにより実行するコンビュータ のハードウェアの構成例を示すブロック図である。 コンビュータにおいて、 C P U (Central Process ing Unit) 1 001、 ROM (Read Only Memory) 1 002、 RAM (Random Access Memory) 1 003は、 バス 1 004によ り相互に接続されている。 バス 1 004には、 さらに、 入出カインタフェー ス 1 005が接続されている。 入出カインタフェース 1 005には、 入力部 1 006、 出力部 1 007、 記憶部 1 008、 通信部 1 009、 及びドライ ブ 1 01 0が接続されている。
[0377] 入力部 1 006は、 キーボード、 マウス、 マイクロフォンなどよりなる。
出力部 1 007は、 ディスプレイ、 スピーカなどよりなる。 記憶部 1 008 は、 ハードディスクや不揮発性のメモリなどよりなる。 通信部 1 009は、 ネッ トワークインタフエースなどよりなる。 ドライブ 1 0 1 0は、 磁気ディ スク、 光ディスク、 光磁気ディスク、 又は半導体メモリなどのリムーバブル メディア 1 0 1 1 を駆動する。
[0378] 以上のように構成されるコンビユータでは、 C P U 1 0 0 1が、 例えば、 記憶部 1 0 0 8に記憶されているプログラムを、 入出カインタフエース 1 0 0 5及びバス 1 0 0 4を介して、 R A M 1 0 0 3に口ードして実行すること により、 上述した一連の処理が行われる。
[0379] コンビユータ （C P U 1 0 0 1） が実行するプログラムは、 例えば、 パッ ケージメディア等としてのリムーバブルメディア 1 0 1 1 に記録して提供す ることができる。 また、 プログラムは、 口ーカルエリアネッ トワーク、 イン 夕ーネッ ト、 デジタル衛星放送といった、 有線または無線の伝送媒体を介し て提供することができる。
[0380] コンビユータでは、 プログラムは、 リムーバブルメディア 1 0 1 1 をドラ イブ 1 0 1 0に装着することにより、 入出カインタフエース 1 0 0 5を介し て、 記憶部 1 0 0 8にインストールすることができる。 また、 プログラムは 、 有線または無線の伝送媒体を介して、 通信部 1 〇〇 9で受信し、 記憶部 1 0 0 8にインストールすることができる。 その他、 プログラムは、 R O M 1 0 0 2や記憶部 1 0 0 8に、 予めインストールしておくことができる。
[0381 ] なお、 コンビユータが実行するプログラムは、 本明細書で説明する順序に 沿って時系列に処理が行われるプログラムであっても良いし、 並列に、 ある いは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログ ラムであっても良い。
[0382] <移動体への応用例 >
本開示に係る技術 （本技術） は、 様々な製品へ応用することができる。 例 えば、 本開示に係る技術は、 自動車、 電気自動車、 ハイブリッ ド電気自動車 、 自動二輪車、 自転車、 パーソナルモビリティ、 飛行機、 ドローン、 船舶、 ロボッ ト等のいずれかの種類の移動体に搭載される装置として実現されても よい。 [0383] 図 4 8は、 本開示に係る技術が適用され得る移動体制御システムの一例で ある車両制御システムの概略的な構成例を示すブロック図である。
[0384] 車両制御システム 1 2 0 0 0は、 通信ネッ トヮーク 1 2 0 0 1 を介して接 続された複数の電子制御ユニッ トを備える。 図 4 8に示した例では、 車両制 御システム 1 2 0 0 0は、 駆動系制御ユニッ ト 1 2 0 1 0、 ボディ系制御ユ ニッ ト 1 2 0 2 0、 車外情報検出ュニッ ト 1 2 0 3 0、 車内情報検出ュニッ 卜 1 2 0 4 0、 及び統合制御ユニッ ト 1 2 0 5 0を備える。 また、 統合制御 ユニッ ト 1 2 0 5 0の機能構成として、 マイクロコンピュータ 1 2 0 5 1、 音声画像出力部 1 2 0 5 2、 及び車載ネッ トヮーク 丨 / F (Interface) 1 2 0 5 3が図示されている。
[0385] 駆動系制御ユニッ ト 1 2 0 1 0は、 各種プログラムにしたがって車両の駆 動系に関連する装置の動作を制御する。 例えば、 駆動系制御ユニッ ト 1 2 0 1 〇は、 内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆 動力発生装置、 駆動力を車輪に伝達するための駆動力伝達機構、 車両の舵角 を調節するステアリング機構、 及び、 車両の制動力を発生させる制動装置等 の制御装置として機能する。
[0386] ボディ系制御ユニッ ト 1 2 0 2 0は、 各種プログラムにしたがって車体に 装備された各種装置の動作を制御する。 例えば、 ボディ系制御ユニッ ト 1 2 0 2 0は、 キーレスエントリシステム、 スマートキーシステム、 パワーウイ ンドウ装置、 あるいは、 ヘッ ドランプ、 バックランプ、 ブレーキランプ、 ウ ィンカー又はフォグランプ等の各種ランプの制御装置として機能する。 この 場合、 ボディ系制御ユニッ ト 1 2 0 2 0には、 鍵を代替する携帯機から発信 される電波又は各種スイッチの信号が入力され得る。 ボディ系制御ユニッ ト 1 2 0 2 0は、 これらの電波又は信号の入力を受け付け、 車両のドアロック 装置、 パヮーウィンドウ装置、 ランプ等を制御する。
[0387] 車外情報検出ユニッ ト 1 2 0 3 0は、 車両制御システム 1 2 0 0 0を搭載 した車両の外部の情報を検出する。 例えば、 車外情報検出ユニッ ト 1 2 0 3 〇には、 撮像部 1 2 0 3 1が接続される。 車外情報検出ユニッ ト 1 2 0 3 0 は、 撮像部 1 2 0 3 1 に車外の画像を撮像させるとともに、 撮像された画像 を受信する。 車外情報検出ユニッ ト 1 2 0 3 0は、 受信した画像に基づいて 、 人、 車、 障害物、 標識又は路面上の文字等の物体検出処理又は距離検出処 理を行ってもよい。
[0388] 撮像部 1 2 0 3 1は、 光を受光し、 その光の受光量に応じた電気信号を出 力する光センサである。 撮像部 1 2 0 3 1は、 電気信号を画像として出力す ることもできるし、 測距の情報として出力することもできる。 また、 撮像部 1 2 0 3 1が受光する光は、 可視光であっても良いし、 赤外線等の非可視光 であっても良い。
[0389] 車内情報検出ユニッ ト 1 2 0 4 0は、 車内の情報を検出する。 車内情報検 出ユニッ ト 1 2 0 4 0には、 例えば、 運転者の状態を検出する運転者状態検 出部 1 2 0 4 1が接続される。 運転者状態検出部 1 2 0 4 1は、 例えば運転 者を撮像するカメラを含み、 車内情報検出ユニッ ト 1 2 0 4 0は、 運転者状 態検出部 1 2 0 4 1から入力される検出情報に基づいて、 運転者の疲労度合 い又は集中度合いを算出してもよいし、 運転者が居眠りをしていないかを判 別してもよい。
[0390] マイクロコンビュータ 1 2 0 5 1は、 車外情報検出ユニッ ト 1 2 0 3 0又 は車内情報検出ユニッ ト 1 2 0 4 0で取得される車内外の情報に基づいて、 駆動力発生装置、 ステアリング機構又は制動装置の制御目標値を演算し、 駆 動系制御ユニッ ト 1 2 0 1 0に対して制御指令を出力することができる。 例 えば、 マイクロコンビュータ 1 2 0 5 1は、 車両の衝突回避あるいは衝撃緩 和、 車間距離に基づく追従走行、 車速維持走行、 車両の衝突警告、 又は車両 のレーン逸脱警告等を含む A D A S (Advanced Dr i ver Ass i stance System) の機能実現を目的とした協調制御を行うことができる。
[0391 ] また、 マイクロコンビュータ 1 2 0 5 1は、 車外情報検出ユニッ ト 1 2 0
3 0又は車内情報検出ユニッ ト 1 2 0 4 0で取得される車両の周囲の情報に 基づいて駆動力発生装置、 ステアリング機構又は制動装置等を制御すること により、 運転者の操作に拠らずに自律的に走行する自動運転等を目的とした 〇 2020/175118 71 卩（：171? 2020 /005029
協調制御を行うことができる。
[0392] また、 マイクロコンビュータ 1 205 1は、 車外情報検出ユニッ ト 1 20
30で取得される車外の情報に基づいて、 ボディ系制御ユニッ ト 1 2030 に対して制御指令を出力することができる。 例えば、 マイクロコンピュータ 1 205 1は、 車外情報検出ユニッ ト 1 2030で検知した先行車又は対向 車の位置に応じてへッ ドランプを制御し、 ハイビームを口ービームに切り替 える等の防眩を図ることを目的とした協調制御を行うことができる。
[0393] 音声画像出力部 1 2052は、 車両の搭乗者又は車外に対して、 視覚的又 は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少 なくとも一方の出力信号を送信する。 図 48の例では、 出力装置として、 才 -ディオスピーカ 1 206 1、 表示部 1 2062及びインストルメントパネ ル 1 2063が例示されている。 表示部 1 2062は、 例えば、 オンボード ディスプレイ及びへッ ドアップディスプレイの少なくとも一つを含んでいて もよい。
[0394] 図 49は、 撮像部 1 203 1の設置位置の例を示す図である。
[0395] 図 49では、 撮像部 1 203 1 として、 撮像部 1 2 1 01、 1 2 1 02、
1 2 1 03、 1 2 1 04、 1 2 1 05を有する。
[0396] 撮像部 1 2 1 01、 1 2 1 02、 1 2 1 03、 1 2 1 04、 1 2 1 05は 、 例えば、 車両 1 2 1 00のフロントノーズ、 サイ ドミラー、 リアバンパ、 バックドア及び車室内のフロントガラスの上部等の位置に設けられる。 フロ ントノーズに備えられる撮像部 1 2 1 01及び車室内のフロントガラスの上 部に備えられる撮像部 1 2 1 05は、 主として車両 1 2 1 00の前方の画像 を取得する。 サイ ドミラーに備えられる撮像部 1 2 1 02、 1 2 1 03は、 主として車両 1 2 1 00の側方の画像を取得する。 リアバンパ又はバックド アに備えられる撮像部 1 2 1 04は、 主として車両 1 2 1 00の後方の画像 を取得する。 車室内のフロントガラスの上部に備えられる撮像部 1 2 1 05 は、 主として先行車両又は、 歩行者、 障害物、 信号機、 交通標識又は車線等 の検出に用いられる。 〇 2020/175118 72 卩（：171? 2020 /005029
[0397] なお、 図 4 9には、 撮像部 1 2 1 0 1ないし 1 2 1 0 4の撮影範囲の一例 が示されている。 撮像範囲 1 2 1 1 1は、 フロントノーズに設けられた撮像 部 1 2 1 0 1の撮像範囲を示し、 撮像範囲 1 2 1 1 2 , 1 2 1 1 3は、 それ それサイ ドミラーに設けられた撮像部 1 2 1 0 2 , 1 2 1 0 3の撮像範囲を 示し、 撮像範囲 1 2 1 1 4は、 リアバンパ又はバックドアに設けられた撮像 部 1 2 1 0 4の撮像範囲を示す。 例えば、 撮像部 1 2 1 0 1ないし 1 2 1 0 4で撮像された画像データが重ね合わせられることにより、 車両 1 2 1 0 0 を上方から見た俯瞰画像が得られる。
[0398] 撮像部 1 2 1 0 1ないし 1 2 1 0 4の少なくとも 1つは、 距離情報を取得 する機能を有していてもよい。 例えば、 撮像部 1 2 1 0 1ないし 1 2 1 0 4 の少なくとも 1つは、 複数の撮像素子からなるステレオカメラであってもよ いし、 位相差検出用の画素を有する撮像素子であってもよい。
[0399] 例えば、 マイクロコンビュータ 1 2 0 5 1は、 撮像部 1 2 1 0 1ないし 1
2 1 0 4から得られた距離情報を基に、 撮像範囲 1 2 1 1 1ないし 1 2 1 1 4内における各立体物までの距離と、 この距離の時間的変化 （車両 1 2 1 0 0に対する相対速度） を求めることにより、 特に車両 1 2 1 0 0の進行路上 にある最も近い立体物で、 車両 1 2 1 0 0と略同じ方向に所定の速度 （例え ば、 0 /11以上） で走行する立体物を先行車として抽出することができる。 さらに、 マイクロコンビュータ 1 2 0 5 1は、 先行車の手前に予め確保すベ き車間距離を設定し、 自動ブレーキ制御 （追従停止制御も含む） や自動加速 制御 （追従発進制御も含む） 等を行うことができる。 このように運転者の操 作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うこと ができる。
[0400] 例えば、 マイクロコンビュータ 1 2 0 5 1は、 撮像部 1 2 1 0 1ないし 1
2 1 0 4から得られた距離情報を元に、 立体物に関する立体物データを、 2 輪車、 普通車両、 大型車両、 歩行者、 電柱等その他の立体物に分類して抽出 し、 障害物の自動回避に用いることができる。 例えば、 マイクロコンピュー 夕 1 2 0 5 1は、 車両 1 2 1 0 0の周辺の障害物を、 車両 1 2 1 0 0のドラ 〇 2020/175118 73 卩（：171? 2020 /005029
イバが視認可能な障害物と視認困難な障害物とに識別する。 そして、 マイク ロコンピュータ 1 2 0 5 1は、 各障害物との衝突の危険度を示す衝突リスク を判断し、 衝突リスクが設定値以上で衝突可能性がある状況であるときには 、 才ーデイオスピーカ 1 2 0 6 1や表示部 1 2 0 6 2を介してドライバに警 報を出力することや、 駆動系制御ュニツ ト 1 2 0 1 0を介して強制減速や回 避操舵を行うことで、 衝突回避のための運転支援を行うことができる。
[0401 ] 撮像部 1 2 1 0 1ないし 1 2 1 0 4の少なくとも 1つは、 赤外線を検出す る赤外線カメラであってもよい。 例えば、 マイクロコンピュータ】 2 0 5 1 は、 撮像部 1 2 1 0 1ないし 1 2 1 0 4の撮像画像中に歩行者が存在するか 否かを判定することで歩行者を認識することができる。 かかる歩行者の認識 は、 例えば赤外線カメラとしての撮像部 1 2 1 0 1ないし 1 2 1 0 4の撮像 画像における特徴点を抽出する手順と、 物体の輪郭を示す一連の特徴点にパ ターンマツチング処理を行って歩行者か否かを判別する手順によって行われ る。 マイクロコンピュータ 1 2 0 5 1が、 撮像部 1 2 1 0 1ないし 1 2 1 0 4の撮像画像中に歩行者が存在すると判定し、 歩行者を認識すると、 音声画 像出力部 1 2 0 5 2は、 当該認識された歩行者に強調のための方形輪郭線を 重畳表示するように、 表示部 1 2 0 6 2を制御する。 また、 音声画像出力部 1 2 0 5 2は、 歩行者を示すアイコン等を所望の位置に表示するように表示 部 1 2 0 6 2を制御してもよい。
[0402] 本明細書において、 システムとは、 複数の装置により構成される装置全体 を表すものである。
[0403] なお、 本明細書に記載された効果はあくまで例示であって限定されるもの ではなく、 また他の効果があってもよい。
[0404] なお、 本技術の実施の形態は、 上述した実施の形態に限定されるものでは なく、 本技術の要旨を逸脱しない範囲において種々の変更が可能である。
[0405] なお、 本技術は以下のような構成も取ることができる。
( 1 )
照射光を発光する発光部と、 〇 2020/175118 74 卩（：171? 2020 /005029
前記照射光が対象物において反射した反射光を受光する受光部と、 前記照射光の発光から前記反射光の受光までの時間に基づいて、 前記対象 物までの距離を算出する算出部と、
前記発光部と前記受光部を制御する制御部と
を備え、
前記制御部は、
前記発光部を第 1の周波数で発光させ、 前記受光部を第 1の露光時間で露 光させる第 1の撮像と、
前記発光部を第 2の周波数で発光させ、 前記受光部を前記第 1の露光時間 で露光させる第 2の撮像と、
を制御する第 1のモードと、
前記第 1の撮像と、
前記第 2の撮像と、
前記発光部を第 1の周波数で発光させ、 前記受光部を第 2の露光時間で露 光させる第 3の撮像と、
を制御する第 2のモードと、
を切り替えて制御し、
前記算出部は、
前記第 1のモードのときは、 前記第 1の撮像で得られた第 1の信号と前記 第 2の撮像で得られた第 2の信号を用いて前記距離を算出し、
前記第 2のモードのときは、 前記第 1の信号、 前記第 2の信号、 および前 記第 3の撮像で得られた第 3の信号を用いて前記距離を算出する
測距装置。
( 2 )
前記第 1の周波数は、 前記第 2の周波数よりも高い周波数である 前記 ( 1 ) に記載の測距装置。
( 3 )
前記第 1の露光時間は、 前記第 2の露光時間よりも長い 〇 2020/175118 75 卩（：171? 2020 /005029
前記 （ 1 ） または （2） に記載の測距装置。
（4）
所定のトリガーが入力されたとき、 前記第 1 のモードから前記第 2のモー ドに切り替える
前記 （ 1 ） 乃至 （3） のいずれかに記載の測距装置。
（5）
前記所定のトリガーは、 シャツタボタンが操作されときである
前記 （4） に記載の測距装置。
（6）
所定のシーンであると判定されたとき、 前記第 1 のモードから前記第 2の モードに切り替える
前記 （ 1 ） 乃至 （3） のいずれかに記載の測距装置。
（7）
前記所定のシーンは、 顔が撮像されていると判定されたときである 前記 （6） に記載の測距装置。
（8）
前記第 1 のモードのときの前記第 1 の露光時間は、 八巳 （八111；011131；_1 0 巳乂卩〇 で設定される
前記 （ 1 ） 乃至 （7） のいずれかに記載の測距装置。
（9）
前記算出部は、
前記第 2のモードのとき、
前記第 1 の撮像で得られた第 1 の画像と前記第 3の撮像で得られた第 3の 画像から、 広ダイナミックレンジ画像を生成し、
前記広ダイナミックレンジ画像と、 前記第 2の撮像で得られた第 2の画像 を用いて前記距離を算出する
前記 （ 1 ） 乃至 （8） のいずれかに記載の測距装置。
（1 0） 20/175118 76 卩（：171? 2020 /005029
前記広ダイナミックレンジ画像は、 前記第 1の画像が飽和していない場合 、 前記 1の画像を用い、 前記第 1の画像が飽和している場合、 前記第 3の画 像を用いることで生成される
前記 （9） に記載の測距装置。
（1 1）
前記制御部は、
前記第 2のモードのとき、
前記発光部を前記第 2の周波数で発光させ、 前記受光部を前記第 2の露光 時間で露光させる第 4の撮像をさらに制御する
前記 （1） 乃至 （1 0） のいずれかに記載の測距装置。
（1 2）
前記算出部は、
前記第 2のモードのとき、
前記第 1の撮像で得られた第 1の画像と前記第 3の撮像で得られた第 3の 画像から、 第 1の広ダイナミックレンジ画像を生成し、
前記第 2の撮像で得られた第 2の画像と前記第 4の撮像で得られた第 4の 画像から、 第 2の広ダイナミックレンジ画像を生成し、
前記第 1の広ダイナミックレンジ画像と前記第 2の広ダイナミックレンジ 画像を用いて前記距離を算出する
前記 （ 1 1） に記載の測距装置。
（1 3）
測距を行う測距装置が、
照射光を発光する発光部と、
前記照射光が対象物において反射した反射光を受光する受光部と、 前記照射光の発光から前記反射光の受光までの時間に基づいて、 前記対象 物までの距離を算出する算出部と、
前記発光部と前記受光部を制御する制御部と
を備え、 〇 2020/175118 77 卩(：171? 2020 /005029
前記制御部が、
前記発光部を第 1の周波数で発光させ、 前記受光部を第 1の露光時間で露 光させる第 1の撮像と、
前記発光部を第 2の周波数で発光させ、 前記受光部を前記第 1の露光時間 で露光させる第 2の撮像と、
を制御する第 1のモードと、
前記第 1の撮像と、
前記第 2の撮像と、
前記発光部を第 1の周波数で発光させ、 前記受光部を第 2の露光時間で露 光させる第 3の撮像と、
を制御する第 2のモードと、
を切り替えて制御し、
前記算出部が、
前記第 1のモードのときは、 前記第 1の撮像で得られた第 1の信号と前記 第 2の撮像で得られた第 2の信号を用いて前記距離を算出し、
前記第 2のモードのときは、 前記第 1の信号、 前記第 2の信号、 および前 記第 3の撮像で得られた第 3の信号を用いて前記距離を算出する
測距方法。
( 1 4 )
照射光を発光する発光部と、
前記照射光が対象物において反射した反射光を受光する受光部と、 前記照射光の発光から前記反射光の受光までの時間に基づいて、 前記対象 物までの距離を算出する算出部と、
前記発光部と前記受光部を制御する制御部と
を備える測距装置のコンピュータに、
前記制御部が、
前記発光部を第 1の周波数で発光させ、 前記受光部を第 1の露光時間で露 光させる第 1の撮像と、 〇 2020/175118 78 卩(：171? 2020 /005029
前記発光部を第 2の周波数で発光させ、 前記受光部を前記第 1の露光時間 で露光させる第 2の撮像と、
を制御する第 1のモードと、
前記第 1の撮像と、
前記第 2の撮像と、
前記発光部を第 1の周波数で発光させ、 前記受光部を第 2の露光時間で露 光させる第 3の撮像と、
を制御する第 2のモードと、
を切り替えて制御し、
前記算出部が、
前記第 1のモードのときは、 前記第 1の撮像で得られた第 1の信号と前記 第 2の撮像で得られた第 2の信号を用いて前記距離を算出し、
前記第 2のモードのときは、 前記第 1の信号、 前記第 2の信号、 および前 記第 3の撮像で得られた第 3の信号を用いて前記距離を算出する
ステップを含む処理を実行させるためのプログラム。
( 1 5 )
照射光を発光する発光部と、
前記照射光が対象物において反射した反射光を受光する受光部と、 前記照射光の発光から前記反射光の受光までの時間に基づいて、 前記対象 物までの距離を算出する算出部と、
前記発光部と前記受光部を制御する制御部と
を備え、
前記制御部は、
前記発光部を第 1の周波数で発光させ、 かつ第 1のデューティ比で発光さ せる第 1の撮像と、
前記発光部を第 2の周波数で発光させ、 かつ前記第 1のデューティ比で発 光させる第 2の撮像と、
を制御する第 1のモードと、 〇 2020/175118 79 卩（：171? 2020 /005029
前記第 1の撮像と、
前記第 2の撮像と、
前記発光部を第 1の周波数で発光させ、 かつ前記第 1のデューティ比より も小さい第 2のデューティ比で発光させる第 3の撮像と、
を制御する第 2のモードと、
を切り替えて制御し、
前記算出部は、
前記第 1のモードのときは、 前記第 1の撮像で得られた第 1の信号と前記 第 2の撮像で得られた第 2の信号を用いて前記距離を算出し、
前記第 2のモードのときは、 前記第 1の信号、 前記第 2の信号、 および前 記第 3の撮像で得られた第 3の信号を用いて前記距離を算出する
測距装置。
( 1 6 )
測距を行う測距装置が、
照射光を発光する発光部と、
前記照射光が対象物において反射した反射光を受光する受光部と、 前記照射光の発光から前記反射光の受光までの時間に基づいて、 前記対象 物までの距離を算出する算出部と、
前記発光部と前記受光部を制御する制御部と
を備え、
前記制御部が、
前記発光部を第 1の周波数で発光させ、 かつ第 1のデューティ比で発光さ せる第 1の撮像と、
前記発光部を第 2の周波数で発光させ、 かつ前記第 1のデューティ比で発 光させる第 2の撮像と、
を制御する第 1のモードと、
前記第 1の撮像と、
前記第 2の撮像と、 〇 2020/175118 80 卩（：171? 2020 /005029
前記発光部を第 1の周波数で発光させ、 かつ前記第 1のデューティ比より も小さい第 2のデューティ比で発光させる第 3の撮像と、
を制御する第 2のモードと、
を切り替えて制御し、
前記算出部が、
前記第 1のモードのときは、 前記第 1の撮像で得られた第 1の信号と前記 第 2の撮像で得られた第 2の信号を用いて前記距離を算出し、
前記第 2のモードのときは、 前記第 1の信号、 前記第 2の信号、 および前 記第 3の撮像で得られた第 3の信号を用いて前記距離を算出する
測距方法。
( 1 7 )
照射光を発光する発光部と、
前記照射光が対象物において反射した反射光を受光する受光部と、 前記照射光の発光から前記反射光の受光までの時間に基づいて、 前記対象 物までの距離を算出する算出部と、
前記発光部と前記受光部を制御する制御部と
を備え、
前記制御部は、
前記発光部を第 1の周波数で発光させ、 かつ第 1の発光強度で発光させる 第 1の撮像と、
前記発光部を第 2の周波数で発光させ、 かつ前記第 1の発光強度で発光さ せる第 2の撮像と、
を制御する第 1のモードと、
前記第 1の撮像と、
前記第 2の撮像と、
前記発光部を第 1の周波数で発光させ、 かつ前記第 1の発光強度よりも弱 い第 2の発光強度で発光させる第 3の撮像と、
を制御する第 2のモードと、 〇 2020/175118 81 卩（：171? 2020 /005029
を切り替えて制御し、
前記算出部は、
前記第 1のモードのときは、 前記第 1の撮像で得られた第 1の信号と前記 第 2の撮像で得られた第 2の信号を用いて前記距離を算出し、
前記第 2のモードのときは、 前記第 1の信号、 前記第 2の信号、 および前 記第 3の撮像で得られた第 3の信号を用いて前記距離を算出する
測距装置。
( 1 8 )
測距を行う測距装置が、
照射光を発光する発光部と、
前記照射光が対象物において反射した反射光を受光する受光部と、 前記照射光の発光から前記反射光の受光までの時間に基づいて、 前記対象 物までの距離を算出する算出部と、
前記発光部と前記受光部を制御する制御部と
を備え、
前記制御部が、
前記発光部を第 1の周波数で発光させ、 かつ第 1の発光強度で発光させる 第 1の撮像と、
前記発光部を第 2の周波数で発光させ、 かつ前記第 1の発光強度で発光さ せる第 2の撮像と、
を制御する第 1のモードと、
前記第 1の撮像と、
前記第 2の撮像と、
前記発光部を第 1の周波数で発光させ、 かつ前記第 1の発光強度よりも弱 い第 2の発光強度で発光させる第 3の撮像と、
を制御する第 2のモードと、
を切り替えて制御し、
前記算出部が、 〇 2020/175118 82 卩（：171? 2020 /005029
前記第 1のモードのときは、 前記第 1の撮像で得られた第 1の信号と前記 第 2の撮像で得られた第 2の信号を用いて前記距離を算出し、
前記第 2のモードのときは、 前記第 1の信号、 前記第 2の信号、 および前 記第 3の撮像で得られた第 3の信号を用いて前記距離を算出する
測距方法。
符号の説明
[0406] 1 0 測距装置， 1 1 レンズ， 1 2 受光部， 1 3 信号処理部 , 1 4 発光部， 1 5 発光制御部， 3 1 フォトダイオード， 4
1 画素アレイ部， 42 垂直駆動部， 43 カラム処理部， 44 水平駆動部， 45 システム制御部， 46 画素駆動線， 47 垂直 信号線， 48 信号処理部， 50 画素， 5 1タップ， 6 1 フォ トダイオード， 62 転送トランジスタ， 63 〇部， 64 選択 トランジスタ， 65 リセッ トトランジスタ， 1 01 統合処理部， 201
Figure imgf000084_0001
合成部， 301
Figure imgf000084_0002
合成部， 302 統合処理部，
501 通常モード制御部， 502 最適露光算出部， 503 高精 度モード制御部， 504 モード切替部， 505
Figure imgf000084_0003
合成部， 5
06 統合処理部， 55 1
Figure imgf000084_0004
センサ， 56 1 マッピング部，
562 エフェクト咅1 601 シーン判定部

Claims

\¥02020/175118 83 卩（：17 2020/005029 請求の範囲
[請求項 1 ] 照射光を発光する発光部と、
前記照射光が対象物において反射した反射光を受光する受光部と、 前記照射光の発光から前記反射光の受光までの時間に基づいて、 前 記対象物までの距離を算出する算出部と、
前記発光部と前記受光部を制御する制御部と
を備え、
前記制御部は、
前記発光部を第 1の周波数で発光させ、 前記受光部を第 1の露光時 間で露光させる第 1の撮像と、
前記発光部を第 2の周波数で発光させ、 前記受光部を前記第 1の露 光時間で露光させる第 2の撮像と、
を制御する第 1のモードと、
前記第 1の撮像と、
前記第 2の撮像と、
前記発光部を第 1の周波数で発光させ、 前記受光部を第 2の露光時 間で露光させる第 3の撮像と、
を制御する第 2のモードと、
を切り替えて制御し、
前記算出部は、
前記第 1のモードのときは、 前記第 1の撮像で得られた第 1の信号 と前記第 2の撮像で得られた第 2の信号を用いて前記距離を算出し、 前記第 2のモードのときは、 前記第 1の信号、 前記第 2の信号、 お よび前記第 3の撮像で得られた第 3の信号を用いて前記距離を算出す る
測距装置。
[請求項 2] 前記第 1の周波数は、 前記第 2の周波数よりも高い周波数である 請求項 1 に記載の測距装置。
[請求項 3] 前記第 1の露光時間は、 前記第 2の露光時間よりも長い 請求項 1 に記載の測距装置。
[請求項 4] 所定のトリガーが入力されたとき、 前記第 1のモードから前記第 2 のモードに切り替える
請求項 1 に記載の測距装置。
[請求項 5] 前記所定のトリガーは、 シャッタボタンが操作されときである
請求項 4に記載の測距装置。
[請求項 6] 所定のシーンであると判定されたとき、 前記第 1のモードから前記 第 2のモードに切り替える
請求項 1 に記載の測距装置。
[請求項 7] 前記所定のシーンは、 顔が撮像されていると判定されたときである 請求項 6に記載の測距装置。
[請求項 8] 前記第 1のモードのときの前記第 1の露光時間は、 A E (Automat i c Exposure) で設定される
請求項 1 に記載の測距装置。
[請求項 9] 前記算出部は、
前記第 2のモードのとき、
前記第 1の撮像で得られた第 1の画像と前記第 3の撮像で得られた 第 3の画像から、 広ダイナミックレンジ画像を生成し、 前記広ダイナミックレンジ画像と、 前記第 2の撮像で得られた第 2 の画像を用いて前記距離を算出する
請求項 1 に記載の測距装置。
[請求項 10] 前記広ダイナミックレンジ画像は、 前記第 1の画像が飽和していな い場合、 前記 1の画像を用い、 前記第 1の画像が飽和している場合、 前記第 3の画像を用いることで生成される
請求項 9に記載の測距装置。
[請求項 1 1 ] 前記制御部は、
前記第 2のモードのとき、 〇 2020/175118 85 卩（：171? 2020 /005029
前記発光部を前記第 2の周波数で発光させ、 前記受光部を前記第 2 の露光時間で露光させる第 4の撮像をさらに制御する 請求項 1 に記載の測距装置。
[請求項 12] 前記算出部は、
前記第 2のモードのとき、
前記第 1の撮像で得られた第 1の画像と前記第 3の撮像で得られた 第 3の画像から、 第 1の広ダイナミックレンジ画像を生成し、 前記第 2の撮像で得られた第 2の画像と前記第 4の撮像で得られた 第 4の画像から、 第 2の広ダイナミックレンジ画像を生成し、 前記第 1の広ダイナミックレンジ画像と前記第 2の広ダイナミック レンジ画像を用いて前記距離を算出する
請求項 1 1 に記載の測距装置。
[請求項 13] 測距を行う測距装置が、
照射光を発光する発光部と、
前記照射光が対象物において反射した反射光を受光する受光部と、 前記照射光の発光から前記反射光の受光までの時間に基づいて、 前 記対象物までの距離を算出する算出部と、
前記発光部と前記受光部を制御する制御部と
を備え、
前記制御部が、
前記発光部を第 1の周波数で発光させ、 前記受光部を第 1の露光時 間で露光させる第 1の撮像と、
前記発光部を第 2の周波数で発光させ、 前記受光部を前記第 1の露 光時間で露光させる第 2の撮像と、
を制御する第 1のモードと、
前記第 1の撮像と、
前記第 2の撮像と、
前記発光部を第 1の周波数で発光させ、 前記受光部を第 2の露光時 〇 2020/175118 86 卩（：171? 2020 /005029
間で露光させる第 3の撮像と、
を制御する第 2のモードと、
を切り替えて制御し、
前記算出部が、
前記第 1のモードのときは、 前記第 1の撮像で得られた第 1の信号 と前記第 2の撮像で得られた第 2の信号を用いて前記距離を算出し、 前記第 2のモードのときは、 前記第 1の信号、 前記第 2の信号、 お よび前記第 3の撮像で得られた第 3の信号を用いて前記距離を算出す る
測距方法。
[請求項 14] 照射光を発光する発光部と、
前記照射光が対象物において反射した反射光を受光する受光部と、 前記照射光の発光から前記反射光の受光までの時間に基づいて、 前 記対象物までの距離を算出する算出部と、
前記発光部と前記受光部を制御する制御部と
を備える測距装置のコンピュータに、
前記制御部が、
前記発光部を第 1の周波数で発光させ、 前記受光部を第 1の露光時 間で露光させる第 1の撮像と、
前記発光部を第 2の周波数で発光させ、 前記受光部を前記第 1の露 光時間で露光させる第 2の撮像と、
を制御する第 1のモードと、
前記第 1の撮像と、
前記第 2の撮像と、
前記発光部を第 1の周波数で発光させ、 前記受光部を第 2の露光時 間で露光させる第 3の撮像と、
を制御する第 2のモードと、
を切り替えて制御し、 〇 2020/175118 87 卩（：171? 2020 /005029
前記算出部が、
前記第 1のモードのときは、 前記第 1の撮像で得られた第 1の信号 と前記第 2の撮像で得られた第 2の信号を用いて前記距離を算出し、 前記第 2のモードのときは、 前記第 1の信号、 前記第 2の信号、 お よび前記第 3の撮像で得られた第 3の信号を用いて前記距離を算出す る
ステップを含む処理を実行させるためのプログラム。
[請求項 15] 照射光を発光する発光部と、
前記照射光が対象物において反射した反射光を受光する受光部と、 前記照射光の発光から前記反射光の受光までの時間に基づいて、 前 記対象物までの距離を算出する算出部と、
前記発光部と前記受光部を制御する制御部と
を備え、
前記制御部は、
前記発光部を第 1の周波数で発光させ、 かつ第 1のデューティ比で 発光させる第 1の撮像と、
前記発光部を第 2の周波数で発光させ、 かつ前記第 1のデューティ 比で発光させる第 2の撮像と、
を制御する第 1のモードと、
前記第 1の撮像と、
前記第 2の撮像と、
前記発光部を第 1の周波数で発光させ、 かつ前記第 1のデューティ 比よりも小さい第 2のデューティ比で発光させる第 3の撮像と、 を制御する第 2のモードと、
を切り替えて制御し、
前記算出部は、
前記第 1のモードのときは、 前記第 1の撮像で得られた第 1の信号 と前記第 2の撮像で得られた第 2の信号を用いて前記距離を算出し、 〇 2020/175118 88 卩（：171? 2020 /005029
前記第 2のモードのときは、 前記第 1の信号、 前記第 2の信号、 お よび前記第 3の撮像で得られた第 3の信号を用いて前記距離を算出す る
測距装置。
[請求項 16] 測距を行う測距装置が、
照射光を発光する発光部と、
前記照射光が対象物において反射した反射光を受光する受光部と、 前記照射光の発光から前記反射光の受光までの時間に基づいて、 前 記対象物までの距離を算出する算出部と、
前記発光部と前記受光部を制御する制御部と
を備え、
前記制御部が、
前記発光部を第 1の周波数で発光させ、 かつ第 1のデューティ比で 発光させる第 1の撮像と、
前記発光部を第 2の周波数で発光させ、 かつ前記第 1のデューティ 比で発光させる第 2の撮像と、
を制御する第 1のモードと、
前記第 1の撮像と、
前記第 2の撮像と、
前記発光部を第 1の周波数で発光させ、 かつ前記第 1のデューティ 比よりも小さい第 2のデューティ比で発光させる第 3の撮像と、 を制御する第 2のモードと、
を切り替えて制御し、
前記算出部が、
前記第 1のモードのときは、 前記第 1の撮像で得られた第 1の信号 と前記第 2の撮像で得られた第 2の信号を用いて前記距離を算出し、 前記第 2のモードのときは、 前記第 1の信号、 前記第 2の信号、 お よび前記第 3の撮像で得られた第 3の信号を用いて前記距離を算出す 〇 2020/175118 89 卩（：171? 2020 /005029
る
測距方法。
[請求項 17] 照射光を発光する発光部と、
前記照射光が対象物において反射した反射光を受光する受光部と、 前記照射光の発光から前記反射光の受光までの時間に基づいて、 前 記対象物までの距離を算出する算出部と、
前記発光部と前記受光部を制御する制御部と
を備え、
前記制御部は、
前記発光部を第 1の周波数で発光させ、 かつ第 1の発光強度で発光 させる第 1の撮像と、
前記発光部を第 2の周波数で発光させ、 かつ前記第 1の発光強度で 発光させる第 2の撮像と、
を制御する第 1のモードと、
前記第 1の撮像と、
前記第 2の撮像と、
前記発光部を第 1の周波数で発光させ、 かつ前記第 1の発光強度よ りも弱い第 2の発光強度で発光させる第 3の撮像と、 を制御する第 2のモードと、
を切り替えて制御し、
前記算出部は、
前記第 1のモードのときは、 前記第 1の撮像で得られた第 1の信号 と前記第 2の撮像で得られた第 2の信号を用いて前記距離を算出し、 前記第 2のモードのときは、 前記第 1の信号、 前記第 2の信号、 お よび前記第 3の撮像で得られた第 3の信号を用いて前記距離を算出す る
測距装置。
[請求項 18] 測距を行う測距装置が、 〇 2020/175118 90 卩（：171? 2020 /005029
照射光を発光する発光部と、
前記照射光が対象物において反射した反射光を受光する受光部と、 前記照射光の発光から前記反射光の受光までの時間に基づいて、 前 記対象物までの距離を算出する算出部と、
前記発光部と前記受光部を制御する制御部と
を備え、
前記制御部が、
前記発光部を第 1 の周波数で発光させ、 かつ第 1 の発光強度で発光 させる第 1 の撮像と、
前記発光部を第 2の周波数で発光させ、 かつ前記第 1 の発光強度で 発光させる第 2の撮像と、
を制御する第 1 のモードと、
前記第 1 の撮像と、
前記第 2の撮像と、
前記発光部を第 1 の周波数で発光させ、 かつ前記第 1 の発光強度よ りも弱い第 2の発光強度で発光させる第 3の撮像と、
を制御する第 2のモードと、
を切り替えて制御し、
前記算出部が、
前記第 1 のモードのときは、 前記第 1 の撮像で得られた第 1 の信号 と前記第 2の撮像で得られた第 2の信号を用いて前記距離を算出し、 前記第 2のモードのときは、 前記第 1 の信号、 前記第 2の信号、 お よび前記第 3の撮像で得られた第 3の信号を用いて前記距離を算出す る
測距方法。
PCT/JP2020/005029 2019-02-25 2020-02-10 測距装置、測距方法、並びにプログラム Ceased WO2020175118A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/431,233 US12517254B2 (en) 2019-02-25 2020-02-10 Distance measuring device and distance measuring method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019032074A JP2020134464A (ja) 2019-02-25 2019-02-25 測距装置、測距方法、並びにプログラム
JP2019-032074 2019-02-25

Publications (1)

Publication Number Publication Date
WO2020175118A1 true WO2020175118A1 (ja) 2020-09-03

Family

ID=72239493

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/005029 Ceased WO2020175118A1 (ja) 2019-02-25 2020-02-10 測距装置、測距方法、並びにプログラム

Country Status (3)

Country Link
US (1) US12517254B2 (ja)
JP (1) JP2020134464A (ja)
WO (1) WO2020175118A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024203104A1 (ja) * 2023-03-29 2024-10-03 ソニーグループ株式会社 制御装置、測距装置および制御方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7257275B2 (ja) * 2019-07-05 2023-04-13 株式会社日立エルジーデータストレージ ３次元距離測定装置
CN113740866B (zh) * 2020-05-13 2025-08-05 宁波飞芯电子科技有限公司 探测单元、探测装置及方法
JP2023091179A (ja) * 2021-12-20 2023-06-30 ソニーセミコンダクタソリューションズ株式会社 測距装置、センサ装置
JP2023152164A (ja) * 2022-04-01 2023-10-16 ソニーセミコンダクタソリューションズ株式会社 測距装置
WO2025120960A1 (ja) * 2023-12-06 2025-06-12 ソニーセミコンダクタソリューションズ株式会社 測距装置、及び測距方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08189965A (ja) * 1995-01-09 1996-07-23 Honda Motor Co Ltd 車両用レーダ装置
US20060114333A1 (en) * 2004-02-12 2006-06-01 Canesta, Inc. Method and system to increase dynamic range of time-of-flight (TOF) and/or imaging sensors
JP2017528714A (ja) * 2014-09-10 2017-09-28 ファロ テクノロジーズ インコーポレーテッド ３次元座標の光学測定のための方法および３次元測定デバイスの制御
WO2017217240A1 (ja) * 2016-06-15 2017-12-21 ソニー株式会社 撮影装置、撮影方法、プログラム
WO2019012756A1 (ja) * 2017-07-11 2019-01-17 ソニーセミコンダクタソリューションズ株式会社 電子装置、および、電子装置の制御方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6246131B2 (ja) * 2012-01-10 2017-12-13 ソフトキネティック センサーズ エヌブイ タイムオブフライト信号の処理における又はこれに関する改良
JP6536008B2 (ja) 2014-10-30 2019-07-03 株式会社デンソー 車両用光飛行型測距装置
KR102469944B1 (ko) * 2018-08-07 2022-11-23 엘지이노텍 주식회사 카메라
US10830894B2 (en) * 2018-11-21 2020-11-10 Zoox, Inc. Intensity and depth measurements in time-of-flight sensors

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08189965A (ja) * 1995-01-09 1996-07-23 Honda Motor Co Ltd 車両用レーダ装置
US20060114333A1 (en) * 2004-02-12 2006-06-01 Canesta, Inc. Method and system to increase dynamic range of time-of-flight (TOF) and/or imaging sensors
JP2017528714A (ja) * 2014-09-10 2017-09-28 ファロ テクノロジーズ インコーポレーテッド ３次元座標の光学測定のための方法および３次元測定デバイスの制御
WO2017217240A1 (ja) * 2016-06-15 2017-12-21 ソニー株式会社 撮影装置、撮影方法、プログラム
WO2019012756A1 (ja) * 2017-07-11 2019-01-17 ソニーセミコンダクタソリューションズ株式会社 電子装置、および、電子装置の制御方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024203104A1 (ja) * 2023-03-29 2024-10-03 ソニーグループ株式会社 制御装置、測距装置および制御方法

Also Published As

Publication number Publication date
US20220137224A1 (en) 2022-05-05
JP2020134464A (ja) 2020-08-31
US12517254B2 (en) 2026-01-06

Similar Documents

Publication Publication Date Title
WO2020175117A1 (ja) 測距装置、測距方法、並びにプログラム
WO2020175118A1 (ja) 測距装置、測距方法、並びにプログラム
JP7214363B2 (ja) 測距処理装置、測距モジュール、測距処理方法、およびプログラム
JP7044107B2 (ja) 光センサ、及び、電子機器
WO2018042887A1 (ja) 測距装置、および、測距装置の制御方法
WO2020075525A1 (ja) センサフュージョンシステム、同期制御装置、及び同期制御方法
WO2017110417A1 (ja) 車両用画像取得装置、制御装置、車両用画像取得装置または制御装置を備えた車両および車両用画像取得方法
CN110293973B (zh) 驾驶支援系统
JP7030607B2 (ja) 測距処理装置、測距モジュール、測距処理方法、およびプログラム
WO2021085128A1 (ja) 測距装置、測定方法、および、測距システム
WO2022270034A1 (ja) 撮像装置、電子機器、および光検出方法
CN110832346A (zh) 电子装置和电子装置的控制方法
WO2017195459A1 (ja) 撮像装置、および撮像方法
US12498479B2 (en) Distance measuring device and distance measuring method
WO2021010174A1 (ja) 受光装置、および、受光装置の駆動方法
WO2020209079A1 (ja) 測距センサ、信号処理方法、および、測距モジュール
US20230142762A1 (en) Sensing system
WO2022004441A1 (ja) 測距装置および測距方法
JP2020122774A (ja) 測距装置、測距方法、並びにプログラム
US11477402B2 (en) Solid-state image sensor with improved dark current removal
US20230228875A1 (en) Solid-state imaging element, sensing system, and control method of solid-state imaging element
JP2023036384A (ja) 固体撮像装置
JP2022175591A (ja) 測距装置及び測距システム
WO2021070504A1 (ja) 受光素子及び測距装置
WO2020179288A1 (ja) 光検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20762915

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20762915

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 17431233

Country of ref document: US